通常考察一个算法的性能通常用局部搜索能力和全局收敛能力这两个指标。局部搜索是指能够无穷接近最优解的能力，而全局收敛能力是指找到全局最优解所在大致位置的能力。局部搜索能力和全局搜索能力，缺一不可。向最优解的导向，对于任何智能算法的性能都是很重要的。 

    局部最优问题(或叫局部峰值\局部陷井)：现实问题中，f在D上往往有多个局部的极值点。一般的局部搜索算法一旦陷入局部极值点，算法就在该点处结束，这时得到的可能是一个糟糕的结果。解决的方法就，目标函数差的点，被选中的概率小。考虑归一化问题，使得邻域内所有点被选中的概率和为1。总的来说，局部搜索的方法，就是依赖于对解空间进行按邻域搜索。

    起始点问题：一般的局部搜索算法是否能找到全局最优解，与初始点的位置有很大的依赖关系。解决的方法就是随机生成一些初始点，从每个初始点出发进行搜索，找到各自的最优解。再从这些最优解中选择一个最好的结果作为最终的结果。

    学习的重要性：         1、直接用于无约束的实际问题；         2、其基本思想和逻辑结构可以推广到约束问题；         3、约束问题可以转化成无约束问题求解。

    方法分类：         1、间接法：对简单问题，求解必要条件或充分条件；         2、迭代算法：                  零阶法：只需计算函数值 f(x) （直接法）                  一阶法：需计算 ▽f(x)       （梯度法）                  二阶法：需计算 ▽2f(x)      （梯度法）

    直接搜索法优点：计算不太复杂；易于实施与快速调试；所需的准备时间较少 一、单纯形搜索法：

1962年由Spendley, Hext和Himsworth提出，80年代得到证明。单纯形搜索法是一种无约束最优化的直接方法。单纯形法是求解非线性多元函数、无约束最小化问题的有效方法之一。在许多技术领域内，都取得了有效的成果。

所谓的单纯形是指n维空间E^n中具有n+1个顶点的凸多面体。比如一维空间中的线段，二维空间中的三角形，三维空间中的四面体等，均为相应空间中的单纯形。单纯形搜索法与其它直接方法相比，基本思想有所不同，在这种方法中，给定维空间E^n中一个单纯形后，求出n+1个顶点上的函数值，确定出有最大函数值的点(称为最高点)和最小函数值的点(称为最低点)，然后通过反射、扩展、压缩等方法(几种方法不一定同时使用)求出一个较好点，用它取代最高点，构成新的单纯形，或者通过向最低点收缩形成新的单纯形，用这样的方法逼近极小点。     单纯形搜索法的基本思想是：先找出一个基本可行解，对它进行鉴别，看是否是最优解；若不是，则按照一定法则转换到另一改进的基本可行解,再鉴别；若仍不是，则再转换，按此重复进行。因基本可行解的个数有限，故经有限次转换必能得出问题的最优解。

一般解题步骤可归纳如下：

①把线性规划问题的约束方程组表达成典范型方程组，找出基本可行解作为初始基本可行解。

②若基本可行解不存在，即约束条件有矛盾，则问题无解。

③若基本可行解存在，从初始基本可行解作为起点，根据最优性条件和可行性条件，引入非基变量取代某一基变量，找出目标函数值更优的另一基本可行解。

④按步骤3进行迭代,直到对应检验数满足最优性条件（这时目标函数值不能再改善），即得到问题的最优解。

⑤若迭代过程中发现问题的目标函数值无界，则终止迭代。 

二、Powell共轭方向法（方向加速法）

1964年由Powell提出，后经Zangwoll（1967年）和Brent（1973年）改进。该算法有效地利用了迭代过程中的历史信息，建立起能加速收敛的方向。

理论基础：以二次对称函数为模型进行研究。

在非线性目标函数中，最简单的是二次函数，故任何对一般函数有效的方法首先应对二次函数有效；在最优点附近，非线性函数可用一个二次函数作近似，故对二次函数使用良好的方法，通常对一般函数也有效；很多实际问题的目标函数是二次函数。

设A是n×n阶对称正定矩阵，p(0), p(1)为两个n维向量，若 成立p(0)T A p(1) = 0，则称向量p(0)与p(1)为A共轭或A正交，称该两向量的方向为A共轭方向。 

特点：Powell法本质上是以正定二次函数为背景，以共轭方向为基础的一种方法。不同于其他的直接法, Powell法有一套完整的理论体系，故其计算效率高于其他直接法。若每次迭代的前n 个搜索方向都线性无关时，则原始Powell法具有二次终止性 Powell法使用一维搜索，而不是跳跃的探测步。Powell法的搜索方向不一定为下降方向。

不足：在原始Powell法中，必须保持每次迭代中前n个搜索方向线性无关，否则将永远得不到问题的最优解。

为了避免出现搜索方向组线性相关的现象，Powell及其他人对原始Powell法进行修正：

三、梯度法

    又名最速下降法，求解无约束多元函数极值的数值方法，早在1847年就已由柯西(Cauchy))提出。它是导出其他更为实用、更为有效的优化方法的理论基础。因此，梯度法是无约束优化方法中最基本的方法之一。该方法选取搜索方向Pκ的出发点是：怎样选取Pk可使ƒ(X)下降得最快？或者说使ƒ(Xκ+λΡκ)-ƒ(Χκ)