非线性规划(一):定义与数值优化方法(梯度法、牛顿法、拟牛顿法、变尺度法) | 您所在的位置:网站首页 › 梯度为零的点一定是无约束非线性优化问题 › 非线性规划(一):定义与数值优化方法(梯度法、牛顿法、拟牛顿法、变尺度法) |
1 非线性规划
非线性规划(一):定义与数值优化方法(梯度法、牛顿法、拟牛顿法、变尺度法) 非线性规划(二): Matlab 求解约束极值问题 目录 1 非线性规划 1.1 非线性规划的实例与定义 非线性规划的构成要素 1.2 线性规划与非线性规划的区别 1.3 非线性规划的 Matlab 解法 1.4 求解非线性规划的基本迭代格式 局部最优、整体最优的定义 求解非线性规划模型(NP)的基本迭代格式 如何构造每一轮的搜索方向和确定适当的步长 用基本迭代格式(1)求解(NP)的一般步骤 1.5 凸函数、凸规划 2 无约束问题 2.1 一维搜索方法 试探法 2.1.1 Fibonacci 法 Finbonacci 法的具体步骤 2.1.2 0.618 法 黄金分割数 黄金分割数和 Fibonacci 分数的关系 2.2 二次插值法 2.3 无约束极值问题的解法 2.3.1 解析法 2.3.1.1 梯度法(最速下降法) 最速下降法的具体步骤 2.3.1.2 Newton 法 Newton 法的具体步骤 2.3.1.3 变尺度法 拟牛顿法 如何构造Hesse阵的近似矩阵---拟 Newton 条件 尺度矩阵的推导 DFP 变尺度法的计算步骤总结 Powell 方法的具体步骤 2.4 Matlab 求无约束极值问题 1.1 非线性规划的实例与定义如果目标函数或约束条件中包含非线性函数,就称这种规划问题为非线性规划问 题。一般说来,解非线性规划要比解线性规划问题困难得多。而且,也不象线性规划有 单纯形法这一通用方法,非线性规划目前还没有适于各种问题的一般算法,各个方法都 有自己特定的适用范围。 下面通过实例归纳出非线性规划数学模型的一般形式,介绍有关非线性规划的基本概念。 例一 投资决策问题 对于一个实际问题,在把它归结成非线性规划问题时,一般要注意如下几点: (i)确定供选方案:首先要收集同问题有关的资料和数据,在全面熟悉问题的基 础上,确认什么是问题的可供选择的方案,并用一组变量来表示它们。 (ii)提出追求目标:经过资料分析,根据实际需要和可能,提出要追求极小化 或极大化的目标。并且,运用各种科学和技术原理,把它表示成数学关系式。 (iii)给出价值标准:在提出要追求的目标之后,要确立所考虑目标的“好”或 “坏”的价值标准,并用某种数量形式来描述它。 (iv)寻求限制条件:由于所追求的目标一般都要在一定的条件下取得极小化或 极大化效果,因此还需要寻找出问题的所有限制条件,这些条件通常用变量之间的一些 不等式或等式来表示。 1.2 线性规划与非线性规划的区别如果线性规划的最优解存在,其最优解只能在其可行域的边界上达到(特别是可行 域的顶点上达到);而非线性规划的最优解(如果最优解存在)则可能在其可行域的任 意一点达到。 1.3 非线性规划的 Matlab 解法Matlab 中非线性规划的数学模型写成以下形式 Matlab 中的命令是 X=FMINCON(FUN,X0,A,B,Aeq,Beq,LB,UB,NONLCON,OPTIONS)解 (i)编写 M 文件 fun1.m 定义目标函数 function f=fun1(x); f=sum(x.^2)+8;(ii)编写M文件fun2.m定义非线性约束条件 function [g,h]=fun2(x); g=[-x(1)^2+x(2)-x(3)^2 x(1)+x(2)^2+x(3)^3-20]; %非线性不等式约束 h=[-x(1)-x(2)^2+2 x(2)+2*x(3)^2-3]; %非线性等式约束(iii)编写主程序文件 example2.m 如下: options=optimset('largescale','off'); [x,y]=fmincon('fun1',rand(3,1),[],[],[],[],zeros(3,1),[], ... 'fun2', options)![]() 可以证明,凸规划的可行域为凸集,其局部最优解即为全局最优解,而且其最优 解的集合形成一个凸集。当凸规划的目标函数 ) 当用迭代法求函数的极小点时,常常用到一维搜索,即沿某一已知方向求目标函数的极小点。一维搜索的方法很多,常用的有: (1)试探法(“成功—失败”,斐波那契法, 0.618 法等) ; (2)插值法(抛物线插值法,三次插值法等); (3)微积分中的求根法(切 线法,二分法等)。 试探法应该按照怎样的规则来选取探索点,使给定的单峰区间的长度能尽快地缩短? 2.1.1 Fibonacci 法由上述分析可知,斐波那契法使用对称搜索的方法,逐步缩短所考察的区间,它能 以尽量少的函数求值次数,达到预定的某一缩短率。 若 ω > 0 ,满足比例关系 现用不变的区间缩短率 0.618,代替斐波那契法每次不同的缩短率,就得到了黄金 分割法(0.618 法)。这个方法可以看成是斐波那契法的近似,实现起来比较容易,效果 也相当好,因而易于为人们所接受。 对极小化问题(2),当 无约束极值问题可表述为 求解问题(5)的迭代法大体上分为两点:一是用到函数的一阶导数或二阶导数, 称为解析法。另一是仅用到函数值,称为直接法。 2.3.1 解析法 2.3.1.1 梯度法(最速下降法)例 4 用最速下降法求解无约束非线性规划问题 (ii)编写主程序文件zuisu.m如下: clc x=[2;2]; [f0,g]=detaf(x); while norm(g)>0.000001 p=-g/norm(g); t=1.0;f=detaf(x+t*p); while f>f0 t=t/2; f=detaf(x+t*p); end x=x+t*p; [f0,g]=detaf(x); end x,f0 2.3.1.2 Newton 法例 5 用 Newton 法求解, (ii)编写 M 文件 nwfun.m 如下: function [f,df,d2f]=nwfun(x); f=x(1)^4+25*x(2)^4+x(1)^2*x(2)^2; df=[4*x(1)^3+2*x(1)*x(2)^2;100*x(2)^3+2*x(1)^2*x(2)]; d2f=[2*x(1)^2+2*x(2)^2,4*x(1)*x(2) 4*x(1)*x(2),300*x(2)^2+2*x(1)^2];(III)编写主程序文件 example5.m 如下: clc x=[2;2]; [f0,g1,g2]=nwfun(x); while norm(g1)>0.00001 p=-inv(g2)*g1; x=x+p; [f0,g1,g2]=nwfun(x); end x, f0如果目标函数是非二次函数,一般地说,用 Newton 法通过有限轮迭代并不能保证 可求得其优解。 为了提高计算精度,我们在迭代时可以采用变步长计算上述问题,编写主程序文件 example5_2 如下: clc,clear x=[2;2]; [f0,g1,g2]=nwfun(x); while norm(g1)>0.00001 p=-inv(g2)*g1;p=p/norm(p); t=1.0;f=nwfun(x+t*p); while f>f0 t=t/2;f=nwfun(x+t*p); end x=x+t*p; [f0,g1,g2]=nwfun(x); end x,f0变尺度法(Variable Metric Algorithm)是近 20 多年来发展起来的,它不仅是求解 无约束极值问题非常有效的算法,而且也已被推广用来求解约束极值问题。由于它既避 免了计算二阶导数矩阵及其求逆过程,又比梯度法的收敛速度快,特别是对高维问题具 有显著的优越性,因而使变尺度法获得了很高的声誉。下面我们就来简要地介绍一种变尺度法—DFP 法的基本原理及其计算过程。这一方法首先由 Davidon 在 1959 年提出, 后经 Fletcher 和 Powell 加以改进。 拟牛顿法在无约束非线性规划方法中,遇到问题的目标函数不可导或导函数的解析式难以 表示时,人们一般需要使用直接搜索方法。同时,由于这些方法一般都比较直观和易于 理解,因而在实际应用中常为人们所采用。下面我们介绍 Powell 方法。 这个方法主要由所谓基本搜索、加速搜索和调整搜索方向三部分组成, Powell 方法的具体步骤在 Matlab 工具箱中,用于求解无约束极值问题的函数有 fminunc 和 fminsearch,用 法介绍如下。 Matlab 中 fminunc 的基本命令是 [X,FVAL]=FMINUNC(FUN,X0,OPTIONS,P1,P2, ...)解:编写 M 文件 fun2.m 如下: function [f,g]=fun2(x); f=100*(x(2)-x(1)^2)^2+(1-x(1))^2; g=[-400*x(1)*(x(2)-x(1)^2)-2*(1-x(1));200*(x(2)-x(1)^2)];编写主函数文件example6.m如下: options = optimset('GradObj','on'); [x,y]=fminunc('fun2',rand(1,2),options)即可求得函数的极小值。 在求极值时,也可以利用二阶导数,编写 M 文件 fun3.m 如下: function [f,df,d2f]=fun3(x); f=100*(x(2)-x(1)^2)^2+(1-x(1))^2; df=[-400*x(1)*(x(2)-x(1)^2)-2*(1-x(1));200*(x(2)-x(1)^2)]; d2f=[-400*x(2)+1200*x(1)^2+2,-400*x(1) -400*x(1),200];编写主函数文件example62.m如下: options = optimset('GradObj','on','Hessian','on'); [x,y]=fminunc('fun3',rand(1,2),options)即可求得函数的极小值。
求多元函数的极值也可以使用 Matlab 的 fminsearch 命令,其使用格式为: [X,FVAL,EXITFLAG,OUTPUT]=FMINSEARCH(FUN,X0,OPTIONS,P1,P2,...)编写主函数文件example7.m如下: x0=2; [x,y]=fminsearch(@fun4,x0)即求得在初值 2 附近的极小点及极小值。 非线性规划(一):定义与数值优化方法(梯度法、牛顿法、拟牛顿法、变尺度法) 非线性规划(二): Matlab 求解约束极值问题 |
CopyRight 2018-2019 实验室设备网 版权所有 |