漫步最优化三十七

2024-07-07 15:34| 来源: 网络整理| 查看: 265

我卸不下对你的喜欢，因为爱会慢慢增加重量。我醉心于你的发香，因为它让回想有了画面感。在虚拟的土壤与真实的肉体上，文字与真心蔓延滋长了我们的感情。脑海储存着幸福，不断放送着你可爱的模样。 ——畅宝宝的傻逼哥哥 Hestenes与Stiefel提出了一种生成共轭方向的有效方法，就是共轭梯度法。该方法中，每次迭代生成方向，当迭代第 k+1 次时，用前一个方向 dk 生成新的点 xk+1 ，然后 βdk 加上 −gk+1 (新点处的负梯度)生成新的方向 dk+1 。

共轭方向法基于下面的定理，除了定义生成共轭方向的方法外，其余都与上篇文章的定理1一样。

定理1： (a)如果 H 是正定矩阵，那么对任意初始点 x0 与初始方向

d0=−g0=−(b+Hx0) 由递推关系 xk+1=xk+αkdk(1)

生成的序列收敛到唯一解 x∗ ，其中

αkgdk+1βk=−gTkdkdTkHdk=b+Hxk=−gk+1+βkdk=gTk+1HdkdTkHdk(2)(3)(4)(5)

(b)梯度 gk 与 {g0,g1,…,gk−1} 正交，即

gTkgi=0for 0≤i

【本文地址】

公司简介

联系我们