为什么不等式约束下(小于等于)的拉格朗日乘子的符号需要大于等于0 – Wenji Wang – Miner of Medical Data

22 8 2018 - Beijing

首先我们知道，在最优化理论中，我们需要面对的最优化目标一般需要分为两类，第一类是无约束优化问题，第二类是约束优化问题，对于前者我们需要采用的是梯度下降和牛顿法等方法就可以解决，但是对于后者我们则需要将带限优化的问题转化成为无约束的优化问题，这个过程中我们需要用到的就是拉格朗日乘子法了。

我们所知的约束一般分为两种情况，一种是等式约束问题，一种是不等式约束问题，两种情况的形式化表述分别如下（以最小化目标函数为例）：

等式约束下：

不等式约束下：

对于等式约束的问题，只需要引入拉格朗日乘子$\alpha$就可以通过构造拉格朗日函数将约束问题完全等价成为无约束问题：

于是最小化就等价于最小化，对上述的式子求导后可得:

可以理解为在最小值点处，约束条件的梯度的线性组合成原始函数的梯度，也就是广义来讲的相切条件。

那么对于不等式约束下的问题呢？我们依然可以构造拉格朗日函数如上，但是，这个时候一定要有因为如果这个条件不满足的话，那么就意味着沿着与某一个约束条件的梯度有相同的方向的分量，以最简单的单个不等式约束为例，构造后的拉格朗日函数如果找到了极小值点，在极小值点处求完导函数应该有 ，在这种情况下，如果是小于零的话，就意味着两个的梯度在最小值点处是同样的方向的，于是，当沿着梯度的负方向改变时，此时的会进一步变小，同时的值也是进一步变小，仍然满足小于等于零的约束，这也就是意味着这个点不是当下的最优解即不是最小值点，那也就是说原假设是不成立的，因此，对不等式（小于等于）的乘子的限制必须是大于等于零的，证毕。