最优化理论基础与方法学习笔记

凸集的定义： 设有D∈Rn，如果对任意的x,y∈D与任意的α∈[0,1]，都有： αx + (1-α)y = 0， 那么称D为凸集。

**凸集的几何意义：**若两个点属于此集合，则这两个点上的任意一点均属于此集合。 有关凸集的性质： 定理证明: 凸集的加减数乘交集之后还是凸集，其中加需要两个凸集是临接的。

定理1.4.2： 下面这个定理比较容易理解：在一个集合D内，若对于任意个集合内的元素，他们的线性组合在集合内且线性组合的值之和为1，那么这个集合D是凸集。 这是理解方法： 定义1.4.2： **内点：**对于一个点x，若存在一个以其为中心的邻域，这个邻域属于凸集D，那么称x为内点。 **边界点：**对于一个点x，其任意小的邻域，都会既包含D中的点，又会包含D以外的点，那么这个点就叫做边界点。 闭包：

定义1.4.3： 在这里内积的大小的比较可以看成x,y在α上的投影的大小的比较，因为α的范数可以约掉。 定理1.4.3（投影定理）： 设D是n维线性空间里的非空闭凸集，y是一个n维向量，但是y不在D里面，那么在D中就会存在一个唯一的点c： y与c的连线是距离是y到D的最小距离，并且 点c是y到D的最小距离点的充要条件是：D内任意一个点（除了c之外）减去c所形成的向量与c减去y所形成的向量的内积大于等于零。 很容易理解，当y不在D的“正上方”时，这个最小点一定是边界点。

定理1.4.4（点与凸集的分离定理）： 凸集D，y不在这个D内，则存在一个非零n维向量α，一个常数β： 使得：α的转置乘以D内的任意一个n维向量小于或等于β，β一定小于α的转置乘以y。 两个向量的内积在这里要理解为（它本来就有这种几何意义）：一个向量在另一个向量的方向上的投影，再乘以这个方向上的那个向量的大小，在这里α转置由于在两边都有，所以可以约掉（或者是说不看这个α）。所以两个向量的内积的比较大小在这里就是比较被投影向量x、y在α上的投影的大小

定理1.4.5（支撑超平面定理）： 定义1.4.4： 设D是非空集，f是定义在D上的函数，如果对任意的x1,x2∈D，均有在这两点之间的点的函数值小于等于这两点的加权函数值之和，那么称f为D上的凸函数。 定义1.4.5：水平集 设f是定义在D上的函数，则集合Da = {x | f(x) < α , x ∈D }称为Da为函数f的α水平集。 定理1.4.6：若D是非空凸集，f是定义在D上的凸函数，则对任意的α∈R，f的水平集Dα是凸集。

定理1.4.7： f(x)为凸函数的充要条件是对任意的x,y∈Rn，一元函数φ(α) = f(x + αy)是关于α的凸函数。 定理1.4.8： 定理1.4.9： f(x)二阶连续可微，那么f(x)是D上的凸函数的充要条件是，f(x)的Hesse矩阵在D上是半正定的。

定理1.4.10: 如果f(x)的Hesse矩阵在D上是正定的，则f(x)在D上是严格凸函数，反之若f(x)是严格凸函数，则f(x)的Hesse矩阵在D上是半正定的。