海瑟矩阵和函数凹凸性之间的关系

2024-07-09 04:05| 来源: 网络整理| 查看: 265

以下阐述以2维的凸函数（convex function）为例

注释：可以推广到多维的凸函数和凹函数（concave function）

我们定义2维的函数为 f ( x ) , x = [ x 1 , x 2 ] T ∈ R 2 f(\bm{x}), \bm{x}=[x_1, x_2]^{T} \in \mathbb{R}^2 f(x),x=[x1,x2]T∈R2。函数的海瑟矩阵（Hessian matrix）如下 H = [ ∂ 2 f ∂ x 1 2 ∂ 2 f ∂ x 1 ∂ x 2 ∂ 2 f ∂ x 2 ∂ x 1 ∂ 2 f ∂ x 2 2 ] H={ \left[ \begin{array}{cc} \frac{{{\partial ^2}{ f }}}{{\partial { x_{1}}^2}} & \frac{{{\partial ^2}{ f }}}{{\partial {x_1 } \partial { x_2 }}} \\ \frac{{{\partial ^2}{ f }}}{{\partial {x_{2} } \partial { x_{1} }}} & \frac{{{\partial ^2}{ f }}}{{\partial {x_{2}}^2}} \\ \end{array} \right ]} H=[∂x12∂2f∂x2∂x1∂2f∂x1∂x2∂2f∂x22∂2f]

首先阐述矩阵和正定、半正定之间的关系

参考[1,2]，有以下结论：

如果对于 s = [ s 1 , s 2 ] T \bm{s}=[s_1, s_2]^{T} s=[s1,s2]T， ∀ s 1 , s 2 ∈ R , s 1 , s 2 ≠ 0 \forall s_1, s_2 \in \mathbb{R}, s_1, s_2 \neq 0 ∀s1,s2∈R,s1,s2=0， s H s T > 0 \bm{s}H\bm{s}^{T} >0 sHsT>0, 那么海瑟矩阵是正定的（positive definite）；如果对于 s = [ s 1 , s 2 ] T \bm{s}=[s_1, s_2]^{T} s=[s1,s2]T， ∀ s 1 , s 2 ∈ R , s 1 , s 2 ≠ 0 \forall s_1, s_2 \in \mathbb{R}, s_1, s_2 \neq 0 ∀s1,s2∈R,s1,s2=0， s H s T ≥ 0 \bm{s}H\bm{s}^{T} \geq 0 sHsT≥0, 那么海瑟矩阵是半正定的（positive semidefinite）；然后阐述正定、半正定和函数凹凸性的关系

参考[3,4]，有以下结论：

H H H是半正定和 f f f是凸函数，互为充要条件；如果 H H H是正定，那么 f f f是强凸函数；如果 f f f是强凸函数，那么 H H H不一定是正定；

用下面的例子阐述结论3。 f = x 1 4 + x 2 4 , x 1 , x 2 ∈ R f=x_1^4+x_2^4, x_1, x_2 \in \mathbb{R} f=x14+x24,x1,x2∈R，函数 f f f的海瑟矩阵如下： H = [ 12 x 1 2 0 0 12 x 2 2 ] H={ \left[ \begin{array}{cc} 12x_1^2 & 0 \\ 0 & 12x_2^2\\ \end{array} \right ]} H=[12x120012x22] ，然后计算： s H s T = 12 x 1 2 s 1 2 + 12 x 2 2 s 2 2 \bm{s}H\bm{s}^{T} =12x_1^2 s_1^2 +12x_2^2 s_2^2 sHsT=12x12s12+12x22s22; 对于 x 1 = 0 , x 2 = 0 x_1=0, x_2=0 x1=0,x2=0，我们有 s H s T = 0 \bm{s}H\bm{s}^{T}=0 sHsT=0，所以 H H H是半正定的。

参考资料： [1] https://ccjou.wordpress.com/2009/12/14/%E6%AD%A3%E5%AE%9A%E7%9F%A9%E9%99%A3%E7%9A%84%E6%80%A7%E8%B3%AA%E8%88%87%E5%88%A4%E5%88%A5%E6%96%B9%E6%B3%95/ [2] https://ccjou.wordpress.com/2009/10/01/%e7%89%b9%e6%ae%8a%e7%9f%a9%e9%99%a3-%e5%85%ad%ef%bc%9a%e6%ad%a3%e5%ae%9a%e7%9f%a9%e9%99%a3/ [3] https://math.stackexchange.com/questions/210187/relation-between-positive-definite-matrix-and-strictly-convex-function [4] http://web.hku.hk/~pingyu/6066/LN/LN3_Convex%20Sets%20and%20Concave%20Functions.pdf

【本文地址】

公司简介

联系我们