37. Hesse 矩阵与极值点, 凸函数

为了避免张量的概念, 我们考虑 Rn 中的开集 Ω 并假设 Rn 中已经选取坐标 (x1​,⋯,xn​). 我们假设 f 是 Ω 上至少两次连续可微的函数. 对于给定的点 p∈Ω, 我们定义 f 在 p 处的 Hesse 矩阵为∇2f(p)=Hf​(p)=(∂xi​∂xj​∂2f​(p))=⎝⎛​∂x12​∂2f​(p)∂x2​∂x1​∂2f​(p)⋯∂xn​∂x1​∂2f​(p)​∂x1​∂x2​∂2f​(p)∂x12​∂2f​(p)⋅∂xn​∂x2​∂2f​(p)​⋯⋅⋯⋯​∂x1​∂xn​∂2f​(p)∂x2​∂xn​∂2f​(p)⋯∂xn2​∂2f​(p)​⎠⎞​根据 Clairaut-Schwarz 的定理, 这是一个对阵矩阵. 另外, 根据线性代数中所学的知识, 我们还可以将 Hesse 矩阵看成是 R2 上的二次型: Hf​(p):Rn⊗Rn→R,  (v,w)↦1⩽i,j⩽n∑​∂xi​∂xj​∂2f​vi​wj​.我们假设在 Rn 给了内积 ⟨⋅,⋅⟩, 使得 {∂xi​∂​}i⩽n​ 恰好是标准正交基. 那么上面的二次型还可以写成Hf​(v,w)=⟨v,∇2f(w)⟩.另外, 我们的 Taylor 公式在 2 阶的时候可以写成f(x)=f(x0​)+⟨∇f(x0​),x−x0​⟩+21​⟨x−x0​,∇2f(x0​)(x−x0​)⟩+o(∣x−x0​∣2).

对于实对称矩阵, 我们可以讨论它是否正定／负定. 我们简单回忆线性代数中的概念: 矩阵／二次型 ∇2f 是正定 (半正定) 的, 指的是它满足如下条件之一:

1)

对任意的 v∈Rn, Hf​(v,v)>0 (Hf​(v,v)⩾0) ;

2)

矩阵 ∇2f 的特征值都是正 (非负) 的.

我们用 ∇2f>0 和 ∇2f⩾0 表示正定和半正定的二次型; 负定的情形类似.

命题 37.1. 给定 f∈C2(Ω), 其中 Ω⊂Rd 是开集, 如果 x0​∈Ω 是 f 的最小值点, 那么, ∇f(x0​)=0 并且 ∇2f(p0​)⩾0 (半正定) .