MIT 线性代数 Linear Algebra 25: 对称矩阵的特征值特征向量，正定矩阵

这一节，我们首先研究一类重要的矩阵，实对称矩阵，的特征值和特征向量。

我们的主要结论是

为什么所有实对称矩阵的特征值全部是实数尼？我们只用对比 A x = λ x      ( 1 ) \bm{Ax}=\lambda\bm{x}~~~~(1) Ax=λx    (1)

A x ‾ = λ ‾ x ‾      ( 2 ) \bm{A\overline{x}}=\overline{\lambda}\overline{\bm{x}}~~~~(2) Ax=λx    (2)

即可，其中下式是上式两边共轭的结果。其实从这里也能看出，任意实矩阵 A \bm{A} A, 如果 λ \lambda λ 是其特征值，则 λ ‾ \overline{\lambda} λ 也是它的特征值，他们的特征向量互为共轭。

我们还知道 A = A ⊤ \bm{A}=\bm{A}^\top A=A⊤, 因此由 (2) 有 x ‾ ⊤ A = λ ‾ x ‾ ⊤      ( 3 ) \overline{\bm{x}}^\top\bm{A}=\overline{\lambda}\overline{\bm{x}}^\top~~~~(3) x⊤A=λx⊤    (3)

(1) 左乘 x ‾ ⊤ \overline{\bm{x}}^\top x⊤, (3) 右乘 x \bm{x} x 有 x ‾ ⊤ A x = λ x ‾ ⊤ x \overline{\bm{x}}^\top\bm{Ax}=\lambda\overline{\bm{x}}^\top\bm{x} x⊤Ax=λx⊤x

x ‾ ⊤ A x = λ ‾ x ‾ ⊤ x \overline{\bm{x}}^\top\bm{A}\bm{x}=\overline{\lambda}\overline{\bm{x}}^\top\bm{x} x⊤Ax=λx⊤x

Since x ‾ ⊤ x ≠ 0 \overline{\bm{x}}^\top\bm{x}\neq\bm{0} x⊤x​=0, 我们有 λ = λ ‾ \lambda=\overline{\lambda} λ=λ, 即 λ \lambda λ 是实数。

复数矩阵 A \bm{A} A: 从上面的推导也可以看出，我们其实是在比较 (1) 和 (1) 的共轭转置。 此时，如果 A \bm{A} A 是复数矩阵，我们有 x ‾ ⊤ A x = λ x ‾ ⊤ x \overline{\bm{x}}^\top\bm{Ax}=\lambda\overline{\bm{x}}^\top\bm{x} x⊤Ax=λx⊤x

x ‾ ⊤ A ‾ ⊤ x = λ ‾ x ‾ ⊤ x \overline{\bm{x}}^\top\overline{\bm{A}}^\top\bm{x}=\overline{\lambda}\overline{\bm{x}}^\top\bm{x} x⊤A⊤x=λx⊤x

所以，如果复矩阵是厄米矩阵 (Hermitian) A = A ‾ ⊤ \bm{A}=\overline{\bm{A}}^\top A=A⊤，那它的特征值也全是实数，其中通常我们记作 A ‾ ⊤ = A H \overline{\bm{A}}^\top=\bm{A}^H A⊤=AH.

给定上面两点性质，一个重要的结论是所有的实对称矩阵都能被相似对角化 A = Q Λ Q − 1 = Q Λ Q ⊤ \bm{A=Q}\Lambda\bm{Q}^{-1}=\bm{Q}\Lambda\bm{Q}^\top A=QΛQ−1=QΛQ⊤

特别的，对角化所用矩阵是正交矩阵 Q \bm{Q} Q。这有什么好处尼？好处是我们可以把矩阵 A \bm{A} A 直接表示为它的特征值和特征向量： A = λ 1 q 1 q 1 ⊤ + λ 2 q 2 q 2 ⊤ + . . . + λ n q n q n ⊤ \bm{A}=\lambda_1\bm{q}_1\bm{q}_1^\top+\lambda_2\bm{q}_2\bm{q}_2^\top+...+\lambda_n\bm{q}_n\bm{q}_n^\top A=λ1​q1​q1⊤​+λ2​q2​q2⊤​+...+λn​qn​qn⊤​

其中每一项 q i q i ⊤ \bm{q}_i\bm{q}_i^\top qi​qi⊤​ 都是一个projection matrix (可以代入性质，对称，幂次方是本身)。每一个对称矩阵都能表示为 n n n 个相互正交的投影矩阵的线性组合

Fact 1: 如果没有 row exchange， 实对称的 pivots乘积等于矩阵的行列式，因此也等于所有特征值的乘积。

Fact 2: 对于实对称矩阵，列出所有的 pivots 和所有的特征值，positive的个数和negative的个数相等。

这一点的用处是，

对称矩阵是一类很好的矩阵，在这个基础上，我们介绍另一类矩阵：正定矩阵。这里我们只介绍一下概念，稍后我们会仔细看这一类矩阵。

前提：实对称矩阵。

要求：所有特征值大于零。

特性：