【2.8】转置操作和对称矩阵S

矩阵的转置就是把行变为列： A 的第 i 行变为 A^{T} 的第 i 列，与此同时， A 的第 i 列自然而然也变成了 A^{T} 的第 i 行。例如：A=\begin{bmatrix}1&2\\3&4\\5&6\end{bmatrix}，A^{T}=\begin{bmatrix}1&3&5\\2&4&6\end{bmatrix}，可以看出， (A^{T})_{ij}=A_{ji} 。再例如：下三角阵 L=\begin{bmatrix}1&0&0\\a&1&0\\b&c&1\end{bmatrix}的转置 L^{T}=\begin{bmatrix}1&a&b\\0&1&c\\0&0&1\end{bmatrix} 是上三角矩阵。

和的转置等于转置的和，这是很容易看出来的结论，先做加法和先做转置结果是一样的。

乘法和转置的关系，就不那么直观了。我们先看矩阵和矢量乘法的转置： (Ax)^{T} ，它是 A 列向量线性组合的转置；我们也可以先转置 A ，再对 A^{T} 的行向量线性组合，这个过程就是 x^{T}A^{T} ，因此 (Ax)^{T}=x^{T}A^{T} 。

AB=\begin{bmatrix}Ax_{1}&Ax_{2}&...&Ax_{n}\end{bmatrix} ，其中 B=\begin{bmatrix}x_{1}&x_{2}&...&x_{n}\end{bmatrix} 。根据上面的结论，我们不难得出 (AB)^{T}=\begin{bmatrix}x_{1}^{T}A^{T}\\x_{2}^{T}A^{T}\\...\\x_{n}^{T}A^{T}\end{bmatrix}=\begin{bmatrix}x_{1}^{T}\\x_{2}^{T}\\...\\x_{n}^{T}\end{bmatrix}A^{T}=B^{T}A^{T} 。

有了上面的性质，这条性质就容易证明了。 (AA^{-1})^{T}=I^{T}=I ，而(AA^{-1})^{T}=(A^{-1})^{T}A^{T} ，所以 (A^{-1})^{T}A^{T}=I ，也就是说 A^{T}的逆等于 (A^{-1})^{T} 。

尽管我们说转置就是矩阵的行列互换，但这样的定义并不“数学”！转置背后的数学思想和内积相关。对于列矢量，内积就是点乘。如果我们有两个矢量 x=\begin{bmatrix}x_{1}\\x_{2}\\x_{3}\end{bmatrix},y=\begin{bmatrix}y_{1}\\y_{2}\end{bmatrix} ，它们分别是 \mathbb{R}^{3} 和 \mathbb{R}^{2} 空间的矢量。如果我们有矩阵 A_{2\times3}=\begin{bmatrix}*&*&*\\*&*&*\end{bmatrix} ， Ax 就把 x 变为了 \mathbb{R}^{2} 空间的矢量， Ax 和 y 的内积等于 Ax\bullet y ；而 A^{T}y 把 y 变成了 \mathbb{R}^{3} 空间的矢量，它和 x 的内积等于 x\bullet A^{T}y ；我们可以证明如下等式： Ax\bullet y = (Ax)^{T}y=x^{T}(A^{T}y)=x\bullet A^{T}y 。对于任意 x,y ，只有 A 和 A^{T} 可以使这两个内积相等，这就是我们需要转置操作的意义。

上面证明过程的第一个等号我们用到了矢量点乘转换为矩阵乘法的表达式，因为这点很重要，后面会经常用到，而初学者往往不习惯这个等式，我在这里再解释一下：两个矢量 \vec{u}=\begin{bmatrix}u_{1}\\u_{2}\\u_{3}\end{bmatrix},\vec{v}=\begin{bmatrix}v_{1}\\v_{2}\\v_{3}\end{bmatrix} ，它们的点乘 \vec{u}\bullet \vec{v}=u_{1}v_{1}+u_{2}v_{2}+u_{3}v_{3} ；矢量也是矩阵，只不过我们要把第一个矩阵转置才能相乘： \vec{u}^{T}\vec{v}=\begin{bmatrix}u_{1}&u_{2}&u_{3}\end{bmatrix}\begin{bmatrix}v_{1}\\v_{2}\\v_{3}\end{bmatrix}=u_{1}v_{1}+u_{2}v_{2}+u_{3}v_{3}=\vec{u}\bullet \vec{v} 。

我们用一个具体的例子感受一下：A=\begin{bmatrix}-1&1&0\\0&-1&1\end{bmatrix} ，x=\begin{bmatrix}x_{1}\\x_{2}\\x_{3}\end{bmatrix},y=\begin{bmatrix}y_{1}\\y_{2}\end{bmatrix}，那么 Ax\bullet y =(\begin{bmatrix}-1&1&0\\0&-1&1\end{bmatrix}\begin{bmatrix}x_{1}\\x_{2}\\x_{3}\end{bmatrix})\bullet \begin{bmatrix}y_{1}\\y_{2}\end{bmatrix}=\begin{bmatrix}-x_{1}+x_{2}\\-x_{2}+x_{3}\end{bmatrix}\bullet \begin{bmatrix}y_{1}\\y_{2}\end{bmatrix} =(-x_{1}+x_{2})y_{1}+(-x_{2}+x_{3})y_{2} ；而 x\bullet A^{T}y=\begin{bmatrix}x_{1}\\x_{2}\\x_{3}\end{bmatrix}\bullet \begin{bmatrix}-1&0\\1&-1\\0&1\end{bmatrix}\begin{bmatrix}y_{1}\\y_{2}\end{bmatrix}=\begin{bmatrix}x_{1}\\x_{2}\\x_{3}\end{bmatrix}\bullet \begin{bmatrix}-y_{1}\\y_{1}-y_{2}\\y_{2}\end{bmatrix} =-x_{1}y_{1}+x_{2}(y_{1}-y_{2})+x_{3}y_{2} ，这就证明了对于任意 x, y 都有 Ax\bullet y =x\bullet A^{T}y 。

再多说几句，希望不要造成困扰。事实上，函数也是矢量，不同于列矢量，两个函数的内积定义为积分： (x,y)=\int_{-\infty}^{\infty}x(t)y(t)dt 。相对应的 A=\frac{d}{dt},A^{T}=-\frac{d}{dt} ，它们可以使得(Ax,y)=(x, A^{T}y) ,即 (Ax,y)=\int_{-\infty}^{\infty}\frac{dx}{dt}y(t)dt=\int_{-\infty}^{\infty}x(t)(-\frac{dy}{dt})dt=(x, A^{T}y) , 希望你还记得分部积分的公式。

转置操作不限于方阵，但只有方阵转置之后才可能和自己相等，如果一个方阵的转置就是它本身： S=\begin{bmatrix}1&2\\2&5\end{bmatrix}=S^{T} ，这样的方阵叫做对称矩阵（symmetric matrices），我们通常用专门的字母S表示对称矩阵。对角阵都是对称矩阵， D=\begin{bmatrix}1&0&0\\0&2&0\\0&0&3\end{bmatrix}=D^{T} 。

对称矩阵的逆也是对称矩阵。这是因为(S^{-1})^{T}=(S^{T})^{-1}=S^{-1} 。 \begin{bmatrix}1&2\\2&5\end{bmatrix}^{-1}=\begin{bmatrix}5&-2\\-2&1\end{bmatrix} ， \begin{bmatrix}1&0&0\\0&2&0\\0&0&3\end{bmatrix}^{-1}=\begin{bmatrix}1&0&0\\0&\frac{1}{2}&0\\0&0&\frac{1}{3}\end{bmatrix}

现在我们要讨论应用数学中一再出现的对称矩阵： AA^{T} 和 A^{T}A 。

首先思考一下这两个乘法的合法性。如果 A 是 m\times n 的，那么 A^{T} 就是 n\times m 的，因此 AA^{T}和A^{T}A 都合法，但 AA^{T}是 m\times m的， 而 A^{T}A是 n\times n 的。例如：A=\begin{bmatrix}-1&1&0\\0&-1&1\end{bmatrix} ， A^{T}=\begin{bmatrix}-1&0\\1&-1\\0&1\end{bmatrix} ， AA^{T}=\begin{bmatrix}-1&1&0\\0&-1&1\end{bmatrix}\begin{bmatrix}-1&0\\1&-1\\0&1\end{bmatrix}=\begin{bmatrix}2&-1\\-1&2\end{bmatrix}

A^{T}A=\begin{bmatrix}-1&0\\1&-1\\0&1\end{bmatrix}\begin{bmatrix}-1&1&0\\0&-1&1\end{bmatrix}=\begin{bmatrix}1&-1&0\\-1&2&-1\\0&-1&1\end{bmatrix} 。注意：即使 A 是方阵， AA^{T}和 A^{T}A 一般也是不相等的。

AA^{T} 和 A^{T}A 都是对称矩阵。我来证明第一个， (AA^{T})^{T}=(A^{T})^{T}A^{T}=AA^{T} 。第二个也可以利用同样的性质证明。

AA^{T} 和 A^{T}A 对角线上元素 \geq 0 。这是因为对角线的元素等于两个相同矢量的点乘，也就是矢量的长度，长度一定是\geq 0的。

例1： A^{T}A=0 当且仅当 A=0

证：充分性显而易见。我们来证必要性， A^{T}A 对角线上的元素(i,i)是 A 第i列列矢量长度的平方，只有当 A 每列都为0时长度平方才都为0，也就是必须满足 A=0 。

最后我们用一个例子说明一下对称矩阵的 LDU 分解是 S=LDL^{T} 。

对称矩阵S=\begin{bmatrix}1&4&0\\4&12&4\\0&4&0\end{bmatrix}，取E_{21}=\begin{bmatrix}1&0&0\\-4&1&0\\0&0&1\end{bmatrix}，E_{21}AE_{21}^{T}=\begin{bmatrix}1&0&0\\-4&1&0\\0&0&1\end{bmatrix}\begin{bmatrix}1&\boxed{{\color{red}4}}&0\\\boxed{{\color{red}4}}&12&4\\0&4&0\end{bmatrix}\begin{bmatrix}1&-4&0\\0&1&0\\0&0&1\end{bmatrix}=\begin{bmatrix}1&\boxed{{\color{red}0}}&0\\\boxed{{\color{red}0}}&-4&4\\0&4&0\end{bmatrix}，左乘E_{21}消除(2,1)位置元素的同时，根据对称性，右乘E_{21}^{T}一定可以消除(1,2)位置的元素。

新的矩阵S^{'}=\begin{bmatrix}1&0&0\\0&-4&4\\0&4&0\end{bmatrix}仍然是对称矩阵。再继续下一步，取E_{32}=\begin{bmatrix}1&0&0\\0&1&0\\0&1&1\end{bmatrix}，同样的E_{32}A^{'}E_{32}^{T}=E_{32}(E_{21}AE_{21}^{T})E_{32}^{T}=\begin{bmatrix}1&0&0\\0&1&0\\0&1&1\end{bmatrix}\begin{bmatrix}1&0&0\\0&-4&\boxed{{\color{red}4}}\\0&\boxed{{\color{red}4}}&0\end{bmatrix}\begin{bmatrix}1&0&0\\0&1&1\\0&0&1\end{bmatrix}=\begin{bmatrix}1&0&0\\0&-4&\boxed{{\color{red}0}}\\0&\boxed{{\color{red}0}}&4\end{bmatrix}=D。细看A的左右，这些矩阵乘在一起恰好是E和E^{T}，所以我们可以得出结论EAE^{T}=D，也就是A=E^{-1}D({E}^{T})^{-1}=E^{-1}D({E}^{-1})^{T}=LDL^{T}。

【总结】