协方差矩阵及其计算方法

例：如果观测 N N N个人的体重 w w w和身高 h h h，这样会形成 R 2 R^2 R2的样本空间，观测向量 X j X_j Xj​（ X j ⊆ R 2 X_j\subseteq R^2 Xj​⊆R2）表示第 j j j个人体重和身高，观测矩阵可以表示为：

[ w 1 w 1 … w N h 1 h 2 … h N ] \begin{bmatrix}w_1&w_1&\dots &w_N\\h_1&h_2&\dots &h_N \end{bmatrix} [w1​h1​​w1​h2​​……​wN​hN​​]

其中： X 1 = [ w 1 h 1 ] X_1=\begin{bmatrix}w_1\\h_1 \end{bmatrix} X1​=[w1​h1​​]， X 2 = [ w 2 h 2 ] X_2=\begin{bmatrix}w_2\\h_2 \end{bmatrix} X2​=[w2​h2​​]， X N = [ w N h N ] X_N=\begin{bmatrix}w_N\\h_N \end{bmatrix} XN​=[wN​hN​​]，这些为观测向量。

假设 [ X 1 X 2 … X N ] [X_1\quad X_2\quad \dots \quad X_N] [X1​X2​…XN​]是 p × N p\times N p×N的观测矩阵，观测向量 X 1 X_1 X1​、 X 2 X_2 X2​和 X N X_N XN​的样本均值 M M M为：

M = 1 N ( X 1 + X 2 + ⋯ + X N ) M=\dfrac{1}{N}(X_1+X_2+\dots +X_N) M=N1​(X1​+X2​+⋯+XN​)

如果将原观测测向量画成散列图（scatter），那么样本均值 M M M就是散列图中数据的中心。

令 X ^ k = X k − M \hat{X}_{k}=X_k-M X^k​=Xk​−M， k = 1 , 2 , … , N k=1,2,\dots ,N k=1,2,…,N

则构成新的矩阵 B = [ X ^ 1 X ^ 2 … X ^ N ] B=[\hat{X}_{1}\quad \hat{X}_{2}\quad \dots \quad \hat{X}_{N}] B=[X^1​X^2​…X^N​]，此矩阵 B B B称为平均偏差形式，且具有零样本均值。矩阵 B B B的散列图的中心在坐标原点。

协方差矩阵（covariance matrix）：协方差矩阵是一个 p × p p\times p p×p的矩阵 S S S，且满足： S = 1 N − 1 B B T S=\dfrac{1}{N-1}BB^T S=N−11​BBT

由于任何具有 B B T BB^T BBT的矩阵都是半正定的（如果 B B B是 m × n m\times n m×n的矩阵，那么 B B T BB^T BBT是半正定的），所以 S S S也是半正定的。

注：协方差矩阵也常记作 Σ \Sigma Σ

例：从一个总体中随机抽取4个样本做3次测量，每个样本的观测向量为： X 1 = [ 1 2 1 ] X_1=\begin{bmatrix}1\\2\\1 \end{bmatrix} X1​=⎣⎡​121​⎦⎤​， X 2 = [ 4 2 13 ] X_2=\begin{bmatrix}4\\2\\13 \end{bmatrix} X2​=⎣⎡​4213​⎦⎤​， X 3 = [ 7 8 1 ] X_3=\begin{bmatrix}7\\8\\1 \end{bmatrix} X3​=⎣⎡​781​⎦⎤​， X 4 = [ 8 4 5 ] X_4=\begin{bmatrix}8\\4\\5 \end{bmatrix} X4​=⎣⎡​845​⎦⎤​， 求样本均值及协方差矩阵。

解：

样本均值：

M = 1 4 ( [ 1 2 1 ] + [ 4 2 13 ] + [ 7 8 1 ] + [ 8 4 5 ] ) = 1 4 [ 20 16 20 ] = [ 5 4 5 ] M=\dfrac{1}{4}(\begin{bmatrix}1\\2\\1 \end{bmatrix}+\begin{bmatrix}4\\2\\13 \end{bmatrix}+\begin{bmatrix}7\\8\\1 \end{bmatrix}+\begin{bmatrix}8\\4\\5 \end{bmatrix})=\dfrac{1}{4}\begin{bmatrix}20\\16\\20 \end{bmatrix}=\begin{bmatrix}5\\4\\5 \end{bmatrix} M=41​(⎣⎡​121​⎦⎤​+⎣⎡​4213​⎦⎤​+⎣⎡​781​⎦⎤​+⎣⎡​845​⎦⎤​)=41​⎣⎡​201620​⎦⎤​=⎣⎡​545​⎦⎤​

从 X 1 X_1 X1​、 X 2 X_2 X2​和 X N X_N XN​中减去样本均值 M M M得：

X 1 ^ = [ − 4 − 2 − 4 ] \hat{X_1}=\begin{bmatrix}-4\\-2\\-4 \end{bmatrix} X1​^​=⎣⎡​−4−2−4​⎦⎤​， X 2 ^ = [ − 1 − 2 8 ] \hat{X_2}=\begin{bmatrix}-1\\-2\\8 \end{bmatrix} X2​^​=⎣⎡​−1−28​⎦⎤​， X 3 ^ = [ 2 4 − 4 ] \hat{X_3}=\begin{bmatrix}2\\4\\-4 \end{bmatrix} X3​^​=⎣⎡​24−4​⎦⎤​， X 4 ^ = [ 3 0 0 ] \hat{X_4}=\begin{bmatrix}3\\0\\0 \end{bmatrix} X4​^​=⎣⎡​300​⎦⎤​

所以得到 B B B矩阵：

B = [ − 4 − 1 2 3 − 2 − 2 4 0 − 4 8 − 4 0 ] B=\begin{bmatrix}-4&-1&2&3\\-2&-2&4&0\\-4&8&-4&0 \end{bmatrix} B=⎣⎡​−4−2−4​−1−28​24−4​300​⎦⎤​

矩阵 B B B为原样本经过居中处理后的样本。

所以，样本的协方差矩阵 S S S为：

S = 1 N − 1 B B T = 1 4 − 1 [ − 4 − 1 2 3 − 2 − 2 4 0 − 4 8 − 4 0 ] [ − 4 − 2 − 4 − 1 − 2 8 2 4 − 4 3 0 0 ] = 1 3 [ 30 18 0 18 24 − 24 0 − 24 96 ] = [ 10 6 0 6 8 − 8 0 − 8 32 ] S=\dfrac{1}{N-1}BB^T=\dfrac{1}{4-1}\begin{bmatrix}-4&-1&2&3\\-2&-2&4&0\\-4&8&-4&0 \end{bmatrix}\begin{bmatrix}-4&-2&-4\\-1&-2&8\\2&4&-4\\3&0&0 \end{bmatrix}=\dfrac{1}{3}\begin{bmatrix}30&18&0\\18&24&-24\\0&-24&96 \end{bmatrix}=\begin{bmatrix}10&6&0\\6&8&-8\\0&-8&32 \end{bmatrix} S=N−11​BBT=4−11​⎣⎡​−4−2−4​−1−28​24−4​300​⎦⎤​⎣⎢⎢⎡​−4−123​−2−240​−48−40​⎦⎥⎥⎤​=31​⎣⎡​30180​1824−24​0−2496​⎦⎤​=⎣⎡​1060​68−8​0−832​⎦⎤​

用 x 1 , x 2 , … , x p x_1,x_2,\dots,x_p x1​,x2​,…,xp​表示 X X X的坐标，例如 x 1 x_1 x1​是 X 1 , X 2 , … , X N X_1,X_2,\dots,X_N X1​,X2​,…,XN​集合中变化的第一个坐标的数值。对 j = 1 , 2 , … , p j=1,2,\dots,p j=1,2,…,p（本例中 p = 3 p=3 p=3， N = 4 N=4 N=4），矩阵 S S S的对角线元素 s j j s_{jj} sjj​就是 x j x_j xj​的方差， x j x_j xj​的方差用于度量 x j x_j xj​值的分散性。 所以本例中， x 1 x_1 x1​方差为10， x 2 x_2 x2​方差为8， x 3 x_3 x3​方差为32。 x 3 x_3 x3​方差为32，大于 x 1 x_1 x1​方差10，这表明对应向量中第三个元素的集合包含比第一个元素的集合更大的取值范围。

数据的总方差是矩阵 S S S对角线上方差的和，也就是 S S S的迹（trace） t r ( S ) tr(S) tr(S)。

矩阵 S S S中的元素 s i j ( i ≠ j ) s_{ij}(i\ne j) sij​(i​=j)称为 x i x_i xi​和 x j x_j xj​的协方差。

协方差就是不同维度的数据（减去平均值后，即居中处理后）的点积，再乘以 1 N − 1 \dfrac{1}{N-1} N−11​。 x 1 x_1 x1​、 x 2 x_2 x2​和 x 3 x_3 x3​在本例中是4个样本的三个维度，即 x 1 = [ − 4 − 1 2 3 ] x_1=[-4\quad -1 \quad 2 \quad 3] x1​=[−4−123]， x 2 = [ − 2 − 2 4 0 ] x_2=[-2\quad -2 \quad 4 \quad 0] x2​=[−2−240]， x 3 = [ − 4 8 − 4 0 ] x_3=[-4\quad 8 \quad -4 \quad 0] x3​=[−48−40]。

本例中， x 1 x_1 x1​和 x 3 x_3 x3​之间的协方差是0，这是因为 s 13 = 0 s_{13}=0 s13​=0，这种情况在统计学上被称为： x 1 x_1 x1​和 x 3 x_3 x3​是无关的。

如果大部分或者所有变量 x 1 x_1 x1​、 x 2 x_2 x2​…、 x p x_p xp​是无关的，即当 X 1 , X 2 , … , X N X_1,X_2,\dots,X_N X1​,X2​,…,XN​的协方差矩阵是对角阵或几乎是对角阵时， X 1 , X 2 , … , X N X_1,X_2,\dots,X_N X1​,X2​,…,XN​中多变量的数据的分析可以简化。