主成分分析的本质是降维，她能够将多个指标转换为少数几个主成分。这些主成分之间互不相关，且是原变量的线性组合。通过对主成分的分析便可对原始数据有一个较为准确的把握。

假设有 n n n 个样本， p p p 个指标，则可构成大小为 n × p n \times p n×p 的样本矩阵 x x x： x = [ x 11 x 12 ⋯ x 1 p x 21 x 22 ⋯ x 2 p ⋮ ⋮ ⋱ ⋮ x n 1 x n 2 ⋯ x n p ] x = \begin{bmatrix} x_{11} & x_{12} & \cdots & x_{1p} \\ x_{21} & x_{22} & \cdots & x_{2p} \\ \vdots & \vdots & \ddots & \vdots \\ x_{n1} & x_{n2} & \cdots & x_{np} \end{bmatrix} x=⎣⎢⎢⎢⎡​x11​x21​⋮xn1​​x12​x22​⋮xn2​​⋯⋯⋱⋯​x1p​x2p​⋮xnp​​⎦⎥⎥⎥⎤​ 假设想要找到一组变量 z 1 , z 2 , ⋯   , z m ( m ≤ p ) z_1, z_2, \cdots, z_m (m \leq p) z1​,z2​,⋯,zm​(m≤p)，且满足： { z 1 = l 11 x 1 + l 12 x 2 + ⋯ + l 1 p x p z 2 = l 21 x 1 + l 22 x 2 + ⋯ + l 2 p x p ⋮ z m = l m 1 x 1 + l m 2 x 2 + ⋯ + l m p x p \left\{ \begin{aligned} &z_1 = l_{11}x_1 + l_{12}x_2 + \cdots + l_{1p}x_p \\ & z_2 = l_{21}x_1 + l_{22}x_2 + \cdots + l_{2p}x_p \\ \vdots \\ &z_m = l_{m1}x_1 + l_{m2}x_2 + \cdots + l_{mp}x_p \end{aligned} \right. ⎩⎪⎪⎪⎪⎪⎨⎪⎪⎪⎪⎪⎧​⋮​z1​=l11​x1​+l12​x2​+⋯+l1p​xp​z2​=l21​x1​+l22​x2​+⋯+l2p​xp​zm​=lm1​x1​+lm2​x2​+⋯+lmp​xp​​ 系数 l i j l_{ij} lij​ 的确定原则： （1） z i z_i zi​ 与 z j ( i ≠ j ; i , j = 1 , 2 , ⋯   , m ) z_j(i \neq j; i, j = 1, 2, \cdots, m) zj​(i​=j;i,j=1,2,⋯,m) 相互无关； （2） z 1 z_1 z1​ 是 x 1 , x 2 , ⋯   , x p x_1, x_2, \cdots, x_p x1​,x2​,⋯,xp​ 的一切线性组合中方差最大者； （3） z 2 z_2 z2​ 是与 z 1 z_1 z1​ 不相关的 x 1 , x 2 , ⋯   , x p x_1, x_2, \cdots, x_p x1​,x2​,⋯,xp​ 的所有线性组合中方差最大者； （4）以此类推，从而可以确定 l i j l_{ij} lij​。

对原始数据矩阵进行标准化处理 按列计算均值 x j ˉ = 1 n ∑ i = 1 n x i j \bar{x_j} = \frac{1}{n}\sum_{i = 1}^{n}x_{ij} xj​ˉ​=n1​∑i=1n​xij​ 和标准差 S j = ∑ i = 1 n ( x i j − x j ˉ ) 2 n − 1 S_j = \sqrt{\frac{\sum_{i = 1}^{n}(x_{ij} - \bar{x_j})^2}{n - 1}} Sj​=n−1∑i=1n​(xij​−xj​ˉ​)2​ ​ ，计算的标准化数据 X i j = x i j − x j ˉ S j X_{ij} = \frac{x_{ij} - \bar{x_j}}{S_j} Xij​=Sj​xij​−xj​ˉ​​，从而可以得到原始数据进行标准化后的矩阵： X = [ X 11 X 12 ⋯ X 1 p X 21 X 22 ⋯ X 2 p ⋮ ⋮ ⋱ ⋮ X n 1 X n 2 ⋯ X n p ] X = \begin{bmatrix} X_{11} & X_{12} & \cdots & X_{1p} \\ X_{21} & X_{22} & \cdots & X_{2p} \\ \vdots & \vdots & \ddots & \vdots \\ X_{n1} & X_{n2} & \cdots & X_{np} \end{bmatrix} X=⎣⎢⎢⎢⎡​X11​X21​⋮Xn1​​X12​X22​⋮Xn2​​⋯⋯⋱⋯​X1p​X2p​⋮Xnp​​⎦⎥⎥⎥⎤​

计算标准样本的协方差矩阵 r i j = 1 n − 1 ∑ i = 1 n ( X k i − X ˉ i ) ( X k j − X ˉ j ) = 1 n − 1 ∑ i = 1 n X k i X k j r_{ij} = \frac{1}{n - 1}\sum_{i = 1}^{n}(X_{ki} - \bar{X}_i)(X_{kj} - \bar{X}_j) = \frac{1}{n - 1}\sum_{i = 1}^{n}X_{ki}X_{kj} rij​=n−11​i=1∑n​(Xki​−Xˉi​)(Xkj​−Xˉj​)=n−11​i=1∑n​Xki​Xkj​ 从而可以得到协方差矩阵： R = [ r 11 r 12 ⋯ r 1 p r 21 r 22 ⋯ r 2 p ⋮ ⋮ ⋱ ⋮ r p 1 r p 2 ⋯ r p p ] R = \begin{bmatrix} r_{11} & r_{12} & \cdots & r_{1p} \\ r_{21} & r_{22} & \cdots & r_{2p} \\ \vdots & \vdots & \ddots & \vdots \\ r_{p1} & r_{p2} & \cdots & r_{pp} \end{bmatrix} R=⎣⎢⎢⎢⎡​r11​r21​⋮rp1​​r12​r22​⋮rp2​​⋯⋯⋱⋯​r1p​r2p​⋮rpp​​⎦⎥⎥⎥⎤​

计算 R R R 的特征值和特征向量 特征值： λ 1 ≥ λ 2 ≥ ⋯ ≥ λ p ≥ 0 \lambda_1 \geq \lambda_2 \geq \cdots \geq \lambda_p \geq 0 λ1​≥λ2​≥⋯≥λp​≥0 特征向量：KaTeX parse error: Undefined control sequence: \cdtos at position 150: …\end{bmatrix}, \̲c̲d̲t̲o̲s̲, a_p = \begin…

计算主成分贡献率以及累计贡献率

贡献率 = λ i ∑ k = 1 p λ k ( i = 1 , 2 , ⋯   , p ) \frac{\lambda_i}{\sum_{k = 1}^{p}\lambda_k} (i = 1, 2, \cdots, p) ∑k=1p​λk​λi​​(i=1,2,⋯,p)

累计贡献率 = ∑ k = 1 i λ k ∑ k = 1 p λ k ( i = 1 , 2 , ⋯   , p ) \frac{\sum_{k = 1}^{i}\lambda_k}{\sum_{k = 1}^{p}\lambda_k} (i = 1, 2, \cdots, p) ∑k=1p​λk​∑k=1i​λk​​(i=1,2,⋯,p)

写出主成分 第 i i i 个主成分： F i = a 1 i X 1 + a 2 i X 2 + ⋯ + a p i X p ( i = 1 , 2 , ⋯   , m ) F_i = a_{1i}X_1 + a_{2i}X_2 + \cdots + a_{pi}X_p (i = 1, 2, \cdots, m) Fi​=a1i​X1​+a2i​X2​+⋯+api​Xp​(i=1,2,⋯,m)

根据系数分析主成分代表的意义 对于每个主成分而言，指标前面的系数越大，代表该指标对于主成分的影响越大。注意：对于主成分的解释往往是最困难的一步。

主成分的解释往往带有一点模糊性，没有原始变量那么清晰透彻，许多人将它称为降维的代价。一旦主成分中某个主成分无法解释，那么整个主成分分析也就失败了。

主成分聚类 计算出主成分之后，可以将其视为新的指标，然后再SPSS中进行聚类分析。

主成分回归 主成分回归可以用于解决多重共线性的问题。计算出主成分后将其视为自变量，便可以在Stata中进行回归分析。注意进行异方差检验哦~~~

关于多重共线性下，主成分回归和逐步回归的选取：