[线性模型总结] 线性回归+方差分析+协方差分析+混合效应+面板数据模型

线性模型是一类统计模型的总称，它包括了线性回归模型、方差分析模型、协方差分析模型和线性混合效应模型（或称方差分量模型）等。许多生物、医学、经济、管理、地质、气象、农业、工业、工程技术等领域的现象都可以用线性模型来近似描述。因此线性模型成为现代统计学中应用最为广泛的模型之一。这里将简单介绍线性模型的基本理论和方法以及实际应用。

线性回归模型是最常见的一类线性模型，它的数学基础是回归分析，即用回归分析方法建立线性模型，用以揭示经济现象中的因果关系，被广泛的应用于社会经济现象变量之间的影响因素和关联的研究。线性回归模型根据所涉及变量的多少不同，可以分为简单线性回归模型和多元线性回归模型。

一元线性回归模型又称为简单线性回归模型，是指两个变量之间的回归。其一般形式为： Y = β 0 + β 1 X + e Y=\beta _0+\beta _1X+e Y=β0​+β1​X+e 其中，Y通常称为因变量或被解释变量，X称为自变量或解释变量。 β 0 \beta _0 β0​和 β 1 \beta _1 β1​为模型的待估参数，e为随机误差项。 对于一元线性回归模型，满足如下基本假设： （1）随机误差项e是一个期望值为0的随机向量，即 E ( e ) = 0 E\left( e \right) =0 E(e)=0。对于一个给定的X值，Y的期望值为 E ( Y ) = β 0 + β 1 X E\left( Y \right) =\beta _0+\beta _1X E(Y)=β0​+β1​X （2）对于所有的X值，随机误差项e的方差都相同。即 V a r ( e i ) = σ 2 Var\left( e_i \right) =\sigma ^2 Var(ei​)=σ2 （3）误差项e是一个服从正态分布的随机向量，且相互独立。即 e ∼ N ( 0 , σ 2 ) e\sim N\left( 0,\sigma ^2 \right) e∼N(0,σ2)

总体回归参数 β 0 \beta _0 β0​和 β 1 \beta _1 β1​是未知的，必须利用样本数据去估计。用样本统计量 β ^ 0 \hat{\beta}_0 β^​0​和 β ^ 1 \hat{\beta}_1 β^​1​代替回归方程中的未知参数。可以得到估计的回归方程为： Y ^ = β ^ 0 + β ^ 1 X \hat{Y}=\hat{\beta}_0+\hat{\beta}_1X Y^=β^​0​+β^​1​X 回归系数的确定可以运用最小二乘法估计回归系数。最小二乘法是使因变量的观察值与估计值之间的离差平方和达到最小来求得 β 0 \beta _0 β0​和 β 1 \beta _1 β1​的方法。即 Q ( β ^ 0 , β ^ 1 ) = ∑ i = 1 n e i 2 = ∑ i = 1 n ( Y i − Y ^ i ) 2 = ∑ i = 1 n ( Y i − β ^ 0 − β ^ 1 X i ) 2 = 最小 Q\left( \hat{\beta}_0,\hat{\beta}_1 \right) =\sum_{i=1}^n{e_i^2=}\sum_{i=1}^n{\left( Y_i-\hat{Y}_i \right) ^2=}\sum_{i=1}^n{\left( Y_i-\hat{\beta}_0-\hat{\beta}_1X_i \right) ^2=}\text{最小} Q(β^​0​,β^​1​)=i=1∑n​ei2​=i=1∑n​(Yi​−Y^i​)2=i=1∑n​(Yi​−β^​0​−β^​1​Xi​)2=最小 由多元微分学可知，使Q达到最小的 β 0 \beta _0 β0​和 β 1 \beta _1 β1​必须满足 { ∂ Q ∂ β 0 = − 2 ∑ i = 1 n ( Y i − β ^ 0 − β ^ 1 X i ) = 0 ∂ Q ∂ β 1 = − 2 ∑ i = 1 n ( Y i − β ^ 0 − β ^ 1 X i ) X i = 0 \left\{ \begin{array}{l} \frac{\partial Q}{\partial \beta _0}=-2\sum_{i=1}^n{\left( Y_i-\hat{\beta}_0-\hat{\beta}_1X_i \right)}=0\\ \\ \frac{\partial Q}{\partial \beta _1}=-2\sum_{i=1}^n{\left( Y_i-\hat{\beta}_0-\hat{\beta}_1X_i \right)}X_i=0\\ \end{array} \right. ⎩⎪⎪⎨⎪⎪⎧​∂β0​∂Q​=−2∑i=1n​(Yi​−β^​0​−β^​1​Xi​)=0∂β1​∂Q​=−2∑i=1n​(Yi​−β^​0​−β^​1​Xi​)Xi​=0​ 求解上述方程可解得： { β ^ 1 = n ∑ Y i X i − ∑ Y i ∑ X i n ∑ X i 2 − ( ∑ X i ) 2 β ^ 0 = Y ˉ − β ^ 1 X ˉ \left\{ \begin{array}{l} \hat{\beta}_1=\frac{n\sum{Y_iX_i-\sum{Y_i\sum{X_i}}}}{n\sum{X_i^2-\left( \sum{X_i} \right) ^2}}\\ \\ \hat{\beta}_0=\bar{Y}-\hat{\beta}_1\bar{X}\\ \end{array} \right. ⎩⎪⎨⎪⎧​β^​1​=n∑Xi2​−(∑Xi​)2n∑Yi​Xi​−∑Yi​∑Xi​​β^​0​=Yˉ−β^​1​Xˉ​ 一元线性回归模型的统计检验主要包括拟合优度检验、变量的显著性检验及参数检验的置信区间估计。

一、拟合优度检验

Y的观测值围绕其均值的总离差平方和可以分解为两个部分：一个部分来自回归线，另一部分则来自随机势力。因此，可用来自回归线的平方和ESS占Y的总离差平方和TSS的比例来判断样本回归线与样本观测值的拟合优度。因此根据上述关系可以用

R 2 = E S S T S S = ∑ i = 1 n ( Y ^ i − Y ˉ ) 2 ∑ i = 1 n ( Y i − Y ˉ ) 2 = 1 − ∑ i = 1 n ( Y i − Y ^ ) 2 ∑ i = 1 n ( Y i − Y ˉ ) 2 R^2=\frac{ESS}{TSS}=\frac{\sum_{i=1}^n{\left( \hat{Y}_i-\bar{Y} \right) ^2}}{\sum_{i=1}^n{\left( Y_i-\bar{Y} \right) ^2}}=1-\frac{\sum_{i=1}^n{\left( Y_i-\hat{Y} \right) ^2}}{\sum_{i=1}^n{\left( Y_i-\bar{Y} \right) ^2}} R2=TSSESS​=∑i=1n​(Yi​−Yˉ)2∑i=1n​(Y^i​−Yˉ)2​=1−∑i=1n​(Yi​−Yˉ)2∑i=1n​(Yi​−Y^)2​ 检验模型的拟合优度，其中 R 2 R^2 R2称为可决系数，反映回归直线的拟合程度，取值范围在[0,1]之间。 R 2 R^2 R2越趋近于1，说明回归方程拟合程度越好；越靠近0，说明回归方程拟合程度越差。

二、变量的显著性检验

变量的显著性检验是对模型中解释变量与被解释变量之间的线性关系是否显著成立作出推断，或者说检验解释变量是否对被解释变量有显著的线性影响。

（1） 回归系数的显著性检验（t检验） 提出假设 H 0 ： β 1 = 0 ↔ H 1 ： β 1 ≠ 0 H_0\text{：}\beta _1=0\leftrightarrow H_1\text{：}\beta _1\ne 0 H0​：β1​=0↔H1​：β1​​=0 计算检验统计量： t = β ^ 1 S β ^ 1 ∼ t ( n − 2 ) t=\frac{\hat{\beta}_1}{S_{\hat{\beta}_1}}\sim t\left( n-2 \right) t=Sβ^​1​​β^​1​​∼t(n−2) 确定显著性水平α，得到一个临界值 t α 2 ( n − 2 ) t_{\frac{\alpha}{2}}\left( n-2 \right) t2α​​(n−2)，并进行决策。

若 ∣ t ∣ > t α 2 ( n − 2 ) \left| t \right|>t_{\frac{\alpha}{2}}\left( n-2 \right) ∣t∣>t2α​​(n−2)，则在α的显著性水平下拒绝原假设 H 0 H_0 H0​，即变量X是显著的，通过变量的显著性检验；若 ∣ t ∣ < t α 2 ( n − 2 ) \left| t \right|F_{\alpha}\left( 1,n-2 \right) F>Fα​(1,n−2)拒绝 H 0 H_0 H0​；若 F < F α ( 1 , n − 2 ) F