设为首页收藏本站

开启辅助访问

【SPSS操作】回归分析：异方差问题

您所在的位置：网站首页 › spss建立线性回归模型步骤 › 【SPSS操作】回归分析：异方差问题

【SPSS操作】回归分析：异方差问题

2024-07-01 10:02| 来源: 网络整理| 查看: 265

目录

一、建立回归模型

二、异方差性检验

（1）残差图分析法

（2）等级相关系数法

三、一元加权最小二乘估计

四、多元加权最小二乘估计

五、加权最小二乘法处理异方差性

（1）寻找最优权函数

（2）重新建立回归模型

（3）异方差性检验——权变换残差图

（4）模型效果分析

六、选用加权最小二乘法时应清楚的点

一、建立回归模型【导入数据】【分析】【回归】【线性】，将“y”选入“因变量”，“x1,x2”选入“自变量”，在【保存】中勾选残差【未标准化】，系统会在原数据框内新保存为RES_1

（结果如下图所示）

由上述结果可以看出，普通最小二乘的回归方程为：

$\hat {y}=-327.039+2.036x_{1}+0.468x_2$ ……(1)

在对模型进行F检验和T检验时发现，当 $\alpha =0.05$ 时，两检验对应的P值均小于 $\alpha$ ，即表明F检验和T检验均通过，模型构建良好。

二、异方差性检验

（由于误差项 $\varepsilon _{i}$ 不可获，故研究其估计值——残差 $e_{i}$ ）

（1）残差图分析法—— $(x,e_{i})$ 【图形】【旧对话框】【散点图】【简单散点图】，将“x1”选入“X轴”，“RES_1”选入“Y轴”

（结果如下图所示）

【图形】【旧对话框】【散点图】【简单散点图】，将“x2”选入“X轴”，“RES_1”选入“Y轴”

（结果如下图所示）

由第二个图可以看出，残差e值随着x2的增大有明显的开口扩大趋势，即可以认为存在异方差性。

残差散点图的横坐标有三种选择：

（1）拟合值 $\hat{y}$ ；（2） $x_{i}(i=1,2,\cdots ,p)$ ；（3）观测时间或序号

（2）等级相关系数法—— $r_{s}$

（又称斯皮尔曼检验法）

相关知识：

等级相关系数： $r_{s}=1-\frac{6}{n(n^{2}-1)} \sum_{i=1}^{n}d_{i}^{2}$ 。其中，n为样本量， $d_{i}$ 为对应 $x_{i}$ 和 $\left |e_{i} \right |$ 的等级的差数。（补充：将 $x_{i}$ 和 $\left |e_{i} \right |$ 按递增或递减的次序排列后分成等级，计算其差数即为 $d_{i}$ ）做等级相关系数的显著性检验：

给出假设： $H_{0}:r_{s}=0$ （系统相关性不存在，即有异方差不存在）

$H_{1}:r_{s}\neq 0$

检验统计量t满足： $t=\frac{\sqrt{n-2}r_{s}}{\sqrt{1-r_{s}^{2}}}\sim t(n-2)$

若 $\left | t \right |\leqslant t_{\alpha /2}(n-2)$ ，或者 $P \alpha$ ，则接受 $H_{0}$ ，可以认为异方差性问题不存在；

若 $\left | t \right | t_{\alpha /2}(n-2)$ ，或者 $P\leqslant \alpha$ ，则拒绝 $H_{0}$ ，说明 $x_{i}$ 与 $\left |e_{i} \right |$ 存在系统关系，异方差性问题存在。

【转换】【计算变量】，在目标变量框内输入“abse”，用来表示“ $\left | e_i \right |$ ”，在数字表达式内输入“abs(RES_1)”

【分析】【相关】【双变量】，选中“x1,x2,abse”，在相关系数中选择【斯皮尔曼】

（结果如下图所示）

结果见上表所示，只关注最后三行，不难发现：当 $\alpha =0.05$ 时，x2对应的P值小于 $\alpha$ ，即表明存在异方差性。

再看x2与 $\left | e_i \right |$ 的相关系数 $r_{s}=0.721$ ，大于x1与 $\left | e_i \right |$ 的相关系数，故说明本题应该选用x2构造权函数，即为：

$W=x_2^m$

三、一元加权最小二乘估计

相关知识：

消除异方差性的方法通常有：加权最小二乘法，BOX-COX变换法，方差稳定性变换法。其中，加权最小二乘法是一种最常用的方法。

对于一元线性回归方程来说，普通最小二乘法的离差平方和为：

$Q(\beta _{0},\beta _{1})=\sum_{i=1}^{n}(y_{i}-E(y_{i}))^{2}=\sum_{i=1}^{n}(y_{i}-\beta _{0}-\beta _{1}x_{i})^{2}$ ……(1)

在等方差的情况下，平方和中各项的地位相同。然而，在异方差的情况下，平方和中的每一项地位是不同的。加权最小二乘法既是在平方和中加入了一个适当的权数 $w_{i}$ ，以调整各项在平方和中的作用。

一元线性回归的加权最小二乘的离差平方和为：

$Q_{w}(\beta _{0},\beta _{1})=\sum_{i=1}^{n}w_{i}(y_{i}-E(y_{i}))^{2}=\sum_{i=1}^{n}w_{i}(y_{i}-\beta _{0}-\beta _{1}x_{i})^{2}$ ……(2)

其中， $w_{i}$ 为给定的第i个观测值的权数。

加权最小二乘法就是寻找参数 $\beta _{0},\beta _{1}$ 的估计值 $\hat{\beta} _{0w},\hat{\beta} _{1w}$ ，使得(2)式的离差平方和 $Q_{w}$ 达到极小。如果所有权数相等，即 $w_{i}$ 都等于某个常数，该方法即为普通最小二乘法。

可以证明加权最小二乘估计为：

$\left\{\begin{matrix} \hat{\beta} _{0w}=\bar{y}_{w}-\hat{\beta} _{1w}\bar{x}_{w}\\ \hat{\beta} _{1w}=\frac{\sum_{i=1}^{n}w_{i}(x_{i}-\bar{x}_{w})(y_{i}-\bar{y}_{w})}{\sum_{i=1}^{n}w_{i}(x_{i}-\bar{x}_{w})^{2}} \end{matrix}\right.$ ……(3)

其中， $\bar{x}_{w}=\frac{1}{\sum w_{i}}\sum w_{i}x_{i}$ 为自变量的加权平均； $\bar{y}_{w}=\frac{1}{\sum w_{i}}\sum w_{i}y_{i}$ 为因变量的加权平均。

可直接给出权函数为：

$w_{i}=x_{i}^{m}$ ……(4)

四、多元加权最小二乘估计

相关知识：

对于一般的多元线性回归方程来说，加权最小二乘法的离差平方和为：

$Q_{w}=\sum_{i=1}^{n}w_{i}(y_{i}-\beta _{0}-\beta _{1}x_{i1}-\beta _{2}x_{i2}-\cdots -\beta _{p}x_{ip})^{2}$ ……(5)

其中， $w_{i}$ 为给定的第i个观测值的权数。

加权最小二乘法就是寻找参数 $\beta _{0},\beta _{1},\beta _{2},\cdots ,\beta _{p}$ 的估计值 $\hat{\beta} _{0w},\hat{\beta} _{1w},\hat{\beta} _{2w},\cdots ,\hat{\beta} _{pw}$ ，使得(5)式的离差平方和 $Q_{w}$ 达到极小。记

$W=\begin{bmatrix} w_{1} & & &\vdots \\ &w_{2} & & \\ & & \ddots & \\ \vdots & & & w_{n} \end{bmatrix}$

可以证明加权最小二乘估计的矩阵表达式为：

$\hat{\beta }_{w}=(X'WX)^{-1}X'Wy$ ……(6)

可直接给出权函数为：

$W=x_{j}^{m}$ ……(7)

由上式不难看出，权函数W是关于某样本量 $x_{j}(j=1,2,\cdots ,p)$ 的幂函数。

那么，如何确定应该选取哪一个自变量，用于构造权函数呢？只需计算各自变量 $x_{j}$ 与普通残差的等级相关系数 $r_{s}$ ，选取等级相关系数最大的自变量（对异方差影响最大）即可。

五、加权最小二乘法处理异方差性（1）寻找最优权函数 $w_{i}=x_{i}^{m} oror W=x_{j}^{m}$

——首先，先找 $m$ ：

【分析】【回归】【权重估算】，将“y”选入“因变量”，“x1,x2”选入“自变量”，再将“x2”选入“权重变量”，其余暂时默认

（结果如下图所示）

由上述结果可以看出，当幂m=2时，对数似然值为最大。

因为幂为2时恰为边界值，故再继续修改幂的范围，进一步观察并确定结果：

【分析】【回归】【权重估算】，将幂的范围从“-2到2”，修改为“-2到4”

（结果如下图所示）

由上述结果可以看出，当幂m=2.5时，对数似然值为最大。因为本题中未考虑经济意义，故综上所述，我们最终确定幂m=2.5。

补充：

若经济意义已知，那么还应该考虑模型的经济意义。假定在考虑经济意义的情况下，幂的最优取值为 $m_0$ 。此时对应的似然值不一定为最大，可再令最大似然值对应的幂为 $m_1$ 。

一般情况下，由于 $m_0$ 与 $m_1$ 对应的似然值若相差不大，也可以直接使用 $m_1$ 作为最终的幂m，即不考虑经济意义。

——其次，保存各项权重：

【分析】【回归】【权重估算】，将幂的范围从“-2到2”，修改为“-2到4”，再在【选项】中勾选【将最佳权重保存为新变量】，系统会在原数据框内新保存为WGT_1

（2）重新建立回归模型【分析】【回归】【线性】，将“y”选入“因变量”，“x1,x2”选入“自变量”，再将“WGT_1”选入“WLS权重”，最后在【保存】中勾选残差【未标准化】，系统会在原数据框内新保存为RES_2，表示加权残差 $e_{iw}$

（结果如下图所示）

根据上述结果可知，加权最小二乘的回归方程为：

$\hat {y}=-266.962+1.696x_{1}+0.470x_2$ ……(2)

（3）异方差性检验——权变换残差图

——首先，计算权变换后的残差：

补充：

权值： $W=x_j^m=x_j^{2.5}$

则权变换后的残差为： $W^{\frac{1}{2.5}}\cdot e_{iw}$

【转换】【计算变量】，在目标变量框内输入“cancha”，用来表示权变换后的残差，再在数字表达式内输入“((WGT_1) ** (1/2.5)) * RES_2”

——其次，绘制权变换残差图：

【图形】【旧对话框】【散点图】【简单散点图】，将“x1”选入“X轴”，“cancha”选入“Y轴”

（结果如下图所示）

【图形】【旧对话框】【散点图】【简单散点图】，将“x2”选入“X轴”，“cancha”选入“Y轴”

（结果如下图所示）

由上述两个图可以看出，权变换后的残差值并不会随着x1或x2的增大，有任何变化的趋势，即可以大致认为不存在异方差性。

（4）模型效果分析

综上所述可知：

原模型（普通最小二乘）：

现模型（加权最小二乘）：

结合前后两个模型来看不难发现，两模型均通过了F检验和T检验，表明模型均构建良好。其中，第二个模型的标准估算误差为0.03238，远小于第一个模型的475.75182，故表明模型有改进。

六、选用加权最小二乘法时应清楚的点

加权最小二乘法是以牺牲大方差项的拟合效果为代价，改善了小方差项的拟合效果，但是这也并不总是研究者所需要的。在社会经济现象中，通常变量取值大时方差也大，在以经济总量为研究目标时，研究者更关心的是变量取值大的项，而普通最小二乘法恰好能够满足这个要求。

（内容若有不妥之处，请多多包涵与指教）

【本文地址】

公司简介

联系我们

CopyRight 2018-2019 实验室设备网版权所有