浅谈加权最小二乘法及其残差图(精品).doc

浅谈加权最小二乘法及其残差图

关键词：异方差；加权最小二乘法；残差图；

SPSS

一、

引言

好几年没有翻《统计研究》了。最近，有一同行朋友打电话告诉我《统计研究》

2005 

年第

11

期上刊登了一篇有关我与刘文卿合作编著的《应用回归分析》（

2001.6.

中国人民大学

出版

社）教材的文章。赶紧找到这期的《统计研究》，看到其中孙小素副教授的文章《加权

最小二

乘法残差图问题探讨一与何晓群教授商榷》一文，以下简称《孙文》。认真拜读后

感触良多。

首先衷心感谢孙小素副教授阅读了我们《应用回归分析》拙作的部分章节，同时

感谢《统计研

究》给我们提供这样一个好的机会，使我们能够借助贵刊对加权最小二乘法的

有关问题谈谈更

多的认识。

《孙文》谈到《应用回归分析》教材中有关加权最小二乘法残差图的问题。摆出了与加

权最小二乘法相关的二类残差图，指出第二类残差图的局限性。直接的问题是二类残差图的

作

用，而更深层的原因应该是对加权最小二乘法统计思想的理解和认识上的差异。

二、

对加权最小二乘法的认识

1.

加权最小二乘估计方法

拙作《应用回归分析》中对加权最小二乘法有详尽的讲述，这里仅做简要介绍。多元线

性

回归方程普通最小二乘法的离差平方和为：

Q

（

A

）

,”i

，

…0

）

 = 

£（、一

A

）

-

岗羽

1 -------------- 

（

1

）

1=1 

普通最小二乘估计就是寻找参数岗的估计值使式（

1

）的离

差平方和。达极小。式（

1

）中

每个平方项的权数相同，是普通最小二乘回归参数估计方法。

在误差项§等方差不相关的条件

下，普通最小二乘估计是回归参数的最小方差线性无偏估

计。

然而在异方差的条件下，平方和中的每一项的地位是不相同的，误差项与的方差

b

：大

的

项，在式（

1

）平方和中的取值就偏大，在平方和中的作用就大，因而普通最小二乘估计

的回

归线就被拉向方差大的项

,

方差大的项的拟合程度就好，而方差小的项的拟合程度就差。

由式

（

1

）求出的龙

0,…

，底仍然是片

,

缶…,”，的无偏估计，但不再是最小方差线性

无偏估计。

加权最小二乘估计的方法是在平方和中加入一个适当的权数叫，以调整各项在平方和

中的

作用，加权最小二乘的离差平方和为：

…

Qp

）

 =

£叫（乂

一凡一

”1*1

 ------------------------ 

BpXjpV 

⑵

/=1 

加权最小二乘估计就是寻找参数

/J

。,"•，

"

的估计值龙

,

&,•••,底

*

，使式（

2

）的离差

平方和

Qw

达极小。所得加权最小二乘经验回归方程记做

丸

=

龙

"

肉内+••• + &%

⑶