异方差

异方差
异方差的性质
● 经典回归的一个重要假定之一是：u i 的条件方差为常数， 即：E （2i u ）= 2σ
● 异方差（heterscedasticity ）：E （2
i
u ）=2
i σ， 不同的
（heter ）分散程度（scedasticity ）
● （图）消费和收入， 消费随收入的增加而增加，但变异也在增加
● u i 变动的几个理由：
- 按照边错边改学习模型（error-learning models ），人们在学习的过程中，其行为误差随时间而减少，如：打字出错的个数
- 随着收入的增长，人们有更多的备用收入，从而如何支配他们的收入有更大的选择范围
- 随着数据采集技术的改进，2
i
σ可能减少
- 异方差性还会因为异常值的出现而产生。

包括一个异常值，尤其样本较小时，会在很大程度上改变回归分析的结果
- 异方差性的另一来源来自CLRM 的假定9的破坏，即：回归模型的设定是不正确的。

● 异方差常见于横截面数据中，因为观测范围大小不一
● 异方差的后果：仍然是无偏的，但不是最有效的
了
（1） 无偏性
β
ββ
=+==-- )](')'[(]')'[()ˆ(11U X X X X E Y X X X E E
（2） 非有效性
1
121111)'(')'()'()'(')'(]'')'][(')'[()'ˆ)(ˆ(------Φ==--=--X X X X X X X X X UU E X X X Y X X X Y X X X E E σββββββ
● 同方差性时，β
ˆ的协方差矩阵为: 12)'(-X X σ,会夸大或缩小真实的方差和协方差
● 由此会导致β的相关检验和置信区间失效，进而
引起预测失效
● 以双变量模型为例：i i i u X Y ++=10ββ
进行显著性检验时，构造的t 统计量
)ˆ(ˆ1
1
ββS t =
)ˆ(1
βS 变动，所以1
ˆβ的置信区间也不稳定
异方差性的侦察
● 侦破异方差性并没有严明的法则，只有少数的经
验规则
● 因为除非我们知道对应于选定的X 值的整个Y 总
体，否则2
i σ是无从获知的
●大多数的方法都基于对我们所能观测到的OLS
残差i uˆ的分析，而不是对干扰u i的分析
非正式的方法
●问题的性质：
-往往根据所考虑的性质就能判别是否会遇到异方差性
-例如：围绕消费对收入的回归，残差的方差随收入的增加而增加
●图解法：
-可先在无异方差性的假定下做回归分析，然后对
残差的平方2ˆi u作一事后检查，看看这些2ˆi u是否呈现任何系统性的样式
-（图）
-2ˆi u是对应于i Yˆ而描绘的，除此之外，还可将他们对解释变量之一描点
-当我们考虑2个或多个X变量的模型时，可将2ˆi u 相对于模型中的任一个变量描点
正式方法
（1）帕克（park ）检验
● 提出2i σ是解释变量X i 的某个函数，他建议的函数
形式为：
i
v i i
e X βσσ2
2=
或：i i i v X ++=ln ln ln 2
2βσσ
● 由于2i
σ通常是未知的，帕克建议用2ˆi u 作为替代变
量并作如下回归：
i
i i i v v X u
++=++=i 22lnX ln ln ˆln βαβσ **
● 如果β表现为统计上显著的，就表明数据中有异方差性
● 帕克检验分两阶段：一是做回归，而不考虑异方差
性问题，从这一回归获得i u
ˆ，然后在第二阶段作如** 的回归
戈德菲尔德-匡特检验 （Goldfeld-Quandt test ）
● 适用于异方差性方差2i σ同回归模型中的解释变量
之一有正相关的情形
● 步骤一：从最小X 值开始，按X 值的大小顺序将观测值排列
步骤二：略去居中的C 个观测值，其中C 是预定的，并将其余的（n-c ）个观测值分成两组，每组(n-c)/2个
步骤三：分别对头（n-c ）/2个观测值和末(n-c)/2 个观测值各拟合一个回归，并分别获得残差平方和RSS 1 和RSS 2
步骤四：计算比值：df
RSS df
RSS //1
2=λ， 如果假定i u
ˆ是正态分布的，并且如果同方差性假定真实，则λ遵循分子和分母自由度各为（n-c-2k ）/2 的F 分布
● C 个观测值是为了突出或激化小方差组（即RSS 1）与大方差组（即RSS 2 ）之间的差异
● 通常当n=30 时，取c =4, 当n=60 时，取c=10为宜
● 当模型中有多于1个X 变量时，在检验的步骤一中，就可按任一个X 的大小顺序将观测值排列
● 例：消费支出 – 收入， 30 观测值，略去居中4 个观测值后，对开头的13个和末尾的13个观测值分别作OLS 回归：
17.377RS S 6968.04094.3ˆ1=+=i i X Y 8.1536RS S 7941.00272.28ˆ2=+-=i i
X Y
得：07.411/17.37711
/8.1536//1
2===df RSS df RSS λ
怀特（white ）的一般异方差性检验
● Goldfeld-Quandt 检验要求按照被认为是引起异方差性的X 变量把观测值重新排序
● White 检验并不要求排序，而且易于付诸实施
● 步骤一： 对给定的数据回归（两个解释变量），并
获得残差i u
ˆ
步骤二：再做如下（辅助）回归：
i
i i i i i i i v X X a X a X a X a X a a u ++++++=3262
35224332212ˆ从这个（辅助）回归中求得R 2
步骤三：在无异方差性的虚拟假设下，2
nR 渐进的遵循自由度等于辅助回归元（不包括常数项）个数
的2χ分布
步骤四：如果2
χ值超过临界值，结论就是有异方差性，如果不超过，就没有，即：
065432=====a a a a a
● 例： Y= 贸易税收（进口与出口税收）与政府总收入之比，X 2 =进出口总和与GNP 之比，X 3 =人均GNP ， 假设Y 与X 2 正相关，Y 与X 3 成反比
White test ：
1148
.0R ))(ln T rade 0.0015(ln )(ln 0491.0)(ln 4081.0 ln 6918.0ln 5629.28417.5ˆ2i 2
22=+--++-=i i i i i i GNP GNP Trade GNP Trade u
7068.4)1148.0(41.2==R n
● 如果模型有多个回归元，回归元的平方（或更高次方）项以及它们的交叉项就会耗掉许多的自由度
● 遇到统计量显著的情形，原因也许不一定是异方差性
异方差的修正方法 – 加权最小二乘法（广义最小二乘法）
● 以消费-收入为例，消费异方差，设计一种估计方案：对来自变异较大的总体的观测值作较小的加权，而对来自较小的总体的观测值作较大的加权
● OLS 方法对每一观测之同样重视或同等加权
● 广义最小二乘法（generalized least square-GLS ）利
用了异方差的信息，因而能产生ＢＬＵＥ估计量
● 利用双变量模型：
i i i i u X X Y ++=201ββ
其中对每个ｉ， Ｘ０ｉ＝１
● 假定相异的方差2i σ已知，用σ通除上式得：
)(
)(
)(
201i
i
i
i
i
i
i
i
u X X Y σσβσβσ++=
为了易于阐述，将它写为：
i i i i u X X Y ******201++=ββ
● 转换原始模型中，转换干扰项i u *的方差，现在有了同方差性
1
)(1
)(1
)()*()*var(22
22i
2
2==
=
==i
i
i
i
i
i i u E u E u E u σσ
σ
σ
● ＯＬＳ应用到转换模型将产生ＢＬＵＥ估计量
● ＧＬＳ是对满足标准最小二乘假定的转换变量的ＯＬＳ
● 2
1*ˆ*ˆββ和的估计步骤是最小化： 220112)**ˆ**ˆ*(*ˆi
i i X X Y u ββ--=∑∑
● *ˆ2
β的GLS 估计量为： ∑∑∑∑∑∑∑--=2
22)())(())(())((*ˆi i i i i i i i i i i i i X w X w w Y w X w Y X w w β 其中2/1i i w σ=
● ＯＬＳ和GLS 的差别：
ＯＬＳ要求最小化：2212)ˆˆ(ˆi
i i X Y u ββ--=∑∑ ＧＬＳ要求最小化：2212)ˆˆ(ˆi
i i i i X Y w u w ββ--=∑∑
● ＧＬＳ中最小化一个以2/1i i w σ=为权的加权残差
平方和，而在ＯＬＳ中最小化一个无权或等权的残差平方和
● 这种形式的GLS 被称为加权最小二乘法（weighted least square – WLS ）
● 若i σ是已知的，异方差的问题似乎已经得到了解决，但大多数情况下，方差是未知的
●加权最小二乘法至多只能用于未知方差容易被描
述的那些情况
●看一下课本中的例子。