第九章 多元线性回归-异方差问题
- 格式：pptx
- 大小：568.44 KB
- 文档页数：20
文档推荐
-
计量经济学多元线性回归多重共线性异方差实验报告页数:17
-
多重共线性 异方差 序列自相关 思考题页数:19
-
第五讲-多重共线性、异方差、自相关页数:70
-
违背基本假设的问题：多重共线性异方差和自相关页数:51
-
第四章 多重共线性 答案(1)页数:10
下载文档原格式
合集下载
计量经济学多元线性回归
31
调整过的R2(The Adjusted R-squared)
因此， R2增加并不意味着加入新的变量一定 会提高模型拟合度。
调整过的R2是R2一个修正版本，当加入新的 解释变量，调整过的R2不一定增加。
R 21(SS /n (R (k 1 ) )1n(k 1 )SSR
SS /n (T 1 )
定义：
y i y 2 to su to a s m flqS ua S总 rT es平
y ˆi y 2exp slu o as m ifq nu e Sd a Sr解 E es释 u ˆi2 ressiu d os m u fq au S l a SrR 残 es 差平
SST= SSE + SSR
3
重新定义变量
为什么我们想这样做？ 数据测度单位变换经常被用于减少被估参数小数
点后的零的个数，这样结果更好看一些。 既然这样做主要为了好看，我们希望本质的东西
不改变。
4
重新定义变量：一个例子
以下模型反映了婴儿出生体重与孕妇吸烟量和家 庭收入之间的关系：
(1) b w g h t ˆ 0 ˆ 1 c ig s ˆ 2 fa m in c
explog考虑如果我们想知道时的百分比变化我们不能只报告因为所以22含二次式的模型u的模型我们不能单独将b解释为关于xy变化的度量我们需要将b如果感兴趣的是给定x的初始值和变动预测y的变化那么可以直接使用1
课堂提纲
重新定义变量的影响
估计系数 R 平方 t 统计量
函数形式
对数函数形式 含二次式的模型 含交叉项的模型
24
wage
7.37
3.73
24.4
exper
25
对含二次式模型的进一步讨论
调整过的R2(The Adjusted R-squared)
因此， R2增加并不意味着加入新的变量一定 会提高模型拟合度。
调整过的R2是R2一个修正版本，当加入新的 解释变量，调整过的R2不一定增加。
R 21(SS /n (R (k 1 ) )1n(k 1 )SSR
SS /n (T 1 )
定义：
y i y 2 to su to a s m flqS ua S总 rT es平
y ˆi y 2exp slu o as m ifq nu e Sd a Sr解 E es释 u ˆi2 ressiu d os m u fq au S l a SrR 残 es 差平
SST= SSE + SSR
3
重新定义变量
为什么我们想这样做？ 数据测度单位变换经常被用于减少被估参数小数
点后的零的个数，这样结果更好看一些。 既然这样做主要为了好看，我们希望本质的东西
不改变。
4
重新定义变量：一个例子
以下模型反映了婴儿出生体重与孕妇吸烟量和家 庭收入之间的关系：
(1) b w g h t ˆ 0 ˆ 1 c ig s ˆ 2 fa m in c
explog考虑如果我们想知道时的百分比变化我们不能只报告因为所以22含二次式的模型u的模型我们不能单独将b解释为关于xy变化的度量我们需要将b如果感兴趣的是给定x的初始值和变动预测y的变化那么可以直接使用1
课堂提纲
重新定义变量的影响
估计系数 R 平方 t 统计量
函数形式
对数函数形式 含二次式的模型 含交叉项的模型
24
wage
7.37
3.73
24.4
exper
25
对含二次式模型的进一步讨论
多元线性回归分析
计，称
ˆ ˆ ˆ ˆ ˆ yi 0 1 xi1 2 xi 2 p xip
为因变量 yi (i 1,2,, n)的回归拟合值，简称回归值或 拟合值.称
ˆ ei yi yi
为因变量 yi (i 1,2,, n) 的残差.
参数估计的算法
当满足元线性回归模型理论假设的条件时，模型参数
i 1
n
则有 ① SST SSR SSE . ② 2
SSE ~ 2 (n p 1) 且
E(SSE) (n p 1) 2 .
ˆ ˆ ˆ ˆ T ③ SSE 与 ( 0 , 1 ,, p ) 相互独立.
显著性检验基本方法 — F检验（方差分析）
检验假设
于是，多元线性回归模型的数据结构为
y X
称为多元样本回归方程，其中 rank( X ) p 1 n,
~ N n (On1 , 2 I nn ) 且各个 i 相互独立.由于矩阵 X 是
样本数据， X 的数据可以进行设计和控制，因此，矩阵
X 称为回归设计矩阵或资料矩阵.
，系统受到零均值齐性方差的正态随机干扰，系统自变量 之间不存在序列相关，即
2 , i j E( i ) 0, cov( i , j ) , i, j 1,2,, n . 0, i j
当 var( i ) var( j ), i j 时，称回归模型存在异方差.当
~ N (0, 2 )
模型的建立
求 p 元线性函数
Ey 0 1 x1 2 x2 p x p
的经验回归方程
ˆ ˆ ˆ ˆ ˆ y 0 1 x1 2 x2 p x p ,
第九章 REG-多元线性回归
多重共线性的处理方法
• • • • 剔除不重要的自变量； 增大样本容量； 把横截面数据与时间序列数据结合起来使用； 当样本资料来自时间序列时，可以对回归模型进 行差分，然后拟合差分后的模型； • 岭回归方法； • 主成分回归。
岭回归 自变量间存在多重共线性时
X 0,因此给 X 加上一个 k I(k 0), 那么 X X X k I接近奇异的程度会降低 X
K=0.02对应的岭回归方程为： import=-8.9277+0.057gdp+0.59542save+0.127consume 且三个变量的VIF都小于10，多重共线性不明显。
• • • • •
proc reg data=imports outest=result1 outvif; model import=gdp save consume/pcomit=1; run; proc print data=result1; 主成分回归 run;
2 ˆ ˆ 从而使 的方差阵 D ( ) （X ）1对角线上的元素很大， X ˆ 也 var( ) 很大 i
多重共线性的判断
（1）方差膨胀因子VIF：
1 VIFj 1 R2 j
其中R 2为第j个自变量对模型中其余自变量进行线性回 j 归所得到的拟合优度。
一般来说，VIFj 10，表明自变量间存在高度共线性。
outest=result：要求把岭回归估计值输出到数据集result中 Outvif: 要求把岭回归估计的VIF输出到数据集result中 ridge=0.0 to 0.1 by 0.01 0.2 0.3 0.4 0.5;指定一组岭迹参数 Plot/ridgeplot; 要求绘制岭迹图
南开大学计量课件多元线性回归异方差问题43页文档
40、人类法律，事物有规律，这是不 容忽视 的。— —爱献 生
41、学问是异常珍贵的东西，从任何源泉吸 收都不可耻。——阿卜·日·法拉兹
42、只有在人群中间，才能认识自 己。——德国
43、重复别人所说的话，只需要教育； 而要挑战别人所说的话，则需要头脑。—— 玛丽·佩蒂博恩·普尔
44、卓越的人一大优点是：在不利与艰 难的遭遇里百折不饶。——贝多芬
45、自己的饭量自己知道。——苏联
南开大学计量课件多元线性回归异方 差问题
36、如果我们国家的法律中只有某种 神灵， 而不是 殚精竭 虑将神 灵揉进 宪法， 总体上 来说， 法律就 会更好 。—— 马克·吐 温 37、纲纪废弃之日，便是暴政兴起之 时。— —威·皮 物特
38、若是没有公众舆论的支持，法律 是丝毫 没有力 量的。 ——菲 力普斯 39、一个判例造出另一个判例，它们 迅速累 聚，进 而变成 律。 ——朱 尼厄斯
41、学问是异常珍贵的东西，从任何源泉吸 收都不可耻。——阿卜·日·法拉兹
42、只有在人群中间，才能认识自 己。——德国
43、重复别人所说的话，只需要教育； 而要挑战别人所说的话，则需要头脑。—— 玛丽·佩蒂博恩·普尔
44、卓越的人一大优点是：在不利与艰 难的遭遇里百折不饶。——贝多芬
45、自己的饭量自己知道。——苏联
南开大学计量课件多元线性回归异方 差问题
36、如果我们国家的法律中只有某种 神灵， 而不是 殚精竭 虑将神 灵揉进 宪法， 总体上 来说， 法律就 会更好 。—— 马克·吐 温 37、纲纪废弃之日，便是暴政兴起之 时。— —威·皮 物特
38、若是没有公众舆论的支持，法律 是丝毫 没有力 量的。 ——菲 力普斯 39、一个判例造出另一个判例，它们 迅速累 聚，进 而变成 律。 ——朱 尼厄斯
多元线性回归方程的检验、预测
（i=1,2…k）
注意：一元线性回归中，t检验与F检验一致 一方面，t检验与F检验都是对相同的原假设 H0：1=0 进行检验; 另一方面，两个统计量之间有如下关系：
ˆ 2 x2 1 i F 2 2 ei ( n 2) e i ( n 2)
2 e i 2 ˆ y i
ˆ i2 ESS / RSS y
如果这个比值较大，则X的联合体对Y的解 释程度高，可认为总体存在线性关系，反之总体 上可能不存在线性关系。
因此,可通过该比值的大小对总体线性关系 进行推断。 根据数理统计学中的知识，在原假设H0成立 的条件下，统计量
ESS / k F RSS /( n k 1)
知识体系
多元回归的拟合优度检验
总离差平方和的分解
则
TSS (Yi Y ) 2 ˆ ) (Y ˆ Y )) 2 ((Yi Y i i ˆ ) 2 2 (Y Y ˆ )(Y ˆ Y ) (Y ˆ Y )2 (Yi Y i i i i i
服从自由度为(k , n-k-1)的F分布。
方程总体线性的显著性检验
H0： 0=1=2= =k=0 H1： j不全为0
给定显著性水平，可得到临界值F(k,n-k1)，由样本求出统计量F的数值，通过
F F(k,n-k-1) 或 F≤F(k,n-k-1)
来拒绝或接受原假设H0，以判定原方程总体 上的线性关系是否显著成立。
案例分析
零阶齐次性，当所有商品和消费者货币支出总 额按同一比例变动时，需求量保持不变
Q f ( X / P0 , P1 / P0 )
(**)
为了进行比较，将同时估计（*）式与（**）式。
案例分析
注意：一元线性回归中，t检验与F检验一致 一方面，t检验与F检验都是对相同的原假设 H0：1=0 进行检验; 另一方面，两个统计量之间有如下关系：
ˆ 2 x2 1 i F 2 2 ei ( n 2) e i ( n 2)
2 e i 2 ˆ y i
ˆ i2 ESS / RSS y
如果这个比值较大，则X的联合体对Y的解 释程度高，可认为总体存在线性关系，反之总体 上可能不存在线性关系。
因此,可通过该比值的大小对总体线性关系 进行推断。 根据数理统计学中的知识，在原假设H0成立 的条件下，统计量
ESS / k F RSS /( n k 1)
知识体系
多元回归的拟合优度检验
总离差平方和的分解
则
TSS (Yi Y ) 2 ˆ ) (Y ˆ Y )) 2 ((Yi Y i i ˆ ) 2 2 (Y Y ˆ )(Y ˆ Y ) (Y ˆ Y )2 (Yi Y i i i i i
服从自由度为(k , n-k-1)的F分布。
方程总体线性的显著性检验
H0： 0=1=2= =k=0 H1： j不全为0
给定显著性水平，可得到临界值F(k,n-k1)，由样本求出统计量F的数值，通过
F F(k,n-k-1) 或 F≤F(k,n-k-1)
来拒绝或接受原假设H0，以判定原方程总体 上的线性关系是否显著成立。
案例分析
零阶齐次性，当所有商品和消费者货币支出总 额按同一比例变动时，需求量保持不变
Q f ( X / P0 , P1 / P0 )
(**)
为了进行比较，将同时估计（*）式与（**）式。
案例分析
多元线性回归模型及其假设条件
§5.1 多元线性回归模型及其假设条件 1．多元线性回归模型 多元线性回归模型：εi pi p iiix b xb x b b y +++++= 2211，n i ,,2,1 =2．多元线性回归模型的方程组形式 3．多元线性回归模型的矩阵形式4．回归模型必须满足如下的假设条件：第一、有正确的期望函数。
即在线性回归模型中没有遗漏任何重要的解释变量，也没有包含任何多余的解释变量。
第二、被解释变量等于期望函数与随机干扰项之和。
第三、随机干扰项独立于期望函数。
即回归模型中的所有解释变量Xj与随机干扰项u 不相关。
第四、解释变量矩阵X 是非随机矩阵，且其秩为列满秩的，即：n k k X rank 〈=,)(。
式中k 是解释变量的个数，n 为观测次数。
第五、随机干扰项服从正态分布。
第六、随机干扰项的期望值为零。
()0=u E 第七、随机干扰项具有方差齐性。
()σσ22=u i（常数）第八、随机干扰项相互独立，即无序列相关。
()()u u u u jiji,cov ,=σ=0§5.2 多元回归模型参数的估计建立回归模型的基本任务是：求出参数bb b p,,,,1σ的估计值，并进行统计检验。
残差：yy e iiiˆ-=；残差平方和：Q=()∑-∑==y y e i i ni iˆ212矩阵求解：X=⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡x xxx x x x x x pn nnp p212221212111111，⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎣⎡=b b b b p B ˆˆˆˆ210ˆ ，⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎣⎡=-y y y y n n Y 121 ，()YB X X X ττ1ˆ-=1ˆ2--=p n Qσ要通过四个检验：经济意义检验、统计检验、计量经济学检验、模型预测检验。
§5.4 多元线性回归模型的检验一、R2检验1．R2检验定义R2检验又称复相关系数检验法。
是通过复相关系数检验一组自变量xx x m,,,21与因变量y 之间的线性相关程度的方法。
多元线性回归模型常见问题及解决方法
上述即为加权最小二乘法，其中权数 为1 。
f ( X ji )
普通最小二乘法只是加权最小二乘法中权数恒 取1的一种特例，加权最小二乘法具有比普通 最小二乘法更普遍的意义。
加权最小二乘法也称为广义最小二乘法 (Generalized Least Squares, GLS)。
加权最小二乘法的关键是寻找适当的权，或者
nR2~χ2
在大样本下，对统计量nR2进行相应的χ2检验。
若存在异方差性，表明 e%i2与解释变量的某种 组合有显著的相关性，这时往往有较大的可决 系数R2，并且某一参数的t检验值较大。
加权最小二乘法(WLS)
加权最小二乘法(Weighted Least Squares, WLS) 是对原模型加权，使之变成一个新的不存在异 方差性的模型，然后采用普通最小二乘法估计 其参数。
2
L k
f
1 (X
ji )
X ki
f
1 (X
ji
)
i
f
1 (X
ji )
X 2i
在新模型中，
2
Var
f
1 (X
ji
)
i
1
f (X ji )
Var(i )
1 f (X ji )
f (X ji ) 2
2
即满足同方差性，可用普通最小二乘法估计其 参数，得到参数β0,β1,…,βk的无偏、有效估计量。
序列相关性产生的原因
经济变量故有的惯性（物价指数，消费） 模型设定的偏误 数据的编造 （由已知数据生成）
(一)经济变量故有的惯性
消费函数模型：
sas多元线性回归
数据清洗
去除异常值、缺失值和重复 值。
数据转换
将分类变量（如商品ID）转 换为虚拟变量（dummy variables），以便在回归中 使用。
数据标准化
将连续变量（如购买数量、 商品价格）进行标准化处理， 使其具有均值为0，标准差 为1。
模型建立与评估
残差分析
检查残差的正态性、异方差性和自相关性。
sas多元线性回归
目录 CONTENT
• 多元线性回归概述 • SAS多元线性回归的步骤 • 多元线性回归的变量选择 • 多元线性回归的进阶应用 • 多元线性回归的注意事项 • SAS多元线性回归实例分析
01
多元线性回归概述
定义与特点
定义
多元线性回归是一种统计学方法，用于研究多个自变量与因 变量之间的线性关系。通过多元线性回归，我们可以预测因 变量的值，并了解自变量对因变量的影响程度。
多元线性回归的基本假设
线性关系
自变量与因变量之间存在线性关系， 即随着自变量的增加或减少，因变量 也按一定比例增加或减少。
无多重共线性
自变量之间不存在多重共线性，即自 变量之间没有高度相关或因果关系。
无异方差性
误差项的方差恒定，即误差项的大小 不随自变量或因变量的变化而变化。
无自相关
误差项之间不存在自相关，即误差项 之间没有相关性。
03
多元线性回归的变量选择
全模型选择法
全模型选择法也称为强制纳入法，是 指将所有可能的自变量都纳入回归模 型中，然后通过逐步回归或其他方法 进行筛选。这种方法简单易行，但可 能会受到多重共线性的影响，导致模 型不稳定。
VS
在SAS中，可以使用`PROC REG`的 `MODEL`语句来实现全模型选择法， 例如
多元回归分析
( 1 , 2 , , n )
( 0 , 1 ,
T
, p )T
1 x11 1 x21 X 1 xn1
x12 x22 xn 2
x1 p x2 p xnp
矩阵 X 是一 n ( p 1) 阶矩阵，称 X 为回归设计矩阵或 资料矩阵。
二、多元线性回归模型的基本假定
为了方便地进行模型的参数估计，对回归方程(7.2)式有如 下一些基本假定。 1、解释变量 x1 , x2 , , x p 是确定性 变量，不是随机变量，而 且要求 rank ( X ) p 1 n 。
2、随机误差项具有0均值和等方差（高斯-马尔柯夫条件），即
2
7.2.3 参数估计量的性质 ˆ 为 的线性无偏估计，且 D( ˆ ) Var ( ˆ ) 2 ( X T X )1 1 、 ˆ ) 0, Cov( ˆ) 2( I H ) 2、 E ( 2 3 、（Ｇauss-Markov定理）在假定 E (Y ) X , D(Y ) I n 的任一线性函数 T 的最小方差线性无偏估计（BLUE）为 时， ˆ ，其中 为 p 1维向量， 为 ˆ 的最小二乘估计。 T
在回归分析中，因变量y是随机变量，自变量x可以是随机变 量，也可以是非随机的确定变量；而在相关分析中，变量x和变 量y都是随机变量。 相关分析是测定变量之间的关系密切程度，所使用的工具是 相关系数；而回归分析则是侧重于考察变量之间的数量变化规律， 并通过一定的数学表达式来描述变量之间的关系，进而确定一个 或者几个变量的变化对另一个特定变量的影响程度。
ˆ) 0 X T (Y X
二、误差方差 2的估计
ˆ HY 为 Y 的拟合值(估计值)，其中 ˆ X 1、设Y ˆ ( I H )Y ， H X ( X T X )1 X T ，此时残差向量 ˆ Y Y n 满足以下结论： （1） H 与I n H 都是 n 阶对称幂等矩阵； T ˆ T ˆ 0 ，Y ˆ 0 ，( I n H ) X 0 ； （2） X ˆT ˆ T ( I n H ) （4）
第09章 线性回归模型的异方差问题
2
ˆ y = a + bx
∑
ˆ ) 2 = m in (y − y
2
ˆ 由∑ ( y − y ) = min ，有 ∑ ( y − a − bx ) = min, 分别对函数中 a、 b求偏导数，并令其为零 ，有 2∑ ( y − a − bx )(− 1) = 0 2∑ ( y − a − bx )(− x ) = 0
14
(0.0019)
安徽大学经济学院
计量经济学讲义
9.2 异方差的性质－方程回归结果图
15
安徽大学经济学院
计量经济学讲义
9.2 异方差的性质－残差与观察值（销售额）关系图
16
安徽大学经济学院
计量经济学讲义
9.2 异方差的性质
从残差图可以看出：残差的绝对值随着销售额的 增加而增加。 尽管残差ei与扰动项ui是两个不同的概念，根据ei 的变化并不能断言ui的方差也是变化的。但是，实践 u 中很难观察到ui，只能利用检验ei的变动来推断ui的 变化。 问题：如何理解残差ei与扰动项ui两个概念的差 别？
7
安徽大学经济学院
计量经济学讲义
一元线性回归分析－回归的假定条件
假定3 给定X，扰动误差项u的数学期望或均值为0， 即E（u|X）＝ 0。 Y
＋u ＋u －u －u －u
＋u
E(Y|X)=α+β*X
0
X
8
安徽大学经济学院
计量经济学讲义
一元线性回归分析－回归的假定条件
假定4 误差扰动项u的方差为常数，即Var（u）＝σ2，称 之为同方差(homoscedasticity) 同方差的含义：每个Y值以相同的方差分布在其均值周 围，即Y偏离其均值的程度相同。 Y
ˆ y = a + bx
∑
ˆ ) 2 = m in (y − y
2
ˆ 由∑ ( y − y ) = min ，有 ∑ ( y − a − bx ) = min, 分别对函数中 a、 b求偏导数，并令其为零 ，有 2∑ ( y − a − bx )(− 1) = 0 2∑ ( y − a − bx )(− x ) = 0
14
(0.0019)
安徽大学经济学院
计量经济学讲义
9.2 异方差的性质－方程回归结果图
15
安徽大学经济学院
计量经济学讲义
9.2 异方差的性质－残差与观察值（销售额）关系图
16
安徽大学经济学院
计量经济学讲义
9.2 异方差的性质
从残差图可以看出：残差的绝对值随着销售额的 增加而增加。 尽管残差ei与扰动项ui是两个不同的概念，根据ei 的变化并不能断言ui的方差也是变化的。但是，实践 u 中很难观察到ui，只能利用检验ei的变动来推断ui的 变化。 问题：如何理解残差ei与扰动项ui两个概念的差 别？
7
安徽大学经济学院
计量经济学讲义
一元线性回归分析－回归的假定条件
假定3 给定X，扰动误差项u的数学期望或均值为0， 即E（u|X）＝ 0。 Y
＋u ＋u －u －u －u
＋u
E(Y|X)=α+β*X
0
X
8
安徽大学经济学院
计量经济学讲义
一元线性回归分析－回归的假定条件
假定4 误差扰动项u的方差为常数，即Var（u）＝σ2，称 之为同方差(homoscedasticity) 同方差的含义：每个Y值以相同的方差分布在其均值周 围，即Y偏离其均值的程度相同。 Y
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
（3）其他的与自变量xi的加权形式f(xi)
f xi r0 r1xi
20
（一）加权最小二乘法
方差已知的情形
Var(
)
i
2 i
2
r
0
r
x1 i
y i
b0
b1xi
i
r0 r1xi r0 r1xi r0 r1xi r0 r1xi
Var
i
1 Var
r 0 r x1 i r 0 r1xi
给出中国1998年各地区城镇居民平均每人全年家庭交 通及通讯支出（cum)和可支配收入（in)的数据，估计两者 之间的关系模型
4
2、异方差的ቤተ መጻሕፍቲ ባይዱ响
1、OLS估计量不再是BLUE，其是无偏和一致的，但并 非有效的，即不再具有方差最小性。
2、检验假设的统计量不再成立，建立在t分布和F分布之 上的置信区间和假设检验不可靠。
12
等价的White检验
（1们）的用平O方LS；估计u模2 型 （03）1，y 得 到2 y残2 差 v和拟合值，计算它
（2）做回归
记下这个回22 归的R平方
（3）构造F或LM统计量并计算p值（前者为 F2，n－3分布， 后者用 分布。
13
（五） 实例
使用Wooldridge中的数据HPRICE.RAW中的数据 来检验一个简单的住房价格方程中的异方差性。水平 变量模型为（分别采用水平变量和其对数项分别进行 回归分析）
第九章 多元线性回归的异方差问题
一、异方差及其影响 二、异方差的发现和判断 三、异方差的解决方法
1
一、异方差及其影响
1、异方差的定义：
对于多元线性回归模型，如果随机扰动项的方差并非是
不变的常数，则称为存在异方差（heteroscedasticity)。
异方差可以表示为
Var
i
2 i
。或
2 1
2 2
7
（二）Breusch-Pagan检验
假设回归模型如下：
Y 0 1x1 2 x2 k xk u
(1)
检验假定线性函数
u2 0 1x1 2 x2 k xk v
(2)
8
步骤：
1、作普通最小二乘回归（1），不考虑异方差问题。 2、从原始回归方程中得残差ui，并求其平方。
3、利用原始模型中的R解u22释变量作形如上式(2)的回归，记
Ω Varε Eεε
2 n
2
两变量线性回归模型的异方差
Y
0
Xi
X
Xj
3
1、异方差的定义
异方差主要出现在截面数据分析中，例如大公司的利 润变化幅度要比小公司的利润变化幅度大，即大公司利润 的方差比小公司利润的方差大。这取决于公司的规模、产 业特点和研究开发支出多少等因素。又如高收入家庭通常 比低收入家庭对某些商品的支出有更大的方差。 例6-1：人均家庭支出（cum)和可支配收入（in)的关系模型
和为
2
wi2
2
i
wi2
yi b0b1xi
获得的估计量就是加权最小二乘估计量。对于多元线性回
归模型y=Xβ＋u，令权数序列wi =1/i ，W为N×N对角矩 阵，对角线上为wi ，其他元素为0。则变换后的模型为
Wy WX Wu
18
（一）加权最小二乘法
方差已知的情形 （1）误差方差与xi成比例
price 0 1lotsize 2sqrft 3bdrms
发现：采用水平模型存在异方差性，但采用对数模型不 存在异方差性。
14
三、异方差的解决方法
加权最小二乘法 模型的重新设定
15
（一）加权最小二乘法
基本思路：赋予残差的每个观测值不同权数，从而使 模型的随机误差项具有同方差性。
16
被拒绝，则表明可能存在异方差。
10
（四）怀特检验
假设有如下模型：
yi B0 B1x1i B2 x2i ui （3）
基本步骤： 1、首先用OLS方法估计回归方程（3）式。 2、然后作辅助回归：
ui2 A0 A1x1i A2 x2i A3x12i A4 x22i A6 x1i x2i vi （4）
11
（四）怀特检验
3、求辅助回归方程的R2值。在零假设：不存在异方差下， White证明了，从方程（4）中获得R2值与样本容量（n）的积 服从卡方分布
n• R2 2
自由度等于（4）式中的解释变量的个数。 4、根据样本计算统计量n*R2值，并与所选取的显著性水平进行
比较，看是否接受零假设（零假设为残差不存在异方差性）。 5、Eviews计算：View-Residual Tests-White Heteroskedasticity . 应用：对例6-1进行White异方差检验
Vawri (u1i)/=σx2i * xi 其中σ2为常数，这时可以令权序列
（2）误差方差与xi2成比例
Vwair(u1i)/=xσi2 * xi2
其中σ2为常数，这时可以令权序列
19
（一）加权最小二乘法
方差已知的情形 实例：住房支出模型
给出由四组家庭住房支出和年收入组成的截面数据，建 立住房支出模型，并检验和修正异方差。
下这个回归的R平方 。
4、检验零假设是H0 : 1 2 k 0
对方程（2）进行FL检M验，n或• 计Ru2算2 ~LMk2统计量进行检验。
9
（三）戈里瑟检验
1、通常拟合
e
和
X
之间的回归模型：
j
e
X
l j
根据图形中的分布选择
l 1,1或 1 2
2、再检验零假设 ＝0（不存在异方差）。如果零假设
5
二、异方差的发现和判断
（一）残差的图形检验 （二）帕克检验（Park test） （三）戈里瑟检验（Glejser test） （四）怀特检验（White test）
6
（一）残差的图形检验
这是一种最直观的方法，它以某一变量（通常取因变 量）作为横坐标，以随机项的估计量e或e2为纵坐标， 根据作出的散点图直观地判断是否存在相关性。如果 存在相关性，则存在异方差。通常的方法是先产生残 差序列，再把它和因变量一起绘制散点图。 例6-2：利用该方法绘制上一章关于美国机动车消费量 的模型中QMG与残差的散点图。
（一）加权最小二乘法
方差已知的情形
假设已知随机误差项的方差为var(ui)= i2 , 设权数wi与异 方差的变异趋势相反, wi =1/i,, 将原模型两端同乘以wi。wi
使异方差经受了“压缩”和“扩张”变为同方差。
17
（一）加权最小二乘法
方差已知的情形
对于一元线性回归模型y=b0+b1x+u，加权最小化残差平方
f xi r0 r1xi
20
（一）加权最小二乘法
方差已知的情形
Var(
)
i
2 i
2
r
0
r
x1 i
y i
b0
b1xi
i
r0 r1xi r0 r1xi r0 r1xi r0 r1xi
Var
i
1 Var
r 0 r x1 i r 0 r1xi
给出中国1998年各地区城镇居民平均每人全年家庭交 通及通讯支出（cum)和可支配收入（in)的数据，估计两者 之间的关系模型
4
2、异方差的ቤተ መጻሕፍቲ ባይዱ响
1、OLS估计量不再是BLUE，其是无偏和一致的，但并 非有效的，即不再具有方差最小性。
2、检验假设的统计量不再成立，建立在t分布和F分布之 上的置信区间和假设检验不可靠。
12
等价的White检验
（1们）的用平O方LS；估计u模2 型 （03）1，y 得 到2 y残2 差 v和拟合值，计算它
（2）做回归
记下这个回22 归的R平方
（3）构造F或LM统计量并计算p值（前者为 F2，n－3分布， 后者用 分布。
13
（五） 实例
使用Wooldridge中的数据HPRICE.RAW中的数据 来检验一个简单的住房价格方程中的异方差性。水平 变量模型为（分别采用水平变量和其对数项分别进行 回归分析）
第九章 多元线性回归的异方差问题
一、异方差及其影响 二、异方差的发现和判断 三、异方差的解决方法
1
一、异方差及其影响
1、异方差的定义：
对于多元线性回归模型，如果随机扰动项的方差并非是
不变的常数，则称为存在异方差（heteroscedasticity)。
异方差可以表示为
Var
i
2 i
。或
2 1
2 2
7
（二）Breusch-Pagan检验
假设回归模型如下：
Y 0 1x1 2 x2 k xk u
(1)
检验假定线性函数
u2 0 1x1 2 x2 k xk v
(2)
8
步骤：
1、作普通最小二乘回归（1），不考虑异方差问题。 2、从原始回归方程中得残差ui，并求其平方。
3、利用原始模型中的R解u22释变量作形如上式(2)的回归，记
Ω Varε Eεε
2 n
2
两变量线性回归模型的异方差
Y
0
Xi
X
Xj
3
1、异方差的定义
异方差主要出现在截面数据分析中，例如大公司的利 润变化幅度要比小公司的利润变化幅度大，即大公司利润 的方差比小公司利润的方差大。这取决于公司的规模、产 业特点和研究开发支出多少等因素。又如高收入家庭通常 比低收入家庭对某些商品的支出有更大的方差。 例6-1：人均家庭支出（cum)和可支配收入（in)的关系模型
和为
2
wi2
2
i
wi2
yi b0b1xi
获得的估计量就是加权最小二乘估计量。对于多元线性回
归模型y=Xβ＋u，令权数序列wi =1/i ，W为N×N对角矩 阵，对角线上为wi ，其他元素为0。则变换后的模型为
Wy WX Wu
18
（一）加权最小二乘法
方差已知的情形 （1）误差方差与xi成比例
price 0 1lotsize 2sqrft 3bdrms
发现：采用水平模型存在异方差性，但采用对数模型不 存在异方差性。
14
三、异方差的解决方法
加权最小二乘法 模型的重新设定
15
（一）加权最小二乘法
基本思路：赋予残差的每个观测值不同权数，从而使 模型的随机误差项具有同方差性。
16
被拒绝，则表明可能存在异方差。
10
（四）怀特检验
假设有如下模型：
yi B0 B1x1i B2 x2i ui （3）
基本步骤： 1、首先用OLS方法估计回归方程（3）式。 2、然后作辅助回归：
ui2 A0 A1x1i A2 x2i A3x12i A4 x22i A6 x1i x2i vi （4）
11
（四）怀特检验
3、求辅助回归方程的R2值。在零假设：不存在异方差下， White证明了，从方程（4）中获得R2值与样本容量（n）的积 服从卡方分布
n• R2 2
自由度等于（4）式中的解释变量的个数。 4、根据样本计算统计量n*R2值，并与所选取的显著性水平进行
比较，看是否接受零假设（零假设为残差不存在异方差性）。 5、Eviews计算：View-Residual Tests-White Heteroskedasticity . 应用：对例6-1进行White异方差检验
Vawri (u1i)/=σx2i * xi 其中σ2为常数，这时可以令权序列
（2）误差方差与xi2成比例
Vwair(u1i)/=xσi2 * xi2
其中σ2为常数，这时可以令权序列
19
（一）加权最小二乘法
方差已知的情形 实例：住房支出模型
给出由四组家庭住房支出和年收入组成的截面数据，建 立住房支出模型，并检验和修正异方差。
下这个回归的R平方 。
4、检验零假设是H0 : 1 2 k 0
对方程（2）进行FL检M验，n或• 计Ru2算2 ~LMk2统计量进行检验。
9
（三）戈里瑟检验
1、通常拟合
e
和
X
之间的回归模型：
j
e
X
l j
根据图形中的分布选择
l 1,1或 1 2
2、再检验零假设 ＝0（不存在异方差）。如果零假设
5
二、异方差的发现和判断
（一）残差的图形检验 （二）帕克检验（Park test） （三）戈里瑟检验（Glejser test） （四）怀特检验（White test）
6
（一）残差的图形检验
这是一种最直观的方法，它以某一变量（通常取因变 量）作为横坐标，以随机项的估计量e或e2为纵坐标， 根据作出的散点图直观地判断是否存在相关性。如果 存在相关性，则存在异方差。通常的方法是先产生残 差序列，再把它和因变量一起绘制散点图。 例6-2：利用该方法绘制上一章关于美国机动车消费量 的模型中QMG与残差的散点图。
（一）加权最小二乘法
方差已知的情形
假设已知随机误差项的方差为var(ui)= i2 , 设权数wi与异 方差的变异趋势相反, wi =1/i,, 将原模型两端同乘以wi。wi
使异方差经受了“压缩”和“扩张”变为同方差。
17
（一）加权最小二乘法
方差已知的情形
对于一元线性回归模型y=b0+b1x+u，加权最小化残差平方