第五章 多重共线性(计量经济学-北京大学,岳昌君)

24
5
§3 多重共线性的影响
一、完全共线性 ˆ X Y ˆ无唯一解 ( X X ) ˆ 的方差是无穷大。 i
6
二、“不完全”多重共线性
ˆ的解不稳定。 ˆ 的方差非常大。 1、 i ˆ 2.8 ˆ 1 1 0.9 2 2 例如： 0.9 1 ˆ 2.9 ˆ 2 3 3 ˆ 2.8 ˆ 3.5678 0.99 1 2 2 0.99 ˆ ˆ 1 2 . 9 6 . 4322 3 3 ˆ 2.8 ˆ 40 .5743 0.999 1 2 2 0.999 2.9 ˆ ˆ 1 51 . 4257 3 3
10
三、方差膨胀因子(VIF)
第j个回归系数的方差 VIF j 自变量不相关时第j个回归系数的方差 1 ; 2 1 Rj 其中R 2 j 是自变量X j 对模型中其余自变量 线性回归模型的R 2。 矩阵X X的特征值。 一般地，若VIF 10，表明模型中有很强的 共线性问题。
11
四、SAS中的检验
2
例子
Yi 1 2 X 2i 3 X 3i ui 样本为 Y 0 1 2 X1 1 1 1 X2 1 0 1 X3 0 1 0
则X 1 X 2 X 3 0 ˆ X 由正规方程组的表达式( X X ) Y 1 X X 1 0 1 0 1 1 1 1 1 1 0 1 1 0 0 3 1 2 1 0 2 2 0 1 0 1
观察结果（共线性诊断）：1、最大条件指数 37.1>30，说明中等相关；2、与最大条件指数在 一行的4个变量的方差比例都大于0.5，说明这4个 变量就是一个具有中等相关的变量集。
14
五、F检验
例如：X2，X3，X4相互回归
1、 X2—X3，X4；若F >F ，则有多重共线性； 否则的话，就没有。 2、 X3—X2，X4；若F >F ，则有多重共线性； 否则的话，就没有。
1；则可以变换模型为Y AK L1 e u
Y K u A e L L 四、估计方法： 1、混合估计； 2、岭回归；
18

§4 多重共线性的处理
五、SAS中逐步回归方法 1、变量选择问题： 回归关系式Y Yt X 1，X 2， ，X m 解释变量因入太少，则预测时偏差大； 解释变量因入太多，也会影响预测精度； “最优”回归方程：从 { X 1，X 2， ，X m }中选出
7
二、“不完全”多重共线性
2、由于后果 （方差大），置信区间 1 将要宽很多 3、由于后果1，一个、多个系数的t值检验不显著 4、虽然一个或多个系数的t值统计上不显著， 但是R 2仍然可能很大。 5、OLS 估计量及其标准误对数据的小小变化 也会是敏感的。
8
§4 多重共线性的检验
Kenenta: 1 、多重共线性是一个程度问题，而不是有无的问题 2、多重共线性是对被假定为非随机的解释变量的情 况而言，所以它是一种样本而非总体特征。 一、观察回归结果 1、R 2很大，而 | t | 值很小。 2、添加新的解释变量R 2增加，而 | t | 值减小。
4
§2 多重共线性的来源
一、解释变量受同一因素的影响 时间序列数据： 1、经济发展;2、政治事件 3、偶然事件;4、时间趋势 二、解释变量中含有当期和滞后变量 I t 1 2 rt 3Yt 4Yt 1 ut Y2 Y3 Y1 , Yn ; Y n Y1 Y2 有多重共线性。 Yn 1
Proc reg data=data1; model y=x1 x2 x3 x4 / vif collin;
12
四、SAS中的检验结果
Parameter Estimaes
variable INTERCEP X1 X2 X3 X4 DF 1 1 1 1 1 Parameter Estimate 62.4 1.55 0.510 0.102 -0.144 Standard Error 70.1 0.745 0.724 0.755 0.709 T for H0 Parameter=0 0.891 2.08 0.705 0.135 -0.203 Prob>|T| 0.3991 0.0708 0.5009 0.8959 0.8441 Variance Inflation 0.0000 38.49 254.42 46.868 282.51
3、 X4—X3，X2；若F >F ，则有多重共线性； 否则的话，就没有。
15
§4 多重共线性的处理
一、样本处理 1、增加样本容量n； 2、增加精度，比如字长； 3、使用混合数据ห้องสมุดไป่ตู้时间 截面）
16
§4 多重共线性的处理
二、解释变量的处理 1、删除引起共线性的变量； 2、逐步回归； 3、解释变量加工： 例如：Yt 1 2 X t 3 X t 1 ut ˆ 0. 7 X 0 . 4 X u ˆ Y
ˆ有无穷多解。 r( X X ) 2,
3
二、不完全共线性
虽然解释变量之间 不存在完全共线性，但 是一些解释变量之间高度相关。例如：
X2 10 15 18 24 30 X3 50 75 90 120 150 X3* 52 75 97 129 152
样本向量X2与X3*的相关系数为0.9959。
23
§4 多重共线性的处理
(3)计算量适中的选择法：不计算所有可能回归子集 如MINR、MAXR等； 例如 : proc reg data data23; model y x1 - x4/selection rsquare best 2 run; 其中best 2要求每种变量的个数输出二个最佳的回归子集。 cp ;
观察结果（参数）：1、4个自变量的方差膨 胀因子（VIF）均大于10，最大为283.51， 这表明变量有严重的多重共线性。2、R2大， |t|小。
13
四、SAS中的检验结果
Collinearity Diagnostics (intercept adjusted)
Number 1 2 3 4 Eigenvalue 2.236 1.576 0.186 0.002 Condition Index 1.000 1.191 3.461 37.12 Var Prop X1 0.0026 0.0043 0.0635 0.9296 Var Prop X2 0.0006 0.0004 0.0021 0.9969 Var Prop X3 0.0015 0.0005 0.0465 0.9471 Var Prop X4 0.0005 0.0005 0.0007 0.9983
2 * * 选择子集A { X 1*，X 2 ， ，X L }
nL 使得J ( A) ESS ( A)达到最小； nL
20
§4 多重共线性的处理
(3)C p 统计量最小
* * 选择子集A { X 1*，X 2 ， ，X L }
ESS ( A) 使得C p ( A) 2 L n达到最小； ESS（n m） (4) AIC或BIC准则
t 1 t t 1 t
令Z t 0.7 X t 0.4 X t 1 Yt 1 2 Z t t 4、主分量法。
17
§4 多重共线性的处理
三、模型处理 1、差分：Yt 1 2 X 2t 3 X 3t ut Yt 2 X 2t 3 X 3t ut 2、环比指数 增长率； 3、利用约束条件：Y AK L e u
22
§4 多重共线性的处理
(2)计算量最大的全子集方法 通过计算所有可能回归子集按最优选择的 标准的回归方程。
2 包括标准R 2 ( RSQUARE)，C（ CP ）， R ( ADJRSQ) P
例如 : proc reg data data23; model y x1 - x4/selection rsquare cp aic rmse adjreq; run;
9
二、条件数
max 条件数：k ; 其中是矩阵X X的特征值。 min
因为X X是实对称正定阵，所以是实数，并且大于0
i 条件指数：ki min
一般地，ki 20 ~ 30，存在多重共线性。 10 ~ 30弱相关 k： 30 ~ 100中等相关 100 强相关
* * { X 1*，X 2 ， ，X L }使得选中的对Y都显著，
没有选中的对Y都不显著。
19
§4 多重共线性的处理
1、最优选择的标准： (1)均方误差S 2最小（Root MSE）
* * 选择子集A { X 1*，X 2 ， ，X L }
ESS ( A) 使得S ( A) 达到最小； nL (2)预测均方误差最小
第五章 多重共线性
1
§1 含义
一、多重共线性（multicolli nearity） 回归模型中的一些或全部解释变量（样本向量） 之间存在“完全”的线性关系。 即，对向量X 1 , X 2 , X k , 存在不全为0的 一组常数1 , 2 , k 使得
1 X 1 2 X 2 k X k 0
* * 选择子集A { X 1*，X 2 ， ，X L }
2L 使得AIC ( A) Ln ( ESS ( A)) n Lln( n) 或ＢIC ( A) Ln ( ESS ( A)) 达到最小； n ２ (5)修正Ｒ 准则：使得R２达到最大。
21
§4 多重共线性的处理
3、选择“最优”子集回归的方法 选择“最优”子集回归的方法有8种，三类。 (1)选择“最优”子集的简便方法 逐步筛选法（STEPWISE） ; 向前引入法（FORWARD） ; 向后剔除法（BACKWARD） ; 例如 : proc reg data data23; model y x1 - x4/selection stepwise sle 0.10 sls 0.10