当前位置：文档之家 › §4.3多重共线性

§4.3多重共线性

  • 格式：ppt
  • 大小：343.50 KB
  • 文档页数：35

下载文档原格式

  / 35

合集下载

第四章 多重共线性

第四章 多重共线性
5
二、产生多重共线性的背景
多重共线性产生的经济背景主要有几种情形： 1.经济变量之间具有相同的变化趋势。 2.模型中包含滞后变量。 3.利用截面数据建立模型也可能出现多重共线性。 4.样本数据的原因。
6
第二节 多重共线性的后果
一、完全多重共线性产生的后果
1.参数的估计值不确定 2.参数估计值的方差无限大
Cov( ˆ2 ,
ˆ3 )

(1

r223 )
r23 2
x22i

x32i
随着共线性增加，r23趋于1，方差将增大。同样 协方差的绝对值也增大，它们增大的速度决定于
方差扩大（膨胀）因子(variance inflation factor, VIF)
VIF

1
1 r223
这时
Var(ˆ2 )
4.多重共线性严重时，甚至可能使估计的回归系数 符号相反，得出完全错误的结论。（如引例）
18
第三节 多重共线性的检验
本节基本内容： 简单相关系数检验法 方差扩大因子法 直观判断法 病态指数检验法 逐步回归法
19
一、简单相关系数检验法 简单相关系数检验法是利用解释变量之间的线性 相关程度去判断是否存在严重多重共线性的一种 简便方法。适用于只有两个变量的情形。

2

x32i 0

同理
ˆ3
这说明完全多重共线性时，参数估计量的方差将 变成无穷大。
9
关于方差的推导
Var(ˆ2 )

x32i (x22i ) (x32i )
(x2i x3i )2

2
1 X21 X 1 X22
1 X2n

计量经济学【多重共线性】

计量经济学【多重共线性】

四、多重共线性的解决方法
（三）逐步回归法( Frisch综合分析法) ◆ 从所有解释变量中间先选择影响最为显著的变量 建立模型，然后再将模型之外的变量逐个引入模型； 每引入一个变量，就对模型中的所有变量进行一次显 著性检验，并从中剔除不显著的变量；逐步引入—— 剔除——引入，直到模型之外所有变量均不显著时为 止。这种消除多重共线性的方法称为逐步回归法，也 称 Frisch 综合分析法。
◆ 根据前页表中的数据，回归结果如下所示：
◆ 回归结果表明，在 5%显著性水平下，收入(GNP) 和价格(CPI) 的系数各自均不是统计显著的。模型 通过 F 检验。我们可以断定上述方程存在严重的多 重共线性。为解决这个问题，我们可以用实际进口 额 (IM/CPI) 对实际收入 (GNP/CPI) 进行回归，得到 如下结果：
根据理论分析，可支配收入应该是服装需求最主要的
影响因素，相关系数检验也表明，可支配收入与服装
需求的相关性最强。所以，以
作为最基
本的模型。
(2) 加入服装价格指数 ，对服装需求 关于 建立二元回归模型：
可以看出，加入 后， 值稍微有所减少，参数估 计值的符号也正确，并没有影响 系数的显著性， 所以在模型中保留 。
如果两个解释变量完全相关，如 回归模型退化为一元线性回归模型
，该二元线性
这时，只能确定综合参数 定 各自的估计值。
的估计值，却无法确
二、多重共线性造成的影响
◆ 注意：除非是完全共线性，多重共线性并不意味 着任何基本假设的违背；因此，即使出现较高程度 的多重共线性，OLS 估计量仍具有线性性等良好的 统计性质。问题在于，即使 OLS 法仍是最好的估计 方法，它却不是“完美的”，尤其是在统计推断上
五、案例分析

第四章 多重共线性

第四章 多重共线性
( X X ) 不存在，从( X X ) ＝X Y
' 1 ' '
中没法解出唯一的 来。
（2）参数估计值的方差无限大；
例如：对一个离差形式的二元回归模型
y 1 x1 2 x 2
如果两个解释变量完全相关，如x 2 x1 ，则有
x12i X X x x 2 i 1i
（2）变量显著性与方程显著性综合判断；

（3）辅助回归：将每个解释变量对其余变量回归，若某 个回归方程显著成立，则该解释变量和其余变量有多 重共线性。即看判定系数较大。 （4）判断参数估计值的符号，如果不符合经济理论或实 际情况，可能存在多重共线性
4.4.1 多重共线性的修正方法 （一）：增加样本容量

时间序列数据经常出现序列相关 截面数据时，经常出现异方差

5、随机扰动项方差不等于常数=>异方差

解决问题的思路

1、定义违反各个基本假定的基本概念 2、违反基本假定的原因、背景 3、诊断基本假定的违反 4、违反基本假定的补救措施（修正）
本章主要介绍
4.1 4.2 4.3 4.4 4.5 4.6 多重共线性的实例、定义、产生背景； 多重共线性产生的后果； 多重共线性的检验； 多重共线性的修正。 违反三个假定的总结 案例
4.1.3 产生多重共线性的背景
（3）由于某种决定性因素的影响可能使各个变量向着同 方向变化； （4）滞后变量引入模型，同一变量的滞后值一般都存在 相互关系；在计量经济模型中，往往需要引入滞后经 济变量来反映真实的经济关系。 例如，消费=f(当期收入, 前期收入） 显然，两期收入间有较强的线性相关性。
多重共线性分类的矩阵形式

多重共线性

多重共线性

多重共线性多重共线性（multicollinearity ）的特征● 多重共线性是指一个回归模型中的一些或全部解释变量之间存在有一种“完全”或准确的线性关系：0...2211=+++k k X X X λλλ其中k λλλ,...,,21为常数，但不同时为零。

● 0...2211≈+++k k X X X λλλ， 近似的多重共线性● 通过巴伦坦图做简单的描述。

共线性部分可用两圆圈的重叠部分来衡量。

重叠部分越大，共线性程度越高。

● 我们定义的多重共线性仅对X 变量之间的线性关系而言，它们之间的非线性关系并不违反无多重共线性的假设i i i i u X X Y +++=2210βββ多重共线性的后果●如果多重共线性是完全的，诸X变量的回归系数将是不正确的，并且它们的标准误差为无穷大●如果多重共线性是不完全的，那末，虽然回归系数可以确定，却有较大的标准误差，意思是，系数不能以很高的精确或准精确加以估计，这会导致：-参数估计不精确，也不稳定-参数估计量的标准差较大，影响系数的显著性检验●多重共线性产生的后果具有一定的不确定性●在近似的多重共线性的情况下，只要模型满足CLRM 假定，回归系数就为ＢＬＵＥ，但特定的样本估计量并不一定等于真值。

多重共线性的来源（1）许多经济变量在时间上由共同变动的趋势，如：收入，投资，消费（2）把一些经济变量的滞后值也作为解释变量在模型中使用，而解释变量和滞后变量通常相关，如：消费和过去的收入多重共线性一般与时间序列有关，但在横截面数据中也经常出现多重共线性的检验● 多重共线性是普遍存在的，造成的后果也比较复杂，对多重共线性的检验缺少统一的准则－ 对有两个解释变量的模型，作散点图，或相 关系数，或拟和优度Ｒ平方。

－ 对有多个解释变量的模型，分别用一个解释 变量对其它解释变量进行线性回归，计算拟 和优度22221,...,,k R R R－ 考察参数估计值的符号，符不符合理论 － 增加或减少解释变量，考察参数估计值的变 化－ 对比拟和优度和ｔ检验值多重共线性的修正方法● 增加样本观测值，如果多重共线性是由样本引起的，可以通过收集更多的观测值增加样本容量。

第4章多重共线性

第4章多重共线性

计量经济学课程教案第四章 多重共线性§ 什么是多重共线性 一、多重共线性的概念 对于模型Y i =1+2X 2i +3X 3i++k X ki+ii=1,2,…,n其基本假设之一是解释变量是互相独立的。

如果存在c 1X 1i +c 2X 2i +…+c k X ki =0 i=1,2,…,n其中: c i 不全为0，则称为解释变量间存在完全共线性（perfectmulticollinearity ）。

在矩阵表示的线性回归模型 Y=X+中，完全共线性指：秩(X)<k+1，即⎪⎪⎪⎪⎪⎭⎫⎝⎛=kn nn k k X X XX X X X X X X 212221212111111二、实际经济问题中的多重共线性一般地，产生多重共线性的主要原因有以下三个方面： （1）经济变量相关的共同趋势时间序列样本：经济繁荣时期，各基本经济变量（收入、消费、投资、价格）都趋于增长；衰退时期，又同时趋于下降。

横截面数据：生产函数中，资本投入与劳动力投入往往出现高度相关情况，大企业二者都大，小企业都小。

（2）滞后变量的引入在经济计量模型中，往往需要引入滞后经济变量来反映真实的经济关系。

例如，消费=f(当期收入, 前期收入） 显然，两期收入间有较强的线性相关性。

（3）样本资料的限制由于完全符合理论模型所要求的样本数据较难收集，特定样本可能存在某种程度的多重共线性。

一般经验：时间序列数据样本：简单线性模型，往往存在多重共线性。

截面数据样本：问题不那么严重，但多重共线性仍然是存在的。

§ 多重共线性产生的后果一、完全共线性下参数估计量不存在μX βY +=的OLS 估计量为：Y X X X β''=-1)(ˆ如果存在完全共线性，则(X’X)-1不存在，无法得到参数的估计量。

二、近似共线性下OLS 估计量非有效 近似共线性下，可以得到OLS 参数估计量， 但参数估计量方差的表达式为12)()ˆ(-'=X X βσCov由于|X’X|0，引起(X’X)-1主对角线元素较大，使参数估计值的方差增大，OLS参数估计量非有效。

什么是多重共线性如何进行多重共线性的检验

什么是多重共线性如何进行多重共线性的检验

什么是多重共线性如何进行多重共线性的检验多重共线性是指在统计模型中，独立变量之间存在高度相关性或者线性依赖关系，从而给模型的解释和结果带来不确定性。

在回归分析中，多重共线性可能导致系数估计不准确、标准误差过大、模型的解释变得复杂等问题。

因此，对于多重共线性的检验和处理是非常重要的。

一、多重共线性的检验多重共线性的检验可以通过以下几种方式进行：1. 相关系数矩阵：可以通过计算独立变量之间的相关系数，判断它们之间的关系强度。

当相关系数超过0.8或-0.8时，可以视为存在高度相关性，即可能存在多重共线性问题。

2. 方差扩大因子（VIF）：VIF是用来检验自变量之间是否存在共线性的指标。

计算每一个自变量的VIF值，当VIF值大于10或者更高时，可以视为存在多重共线性。

3. 条件数（Condition index）：条件数也是一种用来检验多重共线性的指标。

它度量了回归矩阵的奇异性或者相对不稳定性。

当条件数超过30时，可以视为存在多重共线性。

4. 特征值（Eigenvalues）：通过计算特征值，可以判断回归矩阵的奇异性。

如果存在特征值接近于零的情况，可能存在多重共线性。

以上是常用的多重共线性检验方法，可以根据实际情况选择合适的方法进行检验。

二、多重共线性的处理在检测到存在多重共线性问题后，可以采取以下几种方式进行处理：1. 去除相关性强的变量：在存在高度相关变量的情况下，可以选择去除其中一个或多个相关性较强的变量。

2. 聚合相关变量：将相关性强的变量进行加权平均，得到一个新的变量来替代原来的变量。

3. 主成分分析（PCA）：主成分分析是一种降维技术，可以将相关性强的多个变量合并成为一个或多个无关的主成分。

4. 岭回归（Ridge Regression）：岭回归是一种缓解多重共线性的方法，通过加入一个正则化项，来使得共线性变量的系数估计更加稳定。

5. Lasso回归（Lasso Regression）：Lasso回归也是一种缓解多重共线性的方法，通过对系数进行稀疏化，来选择重要的变量。

《计量经济学》第4章多重共线性


经验规则
●方差膨胀因子越大，表明解释变量之间的多重共 性越严重。反过来，方差膨胀因子越接近于1，
多重共线性越弱。
●经验表明，方差膨胀因子≥10时，说明解释变量
与其余解释变量之间有严重的多重共线性，且这
种多重共线性可能会过度地影响最小二乘估计。
3、直观判断法
根据经验，通常以下情况的出现可能是由于存在多重共线性
则可认为存在着较严重的多重共线性。
注意：较高的简单相关系数只是多重共线性存在的充分条件， 而不是必要条件
2、方差扩大（膨胀）因子法
ˆ 的方差可表示为 统计上可以证明， β j
2 2 σ 1 σ ˆ )= Var( β = VIFj j 2 2 2 x j 1- Rj x j
其中的 VIFj 是变量 X j 的方差扩大因子 1 (Variance Inflation Factor)，即 VIFj = 2 1R j 其中 R 2 是Xj关于其余解释变量的辅助回归 j 的可决系数
1995
1996 1997 1998
1375.7
1638.4 2112.7 2391.2
62900
63900 64400 69450
464.0
534.1 599.8 607.0
61.5
70.5 145.7 197.0
5.97
6.49 6.60 6.64
1999
2000 2001 2002 2003 2004 2005 2006 2007 2008
如果存在完全共线性，则(X’X)-1不存在，无法得 到唯一的参数估计量。
以离差形式的二元回归模型为例
y 1 x1 2 x2
如果两个解释变量完全相关，如x2= x1，则

多重共线性

1、通常不会发生随机扰动项均值不等于0 的情形。若发生也不会影响解释变量的系 数，只会影响截距项。 2、随机扰动项正态性假设一般能够成立， 就算不成立，在大样本下也会近似成立的。 所以不讨论此假定是否违背。
不满足基本假定的情形（2）
3、解释变量之间相关=>多重共线 4、随机扰动项相关=>序列自相关
仍以二元模型中 β 1 为例， β 1 的方差为
β 1 ) = σ 2 ( X ′X )111 = var(
(∑ x1i x 2i ) 2 ∑x ∑x
2 1i 2 2i 2 x12i ∑ x 2 i ∑
2 σ 2 i ) 2
σ 2 / ∑ x12i
第四章 多重共线性
问题的提出
在前述基本假定下OLS估计具有BLUE的优良性。 然而实际问题中，这些基本假定往往不能满足， 使OLS方法失效不再具有BLUE特性。 OLS BLUE 估计参数时，必须检验基本假定是否满足，并 针对基本假定不满足的情况，采取相应的补救 措施或者新的方法。 检验基本假定是否满足的检验称为计量经济学 检验
恰为 x1 与 x 2 的线性相 关系数 的平 ∑x ∑x
2 1i 2 2i
(∑ x1i x 2i ) 2
方 r ，由于 r
2
2
1 ≥1。 ≤ 1，故 2 1 r
当完全不共线 完全不共线时， r 2 =0， var(β1 ) = σ 2 / ∑ x12i 完全不共线
当不完全共线 不完全共线（近似共线）时， 0 < r 不完全共线
相关系 数平方 方差扩 大因子 0 1 0.5 2 0.8 5 0.9 10 0.95 0.96 0.97 0.98 0.99 0.999 20 25 33 50 100 1000

【计量经济学 】 多重共线性


（2）滞后变量的引入
在经济计量模型中，往往需要引入滞后经济变量来反 映真实的经济关系。例如消费变动的影响因素不仅有本 期可支配收入，还应考虑以往各期的可支配收入；固定 资产存量变动的影响因素不仅有本期投资，还应考虑以 往若干期的投资。同一变量的前后期之值很可能有较强 的线性相关性，模型中引入了滞后变量，多重共线性就 难以避免。
（3）如果新解释变量能使拟合优度有所改变，R 2提高，但对其它参
数的符号和数值有明显的影响，统计检验也不显著，可以判定新解 释变量引起了共线性。此时需按照前述的检验方法，考察变量间线 性相关的形式和程度，并进行经济意义的判断，在共线性程度最高 的两个变量中，舍去对被解释变量影响较小、经济意义相对次要的 一个，保留影响较大、经济意义相对重要的一个。
年份
1981 1982 1983 1984 1985 1986 1987 1988 1989 1990 1991 1992 1993 1994 1995 1996
Y
4901 5489 6076 7164 8792 10133 11784 14704 16466 18320 21280 25864 34501 47111 59405 68498
△C1
333 329 383 673 1079 769 909 1909 1196 806 1784 2806 4230 7034 7313
(1) 判定系数检验法 使模型中每一个解释变量分别以其余解释变量 为解释变量进行回归，并计算相应的拟合优度。
K个辅助方程：
Xji=1X1i+2X2i+j-1Xj-1i+j+1Xj+1i++ KXKi 在得到的K个判定系数中，若Rj2最大，且接近于1， 可以判定相应的Xj与其他解释变量之间存在共线性。 Xj可以用其他解释变量的线性组合代替。

多重共线性的概念实际经济问题中的多重共线性

（2）滞后变量的引入 在经济计量模型中，往往需要引入滞后经济变 量来反映真实的经济关系。 例如，消费=f(当期收入, 前期收入） 显然，两期收入间有较强的线性相关性。
（3）样本资料的限制 由于完全符合理论模型所要求的样本数据较 难收集，特定样本可能存在某种程度的多重共线 性。 一般经验： 时间序列数据样本：简单线性模型，往往存 在多重共线性。 截面数据样本：问题不那么严重，但多重共 线性仍然是存在的。
具体可进一步对上述回归方程作F检验： 构造如下F统计量
Fj R2 j . /( k 2) (1 R ) /(n k 1)
2 j.
~ F (k 2, n k 1)
式中：Rj•2为第j个解释变量对其他解释变量的回 归方程的决定系数，
若存在较强的共线性，则Rj•2较大且接近 于1，这时（1- Rj•2 ）较小，从而Fj的值较大。 因此，给定显著性水平，计算F值，并与 相应的临界值比较，来判定是否存在相关性。
在矩阵表示的线性回归模型 Y=X+ 中，完全共线性指：秩(X)<k+1，即
1 1 X 1 X 11 X 12 X 1n X 21 X 22 X 2n X k1 X k2 X kn
中，至少有一列向量可由其他列向量（不包括第 一列）线性表出。 如：X2= X1，则X2对Y的作用可由X1代替。
二、实际经济问题中的多重共线性
一般地，产生多重共线性的主要原因有以 下三个方面： （1）经济变量相关的共同趋势
时间序列样本：经济繁荣时期，各基本经 济变量（收入、消费、投资、价格）都趋于增 长；衰退时期，又同时趋于下降。
横截面数据：生产函数中，资本投入与劳动力 投入往往出现高度相关情况，大企业二者都大， 小企业都小。
  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。