当前位置：文档之家 › 第七章多重共线性

第七章多重共线性

  • 格式：ppt
  • 大小：1.73 MB
  • 文档页数：33

下载文档原格式

  / 33

合集下载

多重共线性

多重共线性


解决方法
解决方法
（1）排除引起共线性的变量 找出引起多重共线性的解释变量，将它排除出去，以逐步回归法得到最广泛的应用。 （2）差分法 时间序列数据、线性模型：将原模型变换为差分模型。 （3）减小参数估计量的方差：岭回归法（Ridge Regression）。 （4）简单相关系数检验法
谢谢观看
简介
简介
对线性回归模型 基本假设之一是自变量，之间不存在严格的线性关系。如不然，则会对回归参数估计带来严重影响。为了说 明这一点，首先来计算线性回归模型参数的 LS估计的均方误差。为此。重写线性回归模型的矩阵形式为 其中服从多元正态分布，设计矩阵 X是的，且秩为 p。这时，参数的 LS估计为，而回归系数的 LS估计为。 注意到由此获得的 LS估计是无偏的，于是估计的均方误差为 其中是的特征根。显然，如果至少有一个特征根非常接近于零，则就很大，也就不再是的一个好的估计。由 线性代数的理论知道，若矩阵的某个特质根接近零，就意味着矩阵 X的列向量之间存在近似线性关系。 如果存在一组不全为零的数，使得 则称线性回归模型存在完全共线性；如果还存在随机误差 v，满足，使得 则称线性回归模型存在非完全共线性。 如果线性回归模型存在完全共线性，则回归系数的 LS估计不存在，因此，在线性回归分析中所谈的共线性 主要是非完全共线性，也称为复共线性。判断复共线性及其严重程度的方法主要有特征分析法(analysis of eigenvalue)，条件数法 (conditional numbers)和方差扩大因子法(variance inflation factor)。
产生原因
产生原因
主要有3个方面： （1）经济变量相关的共同趋势 （2）滞后变量的引入 （3）样本资料的限制
影响
影响
7.1多重共线性的概念及产生原因

7.1多重共线性的概念及产生原因

第一节多重共线性的概念及产生原因第二节多重共线性的后果第三节多重共线性的检验第四节多重共线性的修正方法第五节案例分析第一节多重共线性的概念及产生原因多重共线性产生的原因对于k元线性回归模型如果模型的解释变量之间存在着较强的相关关系则称模型存在多重共线性
第七章 多重共线性
• 本章主要内容： 本章主要内容： 第一节 多重共线性的概念及产生原因 第二节 多重共线性的后果 第三节 多重共线性的检验 第四节 多重共线性的修正方法 第五节 案例分析
多重共线性有两种情况： 多重共线性有两种情况：完全多重共线性和 近似多重共线性。 近似多重共线性。
如果存在一组不全为零的数λ0 , λ1 , λ2 ,⋯ , λk，使得
λ0 + λ1 X 1i + λ2 X 2i + ⋯ + λk X ki = 0
则称模型存在完全多重共线性。 则称模型存在完全多重共线性。 完全多重共线性
（2）解释变量中含有滞后变量 ） 在计量经济学模型中， 在计量经济学模型中，往往需要引入滞后经济 变量来反映真实的经济关系。例如，以相对收入 变量来反映真实的经济关系。例如， 假说为理论假设，则居民消费C 假说为理论假设，则居民消费 t的变动不仅受当 期收入Y 的影响， 的影响， 期收入 t的影响，还受前期收入 Yt-1的影响，于 是建立以下模型： 是建立以下模型：
Ct = β 0 + β1Yt + β 2Yt −1 + ut
显然， 显然，当期收入和前期收入之间存在着较强的线 性相关性。 性相关性。
3.利用截面数据建立模型也可能出现多重共线性 利用截面数据建立模型也可能出现多重共线性 多重共线性一般与时间序列有关， 多重共线性一般与时间序列有关，但在截面 一般与时间序列有关 数据中也经常出现。例如，在生产函数中， 数据中也经常出现。例如，在生产函数中，大企 业拥有大量的劳动力和资本，小企业只有较少的 业拥有大量的劳动力和资本， 劳动力和资本， 劳动力和资本，投入的劳动量和资本量通常是高 度相关的。 度相关的。 在多元线性回归模型中， 在多元线性回归模型中，我们关心的并不是 多重共线性的有无，而是多重共线性的程度。当 多重共线性的有无，而是多重共线性的程度。 有无 程度 多重共线性程度过高时， 多重共线性程度过高时，将给最小二乘估计带来 严重的后果。 严重的后果。
第七章多重共线性

第七章多重共线性


六、L.R.Klein判断公式法
r
RY . X 1 X 2...Xk XiXj
2
首先，将被解释变量Y分别对各个解释变量X1，X2，…，Xk做 简单的回归方程，即： Y=f（X1），Y=f（X2），…，Y=f（Xk） 并进行理论分析和统计检验，选出最优的回归方程，即基本回 归方程。求出一个基本回归方程后，然后，逐步添加解释变量，根 据添加解释变量对拟合优度的改进和对其它回归系数的影响等决定 是否保留添加的解释变量。 1.如果新添加的解释变量改进拟合优度，并且其它回归系数在统 计上仍是显著的，那么，保留添加的解释变量。新添加解释变量不 引起多重共线性；
2i
y x x y x x x ˆ b x x ( x1i x 2i)
2 2i i 1i 1i i 2 2 2 1i 2 1i 2i
2i
Var (b ˆ )
1
x x x ( x1i x2i)
2
[ u
2
2i
2
2
2
]ቤተ መጻሕፍቲ ባይዱ
1i
2i
若 X2i = X1i 则 ：
F R2 j /k (1 R2 j ) /(n k 1) ~ F (k , n k 1)

那么也可以利用F检验，来检验是否存在多重 共线性。对给定的显著性水平，查F分布表， 得到临界值，如果F> F ，则解释变量之间存 在多重共线性；否则，不存在多重共线性。
三、两个解释变量
Xk=f（X1，X2，…，X k-1）Rk2
从R12，R22，…Rk2中选出一个最接近1的，比如是 Rj2 ，则可以判定解释变量Xj与其它解释变量中的一个或 多个相关程度高。

由于Rj2的值是介于0和1之间的，如果解释变 量之间不存在相关关系，那么，Rj2的值会显 著为0。如果设H0∶ Rj2 =0，H1∶Rj2≠0，根 据F与Rj2的关系，构造统计量
多重共线性

多重共线性


第二章知多元线性回归模型参数向量的最小二乘估计量为: 1 X X X Y 这一表达式成立的前提条件是解释变量X 1 , X 2 , X k 之间没有多重共线性. 如果矩阵X 不是满秩的,则X X 也不是满秩的.必有: X X 0, 从而 X X 不存在, OLS失效, 此时称该模型存在完全的多重共线性.
解释变量的精确线性组合表示,它们的相关系数的绝对值为1.
X s ,h =
Var X is Var X ih ch cs
n
Cov( X is , X ih )


n
n i 1
( X is X is )( X ih X ih )
2
i1 ( X is X is )
则:
x y x
i1 i 2 i1
, 而1与 2却无法估计.
2 在近似共线性下OLS参数估计量的方差变大
我们前面已论述, 在近似共线性下,虽然可以得到OLS估计量: ) X X 1 2 Var (

由于此时 X X 0, 引起 X X 主对角线元素较大, 即 i的方差较大.
1
对此, 如果我们合并两个(或多个)高度线性相关的变量, 可以使用OLS , 但两个(或多个)变量前的参数将无法估计. 例如,对于回归模型:Yi 0 1 X i1 2 X i 2 i i 1, 2 , n 如果有:X i 2 X i1 , 合并两变量 : Yi 0 1 2 X i1 i , 令 1 2 ,
n
( X ih X ih ) i1
n 2
2
1 X s , h 1 在近似的多重共线性下则得不到这样的精确线性组合, 它们的相关系数的绝对值近似为1.
第七章 多重共线性

第七章 多重共线性


2
X 1i 1 r 2
2
ˆ 同理:Var b2

2
X 2i 1 r 2
2
第二节
多重共线性的影响后果
2
ˆ 当完全不共线时，r=0, Var b1
X
2 1i
当不完全共线时，r越接近1,相关程度越高， bi Var ˆ 越大，参数估计值越不准确。
第四节
多重共线性的解决方法
三、逐步回归法 (1)计算因变量对每一个解释变量的回归方程,并分别 进行统计检验,从中选取最合适的基本回归方程。 (2)逐一引入其他解释变量,重新进行回归，在模型中 每个解释变量均显著,参数符号正确, R 2 值有所提高的前 提下,从中再选取最合适的二元回归方程。 (3)在选取的二元回归方程的基础上以同样的方式引 入第三解释变量;如此引入,直至无法引入新变量为止。
第四节
多重共线性的解决方法
（2）如果历年的平均收入弹性与近期的收入弹性 近似相等，就可以用 a2代替原模型中的 b2 。将原模 ln y a2 ln I b0 b1 ln P 型变为 y1 ln y a2 ln I 令：
p1 ln P 再利用时间序列数据求出价格弹性 b1 以及 b0即可。
第四节
多重共线性的解决方法
二、间接剔除重要的解释变量 1、利用已知信息 所谓已知信息，就是在建立模型之前，根据经 济理论、统计资料或经验分析，已知的解释变量之 间存在某种关系。为了克服模型的多重共线性，可 以将解释变量按已知关系加以处理。
第四节
多重共线性的解决方法
例如：柯布－道格拉斯生产函数
y aL K e
ln y / K ln a ln L / K
第七章多重共线性精品课件

第七章多重共线性精品课件

i 0 1 1i 2
2i
bk xki ui
进行估计时，将 Xj从模型中排除，并不引起拟合优度 减少许多，那么，这个被排除在模型之外的解释变量 与留在模型中的解释变量多重共线，排除是应当的。
第三节、 多重共线性的的处理
一、剔除引起共线性的解释变量（这是最重要的方法， 保留在模型中变量的经济意义不再仅仅是自身的作用， 也包含了与其共线并被排除变量的作用。）

2
I n）
二、多重共线性的概念
考虑模型中只有两个解释变量的情况，此时 模型可以表示为：
Y b0 b1 X1 b2 X 2 u
若存在不全为0的常数 1 , 2 ，使下列关 系式成立：
1 X1 2 X 2 0
则称自变量 X 1 , X 2 存在完全的线性关系。
此时两者之间的相关系数为1。实际中完全多 重共线的情况并不多见，一般出现不同程度的 近似多重共线，即有以下关系成立：
第七章、多重共线性
本章内容
第一节、 多重共线性的概 念、产生的原因及其后果 第二节 、多重共线性的检 验 第三节、 多重共线性的的 处理 约瑟夫· 斯蒂格利茨 第四节 多重共线性的案例 2001年诺贝尔奖 分析
获得者
第一节、 多重共线性的概念、产生的原因 及其后果 一、单方程计量经济模型回顾 1、模型形式：
ji 0 1
1i
ˆ j 1 x j 1i ˆ j 1 x j 1i ˆ k xki
如果判定系数很大，F检验显著，则Xj可用其他解释变 量的线性组合表出，即 Xj 与其他解释变量多重共线。 应将Xj从解释变量中排除。 （2）或者，在对原模型
y b b x b x
四、多重共线性的影响
1、对于完全共线，由于矩阵逆不存在，所以参数的 OLS估计失效。
多重共线性

多重共线性


我们可以分别作y对x1和y对x2的回归，以便弄清 x1和x2单独对y的影响如何：
yˆi 9.4092 1.6449 x1i (0.0704)
线性。
如果存在不为零的常数 1, 2 ，使得下式成立
1 x1i 2 x2i vi 0 其中vi是随机项，这表示解释变量x1和x2之间存在近 似的线性关系，则说x1和x2之间高度相关，即存在不 完全多重共线性。 完全多重共线性和不完全多重共线性，统称为多重 共线性。因此，所谓多重共线性是指解释变量之间 存在完全的线性关系或近似的线性关系。
§7.2 多重共线性的后果
一般模型
Y X U
(7.2.11)
完全多重共线，即解释变量中存在
0 1 x1i k xki 0 （7.2.12)
其中λi不全为零。于是
rk(X) < k +1
(7.2.13)
便有
| X′X |＝0
(7.2.14)
从而使得参数估计量
ˆ ( X X )1 X Y
i＝1，2，…，k，皆有R2i=0。
多重共线性基本上是一种样本现象。因为人们在制 定模型时，总是尽量避免将理论上具有严格线性关 系的变量作为自变量收集在一起，因此，实际问题 中的多重共线性并不是自变量之间存在理论上或实 际上的线性关系造成的，而是由于所收集的数据(自 变量观察值)之间存在近似的线性关系所致。
例7.2.1 设因变量y和自变量x1、x2具有表7.2.1所示的 观察值，我们用模型
yi 0 1 x1i 2 x2i ui
拟合表7.2.1中的数据。
表7.2.1
y、x1和x2的观察值
yi 30 35 40 45 50 60 68 80 92 104 x1i 10 15 18 22 28 32 38 42 50 55 x2i 9.8 14.9 17.6 21.6 27.6 31 37.2 42.3 50.2 54.6
第七章多重共线性

第七章多重共线性


X i fi ( X1, X 2 , , X i1, X i1, , X k )
X k fk ( X1, X 2 , , X k1)
对应的判定系数 R12, R22, , R2j , , Rk2
即
R2j
对应为以 X j 为被解释变量的回归方程。
显然，这些判定系数中最大且接近于1的那 一个R2i所对应的变量Xi，是与其他解释 变量发生多重共线性最严重的一个
（2）估计多重共线性的范围，即判断哪些 变量之间存在共线性。
有几点我们要明白：
(1) 多重共线性是一个程度问题而不是存在与否 的问题。
(2) 由于多重共线性是在假定解释变量是非随机 的条件下出现的问题，因而它是样本的特征，而 不是总体的特征。
因此，我们不仅可以“检测多重共线性”，而且 可以测度任何给定样本的多重共线性程度。
X1 9
X2i、2, 25, 48 X 2 25
X3i、1, 23, 24
X 3 16
view correlations
它们两两简单相关系数不大，但是严格共线性
所以，用简单相关系数判断模型是否存在多重共线性，只 适用于两个解释变量的情况
（二）估计多重共线性的范围
如果存在多重共线性，需进一步确定究竟由哪些变 量引起。
多重共线性是一个程度问题
若解释变量两两之间完全不相关，则不存在 该问题；
若其中部分解释变量之间完全相关，则根本 不能用OLS进行回归；
若解释变量之间存在一定程度的线性关系， 则是本章所要解决的多重共线性的问题。
2.参数的方差 因为估计值的方差为：
Var(1)
2 x22i
x12i x22i ( x1i x2i )2
注意： 完全共线性的情况并不多见，一般出现的
第七章多重共线性

第七章多重共线性

第七章多重共线性第七章多重共线性若线性模型不满⾜假定6，就称模型有多重共线性。

§7.1 多重共线性的概念⼀. 基本概念：假定6 ()1k r X k n =+<，是指模型中所有⾃变量12,,,,k x x x 1线性⽆关，也可理解为矩阵X 的列向量线性⽆关。

若不满⾜该假定，即 ()1k r X k <+，则称12,,,,k x x x 1存在完全多重共线性，12,,,,k x x x 1存在严格的线性关系，这是⼀种极端情况；若12,,,,k x x x 1之间的线性关系不是严格的，⽽是⼀种近似的线性关系，则称⾼度相关或存在不完全多重共线性。

如，01122i i i i y x x u βββ=+++ 若12,λλ?不全为零，使11220i i x x λλ+=，完全多重共线性11220i i i x x v λλ++= 不完全多重共线性完全多重共线性和不完全多重共线性统称为多重共线性。

解释变量（⾃变量）之间的线性关系可⽤拟合优度2i R 描述，2i R 表⽰i x 对其它解释变量的拟合优度，21i R = 完全 21i R ≈⾼度 20i R = ⽆⼆. 产⽣的原因：在实际经济问题中主要是不完全多重共线性。

其产⽣的主要原因是：1. 两个解释变量具有相同或相反的变化趋势；（家庭能耗与住房⾯积、⼈⼝）⽣产、需求.......2. 数据收集的范围过窄，造成解释变量之间有相同或相反变化的假象；3. 某些解释变量之间存在某种近似的线性关系；（各解释变量有相同的时间趋势）4. ⼀个变量是另⼀个变量的滞后值；供给5. 解释变量的选择不当也可能引起变量间的多重共线性。

6. 过度决定模型。

(观测值个数少于参数个数)对于正确设置的模型，多重共线性基本上是⼀种样本现象。

§7.2 多重共线性的后果⼀. 完全多重共线性当模型具有完全多重共线性时，⽆法进⾏参数的OLS 估计；设模型 Y XB U =+，若有完全多重共线性，即()1k r X k <+，则()1T r X X k <+ 1()T X X -?不存在1()T TB X X X Y ∧-?=不存在，同样 21()()Tj u jj V X X βσ∧-=也不存在，显著性检验和预测都⽆法进⾏。

第七章 多重共线性及其处理

第七章 多重共线性及其处理

第七章 多重共线性及其处理第一部分 学习辅导一、本章学习目的与要求1．理解多重共线性的概念；2．掌握多重共线性存在的主要原因；3．理解多重共线性可能造成的后果；4．掌握多重共线性的检验与修正的方法。

二、本章内容提要本章主要介绍计量经济模型的计量经济检验。

即多重共线性问题。

多重共线性是多元回归模型可能存在的一类现象，分为完全共线与近似共线两类。

模型的多个解释变量间出现完全共线性时，模型的参数无法估计。

更多的情况则是近似共线性，这时，由于并不违背所有的基本假定，模型参数的估计仍是无偏、一致且有效的，但估计的参数的标准差往往较大，从而使得t 统计值减小，参数的显著性下降，导致某些本应存在于模型中的变量被排除，甚至出现参数正负号方面的一些混乱。

显然，近似多重共线性使得模型偏回归系数的特征不再明显，从而很难对单个系数的经济含义进行解释。

多重共线性的检验包括检验多重共线性是否存在以及估计多重共线性的范围两层递进的检验。

而解决多重共线性的办法通常有逐步回归法、差分法以及使用额外信息、增大样本容量等方法。

（一）多重共线性及其产生的原因当我们利用统计数据进行分析时，解释变量之间经常会出现高度多重共线性的情况。

1．多重共线性的基本概念多重共线性(Multicollinearity )一词由弗里希（Frish ）于1934年在其撰写的《借助于完全回归系统的统计合流分析》中首次提出。

它的原义是指一个回归模型中的一些或全部解释变量之间存在有一种“完全”或准确的线性关系。

如果在经典回归模型Y X βε=+中，经典假定（5）遭到破坏，则有()1R X k <+，此时称解释变量k X X X ,,,21 间存在完全多重共线性。

解释变量的完全多重共线性，也就是解释变量之间存在严格的线性关系，即数据矩阵X 的列向量线性相关。

因此，必有一个列向量可由其余列向量线性表示。

同时还有另外一种情况，即解释变量之间虽然不存在严格的线性关系，但是却有近似的线性关系，即解释变量之间高度相关。

计量经济学之多重共线性

计量经济学之多重共线性

计量经济学之多重共线性引言多重共线性是计量经济学中一个重要的概念，在经济学研究中扮演着重要的角色。

在本文中，我们将深入探讨多重共线性的概念、原因和影响，并介绍一些常见的解决方案和应对方法。

什么是多重共线性？多重共线性是指在回归分析中，自变量之间存在高度相关性的情况。

具体来说，多重共线性指的是自变量之间线性相关性较高，可能导致回归分析的结果不准确或难以解释。

多重共线性的原因多重共线性的产生有多种原因，以下是一些常见的原因：1.样本选择偏倚：当样本中存在特定的特征或者数据的选择方式导致一些变量的相关性增强。

2.变量的定义重复：有些变量可能在定义上重复，导致它们之间存在高度相关性。

3.缺少重要变量：当回归模型中存在遗漏的重要变量时，其他变量可能会代替这些遗漏的变量，导致多重共线性。

4.数据测量误差：测量误差也可能导致自变量之间存在高度相关性。

多重共线性的影响多重共线性可能会对回归模型产生一系列的问题和影响：1.估计系数不准确：多重共线性会导致回归系数的估计不准确，使得对自变量的解释变得困难。

2.系数符号相反：多重共线性可能导致估计系数的符号与理论预期相反。

3.误差项的方差增加：多重共线性会导致误差项的方差增加，从而降低了模型的精确度。

4.解释力度减弱：多重共线性会降低模型的解释力度，使得我们难以解释模型的结果。

解决多重共线性的方法针对多重共线性问题，我们可以采取以下方法来解决：1.增大样本量：增大样本量可以降低变量之间的相关性，从而减轻多重共线性的影响。

2.删除相关变量：通过检验变量之间的相关性，删除相关性较高的变量，可以减轻多重共线性的程度。

3.主成分分析：主成分分析是一种降维的方法，可以将相关性较高的变量合并为一个主成分，从而避免了多重共线性的问题。

4.增加惩罚项：在回归模型中增加惩罚项，如岭回归或lasso回归，可以减轻多重共线性的影响。

5.使用时间序列数据：对于存在多重共线性的房地产数据等时间序列数据，可以使用时间序列模型来避免多重共线性的问题。

计量经济学题库第7章多重共线性

第7章 多重共线性习 题一、单项选择题1．如果回归模型中解释变量之间存在完全的多重共线性，则最小二乘估计量（ ）A.不确定，方差无限大B.确定，方差无限大C.不确定，方差最小D.确定，方差最小2．多元线性回归模型中，发现各参数估计量的t 值都不显著，但模型的F 值确很显著，这说明模型存在（ ）A ．多重共线性B ．异方差C ．自相关D ．设定偏误 3．逐步回归法既检验又修正了（ ）A ．异方差性 B.自相关性 C ．随机解释变量 D.多重共线性4．如果模型中的解释变量存在完全的多重共线性，参数的最小二乘估计量是（ ）A ．无偏的 B. 有偏的 C. 不确定 D. 确定的 5．设线性回归模型为，下列表明变量之间具有完全多重共线性的是（ ）A ．B ．C ．D ．其中v 为随机误差项6．简单相关系数矩阵方法主要用于检验（ ）A ．异方差性 B.自相关性 C ．随机解释变量 D.多重共线性 7．设为解释变量，则完全多重共线性是( )8．下列说法不正确的是（ ）A. 多重共线性产生的原因有模型中大量采用滞后变量,)(22很大或R R 01122i i i iY X X u βββ=+++1202*0*0i i X X ++=1202*0*0i i X X v +++=1200*0*0i i X X ++=1200*0*0i i X X v +++=21,x x 221211211.0.021.0(.02x x A x x B x e C x x v v D x e +==++=+=为随机误差项）B. 多重共线性是样本现象C. 检验多重共线性的方法有DW检验法D. 修正多重共线性的方法有增加样本容量二、多项选择题1．能够检验多重共线性的方法有（）A. 简单相关系数矩阵法B. t检验与F检验综合判断法C. DW检验法D. ARCH检验法E. White 检验2．如果模型中解释变量之间存在共线性，则会引起如下后果（）A. 参数估计值确定B. 参数估计值不确定C. 参数估计值的方差趋于无限大D. 参数的经济意义不正确E. DW统计量落在了不能判定的区域3．能够检验多重共线性的方法有（）A. 简单相关系数矩阵法B. DW检验法C. t检验与F检验综合判断法D. ARCH检验法E. 辅助回归法(又待定系数法)三、判断题1．多重共线性问题是随机扰动项违背古典假定引起的。

经济计量学第七讲多重共线性PPT资料(正式版)


第四节 多重共线性的侦察（2）
二、侦察多重共线性的规则
（一）R2值高而显著的t比率少
（二）回归元之间有高度的两两相关 Ø它只是充分条件而不是必要条件
（三）检查偏相关 Ø偏相关系数不能保证对多重共线性提供 一 个准确的指南。
第四节 多重共线性的侦察（3）
二、侦察多重共线性的规则 （四）辅助回归 做每个解释变量对其他剩余变量 的回归并计算相应的R2值。其中的每 一个回归都被称为是从属或者辅助回 归。
2
j
j
第五节 多重共线性的补救措施
如果存在不完全的多重共线性,
TOj L(1R2 j)1/VIjF
第五节 多重共线性的补救措施
一、先验信息 二、横截面与时间序列数据并用 三、剔除变量与设定偏误 四、变量代换 五、补充新数据 六、在多项式回归中降低共线性 七、拯救多重共线性的其他方法
谢谢观看
（一）完全多重共线性情形
Y = ^1 + ^2X2 + ^3X3 + ^u
^2
(yx2)(x32) - (yx3)(x2x3)
= (x22)(x32) - (x2x3)2
如果 x3 = x2,
^2
=
(yx2)(2x22) - (yx2)(x2x2) (x22)(2 x22) - 2(x2x2)2
=
0 0
经济计量学第七讲多重 共线性
第七讲 多重共线性
第一节 多重共线性的性质 第二节 出现多重共线性时的估计问题 第三节 多重共线性的后果 第四节 多重共线性的侦察 第五节 多重共线性的补救措施
第一节 多重共线性的性质
一、多重共线性的概念 二、多重共线性的来源
一、多重共线性的概念
Y i 1 2 X 2 i 3 X 3 i k X k i u i

07多重共线性 EVIEW 处理方法

第七章 多重共线模型案例导入：根据理论与经验分析，影响居民服装需求d C 的主要因素有可支配收入Y 、流动资产拥有量L 、服装类价格指数Pc 和总物价指数0P 。

下表给出了某地10年间有关统计资料。

服装需求函数有关统计资料年份d C （百万元） Y （百万元） L （百万元） 服装类价格指数Pc 物价总指数0P 19988.4 82.9 17.1 92 94 19999.6 88.0 21.3 93 96 200010.4 99.9 25.1 96 97 200111.4 105.3 29.0 94 97 200212.2 117.7 34.0 100 100 200314.2 131.0 40.0 101 101 200415.8 148.0 44.0 105 104 200517.9 161.8 49.0 112 109 200619.3 174.2 51.0 112 111 2007 20.8 184.7 53.0 112 111 背景知识：在多元线性回归模型经典假设中，其重要假定之一是回归模型的解释变量之间不存在线性关系，即解释变量1X ，2X ，……，k X 中的任何一个都不能是其他解释变量的线性组合。

如果违背这一假定，即线性回归模型中某一个解释变量与其他解释变量间存在线性关系，就称线性回归模型中存在多重共线性。

在经济现象中，经济变量之间常常因为存在具有相同方向的变化趋势、存在较密切关系、采用滞后变量作为解释变量、数据收集范围过窄等原因而造成存在多重共线性。

较高程度的多重共线性可能对最小二乘估计产生如下严重后果：增大最小二乘估计量的方差；参数估计值不稳定，对样本变化敏感；检验可靠性降低，产生弃真的错误。

由于参数估计量方差增大，在进行显著性检验时，t 检验值将会变小，可能使某些本该参数显著的检验结果变得不显著，从而将重要变量舍弃。

多重共线性是较为普通存在的现象，在运用最小二乘法进行多元线性回归时，不但要检验解释变量间是否存在多重共线性，还要检验多重共线性的严重程度。

计量经济学 第七章 多重共线性

第七章 多重共线性“多重共线性”一词由R. Frisch 1934年提出，它原指模型的解释变量间存在线性关系。

7.1多重共线性及产生的原因 7.1.1．非多重共线性假定111211212221121111k k T T Tk x x xx xx X x x x ---=如果rk (X 'X ) = rk (X ) ＜ k 或`0X X =称解释变量是完全共线性相关。

在实际经济问题中，完全多重共线性和完全无多重共线性两种极端情况都是极少的，大多数情况是解释变量存在不完全的多重共线性，或者近似的多重共线性，可一表示为：1122110k k x x x u λλλ--++++= 7.1.2．多重共线性的经济解释（1）经济变量在时间上有共同变化的趋势。

如在经济上升时期，收入、消费、就业率等都增长，当经济收缩期，收入、消费、就业率等又都下降。

当这些变量同时进入模型后就会带来多重共线性问题。

0.E+001.E+112.E+113.E+114.E+11808284868890929496980002GDPCONS0.E +001.E +112.E +113.E +114.E +110.0E +005.0E +101.0E +111.5E +112.0E +112.5E +11C O N SG D P o f H o n g K o n g（2）解释变量与其滞后变量同作解释变量。

滞后变量与原因变量在经济意义上没有本质区别，只是时间上的差异，原因变量与解释变量有相关关系，滞后变量也会有相关关系。

（见下图） （3）解释变量之间往往存在密切的关联度。

对同一经济现象的解释变量，往往存在密切的相关关系，如生产函数，资本大，需投入的劳动力也应趆多。

0.E+001.E+112.E+113.E+114.E+11GDP0.E+001.E+112.E+113.E+114.E+110.E+001.E+112.E+113.E+114.E+11GDP(-1)GDP7.2．多重共线性的后果（1） 当 `0X X =，X 为降秩矩阵，则 (X 'X ) -1不存在，βˆ= (X 'X )-1 X 'Y 不可计算。

《多重共线性》课件


诊断方法比较
检验统计量
检验统计量提供量化指标，可以 明确指出多重共线性的程度，但 其依赖于样本数据，稳定性相对
较差。
图形化诊断
图形化诊断直观易理解，但可能存 在主观性，并且难以量化多重共线 性的程度。
综合运用
在实际应用中，应综合运用多种方 法进行多重共线性的诊断，以确保 诊断结果的准确性和可靠性。
Condition Index
Condition Index是诊断多重共线性的另一种统计量，当某些Condition Index值特别 大时，可能存在多重共线性问题。
图形化诊断
散点图
通过绘制自变量间的散点图，可以直 观地观察到是否存在线性关系，从而 初步判断是否存在多重共线性问题。
相关系数矩阵
通过绘制相关系数矩阵，可以观察到 自变量间的相关系数，当某两个自变 量的相关系数接近1或-1时，可能存 在多重共线性问题。
多重共线性的影响
参数估计值不稳定
01
模型中的参数估计值会随着样本的微小变化而发生较大的变化
，导致模型预测的不稳定性。
模型预测精度降低
02
由于参数估计值的不准确，会导致模型的预测精度降低，预测
结果的可信度下降。
模型解释性差
03
由于解释变量之间的高度相关关系，使得模型难以解释各个解
释变量对因变量的影响程度，降低了模型的解释性。
多重共线性PPT课件
目 录
• 多重共线性的定义 • 多重共线性的成因 • 多重共线性的诊断 • 多重共线性的处理 • 案例分析
01
多重共线性的定义
什么是多重共线性
1
共线性是指解释变量之间存在高度相关性的现象 。
2
在多元线性回归模型中，如果解释变量之间存在 高度相关关系，会导致模型估计的参数不准确， 甚至出现完全错误的结论。

多重共线性的含义多重共线性产生的原因多重共...

如果拟合优度变化很不显著，则说明新引入 的变量与其它变量之间存在共线性关系。
3．方差膨胀(扩大)因子法
对于多元线性回归模型来说，如果分别以每个解释变量为被解释 变量，做对其他解释变量的回归，这称为辅助回归。
以Xj为被解释变量做对其他解释变量辅助线性回归的可决系数，用Rj 表示，则可以证明(证明过程从略)，解释变量Xj参数估计量 表示为
2 1 ˆ )= VIFj Var( 2 2 2 j x ji 1 R j x ji
ˆJ
的方差可
2
其中，定义VIR2 j
• 设计辅助函数
xi 0 1 x1 i 1 xi 1 i 1 xi 1 k xk i
ˆ ) 2 / x2 当完全不共线时，r =0， var( 1i 1
2
当不完全共线（近似共线）时，0 r
2 1 ˆ ) var( 1 2 2 2 x 1 r x 1i 1i
2
1
，
2
即：多重共线性使参数估计值的方差增大，方差 扩大因子(Variance Inflation Factor)为1/(1-r2)， 其增大趋势见下表：
年份
粮食产量
表 4.3.3 中国粮食生产与相关投入资料 受灾面积 农业化肥施 粮食播种面 农业机械总 用量 X 1 （万公斤） 1659.8 1739.8 1775.8 1930.6 1999.3 2141.5 2357.1 2590.3 2806.1 2930.2 3151.9 3317.9 3593.7 3827.9 3980.7 4083.7 4124.3 4146.4
X2 积 （千公顷） 114047 112884 108845 110933 111268 110123 112205 113466 112314 110560 110509 109544 110060 112548 112912 113787 113161 108463
  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1909
0.4134 0.7488 0.4658 0.3113
•△Y与△C1之 间的判定系数为
0.7456
1990 1991 1992 1993 1994 1995 1996
18320 21280 25864 34501 47111 59405 68498
10556 11362 13146 15952 20182 27216 34529
•一般认为， 两个变量之间
的判定系数大 于0.8时，两 者之间存在线 性关系。
•由表中的比值可直观地看到，增量的线性关系弱于总量0.8之04间2 的线性关
系。
第七章多重共线性
2、第二类方法：改变解释变量的形式 •（2）采用相对数变量
例：粮食生产模型
粮食产量=f(农用化肥施用量，有效播种面积， 农用机械总动力，农业劳动力) 可改为： 粮食产量=f(农用化肥施用量/有效播种面积，有 效播种面积，农用机械总动力/有效播种面积，农 业劳动力)
0.5762 1854 0.5339 2960 0.5083 4584 0.4624 8637 0.4284 12610 0.4581 12294 0.5041 9093
1196 806 1784 2806 4230 7034 7313
1.083 0.6451 0.2723 0.3892 0.3249 0.3354 0.5721
第七章多重共线性
（3）样本资料的限制
由于完全符合理论模型所要求的样本数据较难收集，特 定样本可能存在某种程度的多重共线性。
一般经验： 时间序列数据样本：简单线性模型，往往存在多重共线 性。 截面数据样本：问题不那么严重，但多重共线性仍然是 存在的。
第七章多重共线性
二、多重共线性的后果 •1、完全共线性下参数估计量不存在
•数量Y •价格X1 •收入X2 •收益X3
•49 •1
•29
•297.
45
2
8
5
44
3
296 294.9
39
4
294 293.5
38
5
292 292.8
37
6
290 290.2
34
7
288 289.7
33
8
286 285.8
30
9
284 284.6
29
10
282 281.1
•LS Y C X1
280 278.8
如果存在
c1X1i+c2X2i+…+ckXki=0
i=1,2,…,n
其中: ci不全为0，即某一解释变量可以用其他解释
变量的线性组合表示，则称为解释变量间存在完全
共线性（perfect multicollineari2X2i+…+ckXki+vi=0 i=1,2,…,n
第七章多重共线性
四、克服多重共线性的方法 • 如果模型被检验证明存在多重共线性，则需
要发展新的方法估计模型，最常用的方法有三类。
• 1、第一类方法：排除引起共线性的变量
找出引起多重共线性的解释变量，将它排除出 去，是最为有效的克服多重共线性的方法。上述用 于检验多重共线性的方法，同时就是克服多重共线 性问题的方法。
在矩阵表示的线性回归模型 Y=X+
中，完全共线性指：秩(X)<k+1，即
•中，至少有一列向量可由其他列向量（不包括第 一列）线性表出。 • 如：X2= X1，则X2对Y的作用可由X1代替。
第七章多重共线性
二、实际经济问题中的多重共线性
一般地，产生多重共线性的主要原因有以下三个方面：
（1）经济变量相关的共同趋势
• 多重共线性表现为解释变量之间具有相关关 系，所以用于多重共线性的检验方法主要是统计 方法：如判定系数检验法、逐步回归检验法等。
多重共线性检验的任务是： （1）检验多重共线性是否存在； （2）估计多重共线性的范围，即判断哪些变量 之间存在共线性。
第七章多重共线性
1、检验多重共线性是否存在
(1)对两个解释变量的模型，采用简单相关系数法 求出X1与X2的简单相关系数r，若|r|接近1，则说
以逐步回归法得到最广泛的应用。
第七章多重共线性
2、第二类方法：改变解释变量的形式 •（1）采用增量型变量（差分法）
时间序列数据、线性模型：将原模型变 换为差分模型: Yi=1 X1i+2 X2i++k Xki+ i 可以有效地消除原模型中的多重共线性。 • 一般讲，增量之间的线性关系远比总量 之间的线性关系弱得多。
•恰为X1与X2的线性相关系数的平方r2
•由于 r2 1，故 1/(1- r2 )1
•当完全不共线时, r2 =0
•当近似共线时, 0< r2 <1 •当完全共线时， r2=1，
第七章多重共线性
多重共线性使参数估计值的方差增大，1/(1-r2)为方 差膨胀因子(Variance Inflation Factor, VIF)
• 由于|X’X|0，引起(X’X) -1主对角线元素较大， 使参数估计值的方差增大，OLS参数估计量非有 效。
第七章多重共线性
•仍以二元线性模型 y= 1x1+2x2+ 为例:
多重共线性使参数估计值的方差增大， 1/(1-r2)为方差膨胀因子(Variance Inflation Factor, VIF)
•0.566 3
0.5605 0.3520
•Y与C1之间 的判定系数为
0.9845
1986 1987 1988 1989
10133 11784 14704 16466
5773 6542 7451 9360
0.5697 0.5552 0.5067 0.5684
1441 1651 2920 1762
1079 769 909
第七章多重共线性
2020/12/5
第七章多重共线性
一、多重共线性的概念 对于模型
Yi=0+1X1i+2X2i++kXki+i
i=1,2,…,n 其基本假设之一是解释变量是互相独立的。
• 如果某两个或多个解释变量之间出现了 相关性，则称为多重共线性 (Multicollinearity)。
第七章多重共线性
第七章多重共线性
• 另一等价的检验是: 在原模型中排除某一个解释变量Xj，估
计模型； 如果拟合优度与包含Xj时十分接近，
则说明Xj与其它解释变量之间存在共线性。
•缺点：（1）计算繁琐；（2）如果多重共线性 仅存在于其中某几个解释变量之间，辅助回归方 程不能区分出。
第七章多重共线性
(2)逐步回归法
第七章多重共线性
（2）滞后变量的引入
在经济计量模型中，往往需要引入滞后经济变量来反 映真实的经济关系。例如消费变动的影响因素不仅有本 期可支配收入，还应考虑以往各期的可支配收入；固定 资产存量变动的影响因素不仅有本期投资，还应考虑以 往若干期的投资。同一变量的前后期之值很可能有较强 的线性相关性，模型中引入了滞后变量，多重共线性就 难以避免。
结果恰是负的。
第七章多重共线性
4、变量的显著性检验失去意义
•存在多重共线性时 •参数估计值的方差与标准差变大 •容易使通过样本计算的t值小于临界值，
• 误导作出参数为0的推断 •可能将重要的解释变量排除在模型之外
第七章多重共线性
5、模型的预测功能失效
变大的方差容易使区间预测的“区间”变大， 使预测失去意义。
•的OLS估计量为： •如果存在完全共线性，则(X’X)-1不存在，无法得 到参数的估计量。
第七章多重共线性
•例：对离差形式的二元回归模型 •如果两个解释变量完全相关，如x2= x1，则
•这时，只能确定综合参数1+2的估计值：
第七章多重共线性
2、近似共线性下OLS估计量非有效
近似共线性下，可以得到OLS参数估计量， 但参数估计量方差的表达式为
第七章多重共线性
3、第三类方法：减小参数估计量的方差
如果存在多重共线性，需进一步确定究竟由哪 些变量引起。
(1) 判定系数检验法 使模型中每一个解释变量分别以其余解释变量 为解释变量进行回归，并计算相应的拟合优度。
K个辅助方程：
Xji=1X1i+2X2i+j-1Xj-1i+j+1Xj+1i++ KXKi 在得到的K个判定系数中，若Rj2最大，且接近于1， 可以判定相应的Xj与其他解释变量之间存在共线性。 Xj可以用其他解释变量的线性组合代替。
•在引进新解释变量进入回归方程时，
•（1）如果新解释变量在符合经济意义的前提下，能使拟合优度 有所提高，并且每个参数统计检验显著，则采纳该变量。（说明该 解释变量是一个独立解释变量）
•（2）如果新解释变量不能改善拟合优度，同时对其它参数无明显影 响，则可舍弃该变量。（说明它可以用其它变量的线性组合代替）
以Y为被解释变量，逐个引入解释变量，构 成回归模型，进行模型估计。
根据拟合优度的变化决定新引入的变量是否 独立。
如果拟合优度变化显著，则说明新引入的变 量是一个独立解释变量；
如果拟合优度变化很不显著，则说明新引入 的变量与其它变量之间存在共线性关系。
第七章多重共线性
•(2)逐步回归法
•将被解释变量Y对每一个解释变量Xj(j=1,2, …k)分别进行回归，对每 一个回归方程根据经济理论和统计检验进行综合判断分析，从中选 出一个最优的基本回归方程。在此基础上，再逐一引入其它解释变 量，重新作回归，逐步扩大模型的规模，直至从综合情况看出现最 好的模型估计形式。
在一定条件下，某些经济变量会出现同增或同降的趋势。 时间序列样本：经济繁荣时期，各基本经济变量（收入、 消费、投资、价格）都趋于增长；衰退时期，又同时趋于下 降。如果将这些有着共变趋势的变量同时引入模型，就会产 生多重共线性。 横截面数据：生产函数中，资本投入与劳动力投入往往 出现高度相关情况，大企业二者都大，小企业都小。