多重共线性的解决之法

多重共线性的解决之法

第七章 多重共线性

教学⽬的及要求：1、重点理解多重共线性在经济现象中的表现及产⽣的原因和后果

2、掌握检验和处理多重共线性问题的⽅法

3、学会灵活运⽤Eviews 软件解决多重共线性的实际问题。

第⼀节 多重共线性的产⽣及后果

⼀、多重共线性的含义1、含义

在多元线性回归模型经典假设中，其重要假定之⼀是回归模型的解释变量之间不存在线性关系，也就是说，解释变量X 1，X2，……，X k 中的任何⼀个都不能是其他解释变量的线性组合。如果违背这⼀假定，即线性回归模型中某⼀个解释变量与其他解释变量间存在线性关系，就称线性回归模型中存在多重共线性。多重共线性违背了解释变量间不相关的古典假设，将给普通最⼩⼆乘法带来严重后果。2、类型

多重共线性包含完全多重共线性和不完全多重共线性两种类型。 （1）完全多重共线性

完全多重共线性是指线性回归模型中⾄少有⼀个解释变量可以被其他解释变量线性表⽰，存在严格的线性关系。

如对于多元线性回归模型i ki k i i i X X X Y µββββ+++++= 22110 （7-1）

存在不全为零的数k λλλ,,,21 ，使得下式成⽴：X X X 2211=+++ki k i i λλλ

（7-2）

则可以说解释变量k X ,,X ,X 21 之间存在完全的线性相关关系，即存在完全多重共线性。

从矩阵形式来看，就是0'=X X ， 即1)(-

（2）不完全多重共线性

不完全多重共线性是指线性回归模型中解释变量间存在不严格的线性关系，即近似线性关系。

如对于多元线性回归模型（7-1）存在不全为零的数k λλλ,,,21 ，使得下式成⽴：X X X 2211=++++i ki k i i u λλλ

（7-3）

其中i u 为随机误差项，则可以说解释变量k X ,,X ,X 21 之间存在不完全多重共线性。随机误差项表明上述线性关系是⼀种近似的关系式，⼤体上反映了解释变量间的相关程度。

完全多重共线性与完全⾮线性都是极端情况，⼀般说来，统计数据中多个解释变量之间多少都存在⼀定程度的相关性，对多重共线性程度强弱的判断和解决⽅法是本章讨论的重点。

⼆、多重共线性产⽣的原因

多重共线性在经济现象中具有普遍性，其产⽣的原因很多，⼀般较常见的有以下⼏种情况。 （⼀）经济变量间具有相同⽅向的变化趋势

在同⼀经济发展阶段，⼀些因素的变化往往同时影响若⼲经济变量向相同⽅向变化，从⽽引起多重共线性。如在经济上升时期，投资、收⼊、消费、储蓄等经济指标都趋向增长，这些经济变量在引⼊同⼀线性回归模型并作为解释变量时，往往存在较严重的多重共线性。

（⼆）经济变量间存在较密切关系

由于组成经济系统的各要素之间是相互影响相互制约的，因⽽在数量关系上也会存在⼀定联系。如耕地⾯积与施肥量都会对粮⾷总产量有⼀定影响，同时，⼆者本⾝存在密切关系。

（三）采⽤滞后变量作为解释变量较易产⽣多重共线性

⼀般滞后变量与当期变量在经济意义上关联度⽐较密切，往往会产⽣多重共线性。如在研究消费规律时，解释变量因素不但要考虑当期收⼊，还要考虑以往各期收⼊，⽽当期收⼊与滞后收⼊间存在多重共线性的可能很⼤。

（四）数据收集范围过窄，有时会造成变量间存在多重共线性问题。

三、多重共线性产⽣的后果

由前述可知，多重共线性分完全多重共线性和不完全多重共线性两种情况，两种情况都会对模

型进⾏最⼩⼆乘估计都会产⽣严重后果。

（⼀）完全多重共线性 产⽣的后果 以⼆元线性回归模型为例，i i i i u +++=22110X X Y βββ

（7-4）

以离差形式表⽰，假设其中Y Y i i -=y ，111x X X i i -=，222x X X i i -=，i i X X 21λ=，常数0≠λ，则，i i x x 21λ= ，1β的最⼩⼆乘估计量为()

∑∑∑∑∑∑∑--=

2

2122212211221

i

i

i

i

i

i

i

i

i

i

i

x x x x y x x x y x x β

00)x ()x (y x x y x x 2

222222222

2222=--=∑∑∑∑∑∑i i

i i i i i i λλλλ

（7-5） 同理

得

到

：0?2

=β

（7-6）

可见参数估计值1?β和2β⽆法确定。 再考察参数估计量的⽅差，由前⾯章节可知：

()

()

2u 2

2i 1i 22i

2

1i

22i

1

x x x

x x

var σβ∑∑∑∑-=

（7-7）

将i i 21x x λ=代⼊上式，则2

2222222

222^

)

x ()x (x )1var(∑∑∑-=i i i

u λλσβ

（7-8）=∞

说明此种情况下1β⽅差为⽆穷⼤。 同理可以证明2

β的⽅差在完全共线性下也为⽆穷⼤。 以上分析表明，在完全多重共线性条件下，普通最⼩⼆乘法估计的参数值不能确定，并且估计

值的⽅差为⽆穷⼤。

（⼆）不完全多重共线性产⽣的后果假设上述⼆元线性回归模型中解释变量i X 1与i X 2的关系为i i i v X X +=21λ

（7-9）

其中i v 为随机项，满⾜0)(=i v E ，∑=02i

i v X

，代⼊1?β估计表达得：∑∑∑∑∑∑∑+-++-+=2

2222222222221^])x (x [)x ]()x ([)]x (x )[x ()x )](x (y [^

i

i i i i i i i i i i i i i i v v v y v λλλλβ

＝∑∑2y i

i i v

v

（7-10）

由于∑≠02i

v

，因⽽1?β是可确定估计的，但是其数值依赖i v 的数值，⽽iv 的数值随样本的变化有较⼤变化，所以1

β估计值是很不稳定的。 同理可以证明2

β也是可估计的，且数值具有不稳定性。 考察估计量的⽅差：

由（7-1）式可知λ是i X 1、i X 2的相关系数，因此22

112

1222212

212

x x )x x (r r r i

i i i =

=

∑∑∑λ

（7-11）

参数估计量的⽅差可表达为：()∑∑∑-∑=2)

2x 1x (22x 21x 2

2x 2?var i i i i i

µσβ

212

212

1x

r

i

u -=

∑σ

（7-12）

其中12r 为i 1X 和i 2X 之间的相关系数，从（7-12）式可见，||12r 的值越⼤，则共线程度越⾼，估计

量⽅差()2

var β越⼤，直⾄⽆穷。 综上所述，线性回归模型解释变量间存在多重共线性可能产⽣如下后果：增⼤最⼩⼆乘估计量的⽅差；参数估计值不稳定，对样本变化敏感；检验可靠性降低，产⽣弃真错误。由于参数估计量⽅差增⼤，在进⾏显著性检验时，t 检验值将会变⼩，可能使某些本该参数显著的检验结果变得不显著，从⽽将重要变量舍弃。

第⼆节 多重共线性的检验

多重共线性是较为普通存在的现象，从上节分析可知，较⾼程度的多重共线性会对最⼩⼆乘估计产⽣严重后果，因此，在运⽤最⼩⼆乘法进⾏多元线性回归时，不但要检验解释变量间是否存在多重共线性，还要检验多重共线性的严重程度。

⼀、不显著系数法

情况1、2R 很⼤，t ⼩

不显著系数法是利⽤多元线性回归模型的拟合结果进⾏检验。如果拟合优度2R 的值很⼤（⼀般来说在以上），然⽽模型中的全部或部分参数值估计值经检验却不显著，那么解释变量间有可能存在较严重的多重共线性。

情况2、理论性强，检验值弱

如果从经济理论或常识来看某个解释变量对被解释变量有重要影响，但是从线性回归模型的拟合结果来看，该解释变量的参数估计值经检验却不显著，那么可能是解释变量间存在多重共线性所导致的。

情况3、新引⼊变量后，⽅差增⼤

在多元线性回归模型中新引⼊⼀个变量后，发现模型中原有参数估计值的⽅差明显增⼤，则说明解释变量间可能存在多重共线性。

⼆、拟合优度2j R 检验

对多元线性回归模型中各个解释变量相互建⽴回归⽅程，分别求出各回归⽅程的拟和优度，如果其中最⼤的⼀个接近１，i F显著⼤于临界值，该变量可以被其他变量线性解释，则其所对应的解释变量与其余解释变量间存在多重共线性。

如设某多元线性回归模型中原有k 个解释变量k X ,,X ,X 21 ，将每个解释变量对其他解释变量进⾏回归，得到k 个回归⽅程：)X ,X ,X (X 321k f = )X ,X ,X (X 312k f =)X ,,X ,X (X 121-=k k f

分别求出上述各个⽅程的拟合优度2K 2

22

1R ,，， R R ，如果其中最⼤的⼀个2

i R 接近于１，则它所对应的解释变量i X 与其余解释变量间存在多重共线性。

三、相关矩阵法

考察多元线性回归模型k

k Y X X 110βββ+++=

（7-13）

其解释变量之间的相关系数矩阵为：

=?

=

11121221112212222111211 k k k k kk k k k k r r r r r r r r r r r r r r r R

（7-14）

因为ji ij r r =，，所以上⾯相关阵为对称阵，1=jj r ，只需考察主对⾓线元素上⽅（或下⽅）某个元素绝对值是否很⼤（⼀般在以上），就可以判断两个解释变量间是否存在多重共线性。

结论：

另外需要特别注意的是，如果相关系数很⼤，则⼀定存在多重共线性，如果相关系数很⼩，不⼀定没有多重共线性。

四、Frisch 综合分析法1、⽅法及分析标准

Frisch 综合分析法也叫逐步分析估计法，其基本思想是先将被解释变量对每个解释变量作简单回归⽅程，称为基本回归⽅程。再对每⼀个基本回归⽅程进⾏统计检验，并根据经济理论分析选出

最优基本⽅程，然后再将其他解释变量逐⼀引⼊，建⽴⼀系列回归⽅程，根据每个新加的解释变量的标准差和复相关系数来考察其对每个回归系数的影响，⼀般根据如下标准进⾏分类判别：

１.如果新引进的解释变量使2R 得到提⾼,⽽其他参数回归系数在统计上和经济理论上仍然合理，则认为这个新引⼊的变量对回归模型是有利的，可以作为解释变量予以保留。

２.如果新引进的解释变量对2R 改进不明显，对其他回归系数也没有多⼤影响，则不必保留在回归模型中。

３.如果新引进的解释变量不仅改变了2R ，⽽且对其他回归系数的数值或符号具有明显影响，则可认为引进新变量后，回归模型解释变量间存在严重多重共线性。这个新引进的变量如果从理论上分析是⼗分重要的，则不能简单舍弃，⽽是应研究改善模型的形式，寻找更符合实际的模型，重新进⾏估计。如果通过检验证明存在明显线性相关的两个解释变量中的⼀个可以被另⼀个解释，则可略去其中对被解释变量影响较⼩的那个变量，模型中保留影响较⼤的那个变量。2、具体实例