当前位置：文档之家 › 8第八章 多重共线性：解释变量相关会有什么后果

8第八章 多重共线性：解释变量相关会有什么后果

  • 格式：pptx
  • 大小：638.13 KB
  • 文档页数：32

下载文档原格式

  / 32

合集下载

多重共线性

多重共线性

多重共线性“多重共线性”一词由R. Frisch 1934年提出，它原指模型的解释变量间存在线性关系。

1．非多重共线性假定 rk (X 'X ) = rk (X ) = k解释变量不是完全线性相关的或接近完全线性相关的。

| r x i x j | ≠1, | r x i x j | 不近似等于1。

就模型中解释变量的关系而言，有三种可能。

（1）r x i x j = 0，解释变量间非线性相关，变量间相互正交。

这时已不需要多重回归，每个参数βj 都可以通过y 对x j 的一元回归来估计。

（2）| r x i x j | = 1，解释变量间完全共线性。

此时模型参数将无法确定。

直观地看，当两变量按同一方式变化时，要区别每个解释变量对被解释变量的影响程度就非常困难。

（3）0 < | r x i x j | < 1，解释变量间存在一定程度的线性相关。

实际中常遇到的是这种情形。

随着共线性程度的加强，对参数估计值的准确性、稳定性带来影响。

因此我们关心的不是有无多重共线性，而是多重共线性的程度。

2．多重共线性的经济解释（1）经济变量在时间上有共同变化的趋势。

如在经济上升时期，收入、消费、就业率等都增长，当经济收缩期，收入、消费、就业率等又都下降。

当这些变量同时进入模型后就会带来多重共线性问题。

0.E+001.E+112.E+113.E+114.E+11808284868890929496980002GDPCONS0.E +001.E +112.E +113.E +114.E +110.0E +005.0E +101.0E +111.5E +112.0E +112.5E +11C O N SG D P o f H o n g K o n g（2）解释变量与其滞后变量同作解释变量。

0.E+001.E+112.E+113.E+114.E+11808284868890929496980002GDP0.E+001.E+112.E+113.E+114.E+110.E+001.E+112.E+113.E+114.E+11GDP(-1)GDP3．多重共线性的后果（1）当 | r x i x j | = 1，X 为降秩矩阵，则 (X 'X ) -1不存在，βˆ= (X 'X )-1 X 'Y 不可计算。

第8章 多重共线性：解释变量相关会有什么后果

第8章 多重共线性：解释变量相关会有什么后果
X3i 3000 2 X 2i
Yi A1 A2 X 2 i A3 (300 2 X 2 i ) ui
A1 300 A3 A2 2 A3 X 2 i ui
令
C1 A1 300 A3 C 2 A2 2 A3
ˆ ˆ X ˆ X ˆ 3t X 3.12 31.2 1t 32.1 2t
• 利用以上偏回归系数，３个变量之间的偏相关系数 可定义如下：
ˆ ˆ r12.3 12.3 21.3
ˆ ˆ r13.2 13.2 31.2
ˆ ˆ r23.1 23.1 32.1
案例分析 一、研究的目的要求
提出研究的问题——为了规划中国未来国内旅游产业 的发展，需要定量地分析影响中国国内旅游市场发展 的主要因素。
二、模型设定及其估计
影响因素分析与确定——影响因素主要有国内旅游 人数 X 2，城镇居民人均旅游支出 X 3，农村居民人均
旅游支出 X 4 ，并以公路里程次 X 5 和铁路里程
8.7鸡肉需求函数[方程（8.15）]的共线性诊断 1.相关矩阵
鸡肉需求函数[方程（8.15）]的共线性诊断 2.辅助回归
8.8 如何解决多重共线性：补救措施
• • • • • • 从模型中删掉一个变量 获取额外的数据或新的样本 重新考虑模型 参数的先验信息 变量变换 其他补救措施
（1）从模型中删掉一个变量
留该变量。
若新变量的引入未能改进 R 2 和 F 检验，且对其他回 归参数估计值的t 检验也未带来什么影响，则认为该 变量是多余变量。 若新变量的引入未能改进 R 2 和 F 检验，且显著地影 响了其他回归参数估计值的数值或符号，同时本身的 回归参数也通不过t 检验，说明出现了严重的多重共 线性。

多重共线性问题分析

多重共线性问题分析
●经验表明，方差膨胀因子≥10时，说明解释变量
与其余解释变量之间有严重的多重共线性，且这
种多重共线性可能会过度地影响最小二乘估计。
（4）直观判断法
①当增加或剔除一个解释变量，或者改变一
个观测值时，回归参数的估计值发生较大变 化，回归方程可能存在严重的多重共线性。 ②从定性分析认为，一些重要的解释变量的 回归系数的标准误差较大，在回归方程中没 有通过显著性检验时，可初步判断可能存在 严重的多重共线性。
例 如 ：
年份 1978 1979 1980 1981 1982 1983 1984 1985 1986 1987 1988 1989 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000
C 1759.1 2005.4 2317.1 2604.1 2867.9 3182.5 3674.5 4589.0 5175.0 5961.2 7633.1 8523.5 9113.2 10315.9 12459.8 15682.4 20809.8 26944.5 32152.3 34854.6 36921.1 39334.4 42911.9
三、多重共线性的检验
多重共线性表现为解释变量之间具有相关关系，
所以用于多重共线性的检验方法主要是统计方法：
如判定系数检验法、逐步回归检验法等。 多重共线性检验的任务是： （1）检验多重共线性是否存在；
（2）估计多重共线性的范围，即判断哪些变量之
间存在共线性。
1、检验多重共线性是否存在
(1)对两个解释变量的模型，采用简单相关系数法
可以有效地消除原模型中的多重共线性。
一般而言，差分后变量之间的相关性要比
差分前弱得多，所以差分后的模型可能降

8第八章 多重共线性：解释变量相关会有什么后果

8第八章 多重共线性：解释变量相关会有什么后果

H0 : B4 B5 0
作业 做在书上：8.1~8.12； 自行思考、上机操作：8.14~8.18、
P95：4.18
Variable C GPA GMAT EMPGRAD TUITION RECRUITER R-squared Adjusted Rsquared S.E. of regression Sum squared resid Log likelihood Durbin-Watson stat
418通常物流需求是指一定时期内社会经济活动对生产流通消费领域的原材料成品和半成品商品以及废旧物品废旧材料等的配置作用而产生的对物品在空间时间作业量和费用方面的要求涉及运输库存包装装卸搬运流通加工以及与之相关的信息需求等物流活动的诸方面
第二部分
实践中的回归分析
基本假定违背：不满足基本假定的情况。
（1）模型设定有偏误；所选模型是正确设定的 基本假定 所选模型是正确设定的
5、OLS估计量及其标准误对数据的微小变化非常敏感。 6、回归系数的符号有误。 不能通过经济意义的检验。 7、难以评估各个解释变量对ESS或R2的贡献。
5、OLS估计量及其标准误对数据的微小变化非常敏感。
7、难以评估各个解释变量对ESS或R2的贡献。
补充：产生多重共线性的主要原因（了解）
（1）经济变量相关的共同趋势
Y：饰品需求 X2：价格 X3：消费者收入 X4：消费者工资
Yi A1 A2 X 2i A3 X 3i ui Yi B1 B2 X 2i B4 X 4i ui
Yi A1 A2 X 2i A3 X 3i ui X 3i 300 2 X 2i ; R2 1
Rj•2:第j个解释变量对其他解释变量的回归方程的判定系数

用主成分法解决多重共线性问题

用主成分法解决多重共线性问题

用主成分法解决多重共线性问题一、多重共线性的表现线性回归模型中的解释变量之间由于存在精确相关关系或高度相关关系。

看似相互独立的指标本质上是相同的，是可以相互代替的，但是完全共线性的情况并不多见，一般出现的是在一定程度上的共线性，即近似共线性。

二、多重共线性的后果1.理论后果多重共线性是因为变量之间的相关程度比较高。

按布兰查德认为, 在计量经济学中, 多重共线性实质上是一个“微数缺测性”问题，就是说多重共线性其实是由样本容量太小所造成，当样本容量越小，多重共线性越严重。

多重共线性的理论主要后果：（1）完全共线性下参数估计量不存在；（2）近似共线性下OLS估计量非有效；（3）模型的预测功能失效；（4）参数估计量经济含义不合理2.现实后果（1）各个解释变量对指标最后结论影响很难精确鉴别；（2）置信区间比原本宽，使得接受假设的概率更大；（3）统计量不显著；（4）拟合优度的平方会很大；（5）OLS估计量及其标准误对数据微小的变化也会很敏感。

三、多重共线性产生的原因1.模型参数的选用不当，在我们建立模型时如果变量之间存在着高度的相关性2. 由于研究的经济变量随时间往往有共同的变化趋势,他们之间存在着共性。

例如当经济繁荣时，反映经济情况的指标有可能按着某种比例关系增长3. 滞后变量。

滞后变量的引入也会产生多重共线行，例如本期的消费水平除受本期的收入影响之外，还有可能受前期的收入影响，建立模型时，本期的收入水平就有可能和前期的收入水平存在着共线性。

四、多重共线性的识别1.方差扩大因子法( VIF)一般认为如果最大的VIF超过10，常常表示存在多重共线性。

2.容差容忍定法如果容差（tolerance）<=0.1，常常表示存在多重共线性。

3. 条件索引条件索引(condition index)>10，可以说明存在比较严重的共线性。

五、多重共线性的处理方法处理方法有多重增加样本容量、剔除因子法、PLS(偏最小二乘法)、岭回归法、主成分法。

7.2多重共线性的后果

7.2多重共线性的后果

例如， 例如，对于二元线性回归模型
Yi = β 0 + β1 X 1i + β 2 X 2i + ui
如果两个解释变量完全相关，如X 2 = λ X 1，则该二元 线性回归模型退化为一元线性回归模型：
Yi = β 0 + β1 + λβ 2）X 1i + ui （
这时，只能确定综合参数β1 + λβ 2的估计值，无法 确定β1，β 2 各自的估计值。
β1 =
∂Y X1
根据偏导数的概念， 的经济含义是： 根据偏导数的概念，β1的经济含义是：在其他变 量保持不变的情况下， 变化一个单位将使Y变 量保持不变的情况下，X1 变化一个单位将使 变 个单位。 化β1个单位。 但在多重共线性的情况下， 但在多重共线性的情况下，解释变量的相关性将 无法“保持其他变量不变” 无法“保持其他变量不变”，从而也难以分离出 每个解释变量的单独影响。 每个解释变量的单独影响。
四、回归模型缺乏稳定性 从同一总体中抽取不同的样本估计模型， 从同一总体中抽取不同的样本估计模型，得到的 估计值不会完全相同，但不应该有显著差异， 估计值不会完全相同，但不应该有显著差异，此 时称模型为稳定的。 时称模型为稳定的。但是当模型存在多重共线性 样本数据即使有微小的变化， 时，样本数据即使有微小的变化，也可能导致系 数估计值发生明显变化，甚至出现符号错误， 数估计值发生明显变化，甚至出现符号错误，参 数估计对样本的变化比较敏感。 数估计对样本的变化比较敏感。
多重共线性的后果 第二节 多重共线性的后果
• • • • OLS估计量的方差增大 估计量的方差增大 难以区分每个解释变量的单独影响 变量的显著性检验失去意义 回归模型缺乏稳定性
经典回归模型要求模型不存在完全的多重共线 经典回归模型要求模型不存在完全的多重共线 所以，即使模型存在严重的多重共线性， 性，所以，即使模型存在严重的多重共线性，也并 不违背基本假定， 估计仍然是最佳线性无偏估 不违背基本假定，OLS估计仍然是最佳线性无偏估 估计 但多重共线性却会产生以下问题： 计。但多重共线性却会产生以下问题： 一、OLS估计量的方差增大 估计量的方差增大 设二元线性回归模型为： 设二元线性回归模型为：

第8章 多重共线性：解释变量相关会有什么后果

第8章 多重共线性：解释变量相关会有什么后果

第8章 多重共线性：解释变量相关会有什么后果本章主要讲授如下内容：8.1 多重共线性的性质8.2 多重共线性产生的原因 8.3 多重共线性的后果8.4 多重共线性的诊断8.5 如何解决多重共线性：补救措施8.1 多重共线性的性质1．完全多重共线性的情形对于变量X 1、X 2……、X k ，如果存在不全为零的数λ1、λ2、……λk ，使得下式成立：02211=+++k k X X X λλλ则称变量X 1、X 2……、X k 之间存在一种完全的共线性。

注意：当解释变量之间存在完全共线性时，不可能获得所有参数的唯一估计值，因而也就不能根据样本进行任何统计推断（即假设检验）。

2．接近或者不完全多重共线性的情形对于变量X 1、X 2……、X k ，如果存在不全为零的数λ1、λ2、……λk ，使得下式成立：02211=++++μλλλk k X X X则称变量X 1、X 2……、X k 之间存在不完全的共线性。

这里，μ为随机误差项。

8.2 多重共线性产生的原因1．经济变量之间往往存在同方向的变化趋势。

2．经济变量之间往往存在着密切的关联度。

3．在模型中采用滞后变量也容易产生多重共线性。

4．在建模过程中由于解释变量选择不当引起了变量之间的多重共线性。

8.3 多重共线性的后果1．增大OLS 估计量的方差和标准差可以证明，参数估计值i b 的方差为：22211)()var(ii iti RX Xb -⋅-=∑σ其中，2i R 是第i 个解释变量对模型中其他解释变量作辅助回归模型),,,,,,(1121k i i i X X X X X f X +-=时的决定系数。

2．可能导致在假设检验中舍去重要的解释变量，检验的可靠性降低。

3．回归模型缺乏稳定性。

4．可能导致回归系数符号的错误。

8.4 多重共线性的诊断多重共线性只是存在的程度而非是否存在的问题，它属于样本特征而非总体特征。

一般可以采取以下方法进行诊断。

1．根据回归结果判断R 2较高但t 值统计显著的不多，这是多重共线性的“典型”特征。

李子奈《计量经济学》第四版简答题

李子奈《计量经济学》第四版简答题

计量经济学简答题1.简述计量经济学中的检验包括哪些内容？(1)t 检验：回归模型中变量的显著性检验；(2)F 检验：方程总体线性的显著性检验；受约束的回归检验；多重共线性检验（判定系数检验法和逐步回归法检验法）；异方差性检验（G-Q 检验）(3)卡方检验：异方差性的检验（White 检验）、拉格朗日乘数（LM ）检验(4)拟合优度检验：检验模型对样本观测值的拟合程度，一元线性回归模型中看可决系数R 2统计量的值，多元回归模型中看调整的R 2统计量的值。

其值越接近1，说明模型的拟合优度较高。

(5)异方差性的检验：图示检验法、White 检验、布罗施-帕甘（B-P ）检验（F 统计量或LM统计量）、戈里瑟（Gleiser ）检验。

(6)序列相关性的检验：图示法、回归检验法、D.W.检验法、拉格朗日乘数（LM ）检验(7)时间序列的平稳性检验：单位根检验（DF 检验、ADF 检验）2.计量经济学研究的对象是什么？计量经济学的研究对象是经济现象，是研究经济现象中的具体数量规律（或者说，计量经学是利用数学方法，根据统计测定的经济数据，对反映经济现象本质的经济数量关系进行研究。

3.应用计量经济学方法，研究客观经济现象的步骤是什么?（1）陈述理论（或假设）；（2）建立计量经济模型；（3）收集数据；（4）估计参数；（5）假设检验；（6）预测和政策分析。

4.多元线性回归模型的经典的基本假定有哪些？（1）回归模型是正确设定的；（2）解释变量X 1,X 2...X K 在所抽取的样本中具有变异性，且X j 之间不存在严格线性相关性（无完全多重共线性）；（3）随机干扰项具有条件零均值性：()0...|2,1=K i X X X E μ；（4）随机干扰项具有条件同方差及不序列相关性：()221...,|ar σμ=K i X X X V ，()0...,|,21=K j i X X X Cov μμ;（5）随机干扰项满足正态分布：()221,0~...,|σμN X X X K i 。

多重共线性

多重共线性


比如对于两个解释变量的模型
Yi 1 X 1i 2 X 2i ui

根据我们前面的讨论，参数的最小二乘估计为：
ˆ 1
2 ( yi x1i )( x2 i ) ( yi x2 i )( x1i x2 i ) 2 2 ( x12i )( x2 ) ( x x ) 1i 2i i
R 2 0.8101 ˆ , ˆ ) 0.00868 cov( 1 2

12 0.5523
df 2
ˆ 在单侧t检验的显著水平10%是显著的（1.886）。 1
第二组数据的回归结果
ˆ 1.2108 Y i se (0.7480) t (1.6187) 0.4014 X 1i (0.2721) (1.4752) 0.0270 X 2i (0.1252) (0.2158)
多重共线性
南开大学数学科学学院 白晓棠
多重共线性

在经典的线性回归模型中，我们假定回归模型中诸回归元 之间无多重共线性。

在本节中我们将放松此要求从而来研究： 1、什么是多重共线性？ 2、它会引起什么样的后果？ 3、怎样去发现它？ 4、我们可以采取哪些补救措施来缓解多重共线性的问 题？
第一组数据
Y 1 2 3 4 5
X1 2 0 4 6 8
X2 4 2 12 0 16
第二组数据
Y 1 2 3 4 5
X1 2 0 4 6 8Leabharlann X2 4 2 0 12 16
第一组数据的回归结果
ˆ 1.1939 Y i se (0.7737) t (1.5431) 0.4463 X 1i (0.1848) (2.4151) 0.0030 X 2i (0.0851) (0.0358)

多重共线性的后果四、多重共线性的检验五、克服多重共线

多重共线性的后果四、多重共线性的检验五、克服多重共线
第六章
多重共线性
一、多重共线性的概念 二、实际经济问题中的多重共线性 三、多重共线性的后果 四、多重共线性的检验 五、克服多重共线性的方法 六、案例
问题的提出
• 在前述基本假定下OLS估计具有BLUE的优良性。 • 然而实际问题中，这些基本假定往往不能满足， 使OLS方法失效不再具有BLUE特性。 • 估计参数时，必须检验基本假定是否满足，并针 对基本假定不满足的情况，采取相应的补救措施 或者新的方法。 • 检验基本假定是否满足的检验称为计量经济学检 验
在矩阵表示的线性回归模型 Y=X+ 中，完全共线性指：秩(X)<k+1，即
1 1 X 1 X 11 X 12 X 1n X 21 X 22 X 2n X k1 X k2 X kn
中，至少有一列向量可由其他列向量（不包括第 一列）线性表出。 如：X2= X1，则X2对Y的作用可由X1代替。
具体可进一步对上述回归方程作F检验： 构造如下F统计量
Fj R2 j . /( k 2) (1 R ) /(n k 1)
2 j.
~ F (k 2, n k 1)
式中：Rj•2为第j个解释变量对其他解释变量的回 归方程的决定系数，
若存在较强的共线性，则Rj•2较大且接近 于1，这时（1- Rj•2 ）较小，从而Fj的值较大。 因此，给定显著性水平，计算F值，并与 相应的临界值比较，来判定是否存在相关性。
– 时间序列数据经常出现序列相关
• 5、随机扰动项方差不等于常数=>异方差
– 截面数据时，经常出现异方差
解决问题的思路
• • • • 1、定义违反各个基本假定的基本概念 2、违反基本假定的原因、背景 3、诊断基本假定的违反 4、违反基本假定的补救措施（修正）

多重共线性的含义多重共线性产生的原因多重共...

多重共线性的含义多重共线性产生的原因多重共...

注意： 完全共线性的情况并不多见，一般出现 的是在一定程度上的共线性，即近似共线 性。
二、多重共线性产生的原因
一般地，产生多重共线性的主要原因有以下四 个方面：
（1）经济变量相关的共同趋势
时间序列样本：经济繁荣时期，各基本经济 变量（收入、消费、投资、价格）都趋于增长； 衰退时期，又同时趋于下降。 横截面数据：生产函数中，资本投入与劳动 力投入往往出现高度相关情况，大企业二者都大， 小企业都小。
六、案例一——中国粮食生产函数
根据理论和经验分析，影响粮食生产（Y）的 主要因素有： 农业化肥施用量（X1）；粮食播种面积(X2) 成灾面积(X3); 农业机械总动力(X4); 农业劳动力(X5) 已知中国粮食生产的相关数据，建立中国粮食 生产函数： Y=0+1 X1 +2 X2 +3 X3 +4 X4 +4 X5 +
Y
1983 1984 1985 1986 1987 1988 1989 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 (万吨) 38728 40731 37911 39151 40208 39408 40755 44624 43529 44264 45649 44510 46662 50454 49417 51230 50839 46218
（4）样本资料的限制，数据收集范围 过窄，有时会造成变量间存在多重共线性 问题
由于完全符合理论模型所要求的样本数据较难 收集，特定样本可能存在某种程度的多重共线性。 一般经验：
时间序列数据样本：简单线性模型，往往存在 多重共线性。
截面数据样本：问题不那么严重，但多重共线 性仍然是存在的。

多重共线性问题课件

多重共线性问题课件
多重共线性通常出现在多元回归分析 中，当两个或多个自变量之间存在高 度相关或完全相关时，会导致模型估 计的参数不稳定。
多重共线性的表现形式
相关性矩阵
通过计算自变量之间的相关性矩阵，可以发现高度相关的自变量 。
特征值
在多重共线性情况下，某些特征值的绝对值会接近于0，这表明自 变量之间存在高度相关。
方差膨胀因子
数据收集阶段预防
总结词
在数据收集阶段，预防多重共线性的关键是保证 数据的准确性和完整性，以及合理的数据样本量 。
总结词
在数据收集阶段，可以通过增加样本量来降低多 重共线性的影响。
详细描述
数据的质量直接关系到模型的准确性和可靠性， 因此需要确保数据的准确性和完整性。此外，合 理的数据样本量可以降低随机误差的影响，提高 模型的稳定性和可靠性。
多重共线性问题的
03
诊断
特征值诊断法
总结词
通过计算模型中自变量的特征值来判断是否存在多重共线性问题。
详细描述
特征值诊断法是通过计算自变量的特征值来判断自变量之间的相关性。如果自变量的特征值接近于零 ，说明该自变量与其他自变量高度相关，存在多重共线性问题。
条件指数法
总结词
通过计算自变量之间的条件指数来判断 是否存在多重共线性问题。
VS
详细描述
条件指数是一种衡量自变量之间相关性的 指标，如果条件指数大于一定阈值，说明 自变量之间存在多重共线性问题。
方差膨胀因子法
总结词
通过计算自变量的方差膨胀因子来判 断是否存在多重共线性问题。
详细描述
方差膨胀因子是衡量自变量对因变量 影响的放大程度，如果方差膨胀因子 大于一定阈值，说明自变量之间存在 多重共线性问题。
Байду номын сангаас

第八章 多重共线性：解释变量相关会有什么后果

第八章 多重共线性：解释变量相关会有什么后果
– 检验模型中哪个变量与其他变量高度共线性的方法就是 作每个变量对其他剩餘变量的回归并计算相应的R2值
• (5) 方差膨胀因子(the variance inflation factor) – 随着R22的增加，b2和b3的方差也增加或
膨胀了。
1 VIF 2 1 R2
多重共线性存在的线索2
三、多重共线性的诊断
任务：
（1）检验多重共线性是否存在及度量共线性的程度；
（2）估计多重共线性的范围，即判断哪些变量之间存在
共线性。
注意：
（1）没有度量多重共线性的单一方法； （2）具有的是一些经验法则，即是在具体应用中能够提 供判断存在多重共线性的一些线索。
三、多重共线性的诊断
1、对多个解释变量的模型，采用综合统计检验法 若 在OLS法下：R2与F值较大，但t检验值较小，说 明各解释变量对Y的联合线性作用显著，但各解释 变量间存在共线性而使得它们对Y的独立作用不能 分辨，故t检验不显著。 R2值较高，但解释变量t值统计显著的不多。
如果某两个或多个解释变量之间出现了相 关性，则称为多重共线性(Multicollinearity)。 1、完全多重共线性 2、近似（不完全）多重共线性
完全共线性的情况 并不多见，一般出 现的是在一定程度 上的共线性，即近 似共线性。
一个怪模型
• 商场销售额= B1营业面积+ B2店员人数 + B3铺租+ B4宣传费用+ui • 何以怪？
当完全不共线时, R2 =0
当近似共线时, 0< R2 <1
VIF 1,
补充：产生多重共线性的主要原因（了解）
（1）经济变量相关的共同趋势
时间序列样本：经济繁荣时期，各基本经济 变量（收入、消费、投资、价格）都趋于增长； 衰退时期，又同时趋于下降。

回归分析中的多重共线性问题及解决方法(九)

回归分析中的多重共线性问题及解决方法(九)

在回归分析中，多重共线性是一个常见的问题。

多重共线性指的是自变量之间存在高度相关性，这会导致回归系数估计不准确，影响模型的解释性和预测能力。

在现实问题中，多重共线性经常出现，因此了解多重共线性的影响和解决方法是非常重要的。

一、多重共线性的影响多重共线性会导致回归系数估计不准确。

在存在多重共线性的情况下，自变量的系数估计可能偏离真实值，而且会出现符号与预期相反的情况。

这会影响对模型的解释，因为我们无法准确地评估每个自变量对因变量的影响程度。

同时，多重共线性也使得模型的预测能力下降，导致对未来数据的预测不准确。

二、多重共线性的检验为了检验模型中是否存在多重共线性，可以使用多种方法。

最常用的方法是计算自变量之间的相关系数。

如果相关系数大于或者，就可以认为存在多重共线性。

此外，还可以使用方差膨胀因子（VIF）来检验多重共线性。

VIF是用来衡量自变量之间相关性的指标，如果VIF的值大于10，就可以认为存在严重的多重共线性。

三、解决多重共线性的方法解决多重共线性问题的方法有很多种，下面介绍几种常用的方法。

1. 剔除相关性较高的自变量当自变量之间存在高度相关性时，可以选择剔除其中一个或几个自变量。

通常选择剔除与因变量相关性较低的自变量，以保留对因变量影响较大的自变量。

2. 使用主成分回归主成分回归是一种常用的解决多重共线性问题的方法。

它通过线性变换将原始的自变量转换为一组不相关的主成分变量，从而减少自变量之间的相关性。

主成分回归可以有效地解决多重共线性问题，并提高模型的解释性和预测能力。

3. 岭回归和套索回归岭回归和套索回归是一种正则化方法，可以在回归模型中加入惩罚项，从而减小自变量的系数估计。

这两种方法都可以有效地解决多重共线性问题，提高模型的鲁棒性和预测能力。

四、结语多重共线性是回归分析中的一个常见问题，会影响模型的解释性和预测能力。

为了解决多重共线性问题，我们可以使用多种方法，如剔除相关性较高的自变量、使用主成分回归、岭回归和套索回归等。

第八章多重共线性PPT学习教案

第八章多重共线性PPT学习教案
第13页/共38页
完全多重共线性是由于在模型设定时把 严格联系的变量引进同一个模型，或者是由 于虚拟变量设置不当引起的。
因此对完全共线性的处理比较简单，只 需要针对性的修改模型，放弃和调整引起完 全共线性的部分变量即可。注意，不能放弃 形成线性关系的所有解释变量，否则造成解 释变量缺落，使模型失去研究意义。
第17页/共38页
三、多重共线性的诊断
（一）多重共线性问题的诊断原则：
❖ 多重共线性是一个样本问题，即使在总体中诸 X变量没有逻辑和理论上的线性关系，但在具
体的样本仍可能有线性关系。
❖ 多重共线性的根源是解释变量之间的样本相关 性，因此分析解释变量之间的样本相关性，进 行单相关或多元相关性的分析检验，是发现和 判断多重共线性问题的基本方法
数据样本时期1978年-2003年（资料来源：《中国统计年鉴
2004》，中国统计出版社2004年版）
第1页/共38页
财政收入模型的EViews估计结果
Variable 农业增加值NZ 工业增加值GZ 建筑业增加值JZZ 总人口TPOP 最终消费CUM 受灾面积SZM
截距项 R-squared Adjusted R-squared S.E. of regression Sum squared resid Log likelihood Durbin-Watson stat
性（approximate multicollinearity）或交互相关 (intercorrelated)。
第6页/共38页
注意：
完全共线性的情况并不多见， 一般出现的是在一定程度上的 共线性，即近似共线性。
但无论是解释变量之间严格 的线性关系还是较严重的近似 线性关系，都会给多元线性回 归分析造成严重的不利影响， 甚至导致回归模型完全失效。

多重共线性与随机解释变量

多重共线性与随机解释变量

• 由于多重共线性表现为解释变量之间具有相关关
系，所以用于多重共线性的检验方法主要是统计方 法，如判定系数检验法、逐步回归检验法等。
• 多重共线性检验的任务是： （1）检验多重共线性是否存在； （2）估计多重共线性的范围，即判断哪些变量 之间存在共线性。
1、检验多重共线性是否存在
(1)对两个解释变量的模型，采用简单相关系数法 求出X1与X2的简单相关系数r，若|r|接近1，则说 明两变量存在较强的多重共线性。 (2)对多个解释变量的模型，采用综合统计检验法 若在OLS法下，模型的R2与F值较大，但各参数估 计量的t检验值较小，则说明各解释变量对Y的联合线 性作用显著，但各解释变量之间存在共线性而使得它 们各自对Y的独立作用不能分辨，故t检验不显著。
，
2
所以，多重共线性使参数估计量的方差增大。
方差扩大因子(Variance Inflation Factor) 为 1/(1-r2)，其增大趋势见下表：
相关系 数平方 方差扩 大因子 0 1 0.5 2 0.8 5 0.9 10 0.95 0.96 20
ˆ
0.97 33
0.98 50
0.99 100
0.999 1000
25
r 2 =1 ， var( 1 ) 当完全共线时，
3、参数估计量的经济含义不合理
如果模型(2.8.1)中两个解释变量具有线性相关性， 例如 X1 和 X2 ，那么它们中的一个变量可以由另一个变 量表征。 这时， X1 和 X2 前的参数并不反映各自与被解释变 量之间的结构关系，而是反映它们对被解释变量的共 同影响。 所以，各自的参数已经失去了应有的经济含义， 于是经常表现出似乎反常的现象，例如本来应该是正 的，结果却是负的。

多重共线性的危害

多重共线性的危害
i i
P lim
n
i
n
n
0
那么因为
P lim b1 1 P lim
n
X
i i
i
X i
i
X
X
2
1 0 1
因此 b1 是1 的一致估计。虽然不是无偏估计。
24
三、工具变量法估计
设模型为 Y 0 1 X 其中 X不仅是随机变量，而且与 有强相关性。 对模型作离差变换得 Yi Y 1 X i X i 两边乘 Z Z 并求和得 Zi Z Yi Y 1 Zi Z X i X Zi Z i i i i 然后两边除以 Z Z X X ，有 Z Z Y Y Z Z Z Z X X Z Z X X
8
（二）状态数检验
1、 状态指数 将 X矩阵的每一列 X 用其模 X X X 相除以实现标准化，然后再求 XX 矩阵的 特征值，取其中最大的除以最小的后再求 平方根，得到该矩阵的“状态数”，记为： max min 通常当 大于20或30时，认为存在较 明显的多重共线性。
k
k k
34
一、最大似然估计的原理

根据事物出现的概率（几率、可能性）的 大小，推断事物的真相，包括定性的和定 量的（参数水平）真相。
例1：一个老战士和一个军训学生各射击一 次，但只有一枪中靶。问可能是谁打中的。
β - XX D Dβ
1
19
第二节 随机解释变量
一、解释变量的随机性 二、随机解释变量和参数估计的性质 三、工具变量法估计 四、参数估计量的分布性质和统计推断
  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
注意：
（1）没有度量多重共线性的单一方法； （2）具有的是一些经验法则，即是在具体应用中能够提 供判断存在多重共线性的一些线索。
三、多重共线性的诊断
1、对多个解释变量的模型，采用综合统计检验法
若 在OLS法下：R2与F值较大，但t检验值较小，说 明各解释变量对Y的联合线性作用显著，但各解释 变量间存在共线性而使得它们对Y的独立作用不能 分辨，故t检验不显著。
2
2
Var(b2 ) x22i 1 R22
VIF x22i
2
2
Var(b3) x32i 1 R22 x32i VIF
R2增加 b2和b3的方差（或标准差）增加（或膨胀）
多重共线性使参数估计值的方差增大，1/(1-R2)为 方差膨胀因子(Variance Inflation Factor, VIF)
R2值较高，但解释变量t值统计显著的不多。
这是共线性的典型特征
首先，检验多重共线 性是否存在（1）（2）
三、多重共线性的诊断
2、对两个解释变量的模型，采用简单相关系数法
求出X1与X2的简单相关系数r，若|r|接近1，则说明 两变量存在较强的多重共线性。
对多个解释变量的模型，计算这些解释变量两两之 间的相关系数，如果有些相关系数很高(如超过0.8)， 则可能认为存在较为严重的共线性。
当完全不共线时, R2 =0 当近似共线时, 0< R2 <1
VIF 1,
四、克服多重共线性的方法
1、排除引起共线性的变量
两难：共线性； 设定误差
找出引起多重共线性的解释变量，将它排除出去。 （补充）逐步回归法：
以Y为被解释变量，逐个引入解释变量，构成回归模 型，进行模型估计
根据拟合优度的变化决定新引入的变量是否独立
时间序列样本：经济繁荣时期，各基本经济 变量（收入、消费、投资、价格）都趋于增长； 衰退时期，又同时趋于下降。
横截面数据：生产函数中，资本投入与劳动 力投入往往出现高度相关情况，大企业二者都大， 小企业都小。
（2）滞后变量的引入
在经济计量模型中，往往需要引入滞后 经济变量来反映真实的经济关系。
例如，消费=f(当期收入, 前期收入） 显然，两期收入间有较基本假定违背：不满足基本假定的情况。
（1）模型设定有偏误；所选模型是正确设定的 基本假定 所选模型是正确设定的
（2）解释变量之间存在多重共线性； 基本假定 解释变量之间不存在完全线性关系
（3）随机误差项序列存在异方差性； 基本假定 误差项方差为常数
（4）随机误差项序列存在序列相关性。 基本假定 误差项之间不相关
物流业是物流资源产业化而形成的一种新兴的复合型产 业，物流资源包括运输、仓储、装卸搬运、包装、流通 加工、配送、信息平台等，其范围涉及运输业、仓储业、 装卸搬运业、包装业、配送业、加工业、物流信息业等。 但是依据目前现有资料，上述各行业的统计数据很难获 取，因而只能使用交通运输、仓储和邮政业数据来代替， 即假定物流需求量为交通运输、仓储和邮政业需求量， 其数值也等同于交通运输、仓储和邮政业产值。
注意：
除非是完全共线性，多重共线性并不意味 着任何基本假设的违背；
因此，即使出现较高程度的多重共线性， OLS估计量仍具有线性性等良好的统计性质。
问题在于，即使OLS法仍是最好的估计方法， 它却不是“完美的”，尤其是在统计推断上无 法给出真正有用的信息。
存在不完全多重共线性时 OLS估计量仍是最优线性无偏估计量 但这不代表单个样本估计值的性质（如方差最小等）
15867.6700
20.4502
20.6819 52.2106
0.0000
基于计量模型的物流需求影响因素分析
通常物流需求是指一定时期内社会经济活动对生产、 流通、消费领域的原材料、成品和半成品、商品以及 废旧物品、废旧材料等的配置作用而产生的对物品在 空间、时间、作业量和费用方面的要求，涉及运输、 库存、包装、装卸搬运、流通加工以及与之相关的信 息需求等物流活动的诸方面。
Yi A1 A2 X 2i A3 X 3i ui X 3i 300 2 X 2i ; R2 1
Yi B1 B2 X 2i B4 X 4i ui
H0 : B4 0
H0 : B2 B4 0
scalar f=(0.9777522434601092-0.9757329391475734)*7/(1-0.9777522434601092) scalar f0=@qfdist(0.95,1,7) scalar ff=(0.9777522434601092-0)*7/(1-0.9777522434601092)/2 scalar f00=@qfdist(0.95,2,7)
若拟合优度变化显著，则说明新引入的变量是一个 独立解释变量；
若拟合优度变化很不显著，则说明新引入的变量与 其它变量之间存在共线性关系
四、克服多重共线性的方法
2、获取额外的数据或新的样本
增加样本可改善共线性问题，但有困难
3、重新考虑模型
4、参数的先验信息
然先验信息难以获得，且其准确性易遭质疑
5、变量变换 名义变量变为实际变量、采用变量的差分形式
H0 : B4 0
H0 : B2 B4 0
一、多重共线性的性质
对于模型
Yi=0+1X1i+2X2i++kXki+i
i=1,2,…,n 其基本假设之一是解释变量是互相独立的。
如果某两个或多个解释变量之间出现了相 关性，则称为多重共线性(Multicollinearity)。
参数估计值的方差与标准差变大
容易使通过样本计算的t值小于临界值， 误导作出参数为0的推断
可能将重要的解释变量排除在模型之外
多重共线性本质上是一个样本（回归）现象。
二、多重共线性的实际后果P188
1、OLS估计量的方差和标准误较大。 2、置信区间变宽。 由于标准误较大，故总体参数的置信区间就变宽了。 3、t值不显著。由于标准误变大，所以t值变小，零假设易被接受。 4、R2值较高，但t值并不都是显著的。 变量间作用抵消。
1、完全多重共线性 2、近似（不完全）多重共线性
完全共线性的情况 并不多见，一般出 现的是在一定程度 上的共线性，即近 似共线性。
1、解释变量间存在完全共线性（perfect multicollinearity）
如果存在c1X1i+c2X2i+…+ckXki=0
i=1,2,…,n
其中: ci不全为0
数）的大小；然后对这些辅助回归进行F检验H0：Rj.2=0
Fj

ESS j. / 解释变量个数 RSS j. / 样本量-待估参数个数

R
2 j.
/
df ESS
1-R
2 j.
/
df RSS
若拒绝原假设则说明Xj与其他解释变量之间存在显著的线性关系。
3、从属回归或辅助回归（判定系数检验法）
（3）样本资料的限制
由于完全符合理论模型所要求的样本数据较难 收集，特定样本可能存在某种程度的多重共线性。
一般经验： 时间序列数据样本：简单线性模型，往往存在 多重共线性。 截面数据样本：问题不那么严重，但多重共线 性仍然是存在的。
三、多重共线性的诊断
任务：
（1）检验多重共线性是否存在及度量共线性的程度； （2）估计多重共线性的范围，即判断哪些变量之间存在 共线性。
第八章 多重共线性
Multi-Collinearity • 一、多重共线性的性质 • 二、多重共线性的实际后果 • 三、多重共线性的诊断 • 四、克服多重共线性的方法 • 五、案例
Y：饰品需求 X2：价格 X3：消费者收入 X4：消费者工资
Yi A1 A2 X 2i A3 X 3i ui Yi B1 B2 X 2i B4 X 4i ui
H0 : B4 B5 0
作业 做在书上：8.1~8.12； 自行思考、上机操作：8.14~8.18、
P95：4.18
Variable C GPA GMAT EMPGRAD TUITION RECRUITER R-squared Adjusted Rsquared S.E. of regression Sum squared resid Log likelihood Durbin-Watson stat
5、OLS估计量及其标准误对数据的微小变化非常敏感。 6、回归系数的符号有误。 不能通过经济意义的检验。 7、难以评估各个解释变量对ESS或R2的贡献。
5、OLS估计量及其标准误对数据的微小变化非常敏感。
7、难以评估各个解释变量对ESS或R2的贡献。
补充：产生多重共线性的主要原因（了解）
（1）经济变量相关的共同趋势
Rj•2:第j个解释变量对其他解释变量的回归方程的判定系数
若存在较强的共线性
Rj•2较大且接近于1
（1- Rj•2 ）较小
从而Fj的值较大。
因此，给定显著性水平，计算F值，并与相应的临界值比 较，来判定是否存在相关性。
4、方差膨胀因子
概念：方差膨胀因子
VIF 1 1 R22
根据P76第四章有：
Coefficient -53580.3 6616.38 -14.25428 49411.2 0.871869 20444.5 0.858577
0.842133
6.30E+03
1.71E+09 -495.0307
2.511372
Std. Error t-Statistic 37064.3 -1.445604 12078.93 0.547762 74.52207 -0.191276 15115.72 3.268861 0.182257 4.783745 4875.206 4.193567