多重共线性

多重共线性多重共线性（multicollinearity ）的特征● 多重共线性是指一个回归模型中的一些或全部解释变量之间存在有一种“完全”或准确的线性关系：0...2211=+++k k X X X λλλ其中k λλλ,...,,21为常数，但不同时为零。

● 0...2211≈+++k k X X X λλλ， 近似的多重共线性● 通过巴伦坦图做简单的描述。

共线性部分可用两圆圈的重叠部分来衡量。

重叠部分越大，共线性程度越高。

● 我们定义的多重共线性仅对X 变量之间的线性关系而言，它们之间的非线性关系并不违反无多重共线性的假设i i i i u X X Y +++=2210βββ多重共线性的后果●如果多重共线性是完全的，诸X变量的回归系数将是不正确的，并且它们的标准误差为无穷大●如果多重共线性是不完全的，那末，虽然回归系数可以确定，却有较大的标准误差，意思是，系数不能以很高的精确或准精确加以估计，这会导致：-参数估计不精确，也不稳定-参数估计量的标准差较大，影响系数的显著性检验●多重共线性产生的后果具有一定的不确定性●在近似的多重共线性的情况下，只要模型满足CLRM 假定，回归系数就为ＢＬＵＥ，但特定的样本估计量并不一定等于真值。

多重共线性的来源（1）许多经济变量在时间上由共同变动的趋势，如：收入，投资，消费（2）把一些经济变量的滞后值也作为解释变量在模型中使用，而解释变量和滞后变量通常相关，如：消费和过去的收入多重共线性一般与时间序列有关，但在横截面数据中也经常出现多重共线性的检验● 多重共线性是普遍存在的，造成的后果也比较复杂，对多重共线性的检验缺少统一的准则－ 对有两个解释变量的模型，作散点图，或相 关系数，或拟和优度Ｒ平方。

－ 对有多个解释变量的模型，分别用一个解释 变量对其它解释变量进行线性回归，计算拟 和优度22221,...,,k R R R－ 考察参数估计值的符号，符不符合理论 － 增加或减少解释变量，考察参数估计值的变 化－ 对比拟和优度和ｔ检验值多重共线性的修正方法● 增加样本观测值，如果多重共线性是由样本引起的，可以通过收集更多的观测值增加样本容量。

第四章 多重共线性第一节 什么是多重共线性一、多重共线性的含义所谓多重共线性，不仅包括解释变量之间完全（精确）的线性关系，还包括解释变量之间近似的线性关系。

对于解释变量23,,,k X X X ，如果存在不全为零的数123,,,,k λλλλ ，能使得12233i i k ki X X X λλλλ++++ =0 ，（i =1,2,,n ）——即解释变量的数据矩阵的列向量组线性相关。

则称解释变量23,,,k X X X 之间存在着完全的线性关系。

用数据表示，解释变量的数据矩阵为X =213112232223111k k nnkn X X X XX X X X X ⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦当()r X <k 时，也说明解释变量23,,,k X X X 之间存在着完全的线性关系。

当存在完全共线性时，至少有一个变量（列向量）可以用其余的变量（列向量）线性表出。

在实际问题中，完全的共线性并不多见。

常见的情形是解释变量23,,,k X X X 之间存在不完全的共线性，这是指存在不全为零是数123,,,,k λλλλ ，使得12233λλλλ+++++ i i k ki i X X X v =0（i =1,2,,n ）其中i v 是随机变量。

这表明此时解释变量之间只是一种近似的线性关系。

二、产生多重共线性的背景1.经济变量之间具有共同的变化趋势2.模型中包含滞后变量3.利用截面数据建立模型也可能出现共线性4. 样本数据自身的原因第二节 多重共线性产生的后果完全共线性时，矩阵X X '不可逆，参数估计式ˆβ=1()X X X Y -''不存在，OLS 无法应用。

不完全的共线性时，1()X X -'也存在，可以得到参数的估计值，但是对计量经济分析可能会产生一系列影响。

一、参数估计量的无偏性依然成立不完全共线性时ˆ()E β=1()E X X X Y -''⎡⎤⎣⎦=1()()E X X X X U β-''⎡⎤+⎣⎦=β+()1()X X X E U -''=β二、参数OLS 估计值方差扩大 如二元回归模型i Y =12233i i i X X u βββ+++中的2X 与3X 为不完全的共线性时，2X 与3X 之间的相关系数23r 可由下式给出223r=2232223()x x x x∑∑∑容易证明2ˆ()Var β=222223(1)i x r σ-∑3ˆ()Var β=222323(1)ixr σ-∑随着共线性的程度增加，23r 的绝对值趋于1，两个参数估计量的方差也增大。

试述多重共线性（统计累赘）的概念、特征及其测量方式和处理方式。

1、概念多重共线性是指自变量之间存在线性相关关。

倘若其中两个自变项的关系特别强，则在相互控制后就会使每者的效果减弱，而其他的变相的效果就会因此而增大。

2、特征3、产生原因产生多重相关性的原因主要包括四方面。

一是没有足够多的样本数据; 二是选取的自变量之间客观上就有共线性的关系; 还可能由其它因素导致, 如数据采集所用的方法, 模型设定, 一个过度决定的模型等。

但多数研究者认为共线性本质上是由于样本数据不足引起的。

4、测量方式（1）经验式的诊断方法通过观察,得到一些多重相关性严重存在的迹象。

①在自变量的简单相关系数矩阵中,有某些自变量的相关系数值较大。

②回归系数的代数符号与专业知识或一般经验相反;或者该自变量与因变量的简单相关系数符号相反。

③对重要自变量的回归系数进行t 检验,其结果不显著。

特别是当F 检验能在高精度下通过,测定系数R 2的值也很大,但自变量的t 检验却全都不显著,这时多重相关性的可能将会很大。

④如果增加或删除一个变量,或者增加或删除一个观测值,回归系数发生了明显的变化。

⑤重要自变量的回归系数置信区别明显过大。

⑥在自变量中,某一个自变量是另一部分自变量的完全或近似完全的线性组合。

⑦对于一般的观测数据,如果样本点的个数过少,比如接近于变量的个数或者少于变量的个数,样本数据中的多重相关性就会经常存在。

（2）统计检验方法共线性的诊断方法是基于对自变量的观测数据构成的矩阵X ’X 进行分析,使用各种反映自变量间相关性的指标。

共线性诊断常用的统计量有方差膨胀因子VIF 或容限TOL 、条件指数和方差比例等。

方差膨胀因子VIF 是指回归系数的估计量由于自变量的共线性使其方差增加的一个相对度量。

对于第i 个回归系数,它的方差膨胀因子定义为：VIF=1/1-R 2=1/TOL i 其中R2i 是自变量Xi 对模型中其余自变量线性回归模型的R 平方。

第七章多重共线性第七章多重共线性若线性模型不满⾜假定6，就称模型有多重共线性。

§7.1 多重共线性的概念⼀. 基本概念：假定6 ()1k r X k n =+<，是指模型中所有⾃变量12,,,,k x x x 1线性⽆关，也可理解为矩阵X 的列向量线性⽆关。

若不满⾜该假定，即 ()1k r X k <+，则称12,,,,k x x x 1存在完全多重共线性，12,,,,k x x x 1存在严格的线性关系，这是⼀种极端情况；若12,,,,k x x x 1之间的线性关系不是严格的，⽽是⼀种近似的线性关系，则称⾼度相关或存在不完全多重共线性。

如，01122i i i i y x x u βββ=+++ 若12,λλ?不全为零，使11220i i x x λλ+=，完全多重共线性11220i i i x x v λλ++= 不完全多重共线性完全多重共线性和不完全多重共线性统称为多重共线性。

解释变量（⾃变量）之间的线性关系可⽤拟合优度2i R 描述，2i R 表⽰i x 对其它解释变量的拟合优度，21i R = 完全 21i R ≈⾼度 20i R = ⽆⼆. 产⽣的原因：在实际经济问题中主要是不完全多重共线性。

其产⽣的主要原因是：1. 两个解释变量具有相同或相反的变化趋势；（家庭能耗与住房⾯积、⼈⼝）⽣产、需求.......2. 数据收集的范围过窄，造成解释变量之间有相同或相反变化的假象；3. 某些解释变量之间存在某种近似的线性关系；（各解释变量有相同的时间趋势）4. ⼀个变量是另⼀个变量的滞后值；供给5. 解释变量的选择不当也可能引起变量间的多重共线性。

6. 过度决定模型。

(观测值个数少于参数个数)对于正确设置的模型，多重共线性基本上是⼀种样本现象。

§7.2 多重共线性的后果⼀. 完全多重共线性当模型具有完全多重共线性时，⽆法进⾏参数的OLS 估计；设模型 Y XB U =+，若有完全多重共线性，即()1k r X k <+，则()1T r X X k <+ 1()T X X -?不存在1()T TB X X X Y ∧-?=不存在，同样 21()()Tj u jj V X X βσ∧-=也不存在，显著性检验和预测都⽆法进⾏。

第七章 多重共线性Multi-Collinearity多重共线性 ƒ ƒ ƒ ƒ 一、多重共线性的概念 二、多重共线性的检验 三、克服多重共线性的方法 四、案例一、多重共线性的概念 对于模型 Yi=β0+β1X1i+β2X2i+…+βkXki+μi i=1,2,…,n 其基本假设之一是解释变量是互相独立的。

如果某两个或多个解释变量之间出现了相 关性，则称为多重共线性。

如果存在 c1X1i+c2X2i+…+ckXki=0 性。

如果存在 c1X1i+c2X2i+…+ckXki+vi=0 性或交互相关。

i=1,2,…,n其中: ci不全为0，则称为解释变量间存在完全共线i=1,2,…,n其中ci不全为0，vi为随机误差项，则称为 近似共线注意： 完全共线性的情况并不多见，一般出现的是 近似共线性。

二、多重共线性的检验(1)对两个解释变量的模型，采用简单相关系数法 求出X1与X2的简单相关系数r，若|r|接近1，则说 明两变量存在较强的多重共线性。

(2)对多个解释变量的模型，采用经验检验法 模型特征：R2与F值较大，但t检验值较小，三、克服多重共线性的方法(◆)逐步回归法以Y为被解释变量，逐个引入解释变量，构 成回归模型，进行模型估计。

根据拟合优度的变化决定新引入的变量是否 独立。

如果拟合优度变化显著，则说明新引入的变 量是一个独立解释变量； 如果拟合优度变化很不显著，则说明新引入 的变量与其它变量之间存在共线性关系。

四、案例根据理论和经验分析，影响粮食生产（Y）的 主要因素有： 农业化肥施用量（X1）；粮食播种面积(X2) 成灾面积(X3); 农业机械总动力(X4); 农业劳动力(X5) 已知中国粮食生产的相关数据，建立中国粮食 生产函数： Y=β0+β1 X1 +β2 X2 +β3 X3 +β4 X4 +β4 X5 +μ年份粮食产量表 4.3.3 中国粮食生产与相关投入资料 受灾面积 粮食播种面 农业机械总 农业化肥施 用量 X 1 （万公斤） 1659.8 1739.8 1775.8 1930.6 1999.3 2141.5 2357.1 2590.3 2806.1 2930.2 3151.9 3317.9 3593.7 3827.9 3980.7 4083.7 4124.3 4146.4 积 X2 （千公顷） 114047 112884 108845 110933 111268 110123 112205 113466 112314 110560 110509 109544 110060 112548 112912 113787 113161 108463Y1983 1984 1985 1986 1987 1988 1989 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 (万吨) 38728 40731 37911 39151 40208 39408 40755 44624 43529 44264 45649 44510 46662 50454 49417 51230 50839 46218X3（公顷） 16209.3 15264.0 22705.3 23656.0 20392.7 23944.7 24448.7 17819.3 27814.0 25894.7 23133.0 31383.0 22267.0 21233.0 30309.0 25181.0 26731.0 34374.0动力 X 4 （万千瓦） 18022 19497 20913 22950 24836 26575 28067 28708 29389 30308 31817 33802 36118 38547 42016 45208 48996 52574农业劳动 力X5 （万人） 31645.1 31685.0 30351.5 30467.0 30870.0 31455.7 32440.5 33330.4 34186.3 34037.0 33258.2 32690.3 32334.5 32260.4 32434.9 32626.4 32911.8 32797.51、用OLS法估计上述模型：ˆ = −12816.44 + 6.213 X + 0.421X − 0.166 X − 0.098 X − 0.028 X Y 1 2 3 4 5(-0.91)(8.39)(3.32)(-2.81)(-1.45)(-0.14)R2接近于1； 给定α=5%，得F临界值 F0.05(5,12)=3.11 F=638.4 > 15.19， 故认上述粮食生产的总体线性关系显著成立。

多重共线性名词解释多重共线性(MLC)是指分析结果为两个或以上自变量共同影响的现象，具有相互独立性，表现为因变量正值与共同影响因素负值之差的绝对值比因变量大。

多重共线性在连续测量中是十分常见的，它广泛存在于人口统计学、心理学、生物学、生态学、经济学等学科的各种分析中，它严重影响着各种统计分析方法的有效性。

多重共线性可以通过两种途径来产生：第一种是由于多重观测造成的，即同一时间内观测同一对象可能有不同的记录;第二种是由于多次观测造成的，即一次观测同一变量后得到两个或多个数据，其中只有一个数据可用于分析。

例如同时给予研究对象两种食物，收集到的数据便可能呈现两种结果，这就是“多重共线性”。

自变量对因变量的贡献不同，即某一因变量并不是另一因变量的线性函数，这种现象称为多重共线性。

通常情况下，多重共线性不影响分析结果，但是对统计推断却构成很大的干扰。

对共线性进行识别和处理时，首先要明确产生多重共线性的原因，然后才能选择合适的方法去减小共线性。

根据原因不同，可把多重共线性分为2类：第一类是由于随机误差引起的，称为系统性多重共线性;第二类是由于随机误差之外的因素引起的，称为随机性多重共线性。

2、连续性原理和直接效应定律。

连续性原理是指对于某些已知量X，若随机抽取若干个样本X(X。

无限多)，而事先不告诉Y，则所得的样本X的统计量Y与总体Y之间具有极为密切的关系，即样本统计量具有良好的代表性。

若将随机抽取的这些样本累积起来，就可估计总体X的数值。

这就是直接效应定律。

按照样本统计量与总体统计量之间的关系，可以将多重共线性分为两类：一类是内在性多重共线性(多重内在性)，另一类是外在性多重共线性(多重外在性)。

3、重复测量问题。

1)如何提高重复测量精度。

(1)降低随机误差。

①采用随机化变量时，必须确保样本的随机性，并尽可能排除样本内部的多重共线性。

②考虑随机化对样本空间结构的影响。

2)如何提高平均值的准确性。

(1)排除样本内部的多重共线性。

多重共线性 §1 概述多重共线性的概念 （一）完全的多重共线性 ⒈定义对于k 个解释变量，如果存在一组不全为零的数12,,...k λλλ，使得1122...0k k X X X λλλ+++=则称12,,...,k X X X 之间存在完全的多重共线性 ⒉等价形式rank （X ）< k+1 ，矩阵X 不满秩0X X '=()1X X -'不存在（二）不完全的多重共线性对于k 个解释变量，如果存在一组不全为零的数12,,...k λλλ，使得1122...0k k X X X λλλμ++++=其中μ为随机变量则称12,,...,k X X X 之间存在不完全的多重共线性（三）无多重共线性即没有上述完全和不完全的多重共线性，此时rank （X ）< k+1，()1X X -'存在。

§2 多重共线性的产生原因和后果 一、 多重共线性的产生原因 二、 多重共线性的后果 （一） 完全的多重共线性 1. 参数估计值不确定11ˆ()()1()ˆX X X Y rank X k X X X ββ--''='<+⇒⇒⇒不满秩不存在无法估出2. 参数估计量的方差无穷大 （二） 不完全的多重共线性1. 参数估计值具有较大的不确定性2. OLS 估计仍然是无偏估计，但估计量的方差随着共线性程度的提高而提高 对二元回归，有2212221121212212121ˆ()111iiVar VIFxr xVIF r r r VIF σσβ==∙-=---↑⇒↑⇒↑⇒↑⇒↑∑∑其中方差膨胀因子共线性程度方差3.一个或多个系数的t 值不显著 对二元回归，有21212111111ˆˆˆ()()ˆ()r r VIF Var Se t t Se ββββ↑⇒↑⇒↑⇒↑⇒↑↑⇒↑⇒=↓⇒共线性程度方差更容易不显著§3 多重共线性的判断（检测） 一、 直观判断观测t 、F 和2R（1）F ，2R 很高――解释变量对因变量的联合影响明显 （2）部分或全部t 值不显著――无法分解出各解释变量对因变量的单独影响二、 观测相关系数 1. 简单相关系数矩阵法缺点：考察两个解释变量相关程度时，未排除其余解释变量对它们的影响2．偏相关系数法 三、辅助回归法1. 利用不包括某一解释变量所构成的判定系数2. 利用解释变量之间所构成回归方程的判定系数 四、本征值和条件指数 五、容许度和方差膨胀因子§4 多重共线性的解决方法（修正） 一、 增大样本容量001222212221121211 1ˆ()1ˆ()i i i i ii Y X X Var VIF x r x x Var βββσσββ=++==∙-↑⇒↓⇒∑∑∑对于一定程度抵消VIF>1的影响二、 利用先验信息改变参数的约束形式1ln ln ln ln ln ,ln 1t t tt t t t t tt t t tt tt t tt t t Q AL K Q A L K L K K L Q AL KAL A K K K Q L A K K αβαααααααβαβ-==+++⎛⎫=== ⎪⎝⎭⎛⎫= ⎪⎝⎭高度相关加入约束条件＝，则三、数据的结合时间序列数据⇒时间序列数据与横截面数据相结合01122t 222i21122tu Y u ˆ MPC MPC ˆ u t t t i i tttY X X X Y X Y X X βββαβββββ=+++=++=+++销量价格收入1.找到某一时点的，的数据(截面数据)，估计得出，即该横截面2.假定该不仅适用于该横截面，也适用于一段时间，则22011t011t 01ˆ u ˆˆ u MPC t t t t t Y X X Y X βββββββ*-=++=++估计，可得，局限性：只有当各横截面随时间变化不大时方可使用四、模型的差分变换01122t 10111221t-11111122212t-1 u u u t t t t t t t t t t t t t t Y X X Y X X Y Y X X X X X Y βββββββββ------=+++=+++--∆=（）（）（）（）（1）（2）（1）-（2）=（）+（-）+（-）1122u u t t t t X X β∆+∆+∆∆缺陷：（1）丧失人们所关注的经济关系（2）易出现自相关问题五、逐步回归法 1. 基本思路Y X ⇒⇒⇒对每个经济意义检验选出最优的逐步引入其他作一元回归统计检验基本回归方程解释变量2.对新增变量的判别标准。

多重共线性问题的定义和影响多重共线性问题的检验和解决方法多重共线性问题的定义和影响，多重共线性问题的检验和解决方法多重共线性问题是指在统计分析中，使用多个解释变量来预测一个响应变量时，这些解释变量之间存在高度相关性的情况。

共线性是指两个或多个自变量之间存在线性相关性，而多重共线性则是指两个或多个自变量之间存在高度的线性相关性。

多重共线性问题会给数据分析带来一系列影响。

首先，多重共线性会导致统计分析不准确。

在回归分析中，多重共线性会降低解释变量的显著性和稳定性，使得回归系数估计的标准误差变大，从而降低模型的准确性。

其次，多重共线性会使得解释变量的效果被混淆。

如果多个解释变量之间存在高度的线性相关性，那么无法确定每个解释变量对响应变量的独立贡献，从而使得解释变量之间的效果被混淆。

此外，多重共线性还会导致解释变量的解释力度下降。

当解释变量之间存在高度的线性相关性时，其中一个解释变量的变化可以通过其他相关的解释变量来解释，从而降低了该解释变量对响应变量的独立解释力度。

为了检验和解决多重共线性问题，有几种方法可以采用。

首先，可以通过方差膨胀因子（VIF）来判断解释变量之间的相关性。

VIF是用来度量解释变量之间线性相关性强度的指标，其计算公式为：VIFi = 1 / (1 - R2i)其中，VIFi代表第i个解释变量的方差膨胀因子，R2i代表模型中除去第i个解释变量后，其他解释变量对第i个解释变量的线性回归拟合优度。

根据VIF的大小，可以判断解释变量之间是否存在多重共线性。

通常来说，如果某个解释变量的VIF大于10或15，那么可以认为该解释变量与其他解释变量存在显著的多重共线性问题。

其次，可以通过主成分分析（PCA）来降低多重共线性的影响。

PCA是一种降维技术，可以将高维的解释变量压缩成低维的主成分，从而减少解释变量之间的相关性。

通过PCA，可以得到一组新的解释变量，这些新的解释变量之间无相关性，并且能够保留原始解释变量的主要信息。