7.4多重共线性的修正方法

多重共线性问题及解决方法概念所谓多重共线性（Multicollinearity）是指线性回归模型中的解释变量之间由于存在精确相关关系或高度相关关系而使模型估计失真或难以估计准确。

一般来说，由于经济数据的限制使得模型设计不当，导致设计矩阵中解释变量间存在普遍的相关关系。

后果参数估计失去其意义检验与检验目前常用的多重共线性诊断方法有：1.自变量的相关系数矩阵R诊断法：研究变量的两两相关分析，如果自变量间的二元相关系数值很大，则认为存在多重共线性。

但无确定的标准判断相关系数的大小与共线性的关系。

有时，相关系数值不大，也不能排除多重共线性的可能。

2.方差膨胀因子（the variance inflation factor，VIF)诊断法：方差膨胀因子表达式为：VIFi=1/（1-R2i)。

其中Ri为自变量xi对其余自变量作回归分析的复相关系数。

当VIFi很大时，表明自变量间存在多重共线性。

该诊断方法也存在临界值不易确定的问题，在应用时须慎重。

3.容忍值（Tolerance，简记为Tol）法：容忍值实际上是VIF的倒数，即Tol＝1/VIF。

其取值在0～1之间，Tol越接近1，说明自变量间的共线性越弱。

在应用时一般先预先指定一个T ol值，容忍值小于指定值的变量不能进入方程，从而保证进入方程的变量的相关系数矩阵为非奇异阵，计算结果具有稳定性。

但是，有的自变量即使通过了容忍性检验进入方程，仍可导致结果的不稳定。

4.多元决定系数值诊断法：假定多元回归模型p个自变量，其多元决定系数为R2y（X1，X2,…，Xp）。

分别构成不含其中某个自变量（Xi,i=1,2,…，p）的p个回归模型，并应用最小二乘法准则拟合回归方程，求出它们各自的决定系数R2i（i=1,2,…，p）。

如果其中最大的一个R2k与R2Y很接近，就表明该自变量在模型中对多元决定系数的影响不大，说明该变量对Y总变异的解释能力可由其他自变量代替。

它很有可能是其他自变量的线性组合。

多重共线性的判断与修正一、多重共线性的判断1． 综合统计检验法LS Y C X1 X2 对模型进行OLS, 得到参数估计表(1) 当2,R F 很大，而回归系数的t 检验值小于临界值时，可判定该模型存在多重共线性。

(2) 当完全共线性存在时，模型的OLS 无法进行，Eviews 会提示：矩阵的逆(1()T X X -)不存在。

2. 简单相关系数检验法LS Y C X1 X2 对模型进行OLS, 得到参数估计表中的2R .点击：Quick/Group Statistics/Correlation在对话框中输入：X1 X2 , 点击OK, 即可得到简单相关系数矩阵检验：若存在 i j x x r 接近于1, 或 22,i j x x r R >，则说明,i j x x 之间存在着严重的相关性。

3. 辅助回归法(方差扩大因子法）设 121112...(1)(1)...j j k Xj X X X j X j Xk V ααααα-+=+++-+++++ (j ) LS Xj X1 X2…Xk 对(j) 进行OLS, 得到参数估计表检验：若表中 (2,1)F F k n k α>--+, 则可确定存在多重共线性。

或者(方差扩大因子法）：计算211j jVIF R =-, (2j R 为以上方程的可决系数）, 若10j VIF ≥, 则可确定存在多重共线性。

4. 逐步回归法1) 首先计算被解释变量对每个解释变量的回归方程，得到基本回归方程：LS Y C Xi OLS ，得到基本回归方程(i), i = 1,2,…,k2) 从这些基本回归方程中选出最合理的方程, 即，2R 取值最大，且t 检验显著。

比方说，0j Y Xj ββ=+3) 在这个选出的方程中增加新的解释变量, 再进行OLS 分析：LS Y C Xj Xi ( i= 1,2,…,j-1, j+1,…k)判断： 如果新加入的解释变量对2R 改进最大, 且每个系数又是t 统计显著，则保留这个新的解释变量。

修正多重共线性的方法
修正多重共线性的方法有以下几种：
1. 增加样本量：多重共线性通常在样本量较少时更容易出现。

通过增加样本量，可以减少多重共线性的问题。

2. 将相关性较高的变量进行合并或删除：通过合并相关性较高的变量，可以在一定程度上减少多重共线性的问题。

如果相关性非常高，可以考虑删除其中一个变量。

3. 使用正交化方法：正交化方法可以将相关性较高的变量进行正交化，从而减少它们之间的共线性。

常见的正交化方法包括主成分分析（PCA）和典型相关分析（CCA）。

4. 使用稳定的估计方法：一些稳定的估计方法，如岭回归和套索回归，可以在存在多重共线性的情况下获得更稳健的估计结果。

5. 引入先验知识或理论：通过引入先验知识或理论，可以帮助剔除冗余变量或选取更具解释性的变量，从而减少多重共线性的问题。

6. 对变量进行标准化或归一化：将变量进行标准化或归一化，可以减少多重共线性的问题。

7. 利用交互项或多项式项：通过引入交互项或多项式项，可以增加变量之间的非线性关系，从而减少多重共线性的问题。

8. 重新评估模型的目标和解释变量：重新审视模型的目标和解释变量，确保它们与研究问题相关，并且尽量避免多重共线性的问题。

上述方法可以根据具体情况选择其中一种或多种方法进行修正，以减少多重共线性对模型结果的影响。

多重共线性问题的几种解决方法在多元线性回归模型经典假设中，其重要假定之一是回归模型的解释变量之间不存在线性关系，也就是说，解释变量X1，X2，……，X k中的任何一个都不能是其他解释变量的线性组合。

如果违背这一假定，即线性回归模型中某一个解释变量与其他解释变量间存在线性关系，就称线性回归模型中存在多重共线性。

多重共线性违背了解释变量间不相关的古典假设，将给普通最小二乘法带来严重后果。

这里，我们总结了8个处理多重共线性问题的可用方法，大家在遇到多重共线性问题时可作参考：1、保留重要解释变量，去掉次要或可替代解释变量2、用相对数变量替代绝对数变量3、差分法4、逐步回归分析5、主成份分析6、偏最小二乘回归7、岭回归8、增加样本容量这次我们主要研究逐步回归分析方法是如何处理多重共线性问题的。

逐步回归分析方法的基本思想是通过相关系数r、拟合优度R2和标准误差三个方面综合判断一系列回归方程的优劣，从而得到最优回归方程。

具体方法分为两步：第一步，先将被解释变量y对每个解释变量作简单回归:对每一个回归方程进行统计检验分析（相关系数r、拟合优度R2和标准误差），并结合经济理论分析选出最优回归方程，也称为基本回归方程。

第二步，将其他解释变量逐一引入到基本回归方程中，建立一系列回归方程，根据每个新加的解释变量的标准差和复相关系数来考察其对每个回归系数的影响，一般根据如下标准进行分类判别：１.如果新引进的解释变量使R2得到提高,而其他参数回归系数在统计上和经济理论上仍然合理，则认为这个新引入的变量对回归模型是有利的，可以作为解释变量予以保留。

２.如果新引进的解释变量对R2改进不明显，对其他回归系数也没有多大影响，则不必保留在回归模型中。

３.如果新引进的解释变量不仅改变了R2，而且对其他回归系数的数值或符号具有明显影响，则认为该解释变量为不利变量，引进后会使回归模型出现多重共线性问题。

不利变量未必是多余的，如果它可能对被解释变量是不可缺少的，则不能简单舍弃，而是应研究改善模型的形式，寻找更符合实际的模型，重新进行估计。

回归分析是统计学中常用的一种方法，它用于研究自变量和因变量之间的关系。

然而，在实际应用中，经常会遇到多重共线性的问题，这给回归分析带来了一定的困难。

本文将讨论回归分析中的多重共线性问题及解决方法。

多重共线性是指独立自变量之间存在高度相关性的情况。

在回归分析中，当自变量之间存在多重共线性时，会导致回归系数估计不准确，标准误差增大，对因变量的预测能力降低，模型的解释能力受到影响。

因此，多重共线性是回归分析中需要重点关注和解决的问题之一。

解决多重共线性问题的方法有很多种，下面将介绍几种常用的方法。

一、增加样本量增加样本量是解决多重共线性问题的一种方法。

当样本量足够大时，即使自变量之间存在一定的相关性，也能够得到较为稳健的回归系数估计。

因此，可以通过增加样本量来减轻多重共线性对回归分析的影响。

二、使用主成分回归分析主成分回归分析是一种常用的处理多重共线性问题的方法。

主成分回归分析通过将原始自变量进行线性变换，得到一组新的主成分变量，这些主成分变量之间不存在相关性，从而避免了多重共线性问题。

然后，利用这些主成分变量进行回归分析，可以得到更为准确稳健的回归系数估计。

三、岭回归岭回归是一种经典的解决多重共线性问题的方法。

岭回归通过对回归系数施加惩罚项，从而减小回归系数的估计值，进而降低多重共线性对回归分析的影响。

岭回归的思想是在最小二乘估计的基础上加上一个惩罚项，通过调节惩罚项的系数来平衡拟合优度和模型的复杂度，从而得到更为稳健的回归系数估计。

四、逐步回归逐步回归是一种逐步选择自变量的方法，可以用来解决多重共线性问题。

逐步回归可以通过逐步引入或剔除自变量的方式，来得到一组最优的自变量组合，从而避免了多重共线性对回归系数估计的影响。

以上所述的方法都可以用来解决回归分析中的多重共线性问题。

在实际应用中，应该根据具体的情况选择合适的方法来处理多重共线性问题，从而得到准确可靠的回归分析结果。

总之，多重共线性是回归分析中需要重点关注的问题，通过合适的方法来处理多重共线性问题，可以得到更为准确稳健的回归系数估计，从而提高回归分析的预测能力和解释能力。

多重共线性解决方法
多重共线性是指在回归模型中，自变量之间存在高度相关性的情况，这会导致模型的解释能力下降，系数估计不准确，模型的稳定性受到影响。

以下是一些解决多重共线性问题的方法：
1.增加样本量：通过增加样本量可以减少模型中的抽样误差，从而减轻多重共线性的影响。

2.删除冗余变量：通过剔除高度相关的自变量，可以降低共线性的程度。

可以使用相关性矩阵或者变量膨胀因子（VIF）来判断哪些自变量之间存在高相关性，并选择保留一个或几个相关性较为弱的变量。

3.主成分分析（PCA）：主成分分析可以将高度相关的自变量转换成一组无关的主成分，从而降低共线性的影响。

可以选择保留其中的几个主成分作为新的自变量，代替原始的自变量。

4.岭回归（Ridge Regression）：岭回归是在普通最小二乘法的基础上加入一个正则化项，通过缩小系数估计的幅度，减少共线性对系数估计的影响。

岭回归可以通过交叉验证选择合适的正则化参数。

5.套索回归（Lasso Regression）：套索回归也是在普通最小二乘法的基础上加入一个正则化项，不同的是套索回归使用L1范数作为正则化项，可以将一些系
数估计缩减为零，从而实现变量选择的效果。

6.弹性网回归（Elastic Net Regression）：弹性网回归是岭回归和套索回归的结合，同时使用L1和L2范数作为正则化项，可以在预测准确性和变量选择之间进行权衡。

以上方法可以根据具体问题的特点和需求选择合适的方法来解决多重共线性问题。

如何解决多重共线性问题多重共线性是统计学中常见的问题，特别是在回归分析中。

它指的是自变量之间存在高度相关性，导致回归模型的稳定性和解释能力下降。

在实际应用中，解决多重共线性问题是非常重要的，下面将探讨一些常用的方法。

1. 数据收集和预处理在解决多重共线性问题之前，首先需要对数据进行收集和预处理。

数据的收集应该尽可能地多样化和全面，以避免自变量之间的相关性。

此外，还需要对数据进行清洗和转换，以确保数据的准确性和一致性。

2. 相关性分析在回归分析中，可以通过计算自变量之间的相关系数来评估它们之间的相关性。

常用的相关系数包括皮尔逊相关系数和斯皮尔曼相关系数。

如果发现自变量之间存在高度相关性，就需要考虑解决多重共线性问题。

3. 方差膨胀因子（VIF）方差膨胀因子是用来评估自变量之间共线性程度的指标。

它的计算方法是将每个自变量作为因变量，其他自变量作为自变量进行回归分析，然后计算回归系数的标准误差。

VIF越大，表示自变量之间的共线性越强。

一般来说，VIF大于10就表明存在严重的多重共线性问题。

4. 特征选择特征选择是解决多重共线性问题的一种常用方法。

通过选择与因变量相关性较高，但与其他自变量相关性较低的自变量，可以减少共线性的影响。

常用的特征选择方法包括逐步回归、岭回归和Lasso回归等。

5. 主成分分析（PCA）主成分分析是一种降维技术，可以将多个相关自变量转化为一组无关的主成分。

通过保留主成分的前几个，可以减少自变量之间的相关性，从而解决多重共线性问题。

但需要注意的是，主成分分析会损失部分信息，可能会影响模型的解释能力。

6. 岭回归和Lasso回归岭回归和Lasso回归是一种通过引入惩罚项来解决多重共线性问题的方法。

岭回归通过在最小二乘估计中添加一个L2正则化项，可以减小回归系数的估计值，从而减少共线性的影响。

Lasso回归则通过在最小二乘估计中添加一个L1正则化项，可以使得一些回归系数变为零，从而实现变量选择的效果。

解决多重共线性的方法多重共线性是回归分析中常见的问题之一，指的是自变量之间存在高度相关关系，导致回归分析结果不准确、稳定性差。

解决多重共线性问题的主要方法有以下几种：1. 删除相关性较高的自变量：检查自变量之间的相关性，当相关系数大于0.7或0.8时，考虑删除其中一个自变量。

通常选择与因变量相关性更强的自变量作为模型的预测变量。

2. 增加样本量：多重共线性问题的一个原因是样本量较小，数据集中存在较少的观测点。

增加样本量可以减少误差，增强回归模型的稳定性。

3. 主成分分析（Principal Component Analysis, PCA）：PCA是一种常用的降维方法，可以将高维的自变量空间转化为低维空间，去除自变量之间的相关性。

首先利用相关系数矩阵进行特征值分解，然后根据特征值大小选取主成分，最后通过线性变换将原始自变量转化为主成分。

4. 岭回归（Ridge Regression）：岭回归是一种正则化方法，通过增加一个正则项（L2范数）来限制模型中系数的大小，从而减小共线性的影响。

岭回归可以在一定程度上缓解多重共线性问题，但会引入一定的偏差。

5. 奇异值分解（Singular Value Decomposition, SVD）：奇异值分解是一种常用的矩阵分解方法，可以将自变量矩阵分解为三个矩阵的乘积，其中一个矩阵表示主成分。

通过去除奇异值较小的主成分，可以减少共线性问题。

6. 距离相关系数（Variance Inflation Factor, VIF）：VIF用于度量自变量之间的相关性程度，计算每个自变量的VIF值，若VIF值大于10，则认为存在严重的多重共线性问题。

通过删除VIF值较高的自变量，可以解决多重共线性。

除了以上方法，还需注意以下问题：1. 尽量选择“经济学意义上的变量”作为自变量，避免冗余变量的引入。

2. 如果共线性问题严重，即使通过降维方法或者删除变量，仍然无法解决，可以考虑选择其他回归模型，如岭回归、Lasso回归等，这些模型在设计时已经考虑到了多重共线性问题。

多重共线性问题的定义和影响多重共线性问题的检验和解决方法多重共线性问题的定义和影响，多重共线性问题的检验和解决方法多重共线性问题是指在统计分析中，使用多个解释变量来预测一个响应变量时，这些解释变量之间存在高度相关性的情况。

共线性是指两个或多个自变量之间存在线性相关性，而多重共线性则是指两个或多个自变量之间存在高度的线性相关性。

多重共线性问题会给数据分析带来一系列影响。

首先，多重共线性会导致统计分析不准确。

在回归分析中，多重共线性会降低解释变量的显著性和稳定性，使得回归系数估计的标准误差变大，从而降低模型的准确性。

其次，多重共线性会使得解释变量的效果被混淆。

如果多个解释变量之间存在高度的线性相关性，那么无法确定每个解释变量对响应变量的独立贡献，从而使得解释变量之间的效果被混淆。

此外，多重共线性还会导致解释变量的解释力度下降。

当解释变量之间存在高度的线性相关性时，其中一个解释变量的变化可以通过其他相关的解释变量来解释，从而降低了该解释变量对响应变量的独立解释力度。

为了检验和解决多重共线性问题，有几种方法可以采用。

首先，可以通过方差膨胀因子（VIF）来判断解释变量之间的相关性。

VIF是用来度量解释变量之间线性相关性强度的指标，其计算公式为：VIFi = 1 / (1 - R2i)其中，VIFi代表第i个解释变量的方差膨胀因子，R2i代表模型中除去第i个解释变量后，其他解释变量对第i个解释变量的线性回归拟合优度。

根据VIF的大小，可以判断解释变量之间是否存在多重共线性。

通常来说，如果某个解释变量的VIF大于10或15，那么可以认为该解释变量与其他解释变量存在显著的多重共线性问题。

其次，可以通过主成分分析（PCA）来降低多重共线性的影响。

PCA是一种降维技术，可以将高维的解释变量压缩成低维的主成分，从而减少解释变量之间的相关性。

通过PCA，可以得到一组新的解释变量，这些新的解释变量之间无相关性，并且能够保留原始解释变量的主要信息。

第七章 多重共线性教学目的及要求：1、重点理解多重共线性在经济现象中的表现及产生的原因和后果2、掌握检验和处理多重共线性问题的方法3、学会灵活运用Eviews 软件解决多重共线性的实际问题。

第一节 多重共线性的产生及后果一、多重共线性的含义1、含义在多元线性回归模型经典假设中，其重要假定之一是回归模型的解释变量之间不存在线性关系，也就是说，解释变量X 1，X 2，……，X k 中的任何一个都不能是其他解释变量的线性组合。

如果违背这一假定，即线性回归模型中某一个解释变量与其他解释变量间存在线性关系，就称线性回归模型中存在多重共线性。

多重共线性违背了解释变量间不相关的古典假设，将给普通最小二乘法带来严重后果。

2、类型多重共线性包含完全多重共线性和不完全多重共线性两种类型。

〔1〕完全多重共线性完全多重共线性是指线性回归模型中至少有一个解释变量可以被其他解释变量线性表示，存在严格的线性关系。

如对于多元线性回归模型i ki k i i i X X X Y μββββ+++++= 22110〔7-1〕存在不全为零的数k λλλ,,,21 ，使得下式成立：0X X X 2211=+++ki k i i λλλ 〔7-2〕那么可以说解释变量k X ,,X ,X 21 之间存在完全的线性相关关系，即存在完全多重共线性。

从矩阵形式来看，就是0'=X X ， 即1)(-<k X rank ，观测值矩阵是降秩的，说明在向量Ｘ中至少有一个列向量可以由其他列向量线性表示。

〔2〕不完全多重共线性不完全多重共线性是指线性回归模型中解释变量间存在不严格的线性关系，即近似线性关系。

如对于多元线性回归模型〔7-1〕存在不全为零的数k λλλ,,,21 ，使得下式成立：0X X X 2211=++++i ki k i i u λλλ 〔7-3〕其中i u 为随机误差项，那么可以说解释变量k X ,,X ,X 21 之间存在不完全多重共线性。

问题：选取粮食生产为例，由经济学理论和实际可以知道，影响粮食生产y的因素有：农业化肥施用量x1，粮食播种面积x2，成灾面积x3，农业机械总动力x4，农业劳动力x5，由此建立以下方程：y=β0+β1x1+β2x2+β3x3+β4x4+β5x5，相关数据如下：解：1、检验多重共线性（1）在命令栏中输入：ls y c x1 x2 x3 x4 x5，则有；可以看到，可决系数R2和F值都很高，二自变量x1到x5的t值均较小，并且x4和x5的t检验不显著，说明方程很可能存在多重共线性。

（2）对自变量做相关性分析：将x1——x5作为组打开，view——covariance analysis——correlation，结果如下：可以看到x1和x4的相关系数为0.96，非常高，说明原模型存在多重共线性2、多重共线性的修正 （1）逐步回归法第一步：首先确定一个基准的解释变量，即从x1，x2，x3，x4，x5中选择解释y 的最好的一个建立基准模型。

分别用x1，x2，x3，x4，x5对y 求回归，结果如下：在基准模型的基础上，逐步将x2，x3等加入到模型中， 加入x2，结果：从上面5个输出结果可以知道，y 对x1的可决系数R2=0.89（最高），因此选择第一个方程作为基准回归模型。

即： Y = 30867.31062 + 4.576114592* x1再加入x3，结果：再加入x4，结果：拟合优度R2=0.961395，显著提高；并且参数符号符合经济常识，且均显著。

所以将模型修改为：Y= -44174.52+ 4.576460*x1+ 0.672680*x2拟合优度R2=0.984174，显著提高；并且参数符号符合经济常识（成灾面积越大，粮食产量越低），且均显著。

所以将模型修改为：Y=-12559.35+5.271306*x1+0.417257*x2-0.212103*x3拟合优度R2=0.987158，虽然比上一次拟合提高了；但是变量x4的系数为-0.091271，符号不符合经济常识（农业机械总动力越高，粮食产量越高），并且x4的t检验不显著。