第3章多重共线性

计量经济学：多重共线性多重共线性52=.53085123 第四章专门讨论古典假定中⽆多重共线性假定被违反的情况，主要内容包括多重共线性的实质和产⽣的原因、多重共线性产⽣的后果、多重共线性的检测⽅法及⽆多重共线性假定违反后的处置⽅法。

第⼀节什么是多重共线性⼀、多重共线性的含义第三章讨论多元线性回归模型的估计时，强调了假定⽆多重共线性，即假定各解释变量之间不存在线性关系，或者说各解释变量的观测值之间线性⽆关。

在计量经济学中所谓的多重共线性(Multi-Collinearity)，不仅包括解释变量之间精确的线性关系，还包括解释变量之间近似的线性关系。

从数学意义上去说明多重共线性，就是对于解释变量k X 、、X X 32，如果存在不全为0的数k λλλ,2,1 ，能使得n ,2, ,1i 033221 ==++++ki k i i X X X λλλλ ( 4.1 )则称解释变量k X X X ,,,32 之间存在着完全的多重共线性。

⽤矩阵表⽰，解释变量的数据矩阵为X=213112232223111k k nnkn X X X X X X X X X ??（4.2）当Rank(X )在实际经济问题中，完全的多重共线性并不多见。

常见的情形是解释变量k X X X ,,,32 之间存在不完全的多重共线性。

所谓不完全的多重共线性，是指对于解释变量k X 、、X X 32，存在不全为0的数k λλλ,2,1 ，使得n ,2, ,1i 033221 ==+++++i ki k i i u X X X λλλλ（4.3）其中,i u 为随机变量。

这表明解释变量k X 、、X X 32只是⼀种近似的线性关系。

如果k 个解释变量之间不存在完全或不完全的线性关系，则称⽆多重共线性。

若⽤矩阵4表⽰，这时X 为满秩矩阵，即Rank(X )=k 。

需要强调，解释变量之间不存在线性关系，并⾮不存在⾮线性关系，当解释变量存在⾮线性关系时，并不违反⽆多重共线性假定。

什么是多重共线性如何进行多重共线性的检验多重共线性是指在统计模型中，独立变量之间存在高度相关性或者线性依赖关系，从而给模型的解释和结果带来不确定性。

在回归分析中，多重共线性可能导致系数估计不准确、标准误差过大、模型的解释变得复杂等问题。

因此，对于多重共线性的检验和处理是非常重要的。

一、多重共线性的检验多重共线性的检验可以通过以下几种方式进行：1. 相关系数矩阵：可以通过计算独立变量之间的相关系数，判断它们之间的关系强度。

当相关系数超过0.8或-0.8时，可以视为存在高度相关性，即可能存在多重共线性问题。

2. 方差扩大因子（VIF）：VIF是用来检验自变量之间是否存在共线性的指标。

计算每一个自变量的VIF值，当VIF值大于10或者更高时，可以视为存在多重共线性。

3. 条件数（Condition index）：条件数也是一种用来检验多重共线性的指标。

它度量了回归矩阵的奇异性或者相对不稳定性。

当条件数超过30时，可以视为存在多重共线性。

4. 特征值（Eigenvalues）：通过计算特征值，可以判断回归矩阵的奇异性。

如果存在特征值接近于零的情况，可能存在多重共线性。

以上是常用的多重共线性检验方法，可以根据实际情况选择合适的方法进行检验。

二、多重共线性的处理在检测到存在多重共线性问题后，可以采取以下几种方式进行处理：1. 去除相关性强的变量：在存在高度相关变量的情况下，可以选择去除其中一个或多个相关性较强的变量。

2. 聚合相关变量：将相关性强的变量进行加权平均，得到一个新的变量来替代原来的变量。

3. 主成分分析（PCA）：主成分分析是一种降维技术，可以将相关性强的多个变量合并成为一个或多个无关的主成分。

4. 岭回归（Ridge Regression）：岭回归是一种缓解多重共线性的方法，通过加入一个正则化项，来使得共线性变量的系数估计更加稳定。

5. Lasso回归（Lasso Regression）：Lasso回归也是一种缓解多重共线性的方法，通过对系数进行稀疏化，来选择重要的变量。

试述多重共线性（统计累赘）的概念、特征及其测量方式和处理方式。

1、概念多重共线性是指自变量之间存在线性相关关。

倘若其中两个自变项的关系特别强，则在相互控制后就会使每者的效果减弱，而其他的变相的效果就会因此而增大。

2、特征3、产生原因产生多重相关性的原因主要包括四方面。

一是没有足够多的样本数据; 二是选取的自变量之间客观上就有共线性的关系; 还可能由其它因素导致, 如数据采集所用的方法, 模型设定, 一个过度决定的模型等。

但多数研究者认为共线性本质上是由于样本数据不足引起的。

4、测量方式（1）经验式的诊断方法通过观察,得到一些多重相关性严重存在的迹象。

①在自变量的简单相关系数矩阵中,有某些自变量的相关系数值较大。

②回归系数的代数符号与专业知识或一般经验相反;或者该自变量与因变量的简单相关系数符号相反。

③对重要自变量的回归系数进行t 检验,其结果不显著。

特别是当F 检验能在高精度下通过,测定系数R 2的值也很大,但自变量的t 检验却全都不显著,这时多重相关性的可能将会很大。

④如果增加或删除一个变量,或者增加或删除一个观测值,回归系数发生了明显的变化。

⑤重要自变量的回归系数置信区别明显过大。

⑥在自变量中,某一个自变量是另一部分自变量的完全或近似完全的线性组合。

⑦对于一般的观测数据,如果样本点的个数过少,比如接近于变量的个数或者少于变量的个数,样本数据中的多重相关性就会经常存在。

（2）统计检验方法共线性的诊断方法是基于对自变量的观测数据构成的矩阵X ’X 进行分析,使用各种反映自变量间相关性的指标。

共线性诊断常用的统计量有方差膨胀因子VIF 或容限TOL 、条件指数和方差比例等。

方差膨胀因子VIF 是指回归系数的估计量由于自变量的共线性使其方差增加的一个相对度量。

对于第i 个回归系数,它的方差膨胀因子定义为：VIF=1/1-R 2=1/TOL i 其中R2i 是自变量Xi 对模型中其余自变量线性回归模型的R 平方。

多重共线性问题及解决方法概念所谓多重共线性（Multicollinearity）是指线性回归模型中的解释变量之间由于存在精确相关关系或高度相关关系而使模型估计失真或难以估计准确。

一般来说，由于经济数据的限制使得模型设计不当，导致设计矩阵中解释变量间存在普遍的相关关系。

后果参数估计失去其意义检验与检验目前常用的多重共线性诊断方法有：1.自变量的相关系数矩阵R诊断法：研究变量的两两相关分析，如果自变量间的二元相关系数值很大，则认为存在多重共线性。

但无确定的标准判断相关系数的大小与共线性的关系。

有时，相关系数值不大，也不能排除多重共线性的可能。

2.方差膨胀因子（the variance inflation factor，VIF)诊断法：方差膨胀因子表达式为：VIFi=1/（1-R2i)。

其中Ri为自变量xi对其余自变量作回归分析的复相关系数。

当VIFi很大时，表明自变量间存在多重共线性。

该诊断方法也存在临界值不易确定的问题，在应用时须慎重。

3.容忍值（Tolerance，简记为Tol）法：容忍值实际上是VIF的倒数，即Tol＝1/VIF。

其取值在0～1之间，Tol越接近1，说明自变量间的共线性越弱。

在应用时一般先预先指定一个T ol值，容忍值小于指定值的变量不能进入方程，从而保证进入方程的变量的相关系数矩阵为非奇异阵，计算结果具有稳定性。

但是，有的自变量即使通过了容忍性检验进入方程，仍可导致结果的不稳定。

4.多元决定系数值诊断法：假定多元回归模型p个自变量，其多元决定系数为R2y（X1，X2,…，Xp）。

分别构成不含其中某个自变量（Xi,i=1,2,…，p）的p个回归模型，并应用最小二乘法准则拟合回归方程，求出它们各自的决定系数R2i（i=1,2,…，p）。

如果其中最大的一个R2k与R2Y很接近，就表明该自变量在模型中对多元决定系数的影响不大，说明该变量对Y总变异的解释能力可由其他自变量代替。

它很有可能是其他自变量的线性组合。

计量经济学之多重共线性引言多重共线性是计量经济学中一个重要的概念，在经济学研究中扮演着重要的角色。

在本文中，我们将深入探讨多重共线性的概念、原因和影响，并介绍一些常见的解决方案和应对方法。

什么是多重共线性？多重共线性是指在回归分析中，自变量之间存在高度相关性的情况。

具体来说，多重共线性指的是自变量之间线性相关性较高，可能导致回归分析的结果不准确或难以解释。

多重共线性的原因多重共线性的产生有多种原因，以下是一些常见的原因：1.样本选择偏倚：当样本中存在特定的特征或者数据的选择方式导致一些变量的相关性增强。

2.变量的定义重复：有些变量可能在定义上重复，导致它们之间存在高度相关性。

3.缺少重要变量：当回归模型中存在遗漏的重要变量时，其他变量可能会代替这些遗漏的变量，导致多重共线性。

4.数据测量误差：测量误差也可能导致自变量之间存在高度相关性。

多重共线性的影响多重共线性可能会对回归模型产生一系列的问题和影响：1.估计系数不准确：多重共线性会导致回归系数的估计不准确，使得对自变量的解释变得困难。

2.系数符号相反：多重共线性可能导致估计系数的符号与理论预期相反。

3.误差项的方差增加：多重共线性会导致误差项的方差增加，从而降低了模型的精确度。

4.解释力度减弱：多重共线性会降低模型的解释力度，使得我们难以解释模型的结果。

解决多重共线性的方法针对多重共线性问题，我们可以采取以下方法来解决：1.增大样本量：增大样本量可以降低变量之间的相关性，从而减轻多重共线性的影响。

2.删除相关变量：通过检验变量之间的相关性，删除相关性较高的变量，可以减轻多重共线性的程度。

3.主成分分析：主成分分析是一种降维的方法，可以将相关性较高的变量合并为一个主成分，从而避免了多重共线性的问题。

4.增加惩罚项：在回归模型中增加惩罚项，如岭回归或lasso回归，可以减轻多重共线性的影响。

5.使用时间序列数据：对于存在多重共线性的房地产数据等时间序列数据，可以使用时间序列模型来避免多重共线性的问题。

多重共线性名词解释多重共线性(MLC)是指分析结果为两个或以上自变量共同影响的现象，具有相互独立性，表现为因变量正值与共同影响因素负值之差的绝对值比因变量大。

多重共线性在连续测量中是十分常见的，它广泛存在于人口统计学、心理学、生物学、生态学、经济学等学科的各种分析中，它严重影响着各种统计分析方法的有效性。

多重共线性可以通过两种途径来产生：第一种是由于多重观测造成的，即同一时间内观测同一对象可能有不同的记录;第二种是由于多次观测造成的，即一次观测同一变量后得到两个或多个数据，其中只有一个数据可用于分析。

例如同时给予研究对象两种食物，收集到的数据便可能呈现两种结果，这就是“多重共线性”。

自变量对因变量的贡献不同，即某一因变量并不是另一因变量的线性函数，这种现象称为多重共线性。

通常情况下，多重共线性不影响分析结果，但是对统计推断却构成很大的干扰。

对共线性进行识别和处理时，首先要明确产生多重共线性的原因，然后才能选择合适的方法去减小共线性。

根据原因不同，可把多重共线性分为2类：第一类是由于随机误差引起的，称为系统性多重共线性;第二类是由于随机误差之外的因素引起的，称为随机性多重共线性。

2、连续性原理和直接效应定律。

连续性原理是指对于某些已知量X，若随机抽取若干个样本X(X。

无限多)，而事先不告诉Y，则所得的样本X的统计量Y与总体Y之间具有极为密切的关系，即样本统计量具有良好的代表性。

若将随机抽取的这些样本累积起来，就可估计总体X的数值。

这就是直接效应定律。

按照样本统计量与总体统计量之间的关系，可以将多重共线性分为两类：一类是内在性多重共线性(多重内在性)，另一类是外在性多重共线性(多重外在性)。

3、重复测量问题。

1)如何提高重复测量精度。

(1)降低随机误差。

①采用随机化变量时，必须确保样本的随机性，并尽可能排除样本内部的多重共线性。

②考虑随机化对样本空间结构的影响。

2)如何提高平均值的准确性。

(1)排除样本内部的多重共线性。

多重共线性问题的定义和影响多重共线性问题的检验和解决方法多重共线性问题的定义和影响，多重共线性问题的检验和解决方法多重共线性问题是指在统计分析中，使用多个解释变量来预测一个响应变量时，这些解释变量之间存在高度相关性的情况。

共线性是指两个或多个自变量之间存在线性相关性，而多重共线性则是指两个或多个自变量之间存在高度的线性相关性。

多重共线性问题会给数据分析带来一系列影响。

首先，多重共线性会导致统计分析不准确。

在回归分析中，多重共线性会降低解释变量的显著性和稳定性，使得回归系数估计的标准误差变大，从而降低模型的准确性。

其次，多重共线性会使得解释变量的效果被混淆。

如果多个解释变量之间存在高度的线性相关性，那么无法确定每个解释变量对响应变量的独立贡献，从而使得解释变量之间的效果被混淆。

此外，多重共线性还会导致解释变量的解释力度下降。

当解释变量之间存在高度的线性相关性时，其中一个解释变量的变化可以通过其他相关的解释变量来解释，从而降低了该解释变量对响应变量的独立解释力度。

为了检验和解决多重共线性问题，有几种方法可以采用。

首先，可以通过方差膨胀因子（VIF）来判断解释变量之间的相关性。

VIF是用来度量解释变量之间线性相关性强度的指标，其计算公式为：VIFi = 1 / (1 - R2i)其中，VIFi代表第i个解释变量的方差膨胀因子，R2i代表模型中除去第i个解释变量后，其他解释变量对第i个解释变量的线性回归拟合优度。

根据VIF的大小，可以判断解释变量之间是否存在多重共线性。

通常来说，如果某个解释变量的VIF大于10或15，那么可以认为该解释变量与其他解释变量存在显著的多重共线性问题。

其次，可以通过主成分分析（PCA）来降低多重共线性的影响。

PCA是一种降维技术，可以将高维的解释变量压缩成低维的主成分，从而减少解释变量之间的相关性。

通过PCA，可以得到一组新的解释变量，这些新的解释变量之间无相关性，并且能够保留原始解释变量的主要信息。