当前位置：文档之家 › PLS回归在消除多重共线性中的作用

PLS回归在消除多重共线性中的作用

  • 格式：pdf
  • 大小：594.73 KB
  • 文档页数：5

PL S回归在消除多重共线性中的作用王惠文 朱韵华(北京航空航天大学管理学院,北京,100083)摘 要本文详细阐述了解释变量的多重共线性在回归建模与分析中的危害作用,并指出目前常用的几种消除多重线性影响的方法,以及它们的不足之处。

本文结合实证研究指出:利用一种新的建模思路 PLS回归,可以更好地消除多重共线性对建模准确性与可靠性所带来的影响。

关键词:多重共线性 PLS回归一、引 言在多元回归的建模与分析中,解释变量之间存在高度相关性的现象十分普遍。

在这种情况下,要很好地解释模型中某个自变量对因变量的效应,是非常困难的。

然而,在从事建模工作过程中,为了更完备地描述系统,尽可能不遗漏一些举足轻重的系统特征,分析人员往往倾向于尽可能周到地选取有关指标,在这样构成的多变量系统中必然经常出现变量多重相关的现象。

事实上,许多社会、经济及技术指标都有同步增长的趋势,因此,在多元回归建模实施过程中,变量多重相关的现象是很难避免的。

二、多重共线性在回归建模中的危害作用1.危害性讨论多重共线性的现象是由Fr isch.A.K在其著名论著 完全回归体系的统计合流分析 中首次提出的,用数学语言来描述,它是指变量之间存在着线性关系。

在多重共线性现象存在的情况下,对多元回归分析会产生如下影响:(1)如果变量之间存在完全的多重共线性,那么将无法估计变量的回归系数。

而由于各个自变量的回归系数无法估计,所以也就无法估计各个自变量单独对因变量的影响,自然也就无法判断自变量对因变量的效应,即使自变量之间不存在完全的多重共线性,但是当自变量有较高度的相关关系时,一个自变量的回归系数,在模型中只反映这个自变量对因变量边际的或部分的效应,因而所得到的回归模型是不准确的。

(2)回归系数的估计方差为无穷大。

例如在一个简单的多元回归中,自变量X1和X2之间收稿日期:1996年2月9日*本文系国家自然科学基金资助项目存在共线现象:如x i2=kx i1+v i其中v i是个随机变量,且满足v i~N(0, 2),这时,回归系数是可以估计的,但是回归系数的估计方差将随着自变量之间的共线程度的不断增强而逐渐增大。

(3)由于高度的共线性现象的存在,回归系数的方差不断增大,回归系数估计值的不稳定性不断增强,这给回归系数的统计检验造成一定困难,事实上,由于多重共线性的影响,即使自变量对因变量的解释性是很高的,但是对单独的回归系数的检验而言,很有可能没有一个是显著的。

2.多重共线性诊断通常,可以用方差膨胀因子(VIF)K来度量自变量间的共线程度(VIF)k=(1-R2k)-1其中R2k是x k对模型中其他解释变量回归的复判定系数。

所有X变量中最大的(VIF)k通常用来作为多重共线性严重程度的指标。

如果最大的(VIF)k超过10,常常就表示多重共线性将可能严重地影响最小二乘的估计值。

3.实例下面来看一个实例。

我们对20个25 34岁的健康女性进行测量获得数据(数据表见附录)。

其中Y表示身体脂肪,X1表示三头肌皮褶厚度,X2表示大腿围长,X3表示中臂围长。

以下给出变量之间的相关系数矩阵:表1相关系数矩阵X1X2X3YX110.923840.457780.8432X20.9238410.084670.878X30.457780.0846710.142在表中,由r12=92.384%可以看出,对这20名受实验者来说,三头肌皮褶厚度与大腿围长高度相关。

从上表中还可以看出变量X1、X2对Y均有很好的解释性,相关系数分别为84. 32%、87.8%。

在这种情况下,如果采用普通多元回归会得到什么样的结果呢?以下给出普通多元回归的计算结果:变量参数估计t检验显著性概率复测定系数X1 X2 X34.334092-2.856848-2.1860601.437-1.106-1.3700.16990.28490.18960.8014从以上结果中可以看到,虽然变量X1、X2对Y均有很好的解释性,并且Y对这三个变量的复判定系数高达80.14%,但由于X1、X2之间的高度相关,使得X1、X2的统计检验均为不显著。

事实上,在这个实例中,最大的方差膨胀因子为708,说明多重共线性影响非常严重。

从回归系数来看,大腿围长与身体脂肪负相关,这一点也显然不符合实际情况。

三、目前常用的消除多重共线性影响的方法既然多重共线性对多元回归造成如此严重的影响,那么如何消除多重共线性在系统分析中的作用就变得十分重要。

1.变量筛选法一般地,一些不十分熟悉回归分析的研究人员认为,为了消除自变量间的共线现象,可以根据自变量对模型的贡献大小,对自变量进行筛选。

例如, 逐步回归法 就是其中常用的一种。

然而实质上,从理论上来说,这种变量筛选的使用前提,恰恰是变量间不能存在多重相关性。

在自变量高度共线的情况下,利用变量筛选法,往往会将一些对因变量具有高度解释性的变量筛除,将本应保留的系统信息舍弃,从而严重导致分析模型的解释误差,大大影响回归模型的可靠性。

2.岭回归岭回归是通过修正最小二乘法,找到这样一个估计量,它精度高却有小的偏差。

我们知道多重共线性并不影响最小二乘估计量的无偏性和最小方差性,也就是说在所有的线性无偏估计量中,最小二乘量仍具有最小方差,尽管这个方差不一定小。

而岭回归中的估计量就是使得偏差和抽样变差的组合效应达到最好。

标准化岭回归估计量是通过最小二乘正规方程中引入有偏常数(c 0),它的正规方程如下:(r XX+cI)b R=r YX其中b R是标准化岭回归估计量,c是偏倚常数,I是单位矩阵。

可以证明,总存在着一些c值使得岭回归估计量b R的总均方误差(抽样加变差的组合效应)小于普通最小二乘估计量。

困难在于c是最优值对不同的应用而有所不同,并且是未知的。

就身体脂肪的例子而言,通过大量的计算我们发现在c=0.020时VIF接近于1,估计回归系数适当稳定,这时结果模型为:Y^=-7.3978+0.5553X1+0.3681X2-0.1917X3从方程中可以看出,自变量X2的估计回归系数的不正常符号消失了,估计回归系数更符合实际情况。

当自变量具有高度多重共线性时,岭回归这种方法可以说是比较有效的,它在一定程度上消除了多重共线性的某些不良影响。

但是,岭回归的一个很大局限性就是无法使用普通的统计推断,而且精确的分布性质是未知的。

另外,偏倚常数c的选择是凭人为判断的。

因此,岭回归在应用起来就十分困难。

3.主成分分析法目前,一些研究文献提出,利用主成分分析消除多重共线性的作用,这实际上是一种错误观念。

事实上,无论是从数量上还是从方向上,主成分分析都无法消除变量的多重共线性,更何况主成分分析只是对自变量系统进行主成分提取,而这种提取仅考虑到能尽可能多地保留自变量自身系统的数据变异信息,而完全忽略了自变量对因变量系统的解释性。

但是,这种思想却是值得借鉴的。

即怎样找出一组互不相关的变量,使它们在对因变量具有最大解释性的前提下,又最能代表自变量系统的数据信息。

PL S回归正实现了这种思想上的突破。

四、PL S回归在消除多重共线性中的应用1.基本原理当自变量之间存在完全或不完全的多重共线性,也就是说,当自变量间有相关关系时,任何自变量的回归系数依赖于模型包含哪些自变量和遗漏哪些自变量。

在这种情况下,一个自变量的回归系数,在模型中只反映这个自变量对因变量边际的或部分的效应。

PLS回归(Par tial Least Squares)是对自变量X提取主成分,并附加约束:X的主成分应与Y尽可能相关。

因为它所提取的主成分能尽可能多地反映原变量系统的信息,并且能够保证各主成分对因变量具有最好的解释性,特别由于各主成分之间还是相互独立的,所以它能很好地避免因多重共线性带来的危害。

它可以从X出发预测Y,并很好地分辨信号与噪声。

以下给出因变量Y为单变量时,PLS回归计算法。

为叙述方便起见,我们定义以下符号: N 样本点个数,M 自变量个数,X=(x1,x2, ,x M)自变量数据矩阵, Y 因变量数据向量记:E0=(E01,E02, ,E0M),其中,E0j=(x j-x j II)/S j。

X j,S j分别是变量x j的均值与标准差,II=(1, 1)T R M。

F0=(Y-Y)/S Y其中,Y,S Y分别是变量Y的均值与标准差。

PLS回归要对X变量系统进行信息成分提取.从X的标准化矩阵E0中提取A个主成分t1, t A,人们期望成分t h,h=1, A能最好地解释E0中的变异,同时,t h与Y的标准化向量F0之间还是尽可能相关的。

第一步:基于E0和F0计算第一主轴 1和第一主成分t11=1M j=1Cor2(E0j,F0)Cor(E01,F0)Cor(E0M,F0,)而其中,Cor(E0j,F0)表示变量E0j与变量F0的相关系数。

t1=E0 1=1M j=1Cor2(E0j,F0)Cor(E0j,F0)E01+ +Cor(E0M,F0)E0M上结第二步:分别实施E0j在t1的回归和F0在t1的回归。

E0j=p1j t1+E1j,F0=r1t1+F1,这里p1j=E0j t1t1 2为E0j在t1上的回归系数,r1=F 0t1t1 2为F0在t1上回归系数第三步:将E0和F0替换成残余矩阵E1和F1,计算第二主轴 2和第二主成分t2, 2。

2=1M j=1Cor2(E1j,F1)Cor(E11,F1)Cor(E1M,F1),可, t2=E1 2然后施行以下回归:E1j=t2p2j+E2j,F1=r2t2+F2再用F0对主成分t1,t2作多元回归,有:F0= 21t1+ 21t2+F*2第四步:如此往复,直到得到阶数为A的PLS分解式。

如下:F0= A1t1+ + A A t A+F*A其中回归系数 A A为不显著的,而 A A-1显著,则算法终止。

又每个分量t h是变量x j=E0j,(j=1,2, ,M)的线性组合,因此最终可写出PL S回归的公式如下Y*= 1x1+ + M x M+F*A2.实例研究下面我们再回到身体脂肪的例子,以下是分别是PL S回归的第一和第二维研究结果:变量参数估计t检验显著性概率复测定系数t0.6185290.082109040.00010.7592变量参数估计t检验显著性概率复测定系数t10.6357690.081808940.02470.7803t20.1999900.156276290.2178得到最终模型为:^Y=-17.627+0.4255x^1+0.2858x^2-0.06623x^3,得到Y复测定系数为84.47%。

这和当偏倚系数c=0.020时用岭回归计算的结果十分接近,并且在最终模型中可以看出,身体脂肪与三头肌皮褶厚度与大腿围长均正相关,较符合人们一般认识的推测。

合集下载

多重共线性问题的偏最小二乘估计

多重共线性问题的偏最小二乘估计

多重共线性问题的偏最小二乘估计多重共线性是回归分析中常见的问题，指的是自变量之间存在高度相关性的情况。

在存在多重共线性的情况下，普通最小二乘法（OLS）估计的结果可能会出现严重的偏差，导致对模型的解释和预测能力产生负面影响。

为了解决多重共线性问题，偏最小二乘估计（PLS）成为了一种常用的方法。

偏最小二乘估计（PLS）是一种用来处理多元共线性问题的方法，它能够减少自变量之间的相关性，从而改善回归估计的效果。

下面我们将详细介绍偏最小二乘估计的原理、方法和应用。

一、多重共线性问题的原因和影响多重共线性通常是由于自变量之间存在较高的相关性而导致的。

当自变量之间存在线性相关性时，OLS估计的结果会变得不稳定，其标准误和t统计量可能会出现很大的偏差，从而影响对回归系数的显著性检验和对因变量的预测能力。

在多重共线性存在的情况下，自变量的系数估计可能会出现颠倒、符号错误等问题，导致对模型的解释产生困难。

多重共线性还会导致模型的方差膨胀因子（VIF）增大，从而使得模型的精确性下降。

解决多重共线性问题对于提高回归分析的准确性和稳定性非常重要。

二、偏最小二乘估计的原理偏最小二乘估计是一种基于主成分分析的方法，它通过将自变量进行线性变换，使得变换后的新自变量之间不再存在相关性，从而减少多重共线性的影响。

偏最小二乘估计的核心思想是通过一系列的主成分分析，找到一组新的自变量，使得与因变量的相关性最大，同时自变量之间的相关性最小。

具体来说，偏最小二乘估计通过以下步骤实现：1. 计算原始自变量矩阵的主成分分析得到新的自变量矩阵。

2. 然后，选取一个较小的主成分数，将原始自变量矩阵进行主成分投影，得到新的自变量矩阵。

3. 使用新的自变量矩阵进行回归分析，得到偏最小二乘估计的结果。

通过以上步骤，可以在减少自变量之间的相关性的最大程度地保留原始自变量矩阵对因变量的解释能力，从而提高回归分析的稳定性和精确性。

偏最小二乘估计有两种常用的方法：偏最小二乘回归（PLSR）和偏最小二乘路径分析（PLSPA）。

偏最小二乘回归方法(PLS)

偏最小二乘回归方法(PLS)

偏最小二乘回归方法1 偏最小二乘回归方法(PLS)背景介绍在经济管理、教育学、农业、社会科学、工程技术、医学和生物学中，多元线性回归分析是一种普遍应用的统计分析与预测技术。

多元线性回归中，一般采用最小二乘方法(Ordinary Least Squares :OLS)估计回归系数，以使残差平方和达到最小，但当自变量之间存在多重相关性时，最小二乘估计方法往往失效。

而这种变量之间多重相关性问题在多元线性回归分析中危害非常严重，但又普遍存在。

为消除这种影响，常采用主成分分析(principal Components Analysis :PCA)的方法，但采用主成分分析提取的主成分，虽然能较好地概括自变量系统中的信息，却带进了许多无用的噪声，从而对因变量缺乏解释能力。

最小偏二乘回归方法(Partial Least Squares Regression：PLS)就是应这种实际需要而产生和发展的一种有广泛适用性的多元统计分析方法。

它于1983年由S.Wold和C.Albano等人首次提出并成功地应用在化学领域。

近十年来，偏最小二乘回归方法在理论、方法和应用方面都得到了迅速的发展，己经广泛地应用在许多领域，如生物信息学、机器学习和文本分类等领域。

偏最小二乘回归方法主要的研究焦点是多因变量对多自变量的回归建模，它与普通多元回归方法在思路上的主要区别是它在回归建模过程中采用了信息综合与筛选技术。

它不再是直接考虑因变量集合与自变量集合的回归建模，而是在变量系统中提取若干对系统具有最佳解释能力的新综合变量(又称成分)，然后对它们进行回归建模。

偏最小二乘回归可以将建模类型的预测分析方法与非模型式的数据内涵分析方法有机地结合起来，可以同时实现回归建模、数据结构简化(主成分分析)以及两组变量间的相关性分析(典型性关分析)，即集多元线性回归分析、典型相关分析和主成分分析的基本功能为一体。

下面将简单地叙述偏最小二乘回归的基本原理。

MATLAB中PLS算法模型和函数

MATLAB中PLS算法模型和函数

MATLAB中PLS算法模型和函数偏最小二乘法(PLS)是一种经典的多元回归方法，可用于建立预测模型。

在MATLAB中，有多种函数可用于实现PLS算法模型和拟合数据。

本文将介绍PLS算法的基本原理以及MATLAB中的PLS相关函数。

PLS算法的基本原理是通过对输入和输出变量进行线性组合，将高维数据降维到低维空间，并在低维空间中建立回归模型。

与传统的多元回归方法相比，PLS算法能够减少多重共线性的影响，提高模型的解释能力。

在MATLAB中，PLS算法模型的建立主要依赖于PLS回归函数plsregress。

该函数可以根据输入变量和输出变量，求解PLS模型的回归系数。

具体使用方式如下：```matlab[X,Y] = loadsomedata(; % 加载数据```函数参数说明：-X：输入变量矩阵，大小为m×n，其中m为样本数，n为输入变量数。

-Y：输出变量矩阵，大小为m×p，其中p为输出变量数。

该函数会返回以下结果：-XL、YL：预测模型基础的输入和输出变量的得分。

-XS、YS：压缩的输入和输出变量矩阵。

- beta：回归模型的系数。

- pctvar：PLS模型中每个主成分所解释的方差百分比。

在得到PLS模型之后，我们可以使用该模型来预测新样本的输出值。

此时，可以使用PLS预测函数plsval一起用于计算输出变量的预测值。

具体使用方式如下：```matlabXnew = loadsomenewdata(; % 加载新样本数据Ypred = plsval(Xnew,XS,YS,beta,pctvar); % 预测输出变量值```函数参数说明：- Xnew：新样本的输入变量矩阵，大小为m×n，其中 m 为新样本数，n 为输入变量数。

- XS、YS：压缩的输入和输出变量矩阵，即plsregress函数的输出结果。

- beta：回归模型的系数，即plsregress函数的输出结果。

偏最小二乘回归通俗理解

偏最小二乘回归通俗理解

偏最小二乘回归通俗理解偏最小二乘回归（Partial Least Squares Regression，简称PLSR）是一种多元统计分析方法，它是在多元线性回归的基础上发展起来的。

PLSR是一种特殊的回归方法，它可以用于解决多元线性回归中的多重共线性问题，同时也可以用于解决高维数据的问题。

PLSR的基本思想是将自变量和因变量分别投影到一个新的空间中，使得在这个新的空间中，自变量和因变量之间的相关性最大。

这个新的空间被称为“潜在变量空间”，它是由自变量和因变量的线性组合构成的。

在这个新的空间中，自变量和因变量之间的相关性可以用一个新的变量来表示，这个新的变量被称为“潜在变量”。

PLSR的优点是可以在保持数据的原始结构不变的情况下，降低数据的维度，提高模型的预测能力。

同时，PLSR还可以用于解决多重共线性问题，这是因为在PLSR中，自变量和因变量之间的相关性是通过投影到潜在变量空间中来实现的，而不是通过直接计算自变量和因变量之间的相关系数来实现的。

PLSR的应用范围非常广泛，它可以用于解决各种各样的问题，例如化学分析、生物医学、环境科学、金融分析等等。

下面我们以化学分析为例，来介绍PLSR的应用。

在化学分析中，我们经常需要对样品进行分析，以确定样品中各种化学成分的含量。

这个过程中，我们需要测量样品的各种性质，例如吸收光谱、荧光光谱、红外光谱等等。

这些性质通常是高度相关的，因此在进行多元回归分析时，会出现多重共线性问题。

为了解决这个问题，我们可以使用PLSR方法。

首先，我们需要将样品的各种性质投影到一个新的空间中，这个新的空间被称为“潜在变量空间”。

然后，我们可以通过计算潜在变量和样品中各种化学成分之间的相关系数，来建立一个预测模型。

这个预测模型可以用来预测样品中各种化学成分的含量。

PLSR的应用不仅限于化学分析，它还可以用于解决其他领域的问题。

例如，在生物医学中，PLSR可以用来建立预测模型，以预测患者的疾病风险。