解决多元线性回归中多重共线性问题的方法分析
谢小韦，印凡成
河海大学理学院，南京 (210098)
E-mail ：xiexiaowei@https://www.doczj.com/doc/6617315399.html,
摘 要：为了解决多元线性回归中自变量之间的多重共线性问题，常用的有三种方法: 岭回
归、主成分回归和偏最小二乘回归。本文以考察职工平均货币工资为例，利用三种方法的
SAS 程序进行了回归分析，根据分析结果总结出三种方法的优缺点，结果表明如果能够使用
定性分析和定量分析结合的方法确定一个合适的k 值，则岭回归可以很好地消除共线性影
响；主成分回归和偏最小二乘回归采用成份提取的方法进行回归建模，由于偏最小二乘回归
考虑到与因变量的关系，因而比主成分回归更具优越性。
关键词：多重共线性；岭回归；主成分回归；偏最小二乘回归
1. 引言
现代化的工农业生产、社会经济生活、科学研究等各个领域中，经常要对数据进行分析、
拟合及预测，多元线性回归是常用的方法之一。多元线性回归是研究多个自变量与一个因变
量间是否存在线性关系,并用多元线性回归方程来表达这种关系，或者定量地刻画一个因变
量与多个自变量间的线性依存关系。
在对实际问题的回归分析中，分析人员为避免遗漏重要的系统特征往往倾向于较周到地
选取有关指标，但这些指标之间常有高度相关的现象，这便是多变量系统中的多重共线性现
象。在多元线性回归分析中，这种变量的多重相关性常会严重影响参数估计，扩大模型误差，
破坏模型的稳健性，从而导致整体的拟合度很大，但个体参数估计值的t 统计量却很小，并
且无法通过检验。由于它的危害十分严重，存在却又十分的普遍，因此就要设法消除多重线
性的不良影响。
常用的解决多元线性回归中多重共线性问题的模型主要有主成分回归、岭回归以及偏最
小二乘回归。三种方法采用不同的方法进行回归建模，决定了它们会产生不同的效果。本文
以统计职工平均货币工资为例，考察一组存在共线性的数据，运用SAS 程序对三种回归进
行建模分析，并对结果进行比较，总结出它们的优势与局限，从而更好地指导我们解决实际
问题。
2. 共线性诊断
拟合多元线性回归时，自变量之间因存在线性关系或近似线性关系，隐蔽变量的显著性，
增加参数估计的方差，导致产生一个不稳定的模型，因此共线性诊断的方法是基于自变量的
观测数据构成的矩阵T x x 进行分析，使用各种反映自变量间相关性的指标。共线性诊断常
用统计量有方差膨胀因子VIF (或容限TOL )、条件指数和方差比例等。
一般认为：若VIF>10，说明模型中有很强的共线性关系；若条件指数值在10与30间
为弱相关，在30与100间为中等相关，大于100为强相关；在大的条件指数中由方差比例
超过0.5的自变量构成的变量子集就认为是相关变量集[1]。
3. 三种解决方法
岭回归基本思想: 当出现多重共线性时，有0T X X ≈，从而使参数的1?()T T X X X Y β
?=很不稳定，出现不符合含义的估计值，给T
X X 加上一个正常数矩阵(0)KI K >，则T X X KI +等
于0的可能性就比T
X X 的可能性要小得多，再用1?()T T X X KI X Y β?=+来估计,?β比用普通最小二乘估计的?β
要稳定得多。 主成分回归基本思想：观察n 个样本点，得到因变量y 和p 个自变量12,,,p x x x L 关
系，设自变量0x = (12,,,p x x x L ) 间的相关数矩阵记为R 。
主成分回归方法完全撇开因变量y ，单独考虑对自变量集合做主成分提取。其过程是:
1) 求R 的前m 个非零特征值120m λλλ≥≥≥>L ，以及相应的特征向量
12,,,m u u u L ；
2) 求m 个主成分:0h h F X u = 1,2,,h m =L
偏最小二乘回归的基本思想： 首先在自变量集中提取第一潜因子1t （1t 是 1,2,,m
x x x L 的线性组合, 且尽可能多地提取原自变量集中的变异信息, 比如第一主成分)；同时在因变量
集中也提取第一潜因子1u ,并要求1t 与1u 相关程度达最大。然后建立因变量Y 与1t 的回归，
如果回归方程已达到满意的精度, 则算法终止。否则继续第二轮潜在因子的提取, 直到能达
到满的精度为止。若最终对自变量集提取l 个潜因子12,,,l t t t L , 偏最小二乘回归将通过建立
Y 与12,,,l t t t L 的回归式, 然后表示为Y 与原自变量的回归方程式[2]。
4. 实例分析
全国单位大体分成三大类：国有单位，城镇集体单位和其他单位，考虑到职工的平均工
资主要和这三类单位的工资有关，为了研究和分析我国职工的平均工资，需建立一个以职工
平均工资为因变量，三类单位的工资为自变量的回归方程。
考察职工平均货币工资指数Y 与国有单位货币工资指数x1， 城镇集体单位货币工资指
数x2， 其他单位货币工资指数x3等三个自变量有关。现收集1991年至2005年共15年的
数据，如表1所示。
表1 职工货币工资指数
Table 1 The index of staff’s monetary wage
货 币 工 资 指 数 (上年=100) 年数 国有单位x1 城镇集体单位x2 其他单位x3 平均工资y
1991 108.5 111.0 116.1 109.3 1992 116.2 113.0 114.4 115.9 1993 122.7 122.9 125.2 124.3 1994 135.8 125.2 126.9 134.6 1995 117.3 121.1 118.4 121.2 1996 111.6 109.4 110.7 112.9 1997 107.4 104.9 106.4 104.2 1998 106.1 102.5 97.7 106.6 1999 111.4 108.3 109.6 111.6
2000 111.8 108.5 111.8 112.3 2001 117.0 109.7 110.5 116.0 2002 115.1 111.6 108.8 114.3 2003 113.3 113.2 110.3 113.0 2004 114.8 113.1 111.6 114.1 2005 115.4 115.0 112.2 114.6
运用SAS 程序对这组数据进行共线性诊断，输出结果见图1。
图 1 数据共线性诊断的部分结果
Fig .1 Collinearity Diagnostics of the data (part)
由图1的共线性诊断结果可以知最大条件指数132.46>100，说明4个自变量间有强相关
性，与最大条件指数在一行的3个变量中有2个变量的方差比例都大于0.5，可见这4个变
量是一个具有强相关的变量集。
由此得到回归方程为：
8.3800.74910.34520.0143y x x x =?++?
可以看到变量x3的系数为负，这与实际情况不符。出现此现象的原因是变量x1与x2，
x3，x4线性相关(121314(,)0.9756,(,)0.9207,(,)0.9268x x x x x x ρρρ===)，此处也可看出
这4个变量是多重相关的变量集。
4.1 运用岭回归SAS 程序进行回归分析
为了消除变量之间的多重共线性关系，用岭回归方法来建立回归方程产，并用SAS 程序
进行岭回归分析，部分结果见图2、3，从岭迹图中可以看出，当0.02k ≥后，岭迹图趋于
稳定。
图2 职工平均工资的岭迹图
Fig. 2 Ridge mark chart of staff’s average wage
k=的岭回归估计来建立岭回归方程，由图3可以写出岭回归方程式为:
取0.02
=?+++
y x x x
7.3120.70910.33820.0243
图3 职工平均工资数据输出数据集(部分)
Fig. 3 Output of staff’s average wage data (part)
可以看出各个回归系数的方差膨胀因子均小于6，岭回归方差的均方根误差为1.37114，虽比普通最小二乘回归方程的均方根误差(1.35714)有所增大，但增加不多。
4.2 运用主成分回归SAS程序进行回归分析
运用SAS程序可以得出删去第三个主成分后的主成分回归方程，结果见图4。主成分回归方程为：
=?+++
y x x x
7.7010.76710.27420.0333
Fig. 4 Principal Component Regression’s result of staff’s average wage data
可以看出各个回归系数的方差膨胀因子均小于3.5；主成分回归方程的均方根误差为
1.30996，比普通最小二乘回归方程的均方根误差(1.35714)有所减小。
4.3 运用偏最小二乘回归SAS 程序进行回归分析
最后，使用SAS 软件中得PLS 过程完成偏最小二乘回归分析，输出结果见图5。
图 5 职工平均工资数据偏最小二乘回归的结果
Fig.5 Partial Least Square Regression’s result of staff’s average wage data
由估计值可以写出标准化回归方程为0.74110.26020.0133y
x x x =++%%%%，用原始变量可表示为7.9730.76110.30220.0133y x x x =?+++[3]。偏最小二乘回归方程中回归系数的符号都是有意义的。可知偏最小二乘回归方程的均方根误差为1.18075，比普通最小二乘回归方程的均方根误差(1.35714)有所减小，且比主成分回归方程的均方根误差为1.30996也有所减小。 由实例看出，对于这组数据的处理，三种方法中岭回归的效果相对较差，主成分回归次之，偏最小二乘回归的计算结果更为可靠。
5. 结论
岭回归估计量的质量取决于k 值的选取，一般认为：在通过岭迹图和方差膨胀因子来选择k 值时，其判断方法是选择一个尽可能小的k 值，在这个较小的k 值上，岭迹图中回归系数已变得比较稳定，并且方差膨胀因子也变得足够小。从上面的实例中可以看出岭回归的效果相对较差，这是由于k 值的确定存在一定的人为因素，所以在确定k 值的时候要把定性分析和定量分析有机的结合起来。这样才能充分发挥岭回归的优点。
利用主成分回归的方法使主成分之间不再存在自相关现象，这就对解决多重相关性下的回归建模问题给出了某种希望。这种成分提取的思路是十分可取的，但利用主成分进行的回归很多时候结果往往不够理想，原因在于，在上述成分提取过程中，完全没有考虑与因变量y 的联系。这样所得到的第1 (或前几个) 主成分可能会对自变量系统有很强的概括能力，而对y 的解释能力却变得十分微弱。
偏最小二乘回归也采用成份提取的方式进行回归建模，但其思路与主成分回归却有很大的不同。它在对自变量进行信息综合时，不但考虑要最好的概括自变量系统中的信息，而且
要求所提取的成分必须对因变量有一定的解释性。分析结果表明，与主成分回归相比，偏最小二乘回归更具有先进性，其计算结果更为可靠。偏最小二乘回归法尤其适用于变量数目巨大的情况下，如果数据中变量的个数多，偏最小二乘回归的优点更能充分的显示出来。
在解决多重共线性问题的三种方法中，岭回归的关键在于k值的选择，而k的选择存在一定的人为因素，如果能够使用定性分析和定量分析结合的方法确定k值，则岭回归可以很好地消除共线性影响。主成分回归只注重尽可能多的概括自变量系统中的信息，对因变量的解释性毫不考虑，相比之下，偏最小二乘回归不单概括了自变量的信息，还考虑到了提取的成分对因变量有最好的解释，其计算结果更可靠，因此它比主成分回归更具优越性，这种优势在自变量数目巨大的情况下表现地尤为突出。
参考文献
[1]王惠文. 偏最小二乘回归方法及其应用[M]。北京:国防工业出版社，1999:67-84.
[2] 高惠璇. 处理多元线性回归中自变量共线性的几种方法[J]，数理统计与管理，2000，9（5）：
[3] 高惠璇. 两个多重相关变量组的统计分析[J]，数理统计与管理，2002，3（2）:
Analysis of methods to solve the problem of multi-correlation between variables in multi-linear
regression
Xie Xiaowei，Yin Fancheng
hohai university，Nanjing（210098）
Abstract
In order to solve the problem of multi-correlation between variables in multi-linear regression, three methods are commonly used: Ridge Regression, Principal Component Regression and Partial Least Square Regression. This paper takes staff’s average wage statistics as an example, using the three methods’ SAS procedure to make regression analysis. Based on the result, their advantages and disadvantages are summed up. The results also indicate that, if the union of qualitative analysis and quantitative analysis can determine an appropriate k value, Ridge Regression will be good to eliminate the influence of multi-correlation. Both Principal Component Regression and Partial Least Square Regression create regression modeling through extracting ingredients, as Partial Least Square Regression takes account the relation between dependent variable, it’s superior to Principal Component Regression.
Keywords：multi-correlation，Ridge Regression，Principal Component Regression，Partial Least Square Regression
毕业论文 题目多元回归分析中的变量选取 ——SPSS的应用 院（系）数学与统计学院 专业年级 2010级统计学 指导教师职称副教授
多元回归分析中的变量选取——SPSS的应用 殷婷 摘要 本文不仅对于复杂的统计计算通过常用的计算机应用软件SPSS来实现，同时通过对两组数据的实证分析，来研究统计学中多元回归分析中的变量选取，让大家对统计中的多元回归数据的选取和操作方法有更深层次的了解。一组数据是对于淘宝交易额的未来发展趋势的研究，一组数据时对于我国财政收入的研究。本文通过两个实证从不同程度上对数据选取的研究运用通俗的语言和浅显的描述将SPSS在多元回归分析中的统计分析方法呈现在大家面前，让大家对多元回归分析以及SPSS软件都可以有更深一步的了解。通过SPSS软件对数据进行分析，对数据进行处理的方法进行总结，找出SPSS对于数据处理和分析的优缺点，最后得在对变量的选取和软件的操作提出建议。 关键词：统计学 SPSS 变量的选取多元回归分析 Abstract
In this paper, not only for complex statistical calculations done by the commonly used computer application software of SPSS, through the empirical analysis of the two groups of data at the same time, to study the statistics of the variables in the multivariate regression analysis, let everybody to select multiple regression in statistical data and operation methods this paper, through two empirical to select data from different extent research using a common language and plain the SPSS statistical analysis method in multiple regression analysis of present in front of everyone, let everyone to multiple regression analysis and SPSS software can of the selection of variables and software. Keywords: Statistical SPSS The selection of variables multiple regression analysis 目录 摘要 (1) 英文摘要 (1) 引言 (3) 第一章回归分析 (3) 1.1自变量的选择 (4) 1.2国内外研究现状 (5) 第二章案例分析一：淘宝交易额的研究 (6) 2.1数据的来源及变量的选取 (6) 2.2相关分析 (7) 2.2.1散点图 (7)
一、作业 教材P214 三。 二、自我练习 （一）教材P213 一。 （二）是非题 1．当一组资料的自变量为分类变量时，对这组资料不能做多重线性回归分析。( ) 2．若多重线性方程模型有意义．则各个偏回归系数也均有统计学意义。〔) 3．回归模型变量的正确选择在根本上依赖于所研究问题本身的专业知识。（） 4.从各自变量偏回归系数的大小．可以反映出各自变量对应变量单位变化贡献的大小。( ) 5.在多元回归中，若对某个自变量的值都增加一个常数，则相应的偏回归系数不变。( ) （三）选择题 1. 多重线性回归分析中，共线性是指（），导致的某一自变量对Y的作用可以由其他自变量的线性函数表示。 A. 自变量相互之间存在高度相关关系 B. 因变量与各个自变量的相关系数相同 C. 因变量与自变量间有较高的复相关关系
D. 因变量与各个自变量之间的回归系数相同 2. 多重线性回归和Logistic 回归都可应用于（）。 A. 预测自变量 B. 预测因变量Y 取某个值的概率π C. 预测风险函数h D. 筛选影响因素（自变量） 3．在多重回归中，若对某个自变量的值都增加一个常数，则相应的偏回归系数： A．不变 B．增加相同的常数 C．减少相同的常数 D．增加但数值不定 4．在多元回归中，若对某个自变量的值都乘以一个相同的常数k，则： A．该偏回归系数不变 B．该偏回归系数变为原来的 1/k倍 C．所有偏回归系数均发生改变 D．该偏回归系数改变，但数值不定 5．作多重线性回归分析时，若降低进入的F 界值，则进入方程的变量一般会： A．增多 B．减少 C．不变 D．可增多也可减少（四）筒答题
企业管理 对居民消费率影响因素的探究 ---以湖北省为例 改革开放以来,我国经济始终保持着高速增长的趋势,三十多年间综合国力得到显著增强,但我国居民消费率一直偏低,甚至一直有下降的趋势。居民消费率的偏低必然会导致我国内需的不足,进而会影响我国经济的长期健康发展。 本模型以湖北省1995年-2010年数据为例，探究各因素对居民消费率的影响及多元关系。（注：计算我国居民的消费率,用居民的人均消费除以人均GDP,得到居民的消费率）。通常来说，影响居民消费率的因素是多方面的，如:居民总 收入，人均GDP，人口结构状况1（儿童抚养系数，老年抚养系数），居民消费价格指数增长率等因素。 1.人口年龄结构一种比较精准的描述是：儿童抚养系数(0-14岁人口与 15-64岁人口的比值)、老年抚养系数(65岁及以上人口与15-64岁人口的比值〉或总抚养系数(儿童和老年抚养系数之和)。0-14岁人口比例与65岁及以上人口比例可由《湖北省统计年鉴》查得。
一、计量经济模型分析 (一)、数据搜集 根据以上分析，本模型在影响居民消费率因素中引入6个解释变量。X1:居民总收入（亿元），X2：人口增长率(‰），X3：居民消费价格指数增长率，X4：少儿抚养系数，X5：老年抚养系数，X6：居民消费占收入比重（%）。 Y：消费率(%)X1:总收入 （亿元） X2：人口增 长率(‰） X3：居民消 费价格指 数增长率 X4：少儿抚 养系数 X5：老年抚 养系数 X6：居民消 费比重（%） 1995 1997 200039 2001 2002 2003 2004 2005 2006 2007 2008 2009
国际旅游外汇收入是国民经济发展的重要组成部分，影响一个国家或地区旅游收入的因素包括自然、文化、社会、经济、交通等多方面的因素，本例研究第三产业对旅游外汇收入的影响。《中国统计年鉴》把第三产业划分为12个组成部分，分别为x1农林牧渔服务业,x2地质勘查水利管理业,x3交通运输仓储和邮电通信业,x4批发零售贸易和餐饮业,x5金融保险业,x6房地产业,x7社会服务业,x8卫生体育和社会福利业，x9教育文化艺术和广播,x10科学研究和综合艺术,x11党政机关，x12其他行业。采用1998年我国31 个省、市、自治区的数据，以国际旅游外汇收入（百万美元）为因变量y，以如上12 个行业为自变量做多元线性回归，其中自变量单位为亿元人民币。即样本量n=31，变量p=12。 利用SPSS软件对数据进行处理，输出： 图1 输入/移除变量 图1即输入了所有模型中的变量，分别为 x1：农林牧渔服务业 x2：地质勘查水利管理业 x3：交通运输仓储和邮电通信业 x4：批发零售贸易和餐饮业 x5：金融保险业 x6：房地产业 x7：社会服务业 x8：卫生体育和社会福利业 x9：教育文化艺术和广播 x10：科学研究和综合艺术 x11：党政机关 x12：其他行业
图2 模型概述 即回归方程对样本观测值的拟合程度，复相关系数R=0.875，决定系数R 2=0.935。由决定系数接近1，得出回归拟合的效果较好，但是并不能作为严格的显著性检验。由R 2决定模型优劣时需慎重，尤其是样本量与自变量个数接近时。 图3 回归方程显著性的F 检验 F=10.482，F α(n,n-p-1)=F α(30,18)=2.11（α=0.05），P 值=0.000，表明回归方程高度显著，即12个自变量整体对因变量y 产生显著线性影响。但是并不能说明回归方程中所有自变量都对因变量y 有显著影响，因此还要对回归系数进行检验。 图4 回归系数的显著性t 检验（t 0.05（20）=1.725） y 对12个自变量的线性回归方程为： 1234 5678 9101112y 205.388 1.438 2.622 3.2970.9465.521 4.068 4.16215.40417.3389.15510.536 1.37x x x x x x x x x x x x =--++--++-++-+
计量经济学多元线性回归、多重共线性、异方差实验报告记录
————————————————————————————————作者：————————————————————————————————日期：
计量经济学实验报告
多元线性回归、多重共线性、异方差实验报告 一、研究目的和要求： 随着经济的发展，人们生活水平的提高，旅游业已经成为中国社会新的经济增长点。旅游产业是一个关联性很强的综合产业，一次完整的旅游活动包括吃、住、行、游、购、娱六大要素，旅游产业的发展可以直接或者间接推动第三产业、第二产业和第一产业的发展。尤其是假日旅游，有力刺激了居民消费而拉动内需。2012年，我国全年国内旅游人数达到亿人次，同比增长%，国内旅游收入万亿元，同比增长%。旅游业的发展不仅对增加就业和扩大内需起到重要的推动作用，优化产业结构，而且可以增加国家外汇收入，促进国际收支平衡，加强国家、地区间的文化交流。为了研究影响旅游景区收入增长的主要原因，分析旅游收入增长规律，需要建立计量经济模型。 影响旅游业发展的因素很多，但据分析主要因素可能有国内和国际两个方面，因此在进行旅游景区收入分析模型设定时，引入城镇居民可支配收入和旅游外汇收入为解释变量。旅游业很大程度上受其产业本身的发展水平和从业人数影响，固定资产和从业人数体现了旅游产业发展规模的内在影响因素，因此引入旅游景区固定资产和旅游业从业人数作为解释变量。因此选取我国31个省市地区的旅游业相关数据进行定量分析我国旅游业发展的影响因素。 二、模型设定 根据以上的分析，建立以下模型 Y=β 0+β 1 X 1 +β 2 X 2 +β 3 X 3 +β 4 X 4 +Ut 参数说明： Y ——旅游景区营业收入/万元 X 1 ——旅游业从业人员/人 X 2 ——旅游景区固定资产/万元 X 3 ——旅游外汇收入/万美元 X 4 ——城镇居民可支配收入/元
SPSS 统计分析 多元线性回归分析方法操作与分析 实验目的： 引入1998~2008年上海市城市人口密度、城市居民人均可支配收入、五年以上平均年贷款利率和房屋空置率作为变量，来研究上海房价的变动因素。 实验变量： 以年份、商品房平均售价（元/平方米）、上海市城市人口密度(人/平方公里)、城市居民人均可支配收入(元)、五年以上平均年贷款利率(%)和房屋空置率(%)作为变量。 实验方法：多元线性回归分析法 软件：spss19.0 操作过程： 第一步：导入Excel数据文件 1.open data document——open data——open；
2. Opening excel data source——OK. 第二步： 1.在最上面菜单里面选中Analyze——Regression——Linear ，Dependent（因变量）选择商品房平均售价，Independents（自变量）选择城市人口密度、城市居民人均可支配收入、五年以上平均年贷款利率、房屋空置率；Method选择Stepwise. 进入如下界面： 2.点击右侧Statistics，勾选Regression Coefficients（回归系数）选项组中的Estimates；勾选Residuals（残差）选项组中的Durbin-Watson、
Casewise diagnostics默认；接着选择Model fit、Collinearity diagnotics；点击Continue. 3.点击右侧Plots，选择*ZPRED（标准化预测值）作为纵轴变量，选择DEPENDNT（因变量）作为横轴变量；勾选选项组中的Standardized Residual Plots（标准化残差图）中的Histogram、Normal probability plot；点击Continue.
多元回归分析法的介绍及具体应用
————————————————————————————————作者: ————————————————————————————————日期： ?
多元回归分析法的介绍及具体应用 在数量分析中，经常会看到变量与变量之间存在着一定的联系。要了解变量之间如何发生相互影响的,就需要利用相关分析和回归分析。回归分析的主要类型:一元线性回归分析、多元线性回归分析、非线性回归分析、曲线估计、时间序列的曲线估计、含虚拟自变量的回归分析以及逻辑回归分析等。这里主要讲的是多元线性回归分析法。 1. 多元线性回归的定义 说到多元线性回归分析前，首先介绍下医院回归线性分析,一元线性回归分析是在排除其他影响因素或假定其他影响因素确定的条件下,分析某一个因素（自变量)是如何影响另一事物(因变量）的过程,所进行的分析是比较理想化的。其实，在现实社会生活中,任何一个事物(因变量）总是受到其他多种事物（多个自变量)的影响。 一元线性回归分析讨论的回归问题只涉及了一个自变量,但在实际问题中，影响因变量的因素往往有多个。例如，商品的需求除了受自身价格的影响外，还要受到消费者收入、其他商品的价格、消费者偏好等因素的影响;影响水果产量的外界因素有平均气温、平均日照时数、平均湿度等。 因此,在许多场合,仅仅考虑单个变量是不够的,还需要就一个因变量与多个自变量的联系来进行考察,才能获得比较满意的结果。这就产生了测定多因素之间相关关系的问题。 研究在线性相关条件下,两个或两个以上自变量对一个因变量的数量变化关系，称为多元线性回归分析，表现这一数量关系的数学公式,称为多元线性回归模型。 多元线性回归模型是一元线性回归模型的扩展，其基本原理与一元线性回归模型类似,只是在计算上更为复杂，一般需借助计算机来完成。 ２. 多元回归线性分析的运用 具体地说,多元线性回归分析主要解决以下几方面的问题。 （1)、确定几个特定的变量之间是否存在相关关系,如果存在的话,找出它们
多元线性回归分析实习 线性回归过程（Linear Regression）可用于分析一个或多个自变量与一个因变量之间的线性数量关系，并可进行回归诊断分析。 ●[例题3.1] 某地29名13岁男童身高x1（cm），体重x2（kg），肺活量y（L）的实测值数据见表3.1，试建立肺活量与身高、体重的回归关系。 [ 操作过程] ①[ 数据格式] 见数据文件< 多元线性回归例题.sav > 该数据库有4列29行，即4个变量、29个记录（Observation），每个变量占1列，每个记录占1行，该数据格式为一般多元分析的数据格式。 ②[ 过程] 单击后可弹出线性回归对话框。该对话框内有诸多选项，现分别介绍。 ③[ 选项] ◆因变量。只能选入1个因变量，本例选入变量“肺活量”。 ◆自变量。可以是1个或多个，本例选入变量“身高、体重”。 ◆当选择不同组合的自变量进行回归分析时，可保存每次选择的自 变量，用按钮和按钮可分别向前、向后翻找各种自变量的组合。
◆选择回归模型拟合的分析方法，有5种可供选择。 Enter 强迫引入法，即一般回归分析，所选自变量全部进入方程，为系统默认方式。 Stepwise 逐步回归法， 加入有显著性意义的变量和剔除无显著性意义的变量，直到所建立的方程式 中不再有可加入和可剔除的变量为止。 Remove 强迫剔除法。根据设定的条件剔除自变量。 Backward向后逐步法。所选自变量全部进入方程，根据Options对话框中设定的标准在计算过程中逐个剔除变量，直到所建立的方程式中不再含有可剔 除的变量为止。 Forward：向前逐步法。根据Options对话框中设定的标准在计算过程中逐个加入单个变量，直到所建立的方程式中不再有可加入的变量为止。 ◆选择符合某变量条件的观察单位进行分析，每次只能选入1 位范围，有6种方式供选择，在Value框内输入设定值。 equal to 等于设定值。 not equal to不等于设定值。 less than小于设定值。 Less than or equal to 小于或等于设定值。 greater than 大于设定值。 greater than or equal to大于或等于设定值。 ◆对话框。 Regression coefficient回归系数 Estimate一般回归系数和标准回归系数及其标准误和显著性检验。 Confidence interval 输出一般回归系数的95%可信区间。 Covarience matrix 方差及协方差知阵和相关矩阵。 Model fit 模型检验，给出复相关系数R，决定系数R2及方差分析结果。 R squared change 输出调整R2及相应的F值和P值。 Descriptive 输出每个变量的均数，标准差，样本容量，相关系及单侧检验P值
实验六-多元线性回归和多重共线性
实验六多元线性回归和多重共线性 姓名：何健华 学号：201330110203 班级：13金融数学2班 一 实验目的： 掌握多元线性回归模型的估计方法、掌握多重共线性模型的识别和修正。 二 实验要求： 应用教材P140例子4.3.1案例做多元线性回归模型，并识别和修正多重共线性。 三 实验原理： 普通最小二乘法、简单相关系数检验法、综合判断法、逐步回归法。 四 预备知识： 最小二乘法估计的原理、t 检验、F 检验、R 2值。 五 实验步骤： 有关的研究分析表明，影响国内旅游市场收入的主要因素，除了国内旅游人数和旅游支出外，还可能与基础设施有关。因此考虑影响国内旅游收入Y （单位为亿元）的以下几个因素：国内旅游人数X1、城镇居民人均旅游支出X2（单位为元）、农村居民人均旅游支出X3（单位为元）、并以公路里程X4（单位为万公里）和铁路里程X5（单位为万公里）作为相关设施的代表，根据这些变量建立如下的计量经济模型： 01122334455y x x x x x ββββββμ=++++++ 为了估计上述模型，从《中国统计年鉴》收集到1994年到2003年的有关统计数据。 Year Y X1 X2 X3 X4 X5 1994 1023.5 52400 414.7 54.9 111.78 5.9 1995 1375.7 62900 464 61.5 115.7 5.97 1996 1638.4 63900 534.1 70.5 118.58 6.49 1997 2112.7 64400 599.8 145.7 122.64 6.6 1998 2391.2 69450 607 197 127.85 6.64
多元回归分析 在大多数的实际问题中，影响因变量的因素不是一个而是多个，我们称这类回问题为多元回归分析。可以建立因变量y与各自变量x j(j=1,2,3,…,n)之间的多元线性回归模型： 其中：b0是回归常数；b k(k=1,2,3,…,n)是回归参数；e是随机误差。 多元回归在病虫预报中的应用实例: 某地区病虫测报站用相关系数法选取了以下4个预报因子；x1为最多连续10天诱蛾量(头)；x2为4月上、中旬百束小谷草把累计落卵量(块)；x3为4月中旬降水量(毫米)，x4为4月中旬雨日(天)；预报一代粘虫幼虫发生量y（头/m2）。分级别数值列成表2-1。 预报量y：每平方米幼虫0~10头为1级，11~20头为2级，21~40头为3级，40头以上为4级。 预报因子：x1诱蛾量0~300头为l级，301~600头为2级，601~1000头为3级，1000头以上为4级；x2卵量0~150块为1级，15l~300块为2级，301~550块为3级，550块以上为4级；x3降水量0~10.0毫米为1级，10.1~13.2毫米为2级，13.3~17.0毫米为3级，17.0毫米以上为4级；x4雨日0~2天为1级，3~4天为2级，5天为3级，6天或6天以上为4级。 表2-1 x1 x2 x3 x4 y 年蛾量级别卵量级别降水量级别雨日级别幼虫密 度 级别 1960 1022 4 112 1 4.3 1 2 1 10 1 1961 300 1 440 3 0.1 1 1 1 4 1 1962 699 3 67 1 7.5 1 1 1 9 1 1963 1876 4 675 4 17.1 4 7 4 55 4 1965 43 1 80 1 1.9 1 2 1 1 1 1966 422 2 20 1 0 1 0 1 3 1 1967 806 3 510 3 11.8 2 3 2 28 3
多元线性回归模型练习 一、单项选择题 1.在由30n =的一组样本估计的、包含3个解释变量的线性回归模型中，计算得可决系数为，则调整后的可决系数为（ D ） A. B. C. 用一组有30个观测值的样本估计模型01122t t t t y b b x b x u =+++后，在的显著性水平上对1b 的显著性作t 检验，则1b 显著地不等于零的条件是其统计量t 大于等于（ C ） A. )30(05.0t B. )28(025.0t C. )27(025.0t D. )28,1(025.0F 3.线性回归模型01122......t t t k kt t y b b x b x b x u =+++++ 中，检验 0:0(0,1,2,...)t H b i k ==时，所用的统计量 服从( C ) (n-k+1) (n-k-2) (n-k-1) (n-k+2) 4. 调整的可决系数 与多元样本判定系数 之间有如下关系( D ) A.2211n R R n k -=-- B. 22 111n R R n k -=--- C. 2211(1)1n R R n k -=-+-- D. 2211(1)1n R R n k -=---- 5.对模型Y i =β0+β1X 1i +β2X 2i +μi 进行总体显著性F 检验，检验的零假设是 ( A ) A. β1=β2=0 B. β1=0 C. β2=0 D. β0=0或β1=0 6．设k 为回归模型中的参数个数，n 为样本容量。则对多元线性回归方程进行 显著性检验时，所用的F 统计量可表示为（ B ） A. )1()(--k RSS k n ESS B ． C ．)1()1() (22---k R k n R D ．)()1/(k n TSS k ESS -- ) 1 ( ) 1 ( k R k R n
第二章 回归分析概要 第五节 多元线性回归分析 一 模型的建立与假定条件 在一元线性回归模型中，我们只讨论了包含一个解释变量的一元线性回归模型，也就是假定被解释变量只受一个因素的影响。但是在现实生活中，一个被解释变量往往受到多个因素的影响。例如，商品的消费需求，不但受商品本身的价格影响，还受到消费者的偏好、收入水平、替代品价格、互补品价格、对商品价格的预测以及消费者的数量等诸多因素的影响。在分析这些问题的时候，仅利用一元线性回归模型已经不能够反映各变量间的真实关系，因此，需要借助多元线性回归模型来进行量化分析。 1. 多元线性回归模型的基本概念 如果一个被解释变量（因变量）t y 有k 个解释变量（自变量）tj x ，k j ,...,3,2,1=， 同时，t y 不仅是tk x 的线性函数，而且是参数0β和k i i ,...3,2,1=，β（通常未知）的线性函数，随即误差项为t u ，那么多元线性回归模型可以表示为： ,...22110t tk k t t t u x x x y +++++=ββββ ),..,2,1(n t = 这里tk k t t t x x x y E ββββ++++=...)(22110为总体多元线性回归方程，简称总体回归方程。 其中，k 表示解释变量个数，0β称为截距项，k βββ...21是总体回归系数。k i i ,...3,2,1=，β表示在其他自变量保持不变的情况下，自变量tj X 变动一个单位所引起的因变量Y 平均变动的数量，因而也称之为偏回归系数。 当给定一个样本n t x x x y tk t t t ,...2,1),,...,,(21=时，上述模型可以表示为： ???? ??? ???????????+++++=+++++=+++++=+++++=t tk k t t t k k k k k k u x x x y u x x x y u x x x y u x x x y ββββββββββββββββ (22110333223110322222211021112211101) 此时，t y 与tj x 已知，i β与t u 未知。 其相应的矩阵表达式为：
实验题目：多元线性回归、异方差、多重共线性 实验目的：掌握多元线性回归的最小二乘法，熟练运用Eviews软件的多元线性回归、异方差、多重共线性的操作，并能够对结果进行相应的分析。 实验内容：习题3.2，分析1994-2011年中国的出口货物总额（Y）、工业增加值（X2）、人民币汇率（X3），之间的相关性和差异性，并修正。 实验步骤： 1.建立出口货物总额计量经济模型： 错误！未找到引用源。（3.1） 1.1建立工作文件并录入数据，得到图1 图1 在“workfile"中按住”ctrl"键，点击“Y、X2、X3”，在双击菜单中点“open group”,出现数据 表。点”view/graph/line/ok”,形成线性图2。 图2 1.2对（3.1）采用OLS估计参数 在主界面命令框栏中输入ls y c x2 x3，然后回车，即可得到参数的估计结果，如图3所示。
图 3 根据图3中的数据，得到模型（3.1）的估计结果为 （8638.216）（0.012799）（9.776181） t=(-2.110573) (10.58454) (1.928512) 错误！未找到引用源。错误！未找到引用源。F=522.0976 从上回归结果可以看出，拟合优度很高，整体效果的F检验通过。但当错误！未找到引用源。=0.05时，错误！未找到引用源。=错误！未找到引用源。2.131.有重要变量X3的t检验不显著，可能存在严重的多重共线性。 2．多重共线性模型的识别 2.1计算解释变量x2、x3的简单相关系数矩阵。 点击Eviews主画面的顶部的Quick/Group Statistics/Correlatios弹出对话框在对话框中输入解释变量x2、x3，点击OK，即可得出相关系数矩阵（同图4）。 相关系数矩阵 图4 由图4相关系数矩阵可以看出，各解释变量相互之间的相关系数较高，证实解释变量之间存在多重共线性。 2.2多重共线性模型的修正
一、什么是回归分析 回归分析(Regression Analysis)是研究变量之间作用关系的一 种统计分析方法，其基本组成是一个（或一组）自变量与一个（或一组）因变量。回归分析研究的目的是通过收集到的样本数据用一定的统计方法探讨自变量对因变量的影响关系，即原因对结果的影响程度。 回归分析是指对具有高度相关关系的现象，根据其相关的形态，建立一个适当的数学模型(函数式)，来近似地反映变量之间关系的统计分析方法。利用这种方法建立的数学模型称为回归方程，它实际上是相关现象之间不确定、不规则的数量关系的一般化。 二、回归分析的种类 1.按涉及自变量的多少，可分为一元回归分析和多元回归分析一元回归分析是对一个因变量和一个自变量建立回归方程。多元回归分析是对一个因变量和两个或两个以上的自变量建立回归方程。 2.按回归方程的表现形式不同，可分为线性回归分析和非线性回归分析 若变量之间是线性相关关系，可通过建立直线方程来反映，这种分析叫线性回归分析。 若变量之间是非线性相关关系，可通过建立非线性回归方程来反映，这种分析叫非线性回归分析。
三、回归分析的主要内容 1.建立相关关系的数学表达式。依据现象之间的相关形态，建立适当的数学模型，通过数学模型来反映现象之间的相关关系，从数量上近似地反映变量之间变动的一般规律。 2.依据回归方程进行回归预测。由于回归方程反映了变量之间的一般性关系，因此当自变量发生变化时，可依据回归方程估计出因变量可能发生相应变化的数值。因变量的回归估计值，虽然不是一个必然的对应值(他可能和系统真值存在比较大的差距)，但至少可以从一般性角度或平均意义角度反映因变量可能发生的数量变化。 3.计算估计标准误差。通过估计标准误差这一指标，可以分析回归估计值与实际值之间的差异程度以及估计值的准确性和代表性，还可利用估计标准误差对因变量估计值进行在一定把握程度条件下的区间估计。 四、一元线性回归分析 1.一元线性回归分析的特点 1)两个变量不是对等关系，必须明确自变量和因变量。 2)如果x和 y两个变量无明显因果关系，则存在着两个回归方程：一个是以x为自变量，y为因变量建立的回归方程；另一个是以
实验六多元线性回归和多重共线性 姓名：何健华 学号：201330110203 班级：13金融数学2班 一 实验目的： 掌握多元线性回归模型的估计方法、掌握多重共线性模型的识别和修正。 二 实验要求： 应用教材P140例子4.3.1案例做多元线性回归模型，并识别和修正多重共线性。 三 实验原理： 普通最小二乘法、简单相关系数检验法、综合判断法、逐步回归法。 四 预备知识： 最小二乘法估计的原理、t 检验、F 检验、R 2值。 五 实验步骤： 有关的研究分析表明，影响国内旅游市场收入的主要因素，除了国内旅游人数和旅游支出外，还可能与基础设施有关。因此考虑影响国内旅游收入Y （单位为亿元）的以下几个因素：国内旅游人数X1、城镇居民人均旅游支出X2（单位为元）、农村居民人均旅游支出X3（单位为元）、并以公路里程X4（单位为万公里）和铁路里程X5（单位为万公里）作为相关设施的代表，根据这些变量建立如下的计量经济模型： 01122334455y x x x x x ββββββμ=++++++ 为了估计上述模型，从《中国统计年鉴》收集到1994年到2003年的有关统计数据。 1、 请用普通最小二乘方法估计模型参数； 2、 检验模型是否存在多重共线性，如果存在共线性，试采用适当的方法消除共线性。
1. 用普通最小二乘方法估计模型参数 1.1设定并估计多元线性回归模型 01122334455y x x x x x ββββββμ=++++++ ------- (1-1) 1.2建立工作工作文件并录入数据，得到图1.1。 图1.1 点击主界面菜单Quick\Estimate Equation ，在弹出的对话框中输入Y C X1 X2 X3 X4 X5，点击确定即可得到回归结果图1.2。 图1.2
多元线性回归分析—内容提要 1.多元线性回归的数学模型 【模型的理论假设】设p x x x ,,,21 是) 2 ( ≥p 个自变量（解释变量），y 是因变量，则多元线性回归模型的理论假设是 εββββ+++++=p p x x x y 22110，),0(~2σεN ， 其中，p ββββ,,,,210 是1+p 个未知参数，0β称为回归常数，p βββ,,,21 称为回归系数，),0(~2σεN 为随机误差. 【模型的建立】求p 元线性函数 p p x x x Ey ββββ++++= 22110 的经验回归方程 p p x x x y ββββ?????22110++++= ， 其中，y ?是Ey 的统计估计，p ββββ?,,?,?,?210 分别是,,,,,210p ββββ 的统计估计，称为经验回归系数. 【模型的数据结构】设对变量向量y x x x p ,,,,21 的n 次观测得到的样本数据为 ),,,,(21i ip i i y x x x ，) 1 ( ,,2,1 +>=p n i .为了今后讨论方便，我们引进矩阵 ??????? ??=n y y y y 21，??????? ??=np n p p x x x x x x X 1221111111，?????? ? ??=p ββββ????10 ，????? ?? ??=n εεεε 21 于是，多元线性回归模型的数据结构为 εβ+=X y 称为多元样本回归方程，其中n p X rank <+=1)(,) ,(~21n n n n I O N ??σε且各个i ε相互独立. 由于矩阵X 是样本数据，X 的数据可以进行设计和控制，因此，矩阵X 称为回归设计矩阵或资料矩阵. 注释 对多元线性回归模型理论假设的进一步说明：
Logistic回归分析报告结果解读分析Logistic回归常用于分析二分类因变量(如存活和死亡、患病和未患病等)与多个自变量的关系。比较常用的情形是分析危险因素与是否发生某疾病相关联。例如，若探讨胃癌的危险因素，可以选择两组人群，一组是胃癌组，一组是非胃癌组，两组人群有不同的临床表现和生活方式等，因变量就为有或无胃癌，即“是”或“否”，为二分类变量，自变量包括年龄、性别、饮食习惯、是否幽门螺杆菌感染等。自变量既可以是连续变量，也可以为分类变量。通过Logistic 回归分析，就可以大致了解胃癌的危险因素。 Logistic回归与多元线性回归有很多相同之处，但最大的区别就在于他们的因变量不同。多元线性回归的因变量为连续变量；Logistic回归的因变量为二分类变量或多分类变量，但二分类变量更常用，也更加容易解释。 回归的用法 一般而言，Logistic回归有两大用途，首先是寻找危险因素，如上文的例子，找出与胃癌相关的危险因素；其次是用于预测，我们可以根据建立的Logistic 回归模型，预测在不同的自变量情况下，发生某病或某种情况的概率(包括风险评分的建立)。 2.用Logistic回归估计危险度 所谓相对危险度(risk ratio，RR)是用来描述某一因素不同状态发生疾病(或其它结局)危险程度的 比值。Logistic回归给出的OR(odds ratio)值与相对危险度类似，常用来表示相对于某一人群，另一人群发生终点事件的风险超出或减少的程度。如不同性别的胃癌发生危险不同，通过Logistic回归可以求出危险度的具体数值，例如，这样就表示，男性发生胃癌的风险是女性的倍。这里要注意估计的方向问题，以女性作为参照，男性患胃癌的OR是。如果以男性作为参照，算出的OR将会是(1/，表示女性发生胃癌的风险是男性的倍，或者说，是男性的％。撇开了参照组，相对危险度就没有意义了。
多元回归分析法的介绍及具体应用 在数量分析中，经常会看到变量与变量之间存在着一定的联系。要了解变量之间如何发生相互影响的，就需要利用相关分析和回归分析。回归分析的主要类型：一元线性回归分析、多元线性回归分析、非线性回归分析、曲线估计、时间序列的曲线估计、含虚拟自变量的回归分析以及逻辑回归分析等。这里主要讲的是多元线性回归分析法。 1. 多元线性回归的定义 说到多元线性回归分析前，首先介绍下医院回归线性分析，一元线性回归分析是在排除其他影响因素或假定其他影响因素确定的条件下，分析某一个因素（自变量）是如何影响另一事物（因变量）的过程，所进行的分析是比较理想化的。其实，在现实社会生活中，任何一个事物（因变量）总是受到其他多种事物（多个自变量）的影响。 一元线性回归分析讨论的回归问题只涉及了一个自变量，但在实际问题中，影响因变量的因素往往有多个。例如，商品的需求除了受自身价格的影响外，还要受到消费者收入、其他商品的价格、消费者偏好等因素的影响；影响水果产量的外界因素有平均气温、平均日照时数、平均湿度等。 因此，在许多场合，仅仅考虑单个变量是不够的，还需要就一个因变量与多个自变量的联系来进行考察，才能获得比较满意的结果。这就产生了测定多因素之间相关关系的问题。 研究在线性相关条件下，两个或两个以上自变量对一个因变量的数量变化关系，称为多元线性回归分析，表现这一数量关系的数学公式，称为多元线性回归模型。 多元线性回归模型是一元线性回归模型的扩展，其基本原理与一元线性回归模型类似，只是在计算上更为复杂，一般需借助计算机来完成。 2. 多元回归线性分析的运用 具体地说，多元线性回归分析主要解决以下几方面的问题。 （1）、确定几个特定的变量之间是否存在相关关系，如果存在的话，找出它
SPSS--回归-多元线性回归模型案例解析！(一) 多元线性回归,主要就是研究一个因变量与多个自变量之间的相关关系,跟一元回归原理差不多,区别在于影响因素(自变量)更多些而已,例如:一元线性回归方程 为: 毫无疑问,多元线性回归方程应该 为: 上图中的 x1, x2, xp分别代表“自变量”Xp截止,代表有P个自变量,如果有“N组样本,那么这个多元线性回归,将会组成一个矩阵,如下图所示: 那么,多元线性回归方程矩阵形式为: 其中:代表随机误差, 其中随机误差分为:可解释的误差与不可解释的误差,随机误差必须满足以下四个条件,多元线性方程才有意义(一元线性方程也一样) 1:服成正太分布,即指:随机误差必须就是服成正太分别的随机变量。 2:无偏性假设,即指:期望值为0 3:同共方差性假设,即指,所有的随机误差变量方差都相等 4:独立性假设,即指:所有的随机误差变量都相互独立,可以用协方差解释。 今天跟大家一起讨论一下,SPSS---多元线性回归的具体操作过程,下面以教程教程数据为例,分析汽车特征与汽车销售量之间的关系。通过分析汽车特征跟汽车销售量的关系,建立拟合多元线性回归模型。数据如下图所示:
点击“分析”——回归——线性——进入如下图所示的界面:
将“销售量”作为“因变量”拖入因变量框内, 将“车长,车宽,耗油率,车净重等10个自变量拖入自变量框内,如上图所示,在“方法”旁边,选择“逐步”,当然,您也可以选择其它的方式,如果您选择“进入”默认的方式,在分析结果中,将会得到如下图所示的结果:(所有的自变量,都会强行进入) 如果您选择“逐步”这个方法,将会得到如下图所示的结果:(将会根据预先设定的“F统计量的概率值进行筛选,最先进入回归方程的“自变量”应该就是跟“因变量”关系最为密切,
多元线性回归分析 为了研究两个变量之间的关系，最简单的方法是绘制散点图。就是把一个因素作为自变量x ，另一个因素作为因变量y ，将它们成对的观察值标在直角坐标图上，判断出各点分布是呈直线还是曲线，从而看出它们之间存在着怎样的关系，以上方法是解决两个变量之间的相关关系问题，然而，客观事物的变化往往受到多种因素的影响，即使其中一个因素起着主导作用，但有时其他因素的作用也是不可忽视的，这种对多因素的相关和回归，称为多元相关和回归因素分析，运算机理可以通过下面计算表示： 设影响因变量y 的自变量因素共有k 个：12,,,k x x x ，通过实验得到下列n 组观察值：（12,,,k x x x ，t y ）， t=1，2，3 …n 。 一般地，如果因变量y 与解释变量12,,,k x x x 之间服从如下干系： 01122k k y b b x b x b x u =+++++ （4-1） 则对因变量y 及解释变量12,,,k x x x 作n 次观测后，所得到n 组观测样本 （t y ，12,,,t t k t x x x ）(t=1，2， …，n)将满足如下关系： 01122 t t t k k t t y b b x b x b x u =++++ + （4-2） 这就是多元线性回归模型的一般形式。（t y ，12,,,t t k t x x x ）(t=1，2，…，n)为第t 次观测样本，j b （j=0，2，…，k ）为模型参数，t u 为随机误差项。 模型中的回归系数j b （j=0，2，…，k ）就表示当其他解释变量不变的条件下，第j 个解释变量的单位变动对因变量均值的影响，多元线性回归模型中这样的回归系数，称为偏回归系数。 将n 次观测样本所遵从的n 个随机方程式（4-2）写成方程组形式，有： 1011122111k k y b b x b x b x u =+++++ 201 12 2 22 2 k k y b b x b x b x u =+++++ （4-3） …… …… …… 01122 n n n k k n n y b b x b x b x u =++++ + 其中，随机误差u 满足： ()0j E u = ()2 j V a r u σ = （4-4） (),0,j k C o v u u j k = ≠
1、稳健回归 其主要思路是将对异常值十分敏感的经典最小二乘回归中的目标函数进行修改。经典最小二乘回归以使误差平方和达到最小为其目标函数。因为方差为一不稳健统计量，故最小二乘 回归是一种不稳健的方法。为减少异常点的作用，对不同的点施加不同的权重，残差小的点权重大，残差大的店权重小。 2、变系数回归 地理位置加权 3、偏最小二乘回归 长期以来，模型式的方法和认识性的方法之间的界限分得十分清楚。而偏最小二乘法则把它 们有机的结合起来了，在一个算法下，可以同时实现回归建模(多元线性回归)、数据结构简化(主成分分析)以及两组变量之间的相关性分析(典型相关分析)。偏最小二乘法在统计应用 中的重要性体现在以下几个方面：偏最小二乘法是一种多因变量对多自变量的回归建模方法。偏最小二乘法可以较好的解决许多以往用普通多兀回归无法解决的问题。偏最小二乘法之所以被称为第二代回归方法，还由于它可以实现多种数据分析方法的综合应用。能够消除自变量选取时可能存在的多重共线性问题。普通最小二乘回归方法在自变量间存在严重的多 重共线性时会失效。自变量的样本数与自变量个数相比过少时仍可进行预测。 4、支持向量回归 能较好地解决小样本、非线性、高维数和局部极小点等实际问题。 传统的化学计量学算法处理回归建模问题在拟合训练样本时，要求残差平方和”最小，这样将有限样本数据中的误差也拟合进了数学模型，易产生过拟合”问题，针对传统方法这一不足之处,SVR采用“不敏感函数”来解决过拟合”问题,即f(x)用拟合目标值yk时,取:f(x) =E SVs( a a *i)K(xi,x) 上式中a和a许为支持向量对应的拉格朗日待定系数,K(xi,x)是采用的核函数[18],X为未 知样本的特征矢量,xi为支持向量(拟合函数周围的&管壁"上的特征矢量),SVs 为支持向量的数目?目标值yk拟合在yk-刀SVs(a-ia *i)K(xi,xk) 时?即认为进一步拟合是无意 义的。 5、核回归 核函数回归的最初始想法是用非参数方法来估计离散观测情况下的概率密度函数(pdf)。为了避免高维空间中的内积运算由Mercer条件，存在映射函数a和核函数K(?,?)，使 得: