偏最小二乘回归分析spss

第二讲 相关分析与回归分析第一节 相关分析1．1 变量的相关性1．变量的相关性分两种，一种是研究两个变量X 与Y 的相关性，另一种是研究两组变量X 1,X 2,…,X p 与Y 1,Y 2,…,Y q 之间的相关性。

本节只研究前者，即两个变量之间的相关性；后者，即两组变量之间的相关称为典型相关，不在本节研究范围之内。

2．两个变量X 与Y 的相关性研究，是探讨这两个变量之间的关系密切到什么程度，能否给出一个定量的指标。

这个问题的难处在于“关系”二字，从数学角度看，两个变量X 、Y 之间的关系具有无限的可能性，因此泛泛谈“关系”不会有什么出路。

一个比较现实的想法是：确立一种“样板”关系，然后把X 、Y 的实际关系与“样板”关系比较，看它们“像”到了什么程度，给出一个定量指标。

3．取什么关系做“样板”关系？线性关系。

这是一种单调递增或递减的关系，在现实生活中广为应用；另外，现实世界中大量的变量服从正态分布，对这些变量而言，可以用线性关系或准线性关系构建它们之间的联系。

1．2 相关性度量1．概率论中用相关系数(correlation coefficient )度量两个变量的相关程度。

变量X 和Y 的相关系数定义为：)()(),(),(Y Var X Var Y X Cov Y X Corr其中Cov (X ,Y )是协方差，Var (X )和Var (Y )分别是变量X 和Y 的方差。

相关系数Corr (X ,Y )有性质： 1）1),(≤Y X Corr ；2）1),(=Y X Corr 当且仅当1}{=+=bX a Y P 。

而且当 Corr (X ,Y )=1时，有b >0，称为正相关；Corr (X ,Y )=-1时，有b <0，称为负相关。

特别，当Corr (X ,Y )=0，称X 和Y 不相关，这时它们没有线性关系。

为区别以下出现的样本相关系数，有时也把这里定义的相关系数称为总体相关系数。

如何用SPSS进行多元线性回归1、导入数据首先打开SPSS软件，选中打开其他文件，然后把查找范围定位到数据所在位置（我这里是在桌面），然后在文件类型上选择你的文件类型（我这里是Excel），然后选中数据文件，点击打开。

在弹出的对话框中点击确定2、进行描述性统计首先点击菜单栏中的分析-描述统计-描述出现如下页面，选中想要进行描述性统计的变量到右边变量框中。

如图所示，点击选项，选择需要SPSS汇报的描述性统计：结果如图，这里只选择平均值、标准偏差、最小值和最大值：得出描述性统计如图：注意：结果是可以复制粘贴到Excel里面的。

3、相关性分析首先点击菜单栏中的分析-相关-双变量同样按照描述性统计的操作，把想要进行分析的变量选中，选择Pearson相关系数，并进行双尾检验（一般性操作），点击确定即可。

得出如下结果：一般来讲，相关系数大于0.6就说明可能会存在多重共线性问题，而且相关系数比较显著（右上角有两个星号，说明结果在0.01的水平上显著），结论：GYZCZ和SCALE可能存在多重共线性。

4、回归以及回归诊断首先点击分析-回归-线性因变量和自变量选择好，如图所示：点击右上角的Statistics，出现如下菜单，选择共线性诊断和Durbin-Watson检验（检验序列相关性），然后点击继续。

点击右上角的绘图，出现如下界面，按照图示进行选择，这一步是为了进行异方差的初步验证，然后点击继续。

以上全部设定好了之后，点击确定即可。

主要结果分析：可决系数R方值为0.432，调整后的R方是0.414，说明模型拟合程度还不错（一般大于0.3都还能接受）。

D.W.值为0.828，说明存在正的序列相关性（如果是横截面数据，则不需要考虑，如果是时间序列数据就需要考虑用差分法、广义最小二乘、可行的广义最小二乘等方法）F值通过检验（显著性为0.000），说明模型的整体线性性满足。

共线性诊断：看方差膨胀因子（VIF），GYZCZ与SCALE的VIF值大于10，说明存在多重共线性，需要剔除这两个变量。

19种回归分析你知道几种呢？只要学习过数据分析，或者对数据分析有一些简单的了解，比如使用过SPSSAU、SPSS这些统计分析软件，都知道有回归分析。

按照数学上的定义来看，回归分析指研究一组随机变量(Y1 ，Y2 ，…，Yi)和另一组(X1，X2，…，Xk)变量之间关系的统计分析方法，又称多重回归分析。

通常Y1，Y2，…，Yi是因变量，X1、X2，…，Xk是自变量。

其实说简单点就是研究X对于Y的影响关系，这就是回归分析。

但是，这并不够呢，看下图，总共19种回归（其实还有不单独列出），这如何区分，到底应该使用哪一种回归呢，这19种回归分析有啥区别呢。

为什么会这如此多的回归分析呢？一、首先回答下：为什么会有如此多的回归分析方法？在研究X对于Y的影响时，会区分出很多种情况，比如Y有的是定类数据，Y 有的是定量数据（如果不懂的童鞋可查看SPSSAU官网帮助手册），也有可能Y有多个或者1个，同时每种回归分析还有很多前提条件，如果不满足则有对应的其它回归方法进行解决。

这也就解决了为什么会有如此多的回归分析方法。

接下来会逐一说明这19种回归分析方法。

二、回归分析按数据类型分类首先将回归分析中的Y（因变量）进行数据类型区分，如果是定量且1个（比如身高），通常我们会使用线性回归，如果Y为定类且1个（比如是否愿意购买苹果手机），此时叫logistic回归，如果Y为定量且多个，此时应该使用PLS回归（即偏最小二乘回归）线性回归再细分：如果回归模型中X仅为1个，此时就称为简单线性回归或者一元线性回归；如果X有多个，此时称为多元线性回归。

Logistic回归再细分：如果Y为两类比如0和1（比如1为愿意和0为不愿意，1为购买和0为不购买），此时就叫二元logistic回归；如果Y为多类比如1，2，3（比如DELL, Thinkpad, Mac）,此时就会多分类logistic回归；如果Y为多类且有序比如1，2，3（比如1为不愿意，2为中立，3为愿意），此时可以使用有序logistic回归。

岭回归分析在进行线性回归分析时，很容易出现自变量共线性问题，通常情况下VIF值大于10说明严重共线，VIF大于5则说明有共线性问题。

当出现共线性问题时，可能导致回归系数的符号与实际情况完全相反，本应该显著的自变量不显著，本不显著的自变量却呈现出显著性；共线性问题会导致数据研究出来严重偏差甚至完全相反的结论，因而需要解决此问题。

针对共线性问题的解决方案上，可以考虑使用逐步回归进行分析，直接移除出共线性的自变量X，但此类做法导致自己希望研究的变量无法得到研究。

此时，可以考虑使用更科学的研究方法即岭回归（Ridge regression）。

岭回归是一种改良的最小二乘法，其通过放弃最小二乘法的无偏性，以损失部分信息为代价来寻找效果稍差但回归系数更符合实际情况的模型方程。

针对共线性的病态数据，岭回归的耐受性远强于普通线性最小二乘法回归。

岭回归分析（Ridge Regression）用于解决线性回归分析中自变量共线性的研究算法。

岭回归通过引入k个单位阵，使得回归系数可估计；单位阵引入会导致信息丢失，但同时可换来回归模型的合理估计。

针对岭回归：其研究步骤共为2步,分别是结合岭迹图寻找最佳K值；输入K值进行回归建模。

第一步：岭回归分析前需要结合岭迹图确认K值；K值的选择原则是各个自变量的标准化回归系数趋于稳定时的最小K值。

K值越小则偏差越小，K值为0时则为普通线性OLS回归；SPSSAU提供K值智能建议，也可通过主观识别判断选择K值第二步：对于K值，其越小越好，通常建议小于1；确定好K值后，即可主动输入K 值，得出岭回归模型估计。

SPSSAU操作截图如下：如果输入框中不输入值，此时SPSSAU默认是生成岭迹图，即识别最佳K值（当然SPSSAU 会智能化建议最佳K值）；如果输入K值，此时SPSSAU则输出岭回归模型结果。

岭回归分析案例Contents1背景 (3)2理论 (3)3操作 (4)4 SPSSAU输出结果 (5)5文字分析 (6)6剖析 (6)1 背景现测得胎儿身高、头围、体重和胎儿受精周龄数据，希望建立胎儿身高、头围、体重去和胎儿受精周龄间的回归模型。

卡方检验（2x2）-SPSS教程一、问题与数据学了这么多连续变量的统计分析，那么对于计数资料可咋整。

小伙伴会问了：如果我想看不同患者人群的术后复发率有没有差异，怎么办？这时候就需要欢迎我们的统计小助手——卡方检验闪亮登场啦！卡方检验可是一位重量级选手，凡是涉及到计数资料分布的比较都需要他的帮忙。

和t检验一样，卡方检验也会用在成组和配对设计资料分析中，本期我们一起聊聊独立样本四格表的χ2检验。

用药物A治疗急性心肌梗死患者198例，24小时内死亡11例，病死率为5.56%，另42例治疗时采用药物B，24小时内死亡6例，病死率为14.29%，提问：两组病死率有无差别？表1. 两种药物急性心肌梗塞患者治疗后24小时内死亡情况二、对问题分析“生存”，还是“死亡”，这是个问题，但更是一个典型的二分类结局指标，我们关注的重点是两种药物治疗后“生存”和“死亡”的分布（或者说病死率）有无差别，由此组成的2*2列联表就是χ2检验中经典的“四格表”（如表1）。

下面一起看看SPSS怎样搞定χ2检验。

三、SPSS操作1. 数据录入(1) 变量视图(2) 数据视图2. 加权个案：选择Data→weight cases→勾选Weight cases by，将频数放入Frequency Variable→OK。

因为本例中数据库每一行代表多个观测对象，所以需要对其进行加权处理。

当然，如果数据是以单个观测对象的形式，即每一行代表1个观测对象，则无需加权（如下图）。

3. 选择Analyze→Descriptive Statistics→Crosstabs4. 选项设置(1) 主对话框设置：将分组变量Drug放入Row(s)框中→将指标变量Outcome 放入Column(s)框中（实际上χ2检验是关注实际和理论频数是否一致，这里Row(s)框和Column(s)框内变量也可以颠倒放，并不影响最终结果）。

(2) Statistics设置：勾选Chi-square，确定使用成组计数资料的卡方检验→Continue(3) Cells设置：Counts中勾选Observed和Expected，输出实际观测频数和理论频数；Percentages中勾选Row，输出每组转归百分比→Continue→OK四、结果解释表2 统计汇总表2中不仅有服用两种药物后患者实际转归（生存/死亡）的频数和相应百分比，还输出了相应的理论频数（所在行列合计数乘积/总例数）。

spss一元线性回归分析回归分析（regression analysis）即是要追本溯源，即追溯因变量的变化与哪些自变量的相关，如果因变量的变化与自变量的变化之间存在相关，那么自变量就可能（并不必然是）是因变量的原因。

相关是因果关系的必要条件，但是相关并不意味必然有因果关系，发现了相关性，只是说明在统计学意义上两个变量之间可能存在因果关系，之后还要探讨因果链条。

回归分析既要考察两个变量是否共同变化，还要预先设定哪个变量是原因、哪个是结果。

一、回归分析与相关分析的区别1.回归分析是预设因果关系的相关分析相关分析研究的都是随机变量，不预设变量之间有因果关系，不区分因变量和自变量；回归分析则预设变量之间有因果关系，区分因变量和自变量。

回归分析是由此及彼，参照自变量的信息，来预测因变量的值。

回归分析的目的是改进预测的准确度，把标志猜测误差总量的平方和减到最低程度。

回归分析的步骤，首先是要看因变量和自变量是否以及如何先后呼应（如果无法根据数据分辨事实上的时间先后，可以分辨逻辑次序的先后。

逻辑次序的先后，即在特定场景下不能想象一个变量在时间上先于另一个变量，而需要有逻辑关系），这里的是和否，也就是“显著”和“不显著”，判断方法是显著性检验。

如果确定有显著呼应，再看呼应程度的高低正负。

2.回归分析量化了两个变量关系的本质相关分析主要衡量了两个变量是否关联以及关联的密切程度，而回归分析不仅可以揭示变量之间的关系和影响程度，还可以根据回归模型进程预测。

二、回归分析的类型回归分析主要包括线性回归及非线性回归，线性回归又分为简单线性回归、多元线性回归。

非线性回归，需要通过对数转换等方式，转换为线性回归进行分析。

这次主要介绍线性回归分析，非线性回归后续有机会再做详细的分享。

三、简单线性回归分析的步骤1.根据预测目标，确定自变量和因变量围绕业务问题和目标，从经验、常识、历史数据研究等，初步确定自变量和因变量。

2.进行相关分析（1）通过绘制散点图的方式，从图形化的角度初步判断自变量和因变量之间是否具有相关关系；（2）通过皮尔逊相关系数r值，判断自变量与因变量之间的相关程度和方向，才决定是否运用线性回归分析法来预测数值。

SPSS--回归-多元线性回归模型案例解析多元线性回归，主要是研究⼀个因变量与多个⾃变量之间的相关关系，跟⼀元回归原理差不多，区别在于影响因素（⾃变量）更多些⽽已，例如：⼀元线性回归⽅程为：毫⽆疑问，多元线性回归⽅程应该为：上图中的 x1, x2, xp分别代表“⾃变量”Xp截⽌，代表有P个⾃变量，如果有“N组样本，那么这个多元线性回归，将会组成⼀个矩阵，如下图所⽰：那么，多元线性回归⽅程矩阵形式为：其中：代表随机误差，其中随机误差分为：可解释的误差和不可解释的误差，随机误差必须满⾜以下四个条件，多元线性⽅程才有意义（⼀元线性⽅程也⼀样）1：服成正太分布，即指：随机误差必须是服成正太分别的随机变量。

2：⽆偏性假设，即指：期望值为03：同共⽅差性假设，即指，所有的随机误差变量⽅差都相等4：独⽴性假设，即指：所有的随机误差变量都相互独⽴，可以⽤协⽅差解释。

今天跟⼤家⼀起讨论⼀下，SPSS---多元线性回归的具体操作过程，下⾯以教程教程数据为例，分析汽车特征与汽车销售量之间的关系。

通过分析汽车特征跟汽车销售量的关系，建⽴拟合多元线性回归模型。

数据如下图所⽰：点击“分析”——回归——线性——进⼊如下图所⽰的界⾯：将“销售量”作为“因变量”拖⼊因变量框内，将“车长，车宽，耗油率，车净重等10个⾃变量拖⼊⾃变量框内，如上图所⽰，在“⽅法”旁边，选择“逐步”，当然，你也可以选择其它的⽅式，如果你选择“进⼊”默认的⽅式，在分析结果中，将会得到如下图所⽰的结果：（所有的⾃变量，都会强⾏进⼊）如果你选择“逐步”这个⽅法，将会得到如下图所⽰的结果：（将会根据预先设定的“F统计量的概率值进⾏筛选，最先进⼊回归⽅程的“⾃变量”应该是跟“因变量”关系最为密切，贡献最⼤的，如下图可以看出，车的价格和车轴跟因变量关系最为密切，符合判断条件的概率值必须⼩于0.05，当概率值⼤于等于0.1时将会被剔除）“选择变量(E)" 框内，我并没有输⼊数据，如果你需要对某个“⾃变量”进⾏条件筛选，可以将那个⾃变量，移⼊“选择变量框”内，有⼀个前提就是：该变量从未在另⼀个⽬标列表中出现！，再点击“规则”设定相应的“筛选条件”即可，如下图所⽰：点击“统计量”弹出如下所⽰的框，如下所⽰：在“回归系数”下⾯勾选“估计，在右侧勾选”模型拟合度“ 和”共线性诊断“ 两个选项，再勾选“个案诊断”再点击“离群值”⼀般默认值为“3”，（设定异常值的依据，只有当残差超过3倍标准差的观测才会被当做异常值）点击继续。

Lasso回归套索回归多重共线性SPSSAULasso回归（套索回归）分析在进行线性回归分析时，很容易出现自变量共线性问题，通常情况下VIF值大于10说明严重共线，VIF大于5则说明有共线性问题；当出现共线性问题时，可能导致回归系数的符号与实际情况完全相反，本应该显著的自变量不显著，本不显著的自变量却呈现出显著性；共线性问题会导致数据研究出来严重偏差甚至完全相反的结论，因而需要解决此问题。

针对共线性问题的解决方案上，可以有以下几种处理方法：如果是使用逐步回归解决多重共线性问题，其为‘技巧式’处理，其让算法自动找出显著的X，通常情况下，此种做法会避开共线性的变量，实质上其并没有直面共线性问题，只是很可能避开了共线性而已，在实际研究中使用较多；除此之外，Lasso回归和Lasso回归是直观共线性问题的两种处理方式，Lasso回归和lasso回归在于对损失函数进行改造，但此两种方法的具体损失函数改造上，Lasso回归是使用L2正则化，Lasso回归是使用L1正则化。

相对来讲，Lasso回归用于解决共线性问题的时候较多，Lasso回归除了有解决共线性问题的功能外，其还可用于进行‘特征筛选’，即找出有意义的自变量X（特征项），一般在机器学习领域使用此功能较多。

除此之外，主成分分析是利用降维的思想去解释共线性问题，比如有10个X，其利用降维原理将10个X降维成比如3个主成分，然后后续再进行分析比如线性回归（此种做法称作主成分回归）。

而PLS回归是同时利用主成分和回归混合在一起的处理方式，一般用于非常小的样本（比如小于100的样本时），经济领域中使用主成分相对较多，但在其它领域中可能使用PLS回归相对较多。

类似于Ridge Regression，Lasso回归的分析时也分为两个步骤：分别是结合轨迹图寻找最佳K值；输入K值进行回归建模。

第一步：Lasso回归分析前需要结合轨迹图确认K值；K值的选择原则是各个自变量的标准化回归系数趋于稳定时的最小K值。