第八章 相关分析和回归分析

多元线性回归模型
多元线性回归方程： y=β0+β1x1+β2x2+...+βkxk

β1、β2、βk为偏回归系数。 β1表示在其他自变量保持不变的情况下，自变量x1变动 一个单位所引起的因变量y的平均变动。
对于多元线性回归方程：
R
2
R2
SSE 1 SST SSE/ n p 1 1 SST / n 1
偏相关系数的取值范围及大小含义与相关系数相同。
• 第二，对样本来自的两总体是否存在显著的净相关进 •
行推断 检验统计量为：
nq2 tr 1 r2
其中，r为偏相关系数，n为样本数，q为阶数。 T统计量服从n-q-2个自由度的t分布。
8.3.2 偏相关分析的基本操作
1.选择菜单Analyze－Correlate－Partial
（4）Model fit：SPSS默认输出项，输出判定系 数、调整的判定系数、回归方程的标准误差、回 归方程显著F检验的方程分析表。 （5）R squared change：输出每个解释变量进 入方程后引起的判定系数的变化量和F值的变化 量。 （6）Part and partial correlation：输出方程中 各解释变量与被解释变量之间的简单相关、偏相 关系数。
Toli 1 Ri
Ri 是第i个解释变量与方程中其他解释变量间的复 其中，
2
相关系数的平方，表示解释变量之间的线性相关程度。容忍 度的取值范围在0-1之间，越接近0表示多重共线性越强，越 接近1表示多重共线性越弱。 2、方差膨胀因子VIF。方差膨胀因子是容忍度的倒数。VIF越 大多重共线性越强，当VIF大于等于10时，说明存在严重的 多重共线性。
• 8.4.3.4残差分析
残差是指由回归方程计算得到的预测值与实际样本值之间 的差距，定义为：
ˆi yi பைடு நூலகம் (0 1x1 2 x2 ... p x p ) ei yi y
对于线性回归分析来讲，如果方程能够较好的反映被解 释变量的特征和规律性，那么残差序列中应不包含明显的规 律性。残差分析包括以下内容：残差服从正态分布，其平均 值等于0；残差取值与X的取值无关；残差不存在自相关；残 差方差相等。
2 ( e e ) t t 1 t 2
et
t 2
n
2(1 )
2
DW=2表示无自相关，在0-2之间说明存在正自相关， 在2-4之间说明存在负的自相关。一般情况下，DW值在 1.5-2.5之间即可说明无自相关现象。
• 8.4.3.5多重共线性分析
多重共线性是指解释变量之间存在线性相关关系的现象 。测度多重共线性一般有以下方式： 2 1、容忍度：
• 偏相关分析也称净相关分析，它在控制其他变量的
线性影响的条件下分析两变量间的线性关系，所采 用的工具是偏相关系数。 • 控制变量个数为1时，偏相关系数称一阶偏相关； 当控制两个变量时，偏相关系数称为二阶偏相关； 当控制变量的个数为0时，偏相关系数称为零阶偏 相关，也就是简单相关系数。
利用偏相关系数进行分析的步骤
• 第一，计算样本的偏相关系数
假设有三个变量y、x1和x2，在分析x1和y之间的净 相关时，当控制了x2的线性作用后，x1和y之间的一阶偏 相关定义为：
ry1,2 ry1 ry 2 r12
2 (1 ry22 )(1 r12 )
其中，ry1、ry 2、r12分别表示y和x1的相关系数、y和x 2的相关系数、 x1和x 2的相关系数。
注：多元回归分析中，变量的筛选一般有向前筛选、向后筛 选、逐步筛选三种基本策略。 • 向前筛选（ Forward ）策略：解释变量不断进入回归方程 的过程。首先，选择与被解释变量具有最高线性相关系数 的变量进入方程，并进行回归方程的各种检验；然后，在 剩余的变量中寻找与被解释变量偏相关系数最高且通过检 验的变量进入回归方程，并对新建立的回归方程进行各种 检验；这个过程一直重复，直到再也没有可进入方程的变 量为止。 • 向后筛选（ Backward ）策略：变量不断剔除出回归方程 的过程。首先，所有变量全部引入回归方程，并对回归方 程进行各种检验；然后，在回归系数显著性检验不显著的 一个或多个变量中，剔除t检验值最小的变量，并重新建立
4、Save选项，该窗口将回归分析的某些结果以SPSS变量 的形式保存到数据编辑窗口中，并可同时生成XML格式的 文件，便于分析结果的网络发布。 （1）Predicted Values框中：保存非标准化预测值、标 准化预测值、调整的预测值和预测值的均值标准误差。 （2）Distance框中：保存均值或个体预测值95％（默认） 置信区间的下限值和上限值。 （3）Residual框中：保存非标准化残差、标准化残差等。 （4）Influence Statistics框中：保存剔除第i个样本后统 计量的变化量。 5、WSL选项，采用加权最小二乘法替代普通最小二乘法估计 回归参数，并指定一个变量作为权重变量。
8.4.4 线性回归分析的其他操作 1、Statistics按钮，出现的窗口可供用户选择更多 的输出统计量。
（1）Estimates：SPSS默认输出项，输出与回归 系数相关的统计量。包括回归系数（偏回归系数 ）、回归系数标准误差、标准化回归系数、回归 系数显著性检验的t统计量和概率p值，各解释变 量的容忍度。 （2）Confidence Intervals：输出每个非标准化 回归系数95％的置信区间。 （3）Descriptive：输出各解释变量和被解释变量 的均值、标准差、相关系数矩阵及单侧检验概率 p值。
8.4 线性回归分析
8.4.1线性回归分析概述 • 线性回归分析的内容 能否找到一个线性组合来说明一组自变量和因变量的关 系 如果能的话，这种关系的强度有多大，也就是利用自变 量的线性组合来预测因变量的能力有多强 整体解释能力是否具有统计上的显著性意义 在整体解释能力显著的情况下，哪些自变量有显著意义 • 回归分析的一般步骤 确定回归方程中的解释变量（自变量）和被解释变量（ 因变量） 确定回归方程 对回归方程进行各种检验 利用回归方程进行预测
1、对于残差均值和方差齐性检验可以利用残差图进行分析。如 果残差均值为零，残差图的点应该在纵坐标为0的中心的带状 区域中随机散落。如果残差的方差随着解释变量值（或被解 释变量值）的增加呈有规律的变化趋势，则出现了异方差现 象。 2、DW检验。 DW检验用来检验残差的自相关。检验统计量为 ： n
DW
（7）Covariance matrix：输出方程中各解释变量 间的相关系数、协方差以及各回归系数的方差。 （8）Collinearity Diagnostics：多重共线性分析 ，输出各个解释变量的容忍度、方差膨胀因子、特 征值、条件指标、方差比例等。 （9）在Residual框中：Durbin-waston表示输出 DW检验值；Casewise Diagnostic表示输出 标准化残差绝对值大于等于3（SPSS默认值）的 样本数据的相关信息，包括预测值、残差、杠杆值 等。
2、Options选项，出现的窗口可供用户设置多元 线性回归分析中解释变量筛选的标准以及缺失值 的处理方式。 3、Plot选项，出现的窗口用于对残差序列的分析 。
（1）窗口左边框中各变量名的含义是：DEPENDNT表示 被解释变量，*ZPRED表示标准化预测值，*ZRESID 表示标准化残差，*DRESID表示剔除残差， *ADJPRED表示调整的预测值，*SRESID表示学生化 残差，*SDRESID表示剔除学生化残差。 （2）绘制多对变量的散点图，可根据需要在scatter框中 定义散点图的纵坐标和横坐标变量。 （3）在Standardized Residual Plots框中选择 Histogram选项绘制标准化残差序列的直方图；选择 Normal probability plot绘制标准化残差序列的正态 分布累计概率图。选择Produce all partial plots选 项表示依次绘制被解释变量和各个解释变量的散点图。
第八章
SPSS相关分析与回归分析
8.2.4 相关分析应用举例 为研究高等院校人文社会科学研究中立项课 题数会受哪些因素的影响，收集1999年31个省 市自治区部分高校有关社科研究方面的数据，研 究立项课题数（当年）与投入的具有高级职称的 人年数（当年）、发表的论文数（上年）之间是 否具有较强的线性关系。
回归方程和进行各种检验；如果新建回归方程中所有变量 的回归系数检验都显著，则回归方程建立结束。否则按上 述方法再一次剔除最不显著的变量，直到再也没有可剔除 的变量为止。 • 逐步筛选（ Stepwise ）策略：在向前筛选策略的基础上 结合向后筛选策略，在每个变量进入方程后再次判断是否 存在应该剔除出方程的变量。因此，逐步筛选策略在引入 变量的每一个阶段都提供了再剔除不显著变量的机会。
8.3 偏相关分析
• 8.3.1 偏相关分析和偏相关系数
上节中的相关系数是研究两变量间线性 相关性的，若还存在其他因素影响，就相关 系数本身来讲，它未必是两变量间线性相关 强弱的真实体现，往往有夸大的趋势。 例如，在研究商品的需求量和价格、消 费者收入之间的线性关系时，需求量和价格 之间的相关关系实际还包含了消费者收入对 价格和商品需求量的影响。在这种情况下， 单纯利用相关系数来评价变量间的相关性显 然是不准确的，而需要在剔除其他相关因素 影响的条件下计算变量间的相关。偏相关的 意义就在于此。
（5）第三和第四步中确定的解释变量及变量筛选策略可放 置在不同的块（Block）中。通常在回归分析中不止一组 待进入方程的解释变量和相应的筛选策略，可以单击 Next和Previous按钮设置多组解释变量和变量筛选策 略并放置在不同的块中。 （6）选择一个变量作为条件变量放到Selection Variable框中，并单击Rule按钮给定一个判断条件。只 有变量值满足判定条件的样本才参与线性回归分析。 （7）在Case Labels框中指定哪个变量作为样本数据点 的标志变量，该变量的值将标在回归分析的输出图形中。