第九章2 多元回归分析讲解

系数：
参数a、b的最小二乘估计
A good
line is one that minimizes the sum of squared differences between the points and the line.
根据推导，
a y bx
( x x )( y y ) b (x x)
Multiple Regression
R2adj - “adjusted R-square”
R2是一个受自变量个数与样本规模之比（k:n）影响的系数，一般是1：10 以上为好。当这个比值小于1：5时，R2倾向于高估实际的拟合的程度。 Takes into account the number of regressors in the model
X的变异
r2
Y的变异
Simple Regression
R2 - “Goodness of fit”
For simple regression, R2 is the square of the correlation coefficient
Reflects variance accounted for in data by the best-fit line
第九章 多元回归分析
浙江师范大学教育学院心理系
徐长江 xucj@
纲要
回归分析的基本原理
一元回归分析 多元回归分析
多元回归分析的方法 多元回归分析的实现
回归分析的目的
设法找出变量间的依存(数量)关系, 用函数 关系式表达出来
Example: Height vs Weight
Takes values between 0 (0%) and 1 (100%) Frequently expressed as percentage, rather than decimal

第九章 多元回归与多项式回归

学习要求
了解多元回归、偏相关系数、通径分析、多项式回归的概念；理解多 元回归、多项式回归关系的显著性检验及准确度测定的意义；掌握正 规方程组求解求逆紧凑法的步骤及建立最优回归方程、通径分析方法。

重点与难点

重点：涉及本章统计量的含义，建立最优回归方程及通径分析方法 难点：求解求逆紧凑法的应用
（9—4）
（9—5）
3b1 5b2 26 例1． 5b1 2b2 18
3 2 5 3 2 5 当需要解三元或三元以上方程组时，则用以下计算方法。目前最为流行的是求 解求逆紧凑法。 2．消元法 消元法求解的原理是利用乘或除法使方程组中两方程式的同一项具 有相同的系数，然后将此两式相加或相减使该项系数为零，从而消去一元。逐次 消元，最后得一方程及各元之解（略）。
这些方程用矩阵的形式表示为：
10 7 4 7 7 3 4 3 4 b1 4 b 4 2 b3 3
a13 10 7 4 a 23 7 7 3 a 33 4 3 4
式中： l —变换的次数，a(l+1)—变换 l 次后的元素，a(l)—变换 l 次时的元素， k—每次变换的主行列标号，akk—变换行主单元的元素，i—元素a的行标，j—元 素a的列标。9.1式用于变换主行（k）主元素的变换；9.2式用于变换主行除主元 素外其它元素的变换；9.3式用于变换主列（k）除主元素外其它元素的变换； 9.4式用于除变换主行主列元素外其它各元素的变换。
2 2
b1
26 2 5 18
2
b2
3 18 5 26
4
以上两种方法都无求逆过程，而逆矩阵元素是偏回归系数显著性检验所不可缺 少的。故以上两种方法不常用。 3．矩阵法 正规方程组的求解可用矩阵法来进行。

多重共线性的处理方法
• • • • 剔除不重要的自变量； 增大样本容量； 把横截面数据与时间序列数据结合起来使用； 当样本资料来自时间序列时，可以对回归模型进 行差分，然后拟合差分后的模型； • 岭回归方法； • 主成分回归。
岭回归 自变量间存在多重共线性时
X 0,因此给 X 加上一个 k I(k 0), 那么 X X X k I接近奇异的程度会降低 X
K=0.02对应的岭回归方程为： import=-8.9277+0.057gdp+0.59542save+0.127consume 且三个变量的VIF都小于10，多重共线性不明显。
• • • • •
proc reg data=imports outest=result1 outvif; model import=gdp save consume/pcomit=1; run; proc print data=result1; 主成分回归 run;
2 ˆ ˆ 从而使 的方差阵 D ( ) （X ）1对角线上的元素很大， X ˆ 也 var( ) 很大 i
多重共线性的判断
（1）方差膨胀因子VIF：
1 VIFj 1 R2 j
其中R 2为第j个自变量对模型中其余自变量进行线性回 j 归所得到的拟合优度。
一般来说，VIFj 10，表明自变量间存在高度共线性。
outest=result：要求把岭回归估计值输出到数据集result中 Outvif: 要求把岭回归估计的VIF输出到数据集result中 ridge=0.0 to 0.1 by 0.01 0.2 0.3 0.4 0.5;指定一组岭迹参数 Plot/ridgeplot; 要求绘制岭迹图

x1, x2, , xn
因此干脆不把X看成随机变量，而将它当作 普通的变量。X的变化将使Y发生相应的变 化，但它们之间的变化是不确定的。由于Y 是随机变量 ，当X取得任一个可能的值x时， Y都相应地服从一定的概率分布。
10
设进行 n 次独立试验，测得试验数据如下表：
xபைடு நூலகம்
x1
x2
xn
y
y1
y2
yn
我们的问题是，如何根据这组观察值，用 “最佳”的形式来表达变量Y与x的相关关系？
比较合理的想法就是，取Xx时随机变量
Y的数学期望EY Xx 作为Xx时Y的估计值。
11
设Y的数学期望EY存在,其值随X的取值
而定，即Y的数学期望是x的函数。将这一函数
记为yx 或x，xEY Xx称为Y关于x
的回归函数。 为 此 ， 我 们 就 将 讨 论 Y 与 x的 相 关 关 系 的 问 题
转 换 为 讨 论 E Y x与 x的 函 数 关 系 了 。
由一个或一组非随机变量来估计或预测某 一个随机变量的观察值时所建立的数学模 型及所进行的统计分析称为回归分析
7
如果这个模型是线性的就称为线性回归分析 这种方法是处理变量间相关关系的有力工具，是
数理统计工作中一种常用的方法。它不仅告诉人 们怎样建立变量间的数学表达式，即经验公式， 而且还利用概率统计知识进行分析讨论，判断出 所建立的经验公式的有效性，从而可以进行预测 或估计。 本章主要介绍如何建立经验公式。
14
温度x(oc) 100 110 120 130 140 150 160 170 180 190 得率（%） 45 51 54 61 66 70 74 78 85 89
得率与温度关系的散点图 100 90 80 70 60 50 40