回归中异常值的残差诊断探讨
北方民族大学信息与计算科学学院 马耀兰 魏波
摘要：本文阐述了用残差进行诊断，主要包括：异常值的普通(非标准化)残差诊断、异常值的剔除残差诊断和异常值的学生化剔除残差诊断。对异常值的处理问题还进行了进一步的探讨，提出了处理异常值的一般性的理论和方法。 关键字：异常值；残差诊断 作者简介：
姓名：马耀兰，女，1981－，宁夏同心人，本科 北方民族大学信息与计算科学学院教师。魏波，男，1979－，宁夏银川人，本科，北方民族大学信息与计算科学学院教师 1 引言
回归分析是统计学中一个非常重要的分支,它在自然科学、管理科学和社会等领域应用十分广泛。在回归分析中的一个重要的假设是，使用的模型对所有的数据是适当的。在实际应用中通常会有个别案例观测值似乎与模型不相符，但模型拟合于大多数数据。其中不适合的个别案例就是我们所说的异常值。
对于异常值的来源通常有主观和客观两个原因。主观原因是由于人们在收集和记录数据的时候出现错误所造成的。这种异常值诊断出后处理很容易。客观原因是有两类机制所造成的，即重尾分布和混合分布，弄清这类异常值产生的原因很重要，因为这将直接影响后面数据的分析。例如：我们可以想象一个地质模型，其中异常值对应着石油储藏或其他有用特征的案例。它与大多数案例分析不一样，这样的异常值就成了分析目的。因此，对于异常值点不应该机械被删除或自动降低权重，因为他们不一定是坏的观测。相反，如果是准确的，就可能是数据中包含信息最多的值。 2异常值检验 2.1残差诊断
异常值的残差诊断是从直接反映拟合效果好坏的残差入手。常用的残差有：普通残差、预测残差、学生化残差、递归残差和不相关残差。在这里主要以一元线性回归模型为例，用普通残差、预测残差、学生化残差来进行异常值的检验。一元线性回归模型为：
),0(~210σεε
ββN X y ++= （2.1.1）
对于n 个观测点为n i y x i i ,...,2,1),
,(= 模型的最小二乘估计为：
n i x y i i ,...,2,1,^
1^
0^
=+=ββ （2.1.2）
2.1.1异常值的普通(非标准化)残差诊断
普通残差就是最小二乘残差，就是通过最小二乘回归后得到的残差，记为^
ε。第i 个样本观测值的普通残差为：^
^
i
i i y y -=ε
在古典线性回归模型的假设下，
n i N i ,...,2,1),,0(~2^
=σε 构造统计量：
^
~(2)i
t n S
ε- （2.1.1.1）
其中，
∑=-=n
j j
n S 1
^
22ε
为σ的最小二估计量。
在α-1的置信水平下，查t 分布表)2(2
-n t α，
凡满足S n t i )2(^
->αε的观测值就可以认为是异常值。在大样本的情况下，t 分布与正态分布十分接近，因此，也可以按照正态分布的σ3原则判断异常值。由普通残差的定义有：
n i L x h xx i ii i ,...,2,1)1()1()var(2
22^
=-=-=σσε。
其中，xx j i j n
j j xx L x x h x L )(,
1
2==
∑=，显然有：ii xx i xx j
j i j
ij h L x L x x h ===∑∑2
222)(
从上面可以看出普通残差^
i ε存在异方差问题，并且异方差大小取决于自变量i x 的数值，条件n i N i ,...,2,1),
,0(~2
^
=σε
很难满足。因此，用普通残差诊断异常值是不合适的，
它只能作为一个参考。 2.1.2异常值的删除残差诊断
在n 个样本观测值的情况下，每次有1n -个样本观测值进行回归分析，并用所得到的估计结果来预测省略的哪个样本值，这样就可以得到删除残差：
^**
i
i i
y y -=ε （2.1.2.1）
其中^*i
y 为n 个样本观测值中除去第i 样本观测值后得到的i y 的拟合值。在古典线形回归模型假设下，构造统计量： )2(~**-n t S i ε （2.1.2.2）
其中)2(])([
1
2**
-=∑=n S n
j j ε
。在α-1的置信水平下，查t 分布表)2(-n t α，凡是满足
**2(2)i t n S αε>-的观测值就可以认为是异常值。在大样本情况下，也可以按照正态分布
的σ3原则判断异常值。与普通残差相比，尽管删除残差也存在异方差问题：
)1()1)]([)]1)([)(22
***ii ii i ii i i h h Var h Var Var -=-=-=σεεε，但在诊断异常值时普通
残差要包括异常值在内的所有样本观测值来拟合获得，所以很难发现异常值。而删除残差用其他样本观测值来拟合获得，因而更容易发现异常值。 2.1.3异常值的学生化删除残差诊断
学生化删除残差是删除残差除以其估计标准差，记为*i r ，设去掉第i 个观测值的回归模型中的2
σ
的无偏估计为2
)(i S ，则第i 个观测值的学生化删除残差为：
1)(,*)(**==i i i i r Var S r ε （2.1.3.1）
此时，)3(~*-n t r i ，在α-1置信水平下查t 分布表得到)3(2-n t α，凡是满足
)3(2*->n t r i α的观测值就可以认为是异常值。当然在大样本情况下也可以用正态分布的σ3原则判断异常值。与删除残差相比，学生化删除残差不存在异方差问题。因此通过学生
化删除残差来诊断异常值更科学,更准确。
算例 智力测试数据：下表是教育学家测试的21个儿童的记录，其中X 是儿童的年龄（与月为单位），Y 表示某种智力指标，通过这些数据要建立智力随年龄变化的关系。先考虑其 线性模型。 表2.1
组数 1 2 3 4 5 6 7 8
9 10 x 15 26 10 9 15 20 18 11 8 20 y 95 71 83 91 102 87 93 100 104 94
组数 11 12 13 14 15 16 17 18 19 20 21 x 7 9 10 11 11 10 12 42 17 11 10 y 113 96 83 84 102 100 105 57 121 86 100
用SPSS 统计软件求的其线性回归方程为：
y=109.874 -1.127x
用SPSS 统计软件得到的残差图：
图2.1
图2.3 图2.4
上面的图分别是因变量与标准化残差（图2.1）、剔除残差（图2.2）、学生化残差（图2.3）、学生化剔除残差（图2.4）的散点图。
从上面4幅散点图可以看到，有一点残差远离0点，推断它可能是异常值。 同时用SPSS 统计软件可以求出它的各种残差、COOK 距离和高杆值见下表：
组数 RES_1 DRE_1 ZRE_1 SRE_1 SDR_1 COO_1 LEV_1 1 2.03099 2.133 0.18 0.19 0.18 0 0 2 -9.57213 -11.3 -0.9 -0.9 -0.9 0.08 0.11 3 -15.604 -16.6 -1.4 -1.5 -1.5 0.07 0.02 4 -8.73094 -9.39 -0.8 -0.8 -0.8 0.03 0.02 5 9.03099 9.486 0.82 0.84 0.83 0.02 0 6 -0.33406 -0.36 -0 -0 -0 0 0.03 7 3.41196 3.622 0.31 0.32 0.31 0 0.01 8 2.52304 2.675 0.23 0.24 0.23 0 0.01 9 3.14207 3.415 0.29 0.3 0.29 0 0.03 10 6.66594 7.188 0.6 0.63 0.62 0.02 0.03 11 11.01508 12.11 1 1.05 1.05 0.05 0.04 12 -3.73094 -4.01 -0.3 -0.4 -0.3 0 0.02 13 -15.604 -16.6 -1.4 -1.5 -1.5 0.07 0.02 14 -13.477 -14.3 -1.2 -1.3 -1.3 0.05 0.01 15 4.52304 4.795 0.41 0.42 0.41 0.01 0.01 16 1.39605 1.49 0.13 0.13 0.13 0 0.02 17 8.65003 9.126 0.78 0.81 0.8 0.02 0 18 -5.54031 -15.9 -0.5 -0.9 -0.8 0.68 0.6 19 30.28497 31.98 2.75 2.82 3.61 0.22 0.01 20 -11.477 -12.2 -1 -1.1 -1.1 0.03 0.01 21 1.39605 1.49 0.13 0.13 0.13 0 0.02
表2.2 其中：非标准化残差（RES_1）、剔除残差（DRE_1）、标准化残差（ZRE_1）、学生化残差（SRE_1）、学生化剔除残差（SDR_1）、COOK 距离（COO_1）、高杠杆值（LEV_1）。
取05.0=α对他们进行残差诊断，求得S=11.023，0.025(19) 2.093,t =因此有
0.025(19)22.476,S t ?=与普通残差相比只有第19组数据的残差为30.28497比
476.22)19(025.0=?t S 大，所以从异常值的普通残差(非标准化残差)诊断认为第6组数据为
异常值。
还可以算出249.12*
=S ，因此有*
0.025(19)25.637,S t ?=与预测残差(剔除残差)相比
只有第19组数据的残差为31.98，比637.25)19(025.0*=?t S 大, 从异常值的剔除残差诊断认为第19组数据为异常值。已知学生化剔除残差最大值是第19组数据的残差为3.61，大于
0.025(18) 2.101,t =而其他残差值小于101.2)18(025.0=t ，故从学生化剔除残差也可以认为第
19组数据为异常值。
从整个残差表中残差的值，可以看出除第19组数据外，其他数据用残差诊断都可以认为不是异常值，即只有第19组数据是异常值。第18组数据的残差相对较小，但其COOK 距离和高杠杆值均远远大于其他值（甚至是19组数据的值），所以第18组数据是一个影响很大的数据。因此，可以利用COOK距离和高杠杆值判断第18组据为高杠杆点。一般
h点，不一定有极大的异常值往往有极大的残差，而高杠杆点往往仅仅是对应于极端大的
ii
残差。
3 结论
3.1 异常值的处理
诊断出异常值后，就要进一步判断引起异常值的原因，通常引起异常值的原因有下面几条：
如果一个异常值的数据是准确的，但是找不到对它合理的解释，与剔除这个观测值相比，一个更稳健的方法就是抑制它的影响。
参考文献
[1] 《应用回归分析》何晓群刘文卿编著中国人民大学出版社2001
[2] 《线性回归模型引论》王松桂史建红等编科学出版社2005
[3] 《现代回归模型诊断》吴喜之田茂再编著中国统计出版社2003
[4] 《统计软件SPSS系列》苏金明傅荣华等编著电子工业出版社2002
第五章回归分析 §1.回归分析的数学模型 1.1.线性统计模型 1．线性回归方程 从一个简单的例子谈起。个人的消费水平Y与他的收入水平X间的关系，大体上可以描述：收入水平高，一般消费水平也高。但Y 和X绝不是简单的线性关系，这从常识便能判别；而且也不是一种确定的数学关系，两个收入水平完全一样的个人，他们的消费水平可能有很大的差异。比较合理的看法是：个人的消费水平Y是一个随机变量，从平均的意义上看，应与收入水平成正比。因此，我们可以给出以下模型： Y = b0 + b1X +ε (1) 其中b0，b1是待定常数，ε是随机变量，且有E(ε)=0，这样就能保证 E(Y) = b0 + b1X (2) 即从平均意义上Y和X线性相关。等式(2)称为变量Y对于变量X的线性回归方程。一般情况下，一个随机变量Y与变量X1,X2,…,X p有关系
Y = b0 + b1X1 + b2X2 + … + b p X p +ε (3) 随机变量ε的期望E(ε)=0,即有： E(Y) = b0+ b1X1 + b2X2+ … + b p X p (4) 从平均意义上，Y与X1,X2,…,X p呈线性关系。（4）式称为变量Y对于变量X1,X2,…,X p的线性回归方程，p=1时，称方程是一元的；p≥2时，称方程是多元的；b0,b1,…,b p称为回归系数。 2．统计模型的假设 设变量Y与X1,X2,…,X p之间有关系(3)，对（X1,X2,…,X p,Y）做n 次观察，得到一个容量为n的样本：（x i1,x i2, …,x i p,y i）i=1,2,…,n，按（4）式给出的关系，这些样本观察值应有： y1= b0+ b1x11+ b2x12 + … + b p x1p+ε1 y2= b0+ b1x21+ b2x22 + … + b p x2p+ε2 (5) ………………………………… y n= b0+ b1x n1+ b2x n2 + … + b p x n p+εn 其中的εi, i=1,2,…,n是随机误差，出于数学上推导的需要，假设：1）E(εi)=0，i=1,2,…,n.即观察结果没有系统误差； 2）Var(εi)=σ2，i=1,2,…,n.这个性质叫做方差齐性；
所属章节： 第五章相关分析与回归分析 1■在线性相关中，若两个变量的变动方向相反，一个变量的数值增加，另一个变量数值随之减少，或一个变量的数值减少，另一个变量的数值随之增加，则称为（）。 答案： 负相关。干扰项： 正相关。干扰项： 完全相关。干扰项： 非线性相关。 提示与解答： 本题的正确答案为： 负相关。 2■在线性相关中，若两个变量的变动方向相同，一个变量的数值增加，另一个变量数值随之增加，或一个变量的数值减少，另一个变量的数值随之减少，则称为（）。 答案： 正相关。干扰项： 负相关。干扰项： 完全相关。干扰项： 非线性相关。 提示与解答：
本题的正确答案为： 正相关。 3■下面的xx中哪一个是错误的（）。 答案： 相关系数不会取负值。干扰项： 相关系数是度量两个变量之间线性关系强度的统计量。干扰项： 相关系数是一个随机变量。干扰项： 相关系数的绝对值不会大于1。 提示与解答： 本题的正确答案为： 相关系数不会取负值。 4■下面的xx中哪一个是错误的（）。 答案： 回归分析中回归系数的显著性检验的原假设是： 所检验的回归系数的真值不为0。 干扰项： 相关系数显著性检验的原假设是： 总体中两个变量不存在相关关系。 干扰项： 回归分析中回归系数的显著性检验的原假设是：
所检验的回归系数的真值为0。 干扰项： 回归分析中多元线性回归方程的整体显著性检验的原假设是： 自变量前的偏回归系数的真值同时为0。 提示与解答： 本题的正确答案为： 回归分析中回归系数的显著性检验的原假设是： 所检验的回归系数的真值不为0。 5■根据你的判断，下面的相关系数值哪一个是错误的（）。 答案： 1.25。干扰项：-0.86。干扰项： 0.78。干扰项：0。 提示与解答： 本题的正确答案为： 1.25。 6■下面关于相关系数的陈述中哪一个是错误的（）。 答案： 数值越大说明两个变量之间的关系越强，数值越小说明两个变量之间的关系越弱。 干扰项：
回归模型的残差分析 山东胡大波 判断回归模型的拟合效果是回归分析的重要内容，在回归分析中，通常用残差分析来判断回归模型的拟合效果。下面具体分析残差分析的途径及具体例子。 一、残差分析的两种方法 1、差分析的基本方法是由回归方程作出残差图，通过观测残差图，以分析和发现观测数据中可能出现的错误以及所选用的回归模型是否恰当；在残差图中，残差点比较均匀地落在水平区域中，说明选用的模型比较合适，这样的带状区域的宽度越窄，说明模型的拟合精度越高，回归方程的预报精度越高。 2、可以进一步通过相关指数 ∑ ∑ = = - - - = n i i n i i i y y y y R 1 2 1 2 ^ 2 ) ( ) ( 1来衡量回归模型的拟合效果，一般规律是2 R越大，残差平方和就越小，从而回归模型的拟合效果越好。 二、典例分析： 例1、某运动员训练次数与运动成绩之间的数据关系如下： 次数/x 30 33 35 37 39 44 46 50 成绩/y 30 34 37 39 42 46 48 51 试预测该运动员训练47次以及55次的成绩。 解答：（1）作出该运动员训练次数x与成绩y之间的散点图，如图1所示，由散点图可知，它们之间具有线性相关关系。 次数 i x 成绩 i y2 i x2 i y i x i y 30 30 900 900 900 33 34 1089 1156 1122 35 37 1225 1369 1295 37 39 1369 1521 1443 39 42 1521 1764 1638 44 46 1936 2116 2024 46 48 2116 2304 2208
残差分析的相关概念辨析及应用 在研究两个变量间的关系时，首先要根据散点图来粗略判断它们是否线性相关，是否可以用线性回归模型来拟合数据．然后，可以通过残差^ ^2^1,,,n e e e 来判断模型拟合的效果，判断原始数据中是否存在可疑数据．这方面的分析工作称为残差分析.残差分析一般有两种方法:(1)作残差图；（2）利用相关指数R 2来刻画回归效果. .,,2,1,^^^^n i a x b y y y e i i i i i ^ i e 称为相应于点(x i ，y i )的残差．类比 样本方差估计总体方差的思想，可以用)2)(,(2121^^ 1 ^2^2 n b a Q n e n n i i 作 为σ2 的估计量，其中^a 和^b 由公式x b y a ^^ , n i i n i i i x x y y x x b 1 2 1 ^ )() )((给出，Q(^ a ， ^ b )称为残差平方和.可以用^ 2 衡量回归方程的预报精度．通常，^ 2 越小，预报 精度越高． 例1．设变量x,y 具有线性相关关系，试验采集了5组数据，下列几个点对应数据的采集可能有错误的是( ) A 点A B.点 B C.点 C D.点E 思路与技巧 由散点图判断出，点A,B,C,D,F 呈线性分布，E 点远离这个区域，说明点E 数据有问题． 解答D 评析 可以用Excel 画散点图，样本的散点图可以形象的展示两个变量的关系，画散点图的目的是用来确定回归模型的形式，若散点图呈条状分布，则x 与y 有较好的线性相关关系，散点图除了条状分布，还有其他形状的分布．
例2．为研究重量x(单位：克)对弹簧长度y(单位：厘米)的影响，对不同重量的6根弹簧进行测量，得如下数据： (1)画出散点图． (2)如果散点图中的各点大致分布在一条直线的附近，求y与x之间的回归直线方程． (3)求出残差，进行残差分析． 思路与技巧可以用Excel画散点图，由散点图发现x与y是否呈线性分布，由此判断x与y之间是否有较好的线性相关关系，若有，求出线性回归方程，再画出残差图，进行残差分析． 解答 (1)由Excel表格画散点图如图 (2)设y?=bx+a是线性回归直线方程，
回归模型的残差分析 山东 胡大波 判断回归模型的拟合效果是回归分析的重要内容，在回归分析中，通常用残差分析来判断回归模型的拟合效果。下面具体分析残差分析的途径及具体例子。 一、 残差分析的两种方法 1、差分析的基本方法是由回归方程作出残差图，通过观测残差图，以分析和发现观测数据中可能出现的错误以及所选用的回归模型是否恰当；在残差图中，残差点比较均匀地落在水平区域中，说明选用的模型比较合适，这样的带状区域的宽度越窄，说明模型的拟合精度越高，回归方程的预报精度越高。 2、可以进一步通过相关指数∑∑==--- =n i i n i i i y y y y R 1 2 1 2 ^ 2 )()(1来衡量回归模型的拟合效果，一般 规律是2 R 越大，残差平方和就越小，从而回归模型的拟合效果越好。 二、 典例分析： 例1、某运动员训练次数与运动成绩之间的数据关系如下： 试预测该运动员训练47次以及55次的成绩。 解答：（1）作出该运动员训练次数x 与成绩y 之间的散点图，如图1所示，由散点图可 知，它们之间具有线性相关关系。 （2）列表计算： 由上表可求得875.40,25.39==y x ， 126568 1 2 =∑=i i x ，137318 1 2=∑=i i y ，
131808 1 =∑=i i i y x ，所以∑∑==---= 8 1 2 8 1 )() )((i i i i i x x y y x x β.0415.188 1 2 28 1≈--= ∑∑==i i i i i x x y x y x 00302.0-≈-=x y βα，所以回归直线方程为.00302.00415.1^ -=x y （3）计算相关系数 将上述数据代入∑∑∑===---= 8 1 8 1 2 22 2 8 1 ) 8)(8(8i i i i i i i y y x x y x y x r 得992704.0=r ，查表可知 707.005.0=r ，而05.0r r >，故y 与x 之间存在显着的相关关系。 （4）残差分析： 作残差图如图2，由图可知，残差点比较均匀地分布在水平带状区域中，说明选用的模型比较合适。 计算残差的方差得884113.02 =σ ，说明预报的精度较高。 （5）计算相关指数2 R 计算相关指数2 R ＝0.9855.说明该运动员的成绩的差异有98.55％是由训练次数引起的。 （6）做出预报 由上述分析可知，我们可用回归方程 .00302.00415.1^ -=x y 作为该运动员成绩的预报值。 将x ＝47和x ＝55分别代入该方程可得y ＝49和y ＝57， 故预测运动员训练47次和55次的成绩分别为49和57. 点评：一般地，建立回归模型的基本步骤为： （1）确定研究对象，明确哪个变量是解释变量，哪个变量是预报变量； （2）画出确定好的解释变量和预报变量的散点图，观察它们之间的关系（如是否存在线性关系等）； （3）由经验确定回归方程的类型（如我们观察到数据呈线性关系，则选用线性回归方程y ＝bx ＋a ）； （4）按一定规则估计回归方程中的参数（如最小二乘法）； （5）得出结果后分析残差图是否有异常（个别数据对应残差过大，或残差呈现不随机的规律性等等），若存在异常，则检查数据是否有误，或模型是否合适等。 例2、某城区为研究城镇居民月家庭人均生活费支出和月人均收入的相关关系，随机抽取
应用回归分析例库封面
一、案例背景 文章通过分阶段建立多元线性回归模型，分析了改革开放32年来民航客运量与相关因素之间的关系。结果表明：在不同历史阶段影响民航客运量的因素有所不同，并且从经济学角度对所建立的模型给出了合理的解释。 二、数据介绍 数据来自《新中国五十五年统计资料汇编》和《中国统计年鉴2010》。 三、分析过程 根据以上的分析，自改革开放以来，将中国民航客运量的增长趋势分为三个阶段，这里还有一个问题，就是年段的划分选在何处会更合理呢？对于这个问题，我们主要依据表2中分段回归拟合的残差平方和的大小，同时结合自变量选择时考虑的诸多因素做适当调整。 下面分阶段建立因变量y 关于自变量的各种组合的回归方程，这种组合方程共有 12552131555 C C C +++=-=个，根据自变量的选择准则，从中选择最优回归方程。 3.1 第一阶段：1978~1988年最优回归模型 经过比较，在通过回归方程和回归系数的显著性检验的方程中（取显著性水平0.05α=），发现表3中的两个模型最优。 由表3可见，模型一的各项指标都优于模型二，但是模型一中2x 的系数-0.290602β=<， 与实际意义不符，最终消费与民航客运量应该正相关。模型二中3x 的系数-0.008703β=<，与实际意义相符合，铁路客运量与民航客运量应该负相关，出现与实际意义不符的情况可能是由变量间的多重共线性造成的，为此考察其它几项指标，见表4. 表3 两个最优回归模型比较 模型 1978~1988年拟合回归方程 标准残差 复相关系数 PRESS AIC 模型一 721.0010-0.29060.690225 y x x =+ 41.91 0.9920 26372.68 111.0539 模型二 837.1212-0.00870.517435 y x x =+ 46.03 0.9904 52010.33 113.1177 表4 多重共线性、异常值诊断 模型 方差扩大因子 绝对值最大的删除学生化残差SRE 最大库克距离 最大杠杆值 模型一 27.9371025VIF VIF ==> 2.60473< 0.57970.5> 0.45162ch > 模型二 4.9581035VIF VIF ==< 2.6833< 0.42700.5< 0.33642ch < 从表4可见，模型一的自变量间存在严重的多重共线性，而且存在异常值点，模型二的自变量间不存在多重共线性，而且没有异常值点。为了进一步考察模型二的拟合效果，做残
3.1 第二课时 残差分析及回归模型的选择 一、课前准备 1.课时目标 (1) 了解残差分析回归效果； (2) 了解相关指数2R 分析回归效果； (3) 了解常见的非线性回归转化为线性回归的方法. 2.基础预探 1.在线性回归模型y bx a e =++中，a b 和为模型的未知参数，e y 是与y bx a =+之间的误差，通常ｅ为随机变量，称为_______.它的均值E(ｅ)＝0，方差2 ()0D e σ=>. 线性回归模型的完整表达形式为2 ()0,()y bx a e E e D e σ=++??==? .在此模型中，随机误差ｒ的方差2 σ越小，通过回归直线y bx a =+预报真实值ｙ的精度越高. 2.对于样本点1122(,),(,), ,(,)n n x y x y x y 而言，相应于它们的随机误差为 (1,2,,)i i i i e y y y bx a i n =-=--=，其估计值为(1,2, ,)i i i i i e y y y bx a i n =-=--=， i e 称为相应于点(,)i i x y 的______.类比样本方差估计总体方差的思想，可以用 2 1 (,)2 Q a b n σ= -(ｎ＞2)作为2σ的估计量，其中a b 和由公式给出，()Q a b ,称为残差平方和.可以用2 σ衡量回归直线方程的预报精度.通常2 σ越小，预报精度越高. 3.在研究两个变量间的关系时，首先要根据散点图来粗略判断它们是否线性相关，是否可以用线性回归模型来拟合数据.然后，可以通过残差12,, n e e e 来判断模型拟合的效果，判断 原始数据中是否存在可疑数据.这方面的分析工作称为_______. 4.用相关指数2 R 来刻画回归的效果，其计算公式是：2 2 12 1 () 1() n i i n i i y y R y y ==-=- -∑∑.显然2 R 取值 越大，意味着残差平方和_______，也就是说模型的拟合效果________. 二、学习引领 1. 进行回归分析的步骤是什么？ (1)确定研究对象，明确是哪两个变量之间的相关关系. (2)画出散点图，观察它们之间的关系是否存在线性关系，也可计算变量间的线性相关系数的值来精确判断它们之间是否存在相关关系.如果不存在线性相关关系，判断散点图是否存在非线性相关关系.
第八章 回归分析方法 当人们对研究对象的内在特性和各因素间的关系有比较充分的认识时，一般用机理分析方法建立数学模型。如果由于客观事物内部规律的复杂性及人们认识程度的限制，无法分析实际对象内在的因果关系，建立合乎机理规律的数学模型，那么通常的办法是搜集大量数据，基于对数据的统计分析去建立模型。本章讨论其中用途非常广泛的一类模型——统计回归模型。回归模型常用来解决预测、控制、生产工艺优化等问题。 变量之间的关系可以分为两类：一类叫确定性关系，也叫函数关系，其特征是：一个变量随着其它变量的确定而确定。另一类关系叫相关关系，变量之间的关系很难用一种精确的方法表示出来。例如，通常人的年龄越大血压越高，但人的年龄和血压之间没有确定的数量关系，人的年龄和血压之间的关系就是相关关系。回归分析就是处理变量之间的相关关系的一种数学方法。其解决问题的大致方法、步骤如下： （1）收集一组包含因变量和自变量的数据； （2）选定因变量和自变量之间的模型，即一个数学式子，利用数据按照最小二乘准则计算模型中的系数； （3）利用统计分析方法对不同的模型进行比较，找出与数据拟合得最好的模型； （4）判断得到的模型是否适合于这组数据； （5）利用模型对因变量作出预测或解释。 应用统计分析特别是多元统计分析方法一般都要处理大量数据，工作量非常大，所以在计算机普及以前，这些方法大都是停留在理论研究上。运用一般计算语言编程也要占用大量时间，而对于经济管理及社会学等对高级编程语言了解不深的人来说要应用这些统计方法更是不可能。MA TLAB 等软件的开发和普及大大减少了对计算机编程的要求，使数据分析方法的广泛应用成为可能。MATLAB 统计工具箱几乎包括了数理统计方面主要的概念、理论、方法和算法。运用MA TLAB 统计工具箱，我们可以十分方便地在计算机上进行计算，从而进一步加深理解，同时，其强大的图形功能使得概念、过程和结果可以直观地展现在我们面前。本章内容通常先介绍有关回归分析的数学原理，主要说明建模过程中要做的工作及理由，如模型的假设检验、参数估计等，为了把主要精力集中在应用上，我们略去详细而繁杂的理论。在此基础上再介绍在建模过程中如何有效地使用MA TLAB 软件。没有学过这部分数学知识的读者可以不深究其数学原理，只要知道回归分析的目的，按照相应方法通过软件显示的图形或计算所得结果表示什么意思，那么，仍然可以学到用回归模型解决实际问题的基本方法。包括：一元线性回归、多元线性回归、非线性回归、逐步回归等方法以及如何利用MATLAB 软件建立初步的数学模型，如何透过输出结果对模型进行分析和改进，回归模型的应用等。 8.1 一元线性回归分析 回归模型可分为线性回归模型和非线性回归模型。非线性回归模型是回归函数关于未知参数具有非线性结构的回归模型。某些非线性回归模型可以化为线性回归模型处理；如果知道函数形式只是要确定其中的参数则是拟合问题，可以使用MATLAB 软件的curvefit 命令或nlinfit 命令拟合得到参数的估计并进行统计分析。本节主要考察线性回归模型。 8.1.1 一元线性回归模型的建立及其MATLAB 实现 01y x ββε=++ 2~(0,)N εσ 其中01ββ，是待定系数，对于不同的,x y 是相互独立的随机变量。
回归模型的残差分析 判断回归模型的拟合效果是回归分析的重要内容，在回归分析中，通常用残差分析来判断回归模型的拟合效果。下面具体分析残差分析的途径及具体例子。 一、残差分析的两种方法 1、差分析的基本方法是由回归方程作出残差图，通过观测残差图， 以分析和发现观测数据中可能出现的错误以及所选用的回归模型是否恰当；在残差图中，残差点比较均匀地落在水平区域中，说明选用的模型比较合适，这样的带状区域的宽度越窄，说明模型的拟合精度越高，回归方程的预报精度越高。 2、可以进一步通过相关指数 ∑ ∑ = = - - - = n i i n i i i y y y y R 1 2 1 2 ^ 2 ) ( ) ( 1来衡量回归模型的拟合效果，一般规律是2 R越大，残差平方和就越小，从而回归模型的拟合效果越好。 二、典例分析： 例1、某运动员训练次数与运动成绩之间的数据关系如下： 试预测该运动员训练47次以及55次的成绩。 解答：（1）作出该运动员训练次数x与成绩y之间的散点图，如图1所示，由散点图可知，它们之间具有线性相关关系。 （2）列表计算：
由上表可求得875.40,25.39==y x ， 126568 1 2=∑=i i x ，137318 1 2=∑=i i y ， 131808 1 =∑=i i i y x ，所以∑∑==---= 8 1 2 8 1 )() )((i i i i i x x y y x x β.0415.188 1 2 28 1≈--= ∑∑==i i i i i x x y x y x 00302.0-≈-=x y βα，所以回归直线方程为.00302.00415.1^ -=x y （3）计算相关系数 将上述数据代入∑∑∑===---= 8 1 8 1 2 22 2 8 1 ) 8)(8(8i i i i i i i y y x x y x y x r 得992704.0=r ，查表可知 707.005.0=r ，而05.0r r >，故y 与x 之间存在显著的相关关系。 （4）残差分析： 作残差图如图2，由图可知，残差点比较均匀地分布在水平带状区域中，说明选用的模型比较合适。
第八章回归分析方法 当人们对研究对象的内在特性和各因素间的关系有比较充分的认识时，一般用机理分析方法建立数学模型。如果由于客观事物内部规律的复杂性及人们认识程度的限制，无法分析实际对象内在的因果关系，建立合乎机理规律的数学模型，那么通常的办法是搜集大量数据，基于对数据的统计分析去建立模型。本章讨论其中用途非常广泛的一类模型——统计回归模型。回归模型常用来解决预测、控制、生产工艺优化等问题。 变量之间的关系可以分为两类：一类叫确定性关系，也叫函数关系，其特征是：一个变量随着其它变量的确定而确定。另一类关系叫相关关系，变量之间的关系很难用一种精确的方法表示出来。例如，通常人的年龄越大血压越高，但人的年龄和血压之间没有确定的数量关系，人的年龄和血压之间的关系就是相关关系。回归分析就是处理变量之间的相关关系的一种数学方法。其解决问题的大致方法、步骤如下： （1）收集一组包含因变量和自变量的数据； （2）选定因变量和自变量之间的模型，即一个数学式子，利用数据按照最小二乘准则计算模型中的系数； （3）利用统计分析方法对不同的模型进行比较，找出与数据拟合得最好的模型； （4）判断得到的模型是否适合于这组数据； （5）利用模型对因变量作出预测或解释。 应用统计分析特别是多元统计分析方法一般都要处理大量数据，工作量非常大，所以在计算机普及以前，这些方法大都是停留在理论研究上。运用一般计算语言编程也要占用大量时间，而对于经济管理及社会学等对高级编程语言了解不深的人来说要应用这些统计方法更是不可能。MATLAB等软件的开发和普及大大减少了对计算机编程的要求，使数据分析方法的广泛应用成为可能。MATLAB统计工具箱几乎包括了数理统计方面主要的概念、理论、方法和算法。运用MATLAB统计工具箱，我们可以十分方便地在计算机上进行计算，从
第三章相关分析与回归模型的建立与分析相关分析和回归分析是统计分析方法中最重要内容之一，是多元统计分析方法的 基础。相关分析和回归分析主要用于研究和分析变量之间的相关关系，在变量之间寻求合适的函数关系式，特别是线性表达式。 ◆本章主要内容： 1、对变量之间的相关关系进行分析（Correlate）。其中包括简单相关分析 （Bivariate）和偏相关分析（Partial）。 2、建立因变量和自变量之间回归模型（Regression），其中包括线性回归分析 （Linear）和曲线估计（Curve Estimation）。 ◆数据条件：参与分析的变量数据是数值型变量或有序变量。 §3.1 相关分析 在SPSS中，可以通过Analyze菜单进行相关分析（Correlate），Correlate菜单如图3.1所示。 图3.1 Correlate 相关分析菜单 §3.1.1 简单相关分析 两个变量之间的相关关系称简单相关关系。有两种方法可以反映简单相关关系。一是通过散点图直观地显示变量之间关系，二是通过相关系数准确地反映两变量的关系程度。 §3.1.1.1 散点图 SPSS软件的绘图命令集中在Graphs菜单。下面通过例题来介绍具体操作方法。
例1：数据库SY-8中的变量X表示山东省人均国内生产总值，Y表示山东省城镇居民的消费额（资料来源：山东省2003年统计年鉴），现画出散点图来观察两个变量的关联程度。具体操作步骤如下： 首先打开数据SY-8，然后单击Graphs Scatter,打开Scatter plot散点图对话框，如图3.2所示。然后选择需要的散点图，图中的四个选项依次是： Simple 简单散点图Matrix 矩阵散点图 Overlay 重叠散点图3-D 三维散点图 图3.2 散点图对话框 如果只考虑两个变量，可选择简单的散点图Simple，然后点击Define，打开Simple Scatterplot对话框,如图3.3所示。 图3.3 Simple Scatterplot对话框 选择变量分别进入X轴和Y轴，点击OK后就可以得到散点图，见图3.4。 从下面输出的人均国内生产总值与城镇居民消费额的散点图3.4中可以粗略地看出，两个变量之间有强正相关的线性关系。
第五章 回归分析 一、填空题 1、一元线性回归分析的数学模型为 。 2、多元线性回归模型=+Y βX ε中，β的最小二乘估计?β 的协方差矩阵?β Cov()=_______ . 解：1?σ-'2Cov(β)=()X X ． 3、为了估计山上积雪溶化后对河流下游灌溉的影响，在山上建立观测站，测得连续10年的观测数据如下表（见表3）。 表3 最大积雪深度与灌溉面积的10年观测数据 则y 关于x 的线性回归模型为 答案： x y 813.1356.2?+= 4、多元线性回归模型=+Y βX ε中，β的最小二乘估计是?β= _______ . 解：1?-''X Y β= ()X X ． 5、设由一组观测数据（i i y x ,）(i =1,2,…,n )计算得200,150==y x ， 25)(1 2 =-=∑=n i i xx x x l ，∑==--=n i i i xy y y x x l 1 75))((则y 对x 的线性回归方程 为 .
二、简述题 1、回归分析是什么样的一种数学方法？它可以解决什么样的问题？ 2、多元线性回归分析的数学模型是什么？ 3、一元线性回归分析中检验变量之间有没有线性关系常用的方法有哪几个？ 4、线性回归分析的主要内容及应用中注意的问题。 5、如何看待多元统计方法在实际数据处理中的作用与地位。 6、试简要论述线性回归分析包括哪些内容或步骤． 解：建立模型、参数估计、回归方程检验、回归系数检验、变量剔除、预测． 三、单选题 1、在一元回归分析中，判定系数定义为2T S R S = 回 ，则（ ）. A 2R 接近0时回归效果显著； B 2R 接近1时回归效果显著； C 2R 接近∞时回归效果显著； D 前述都不对. 2、在回归分析中，t 检验主要是用来检验( ) A.回归系数的显著性 B.线性关系的显著性 C.相关系数的显著性 D.估计标准误差的显著性 3、设有一组观测数据(x i ,y i )，i =1，2，…，n ,其散点图呈线性趋势，若要拟合一 元线性回归方程x y 1 0???ββ+=，且n i x y i i ,,2,1,???10 =+=ββ，则估计参数β0，β1时应使（ ） A ．∑=-n i i i y y 1)(最小 B ．∑=-n i i i y y 1)(最大 C ．∑=-n i i i y y 1 )?(2 最小 D ．∑=-n i i i y y 1 )?(2最大 四、计算题 1、为研究家庭收入X （元）和食品支出Y （元）关系，随机抽取了12个家庭的样本，得到数据如下表
所属章节：第五章相关分析与回归分析 1■在线性相关中，若两个变量的变动方向相反，一个变量的数值增加，另一个变量数值随之减少，或一个变量的数值减少，另一个变量的数值随之增加，则称为（）。 答案：负相关。干扰项：正相关。干扰项：完全相关。干扰项：非线性相关。 提示与解答：本题的正确答案为：负相关。 2■在线性相关中，若两个变量的变动方向相同，一个变量的数值增加，另一个变量数值随之增加，或一个变量的数值减少，另一个变量的数值随之减少，则称为（）。 答案：正相关。干扰项：负相关。干扰项：完全相关。干扰项：非线性相关。 提示与解答：本题的正确答案为：正相关。 3■下面的陈述中哪一个是错误的（）。 答案：相关系数不会取负值。干扰项：相关系数是度量两个变量之间线性关系强度的统计量。干扰项：相关系数是一个随机变量。干扰项：相关系数的绝对值不会大于1。 提示与解答：本题的正确答案为：相关系数不会取负值。 4■下面的陈述中哪一个是错误的（）。 答案：回归分析中回归系数的显著性检验的原假设是：所检验的回归系数的真值不为0。 干扰项：相关系数显著性检验的原假设是：总体中两个变量不存在相关关系。 干扰项：回归分析中回归系数的显著性检验的原假设是：所检验的回归系数的真值为0。 干扰项：回归分析中多元线性回归方程的整体显著性检验的原假设是：自变量前的偏回归系数的真值同时为0。 提示与解答：本题的正确答案为：回归分析中回归系数的显著性检验的原假设是：所检验的回归系数的真值不为0。 5■根据你的判断，下面的相关系数值哪一个是错误的（）。 答案：1.25。干扰项：-0.86。干扰项：0.78。干扰项：0。 提示与解答：本题的正确答案为：1.25。 6■下面关于相关系数的陈述中哪一个是错误的（）。 答案：数值越大说明两个变量之间的关系越强，数值越小说明两个变量之间的关系越弱。 干扰项：仅仅是两个变量之间线性关系的一个度量，不能直接用于描述非线性关系。 干扰项：只是两个变量之间线性关系的一个度量，不一定意味着两个变量之间存在因果关系。 干扰项：绝对值不会大于1。 提示与解答：本题的正确答案为：数值越大说明两个变量之间的关系越强，数值越小说明两个变量之间的关系越弱。 7■如果相关系数r=0，则表明两个变量之间（）。 答案：不存在线性相关关系。干扰项：相关程度很低。 干扰项：不存在任何关系。干扰项：存在非线性相关关系。 提示与解答：本题的正确答案为：不存在线性相关关系。 8■在线性回归模型中，随机误差项ε被假定服从（）。 答案：正态分布。干扰项：二项分布。干扰项：指数分布。干扰项：t分布。提示与解答：本题的正确答案为：正态分布。
回归模型的残差阐发 令狐采学 山东 胡年夜波 判断回归模型的拟合效果是回归阐发的重要内容，在回归阐发中，通经常使用残差阐发来判断回归模型的拟合效果。下面具体阐发残差阐发的途径及具体例子。 一、残差阐发的两种办法 1、差阐发的基本办法是由回归方程作出残差图，通过观测残差图，以阐发和发明观测数据中可能呈现的毛病以及所选用的回归模型是否恰当；在残差图中，残差点比较均匀地落在水平区域中，说明选用的模型比较合适，这样的带状区域的宽度越窄，说明模型的拟合精度越高，回归方程的预报精度越高。 2、可以进一步通过相关指数∑∑==--- =n i i n i i i y y y y R 1 2 1 2^ 2)()(1来衡量回归模型 的拟合效果，一般规律是2R 越年夜，残差平方和就越小，从而回归模型的拟合效果越好。 二、典例阐发： 例1、某运带动训练次数与运动成果之间的数据关系如下： 试预测该运带动训练47次以及55次的成果。 解答：（1）作出该运带动训练次数x 与成果y 之间的散点图，
如图1所示，由散点图可 知，它们之间具有线性相关关系。 （2）列表计算： 由上表可求得875.40,25.39==y x ，126568 1 2=∑=i i x ，137318 1 2=∑=i i y ， 13180 8 1 =∑=i i i y x ，所以∑∑==---= 8 1 2 8 1 )() )((i i i i i x x y y x x β.0415.1881 2 2 8 1≈--= ∑∑==i i i i i x x y x y x 00302.0-≈-=x y βα，所以回归直线方程为.00302.00415.1^ -=x y （3）计算相关系数 将上述数据代入∑∑∑===---= 8 1 8 1 2 2 2 28 1 ) 8)(8(8i i i i i i i y y x x y x y x r 得992704.0=r ，查表可知 707.005.0=r ，而05.0r r >，故 y 与x 之间存在显著的相关关系。 （4）残差阐发： 作残差图如图2，由图可知，残差点比较均匀地散布在水平带状区域中，说明选用的模型比较合适。 计算残差的方差得884113.02=σ，说明预报的精度较高。
线性回归分析的数学模型 摘要 在实际问题中常常遇到简单的变量之间的关系，我们会遇到多个变量同处于一个过程之中，它们之间互相联系、互相制约．这些问题中最简单的是线性回归．线性回归分析是对客观事物数量关系的分析，是一种重要的统计分析方法，被广泛的应用于社会经济现象变量之间的影响因素和关联的研究．由于客观事物的联系错综复杂经济现象的变化往往用一个变量无法描述，故本篇论文在深入分析一元线性回归及数学模型的情况下，又详细地介绍了多元线性回归方程的参数估计和其显著性检验等．全面揭示了这种复杂的依存关系，准确测定现象之间的数量变动．以提高预测和控制的准确度． 本文中详细的阐述了线性回归的定义及其线性模型的简单分析并应用了最小二乘法原理．具体介绍了线性回归分析方程参数估计办法和其显著性检验．并充分利用回归方程进行点预测和区间预测． 但复杂的计算给分析方法推广带来了困难，需要相应的操作软件来计算回归分析求解操作过程中的数据．以提高预测和控制的准确度．从而为工农业生产及研究起到强有力的推动作用． 关键词：线性回归；最小二乘法；数学模型 目录 第一章前言 (1)
第二章线性模型 (2) 第一节一元线性模型 (2) 第二节多元线性模型 (4) 第三章参数估计 (5) 第一节一元线性回归方程中的未知参数的估计 (5) 第二节多元线性回归模型的参数估计 (8) 第四章显著性检验 (13) 第一节一元线性回归方程的显著性检验 (13) 第二节多元线性回归方程的显著性检验 (20) 第五章利用回归方程进行点预测和区间预测 (21) 第六章总结 (26) 致谢 (27) 参考文献………………………………………………………………………… 第一章前言 回归分析是对客观事物数量依存关系的分析．是数理统计中的一个常用的方法．是处理多个变量之间相互关系的一种数学方法． 在现实世界中，我们常与各种变量打交道，在解决实际问题过程中，我们常常会遇到多个变量同处于一个过程之中，它们之间互相联系、互相制约．常见的关系有两种：一类为“确定的关系”即变量间有确定性关系，其关系可用函数表达式表示．例如：路程s,时间t,与速度v之间有关系式：s=vt 在圆体给与半径r之间有关系式v= 另外还有一些变量．他们之间也有一定的关系，然而这种关系并不完全确定，不能用函数的形式来表达，在这种
第五章离散选择模型 在初级计量经济学里，我们已经学习了解释变量是虚拟变量的情况，除此之外，在实际问题中，存在需要人们对决策与选择行为的分析与研究，这就是被解释变量为虚拟变量的情况。我们把被解释变量是虚拟变量的线性回归模型称为离散选择模型，本章主要介绍这一类模型的估计与应用。 本章主要介绍以下内容： 1、为什么会有离散选择模型。 2、二元离散选择模型的表示。 3、线性概率模型估计的缺陷。 4、Logit模型和Probit模型的建立与应用。 第一节模型的基础与对应的现象 一、问题的提出 在研究社会经济现象时，常常遇见一些特殊的被解释变量，其表现是选择与决策问题，是定性的，没有观测数据所对应；或者其观测到的是受某种限制的数据。 1、被解释变量是定性的选择与决策问题，可以用离散数据表示，即取值是不连续的。例如，某一事件发生与否，分别用1和0表示；对某一建议持反对、中立和赞成5种观点，分别用0、1、2表示。由离散数据建立的模型称为离散选择模型。 2、被解释变量取值是连续的，但取值的范围受到限制，或者将连续数据转化为类型数据。例如，消费者购买某种商品，当消费者愿意支付的货币数量超过该商品的最低价值时，则表示为购买价格；当消费者愿意支付的货币数量低于该商品的最低价值时，则购买价格为0。这种类型的数据成为审查数据。再例如，在研究居民储蓄时，调查数据只有存款一万元以上的帐户，这时就不能以此代表所有居民储蓄的情况，这种数据称为截断数据。这两种数据所建立的模型称为受限被解释变量模型。有的时候，人们甚至更愿意将连续数据转化为上述类型数据
来度量，例如，高考分数线的设置，就把高出分数线和低于分数线划分为了两类。 下面是几个离散数据的例子。 例5.1 研究家庭是否购买住房。由于，购买住房行为要受到许多因素的影响，不仅有家庭收入、房屋价格，还有房屋的所在环境、人们的购买心理等，所以人们购买住房的心理价位很难观测到，但我们可以观察到是否购买了住房，即 1,0Y ?=??购买，不购买 我们希望研究买房的可能性，即概率(1)P Y =的大小。 例5.2 分析公司员工的跳槽行为。员工是否愿意跳槽到另一家公司，取决于薪资、发展潜力等诸多因素的权衡。员工跳槽的成本与收益是多少，我们无法知道，但我们可以观察到员工是否跳槽，即 1,0Y ?=??跳槽，不跳槽 例5.3 对某项建议进行投票。建议对投票者的利益影响是无法知道的，但可以观察到投票者的行为只有三种，即 1,23Y ??=??? 支持，反对，弃权 研究投票者投什么票的可能性，即(),1,2,3P Y j j ==。 从上述被解释变量所取的离散数据看，如果变量只有两个选择，则建立的模型为二元离散选择模型，又称二元型响应模型；如果变量有多于二个的选择，则为多元选择模型。本章主要介绍二元离散选择模型。 离散选择模型起源于Fechner 于1860年进行的动物条件二元反射研究。1962年，Warner 首次将它应用于经济研究领域，用于研究公共交通工具和私人交通工具的选择问题。70-80年代，离散选择模型被普遍应用于经济布局、企业选点、交通问题、就业问题、购买行为等经济决策领域的研究。模型的估计方法主要发展于20世纪80年代初期。（参见李子奈，高等计量经济学，清华大学出版社，2000年，第155页-第156页） 二、线性概率模型
第5章自变量选择与逐步回归 思考与练习参考答案 自变量选择对回归参数的估计有何影响？ 答：回归自变量的选择是建立回归模型得一个极为重要的问题。如果模型中丢掉了重要的自变量, 出现模型的设定偏误，这样模型容易出现异方差或自相关性，影响回归的效果；如果模型中增加了不必要的自变量, 或者数据质量很差的自变量, 不仅使得建模计算量增大, 自变量之间信息有重叠，而且得到的模型稳定性较差，影响回归模型的应用。 自变量选择对回归预测有何影响？ 答：当全模型（m元）正确采用选模型（p元）时，我们舍弃了m-p个自变量，回归系数的最小二乘估计是全模型相应参数的有偏估计，使得用选模型的预测是有偏的，但由于选模型的参数估计、预测残差和预测均方误差具有较小的方差，所以全模型正确而误用选模型有利有弊。当选模型（p元）正确采用全模型（m 元）时，全模型回归系数的最小二乘估计是相应参数的有偏估计，使得用模型的预测是有偏的，并且全模型的参数估计、预测残差和预测均方误差的方差都比选模型的大，所以回归自变量的选择应少而精。 如果所建模型主要用于预测，应该用哪个准则来衡量回归方程的优劣？ C统计量达到最小的准则来衡量回答：如果所建模型主要用于预测，则应使用 p 归方程的优劣。 试述前进法的思想方法。 答：前进法的基本思想方法是：首先因变量Y对全部的自变量x1,x2,...,xm建立m个一元线性回归方程, 并计算F检验值，选择偏回归平方和显著的变量（F 值最大且大于临界值）进入回归方程。每一步只引入一个变量，同时建立m－1个二元线性回归方程，计算它们的F检验值，选择偏回归平方和显著的两变量变量（F值最大且大于临界值）进入回归方程。在确定引入的两个自变量以后，再引入一个变量，建立m－2个三元线性回归方程，计算它们的F检验值，选择偏
回归模型的残差分析 令狐文艳 山东胡大波 判断回归模型的拟合效果是回归分析的重要内容，在回归分析中，通常用残差分析来判断回归模型的拟合效果。下面具体分析残差分析的途径及具体例子。 一、残差分析的两种方法 1、差分析的基本方法是由回归方程作出残差图，通过观测残差图，以分析和发现观测数据中可能出现的错误以及所选用的回归模型是否恰当；在残差图中，残差点比较均匀地落在水平区域中，说明选用的模型比较合适，这样的带状区域的宽度越窄，说明模型的拟合精度越高，回归方程的预报精度越高。 2、可以进一步通过相关指数 ∑ ∑ = = - - - = n i i n i i i y y y y R 1 2 1 2 ^ 2 ) ( ) ( 1 来衡量回归 模型的拟合效果，一般规律是2R越大，残差平方和就越小，从而回归模型的拟合效果越好。 二、典例分析： 例1、某运动员训练次数与运动成绩之间的数据关系如下： 试预测该运动员训练47次以及55次的成绩。
解答：（1）作出该运动员训练次数x 与成绩y 之间的散点图，如图1所示，由散点图可 知，它们之间具有线性相关关系。 （2）列表计算： 由上表可求得875.40,25.39==y x ， 12656 8 1 2=∑=i i x ，13731 8 1 2=∑=i i y ， 13180 8 1 =∑=i i i y x ，所以 ∑∑==---= 8 1 2 8 1 )() )((i i i i i x x y y x x β. 0415.188 1 2 28 1≈--= ∑∑==i i i i i x x y x y x 00302 .0-≈-=x y βα，所以回归直线方程为.00302.00415.1^ -=x y （3）计算相关系数 将上述数据代入∑∑∑===---= 8 1 8 1 2 22 2 8 1 ) 8)(8(8i i i i i i i y y x x y x y x r 得992704.0=r ，查表 可知 707 .005.0=r ，而05.0r r >，故y 与x 之间存在显著的相关关系。 （4）残差分析： 作残差图如图2，由图可知，残差点比较均匀地分布在水平带状区域中，说明选用的模型比较合适。 计算残差的方差得884113.02 =σ ，说明预报的精度较高。