§5.5 多元线性回归中的
假设检验和预测
线性回归的显著性检验 问题：对于模型（5.4-3） εβββ++++=p p x x Y Λ110，),0(~2σεN 要检验自变量p
x x x ,,,21Λ
与因变量Y 之
间是否显著地具有这种线性联系，做法如下
（1）在模型上作假设
0:0:1210不全为j p H H ββββ?====Λ 由n 组观察值对假设是否成立进行
判断，接受0H 则认为εβ+=0Y ，),0(~2
σεN ，即Y 与p
x x x ,,,21Λ
无关，线性回归不显
著；拒绝0
H 则认为线性回归显著。
（2）找出检验统计量 ①先做平方和分解
总离差平方和为2
1)(y y Q n
i i T -=∑=，（即
2
21
)(y
n
i i yy nS y y L =-=∑=），取
110ip p i i x x y ∧
∧∧∧+++=βββΛ（经验回归平面上
对应于第i 次观测点处的y 值），则
2
1
)(y y Q n
i i T -=∑=21
))()((y y y y i i n
i i -+-=∧
∧=∑
))((2)()(1
1
221
y y y y y y y y i i n
i i n
i i i n
i i --+-+-=∧
∧==∧
∧
=∑∑∑
其中
))[(())((1101101
1
i ip p i n
i i i i n
i i
x y x x y y y y y
∧
∧∧∧∧=∧
∧=++-----=--∑∑βββββΛ
Λ
∑
∑∑=∧
=∧
∧
∧
∧
=∧
∧
∧
∧
++----+-----=n
i p n
i i ip p i i n
i ip p i i x x x y x x y y 1
1
111011
1100)()()(βββββββββΛΛΛ
0*
=
步骤（*）的推导：由（5.4-7）式得
???????????=----=----=----∑∑∑=∧
∧∧=∧
∧∧=∧∧∧n i ip ip p i i n
i i ip p i i n
i ip p i i x x x y x x x y x x y 1
1101
111011100)(0
)(0)(βββββββββΛM ΛΛ
)15.5(-
从而（*）前的各项均为0. 于是
=T Q ∑∑=∧
∧
=-+-n
i i i n
i i y y y y 1
2
2
1
)()(
)25.5(-
记2
1
min )(∧
=-=∑i n
i i y y Q Q ＝剩称为剩余（残差）
平方和；∑=∧
-n
i i y y Q 1
2
)(＝回称为回归平方和。
则有平方和分解
剩回Q Q Q T +=
)35.5(-
其中min min )(εεT
Q Q ==剩是由2
σ引起的；
回Q 是由线性回归引起的。
②构造0H 成立时的检验统计量 由定理4.4.2知，
)1(~22
min
2
-=
p n Q Q －剩
χσσ
)45.5(-
其中1+p 为回归参数的个数。
当0H 成立时，021====p βββΛ，于是
),0(~,20σεεβN Y i i i +=且相互独立，
n 1,2,i ,Λ=. 故有
2
2
*1
2
2
1
2
00
2
2
)1()(1
)]()[(1
σεε
σ
εβεβ
σ
σ
εS n Q n
i i
n
i i T
-=
-=
+-+=
∑∑==
由抽样分布定理知
)1(~22
-n Q H T
χσ
)55.5(-
由（5.5-3）、（5.5-4）、（5.5-5）及分
解定理知
)(~2
2
p Q H χσ
回
)65.5(-
且 剩回与Q Q 相互独立，则
)1,(~)1/(/)
1/(/0222
2
--=--=--p n p F S S p n Q p Q p n Q p
Q H
剩
回
剩回剩
回σ
σ
其中p Q S 回
回
=2，∧
=--=2
*21
σp n Q S 剩剩. 即
)1,(~)1/(/022--=--=p n p F S S p n Q p Q F H 剩
回
剩回
）（75.5 -
以F 为检验统计量。
③F 值的计算
)()()(m in m in ∧
∧
--===ββεεX Y X Y Q Q T T 剩
=T Q )1( *2
y 2y 2n
1i i yy S n nS )y (y L -==-=∑=，故
min yy L Q Q Q Q T -=-=剩回，从而
)1/(/--=
p n Q p
Q F 剩回
（3）给定α，确定拒绝域
无论回归显著与否，
=T Q 2n
1i i yy y y L )(-=∑=不变；
回归越显著时，
11m in --=
--p n Q p n Q 剩
越
小，
p
Q Q p Q T 剩
回-=就越大，从而)1/(/--=
p n Q p
Q F 剩回也就越大。
故应在F 值偏大时拒绝0H ，认为回
归显著。即：给定显著水平α后，取拒绝域为
)1,(:--≥p n p F F W α
)85.5(-
（4）列方差分析表
例5.5-1（续例5.4-1）取05.0=α，检验线性回归的显著性。
解：假设0:210==ββH
MATLAB 程序
x1=[152 183 171 165 158 161 149 158
170 153 164 190 185];
x2=[50 20 20 30 30 50 60 50 40 55 40 40 20];
x=[ones(1,13);x1;x2]';
y=[120 141 124 126 117 125 123 125 132 123 132 155 147]';
b=inv(x'*x)*x'*y ； qt=(13-1)*var(y) qs=(y-x*b)'*(y-x*b) qh=qt-qs
n=13;p=2;f=(qh/p)/(qs/(n-p-1)) qt = 1512 qs =
81.4301 qh =
1.4306e+003 f =
87.8404
查表知拒绝域的临界值
10.4)10,2()1,(05.0==--F p n p F α，故有
即在人的身高相等的条件下，其血压y 与体重1x ，年龄2x 得线性回归显著。
回归系数的显著性检验
问题：当拒绝0H 时，认为回归显著，即回归系数p βββ,,,10Λ不全为0。那么是否每个自变量j x 都对Y 起作用？因此需要检验j β是否显著为0)210(p ,,,,j Λ=.
（1）在模型上作假设0:0:10≠?=j j H H ββ
（2）寻找检验统计量 由定理5.4.3知
)
1(~*---∧∧
p n t c jj
j j σ
ββ
其中,1
**
剩S p n Q =--==∧∧min
2
σ
σ
jj c 是矩阵 ??????
????????=
-pp p p p p T c c c c c c c c c X X Λ
M O M M ΛΛ1
011110001
001)( 的第1+j 个主对角元素。
当0H 成立时，
)1(~0
*
--=
=
∧
∧
∧
p n t c S c T H jj
j
jj
j 剩βσ
β
)95.5(-
以T 为检验统计量。
（3）给定α，确定拒绝域
当0H 成立时0=j β，其估计值∧
j β应该
很接近0，故取拒绝域为
)1(:2
--≥p n t T W α
)105.5(-
注：要对)21(p ,,,j Λ=进行p 次检验。回归系数检验表
例5.5.2（续例5.5.1）
MATLAB 程序
c=inv(x'*x); for j=1:2
t(j)=b(j)/sqrt((qs/(n-p-1))*c(j+1,j+1));
end t t =
-718.1760 12.8380
即在人的身高相等的条件下，体重1x 与年龄2x 均对血压Y 起作用。
多重相关系数r 的另一表达式
T T yy min
2
Q Q Q Q L Q 1r 回剩=
-=-=1
故有
T Q Q r 回=
说明：r 越接近1，回归引起的离差平方和占总离差平方和的比率越大，表
示回归模型与子样（试验值）拟合得好,即模型合理。
（事实上，上述matlab命令的使用，只是为了便于说明多元线性回归的思想方法，如果只为求解一个具体问题，使用regress命令会更高效。
例5.5.1的matlab求解
>> x1=[152 183 171 165 158 161 149 158 170 153 164 190 185];
>> x2=[50 20 20 30 30 50 60 50 40 55 40 40 20];
>> x=[ones(1,13);x1;x2]';
>> y=[120 141 124 126 117 125 123 125 132 123 132 155 147]';
>> [b,bint,e,eint,stats]=regress(y,x)
b =
-62.9634
1.0683
0.4002
bint =
-100.8412 -25.0855
0.8729 1.2636
多元线性回归模型 1 多元线性回归模型 1.1 多元回归模型的构建名称多元线性回归模型优先级高描述由于经济现象的复杂性,一个被解释变量往往受多个解释变量的影响.多元回归模型就是在方程式中有两个或两个以上自变量的线性回归模型.多元线性回归预测是用多元线性回归模型,对具有线性趋势的税收问题,使用多个影响因素所作的预测.要求输入有指标需要进行预测的cube.该cube由实施人员在实施过程中根据客户的具体需要定制,该cube中的各个测量值是相关的,各维度是与预测分析有联系的.处理由用户选择回归模型分析角度和分析指标(包括因变量和自变量.注意:此处的分析指标是指cube中的测量值,下同),系统进行回归方程的拟合以及假设检验.展示回归方程式及假设检验的结果,并利用回归方程式进行预测.具体操作步骤如下: 分析角度的选取依照以下原则: 1. 选择分析角度和分析指标(包括因变量和自变量). 若对时间序列数据的回归分析,时间维必须在同一层次上,否则,系统给出下列提示信息:"分析角度的选择有误,时间维必须在同一层次上,请做修改!",如果用户不做相应的修改,则回归模型不进行构建.其它的维度原则上只能选取一个成员,若存在选择多个的情况,系统给出相应的警告提示:"分析角度的选择可能有误,请检查!",但允许用户在不进行任何修改的情况下继续回归模型的构建;所选中的时间维成员个数必须多于"自变量的个数+3",否则给出下列提示信息:"数据量太少,不能完成回归模型的构建"; 若进行横截面数据的回归分析,除时间维外的其它维度中必须有一个是选择所有成员的,时间维只能
选择一个维成员,否则给出下列出错信息:"不同时间点的横截面数据没有可比性,不适合进行回归分析!" 如果用户不做相应的修改,则回归模型不进行构建.对于选取的所有成员的维度,其成员个数必须多于"自变量的个数+3",否则给出下列提示信息:"数据量太少,不能完成回归模型的构建"; 分析指标(包括自变量和因变量)的选取依照下列原则. 自变量的选择.自变量可以选择了多个分析指标. 因变量的选择.因变量只能选取一个指标,在编码时必须对其进行设置. 2. 回归方程的拟合回归分析原理是利用具有因果关系的经济变量的样本观测量,按照一定的实现原理来建立能够使被解释变量的计算值与实际值误差最小的回归方程,以此作为研究对象总体模型的估计参数.多元线性回归模型的构建就是求出因变量(以y表示)自变量(以表示,其中M为自变量的个数)的线性关系式: 回归模型的拟合就是利用最小二乘法求出参数的估计值(其中i=1,2,…,M).具体求解的过程如下:假设已从cube中读入了因变量(以y表示)的N(N>3)个数据,记为,自变量的(其中i=1,2,…,M)的N(N>3)个数据,记为,(注意:此处需要用一个N×M 的二维数组存放自变量的数据,数组中的每一列存放一个测量值的数据,此处与报表中所显示的格式是相同的,在报表中,一个测量值的数据也是用一个列来显示的.)参数的计算请参见下面的文档: 3. 回归结果的呈现显示回归方程式在界面上显示回归方程式 4. 回归模型的假设检验构建一个经济计量模型会涉及到模型的形式,自变量的参数,模型的总体效果等的问题,因此,利用最小二乘法估计参数构成一元线性回归模型后,还需要进行拟合优度检验,t检验和F检验等统计检验.
1. 表1列出了某地区家庭人均鸡肉年消费量Y 与家庭月平均收入X ，鸡肉价格P 1，猪肉价格P 2与牛肉价格P 3的相关数据。 年份 Y/千 克 X/ 元 P 1/(元/千克) P 2/(元/千克) P 3/(元/千克) 年份 Y/千克 X/元 P 1/(元/ 千克) P 2/(元/ 千克) P 3/(元/千克) 1980 2.78 397 4.22 5.07 7.83 1992 4.18 911 3.97 7.91 11.40 1981 2.99 413 3.81 5.20 7.92 1993 4.04 931 5.21 9.54 12.41 1982 2.98 439 4.03 5.40 7.92 1994 4.07 1021 4.89 9.42 12.76 1983 3.08 459 3.95 5.53 7.92 1995 4.01 1165 5.83 12.35 14.29 1984 3.12 492 3.73 5.47 7.74 1996 4.27 1349 5.79 12.99 14.36 1985 3.33 528 3.81 6.37 8.02 1997 4.41 1449 5.67 11.76 13.92 1986 3.56 560 3.93 6.98 8.04 1998 4.67 1575 6.37 13.09 16.55 1987 3.64 624 3.78 6.59 8.39 1999 5.06 1759 6.16 12.98 20.33 1988 3.67 666 3.84 6.45 8.55 2000 5.01 1994 5.89 12.80 21.96 1989 3.84 717 4.01 7.00 9.37 2001 5.17 2258 6.64 14.10 22.16 1990 4.04 768 3.86 7.32 10.61 2002 5.29 2478 7.04 16.82 23.26 1991 4.03 843 3.98 6.78 10.48 （1） 求出该地区关于家庭鸡肉消费需求的如下模型： 01213243ln ln ln ln ln Y X P P P u βββββ=+++++ （2） 请分析，鸡肉的家庭消费需求是否受猪肉及牛肉价格的影响。 先做回归分析，过程如下： 输出结果如下：
ESS&i-k)A RSS[(k -1) ESS /(SI)I). TSS/(n-k) 多元线性回归模型练习 一、单项选择题 1. 在由〃 =30的一组样本估计的、包含3个解释变量的线性回归模型中，计算 得可决系数为0.8500,则调整后的可决系数为（D ） A. 0. 8603 B. 0. 8389 C. 0. 8655 D. 0. 8327 2. 用一组有30个观测值的样本估计模型乂 =如玷气+E +0后,在0. 05的 显著性水平上对九的显著性作「检验，则气显著地不等于零的条件是其统计量， 大于等于 （C ） A. ，O .O 5（3°） B . ‘。025（28） c.，。。25（27） p ^*0.025 （^28） 3?线性回归模型乂 =4+"1也+勾％ +……+ b k x h +u i 中,检验 =0（，= 0,1,2,..人）时，所用的统计量 服从（C ） A. t （n _k+l ） B. t （n -k -2） C. t （n -k _l ） D. t （n -k+2） 4. 调整的可决系数与多元样本判定系数R ，之间有如下关系（ D ） 局=公—/?2 职=]_qj R2 A. n-k -1 B ? n-k-\ R 2=[—- （1 + R2） 斤 2 =]— （I-/?2） C. n-k-\ D. n-k-\ 5. 对模型Y L B 。+ B 伏"B 2X 2i + u 「进行总体显著性F 检验,检验的零假设是 （A ） A. P 1= 3 2=0 B. 3 i=0 C. B 2-O D. B 0二0 或 B i=0 6. 设k 为[q 归模型中的参数个数，n 为样本容量。则对多元线性同归方程进行 显著性检验时，所用的F 统计量可表示为（B ） R2/ k B (1-R2)/(D b/d) c. (1-R2)/(S1) 7. 多元线性问归分析中（回归模型中的参数个数为k ）,调整后的可决系数与 可决系数R2之间的关系（A ）
总结：线性回归分析的基本 步骤 -标准化文件发布号：（9556-EUATWK-MWUB-WUNN-INNUL-DDQTY-KII
线性回归分析的基本步骤 步骤一、建立模型 知识点： 1、总体回归模型、总体回归方程、样本回归模型、样本回归方程 ①总体回归模型：研究总体之中自变量和因变量之间某种非确定依赖关系的计量模型。Y X U β=+ 特点：由于随机误差项U 的存在，使得Y 和X 不在一条直线/平面上。 例1：某镇共有60个家庭，经普查，60个家庭的每周收入（X ）与每周消费（Y ）数据如下： 作出其散点图如下：
②总体回归方程（线）：由于假定0EU =，因此因变量的均值与自变量总处于一条直线上，这条直线()|E Y X X β=就称为总体回归线（方程）。 总体回归方程的求法：以例1的数据为例 由于01|i i i E Y X X ββ=+，因此任意带入两个X i 和其对应的E (Y |X i )值，即可求出01ββ和，并进而得到总体回归方程。
如将()()222777100,|77200,|137X E Y X X E Y X ====和代入 ()01|i i i E Y X X ββ=+可得：0100117710017 1372000.6ββββββ=+=?????=+=?? 以上求出01ββ和反映了E (Y |X i )和X i 之间的真实关系，即所求的总体回归方程为：()|170.6i i i E Y X X =+，其图形为： ③样本回归模型：总体通常难以得到，因此只能通过抽样得到样本数据。如在例1中，通过抽样考察，我们得到了20个家庭的样本数据： 那么描述样本数据中因变量Y 和自变量X 之间非确定依赖关系的模型 ?Y X e β =+就称为样本回归模型。
野外实习资料的数理统计分析 一元线性回归分析 一元回归处理的是两个变量之间的关系，即两个变量X和Y之间如果存在一定的关系，则通过观测所得数据，找出两者之间的关系式。如果两个变量的关系大致是线性的，那就是一元线性回归问题。 对两个现象X和Y进行观察或实验，得到两组数值：X1，X2,…，Xn和Y1，Y2，…，Yn,假如要找出一个函数Y=f(X),使它在 X=X1,X2, …,Xn时的数值f(X1),f(X2), …,f(Xn)与观察值Y1，Y2，…，Yn趋于接近。 在一个平面直角坐标XOY中找出（X1，Y1），（X2，Y2），…，（Xn，Yn）各点，将其各点分布状况进行察看，即可以清楚地看出其各点分布状况接近一条直线。对于这种线性关系，可以用数学公式表示： Y = a + bX 这条直线所表示的关系，叫做变量Y对X的回归直线，也叫Y对X 的回归方程。其中a为常数，b为Y对于X的回归系数。 对于任何具有线性关系的两组变量Y与X，只要求解出a与b的值，即可以写出回归方程。计算a与b值的公式为：
式中：为变量X的均值，Xi为第i个自变量的样本值，为因变量的均值，Yi为第i个因变量Y的样本值。n为样本数。 当前一般计算机的Microsoft Excel中都有现成的回归程序，只要将所获得的数据录入就可自动得到回归方程。 得到的回归方程是否有意义，其相关的程度有多大，可以根据相关系数的大小来决定。通常用r来表示两个变量X和Y之间的直线相关程度，r为X和Y的相关系数。r值的绝对值越大，两个变量之间的相关程度就越高。当r为正值时，叫做正相关，r为负值时叫做负相关。r 的计算公式如下： 式中各符号的意义同上。 在求得了回归方程与两个变量之间的相关系数后，可以利用F检验法、t检验法或r检验法来检验两个变量是否显著相关。具体的检验方法在后面介绍。
多元线性回归分析预测法 (重定向自多元线性回归预测法) 多元线性回归分析预测法（Multi factor line regression method，多元线性回归分析法） [编辑] 多元线性回归分析预测法概述 在市场的经济活动中，经常会遇到某一市场现象的发展和变化取决于几个影响因素的情况，也就是一个因变量和几个自变量有依存关系的情况。而且有时几个影响因素主次难以区分，或者有的因素虽属次要，但也不能略去其作用。例如，某一商品的销售量既与人口的增长变化有关，也与商品价格变化有关。这时采用一元回归分析预测法进行预测是难以奏效的，需要采用多元回归分析预测法。 多元回归分析预测法，是指通过对两上或两个以上的自变量与一个因变量的相关分析，建立预测模型进行预测的方法。当自变量与因变量之间存在线性关系时，称为多元线性回归分析。 [编辑] 多元线性回归的计算模型[1] 一元线性回归是一个主要影响因素作为自变量来解释因变量的变化，在现实问题研究中，因变量的变化往往受几个重要因素的影响，此时就需要用两个或两个以上的影响因素作为自变量来解释
因变量的变化，这就是多元回归亦称多重回归。当多个自变量与因变量之间是线性关系时，所进行的回归分析就是多元性回归。 设y为因变量，为自变量，并且自变量与因变量之间为线性关系时，则多元线性回归模型为： 其中，b0为常数项，为回归系数，b1为固定时，x1每增加一 个单位对y的效应，即x1对y的偏回归系数；同理b2为固定时，x2每增加一个单位对y的效应，即，x2对y的偏回归系数，等等。如果两个自变量x1,x2同一个因变量y呈线相关时，可用二元线性回归模型描述为： 其中，b0为常数项，为回归系数，b1为固定时，x2每增加一 个单位对y的效应，即x2对y的偏回归系数，等等。如果两个自变量x1,x2同一个因变量y呈线相关时，可用二元线性回归模型描述为： y = b0 + b1x1 + b2x2 + e 建立多元性回归模型时，为了保证回归模型具有优良的解释能力和预测效果，应首先注意自变量的选择，其准则是： (1)自变量对因变量必须有显著的影响，并呈密切的线性相关； (2)自变量与因变量之间的线性相关必须是真实的，而不是形式上的； (3)自变量之彰应具有一定的互斥性，即自变量之彰的相关程度不应高于自变量与因变量之因的相关程度； (4)自变量应具有完整的统计数据，其预测值容易确定。 多元性回归模型的参数估计，同一元线性回归方程一样，也是在要求误差平方和()为最小的前提下，用最小二乘法求解参数。以二线性回归模型为例，求解回归参数的标准方程组为 解此方程可求得b0,b1,b2的数值。亦可用下列矩阵法求得
多元线性回归统计预测模型 摘要:本文以多元统计分析为理论基础，在对数据进行统计分析的基础上建立多元线性回归模型并对未知量作出预测,为相关决策提供依据和参考。重点介绍了模型中参数的估计和自变量的优化选择及简单应用举例。 关键词：统计学;线性回归;预测模型 一．引言 多元线性回归统计预测模型是以统计学为理论基础建立数学模型，研究一个随机变量Ｙ与两个或两个以上一般变量X 1,X ２，…,Xp 之间相依关系,利用现有数据,统计并分析，研究问题的变化规律，建立多元线性回归的统计预测模型,来预测未来的变化情况。它不仅能解决一些随机的数学问题,而且还可以通过建立适当的随机模型进而解决一些确定的数学问题,为相关决策提供依据和参考。 目前统计学与其他学科的相互渗透为统计学的应用开辟新的领域。并被广泛的应用在各门学科上,从物理和社会科学到人文科学，甚至被用来工业、农业、商业及政府部门。而多元线性回归是多元统计分析中的一个重要方法,被应用于众多自然科学领域的研究中。多元线性回归分析作为一种较为科学的方法,可以在获得影响因素的前提下，将定性问题定量化，确定各因素对主体问题的具体影响程度。 二.多元线性回归的基本理论 多元线性回归是多元统计分析中的一个重要方法，被广泛应用于众多自然科学领域的研究中。多元线性回归分析的基本任务包括:根据因变量与多个自变量的实际观测值建立因变量对多个自变量的多元线性回归方程；检验、分析各个自变量对因自变量的综合线性影响的显著性；检验、分析各个自变量对因变量的单纯线性影响的显著性，选择仅对因变量有显著线性影响的自变量，建立最优多元线性回归方程;评定各个自变量对因变量影响的相对重要性以及测定最优多元线性回归方程的偏离度等。由于多数的多元非线性回归问题都可以化为多元线性回归问题,所以这里仅讨论多元线性回归。许多非线性回归和多项式回归都可以化为多元线性回归来解决,因而多元线性回归分析有着广泛的应用。 2.1 多元线性回归模型的一般形式 设随机变量y 与一般变量12,, ,p x x x 线性回归模型为 01122...p p y x x x ββββε=+++++ （2.1） 模型中Ｙ为被解释变量(因变量）,而12,,,p x x x 是p 个可以精确测量并可控制的一般变 量，称为解释变量（自变量）。p ＝1时，(２.1)式即为一元线性回归模型，p 大于2时，(2.1)
一元线性回归分析法 一元线性回归分析法是根据过去若干时期的产量和成本资料，利用最小二乘法“偏差平方和最小”的原理确定回归直线方程，从而推算出a(截距)和b(斜率)，再通过y ＝a+bx 这个数学模型来预测计划产量下的产品总成本及单位成本的方法。 方程y ＝a+bx 中，参数a 与b 的计算如下： y b x a y bx n -==-∑∑ 222 n xy x y xy x y b n x (x)x x x --==--∑∑∑∑∑∑∑∑∑ 上式中，x 与y 分别是i x 与i y 的算术平均值，即 x =n x ∑ y =n y ∑ 为了保证预测模型的可靠性，必须对所建立的模型进行统计检验，以检查自变量与因变量之间线性关系的强弱程度。检验是通过计算方程的相关系数r 进行的。计算公式为： 22xy-x y r= (x x x)(y y y) --∑∑∑∑∑∑ 当r 的绝对值越接近于1时，表明自变量与因变量之间的线性关系越强，所建立的预测模型越可靠；当r ＝l 时，说明自变量与因变量成正相关，二者之间存在正比例关系；当r ＝—1时，说明白变量与因变量成负相关，二者之间存在反比例关系。反之，如果r 的绝对值越接近于0，情况刚好相反。 [例]以表1中的数据为例来具体说明一元线性回归分析法的运用。 表1： 根据表1计算出有关数据，如表2所示： 表2：
将表2中的有关数据代入公式计算可得： 1256750x == （件） 2256 1350y ==（元） 1750 9500613507501705006b 2=-??-?=（元/件） 100675011350a =?-=（元/件） 所建立的预测模型为： y ＝100+X 相关系数为： 9.011638 10500])1350(3059006[])750(955006[1350 750-1705006r 22==-??-???= 计算表明，相关系数r 接近于l ，说明产量与成本有较显著的线性关系，所建立的回归预测方程较为可靠。如果计划期预计产量为200件，则预计产品总成本为： y ＝100+1×200＝300(元)
多元线性回归模型 一、单项选择题 1.在由30n =的一组样本估计的、包含3个解释变量的线性回归模型中，计算得多重决定系数为0.8500，则调整后的多重决定系数为（ D ） A. 0.8603 B. 0.8389 C. 0.8655 D.0.8327 2.下列样本模型中，哪一个模型通常是无效的（B ） A. i C （消费）=500+0.8 i I （收入） B. d i Q （商品需求）=10+0.8i I （收入）+0.9i P （价格） C. s i Q （商品供给）=20+0.75i P （价格） D. i Y （产出量）=0.650.6i L （劳动）0.4 i K （资本） 3.用一组有30个观测值的样本估计模型01122t t t t y b b x b x u =+++后，在0.05的显著性水 平上对1 b 的显著性作t 检验，则1 b 显著地不等于零的条件是其统计量t 大于等于（ C ） A. )30(05.0t B. ) 28(025.0t C. ) 27(025.0t D. ) 28,1(025.0F 4.模型 t t t u x b b y ++=ln ln ln 10中，1b 的实际含义是（ B ） A.x 关于y 的弹性 B. y 关于x 的弹性 C. x 关于y 的边际倾向 D. y 关于x 的边际倾向 5、在多元线性回归模型中，若某个解释变量对其余解释变量的判定系数接近于１，则表明模型中存在（ C ） A.异方差性 B.序列相关 C.多重共线性 D.高拟合优度 6.线性回归模型01122......t t t k kt t y b b x b x b x u =+++++ 中，检验0:0(0,1,2,...) t H b i k ==时，所用的统计量 服从( C ) A.t(n-k+1) B.t(n-k-2) C.t(n-k-1) D.t(n-k+2)
matlab建立多元线性回归模型并进行显着性检验及预测问题 例子; x=[143 145 146 147 149 150 153 154 155 156 157 158 159 160 162 164]'; X=[ones(16,1) x]; 增加一个常数项Y=[88 85 88 91 92 93 93 95 96 98 97 96 98 99 100 102]'; [b,bint,r,rint,stats]=regress(Y,X) 得结果：b = bint = stats = 即对应于b的置信区间分别为[，]、[,]; r2=, F=, p= p<, 可知回归模型y=+ 成立. 这个是一元的，如果是多元就增加X的行数！ function [beta_hat,Y_hat,stats]=regress(X,Y,alpha) % 多元线性回归(Y=Xβ+ε)MATLAB代码 %？ % 参数说明 % X：自变量矩阵，列为自变量，行为观测值 % Y：应变量矩阵，同X % alpha：置信度，[0 1]之间的任意数据 % beta_hat：回归系数 % Y_beata：回归目标值，使用Y-Y_hat来观测回归效果 % stats：结构体，具有如下字段 % =[fV,fH]，F检验相关参数，检验线性回归方程是否显着 % fV：F分布值，越大越好，线性回归方程越显着 % fH：0或1，0不显着；1显着(好) % =[tH,tV,tW]，T检验相关参数和区间估计，检验回归系数β是否与Y有显着线性关系 % tV：T分布值，beta_hat(i)绝对值越大,表示Xi对Y显着的线性作用% tH：0或1，0不显着；1显着 % tW：区间估计拒绝域，如果beta(i)在对应拒绝区间内，那么否认Xi对Y显着的线性作用 % =[T,U,Q,R]，回归中使用的重要参数 % T：总离差平方和，且满足T=Q+U % U：回归离差平方和 % Q：残差平方和 % R∈[0 1]：复相关系数，表征回归离差占总离差的百分比，越大越好% 举例说明 % 比如要拟合y=a+b*log(x1)+c*exp(x2)+d*x1*x2，注意一定要将原来方程线化% x1=rand(10,1)*10; % x2=rand(10,1)*10; % Y=5+8*log(x1)+*exp(x2)+*x1.*x2+rand(10,1); % 以上随即生成一组测试数据 % X=[ones(10,1) log(x1) exp(x2) x1.*x2]; % 将原来的方表达式化成Y=Xβ，注意最前面的1不要丢了
多元线性回归模型练习 一、单项选择题 1. 在由n =30的一组样本估计的、包含3个解释变量的线性回归模型中，计算 得 可决系数为0.8500，贝U 调整后的可决系数为（D ） A. 0.8603 B. 0.8389 C. 0.8655 D.0.8327 2. 用一组有30个观测值的样本估计模型 y t =b o ? b i x it b 2 X 2t U t 后，在0.05的 显著 性水平上对b l 的显著性作t 检验，则b l 显著地不等于零的条件是其统计量 t 大于等于（C ） A t o 』5（3O ） B t o.025 （28） C t o.o25（27） D F 0.025 （1,28） 3. 线性回归模型y t =b ° "旳+6x 21 + ............ +b k X kt +4中，检验 A H o ：b =0（i 二。，1,2 ，.*）时，所用的统计量 / ■■ ■X 服从（C ） A.t (n-k+1) B.t (n-k-2) C.t (n-k-1) D.t( n k+2) 4. 调整的可决系数 :与多元样本判定系数: ‘之间有如下关系（ D) R 2= n " R 2 R 2 =1 - n " R 2 A . n- k-1 B. n -k -1 R 2=1 - n " (1 R 2) R 2 =1 - n " (1-R 2 ) C n —k -1 D. n- k-1 5.对模型Y = B 0+ B 1X i + B 2X 2i + 卩 i 进行总体显著性F 检验，检验的零假设是 A ) A . B 1= B 2=0 B. B 1=0 C .B 2=0 D. B 0=0 或 B 1=0 6?设 k 为回归模型中的参数个数，n 为样本容量。则对多元线性回归方程进 行显著性检验时，所用的F 统计量可表示为（ B ） ESS （n-k ） 一k A. RSS （k-1） B . （1-R 2 ）/（n —k — 1 ） R 2 (n - k) C. (1 - R 2) '(k-1) 7.多元线性回归分析中（回归模型中的参数个数为 k ），调整后的可决系数 R 2与可决系数R 2之间的关系（ A ） n -1 R 2 =1 _（1 _R 2 ） ESS/(k-1) D. TSS (n-k)
回归分析方法总结全面
————————————————————————————————作者：————————————————————————————————日期：
一、什么是回归分析 回归分析(Regression Analysis)是研究变量之间作用关系的一种统计分析方法，其基本组成是一个（或一组）自变量与一个（或一组）因变量。回归分析研究的目的是通过收集到的样本数据用一定的统计方法探讨自变量对因变量的影响关系，即原因对结果的影响程度。 回归分析是指对具有高度相关关系的现象，根据其相关的形态，建立一个适当的数学模型(函数式)，来近似地反映变量之间关系的统计分析方法。利用这种方法建立的数学模型称为回归方程，它实际上是相关现象之间不确定、不规则的数量关系的一般化。 二、回归分析的种类 1.按涉及自变量的多少，可分为一元回归分析和多元回归分析一元回归分析是对一个因变量和一个自变量建立回归方程。多元回归分析是对一个因变量和两个或两个以上的自变量建立回归方程。 2.按回归方程的表现形式不同，可分为线性回归分析和非线性回归分析 若变量之间是线性相关关系，可通过建立直线方程来反映，这种分析叫线性回归分析。 若变量之间是非线性相关关系，可通过建立非线性回归方程来反映，这种分析叫非线性回归分析。 三、回归分析的主要内容 1.建立相关关系的数学表达式。依据现象之间的相关形态，建立适当的数学模型，通过数学模型来反映现象之间的相关关系，从数量上近似地反映变量之间变动的一般规律。 2.依据回归方程进行回归预测。由于回归方程反映了变量之间的一般性关系，因此当自变量发生变化时，可依据回归方程估计出因变量可能发生相应变化的数值。因变量的回归估计值，虽然不是一个必然的对应值(他可能和系统真值存在比较大的差距)，但至少可以从一般性角度或平均意义角度反映因变量可能发生的数量变化。 3.计算估计标准误差。通过估计标准误差这一指标，可以分析回归估计值与实际值之间的差异程度以及估计值的准确性和代表性，还可利用估计标准误差对因变量估计值进行在一定把握程度条件下的区间估计。 四、一元线性回归分析 1.一元线性回归分析的特点 1)两个变量不是对等关系，必须明确自变量和因变量。 2)如果x和y两个变量无明显因果关系，则存在着两个回归方程：一个是以x为自变量，y 为因变量建立的回归方程；另一个是以y为自变量，x为因变量建立的回归方程。若绘出图
对多元线性回归模型的各种检验方法 对于形如 u X X X Y k k +++++=ββββ 22110 （1） 的回归模型，我们可能需要对其实施如下的检验中的一种或几种检验： 一、 对单个总体参数的假设检验：t 检验 在这种检验中，我们需要对模型中的某个（总体）参数是否满足虚拟假设0 H ：j j a =β，做出具有统计意义（即带有一定的置信度）的检验，其中j a 为某个给定的已知数。特别是，当j a =0时，称为参数的（狭义意义上的）显著性检验。如果拒绝0H ，说明解释变量j X 对 被解释变量Y 具有显著的线性影响，估计值j β?才敢使 用；反之，说明解释变量j X 对被解释变量Y 不具有显 著的线性影响，估计值j β?对我们就没有意义。具体检验 方法如下： （1） 给定虚拟假设 0H ：j j a =β；
（2） 计算统计量 )?(?)?()(?j j j j j j Se a Se E t βββββ-=-= 的数值； 11?)?(++-==j j jj jj j C C Se 1T X)(X ，其中σβ （3） 在给定的显著水平α下（α不能大于1.0即 10%，也即我们不能在置信度小于90%以下的前提下做结论），查出双尾t （1--k n ）分布的临界值2/αt ； （4） 如果出现 2/αt t >的情况，检验结论为拒绝 0H ；反之，无法拒绝0H 。 t 检验方法的关键是统计量 )?(?j j j Se t βββ-=必须服从已 知的t 分布函数。什么情况或条件下才会这样呢？这需要我们建立的模型满足如下的条件（或假定）： （1） 随机抽样性。我们有一个含n 次观测的随机样(){}n i Y X X X i ik i i ,,2,1:,,,,21 =。这保证了误差u 自身的随机性，即无自相关性，
SPSS--回归-多元线性回归模型案例解析！(一） 多元线性回归，主要是研究一个因变量与多个自变量之间的相关关系，跟一元回归原理差不多，区别在于影响因素（自变量）更多些而已，例如：一元线性回归方程为： 毫无疑问，多元线性回归方程应该为： 上图中的x1, x2, xp分别代表“自变量”Xp截止，代表有P个自变量，如果有“N组样本，那么这个多元线性回归，将会组成一个矩阵，如下图所示： 那么，多元线性回归方程矩阵形式为： 其中：代表随机误差，其中随机误差分为：可解释的误差和不可解释的误差，随机误差必须满足以下四个条件，多元线性方程才有意义（一元线性方程也一样） 1：服成正太分布，即指：随机误差必须是服成正太分别的随机变量。 2：无偏性假设，即指：期望值为0 3：同共方差性假设，即指，所有的随机误差变量方差都相等 4：独立性假设，即指：所有的随机误差变量都相互独立，可以用协方差解释。 今天跟大家一起讨论一下，SPSS---多元线性回归的具体操作过程，下面以教程教程数据为例，分析汽车特征与汽车销售量之间的关系。通过分析汽车特征跟汽车销售量的关系，建立拟合多元线性回归模型。数据如下图所示：
点击“分析”——回归——线性——进入如下图所示的界面：
将“销售量”作为“因变量”拖入因变量框内，将“车长，车宽，耗油率，车净重等10个自变量拖入自变量框内，如上图所示，在“方法”旁边，选择“逐步”，当然，你也可以选择其它的方式，如果你选择“进入”默认的方式，在分析结果中，将会得到如下图所示的结果：（所有的自变量，都会强行进入） 如果你选择“逐步”这个方法，将会得到如下图所示的结果：（将会根据预先设定的“F统计量的概率值进行筛选，最先进入回归方程的“自变量”应该是跟“因变量”关系最为密切，贡献最大的，如下图可以看出，车的价格和车轴跟因变量关系最为密切，符合判断条件的概率值必须小于0.05，当概率值大于等于0.1时将会被剔除）
多元线性回归预测 在预测中，当预测对象y 受到多个因素m x x x ,,,21 影响时，如果各个影响因素j x （m j ,,2,1 =）与y 的相关关系可以同时近似地线性表示，这时则可以建立多元线性回归模型来进行分析和预测。 假定因变量y 与自变量),,2,1(m j x j =之间的关系可表示为 i mi m i i i x b x b x b b y ε+++++= 22110 （2-22） n i ,,2,1 =（样本序号） 其中0b 、j b ),,2,1(m j =——模型回归系数；i ε为除自变量j x ),,2,1(m j =的影响之外对i y 产生影响的随机变量，即随机误差。该结论基于以下的假设： 随机误差i ε的期望值为零，),,2,1(0)(n i E i ==ε； 方差的期望值为一常数2σ，),,2,1()(22n i E i ==σε； 各随机误差项是互不相关的，即协方差的数学期望值为零，0),(=j i E εε ),,,2,1,(j i n j i ≠= 当以上假设得到满足时，式（2-22）便称为多元线性回归预测模型，这时可写成 ),,2,1(?22110n i x b x b x b b y mi m i i i =?++++= （2-23） 和一元线性回归预测模型一样，多元线性回归预测模型建立时也采用最小二 二乘法估计模型参数，但具体估计时有二种算法，分述如下。 一、多元线性回归预测模型的一般算法 1．建立模型 改写式（2-22） 得 ),,2,1(?n i y y i i i =-=ε 方差和Q 为
2 1 221102212 )()?(mi m n i i i i n i i i n i i x b x b x b b y y y Q -----=-==∑∑∑=== ε 根据最小二乘法原理，欲估计参数),,2,1(m i b i =，要满足条件： ?????? ?????=------=??=------=??=------=??0)(Σ20)(Σ20)(Σ2221102211011 221100mi m i i i mi m mi m i i i i mi m i i i x b x b x b b y x b Q x b x b x b b y x b Q x b x b x b b y b Q 整理上式可得到： ?? ???? ?=++++=++++=++++i mi mi m i mi i mi mi i i mi i m i i t i i mi m i i y x x b x x b x x b x b y x x x b x x b x b x b y x b x b x b nb ΣΣΣΣΣΣΣΣΣΣΣΣΣΣ222110112122 111022,110 而对于各变量的样本平均值，其误差平方和为： ??? ? ? ? ??? -=--==--==∑∑∑===n i i yy n i i j ji yj jy n i k ki j ji kj jk y y s y y x x s s x x x x s s 12 11 ) ())(() )(( （2-25） ),,2,1,(k k j = 式中 ∑==n i ji j x n x 1 1 ∑==n i i y n y 1 1 利用（2-24）式，将方程组（2-25）可改写为
matlab建立多元线性回归模型并进行显著性检 验及预测问题 例子; x=[143 145 146 147 149 150 153 154 155 156 157 158 159 160 162 164]'; X=[ones(16,1) x]; 增加一个常数项 Y=[88 85 88 91 92 93 93 95 96 98 97 96 98 99 100 102]'; [b,bint,r,rint,stats]=regress(Y,X) 得结果：b = bint = stats = 即对应于b的置信区间分别为[，]、[,]; r2=, F=, p= p<, 可知回 归模型 y=+ 成立. 这个是一元的，如果是多元就增加X的行数！ function [beta_hat,Y_hat,stats]=regress(X,Y,alpha) % 多元线性回归(Y=Xβ+ε)MATLAB代码 % % 参数说明 % X：自变量矩阵，列为自变量，行为观测值 % Y：应变量矩阵，同X % alpha：置信度，[0 1]之间的任意数据 % beta_hat：回归系数 % Y_beata：回归目标值，使用Y-Y_hat来观测回归效果 % stats：结构体，具有如下字段 % =[fV,fH]，F检验相关参数，检验线性回归方程是否显著 % fV：F分布值，越大越好，线性回归方程 越显著 % fH：0或1，0不显著；1显著(好) % =[tH,tV,tW]，T检验相关参数和区间估计，检验回归系数β是 否与Y有显著线性关系 % tV：T分布值，beta_hat(i)绝对值越大, 表示Xi对Y显著的线性作用 % tH：0或1，0不显著；1显著 % tW：区间估计拒绝域，如果beta(i)在对 应拒绝区间内，那么否认Xi对Y显著的线性作用 % =[T,U,Q,R]，回归中使用的重要参数 % T：总离差平方和，且满足T=Q+U % U：回归离差平方和 % Q：残差平方和 % R∈[0 1]：复相关系数，表征回归离差占总 离差的百分比，越大越好 % 举例说明 % 比如要拟合 y=a+b*log(x1)+c*exp(x2)+d*x1*x2，注意一定要将原来方程 线化 % x1=rand(10,1)*10;
一元线性回归分析的应用 ——以微生物生长与温度关系为例 摘要：一元线性回归预测法是分析一个因变量与一个自变量之间的线性关系的预测方法。应用最小二乘法确定直线，进而运用直线进行预测。本文运用一元线性回归分析的方法，构建模型并求出模型参数，对分析结果的显著性进行了假设检验，从而了微生物生长与温度间的关系。 关键词：一元线性回归分析；最小二乘法；假设检验；微生物；温度 回归分析是研究变量之间相关关系的统计学方法，它描述的是变量间不完全确定的关系。回归分析通过建立模型来研究变量间的这种关系，既可以用于分析和解释变量间的关系，又可用于预测和控制，进而广泛应用于自然科学、工程技术、经济管理等领域。本文尝试用一元线性回归分析方法为微生物生长与温度之间的关系建模，并对之后几年的情况进行分析和预测。 1 一元线性回归分析法原理 1.1 问题及其数学模型 一元线性回归分析主要应用于两个变量之间线性关系的研究，回归模型模型为εββ++=x Y 10，其中10,ββ为待定系数。实际问题中，通过观测得到n 组数据（X i ，Y i ）（i=1,2,…,n ）,它们满足模型i i i x y εββ++=10（i=1,2,…,n ）并且通常假定E(εi )=0，V ar (εi )=σ2各εi 相互独立且服从正态分布。回归分析就是根据样本观 察值寻求10,ββ的估计10?,?ββ，对于给定x 值, 取x Y 10???ββ+=，作为x Y E 10)(ββ+=的估计，利用最小二乘法得到10,ββ的估计10? ,?ββ，其中??? ? ??????? ??-???? ??-=-=∑ ∑ ==n i i n i i i x n x xy n y x x y 1221110???βββ。 1.2 相关系数 上述回归方程存在一些计算相关系数。设L XX =∑ ∑==-=-=n i i n i i def xx x n x x x L 1 2 2 1 2 )(，称为关于X 的离
作业： 在农作物害虫发生趋势的预报研究中,所涉及的5个自变量及因 变量的10组观测数据如下,试建立y对x1-x5的回归模型，指出那些变量对y有显著的线性贡献，贡献大小顺序。 x1 x2 x3 x4 x5 y 9.200 2.732 1.471 0.332 1.138 1.155 9.100 3.732 1.820 0.112 0.828 1.146 8.600 4.882 1.872 0.383 2.131 1.841 10.233 3.968 1.587 0.181 1.349 1.356 5.600 3.732 1.841 0.297 1.815 0.863 5.367 4.236 1.873 0.063 1.352 0.903 6.133 3.146 1.987 0.280 1.647 0.114 8.200 4.646 1.615 0.379 4.565 0.898 8.800 4.378 1.543 0.744 2.073 1.930 7.600 3.864 1.599 0.342 2.423 1.104 （！）回归性方程显著性检验： 由Analysis of variance 表可知，其 r F P 的值0.0170小于0.05，则1 y x 与、2 x3x4x、5x之间具有显著性相关性；由R-square的值为0.9356可知该方程的拟合度高，（2）参数显著性检验：
a.由Parameter Estimates 表可知，对自变量x1。t 检验值为t=1.06,Pr t >的值等于 0.3479，大于0.05，故x1的系数为0，即x1未通过检验，去掉x1，再次运行程序。 b.结果表明所有变量的系数均通过检验，得到线性模型。 （3）拟合区间。 2350.75463 1.999640.33313 2.24781y x x x =--+ 故对y 有显著的线性贡献大小顺序为 325 x x x >>。 附件： data ex; input x1-x5 y@@; cards ; 9.200 2.732 1.471 0.332 1.138 1.155 9.100 3.732 1.820 0.112 0.828 1.146 8.600 4.882 1.872 0.383 2.131 1.841 10.233 3.968 1.587 0.181 1.349 1.356 5.600 3.732 1.841 0.297 1.815 0.863 5.367 4.236 1.873 0.063 1.352 0.903 6.133 3.146 1.987 0.280 1.647 0.114 8.200 4.646 1.615 0.379 4.565 0.898 8.800 4.378 1.543 0.744 2.073 1.930
讲义3 多元线性回归模型：推断 主要内容： 1、推断的数学知识复习 2、Size，power的含义 3、OLS估计量的样本分布 4、单约束检验－t检验 5、多约束检验—F检验 对应教材内容：chapter2.5
自由度的概念 “自由度”是指当以样本的统计量来估计总体的参数时，样本中独立或能自由变化的数据的个数。 例：假设n 个独立变量Xi ~N(0,1)，那么)(~)...(2 2 2 22 1n X X X n χ+++； 随机向量的分布与数字特征 ● 协方差矩阵 设Y 是一个由多个随机变量组成的向量，即' 21),...,,(n Y Y Y Y =，那么 Y 的期望为 ??? ? ??????=??????????==n n Y E Y E Y E μμμ... )(...)()(11， Y 的协方差矩阵为 ?? ? ? ????? ?------=--=∑])[(... )] )([(......... )])([(...])[(] ))([(211112 11' n n n n n n Y E Y Y E Y Y E Y E Y Y E μμμμμμμμ 对于n 个随机变量的线性组合Y ' α，有 μ αααα' '11)()...(==++Y E Y Y E n n α αα∑=' ' )(Y Var ● 多变量的正态分布X ~N (μ,∑)，其中X 为n 维列向量，常被称为正态向量；μ为期望向量，∑为协方差矩阵。X 的密度函数为'1 /2 1/2 11()exp[()()](2) || 2 n f X x x μμπ-=- -∑-∑. ● 正态向量的线性函数 若),(~∑μN X ，那么 ),(~' A A b A N b AX ∑++μ ● 标准正态向量的二次型 若~(0,)n X N I ，A 是幂矩阵，那么))((~2 'A rank AX X χ。 特别地，)1(~)(2 1 20 '--= ∑ =n X X X M X n i i χ。 ● 幂矩阵二次型的独立性 设~(0,)n X N I ，A 和B 都是幂矩阵，那么如果0=AB 就有AX X ' 和BX X ' 就独立。