第13章 回归分析

第十三章 回归分析本节我们主要线性回归分析。

13.1一元线性回归分析在实际问题中我们常常要寻找存在于两个（或多个）变量之间的关系，它们之间有一定的关系，然而这种关系并不完全确定。

例如，正常人的血压与年龄有一定关系，一般讲年龄大的人血压相对地高一些，但是他们之间就不能用一个确定的函数关系式表达出来。

为了深入了解它们的关系，往往需要我们去寻找它们的数量表达式。

先看一个例子。

例1 测得某种物质在不同温度x 下吸附另一种物质的重量y 如下表所示： 温度x i (C 0) 1.5 1.8 2.4 3.0 3.5 3.9 4.4 4.8 5.0吸附量i y (mg)4.85.7 7.0 8.3 10.9 12.4 13.1 13.6 15.3表1如果我们重复做这些试验，在同一个温度x 下，所测得吸附另一种物质的重量y 也不完全一致。

把这9对数据画出散点图1，从图上我们发现随着温度x 的增加，吸附量y 也增加，且这些点)9,,2,1)(,( =i y x i i 近似在一条直线附近，但又不完全在一条直线上。

引起这些点),(i i y x 与直线偏离的原因有两个，其一是本身温度和吸附量存在的内在关系，其二是在温度i x 下观察吸附量i y 存在着一些不可控制的因素。

图1这样我们可以把观测结果y 看成是由两部分叠加而成的，一部分是由x 的线性函数引起的，记为x 10ββ+，其中x y 10ββ+=就是图1中显示的那条直线，246810121416180246吸附量温度10,ββ还需要估计；另一部分是由随机因素引起的，记为ε 。

即εββ++=x y 10 （1）由于我们把ε看成是随机误差，由中心极限定理知，假定ε服从),0(2σN 是合理的，这也就意味着假定),(~210σββx N y +， 其中，x y E 10)(ββ+= 。

在（1）中x 是一般变量，它可以精确测量或可以加以控制，y 是可观测其值的随机变量，10,ββ是未知参数，ε是不可观测的随机变量，假定ε服从),0(2σN 。

综上所述，我们得到一般的数学模型。

通过观测，获得了n 组独立的观测数据n i y x i i ,,2,1),,( =，则一元线性回归模型为⎩⎨⎧=++=),0(,,2,1,210σεεββN ni x y i i i i 独立同分布，均服从各 ， （2） 也可以简单地记为n y y y ,,,21 相互独立，且n i x N y i i ,,2,1),,(~210 =+σββ 。

当由观测值获得未知参数10,ββ的估计10ˆ,ˆββ后，得到的方程 x y 10ˆˆˆββ+= 称为y 关于x 的一元线性回归方程。

对于一元线性回归模型，我们要解决如下三个问题：（1）根据观测值),,2,1)(,(n i y x i i =去估计未知参数10,ββ，从而建立y 与x 的数量关系式（称为回归方程）。

（2）对以上得到的数量关系式的可信度进行统计检验。

（3）对某个x ，在一定的可靠度下来预测y 在什么区间中。

13.1.1参数10,ββ的最小二乘估计我们想找的回归方程x y 10ˆˆˆββ+=是要使观测值),,2,1)(,(n i y x i i =从整体上比较靠近它。

用数学的话来说就是要求观测值i y 与其拟合值ii x y 10ˆˆˆββ+=之间的偏差平方和达到最小。

设给定n 个点),,2,1)(,(n i y x i i =，x y 10ββ+=为一条直线， 记[]∑=+-=ni i ix yQ 121010)(),(ββββ (3)),(10ββQ 就是误差平方和，它反映全部的观测值与直线的偏离程度。

因此，),(10ββQ 越小，观测值与直线拟合得越好。

所谓的最小二乘法就是使),(10ββQ 达到最小的一种估计10,ββ的方法。

如果0ˆβ,1ˆβ满足 )(min)ˆ,ˆ(101010ββββββ，、Q Q ∞<<∞-=那么称0ˆβ,1ˆβ分别是0β,1β的最小二乘估计。

下面来求0β、1β的最小二乘估计。

由于),(10ββQ 是10,ββ的一个非负二元函数，故其极小值一定存在，根据微积分的理论知道只要求),(10ββQ 对10,ββ的一阶偏导数为0，即⎪⎪⎩⎪⎪⎨⎧=∂∂=∂∂====0),(0),(11001100ˆ,ˆ101ˆ,ˆ100ββββββββββββββQ Q ，⎪⎪⎩⎪⎪⎨⎧=---=---∑∑==n i ii i n i ii x x y x y 1101100)ˆˆ(20)ˆˆ(2ββββ ，整理后得⎪⎪⎩⎪⎪⎨⎧=+=+∑∑∑∑∑=====ni iini i ni i n i i n i i y xx x y x n 1112011110ˆ)(ˆ)(ˆ)(ˆββββ （4）通常称（4）为正则方程组，解之得⎪⎪⎪⎩⎪⎪⎪⎨⎧---=-=∑∑==ni i n i i i x x y y x x x y 121110)())((ˆˆβββ 其中∑==ni ixnx 11，∑==ni i y ny 11。

在具体计算时，常记∑∑∑===-=-=-=ni i ini ini ixx x x xxn xx xl 112212)()( （5）∑∑∑===-=-=-=ni i ini i ni iyy y y yyn y y yl 112212)()( （6）∑∑∑===-=-=--=ni i ini i ini i ixy y x xy x n y xy y x xl 111)())((（7）这样，0β,1β的最小二乘估计可以表示为⎪⎩⎪⎨⎧=-=xxxyl l x y 110ˆˆˆβββ 。

(8) 因此，可得到回归方程为)(ˆˆˆˆ110x x y x y -+=+=βββ ， (9)此回归方程在平面直角坐标系中必过)ˆ,0(0β与),(y x 两点。

例2 由例1的数据算得3667.3=x ，1222.10=y0980.13=xx l ，5196.114=yy l ，3843.38=xy l9303.20980.133843.38ˆ1===xxxy l l β2568.03667.39303.21222.10ˆˆ10=⨯-=-=x y ββ 回归方程为x y2.93030.2568ˆ+= 。

下面不加证明地罗列最小二乘估计的一些性质： （1）0ˆβ、1ˆβ分别是0β、1β的无偏估计。

（2）0ˆβ~))(,(2120σβxxni i nl x N ∑=, 1ˆβ~),(21xxl N σβ 。

（3）)ˆ,ˆ(21ˆ102ββQ n s -=是2σ的无偏估计。

13.1.2回归方程的显著性检验从求一元线性回归方程系数的最小二乘估计公式（8）式可知，不管y 与x 之间是否有线性关系，只要给出了n 对数据),,2,1)(,(n i y x i i =，总可由（8）式求出10ˆ,ˆββ，从而写出回归方程x y 10ˆˆˆββ+=，然而此方程不一定有意义。

那么，什么是一个有意义的回归方程呢？我们研究回归方程的目的是寻找y 与x 之间的统计规律性，即要找出)(y E 随x 变化的规律。

在一元线性回归中，1β反映了)(y E 随x 线性变化的变化率，若01=β，说明)(y E 不随x 作线性变化，那么我们给出的一元线性回归方程就没有意义，若01≠β，那么回归方程才有意义。

因而对回归方程作显著性检验就是要检验假设0:10=βH （10）是否为真。

我们注意到引起随机变量y 观测值n y y y ,,,21 不同的原因不外有二个，一是由于0H 不真，从而在x 的变化时引起)(y E 的线性变化，除此之外还有其它一切因素（包括在x 的变化时引起)(y E 非线性变化的部分）造成的随机误差所致。

记统计量∑=-=ni iy ySS 12)(，∑=-=ni iRy ySS12)ˆ(，∑=-=ni i iEyySS12)ˆ(，其中n i x y ii ,,1,ˆˆˆ10 =+=ββ。

i yˆ即是回归方程在i x x =处的值。

直观上看，∑=-=ni iy ySS 12)(反映了数据中因变量n y y y ,,,21 的波动；∑=-=ni i iE y ySS 12)ˆ()ˆ,ˆ(10ββQ =，其中)ˆ,ˆ(10ββQ 是当误差平方和),(10ββQ 达到最小时的值，从而E SS 反映了随机误差引起数据中因变量的波动；又由)(ˆˆ1x x y y ii -=-β知道， ∑=-=ni i Rx x SS1221)(ˆβ （11） 反映了由于回归系数1ˆβ的作用而引起数据中因变量的波动。

称SS 为总偏差平方和，称E SS 为残差平方和，称R SS 为回归平方和。

平方和分解公式：R E SS SS SS +=证明： ∑=-=ni iy ySS 12)(∑=-+-=ni i i iy y yy12))ˆ()ˆ(( ∑=-=ni i iyy12)ˆ(∑=-+ni iy y12)ˆ(∑=--+ni i i i y y yy 1)ˆ)(ˆ(2 R E SS SS +=∑=--+ni i i i y y yy 1)ˆ)(ˆ(2 其中∑=--ni i i iy y yy1)ˆ)(ˆ([][]y x x yini i i-+⋅+-=∑=)ˆˆ()ˆˆ(10110ββββ [][])(ˆ)(ˆ)(111x x x x y yini i i-⋅---=∑=ββ ⎥⎦⎤⎢⎣⎡----=∑∑==n i ni i i i x x x x y y 11211)(ˆ))((ˆββ)ˆ(ˆ11xxxy l l ββ-= 0=所以，R E SS SS SS += 。

从平方和分解公式看出，数据中因变量n y y y ,,,21 的波动可以分解为随机误差引起数据中因变量的波动和由于回归系数1ˆβ的作用而引起数据中因变量的波动。

我们从残差平方和E SS 与回归平方和R SS 的意义可知，回归效果的好坏取决于E SS 与的大小。

在SS 一定的条件下，R SS 越大E SS 越小，即线性部分起主要作用，则回归效果越好。

可以证明：在一元线R SS 性回归模型下，当0:10=βH 为真时，则 2σRSS ~)1(2χ，2σESS ~)2(2-n χ，且R SS 分别与E SS 相互独立。

从而)2,1(~)2()2(122--=-=n F n SSSS n SSSSF ERE R σσ。

若F 取的值较大时，表示R SS 相对较大，而E SS 相对较小，即y 与x 的线性关系起主导作用，可以认为x 与y 之间有线性关系；若F 取的值较小时，则 R SS 相对较小，而E SS 相对较大，即随机误差起主导作用，说明x 与y 之间没有线性关系。

通过以上分析可知，当0H 成立，即01=β时，F ~)2,1(-n F ，因此，在显著性水平α下，由)2,1(1->-n F F α决定了一个假设检验的拒绝域。