应用数理统计 叶慈南 第五章1

第五章回归分析§5.1 一元线性回归在自然界的现象中，同一过程中的各种变量之间往往存在着一定的关系，这种关系大致可以分为两类：确定性关系例如电路中的电压V、电阻R和电流I三者之间服从欧姆定律V=IR只要知道其中两个变量的值，另一个变量的值就唯一确定了．相关关系例如人的年龄、身高、体重和血压之间也存在一定的关系，一般来说年龄大的、体重重的人血压也要相应的高一些，但这种关系并不是确定的，因为即使年龄和体重都相同的人，其血压也不一定相同．又如在土地和耕作条件相同的条件，每亩的施肥量、播种量与农作物的产量之间也存在一定的关系，一般来说施肥量、播种量适当时产量较高，同样这种关系也不是确定的，具有某种随机性，变量之间这种不确定性关系在社会现象和自然现象中普遍存在，其原因主要是由于一些随机因素的干扰和测量上的误差，我们称变量之间的这种不确定关系为相关关系．回归分析就是分析和处理这些具有相关关系的变量之间关系的一种有效方法．在研究具有相关关系的变量之间的关系时，往往要考虑一些变量的变化对另一些变量的影响，这其中的一些变量就相当于通常函数中的自变量，对它们能赋予一个需要的值（如施肥量、播种量）或能取到一个可观测但不能人为控制的值（如年龄、身高），这类变量称为自变量（预报变量），而因自变量变化而变化的这类变量称为因变量（响应变量）．“回归”一词是英国统计学家高尔顿（P.Galton 1882-1911）在1889年发表的关于遗传的论文中首先应用的．他在研究前辈与后代身高之间的关系时，发现儿子的身高介于父亲身高与种族（父辈）平均身高之间，有回归于种族平均身高的趋势．后来他的朋友，英国著名统计学家K.Pearson等人搜集了上千个家庭成员的身高数据，分析出儿子的身高y与父亲的身高x大致可归结为以下关系：y = 0.516 x +33.73 (英寸)从而进一步证明了Galton的回归定律．这就是“回归”一词最早在遗传学上的含义．发展到今天，回归的现代意义要比原始的意义广泛的多．在回归分析中要研究的主要问题是：(1)确定因变量（响应变量）和自变量（预报变量）之间的定量关系表达式即建立回归模型．(2)对回归模型进行检验．(3)从众多的自变量中选择出对因变量影响显著的自变量．(4)利用所建立的回归模型进行预测和控制．§5.1 一元线性回归我们先从最简单的情况开始讨论，只考虑一个因变量y和一个自变量x之间的关系．一．一元线性回归模型我们先看一个例子．例5.1.1为研究某种物质在水中的溶解度（y）和温度（x）的关系，独立作了11组试验，记录数据如下：表5.1.1为了直观起见，可以x为横坐标，y为纵坐标，作上述数据的平面散点图（图5-1），每一数据对（x i，y i）为x-y坐标系中的一个点，(i =1，2，…，11)．图5-1从图上可以看出①溶解度（y）基本随温度（x）升高而增加；②点分布在某一直线两侧，不全在直线上，从而可以认为y与x大致成直线关系，这些点与直线的偏离是由其他一些不确定的因素的影响所造成的．因此可以假设y 与 x 满足以下关系：y = β0 +β1x +ε （5.1.1） 其中β0+x β1为y 随x 线性变化的部分，β0 和β1是未知待估计的参数；ε是许多不可控或不了解的随机因素的总和，所以是不可观测的随机变量，但为了估计上的方便，通常假定E ε= 0 D ε= σ2＜∞ 未知 （5.1.2） y 是可观测的随机变量．一般，称由（5.1.1）和（5.1.2）所确定的模型为一元线性回归模型．记为⎩⎨⎧==++=σεεεββ210,0D E x y （5.1.3） 未知参数β0为常数项，β1称为回归系数，自变量x 称为回归变量．显然有E y = β0 +β1x （5.1.4）（5.1.4）称为回归函数．注意：这里我们说一个模型是线性的，是指它关于参数（β0和β1）是线性的，模型中自变量的最高次幂为该模型的阶，如 y = β0 +β1x +β2x 2+ε是一个二阶（x 的）线性（对β0，β1，β2）回归模型． 若利用试验数据求出β0和β1的估计值β∧0和β∧1，于是有y ∧=β∧0+β∧1x （5.1.5）y ∧为由估计值β∧和β∧1确定后对给定的x 值相应y 的回归值（预报值）．（5.1.5）称为 回归方程（预报方程）．其对应的直线称为回归直线（预报直线）．图5-2二．β0和β1的最小二乘估计及其性质设有n 组独立的样本观测值（x i ，y i ）(i = 1,2,…, n )，由（5.1.3）有⎩⎨⎧==++=σεεεββ210,0i i ii i D E x y i = 1,2,…, n ，εεεn ,,,21 相互独立．（5.1.6）称为样本回归模型． 1．β0和β1的最小二乘估计如何利用样本数据求出β0和β1的估计值β∧0和β∧1呢？一个最直观的想法就是在散点图上确定一条直线l ：β0+β1x ，使得所有的点总的看来最接近这条直线．这时将直线l 的截距β0的取值与斜率β1的取值，作为β0和β1的估计值β∧0和β∧1是比较合适的．所谓所有的点总的看来最接近这条直线的含义即可以认为是使得Q (β0，β1) =∑=n i i 12ε=()∑-=ni i i y E y 12=()∑--=n1102i i i x y ββ达到最小．求出使函数Q (β0，β1)达到最小的β0，β1 的值，作为β0和β1的估计值β∧0和β∧1．即β∧0和β∧1应满足Q (β∧0，β∧1)=),(min 1010ββββQ R∈则称β∧0和β∧1为β0和β1的最小二乘估计（L.S 估计）．由Q (β0，β1)是β0，β1的二元函数，要使Q 达到最小值，必要条件是β0，β1满足⎪⎪⎩⎪⎪⎨⎧=--∑-=∂∂=--∑-=∂∂==0)(20)(210111010x i x i i y i Q x i y i Qn n i ββββββ 即⎪⎩⎪⎨⎧∑=⎪⎭⎫ ⎝⎛∑+=+==n i i i n i i y x x x n y n x n n 1112010ββββ （5.1.9） 其中x =∑=n i i x n 11，y =∑=ni i y n 11，（5.1.9）称为正规方程组． 由正规方程组解得⎩⎨⎧-==x y l l xxxy βββ101/ （5.1.10） 其中 =l xx ∑-=ni x x i 12)(，=l xy )()(1y y x x i ni i -∑-=，因为⎪⎭⎫ ⎝⎛∂∂ββ122Q － β022∂∂Q β122∂∂Q =()x n 22－2n ×2∑=n i x i 12= －-4 n l xx ＜0及β022∂∂Q=2n ＞0所以（5.1.9）的解β∧0，β∧1使Q 取到最小值．于是β0和β1的最小二乘估计为⎪⎩⎪⎨⎧∧-=∧=∧xy l l xxxy βββ101/（5.1.11）由（5.1.11）式可得 x y ββ∧+∧=10，说明由最小二乘估计得到的回归直线过样本均值),(y x ．下面我们利用（5.1.11）式来计算例5.1.1中的回归直线．由表5.1.1的数据算得∑=111i i x =275，x =25，∑=1112i x i =9625，∑=111i i y = 258.1，y =23.4636，y x i i i ∑=111=7552.5=l xx ∑-=1112)(i x x i =∑=1112i x i －11x 2= 9625-6875=2750=l xy )()(1y y x x i n i i -∑-==y x i i i ∑=111－11x y =7552.5-6452.49=1100⎪⎩⎪⎨⎧=⨯-=∧-=∧===∧46.13254.04636.234.02750/1100/101x y l l xx xy βββ 回归方程为x y 4.046.13+=∧2．最小二乘估计的统计性质性质1.β∧0和β∧1分别是y y y n ,,,21 的线性组合．证：β∧1=l l xxxy =∑--∑-==ni i ni i x x y y x x i 121)()()(=y x x x x i ni ni i i .)()(121∑-∑-===y b i ni i ∑=1（5.1.12） 其中b i =∑--=ni i x x xx i 12)(=l xx xxi - β∧0= y －x β∧1=n 1∑=ni i y 1－x y b i n i i ∑=1=)1(1b x n i n i ∑-=y i =y c in i i ∑=1（5.1.13） 其中c i =)1(1b x ni n i ∑-=性质2.E (β∧0) = β0， E (β∧1) = β1（5.1.14）D (β∧0) = )1(22l x n xx +σ，D (β∧1) = l xx σ2 ，Cov (β∧0,β∧1)=－x l xxσ2证：由模型（5.1.3）知 E ε= 0 D ε= σ2则有E （y i ）= β0 +β1x i D （y i ）=σ2 再由性质（1）有E β∧1= E （y b i ni i ∑=1）= E （l y x x xxni ii ∑-=1)(）= l x x x xxni i i ∑+-=110))((ββ=l x x xxn i i ∑-=10)(β+l x x x xxni i i ∑-=11)(β=l x x xxni i ∑-=121)(β=β1（注意到：∑--=∑-==ni i i ni i i x x x x x x x 11))(()(）E β∧0= E （y －x β∧1）= E y －x E β∧1=n 1∑+=ni i x 110)(ββ－x β1 = β0+x β1－x β1=β0D (β∧1) = D ⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡∑-=l y x x xx n i i i 1)(=σ2212)(l x x xx i ni ∑-==l xx σ2 D (β∧) = D (y －x β∧1)= D y +x 2D (β∧1)－2x Cov (y ,β∧1)=σσ22211l x n xx+=)1(22l x n xx +σ由此性质可得：（1）E y ∧= E y 即预报值y ∧的均值等于相应的观测值y 的均值．（2）β0与β1的估计值波动的大小不仅与y 的方差σ2有关，而且还与预报变量x 取值的离散程度有关，x 取值分散，则β∧0与β∧1作为β0与β1估计值较精确，反之，若x 在x 的一个较小范围内取值，则β∧0与β∧1作为β0与β1估计值精确度较差．因此若x 是可控变量时，则在安排实验时x i (i = 1,2,…, n )应取得尽可能的分散，并且n 不能太小．3．σ2的无偏估计由于β∧0与β∧1作为β0与β1估计值的精确度与y 的方差σ2有关，而σ2是未知的，所以下面给出σ2的无偏估计记 e i = y i -y i ∧= β∧0-β∧1x i 称为残差，∑=ni e i 12为残差平方和或剩余平方和，记作Q e =∑=ni e i 12．取 σ2∧=2-n Q e =212-∑=n e ni i，则σ2∧为σ2的无偏估计． 因为在模型（5.1.3）下，∑=ni e i 12有性质E （Q e ）=（n -2）σ2 （5.1.15） 证Q e =∑=ni e i 12=∑-=∧ni y y i i 12)(=∑--=∧∧ni x y i i 1102)(ββ=∑-+-=∧ni x x y y i i 112)](([β=∑-=ni y y i 12)(- 2 β∧1)()(1y y x x i ni i -∑-=+β∧21∑-=ni x x i 12)( =∑-=ni y y i 12)(- 2 β∧1l xy +β∧21l xx =∑-=ni y y i 12)(- β∧21l xx E （Q e ）= E ∑-=ni y y i 12)(- l xx E (β∧21)= E ∑-=ni y n y i 122)(-l xx E (β∧21)= ∑-=ni y nE y E i 122)()(-l xx E (β∧21)= [][]∑+=ni i y E y D i 12)()([][])()(2y E y D n +--lxx⎥⎦⎤⎢⎣⎡⎥⎦⎤⎢⎣⎡+∧∧)()(121ββE D= []∑++=n i x i 11022)(ββσ－⎥⎦⎤⎢⎣⎡++)(1022x n n ββσ－l xx ⎥⎦⎤⎢⎣⎡+βσ122l xx =（n -2）σ2+∑+=ni x i 1102)(ββ－)(102x n ββ+－l xx β12=（n -2）σ2+β12∑-=ni x n x i 122)(－l xx β12=（n -2）σ2E （Q e ）= E （212-∑=n e ni i）=σ2因此 σ2∧=2-n Q e= 212-∑=n e ni i为σ2的无偏估计．三. 回归方程的显著性检验1．方程的显著性检验若变量x ，y 之间存在线性关系y = β0 +β1x +ε，则β1≠0 ，因此检验变量x ，y 之间是否真正存在线性关系的问题可化为对假设H 0：β1= 0； H 1：β1≠0作显著性检验，若拒绝H 0，则认为变量x ，y 之间存在线性关系，所求出的回归方程有意义；若不拒绝H 0，则认为变量x ，y 之间不存在线性关系，自然也就不能用一元线性回归模型来描述，所得回归方程也就无意义．为了进行检验，首先对模型（5.1.3）进一步假定 ε～N (0，σ2)，于是模型（5.1.6）改为⎩⎨⎧++=),0(210σεεββN x y i ii i ～ i = 1,2,…, n ，εεεn ,,,21 相互独立（5.1.16）在模型（5.1.16）下有如下定理 定理5.1.1（1）β∧0～ N (β0 ，)1(22l x n xx+σ) （5.1.17）（2）β∧1～ N (β1，l xxσ2) （5.1.18）（3）σ2Q e=σ212∑=ni e i～χ2（n －2） （5.1.19）（4）y ，β∧1，∑=ni e i 12相互独立．证：由性质1，β∧0和β∧1分别是服从正态分布的随机变量y y y n ,,21的线性组合，故β∧0和β∧1服从正态分布，再由性质2即得到（1）与（2）．由式（5.1.16）可得),(210σββx N y i i +～ (i = 1,2,…, n )将上式写成矩阵形式为),(210I X I N Y n σββ+～ 其中 I = )1,,1,1('Y = ),,,(21'y y y nX = ),,,(21'x x x nI n为n 阶单位阵． 构造n 阶正交矩阵A ，其中第1，2行分别为 (n1，n1，…，n1)(l x x xx-1，l x x xx-2，…，l x x xxn -)作正交变换 Z = A Y Z = (z z z n ,,,21 )’ 则有),(210I AX AI N Z n σββ+～其中AX AI ββ10+=（0,,0,),(110 l x n xx βββ+）’ 因此z z z n ,,,21 相互独立，且有),)((2101σββx n N z +～，),(212σβl N z xx ～),0(2σN z i ～ (i = 3,4,…, n )又因 z 1= y n ，z 2=y x x l i n i i xx )(11∑-==l xx β∧1所以∑=ni e i 12=∑-=ni y y i 12)(－β∧21l xx = ∑=ni y i 12－)(2y n －)(12β∧l xx=∑=ni z i 12－z 12－z 22=∑=ni z i 32故有 σ212∑=ni e i～χ2（n －2）由于z z z n ,,,21 相互独立，且z 1=y n ，z 2=l xx β∧1，∑=ni e i 12=∑=ni z i 32则有y ，β∧1，∑=ni e i 12相互独立．为引入合适的检验统计量，介绍如下平方和分解公式：l yy = U +Q e （5.1.20）其中l yy = ∑-=ni y y i 12)( 称为 总偏差平方和U = ∑-=∧ni y y i 12)(称为 回归平方和．Q e = ∑-=∧ni y y ii 12)(称为 残差平方和．恒等式 y y i -=（y y ii ∧-）+（y y i-∧）的几何意义如图4-2，由其出发有∑-=ni y y i 12)(=∑-+-=∧∧ni y y y y i i i 12)]()([=∑-=∧ni y y i i 12)(+∑-=∧ni y y i 12)(+2∑--=∧∧ni i i i y y y y 1))((=∑-=∧ni y y i i 12)(+∑-=∧ni y y i 12)(其中交叉项∑--=∧∧ni i i i y y y y 1))((=)()]()[(1y y y y y y i ni i i -∑---∧∧==)()]()[(111x x x x y y i ni i i -∑---∧∧=ββ=β∧1l xy －β∧21l xx = β∧1l xy －β∧1l l xxxy l xx= 0图5-2平方和分解公式（5.1.20）说明总的偏差平方和l yy 可以分为两个部分，一部分是Q e ，是由实际观测值y i 与回归值y i∧的偏差即残差所引起的，另一部分U 是由回归直线所引起的．当U 越大时Q e 就越小，则y 与 x 之间的线性关系就越显著，反之y 与 x 之间的线性关系不显著．因此，可考虑当U/Q e 的值较大时,则认为y 与 x 之间的线性关系较显著．事实上，当H 0成立时，由定理5.1.1知β∧1～N (0，l xxσ2) ，由此得σβl xx∧1～N (0，1)，从而有σ2U=σβ221l xx ∧～χ2（1）由定理5.1.1又知 σ212∑=n i e i=σ2Q e～χ2（n －2），且U 与Q e 独立，从而有σ2U与σ2Q e独立．因此，由F -分布的定义知，当H 0成立时，统计量F =)2/(-n Q Ue ～F （1，n -2） （5.1.21）由前面的分析可知，当F 值较大时，则认为y 与 x 之间的线性关系较显著，即应拒绝H 0，则由（5.1.22）式，可给出如下判别法则：对给定的显著性水平α，当F ＞)2,1(1--n F α时，拒绝H 0，否则就不能拒绝H 0．在实际作检验时，通常将此检验过程用表 5.1.2的形式给出，表5.1.2称为方差分析表．表5.1.2一元正态线性模型的方差分析表若经过检验拒绝了H 0，也可称回归系数β∧1的效果是显著的；否则，称回归系数β∧1的效果不显著．此时y 与 x 的关系可能有如下几种情况：（1）x 对y 无显著影响，应丢弃x 这个自变量，进而考虑其它自编量；（2）x 对y 有显著影响，但这种影响不是线性的，应考虑非线性回归；（3）除了x 外还有其它自变量对y 有显著影响，从而减弱了x 对y 的影响程度，这时应考虑采用多元线性回归．2．样本相关系数和判定系数（拟合优度）若拒绝了H 0，即y 与 x 之间的线性关系是显著的，我们可用样本相关系数r =l l l yyxx xy （5.1.22）来刻划y 与 x 之间的线性关系的密切程度．比较（5.1.23）式与β∧1=l l xxxy ，得r 与β∧1的符号一致。