应用回归分析_第2章课后习题参考答案

一元线性回归模型有哪些基本假定

答：1. 解释变量 1x,,2x,px是非随机变量，观测值,1ix,,2ixipx是常数。

2. 等方差及不相关的假定条件为

jinjijiniEjii,0),,2,1,(,),cov(,,2,1,0)(2

这个条件称为高斯-马尔柯夫(Gauss-Markov)条件，简称G-M条件。在此条件下，便可以得到关于回归系数的最小二乘估计及误差项方差2估计的一些重要性质，如回归系数的最小二乘估计是回归系数的最小方差线性无偏估计等。

3. 正态分布的假定条件为

相互独立niniN,,,,,2,1),,0(~212

在此条件下便可得到关于回归系数的最小二乘估计及2估计的进一步结果，如它们分别是回归系数的最及2的最小方差无偏估计等，并且可以作回归的显著性检验及区间估计。

4. 通常为了便于数学上的处理，还要求,pn及样本容量的个数要多于解释变量的个数。

在整个回归分析中，线性回归的统计模型最为重要。一方面是因为线性回归的应用最广泛；另一方面是只有在回归模型为线性的假设下，才能的到比较深入和一般的结果；再就是有许多非线性的回归模型可以通过适当的转化变为线性回归问题进行处理。因此，线性回归模型的理论和应用是本书研究的重点。

1. 如何根据样本),,2,1)(;,,,(21niyxxxiipii求出p,,,,210及方差2的估计;

2. 对回归方程及回归系数的种种假设进行检验；

3. 如何根据回归方程进行预测和控制，以及如何进行实际问题的结构分析。

考虑过原点的线性回归模型

nixyiii,,2,1,1误差n,,,21仍满足基本假定。求1的最小二乘估计。

答：niniiiixyyEyQ1121121)())(()(

nininiiiiiiixyxxxyQ111211122)(2

令,01Q即niniiiixyx11210

解得,ˆ1211niiniiixyx即1ˆ的最小二乘估计为.ˆ1211niiniiixyx

证明： Q (0，1)= ∑(yi-0-1xi)2

因为Q (0,1)=min Q (0,1 )

而Q (0,1 ) 非负且在R2上可导,当Q取得最小值时，有

即-2∑(yi-0-1xi)=0 -2∑(yi-0-1xi) xi=0

又∵ei=yi-( 0+1xi)= yi-0-1xi ∴∑ei=0，∑eixi =0

（即残差的期望为0，残差以变量x的加权平均值为零）

解：参数β0，β1的最小二乘估计与最大似然估计在εi~N(0, 2 ) i=1,2，……n的条件下等价。

证明：因为niNi,.....2,1),,0(~2

所以),(~2110110XXYNii

其最大似然函数为

已知使得Ln（L）最大的0ˆ，1ˆ就是0，1的最大似然估计值。

即使得下式最小 ： niiiniXYYYQ121021))ˆˆ(()ˆ( ①

因为①恰好就是最小二乘估计的目标函数相同。

所以，在niNi,.....2,1),,0(~2 的条件下， 参数β0，β1的最小二})],([21exp{)2()(),,(2010122/21210iininiiniXYYfL2010122210)],([21)2ln(2)},,({iiniXYnLLn0100ˆˆQQ

乘估计与最大似然估计等价。

.证明0是0的无偏估计。

证明：若要证明0是0的无偏估计，则只需证明E(0)=0。

因为0，1的最小二乘估计为xyLLxxxy101/

其中22222)(1)(1))((iiiixxiiiiiiiixyxnxxnxxxLyxnyxyxnyxyyxxL

E(0ˆ)=E(xy1ˆ)=E(niixxiniiyLxxxyn111)=E[niixxiyLxxxn1)1(]

=E[niiixxixLxxxn110))(1(]

=E(nixxiLxxxn10)1()+E(niixxixLxxxn11)1()+E(niixxiLxxxn1)1()

其中

nixxiLxxxn10)1(=nixxiLxxxn10)1(=))(1(10niixxxxLxnn

由于niixx1)(=0，所以nixxiLxxxn10)1(=0

niixxixLxxxn11)1(=niixxiixLxxxnx11)(=))((11niiixxxxxLxx

=)-)(((11niiixxxxxxLxx)=)(1xx=0

又因为一元线性回归模型为),0(210Nxyiiii独立同分布，其分布为各

所以E(i)=0所以

E(nixxiLxxxn10)1()+E(niixxixLxxxn11)1()+E(niixxiLxxxn1)1(

=)0()(0EE niixxiELxxxn1)()1(

=0

所以0是0的无偏估计。

解：因为niiyny11 ①，xy10 ②，yLxinixxix11 ③

联立 ①②③式，得到yLxinixxixxn10)1(。

])1([)(10yLxinixxixxnVarVar)(1])1[(2yLxxxniVarnixxi

2122]2(1[)nixxinLxLxxxnxxxxi

因为nixxxxLi12)(，0)(1niixx，所以212122120])(21[)()()(nLxLxxxnxxniininixxxxiVar

22)(1Lxxxn2122)()(1nixxxin

证明平方和分解公式：SST=SSE+SSR

证明：

验证三种检验的关系，即验证： niiiniiyiyyyyySST1212]ˆ()ˆ[niiiniiiiniiyyyyyyyy12112)ˆˆ)(ˆ2ˆSSESSRyyyyniiinii1212)ˆˆ

（1）21)2(rrnt；（2）2221ˆˆ)2/(1/tLnSSESSRFxx

证明：（1）因为2-n22SSESSRLxx和，所以

SSTSSESSTSSRnSSESSRnnSSEtLLxxxx）（）（22222

又因为SSTSSRr2，所以SSTSSESSTSSRSSTr21

故 21)2(rrnt得证。

（2）

22222011111111ˆˆˆˆˆˆ()()(())(())nnnniiiixxiiiiSSRyyxyyxxyxxL2212ˆ/1ˆ/(2)xxLSSRFtSSEn

验证（）式：

2xx2iLx-xei-n1-1var）（

证明：），（）（）（）（）（yyyyyyeiiiiiiicov2-varvar-varvar

))x-ycov2varvarxyxyi1ii10i（，（）（）（

LxxLxxin)()(22xx22212in1xx

2xx2x-xin11L

其中： xycovxyi1i，

x-covycovxyyi1ii，，

n1iixxiiin1iiiyxyxyyx-covx-n1covL，，

222n1Lxxxxi

22n1Lxxxxi

注：各个因变量yyyn......21，是独立的随机变量

),cov()var()var()var(YXYXYX2

用第9题证明2-nie22是2的无偏估计量

证明：n1i22yyii2-n1EE

n1i2ei2-n1E

niie12-n1var

2n1ixx2Lx-xi-n1-12-n1

222-n1n

2

注：)()()var(XEXEX22

验证22nFFr

证明：

)2(*)2(nSSESSRnSSESSRF所以有FnSSRSSE)2(

2)2(11112nFFFnSSRSSESSESSRSSRSSTSSRr

以上表达式说明r ²与F 等价，但我们要分别引入这两个统计量，而不是只引入其中一个。理由如下：

①r ²与F，n都有关，且当n较小时，r较大，尤其当n趋向于2时，|r|趋向于1，说明x与y的相关程度很高；但当n趋向于2或等于2时，可能回归方程并不能通过F的显著性检验，即可能x与y都不存在显著的线性关系。所以，仅凭r较大并不能断定x与y之间有密切的相关关系，只有当样本量n较大时才可以用样本相关系数r判定两变量间的相关程度的强弱。

② F检验检验是否存在显著的线性关系，相关系数的

显著性检验是判断回归直线与回归模型拟合的优劣，只有二者结合起来，才可以更好的回归结果的好坏。

如果把自变量观测值都乘以2，回归参数的最小二乘法估计0ˆ和1ˆ会发生什么变化如果把自变量观测值都加上2，回归参数的最小二乘估计0ˆ和1ˆ会发生什么变化

解:

解法（一）：我们知道当01iiiyx，01()iEyx时，用最小二乘法估计的0ˆ和1ˆ分别为⑴当2iixx时