应用回归分析第四版课后习题答案_全_何晓群_刘文卿

实用回归分析第四版第一章回归分析概述回归模型中随机误差项ε的意义是什么答：ε为随机误差项，正是由于随机误差项的引入，才将变量间的关系描述为一个随机方程，使得我们可以借助随机数学方法研究y与x1,x2…..xp的关系，由于客观经济现象是错综复杂的，一种经济现象很难用有限个因素来准确说明，随机误差项可以概括表示由于人们的认识以及其他客观原因的局限而没有考虑的种种偶然因素。

线性回归模型的基本假设是什么答：线性回归模型的基本假设有：1.解释变量….xp是非随机的，观测值…..xip是常数。

2.等方差及不相关的假定条件为{E(εi)=0 i=1,2…. Cov(εi,εj)=｛σ^23.正态分布的假定条件为相互独立。

4.样本容量的个数要多于解释变量的个数，即n>p.第二章一元线性回归分析思考与练习参考答案一元线性回归有哪些基本假定答：假设1、解释变量X是确定性变量，Y是随机变量；假设2、随机误差项ε具有零均值、同方差和不序列相关性：E(εi)=0 i=1,2, …,nVar (εi)=2i=1,2, …,nCov(εi,εj)=0 i≠j i,j= 1,2, …,n假设3、随机误差项ε与解释变量X之间不相关：Cov(Xi , εi)=0 i=1,2, …,n假设4、ε服从零均值、同方差、零协方差的正态分布 εi ~N(0, 2) i=1,2, …,n证明（式），e i =0 ，e i X i =0 。

证明：∑∑+-=-=nii i ni X Y Y Y Q 121021))ˆˆ(()ˆ(ββ其中：即：e i =0 ，e i X i =0证明0ˆβ是β0的无偏估计。

证明：)1[)ˆ()ˆ(1110∑∑==--=-=ni i xxi ni i Y L X X X Y n E X Y E E ββ)] )(1([])1([1011i i xx i n i i xx i ni X L X X X n E Y L X X X n E εββ++--=--=∑∑==1010)()1(])1([βεβεβ=--+=--+=∑∑==i xxi ni i xx i ni E L X X X n L X X X n E 证明 证明：)] ()1([])1([)ˆ(102110i i xx i ni i xx i n i X Var L X X X nY L X X X n Var Var εβββ++--=--=∑∑== 222212]1[])(2)1[(σσxx xx i xx i ni L X n L X X X nL X X X n +=-+--=∑=证明平方和分解公式：SST=SSE+SSR证明：01ˆˆˆˆi i i i iY X e Y Y ββ=+=-())1()1()ˆ(222122xx ni iL X n X XX nVar +=-+=∑=σσβ()()∑∑==-+-=-=n i ii i n i i Y Y Y Y Y Y SST 1212]ˆ()ˆ[0100ˆˆQQββ∂∂==∂∂验证三种检验的关系，即验证： （1）21)2(r r n t --=；（2）2221ˆˆ)2/(1/t L n SSE SSR F xx ==-=σβ 证明：（1）ˆt ======（2）22222011111111ˆˆˆˆˆˆ()()(())(())nnnni i ii xx i i i i SSR y y x y y x x y x x L βββββ=====-=+-=+--=-=∑∑∑∑2212ˆ/1ˆ/(2)xx L SSR F t SSE n βσ∴===-g验证（）式：2211σ)L )x x (n ()e (Var xx i i ---=证明：112222222ˆˆˆvar()var()var()var()2cov(,)ˆˆˆvar()var()2cov(,())()()11[]2[]()1[1]i i i i i i i iiiii i xx xxi xxe y yy y y y y x y y x x x x x x n L n L x x n L βββσσσσ=-=+-=++-+---=++-+-=--其中：222221111))(1()(1))(,()()1,())(ˆ,(),())(ˆ,(σσσββxxi xx i ni i xxii i ni i i ii i i i L x x n L x x n y L x x y Cov x x y n y Cov x x y Cov y y Cov x x y y Cov -+=-+=--+=-+=-+∑∑==()()()∑∑∑===-+--+-=ni ii ni i i i ni iY Y Y Y Y Y Y Y 12112)ˆˆ)(ˆ2ˆ()()SSESSR )Y ˆY Y Y ˆn1i 2ii n1i 2i +=-+-=∑∑==用第9题证明2ˆ22-=∑n e iσ是2的无偏估计量证明：2221122112211ˆˆ()()()22()111var()[1]221(2)2n n i i i i n n i i i i xx E E y y E e n n x x e n n n L n n σσσσ=====-=---==----=-=-∑∑∑∑ 第三章1.一个回归方程的复相关系数R=，样本决定系数R 2=，我们能判断这个回归方程就很理想吗答：不能断定这个回归方程理想。

因为：1. 在样本容量较少，变量个数较大时，决定系数的值容易接近1，而此时可能F 检验或者关于回归系数的t 检验，所建立的回归方程都没能通过。

2. 样本决定系数和复相关系数接近于1只能说明Y 与自变量X1,X2,…,Xp 整体上的线性关系成立，而不能判断回归方程和每个自变量是显著的，还需进行F 检验和t 检验。

3. 在应用过程中发现，在样本容量一定的情况下，如果在模型中增加解释变量必定使得自由度减少，使得 R 2往往增大，因此增加解释变量（尤其是不显著的解释变量）个数引起的R 2的增大与拟合好坏无关。

21ˆˆ*,1,2,...,)jj yynjj j i L j pL L X β====-∑jji j 其中: (X2.被解释变量Y 的期望值与解释变量k X X X ,,,21Λ的线性方程为：01122()k k E Y X X X ββββ=++++L (3-2)称为多元总体线性回归方程，简称总体回归方程。

对于n 组观测值),,2,1(,,,,21n i X X X Y ki i i i ΛΛ=，其方程组形式为：01122,(1,2,,)i i i k ki i Y X X X i n ββββμ=+++++=L L(3-3) 即⎪⎪⎩⎪⎪⎨⎧+++++=+++++=+++++=nkn k n n n k k k k X X X Y X X X Y X X X Y μββββμββββμββββΛΛΛΛΛ2211022222121021121211101 其矩阵形式为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡n Y Y Y M 21=⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡kn n nk k X X X X X X X X X ΛM M M M M ΛΛ212221212111111⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡k ββββM 210+⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡n μμμM 21 即=+Y X βμ(3-4) 其中=⨯1n Y ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡n Y Y Y M 21为被解释变量的观测值向量；=+⨯)1(k n X ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡kn n nk k X X X X X X X X X ΛM M M M M ΛΛ212221212111111为解释变量的观测值矩阵；(1)1k +⨯=β⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡k ββββM 210为总体回归参数向量；1n ⨯=μ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡n μμμM 21为随机误差项向量。

多元回归线性模型基本假定：课本P57第四章简述用加权最小二乘法消除一元线性回归中异方差性的思想与方法。

答：普通最小二乘估计就是寻找参数的估计值使离差平方和达极小。

其中每个平方项的权数相同，是普通最小二乘回归参数估计方法。

在误差项等方差不相关的条件下，普通最小二乘估计是回归参数的最小方差线性无偏估计。

然而在异方差的条件下，平方和中的每一项的地位是不相同的，误差项的方差大的项，在残差平方和中的取值就偏大，作用就大，因而普通最小二乘估计的回归线就被拉向方差大的项，方差大的项的拟合程度就好，而方差小的项的拟合程度就差。

由OLS 求出的仍然是的无偏估计，但不再是最小方差线性无偏估计。

所以就是：对较大的残差平方赋予较小的权数，对较小的残差平方赋予较大的权数。

这样对残差所提供信息的重要程度作一番校正，以提高参数估计的精度。

加权最小二乘法的方法：220111ˆˆˆ()()N Nw i i i i i ii i Q w y y w y x ββ===-=--∑∑22__1_2__02222()()ˆ()ˆ1111,i i Nw iii w i wi www w w kx i ii imi i i miw xx y y x x y x w kx x kx w x σβββσσ==---=-=====∑∑1N i =11表示=或简述用加权最小二乘法消除多元线性回归中异方差性的思想与方法。

答：运用加权最小二乘法消除多元线性回归中异方差性的思想与一元线性回归的类似。

多元线性回归加权最小二乘法是在平方和中加入一个适当的权数i w ，以调整各项在平方和中的作用，加权最小二乘的离差平方和为：∑=----=ni ip p i i i p w x x y w Q 1211010)( ),,,(ββββββΛΛ（2）加权最小二乘估计就是寻找参数p βββ,,,10Λ的估计值pw w w βββˆ,,ˆ,ˆ10Λ使式（2）的离差平方和w Q 达极小。

所得加权最小二乘经验回归方程记做ppw w w w x x y βββˆˆˆˆ110+++=Λ （3） 多元回归模型加权最小二乘法的方法:首先找到权数i w ，理论上最优的权数i w 为误差项方差2i σ的倒数,即21ii w σ=（4）误差项方差大的项接受小的权数，以降低其在式（2）平方和中的作用; 误差项方差小的项接受大的权数，以提高其在平方和中的作用。

由（2）式求出的加权最小二乘估计pw w w βββˆ,,ˆ,ˆ10Λ就是参数p βββ,,,10Λ的最小方差线性无偏估计。

一个需要解决的问题是误差项的方差2i σ是未知的,因此无法真正按照式（4）选取权数。

在实际问题中误差项方差2i σ通常与自变量的水平有关(如误差项方差2i σ随着自变量的增大而增大),可以利用这种关系确定权数。