下载文档原格式
第四章 多元线性回归模型在一元线性回归模型中，解释变量只有一个。
但在实际问题中，影响因变量的变量可能不止一个，比如根据经济学理论，人们对某种商品的需求不仅受该商品市场价格的影响，而且受其它商品价格以及人们可支配收入水平的制约；影响劳动力劳动供给意愿（用劳动参与率度量）的因素不仅包括经济形势（用失业率度量），而且包括劳动实际工资；根据凯恩斯的流动性偏好理论，影响人们货币需求的因素不仅包括人们的收入水平，而且包括利率水平等。
当解释变量的个数由一个扩展到两个或两个以上时，一元线性回归模型就扩展为多元线性回归模型。
本章在理论分析中以二元线性回归模型为例进行。
一、预备知识（一）相关概念对于一个三变量总体，若由基础理论，变量21,x x 和变量y 之间存在因果关系，或21,x x 的变异可用来解释y 的变异。
为检验变量21,x x 和变量y 之间因果关系是否存在、度量变量21,x x 对变量y 影响的强弱与显著性、以及利用解释变量21,x x 去预测因变量y ，引入多元回归分析这一工具。
将给定i i x x 21,条件下i y 的均值i i i i i x x x x y E 2211021),|(βββ++= （4.1） 定义为总体回归函数（Population Regression Function,PRF ）。
定义),|(21i i i i x x y E y -为误差项（error term ）,记为i μ，即),|(21i i i i i x x y E y -=μ，这样i i i i i x x y E y μ+=),|(21，或i i i i x x y μβββ+++=22110 （4.2）（4.2）式称为总体回归模型或者随机总体回归函数。
其中，21,x x 称为解释变量（explanatory variable ）或自变量（independent variable ）；y 称为被解释变量（explained variable ）或因变量（dependent variable ）；误差项μ解释了因变量的变动中不能完全被自变量所解释的部分。
第4章违背基本假设的情况思考与练习参考答案4.1 试举例说明产生异方差的原因。
答：例4.1：截面资料下研究居民家庭的储蓄行为Y i=β0+β1X i+εi其中：Y i表示第i个家庭的储蓄额，X i表示第i个家庭的可支配收入。
由于高收入家庭储蓄额的差异较大，低收入家庭的储蓄额则更有规律性，差异较小，所以εi的方差呈现单调递增型变化。
例4.2：以某一行业的企业为样本建立企业生产函数模型Y i=A iβ1K iβ2L iβ3eεi被解释变量：产出量Y，解释变量：资本K、劳动L、技术A，那么每个企业所处的外部环境对产出量的影响被包含在随机误差项中。
由于每个企业所处的外部环境对产出量的影响程度不同，造成了随机误差项的异方差性。
这时，随机误差项ε的方差并不随某一个解释变量观测值的变化而呈规律性变化，呈现复杂型。
4.2 异方差带来的后果有哪些？答：回归模型一旦出现异方差性，如果仍采用OLS估计模型参数，会产生下列不良后果：1、参数估计量非有效2、变量的显著性检验失去意义3、回归方程的应用效果极不理想总的来说，当模型出现异方差性时，参数OLS估计值的变异程度增大，从而造成对Y的预测误差变大，降低预测精度，预测功能失效。
4.3 简述用加权最小二乘法消除一元线性回归中异方差性的思想与方法。
答：普通最小二乘估计就是寻找参数的估计值使离差平方和达极小。
其中每个平方项的权数相同，是普通最小二乘回归参数估计方法。
在误差项等方差不相关的条件下，普通最小二乘估计是回归参数的最小方差线性无偏估计。
然而在异方差的条件下，平方和中的每一项的地位是不相同的，误差项的方差大的项，在残差平方和中的取值就偏大，作用就大，因而普通最小二乘估计的回归线就被拉向方差大的项，方差大的项的拟合程度就好，而方差小的项的拟合程度就差。
由OLS 求出的仍然是的无偏估计，但不再是最小方差线性无偏估计。
所以就是：对较大的残差平方赋予较小的权数，对较小的残差平方赋予较大的权数。
第四章 方差分量线性回归模型本章考虑的线性模型不仅有固定效应、随机误差，而且有随机效应。
我们先从随机效应角度理解回归概念，导出方差分量模型，然后研究模型三种主要解法。
最后本章介绍关于方差分量模型的两个前沿研究成果，是作者近期在《应用数学学报》与国际数学杂志《Communications in Statistics 》上发表的。
第一节 随机效应与方差分量模型一、随机效应回归模型前面所介绍的回归模型不仅都是线性的，而且自变量看作是固定效应。
我们从资料对npi i i X X Y 11},,{ 出发建立回归模型，过去一直是把Y 看作随机的，X 1，…，X p 看作非随机的。
但是实际上，自变量也经常是随机的，而并不是我们可以事先设计好的设计矩阵。
我们把自变量也是随机变量的回归模型称为随机效应回归模型。
究竟一个回归模型的自变量是随机的还是非随机的，要视具体情况而定。
比如一般情况下消费函数可写为)(0T X b C C（4.1.1）这里X 是居民收入，T 是税收，C 0是生存基本消费，b 是待估系数。
加上随机扰动项，就是一元线性回归模型)(0T X b C C（4.1.2）那么自变量到底是固定效应还是随机效应?那要看你采样情况。
如果你是按一定收入的家庭去调查他的消费，那是取设计矩阵，固定效应。
如果你是随机抽取一些家庭，不管他收入如何都登记他的收入与消费，那就是随机效应。
对于随机效应的回归模型，我们可以从条件期望的角度推导出与最小二乘法则等价的回归函数。
我们希望通过X 预测Y ，也就是要寻找一个函数),,()(1p X X M X M Y ，当X 的观察值为x 时，这个预测的误差平均起来应达到最小，即22)]([min )]([X L Y E X M Y E L（4.1.3）这里min 是对一切X 的可测函数L(X)取极小。
由于当)|()(X Y E X M（4.1.4）时，容易证明0)]()()][([ X L X M X M Y E（4.1.5）故当)|()(X Y E X M 时，222)]()([)]([)]([X L X M E X M Y E X L Y E（4.1.6）要使上式左边极小，只有取)|()()(X Y E X M X L 。
4.9 1）由上表可知，普通最小二乘法所建立的回归方程为831.0004.0ˆ-=x y残差散点图为（1）诊断该问题是否存在异方差。
第一步，由残差图可以知道，残差图中53个散点并不是随机的，残差e 随y 值得增大而增大，具有明显的规律，所以可以认为模型的随机误差项i ε的方差是非齐性的，可以初步认为该问题中存在异方差。
第二步，用等级相关系数法进一步的检验首先，用Excel 计算出残差绝对值|i e |，然后利用SPSS 软件，用斯皮尔曼等级相关法进行计算与i x 的等级相关系数，输出结果如表：可以得到等级相关系数为0.318，p=0.021所以可以认为残差绝对值与i x 之间相关，存在异方差。
综上两种方法，可以知道，该问题存在异方差。
（2）如果存在异方差，用幂指数型的权函数建立加权最小二乘回归方程。
由SPSS 软件中的权重估计可以得到当m=1.5,似然函数的值达到最大，由系数表可以知道，此时，加权最小二乘幂指数m 的最优取值为1.5的时候的，回归方程为：683.0004.0ˆ-=x y（3）用方差稳定变换y y =’消除异方差。
首先计算：用Excel 计算出y y =’，然后用SPSS 软件计算出结果中系数表为：由系数表可以知道此时回归方程为582.0001.0ˆ+=x y下面将普通最小二乘估计与做变换后的结果进行比较：首先，由残差图可以知由上图可知道，此时，残差图完全随机分布在0的上方。
另外，由SPSS计算出此时的残差绝对值与x的等级相关系数表如下：此时等级相关系数为0.318，P值为0.021此时说明已消除了异方差的影响，但由于此时的决定系数R方为0.648小于最小二乘估计的R方0.705。
说明此时回归效果并不比最小二乘估计有效。
4.13（1）由普通最小二乘法建立y与x的回归方程。
由上表可知y与x的回归方程为：435.1176.0ˆ-=xy由回归系数的显著性知道，t=107.928 p=0说明自变量对因变量的线性显著影响。
回归模型的误差项方差1.引言1.1 概述概述部分主要介绍回归模型的误差项方差这一主题，并对文章的结构和目的进行简要阐述。
在这一部分，我们可以开头引入回归分析的重要性和广泛应用的背景，并提出误差项方差这一概念的重要性。
接下来，我们可以介绍本文的目的，即研究误差项方差对回归模型的影响，以及减小误差项方差的方法。
下面是概述部分的一个参考写作：概述回归分析作为一种重要的统计方法，在各个领域都得到广泛应用。
通过利用观测数据中的自变量与因变量的关系，回归模型能够对未知因变量进行预测，从而帮助我们理解变量之间的关联性。
然而，回归模型中的误差项对模型的精确性和可靠性具有重要影响，特别是误差项的方差。
误差项方差是指回归模型中残差或预测误差的离散程度。
在回归模型中，我们常常假设误差项服从独立同分布的正态分布，并且其方差保持恒定。
然而，在实际应用中，误差项方差可能受到多种因素的影响，如数据的不确定性、测量误差、模型假设的违背等。
因此，研究和理解误差项方差的影响对于回归模型的准确性和有效性具有重要意义。
本文旨在探讨误差项方差对回归模型的影响，并提出相应的减小误差项方差的方法。
文章将从回归模型的基本概念和原理入手，引入误差项的概念和作用，然后重点讨论误差项方差对回归模型的影响。
最后，我们将介绍一些常见的方法和技巧，以减小误差项方差，并提高回归模型的准确性和可靠性。
通过对误差项方差的深入研究，我们可以更好地理解回归模型的局限性，并为实际应用中的建模和预测提供科学的依据。
希望本文的研究成果能够对相关领域的研究人员和实践者有所启发，从而推动回归分析方法的进一步发展和应用。
1.2文章结构1.2 文章结构本文将围绕回归模型的误差项方差展开讨论。
为了更好地理解这一概念，首先介绍回归模型的基本概念和原理，以及误差项的概念和作用。
随后，将重点探讨误差项方差对回归模型的影响，并提出一些方法来减小误差项方差。
最后，对本文的内容进行总结并给出结论。
第4章违背基本假设的情况思考与练习参考答案试举例说明产生异方差的原因。
答：例：截面资料下研究居民家庭的储蓄行为Y i=?0+?1X i+εi其中：Y i表示第i个家庭的储蓄额，X i表示第i个家庭的可支配收入。
由于高收入家庭储蓄额的差异较大，低收入家庭的储蓄额则更有规律性，差异较小，所以εi的方差呈现单调递增型变化。
例：以某一行业的企业为样本建立企业生产函数模型Y i=A i?1K i?2L i?3eεi被解释变量：产出量Y，解释变量：资本K、劳动L、技术A，那么每个企业所处的外部环境对产出量的影响被包含在随机误差项中。
由于每个企业所处的外部环境对产出量的影响程度不同，造成了随机误差项的异方差性。
这时，随机误差项ε的方差并不随某一个解释变量观测值的变化而呈规律性变化，呈现复杂型。
异方差带来的后果有哪些？答：回归模型一旦出现异方差性，如果仍采用OLS估计模型参数，会产生下列不良后果：1、参数估计量非有效2、变量的显着性检验失去意义3、回归方程的应用效果极不理想总的来说，当模型出现异方差性时，参数OLS估计值的变异程度增大，从而造成对Y的预测误差变大，降低预测精度，预测功能失效。
简述用加权最小二乘法消除一元线性回归中异方差性的思想与方法。
答：普通最小二乘估计就是寻找参数的估计值使离差平方和达极小。
其中每个平方项的权数相同，是普通最小二乘回归参数估计方法。
在误差项等方差不相关的条件下，普通最小二乘估计是回归参数的最小方差线性无偏估计。
然而在异方差的条件下，平方和中的每一项的地位是不相同的，误差项的方差大的项，在残差平方和中的取值就偏大，作用就大，因而普通最小二乘估计的回归线就被拉向方差大的项，方差大的项的拟合程度就好，而方差小的项的拟合程度就差。
由OLS 求出的仍然是的无偏估计，但不再是最小方差线性无偏估计。
所以就是：对较大的残差平方赋予较小的权数，对较小的残差平方赋予较大的权数。
这样对残差所提供信息的重要程度作一番校正，以提高参数估计的精度。
第四章多重共线性答案1第四章多重共线性⼀、判断题1、多重共线性是⼀种随机误差现象。
（F ）2、多重共线性是总体的特征。
（F ）3、在存在不完全多重共线性的情况下，回归系数的标准差会趋于变⼩，相应的t 值会趋于变⼤。
（F ）4、尽管有不完全的多重共线性，OLS 估计量仍然是最优线性⽆偏估计量。
（T ）5、在⾼度多重共线的情形中，要评价⼀个或多个偏回归系数的个别显著性是不可能的。
（T ）6、变量的两两⾼度相关并不表⽰⾼度多重共线性。
（F ）7、如果分析的⽬的仅仅是预测，则多重共线性⼀定是⽆害的。
（T ）8、在多元回归中，根据通常的t 检验，每个参数都是统计上不显著的，你就不会得到⼀个⾼的2R 值。
（F ）9、如果简单相关系数检测法证明多元回归模型的解释变量两两不相关，则可以判断解释变量间不存在多重共线性。
（ F ）10、多重共线性问题的实质是样本问题，因此可以通过增加样本信息得到改善。
（T ） 11、虽然多重共线性下，很难精确区分各个解释变量的单独影响，但可据此模型进⾏预测。
（T ）12、如果回归模型存在严重的多重共线性，可不加分析地去掉某个解释变量从⽽消除多重共线性。
（F ）13、多重共线性的存在会降低OLS 估计的⽅差。
（F ）14、随着多重共线性程度的增强，⽅差膨胀因⼦以及系数估计误差都在增⼤。
（T ） 15、解释变量和随机误差项相关，是产⽣多重共线性的原因。
（F ） 16、对于模型i ni n i 110i u X X Y ++++=βββ，n 1i ,, =；如果132X X X -=,模型必然存在解释变量的多重共线性问题。
（T ）17、多重共线性问题是随机扰动项违背古典假定引起的。
（F ） 18、存在多重共线性时，模型参数⽆法估计。
（F ）⼆、单项选择题1、在线性回归模型中，若解释变量1X 和2X 的观测值成⽐例，既有12i i X kX =，其中k 为⾮零常数，则表明模型中存在（ B ） A 、异⽅差 B 、多重共线性 C 、序列相关 D 、随机解释变量2、在多元线性回归模型中，若某个解释变量对其余解释变量的可决系数接近1，则表明模型中存在（ C ） A 、异⽅差性 B 、序列相关C 、多重共线性D 、拟合优度低3、对于模型i i 22i 110i u X X Y +++=βββ，与0r 12=相⽐，当50r 12.=时，估计量1β?的⽅差()1β?var 将是原来的（ B ） A 、 1 倍 B 、 1.33 倍 C 、1.96 倍 D 、 2 倍 4、如果⽅差膨胀因⼦VIF ＝10，则认为什么问题是严重的（ C ）A 、异⽅差问题B 、序列相关问题C 、多重共线性问题D 、解释变量与随机项的相关性 5、经验认为某个解释与其他解释变量间多重共线性严重的情况是这个解释变量的VIF （ C ）。
实用回归分析第四版第一章回归分析概述1.3回归模型中随机误差项ε的意义是什么？答：ε为随机误差项，正是由于随机误差项的引入，才将变量间的关系描述为一个随机方程，使得我们可以借助随机数学方法研究y与x1,x2…..xp的关系，由于客观经济现象是错综复杂的，一种经济现象很难用有限个因素来准确说明，随机误差项可以概括表示由于人们的认识以及其他客观原因的局限而没有考虑的种种偶然因素。
1.4 线性回归模型的基本假设是什么？答：线性回归模型的基本假设有：1.解释变量x1.x2….xp是非随机的，观测值xi1.xi2…..xip是常数。
2.等方差及不相关的假定条件为{E(εi)=0 i=1,2…. Cov(εi,εj)=｛σ^23.正态分布的假定条件为相互独立。
4.样本容量的个数要多于解释变量的个数，即n>p.第二章一元线性回归分析思考与练习参考答案2.1一元线性回归有哪些基本假定?答：假设1、解释变量X是确定性变量，Y是随机变量；假设2、随机误差项ε具有零均值、同方差和不序列相关性：E(εi)=0 i=1,2, …,nVar (εi)=σ2i=1,2, …,nCov(εi,εj)=0 i≠j i,j= 1,2, …,n假设3、随机误差项ε与解释变量X之间不相关：Cov(X i, εi)=0 i=1,2, …,n假设4、ε服从零均值、同方差、零协方差的正态分布εi~N(0, σ2) i=1,2, …,n2.3 证明（2.27式），∑e i =0 ，∑e i X i=0 。
证明：∑∑+-=-=niiiniXYYYQ12121))ˆˆ(()ˆ(ββ其中：即： ∑e i =0 ，∑e i X i =02.5 证明0ˆβ是β0的无偏估计。
证明：)1[)ˆ()ˆ(1110∑∑==--=-=ni i xxi n i i Y L X X X Y n E X Y E E ββ )] )(1([])1([1011i i xx i n i i xx i ni X L X X X n E Y L X X X n E εββ++--=--=∑∑==1010)()1(])1([βεβεβ=--+=--+=∑∑==i xx i ni i xx i ni E L X X X nL X X X n E 2.6 证明 证明：)] ()1([])1([)ˆ(102110i i xxi ni ixx i ni X Var L X X X n Y L X X X n Var Var εβββ++--=--=∑∑== 222212]1[])(2)1[(σσxx xx i xx i ni L X n L X X X nL X X X n +=-+--=∑=2.7 证明平方和分解公式：SST=SSE+SSR证明：2.8 验证三种检验的关系，即验证： （1）21)2(r r n t --=；（2）2221ˆˆ)2/(1/t L n SSE SSR F xx ==-=σβ 01ˆˆˆˆi i i i iY X e Y Y ββ=+=-())1()1()ˆ(222122xx ni iL X n X XX nVar +=-+=∑=σσβ()()∑∑==-+-=-=n i ii i n i i Y Y Y Y Y Y SST 1212]ˆ()ˆ[()()()∑∑∑===-+--+-=ni ii ni i i i ni iY Y Y Y Y Y Y Y 12112)ˆˆ)(ˆ2ˆ()()SSESSR )Y ˆY Y Y ˆn1i 2ii n1i 2i +=-+-=∑∑==0100ˆˆQQββ∂∂==∂∂证明：（1）ˆt======（2）2222201111 1111ˆˆˆˆˆˆ()()(())(()) n n n ni i i i xxi i i iSSR y y x y y x x y x x Lβββββ=====-=+-=+--=-=∑∑∑∑2212ˆ/1ˆ/(2)xxLSSRF tSSE nβσ∴===-2.9 验证（2.63）式：2211σ)L)xx(n()e(Varxxii---=证明：0112222222ˆˆˆvar()var()var()var()2cov(,)ˆˆˆvar()var()2cov(,())()()11[]2[]()1[1]i i i i i i ii i i ii ixx xxixxe y y y y y yy x y y x xx x x xn L n Lx xn Lβββσσσσ=-=+-=++-+---=++-+-=--其中：222221111))(1()(1))(,()()1,())(ˆ,(),())(ˆ,(σσσββxxixxiniixxiiiniiiiiiiiLxxnLxxnyLxxyCovxxynyCovxxyCovyyCovxxyyCov-+=-+=--+=-+=-+∑∑==2.10 用第9题证明是σ2的无偏估计量证明：2221122112211ˆˆ()()()22()111var()[1]221(2)2n ni ii in niii i xxE E y y E en nx xen n n Lnnσσσσ=====-=---==----=-=-∑∑∑∑第三章2ˆ22-=∑neiσ1.一个回归方程的复相关系数R=0.99，样本决定系数R 2=0.9801，我们能判断这个回归方程就很理想吗？ 答：不能断定这个回归方程理想。
总体回归方程中的随机误差项总体回归方程中的随机误差项是指在回归模型中无法被解释的部分，也就是不受自变量影响的部分，通常用ε表示。
这个随机误差项是由多种未知因素造成的，例如测量误差、样本误差、模型假设不准确等。
一、随机误差项的定义总体回归方程中的随机误差项是指在回归模型中无法被解释的部分，也就是不受自变量影响的部分。
这个随机误差项是由多种未知因素造成的，例如测量误差、样本误差、模型假设不准确等。
二、随机误差项的性质1. 期望值为0：因为随机误差项包含了所有未知因素，所以其期望值应该为0。
2. 方差相等：在同一组数据中，每个数据点对应一个随机误差项，这些随机误差项应该具有相同的方差。
3. 不相关：不同数据点对应的随机误差项应该是不相关的，即它们之间没有任何关联关系。
4. 正态分布：在大多数情况下，随机误差项应该服从正态分布。
三、随机误差项的作用1. 衡量模型拟合程度：随机误差项可以用来衡量模型的拟合程度，一个好的模型应该能够尽可能地解释数据，使得随机误差项尽可能小。
2. 模型检验：通过检验随机误差项是否符合正态分布、方差相等、不相关等性质，可以对模型进行检验，看是否满足假设条件。
3. 预测精度：在进行预测时，考虑到随机误差项可以帮助我们估计预测结果的不确定性，从而提高预测精度。
四、如何处理随机误差项1. 模型改进：如果发现随机误差项很大，说明模型还有待改进。
可以考虑增加更多的自变量或者改变函数形式等方式来提高模型拟合程度。
2. 数据清洗：在数据准备阶段，应该对数据进行清洗和处理，去除异常值和离群点等干扰因素。
3. 模型评估：在建立回归模型时，应该通过交叉验证等方式对模型进行评估，在保证拟合程度的同时尽可能地减小随机误差项。
4. 假设检验：在进行模型检验时，应该对随机误差项是否符合正态分布、方差相等、不相关等性质进行检验，如果不符合要求，则需要重新建立模型。
五、总结总体回归方程中的随机误差项是由多种未知因素造成的，它具有期望值为0、方差相等、不相关和正态分布等性质。
第一章 绪论思考题1.1怎样理解产生于西方国家的计量经济学能够在中国的经济理论研究和现代化建设中发挥重要作用？答：计量经济学的产生源于对经济问题的定量研究，这是社会经济发展到一定阶段的客观需要。
计量经济学的发展是与现代科学技术成就结合在一起的，它反映了社会化大生产对各种经济因素和经济活动进行数量分析的客观要求。
经济学从定性研究向定量分析的发展，是经济学逐步向更加精密、更加科学发展的表现。
我们只要坚持以科学的经济理论为指导，紧密结合中国经济的实际，就能够使计量经济学的理论与方法在中国的经济理论研究和现代化建设中发挥重要作用。
1.2理论计量经济学和应用计量经济学的区别和联系是什么？答：计量经济学不仅要寻求经济计量分析的方法，而且要对实际经济问题加以研究，分为理论计量经济学和应用计量经济学两个方面。
理论计量经济学是以计量经济学理论与方法技术为研究内容，目的在于为应用计量经济学提供方法论。
所谓计量经济学理论与方法技术的研究，实质上是指研究如何运用、改造和发展数理统计方法，使之成为适合测定随机经济关系的特殊方法。
应用计量经济学是在一定的经济理论的指导下，以反映经济事实的统计数据为依据，用计量经济方法技术研究计量经济模型的实用化或探索实证经济规律、分析经济现象和预测经济行为以及对经济政策作定量评价。
1.3怎样理解计量经济学与理论经济学、经济统计学的关系？答：1、计量经济学与经济学的关系。
联系：计量经济学研究的主体—经济现象和经济关系的数量规律；计量经济学必须以经济学提供的理论原则和经济运行规律为依据；经济计量分析的结果：对经济理论确定的原则加以验证、充实、完善。
区别：经济理论重在定性分析,并不对经济关系提供数量上的具体度量；计量经济学对经济关系要作出定量的估计，对经济理论提出经验的内容。
2、计量经济学与经济统计学的关系。
联系：经济统计侧重于对社会经济现象的描述性计量；经济统计提供的数据是计量经济学据以估计参数、验证经济理论的基本依据；经济现象不能作实验，只能被动地观测客观经济现象变动的既成事实，只能依赖于经济统计数据。
