下载文档原格式
第三章 多元线性回归与最小二乘估计3.1 假定条件、最小二乘估计量和高斯—马尔可夫定理1、多元线性回归模型：y t = β0 +β1x t 1 + β2x t 2 +…+ βk - 1x t k -1 + u t (3.1) 其中y t 是被解释变量（因变量），x t j 是解释变量（自变量），u t 是随机误差项，βi , i = 0, 1, … , k - 1是回归参数（通常未知）。
对经济问题的实际意义：y t 与x t j 存在线性关系，x t j , j = 0, 1, … , k - 1, 是y t 的重要解释变量。
u t 代表众多影响y t 变化的微小因素。
使y t 的变化偏离了E( y t ) = β0 +β1x t 1 + β2x t 2 +…+ βk - 1x t k -1 决定的k 维空间平面。
当给定一个样本（y t , x t 1, x t 2 ,…, x t k -1）, t = 1, 2, …, T 时, 上述模型表示为 y 1 = β0 +β1x 11 + β2x 12 +…+ βk - 1x 1 k -1 + u 1,y 2 = β0 +β1x 21 + β2x 22 +…+ βk - 1x 2 k -1 + u 2, (3.2) ………..y T = β0 +β1x T 1 + β2x T 2 +…+ βk - 1x T k -1 + u T经济意义：x t j 是y t 的重要解释变量。
代数意义：y t 与x t j 存在线性关系。
几何意义：y t 表示一个多维平面。
此时y t 与x t i 已知，βj 与 u t 未知。
)1(21)1(110)(111222111111)1(21111⨯⨯-⨯---⨯⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡+⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡=⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡T T k k k T k T TjT k j k jT T u u u x x x x x x x x x y y yβββ (3.3) Y = X β + u (3.4)2假定条件为保证得到最优估计量，回归模型（3.4）应满足如下假定条件。
y = b 0+ b 1x 1+ b 2x 2+ . . . b k x k + u一、多元线性回归模型1.我们可以研究控制一些变量不变的条件下，其他变量对y的影响，而不是假定他们不相关。
Cons = b 0+ b 1inc+b 2inc 2 +u2.我们还能推广变量之间的函数关系如：通过在模型中包含更多的变量，我们更好的达到了SLR.4所表达的目的E(u|x 1,x 2, …,x k ) = 0 （3.8）HYP.1一般多元回归模型的关键假定（u和所有x都不相关）：（ ）仍然是最小化残差和：对（3.12）求k +1次偏导得一阶条件（交给计算机计算）（此时假定k +1个方程只能得到估计值得唯一解2.1 如何得到OLS 估计值例3.1分析两个系数时，可得出当我们把其中一个因素涵盖在模型中时，另外一个因素的预测就变得不有力了1.系数表示局部效应（控制其他变量不变时，对y的效应）多元回归分析给了我们在收集不到“其他条件不变”时的数据仍有同样效果的能力2.“控制其他变量不变”的含义3.同时改变不止一个自变量（只需要将效应加和）2.2 对OLS 回归方程的解释从单变量情形加以推广，得：1.残差的样本平均值为02.每个自变量和OLS 残差之间的样本协方差为0。
因此OLS 拟合值和OLS 残差之间的样本协方差也为03.点总位于OLS 回归线上（性质1. 2.由一阶条件得，性质3.由1.可得2.3 OLS 的拟合值和残差（ ）其中 是x1对其他变量回归后的残差（即排除其他变量对x1的影响，类似矢量正交）2.4 对“排除其他变量影响”的解释（ ）（是 对 简单回归的斜率1.样本中x2对y的偏效应为0，即2.x1和x 2不相关，即（1. 2.可解释、 的差异由（3.23）知，在两种情况下利用矢量正交的理解考虑简单回归和两个自变量的回归：2.5简单回归和多元回归估计值比较可以证明，R2的另一种理解是 的实际值与其拟合值 的相关系数的平方，其中2.6 拟合优度（与简单回归大致相同）二、普通最小二乘法（多元线性回归模型的代数特征和对方程的解释）使用提示：1.该笔记是对伍德里奇《计量经济学》第五版第三章学习过程中的内容梳理2.由于本人水平有限，单独看该笔记估计会很吃力，且很可能出现错误，建议结合书本进行理解3.希望能够对想学习计量经济学的人起到一点点帮助第三章多元回归分析：估计2020年3月19日10:47由于定义下增加解释变量不会降低R2，所以判断一个解释变量是否应该放入模型的依据应该是该解释变量在总体中对y的偏效应是否非02.7 过原点的回归1.之前推导的性质不再成立，特别是OLS残差的样本平均值不再是02.计算R2没有特定的规则3.当截距项b0不等于0，斜率参数OLS估计量将有偏误；当截距项b0=0，估计带截距项方程的代价是，OLS斜率估计量的方差会更大2.8 OLS估计量的期望值MLR.1（线性于参数）MLR.2（随机抽样）MLR.3（不存在完全共线性，允许一定程度的相关）（在定义函数时要小心不要违背了MLR.3MLR.4（条件均值为0）（内生解释变量：解释变量可能与误差项相关定理3.1 OLS的无偏性（）2.9 过度设定和设定不足（多了无关变量和少了解释变量）2.9.1过度设定（不影响OLS估计量的无偏性，但影响OLS估计量的方差）2.9.2设定不足1.简单情形：从一个斜率参数到两个斜率参数由（3.23）：取均值得偏误为：（因此偏误的方向取决于两个符号，偏误的大小取决于两者之积，在应用中可以通过常识来判断偏误方向2.扩展情形：从两个斜率参数到三个斜率参数当你假设和不相关时，就可以证明和的关系和简单情形一样2.10 OLS估计量的方差MLR.5（同方差性，不仅可以简化公式，还得到了有效性）定理3.2 OLS斜率估计量的抽样方差在MLR.1-5下，以自变量的样本值为条件，有（）（是的总样本波动，则是对所有其他自变量（并包含一个截距项）回归所得到的由（3.51）可知，估计量的抽样方差由三个要素决定：1.误差方差（噪声越大，越难估计）2.的总样本波动（越分散，越容易估计）3.自变量之间的线性关系（和其他自变量相关性越高，越不利于估计（很高的并不一定有问题，抽样方差的大小还要取决于剩下两个因素，可以通过收集更多的数据来削减多重共线性（当考虑某一个自变量 的方差时，若 和其他自变量均无关，那么其他自变量间的关系是不造成影响的，某些经济学家为了分离特定变量的因果效应，而在模型中包括许多控制因素，但这并不影响因果效应的证实（ ）当含有两个解释变量时：（ ）当含有一个解释变量时：（（3.54）和（3.55）表明除非样本中x1和x2不相关，否则 <1.当 =0时，两个都无偏，但 < ，所以前者更好2.当不等于0时，不放x 2进去会导致有偏，放了x 2进去会导致方差增加，但我们喜欢把x2放进去的理由是：不放进去的偏误不会随着样本容量扩大而缩减，而放进去增加的方差却会随着样本容量的扩大逐渐缩小至0所以有两个结论：2.10.1 过度设定的方差（建立在过度设定无偏讨论的基础上）（ ）2.10.2 OLS 估计量的标准误（与简单回归相同）在假定MLR.1-5下，有（MLR .5若不满足（即异方差），会使标准误失效（第二种表达清楚说明了随着样本容量的扩大，在其他三项（ 、 、 ）都趋于常数的时候，估计量标准误是如何变小的因此得估计量的标准误：定理3.3 的无偏估计OLS 估计量是最优线性无偏估计量（如（3.22）所示的线性、无偏误、在线性无偏估计量中方差最小在MLR.1-5下，得定理3.4 高斯-马尔科夫定理2.11 对OLS 估计的一个正确认识。
第三章、经典单方程计量经济学模型：多元线性回归模型例1．某地区通过一个样本容量为722的调查数据得到劳动力受教育的一个回归方程为fedu medu sibs edu 210.0131.0094.036.10++-=R 2=0.214式中，edu 为劳动力受教育年数，sibs 为该劳动力家庭中兄弟姐妹的个数，medu 与fedu 分别为母亲与父亲受到教育的年数。
问（1）sibs 是否具有预期的影响？为什么？若medu 与fedu 保持不变，为了使预测的受教育水平减少一年，需要sibs 增加多少？（2）请对medu 的系数给予适当的解释。
（3）如果两个劳动力都没有兄弟姐妹，但其中一个的父母受教育的年数为12年，另一个的父母受教育的年数为16年，则两人受教育的年数预期相差多少？ 解答：（1）预期sibs 对劳动者受教育的年数有影响。
因此在收入及支出预算约束一定的条件下，子女越多的家庭，每个孩子接受教育的时间会越短。
根据多元回归模型偏回归系数的含义，sibs 前的参数估计值-0.094表明，在其他条件不变的情况下，每增加1个兄弟姐妹，受教育年数会减少0.094年，因此，要减少1年受教育的时间，兄弟姐妹需增加1/0.094=10.6个。
（2）medu 的系数表示当兄弟姐妹数与父亲受教育的年数保持不变时，母亲每增加1年受教育的机会，其子女作为劳动者就会预期增加0.131年的教育机会。
（3）首先计算两人受教育的年数分别为 10.36+0.131⨯12+0.210⨯12=14.452 10.36+0.131⨯16+0.210⨯16=15.816因此，两人的受教育年限的差别为15.816-14.452=1.364例2．以企业研发支出（R&D ）占销售额的比重为被解释变量（Y ），以企业销售额（X1）与利润占销售额的比重（X2）为解释变量，一个有32容量的样本企业的估计结果如下：099.0)046.0()22.0()37.1(05.0)log(32.0472.0221=++=R X X Y其中括号中为系数估计值的标准差。
（1）解释log(X1)的系数。
如果X1增加10%，估计Y 会变化多少个百分点？这在经济上是一个很大的影响吗？（2）针对R&D 强度随销售额的增加而提高这一备择假设，检验它不虽X1而变化的假设。
分别在5%和10%的显著性水平上进行这个检验。
（3）利润占销售额的比重X2对R&D 强度Y 是否在统计上有显著的影响？ 解答：（1）log(x1)的系数表明在其他条件不变时，log(x1)变化1个单位，Y 变化的单位数，即∆Y=0.32∆log(X1)≈0.32(∆X1/X1)=0.32⨯100%，换言之，当企业销售X1增长100%时，企业研发支出占销售额的比重Y 会增加0.32个百分点。
由此，如果X1增加10%，Y 会增加0.032个百分点。
这在经济上不是一个较大的影响。
（2）针对备择假设H1：01>β，检验原假设H0：01=β。
易知计算的t 统计量的值为t=0.32/0.22=1.468。
在5%的显著性水平下，自由度为32-3=29的t 分布的临界值为1.699（单侧），计算的t 值小于该临界值，所以不拒绝原假设。
意味着R&D 强度不随销售额的增加而变化。
在10%的显著性水平下，t 分布的临界值为1.311，计算的t 值小于该值，拒绝原假设，意味着R&D 强度随销售额的增加而增加。
（3）对X2，参数估计值的t 统计值为0.05/0.46=1.087，它比在10%的显著性水平下的临界值还小，因此可以认为它对Y 在统计上没有显著的影响。
例3．下表为有关经批准的私人住房单位及其决定因素的4个模型的估计量和相关统计值（括号内为p-值）（如果某项为空，则意味着模型中没有此变量）。
数据为美国40个城市的数据。
模型如下：μββββββββ++++++++=statetax localtax unemp popchangincome value density g hou 76543210sin式中housing ——实际颁发的建筑许可证数量，density ——每平方英里的人口密度，value ——自由房屋的均值（单位：百美元），income ——平均家庭的收入（单位：千美元），popchang ——1980~1992年的人口增长百分比，unemp ——失业率，localtax ——人均交纳的地方税，statetax ——人均缴纳的州税（1）检验模型A 中的每一个回归系数在10%水平下是否为零（括号中的值为双边备择p-值）。
根据检验结果，你认为应该把变量保留在模型中还是去掉？ （2）在模型A 中，在10%水平下检验联合假设H 0：βi =0(i=1,5,6,7)。
说明被择假设，计算检验统计值，说明其在零假设条件下的分布，拒绝或接受零假设的标准。
说明你的结论。
（3）哪个模型是“最优的”？解释你的选择标准。
（4）说明最优模型中有哪些系数的符号是“错误的”。
说明你的预期符号并解释原因。
确认其是否为正确符号。
解答：（1）直接给出了P-值，所以没有必要计算t-统计值以及查t 分布表。
根据题意，如果p-值<0.10,则我们拒绝参数为零的原假设。
由于表中所有参数的p-值都超过了10%，所以没有系数是显著不为零的。
但由此去掉所有解释变量，则会得到非常奇怪的结果。
其实正如我们所知道的，多元回去归中在省略变量时一定要谨慎，要有所选择。
本例中，value 、income 、popchang 的p-值仅比0.1稍大一点，在略掉unemp 、localtax 、statetax 的模型C 中，这些变量的系数都是显著的。
（2）针对联合假设H 0：βi =0(i=1,5,6,7)的备择假设为H1：βi =0(i=1,5,6,7) 中至少有一个不为零。
检验假设H0，实际上就是参数的约束性检验，非约束模型为模型A ，约束模型为模型D ，检验统计值为462.0)840/()7763.4()37/()7763.47038.5()1/()/()(=-+-+-+=----=e e e k n RSS k k RSS RSS F U U R U U R显然，在H0假设下，上述统计量满足F 分布，在10%的显著性水平下，自由度为（4，32）的F 分布的临界值位于2.09和2.14之间。
显然，计算的F 值小于临界值，我们不能拒绝H0，所以βi (i=1,5,6,7)是联合不显著的。
(3）模型D 中的3个解释变量全部通过显著性检验。
尽管R2与残差平方和较大，但相对来说其AIC 值最低，所以我们选择该模型为最优的模型。
（4）随着收入的增加，我们预期住房需要会随之增加。
所以可以预期β3>0，事实上其估计值确是大于零的。
同样地，随着人口的增加，住房需求也会随之增加，所以我们预期β4>0，事实其估计值也是如此。
随着房屋价格的上升，我们预期对住房的需求人数减少，即我们预期β3估计值的符号为负，回归结果与直觉相符。
出乎预料的是，地方税与州税为不显著的。
由于税收的增加将使可支配收入降低，所以我们预期住房的需求将下降。
虽然模型A 是这种情况，但它们的影响却非常微弱。
4、在经典线性模型基本假定下，对含有三个自变量的多元回归模型：μββββ++++=3322110X X X Y你想检验的虚拟假设是H0：1221=-ββ。
（1）用21ˆ,ˆββ的方差及其协方差求出)ˆ2ˆ(21ββ-Var 。
（2）写出检验H0：1221=-ββ的t 统计量。
（3）如果定义θββ=-212，写出一个涉及β0、θ、β2和β3的回归方程，以便能直接得到θ估计值θˆ及其标准误。
解答：（1）由数理统计学知识易知)ˆ(4)ˆ,ˆ(4)ˆ()ˆ2ˆ(221121ββββββVar Cov Var Var +-=- （2）由数理统计学知识易知)ˆ2ˆ(1ˆ2ˆ2121ββββ---=se t ，其中)ˆ2ˆ(21ββ-se 为)ˆ2ˆ(21ββ-的标准差。
（3）由θββ=-212知212βθβ+=，代入原模型得μββθβμβββθβ+++++=+++++=33212103322120)2()2(X X X X X X X Y这就是所需的模型，其中θ估计值θˆ及其标准误都能通过对该模型进行估计得到。
3-2．观察下列方程并判断其变量是否呈线性？系数是否呈线性？或都是？或都不是？1) i i i X Y εββ++=3102) i i i X Y εββ++=log 10 3)i i i X Y εββ++=log log 104) i i i X Y εβββ++=)(210 5) i ii X Y εββ+=106) i i i X Y εββ+-+=)1(1107) i i i i X X Y εβββ+++=10221103-3．多元线性回归模型与一元线性回归模型有哪些区别？3-4．为什么说最小二乘估计量是最优的线性无偏估计量？多元线性回归最小二乘估计的正规方程组，能解出唯一的参数估计的条件是什么？3-5．多元线性回归模型的基本假设是什么？试说明在证明最小二乘估计量的无偏性和有效性的过程中，哪些基本假设起了作用？ 3-6．请说明区间估计的含义。
3-7．什么是正规方程组？分别用非矩阵形式和矩阵形式写出模型：i ki k i i i u x x x y +++++=ββββΛ22110，n i ,,2,1Λ=的正规方程组，及其推导过程。
3-16．考虑下列两个模型：Ⅰ、i i i i u x x y +++=33221βββ Ⅱ、i i i i i u x x x y '+++=-332212)(ααα要求：（1）证明：1ˆˆ22-=βα ，11ˆˆβα= ，33ˆˆβα= （2）证明：残差的最小二乘估计量相同，即：i i u u'=ˆˆ （3）在何种情况下，模型Ⅱ的拟合优度22R 会小于模型Ⅰ拟合优度21R 。
3-17．假设要求你建立一个计量经济模型来说明在学校跑道上慢跑一英里或一英里以上的人数，以便决定是否修建第二条跑道以满足所有的锻炼者。
你通过整个学年收集数据，得到两个可能的解释性方程：方程A ：3215.10.10.150.125ˆX X X Y +--= 75.02=R 方程B ：4217.35.50.140.123ˆX X X Y-+-= 73.02=R 其中：Y ——某天慢跑者的人数1X ——该天降雨的英寸数 2X ——该天日照的小时数3X ——该天的最高温度（按华氏温度） 4X ——第二天需交学期论文的班级数请回答下列问题：（1）这两个方程你认为哪个更合理些，为什么？（2）为什么用相同的数据去估计相同变量的系数得到不同的符号？3-18．对下列模型：i i i i u z x y +++=2βα （1）i i i i u z x y +-+=ββα （2）求出β的最小二乘估计值；并将结果与下面的三变量回归方程的最小二乘估计值作比较：（3）i i i i u z x y +-+=γβα ，你认为哪一个估计值更好？3-19．假定以校园内食堂每天卖出的盒饭数量作为被解释变量，盒饭价格、气温、附近餐厅的盒饭价格、学校当日的学生数量（单位：千人）作为解释变量，进行回归分析；假设不管是否有假期，食堂都营业。
