第3章 多元(复)回归分析分解

i 1 2 2i 3 3i
ˆ X ˆ X ) ˆ X ˆX (Y 2 2 3 3 2 2i 3 3i ˆ (X X ) ˆ (X X ) Y
2 2i 2 3 3i 3
ˆ x ˆx Y 2 2i 3 3i 两边对样本值求和并除 以样本大小n ˆ ˆ 2 ˆ Y x 3 x Y i 2i 3i n n x 2i x 3i 0 （为什么？） ˆ Y Y i
ˆ u ˆ 2 y ˆu ˆ , y ˆu ˆ 0 y y ˆ u ˆ y ˆ ˆ y u y x ˆ y x , 带入 ˆ ˆ y y y y x ˆ y x ˆ ˆ RSS y y x ˆ y x
ˆ ) var(β ˆ ) se( β 2 2
ˆ ) var(β 3
2 2 ( x2 )( x i 3i ) ( x2 i x3i )
2 x 2i
2 2
等价地： ˆ ) var(β 3
2 2 x ( 1 r 3i 23 )
2
ˆ ) var(β ˆ ) se( β 3 2
对未知数求微分，并令表达式为零，得到下述正则方程：
ˆ ˆ X ˆX Y 1 2 2 3 3 ˆ ˆ YX X
Y X
i i
2i
3i
ˆ X
1 1
2i
2 ˆ X 2 2 i 3 X 2 i X 3i
2 ˆ ˆ X X X 3i 2 2 i 3i 3 3i
ˆ ) var(β ˆ ) se( β 1 1
ˆ ) var(β 2
2 2 ( x2 )( x i 3i ) ( x2 i x3i )
2 x 3i
2 2
r23为X 2和X 3的样本相关系数，则 ˆ ) var(β 2
2 2 x ( 1 r 2i 23 )
2
0 ˆ i 与Y，X2和X3均不相关，于是有 4. 残差 u
3.
i
ˆ u
ˆ X u ˆX u ˆY 0 5. 根据式子：
大，在r23=1时，完全共线性，这些方差变得无限大。直 观地看，随着r23的增大，要知道β2和β3的真值越来越难。 而X的样本值变化越大（x越大），则方差越小，从而能 够更精确的估计β2和β3 。
2. 复回归分析：推断问题
2.1 再一次正态性假设
如果我们的唯一目的是对回归模型的参数作点估计，则普通最小二
乘法（OLS）将足够使用，并不需要对干扰项ui的概率分布作任何 假设，但我们的目的还要对其进行估计和推断，我们还需要假定ui 服从某个概率分布。 我们曾经假设ui遵循均值为零、方差为常数的正态分布。有了正态 分布的假设，我们发现，偏回归系数的OLS估计量是最优线性无偏 ˆ , ˆ 和 ˆ 本身也是正态分布，其均 估计（BLUE），此外，估计量 2 3 1 2 2 ˆ 值等于 2 , 3和1 ，而方差 (n 3) / 遵循自由度为n-3的2分布， 2 并且三个OLS估计量均独立于 而分布，在标准误的计算中， 由 ˆ 2 ˆ2 它的无偏估计 替代时，我们有：
1.4 偏回归系数的OLS估计
先写出样本回归函数（SRF）：
ˆ ˆ X ˆ X u ˆi Yi 1 2 2i 3 3i
OLS方法是要选择未知参数的值，使得残差平方和尽可能的小，用符
号表示为：
ˆ ˆ X ˆ X )2 ˆi2 (Yi min u 1 2 2i 3 3i
将双变量的总体回归模型（PRF）推广，就得到了三变量
的总体回归模型。
Yi 1 2 X 2i 3 X 3i ui
其中，Y是应变量，X2和X3是解释变量，u是随机干扰项，
i是指第i次观测值（当数据为实践序列时，下标t表示第t 次观测）。系数β1和β2被称为偏回归系数。 我们继续在经典线性回归模型（CLRM）框架下，这样我 们对模型做出如下假设：
式中各项均可以从样本数据中计算得出，因此R2也很容
易得到。R2是一个落在0和1之间的数。如果是1，则所拟 合的回归线100%的解释了Y的变异；如果是0，则模型不 解释任何Y的变异。R2越靠近1，说明模型的“拟合”越 好。
1.7 校正的R2 R2有一个重要的性质，即它是出现在模型中的解释变量 个数的非减函数。随着解释变量个数的增加， R2必然增 大而不会减少。回忆R2的定义： 2 ˆ u RSS ESS i R2 1 1 2 TSS TSS y i
2 ˆ u i /(n k ) 2 y i /(n 1)
也就是说，分子分母均除以其自由度（df），这样我们就 消除了由于解释变量增加而带来的R2变大的问题， R 2被
称为校正的R2（adjusted R2）。 2 2 yi (Yi Y ) 在计算中要先计算均值，故损失一个自由 2 ˆ u 度，自由度为（n-1）, i 的自由度中的k，是指包括截 ˆi2 距项在内的模型中的参数的个数。在三变量模型中， u 的自由度是（n-3）。
本质上是对称的； （2）两个方程的分母完全相同； （3）三变量情形是双变量的自然推广。

得到偏回归系数的OLS估计量，既可以推出这些估计量的方差和标准误。 我们计算标准误有两个目的：建立置信区间和检验统计假设。下列公式 不加证明的给出，相关推导过程请参阅文献。
2 2 2 2 1 X2 x X x 3i 3 2 i 2 X 2 X 3 x2 i x3i ˆ var(β1 ) 2 2 2 n x x ( x x ) 2 i 3i 2 i 3 i
(1) ui 有零均值：E (ui | X 2i , X 3i ) 0, 对于每一个i (2) 无序列相关： cov(ui , u j ) 0, i j (3) 同方差性： var(ui ) 2 (4) ui与每一个X变量之间都有零协方差 ： cov(ui , X 2i ) cov(ui , X 3i ) 0 (5) 无设定偏误：模型被正 确地设定 (6) X变量之间无精确的共线 性
对式子两边求条件期望：
E(Yi | X 2i , X 3i ) 1 2 X 2i 3 X 3i
这样，式子给出以变量X2和X3的固定值为条件的Y的
条件均值或期望值。如同双变量回归分析，复回归分 析是以多个解释变量的固定值为条件的回归分析，并 且我们所获取的，是变量X值固定时的Y的平均值或Y 的平均响应。
经济类核心课程· 计量经济学
第三章 多元（复）回归分析
教师：卢时光
PowerPoint Presentation by Lu Shiguang 2012 All Right Reserved,
Hunan Institute of Engineering
1. 复回归分析：估计问题
1.1 三变量模型：符号和假设

仿照前章，我们能够证明2的一个无偏估计量是（注意：这里的自由度 是（n-3），因为我们在估计残差之前必须要估计参数β1、β2和β3 ，所以 消耗了3个自由度。）
ˆ 2
2 ˆ u i
n3
2 2 ˆ u y i i ˆ2 yi x2i ˆ3 yi x3i
1.5 OLS估计量的性质 1. 三变量回归线（面）通过均值 Y , X 2和X 3。(为什么？) 2. 估计的Yi的均值等于真实Yi的均值。证明： ˆ ˆ X ˆX ˆ Y
这里，
ˆ 与模型中X的变量没有关系。但是 u ˆ 与模型中的X个数有关。随着X的个数增加， RSS即 u 2
yi2 (Yi Y )
2 i 2 i
2
模型的 大。
很可能减小（至少不会变大），随之，R 变
那么，怎样解决这个问题呢？我们必须考虑到模型中X变
量的个数，那么：
R 2 1

（a）图表示X2和X3不存在线性关系。（b）图中，区域Y的3和4区域的 变异是由于X2引起的，而Y的4和5区域的变异是由于X3引起的，但是区 域4是X2和X3共有的，我们无法精确地区别开来，这样区域4代表了共线 性。无共线性就要求像（a）图那样，解释变量没有重叠区域。
1.2 对复回归方程的解释
2 ( yi x3i )( x2 i ) ( yi x2 i )( x2 i x3i ) 2 2 2 ( x2 )( x ) ( x x ) 2 i 3i i 3i
β2和β3最小二乘估计量的性质：
（1）可以从方程2和方程3中通过x2和x3的对调得到另外一个，所有它们
1.3 偏回归系数的含义 偏回归系数的含义如下：β2度量者在保持X3不变的情况下， X2每变化1单位，Y的均值E（Y|X2,X3）的变换。换句话 说,β2给出保持X3不变时Y的均值E（Y|X2,X3）对X2的斜率。 类似的,β3度量者在保持X2不变的情况下，X3每变化1单位， Y的均值E（Y|X2,X3）的变换。 如何理解保持不变？假定Y代表产出，X2和X3分布代表劳 动和资本投入。再假定X2和X3都是生产必须的，且它们 用于生产的投入比例可以变换。当劳动投入增加一个单 位带来的产出的增加（劳动的边际产量）。在这里有一 个前提，就是劳动增加的同时，资本投入的数量保持不 变，否则我们无法区分在增加的Y中，那些是由于劳动X2 的增加带来的，那些是由于资本X3增加带来的。只有想 办法使得资本X3投入保持不变，才能衡量劳动X2投入对 产出增长的真实贡献。
ˆ t 1 1 ˆ) se( 1
ˆ 2 t 2 ˆ ) se( 2
ˆ 3 t 3 ˆ) se( 3
均服从自由度为n-3的t分布。
注意，自由度为n-3是因为我们在计算
2 ˆ u i 和 ˆ 2 之前，

其中（6）是说X2与X3之间没有精确的线性关系，专业上称为无共线性 或无多重共线性。无共线性是说没有一个解释变量可以写成其余解释变 量的线性组合。如果不存在一组不全为零的数λ 2和λ 3，使得：