第三章多元回归分析：估计1

y = b 0+ b 1x 1+ b 2x 2+ . . . b k x k + u一、多元线性回归模型1.我们可以研究控制一些变量不变的条件下，其他变量对y的影响，而不是假定他们不相关。

Cons = b 0+ b 1inc+b 2inc 2 +u2.我们还能推广变量之间的函数关系如：通过在模型中包含更多的变量，我们更好的达到了SLR.4所表达的目的E(u|x 1,x 2, …,x k ) = 0 （3.8）HYP.1一般多元回归模型的关键假定（u和所有x都不相关）：（ ）仍然是最小化残差和：对（3.12）求k +1次偏导得一阶条件（交给计算机计算）（此时假定k +1个方程只能得到估计值得唯一解2.1 如何得到OLS 估计值例3.1分析两个系数时，可得出当我们把其中一个因素涵盖在模型中时，另外一个因素的预测就变得不有力了1.系数表示局部效应（控制其他变量不变时，对y的效应）多元回归分析给了我们在收集不到“其他条件不变”时的数据仍有同样效果的能力2.“控制其他变量不变”的含义3.同时改变不止一个自变量（只需要将效应加和）2.2 对OLS 回归方程的解释从单变量情形加以推广，得：1.残差的样本平均值为02.每个自变量和OLS 残差之间的样本协方差为0。

因此OLS 拟合值和OLS 残差之间的样本协方差也为03.点总位于OLS 回归线上（性质1. 2.由一阶条件得，性质3.由1.可得2.3 OLS 的拟合值和残差（ ）其中 是x1对其他变量回归后的残差（即排除其他变量对x1的影响，类似矢量正交）2.4 对“排除其他变量影响”的解释（ ）（是 对 简单回归的斜率1.样本中x2对y的偏效应为0，即2.x1和x 2不相关，即（1. 2.可解释、 的差异由（3.23）知，在两种情况下利用矢量正交的理解考虑简单回归和两个自变量的回归：2.5简单回归和多元回归估计值比较可以证明，R2的另一种理解是 的实际值与其拟合值 的相关系数的平方，其中2.6 拟合优度（与简单回归大致相同）二、普通最小二乘法（多元线性回归模型的代数特征和对方程的解释）使用提示：1.该笔记是对伍德里奇《计量经济学》第五版第三章学习过程中的内容梳理2.由于本人水平有限，单独看该笔记估计会很吃力，且很可能出现错误，建议结合书本进行理解3.希望能够对想学习计量经济学的人起到一点点帮助第三章多元回归分析：估计2020年3月19日10:47由于定义下增加解释变量不会降低R2，所以判断一个解释变量是否应该放入模型的依据应该是该解释变量在总体中对y的偏效应是否非02.7 过原点的回归1.之前推导的性质不再成立，特别是OLS残差的样本平均值不再是02.计算R2没有特定的规则3.当截距项b0不等于0，斜率参数OLS估计量将有偏误；当截距项b0=0，估计带截距项方程的代价是，OLS斜率估计量的方差会更大2.8 OLS估计量的期望值MLR.1（线性于参数）MLR.2（随机抽样）MLR.3（不存在完全共线性，允许一定程度的相关）（在定义函数时要小心不要违背了MLR.3MLR.4（条件均值为0）（内生解释变量：解释变量可能与误差项相关定理3.1 OLS的无偏性（）2.9 过度设定和设定不足（多了无关变量和少了解释变量）2.9.1过度设定（不影响OLS估计量的无偏性，但影响OLS估计量的方差）2.9.2设定不足1.简单情形：从一个斜率参数到两个斜率参数由（3.23）：取均值得偏误为：（因此偏误的方向取决于两个符号，偏误的大小取决于两者之积，在应用中可以通过常识来判断偏误方向2.扩展情形：从两个斜率参数到三个斜率参数当你假设和不相关时，就可以证明和的关系和简单情形一样2.10 OLS估计量的方差MLR.5（同方差性，不仅可以简化公式，还得到了有效性）定理3.2 OLS斜率估计量的抽样方差在MLR.1-5下，以自变量的样本值为条件，有（）（是的总样本波动，则是对所有其他自变量（并包含一个截距项）回归所得到的由（3.51）可知，估计量的抽样方差由三个要素决定：1.误差方差（噪声越大，越难估计）2.的总样本波动（越分散，越容易估计）3.自变量之间的线性关系（和其他自变量相关性越高，越不利于估计（很高的并不一定有问题，抽样方差的大小还要取决于剩下两个因素，可以通过收集更多的数据来削减多重共线性（当考虑某一个自变量 的方差时，若 和其他自变量均无关，那么其他自变量间的关系是不造成影响的，某些经济学家为了分离特定变量的因果效应，而在模型中包括许多控制因素，但这并不影响因果效应的证实（ ）当含有两个解释变量时：（ ）当含有一个解释变量时：（（3.54）和（3.55）表明除非样本中x1和x2不相关，否则 <1.当 =0时，两个都无偏，但 < ，所以前者更好2.当不等于0时，不放x 2进去会导致有偏，放了x 2进去会导致方差增加，但我们喜欢把x2放进去的理由是：不放进去的偏误不会随着样本容量扩大而缩减，而放进去增加的方差却会随着样本容量的扩大逐渐缩小至0所以有两个结论：2.10.1 过度设定的方差（建立在过度设定无偏讨论的基础上）（ ）2.10.2 OLS 估计量的标准误（与简单回归相同）在假定MLR.1-5下，有（MLR .5若不满足（即异方差），会使标准误失效（第二种表达清楚说明了随着样本容量的扩大，在其他三项（ 、 、 ）都趋于常数的时候，估计量标准误是如何变小的因此得估计量的标准误：定理3.3 的无偏估计OLS 估计量是最优线性无偏估计量（如（3.22）所示的线性、无偏误、在线性无偏估计量中方差最小在MLR.1-5下，得定理3.4 高斯-马尔科夫定理2.11 对OLS 估计的一个正确认识。

ˆ 1 ˆ 2
（x
1i
x1 )( yi y ) ( x2i x2 ) 2 ( x2i x2 )( yi y ) （x1i x1 )( x2i x2 ) x2 )( yi y ) ( x1i x1 ) 2 ( x1i x1 )( yi y ) （x1i x1 )( x2i x2 ) （x1i x1 )( x2i x2 ) ( x1i x1 )2 ( x2i x2 )2
2
（x
（x1i x1 )( x2i x2 ) ( x1i x1 )2 ( x2i x2 )2

Note 3： 违背MLR.10的几种情形
c o n s 0 1 in c 2 in c 2 u 并 不 违 背 M L R .1 0
(1) 同一变量在不同单位的度量下几次进入同一回归方程。 y 0 1 x1 2 x2 3 x3 u x3 5x2 (2) 一个解释变量以隐蔽的方式成为另一变量的倍数， 如 log cons 0 1 log inc 2 log inc2 u (3) 一个解释变量恰好能表述成其他几个解释变量的线性函数 如 VoteA 0 1 exp endA 2 exp endB 3total exp end u 其中 total exp end exp endA exp endB 此时，试图在其他条件不变的情况下解释某个参数就会出现问题。
ˆ ( x 2 n( x ) 2 ) ˆ ( x x nx .x ) y x . y x n i 1i 1 1 2 1 1 1i 2 1i 2 i

OLS估计量求解
整理后得， （5） ( x1i x1 )( yi y ) ˆ1 ( x1i x1 )2 ˆ2 ( x1i x1 )( x2i x2 )

矩阵X的秩为K(注意X为n行K列)。
Ran(X)= k
Rak(X'X)=k
即 (X'X) 可逆 假定6:正态性假定
ui ~ N (0, 2 )
u ~ N (0, 2I)
12
第二节 多元线性回归模型的估计
一、普通最小二乘法（OLS）
原则：寻求剩余平方和最小的参数估计式 min : ei2 (Yi Yˆi )2
1
X 22
Xk
2
2
u2
Yn
1 X 2n
X
kn
k
un
Y
X
βu
n 1
nk
k 1 n1
9
9
矩阵表示方式
总体回归函数 E(Y) = Xβ 或 Y = Xβ + u
样本回归函数 Yˆ = Xβˆ 或 Y = Xβˆ + e
其中： Y,Yˆ,u,e 都是有n个元素的列向量
β, βˆ 是有k 个 元素的列向量
多重可决系数：在多元回归模型中，由各个解释
变量联合起来解释了的Y的变差，在Y的总变差中占
的比重，用 R2表示 与简单线性回归中可决系数 r的2 区别只是 不Yˆi 同
多元回归中
Yˆi ˆ1 ˆ2 X2i ˆ3 X3i ˆk Xki
多重可决系数可表示为
R2 ESS TSS
(Yˆi Y )2 (Yi Y )2
0
2
X 2i
Yi
(ˆ1
ˆ2
X 2i
ˆ3
X 3i
ˆki
X ki )
0
(i 1, 2, n)
( j 1, 2, n)
ei 0
X2iei 0
2

BB ( X X ) 1 0
这意味着 BB ( X X ) 1为半正定矩阵。这样的协方差 矩阵之差 ˆ ) BB 2 ( X X ) 1 2 [ BB ( X X ) 1 ] 2 0 Var (b) Var ( 也是半正定矩阵。因此多元线性回归参数的最小二 乘估计是最小方差的线性无偏估计。
i
21
•
但是需注意：多元线性回归模型解释变量的 数目有多有少，而上述可决系数R2又可以证明是 解释变量数目的增函数。这意味着不管增加的解 释变量是否对改善模型、拟合程度有意义，解释 变量个数越多，可决系数一定会越大。因此，以 这种可决系数衡量多元回归模型的拟合优度是有 问题的，而且会导致片面追求解释变量数量的错 误倾向。正是由于存在这种缺陷，可决系数R2在 多元线性回归分析拟合优度评价方面的作用受到 很大的限制。
10
Q ˆ X Y ˆ X X ˆ ) 2 X Y 2 X X ˆ 0 (Y Y 2 ˆ ˆ
• 其中矩阵求导：
f ( B) A f ( B) BA B f ( B ) f ( B) BAB 2 AB B
11
Q ˆ ˆ X ˆ X ˆ X ) (1) 0 2 ( Y i 0 1 1 i 2 2 i k ki ˆ 0 Q ˆ ˆ X ˆ X ˆ X ) ( X ) 0 2 (Yi 0 1 1i 2 2i k ki 1i ˆ 1 Q ˆ ˆ X ˆ X ˆ X ) ( X ) 0 2 (Yi 0 1 1i 2 2i k ki ki ˆ k
• 整理该向量方程，得到下列形式的正规方程组
ˆ X Y X X
• 当X X 可逆，也就是X是满秩矩阵（满足假设5）时，在 上述向量方程两端左乘的 X X 逆矩阵，得到