多元线性回归模型的参数估计

ˆ ) ( Y Xβ ˆ)0 ( Y Xβ ˆ β
ˆ X Y Y Xβ ˆ β ˆ X Xβ ˆ)0 (Y Y β ˆ β
ˆ β ˆ X Xβ ˆ) 0 ( Y Y 2Y Xβ ˆ β
ˆ 0 X Y X Xβ
E(X’)=0
• 如果某个解释变量与随机项相关，只要能找到1 个工具变量，仍然可以构成一组矩条件。这就是 IV。 • 如果存在＞k+1个变量与随机项不相关，可以构 成一组包含＞k+1方程的矩条件。这就是GMM。
四、参数估计量的性质
在满足基本假设的情况下，其结构参数的普通 最小二乘估计、最大或然估计及矩估计仍具有： 线性性、无偏性、有效性。
同时，随着样本容量增加，参数估计量具有： 渐近无偏性、渐近有效性、一致性。 1、线性性
ˆ ( X X) 1 X Y CY β
其中,C=(X’X)-1 X’ 为一仅与固定的X有关的行向量
2、无偏性
ˆ ) E (( X X ) 1 X Y ) E (β E (( X X ) 1 X ( Xβ μ )) β ( X X ) 1 E ( X μ ) β
R-squared Adjusted R-squared S.E. of regression Sum squared resid Log likelihood Durbin-Watson stat
Mean dependent var S.D. dependent var Akaike info criterion Schwarz criterion F-statistic Prob(F-statistic)
1 X 12 X k2
1 Y1 X 1n Y2 X kn Yn
即
ˆ X Y (X X) β
由于X’X满秩，故有
ˆ ( X X) 1 X Y β
将上述过程用矩阵表示如下：
即求解方程组：
1 ˆ)0 X (Y Xβ n
由此得到正规方程组
ˆ X' Y X' Xβ
解此正规方程组即得参数的MM估计量。
易知MM估计量与OLS、ML估计量等价。
矩方法是工具变量方法(Instrumental Variables,IV) 和广义矩估计方法(Generalized Moment Method, GMM)的基础 • 在矩方法中关键是利用了
e e ˆ n k 1 n k 1
2 2 e i
*二、最大或然估计
对于多元线性回归模型
Yi 0 1 X 1i 2 X 2 i k X ki i
易知
Yi ~ N ( X i β , 2 )
ˆ , 2 ) P (Y1 , Y2 , , Yn ) L (β 1 ( 2 ) 1 ( 2 )
ห้องสมุดไป่ตู้
2、满足基本要求的样本容量
从统计检验的角度： n30 时，Z检验才能应用； n-k8时, t分布较为稳定 一般经验认为: 当n30或者至少n3(k+1)时，才能说满足 模型估计的基本要求。
模型的良好性质只有在大样本下才能 得到理论上的证明
六、多元线性回归模型的参数估计实例 例3.2.2 在例2.5.1中，已建立了中国居 民人均消费一元线性模型。这里我们再考 虑建立多元线性模型。
X X
i 2 i
10 21500
21500 53650000
1 X Y X 1
1 X2
Y1 1 Y2 Yi 15674 X Y 39468400 Xn i i Y n
ˆ X Y (X X) β
并对它进行求解而完成的。 该正规方程组 可以从另外一种思路来导:
Y Xβ μ XY XXβ Xμ X(Y Xβ ) Xμ
求期望 :
E(X(Y Xβ )0
E(X(Y Xβ )0
称为原总体回归方程的一组矩条件，表明了原总 体回归方程所具有的内在特征。
解该（k+1）个方程组成的线性代数方程组，即可得到 (k+1)个待估参数的估计值 j , j 0,1,2,, k 。
正规方程组的矩阵形式
n X 1i X ki
X X

1i 2 1i

X X X
ki
X
ki
X 1i
ˆ 1 0 ˆ X 11 1i ki 1 2 ˆ X ki k X k 1
§3.2 多元线性回归模型的估计
估计方法：OLS、ML或者MM 一、普通最小二乘估计
*二、最大或然估计
*三、矩估计
四、参数估计量的性质
五、样本容量问题
六、估计实例
一、普通最小二乘估计
对于随机抽取的n组观测值
(Yi , X ji ), i 1,2, , n, j 0,1,2, k
如果样本函数的参数估计值已经得到，则有：
ˆ 1 ˆ ˆ β 2 ˆ k
在离差形式下，参数的最小二乘估计结果为 ˆ (x x) 1 x y β
ˆ Y ˆ X ˆ X 0 1 1 k k
⃟随机误差项的方差的无偏估计
可以证明，随机误差项的方差的无偏估计量为
n n
其中
ˆ )2 Q e (Yi Y i
i 1
n
2 i
i 1
ˆ ˆ X ˆ X ˆ X )) (Yi ( 0 1 1i 2 2i k ki
i 1
2
于是得到关于待估参数估计值的正规方程组：
ˆ ˆ X ˆ X ˆ X ) Y ( 0 1 1i 2 2i k ki i ˆ ˆ ˆ ˆ ( 0 1 X 1i 2 X 2 i k X ki ) X 1i Yi X 1i ˆ ˆ X ˆ X ˆ X ) X Y X ( 0 1 1i 2i 2i k ki 2i i 2i ˆ ˆ ˆ ˆ ( 0 1 X 1i 2 X 2 i k X ki ) X ki Yi X ki
n 2 n 2
Y的随机抽取的n组样本观测值的联合概率
n 1 2
2
e

ˆ ˆ X ˆ X ˆ X )) 2 (Yi ( 0 1 1i 2 2i k ki
1 2
2

ˆ )( Y Xβ ˆ) ( Y Xβ
n
e
即为变量Y的或然函数
对数或然函数为
L* Ln( L ) nLn ( 2 ) 1 2
得到：
ˆ XY XXβ
ˆ ( X X) 1 X Y β
于是：
例3.2.1：在例2.1.1的家庭收入-消费支出例中，
1 ( X ' X) X 1 1 X2 1 X1 1 1 X 2 n X Xn i 1 X n
2
ˆ ) ( Y Xβ ˆ) ( Y Xβ
对对数或然函数求极大值，也就是对
ˆ ) ( Y Xβ ˆ) (Y Xβ
求极小值。 因此，参数的最大或然估计为
ˆ ( X X) 1 X Y β
结果与参数的普通最小二乘估计相同
*三、矩估计（Moment Method, MM）
OLS估计是通过得到一个关于参数估计值的正 规方程组
ˆ0 ˆ1 X 1i ˆ 2 X 2i ˆ k X Ki ˆi Y
i=1,2…n
根据最小二乘原理，参数估计值应该是下列方程组的解
Q0 ˆ 0 Q0 ˆ 1 ˆ Q0 2 Q0 ˆ k
解释变量：人均GDP：GDPP 前期消费：CONSP(-1) 估计区间：1979~2000年
Eviews软件估计结果
LS // Dependent Variable is CONS Sample(adjusted): 1979 2000 Included observations: 22 after adjusting endpoints Variable C GDPP CONSP(-1) Coefficient 120.7000 0.221327 0.451507 0.995403 0.994920 26.56078 13404.02 -101.7516 1.278500 Std. Error 36.51036 0.060969 0.170308 t-Statistic 3.305912 3.630145 2.651125 Prob. 0.0037 0.0018 0.0158 928.4946 372.6424 6.684995 6.833774 2057.271 0.000000
i=1,2…n
其矩阵形式为
ˆ e y xβ
其中 ：
y1 y2 y y n
x11 x x 12 x 1n x 21 x k 1 x 22 x k 2 x 2 n x kn
于是
⃟正规方程组 的另一种写法
对于正规方程组
ˆ XY XXβ
ˆ X e X Xβ ˆ X Xβ
于是
Xe 0
或
e
i
(*) (**)
i
0
ji i
X
e 0
(*)或（**）是多元线性回归模型正规方程组的另一 种写法
⃟样本回归函数的离差形式
ˆ x ˆ x ˆ x e yi 1 1i 2 2i k ki i
1

可求得
0.0003 0.7226 ( XX) 0.0003 1.35 E 07
ˆ 0.7226 0.0003 15674 103 .172 1 ˆ β ˆ 2 0.0003 1.35 E 07 39648400 0.7770
这里利用了假设: E(X’)=0
3、有效性（最小方差性）
其中利用了
ˆ ( X X) 1 X Y β
( X X ) 1 X ( Xβ μ) β ( X X ) 1 X μ
和
) 2I E (μμ
五、样本容量问题
⒈ 最小样本容量
所谓“最小样本容量”，即从最小二乘原理 和最大或然原理出发，欲得到参数估计量，不管 其质量如何，所要求的样本容量的下限。 样本最小容量必须不少于模型中解释变量 的数目（包括常数项）,即 n k+1 因为，无多重共线性要求：秩(X)=k+1