多元线性回归课件

B
X Y
l1y
，
lty
其中： l jy n (xij x j )( yi y) , j 1,2,,t 。 i 1
h
13
l11 .l21
l12 .l22
. .. .
l1t l2t .
记 ： L .. .. . .. .. .
. .. . ..
lt1
.. .. ..
ltt
L1
l2 y
lty
ˆ1
l1y
即： ˆ 0
y
，
ˆ2
L1
l
2y
ˆt
lty
h
15
由此可得 ˆ1,, ˆt 为下列方程的解：
ll2111ˆˆ11
ltt ˆ1
l1t ˆt l1y l2t ˆt l2 y
ltt ˆt lty
ˆ0 y ˆ1 x1 ˆt xt
xi xi 2
B X Y
yi xi yi
C A1 n(
1 xi 2
nx
2
)
xi 2 nx
nx n
1 nlxx
xi 2 nx
nx n
故：
ˆ
CB
1 nlxx
xi 2 nx
nx n
ny xi
yi
y ˆ1x
lxy / lxx
h
10
例2.2 下面的模型称为t 元中心化线性回归模型：
从上述性质可知，残差向量的各分量之间一般也是相关的。
并且当为正态时， e ~ N (0, (1 H ) 2 )
h
19
性质三 Cov(e, ˆ ) 0
证明：
Cov(e, ˆ ) Cov((1 H )Y , ( X X )1 X Y )
构矩阵， 为随机误差向量， I n 为单位矩阵。显然，由假
设可知：
Y ~ N ( X , 2 I n )
h
4
§2.2 参数的最小二乘估计
和一元线性回归一样，仍采用最小二乘法去估计参数
0 , 1,, t 。令：
n
Q( ) ( yi 0 1xi1 t xit )2 i 1
(Y X ) '(Y X )
l11 l12 . . l1t l 21 l 22 . . l 2t
L1 . . . . .
. . . . .
l
t1
lt2
. .
l tt
则
( X X )1
C
A1
1
n 0
0 L1h
14
ˆ
ˆ 0 ˆ1
ˆty
y
l1y
yi
0
1(xi1 x1) t (xit 各iiid ~ N(0,2)
xt )i
i
1,2,, n
写出模型相应的矩阵X,Y, A, B,C ，并求出模型参数的最小二
乘估计。
h
11
记：
y1
0
Y
y2
yn
1
t
则模型可写为
1
X
1
1
x11 x1 x21 x1
xn1 x1
h
17
下面几个性质除性质 6 之外，对随机误差假定
E 0 ， Var 2In 。 性质一 ˆ 是 的线性无偏估计，且Varˆ 2 ( X X )1 证明：因 ˆ ( X X )1 X Y 是Y 的线性函数，故为线性估计。 又： Eˆ ( X X )1 X EY ( X X )1 X X ，即： ˆ 为 的
h
6
为了方便,我们定义:
A X X 为正规方程组的系数矩阵，为 (t 1) 阶方阵；
B X Y 为正规方程的常数项矩阵，为 t 1 维向量矩阵；
C A1 ( X X )1 为相关矩阵，为 (t 1) 阶方阵。
h
7
例 2.1 用矩阵形式写出如下一元线性回 归 模型：
yi 0 1xi i i ~ i.i.d ~ N (0, 2 )
x1t x2t
xt xt
xnt xt
1
2
n
Y X ~ N (0, 2 I n )
h
12
n 0 0
A
X
X
0
l11
l1t
，
0 lt1
ltt
其中： lkj l jk
n
(xij x j )( xik xk ) ,
j, k 1,2,,t
。
i 1
ny
则各 的 LS 估计 ˆ ，满足
Q(ˆ ) = min Q( ) mh in(Y X ) '(Y X ) 5
根据微积分原理，
Q
|
ˆ
X
'Y
X
'Y
(X
'
X
X
'
X
)ˆ
0
整理可得正规方程组：
X ' X ˆ X 'Y
当 ( X X )1 存在时， 的最小二乘估计为：
ˆ ( X X )1 X Y
,n
h
2
为了方便起见，多元回归分析常采用矩阵形式来表示，并通过
矩阵的性质来研究参数及其他性质。记:
y1
Y
y2
yn
0
1
t
1
Y
1
1
x11 x21
xn1
x1t x2t
xnt
1
2
n
h
3
则模型可表示为
Y X ~ N (0, 2 I n )
称Y 为随机变量的观测向量， 为未知参数向量，X 为结
i 1,2,, n
并 用 矩 阵 形 式 求 出 0 , 1 的 最 小 二 乘 估 计 。
h
8
解：记：
y1
Y
y2
yn
0 1
1 x1
X
1
x2
1 xn
1
2
n
则可记为:
Y X ~ N (0, 2 I n )
,并 且 有 ：
h
9
A X X
n xi
无偏估计。
Varˆ ( X X )1 X DYX ( X X ) 2 ( X X )1
h
18
性质二 Ee 0 , Vare 2 (1 H )
证明：由于 e (1 H )Y ,故有：
Ee (1 H )EY (1 H )X 0 Vare (1 H )VarY (1 H ) 2 (1 H ) 2 (1 H )
第二章
多元线性回归
h
1
§2.1多元线性回归模型
为了研究 y 与 x1, , xt 之间的关系，首先必须收集 n 组独立
观测数据,
(xi1,, xit , yi ) ， i 1,2,, n
并假定它们之间有如下关系式：
yi
0 1xi1 t xit i
i 1, 2,
各i相互独立且同分布服从N (0, 2 )
例子，见 p38-41
h
16
参数估计的性质
记：Yˆ Xˆ X ( X X )1 X Y ˆ HY
为拟合向量。其中：H X ( X X )1 X 为方阵，其元素记为
{hij } ，显然， H 是对称并且幂等矩阵。
e Y Yˆ (I H )Y 为残差向量。
SSE (Y Yˆ)(Y Yˆ) Y (I H )Y 为残差平方和。