第三章 回归分析概要1901最全版演示课件.ppt

系。（举例见教材） • 二、理论模型和回归模型 • Y=f(X1,X2,……,Xp)
• Y=f(X1,X2,…,Xk; ū)
KUHKUK
2
• 三、随机误差和系统误差
• 1、随机误差：是由随机因素形成的误差。 所 谓随机因素，是指那些对被解释变量的作用不 显著，其作用方向不稳定（时正时负），在重 复试验中，正作用与负作用可以相互抵消的因 素。
有 i , j 0 。
于是可得到随机向量 的方差—协方差矩阵为：
2 0 0
1 0 0
Var


0
2
0



2 0
1
0 （2.1.22）
0 0 2
0 0 1
KUHKUK
9
六、经典线性回归模型及其 假设条件
• 一、有正确的期望函数。
Xn1 X n2 ... X nk

1
X n2
...
X
nk

为了使模型中包含一个常数项，通常假设解释变量矩阵第一列的
取舍全为 1, 即假设 X11, X 21,...,X n1 1,1,...1 。
也就是说，解释变量中的第一个变量通常假设为取值恒为 1 的变量。
KUHKUK
• 2、系统误差：由系统因素形成的误差。所谓 系统因素，是指那些对被解释变量的作用较显 著，其作用方向稳定，重复试验也不可能相互 抵消的因素。
KUHKUK
3
• 四、线性回归模型和非线性回归模型
• 分类的标准：回归模型的期望函数关于 参数的倒数是否与参数有关。即期望函 数的一阶导函数是否仍然是关于参数的 函数。如果导函数不是关于参数的函数， 即参数是线性的，则称该回归模型是线 性回归模型；反之，则称该回归模型是 非线性回归模型。
• 它要求在线性回归模型中没有遗漏任何重
要的解释变量，也没有包含任何多余的解释变 量。
• 二、被解释变量等于期望函数与随机干扰项之 和。
• 三、随机干扰项独立于期望函数。即所有解释机矩阵，且其秩为 列满秩的，即rank（X）＝k。
•KUHKUK
... ...
...
... ...

Y1 , Yn Y2 ,Yn
...


（2.1.21）
Yn ,Y1 Yn ,Y2 ... 2 Yn ,Yn
假如，设由 3 个观测值组成的随机干扰项向量 在每个观测点上方差
相同，即 2 i 2 ，并且随机干扰项彼此不相关，即对于 i≠j,
KUHKUK
4
五、回归模型的矩阵方法和随 机矩阵
一般线性回归模型的矩阵表示法
1、解释变量矩阵 X
X 11 X 12 ... X 1k 1 X 12 ... X 1k
X X 21
X 22
...
X 2k


1
X 22
...
X
2K

... ... ... ... ... ... ... ...
5
2、被解释变量向量 Y、参数向量 和随机干扰向量 ：
Y1
1
1
Y

Y2
;




2
;




2

... ... ...
Yn



k



n

依照矩阵运算法则，可用矩阵表示为：
Y X
(2.1.14)
在（2.1.14）式中，X 一般是非随机矩阵，通常称为设计矩阵；Y、
都是随机向量，而 则是常数向量。
KUHKUK
6
(二) 随机向量的数学期望和协方差矩阵
在（2.1.14）式中，Y 和 的元素都是随机变量，因此是随机向量。
1、 随机向量的数学期望。 随机向量的数学期望仍然是向量，是由原向量相应的随机变量元素的
(2.1.19)
在矩阵（2.1.19）中，方差 2 Yi 在矩阵的主对角线上；对于 i≠j 时
的协方差，有 Yi ,Y j Y j ,Yi 。
KUHKUK
8
对 n×1 维随机向量，有：
VarY Y22Y,Y11
Y1,Y2 2 Y2
10
• 五、随机干扰项服从正态分布。该假设 给出了被解释变量的概率分布。
• 六、随机干扰项的期望值为0。即：
•
E（u）＝0
• 七、随机干扰项具有方差齐性。即：
• 八、随机干扰项相互独立。
•
KUHKUK
11
第二节 模型参数的估计
一、普通最小二乘法
（OLS估计）
• 通过协方差或相关系数证实变量之间存在关系，仅仅 只是知道变量之间线性相关的性质——正（负）相关 和相关程度的大小。
KUHKUK
7
依照方差与协方差的定义，我们类似地可以定义随机向量的 方差—协方差矩阵。仍然以 3 个观测值 Y1,Y2,Y3 构成的随机向量
Y 来说明，记每个随机变量Yi 的方差为 2 Yi ，任意两个随机变量
Yi ,Y j 的协方差为 Yi ,Y j ，这些方差和协方差可以组成一个矩阵，
第三章 回归分析概要
• 第一节、经典线性回归模型 • 第二节、普通最小二乘估计和最大似然估计 • 第三节、假设检验 • 第四节、置信区间
KUHKUK
1
第一节 经典线性回归模型
• 一、函数关系和统计关系 • （一）函数关系是一一对应的确定性关
系。（举例见教材） • （二）统计关系是不完全一致的对应关
称为随机变量 Y 的方差—协方差矩阵，常常简称为 Y 的协方差矩阵，
用 2 Y 或VarY 表示：
VarY Y22Y,Y11
Y1,Y2 2 Y2

Y1 , Y3 Y2 ,Y1

Y3 ,Y1 Y3 ,Y2 2 Y3
数学期望值组成的向量。
EY nxk
E Yij
,

i j
1,2,..., 1,2,...,
n k

（2.1.16）
2、 随机向量的协方差矩阵。
记 Y 的方差为 2 Y E Y EY 2
(2.1.17)
记 Y 与 Z 的协方差为 Y , Z EY EY Z EZ (2.1.18)