第二章 最小二乘法和线性回归_金融计量学

（四）第一类错误和第二类错误

错误地拒绝；错误的接受。
（五）P值和检验的势
30
第三节 多变量线性回归模型的统计检验
一、多变量模型的简单介绍
多元线性回归一般方程：
yt 1 2 x2t 3 x3t ...... k xkt ut
t=1,2,3….T
33
可以得到多变量回归系数的估计表达式
ˆ 1 ˆ 2 1 ˆ X X X y M ˆ k
同样我们可以得到多变量回归模型残差的样本方差
ˆ u ˆ u s T k
2
1 2 ˆ 参数的协方差矩阵 var s X X
32
在多变量回归中残差向量为：
ˆ1 u u ˆ2 ˆ u M ˆT u
残差平方和为：
ˆ u ˆ u ˆ1 u ˆ2 RSS u ˆ1 u u ˆ2 2 2 ˆT u ˆ1 u ˆ2 K u ˆT2 u ˆt2 L u M ˆT u
ˆ） 总体y值被分解为两部分：模型拟合值（ y ˆx u 和残差项（ ）， yt ˆ ˆt t t 注意：SRF中没有误差项，一般假定ｕt~N 0, 2
ˆx ˆ ˆ y t
ˆ u
9
样本回归函数与总体回归函数的关系
Y
Yi

Yi
SRF PRF
ˆ Y i
E(Yi X i )
ˆ ˆ－ ～N0,1 ~ N 0,1 的： var var 需要注意的是：如果残差不服从正态分布，但只要
则通常认为系数估计量还是服从正态分布的。
从正态分布，系数估计量也是服从正态分布
CLRM的其他假设条件还成立，且样本容量足够大，
ˆ ˆ ~ SE
模型的不确定性也就越大。如果s2很大，这意
味着估计直线不能很好地拟合散点；
16
2 x x （3）参数估计值的方差与 t 成反比。
其值越小，散点越集中，这样就越难准确地估 计拟合直线；相反，如果 xt x 越大，散点
2Baidu Nhomakorabea
越分散，这样就可以容易地估计出拟合直线， 并且可信度也大得多。 比较图2－2就可以清楚地看到这点。
x y T xy ˆ x Tx
t t 2 t 2
t 1
ˆx ˆ y
12
(二)最小二乘估计量的性质和分布
经典线性回归模型的基本假设：
（1）E ut 0 ，即残差具有零均值；
（2）var u 2<∞,即残差具有常数方差，且对 t 于所有x值是有限的； （3）cov ui , u j 0 ，即残差项之间在统计意义 上是相互独立的；
2 t
1
1 s 2 2 x T x t
其中， s
ˆ u
T 2
是残差的估计标准差。
15
参数估计量的标准差具有如下的性质： （1）样本容量T越大，参数估计值的标准差越 小；
ˆ 都取决于s2。 s2是残差的方差 （2） ˆ 和SE SE
估计量。 s2越大，残差的分布就越分散，这样
14
(三) OLS估计量的方差、标准差和其概率分布 1.OLS估计量的方差、标准差。 给定假设(1)－(4)，估计量的标准差计算方程如 下:
ˆ s SE
x T x x
2 t t
2
s
x T x Tx
2 t 2 t 2
ˆ s SE
2 x x t
T 1 2 1 1 R T K


24
二、假设检验
回归分析是要判断解释变量X是否是被解释变
量Y的一个显著性的影响因素。计量经济学中，
主要是针对变量的参数真值是否为零来进行显
著性检验的。
假设检验采用的逻辑推理方法是反证法
先假定原假设正确，然后根据样本信息，观察
xt被称作自变量/解释变量/原因变量； α、β为参数，或称回归系数； ｕt通常被称为随机误差/扰动项，简称误差项。
模型中引入ｕt的原因？ 对“线性”的理解？
8
总体回归方程（PRF）表示变量之间的真实关 系，有时也被称为数据生成过程（DGP）， PRF中的α、β值是真实值 样本回归方程（SRF）是根据所选样本估算的 变量之间的关系函数，方程为：
其中:解释变量的数目为k-1(x2t,x3t…,xkt)个， j称为偏回归系数，（β1’β2’…..βk）分别衡量 了解释变量对因变量y的边际影响的程度。
矩阵形式为
y X u
31
y是T×1矩阵，X是T×k矩阵，β是k×1矩阵，u是T×1矩阵
多元线性回归模型的基本假定 ： 假设1，解释变量是非随机的或固定的，且 各X之间互不相关（无多重共线性）。 假设2，随机误差项具有零均值、同方差 及不序列相关性。 假设3，解释变量与随机项不相关。 假设4，随机项满足正态分布。
由此假设而导致的结果是否合理，基于“小概 率事件不易发生”原理判断是否接受原假设。
25
假设检验有两种方法： 置信区间检验法（confidence interval approach）和显著性检验法（test of significance approach）。 显著性检验法中最常用的是t检验和F检验，前 者是对单个变量系数的显著性检验，后者是对 多个变量系数的联合显著性检验。
17
图2－2 直线拟合和散点集中度的关系
18

2 x （4） t
项只影响截距的标准差，不影响斜率
的标准差。理由是： xt2 衡量的是散点与y轴的
2 距离。 x t 越大，散点离y轴越远，就越难准确
地估计出拟合直线与y轴的交点（即截距）； 反之，则相反。
19
2．OLS估计量的概率分布 给定假设条件(5)，即u t ～N 0, 2 ，则 yt 也服
ei
A
ui
Xi
X
10
一元线性回归主要解决下列一些问题： 2 （1）利用样本对未知参数α、β、 进行估计； （2）对回归模型作显著性检验； （3）当x=x0时对Y的取值作预测。
二、参数的最小二乘估计
(一) 最小二乘法的基本原则
普通最小二乘法（简记OLS）;
最小二乘法的基本原则是：最优拟合直线应该 使各点到直线的距离的和最小，也可表述为距 离的平方和最小。实际上是使残差平方和（简 T ˆt2 最小。求偏导并另其为零可得： 记RSS） u
因为
TSS=ESS+RSS
所以
ESS 2 R＝
2
R 0,1
TSS RSS RSS （2.39） 1 TSS TSS TSS
R2越大，说明回归线拟合程度越好；R2越小，说 明回归线拟合程度越差。由上可知，通过考察R2 的大小，我们就能粗略地看出回归线的优劣。
23
但是，R2作为拟合优度的一个衡量标准也存在
26
（一）t 检验
（1）对总体参数提出假设 H0： 1=0，
ˆ t 1 S ˆ
H1：10
（2）以原假设H0构造t统计量，并由样本计算其值
1
（3）给定显著性水平，查t分布表得临界值t /2(n-2) （4） 比较，判断 若 |t|> t /2(n-2)，则拒绝H0 ，接受H1 ； 若 |t| t /2(n-2)，则拒绝H1 ，接受H0
tT 2
ˆ ~ tT 2 ˆ SE

20
第二节
一元线性回归模型的统计检验
一、拟合优度检验
拟合优度可用R2 表示：模型所要解释的
是y相对于其均值的波动性，即
y
t
y
2
（总平方和，简记TSS），这一平方和可以分 2 2 ˆ y y ˆt2 。 成两部分： y t y = t + u
*
ˆ tcrit SE ˆ ） ˆ tcritSE （ ˆ ，
落在置信区间外，我们
29
* H : 拒绝 0 的原假设；反之，不能拒绝。
（三）t检验与置信区间检验的关系 因此，实际上t检验法与置信区间法提供的结果是 完全一样的。
ˆ * -tcrit tcrit ˆ SE ˆ tcrit SE ˆ ˆ tcritSE ˆ *
◆怎样具体测定公司的发展与这种决定性因素的数量关系?
◆如何对未来公司的股票价格进行预测？哪些因素最重要？
2
本章要点
回归分析和回归函数
经典线性回归模型的最小二乘估计
拟合优度检验 回归系数的t检验和置信区间检验 多变量模型的回归系数的F检验 回归模型预测 模型选择与案例分析
4
回归的古典意义： 高尔顿遗传学的回归概念 ( 父母身高与子女身高的关系) 回归的现代意义： 一个应变量对若干解释变量 变量 依存关系 的研究 回归的目的（实质）： 由固定的解释变量去估计 和预测应变量的平均值
5
图2-1 货币供应量和GDP散点图
6
由图中的点确定线的过程就是回归。
对于变量间的相关关系，我们可以根据大量的
是被模型解释的部分，记为称为回归 平方和，简记ESS 。
2 ˆ u t 是不能被模型所解释的残差平方和RSS。
21
ˆ y y
2
TSS、ESS、RSS的关系以下图来表示更加直 观一些：
图2－4 TSS、ESS、RSS的关系
22
ESS 拟合优度 R ＝ TSS
2
（2.37） （2.38）
3
第一节
最小二乘法的基本属性
一、有关回归的基本介绍
金融、经济变量之间的关系，大体上可以分 为两种（确定关系、非确定关系）：
（1）函数关系：Y=f(X1,X2,….,XP)，其中Y的 值是由Xi（i=1,2….p）所唯一确定的。 （2）相关关系: Y=f(X1,X2,….,XP) ，这里Y的 值不能由Xi（i=1,2….p）精确的唯一确定。
一些问题：
（1）具有不同被解释变量的模型之间是无法 来比较R2的大小的。
（2）通常只要增加解释变量， R2就会不断的 增大，这样我们就无法判断出这些解释变量是 否应该包含在模型中。 （3）R2的值经常会很高，达到0.9或更高，所 以我们无法判断模型之间到底孰优孰劣。 通常用调整后的R2，记为
R
2
R2
（4）covut , xt 0，即残差项与变量x无关；
（5）ｕt~N 0, 2 ,即残差项服从正态分布
13
如果满足假设(1)－(4)，根据高斯-马尔可夫定理， 它们是最优线性无偏估计量（简记BLUE）。
ˆ 具有一些特性： 由OLS得到的估计量 ˆ 、
（1）无偏性，参数估计值的均值等于其真实值。 （2）最小方差性，在所有线性无偏估计量里， OLS估计量具有最小方差。 （3）有效性， 由（1）和（2）可得。 （4）一致性，随着样本容量增加，近似真实值。
第二章 最小二乘法（OLS） 和线性回归模型
1
引子: 我们通常选择什么样的股票给我们 带来盈利呢？
目前中国的资本市场逐渐成熟，投资于股市成为众多企业 乃至个人的重要理财方式。因此利用上市公司当年的公开 的财务指标对来年盈利状况予以预测，就成为投资人最重 要的决策依据。 ◆是什么决定性的因素影响到上市公司的股票价格？ ◆公司的发展与这种决定性因素的数量关系究竟是什么？
27
图2-5 双侧检验拒绝区域和非拒绝区域分布
28
（二）置信区间检验 ˆ及其 （1）用OLS法回归方程得到β的估计值
ˆ 标准差SE 。
（2）选择一个显著性水平（通常为5%），这
相当于选择95%的置信度。查t分布表，获得自
由度为T-2的临界值 tcrit 。
（3）所建立的置信区间为 （4）如果零假设值
统计资料，找出它们在数量变化方面的规律 （即“平均”的规律），这种统计规律所揭示 的关系就是回归关系，所表示的数学方程就是 回归方程或回归模型。
回归分析揭示的是被解释变量与解释 变量之间的平均关系。
7
简单线性回归方程(总体回归方程PRF)：
yt xt ut
yt被称作因变量/被解释变量/结果变量；