第六讲 多重共线
一、 FWL 定理及其应用
考虑模型:
112233i i i i i y a b x b x b x ε=++++ (1)
假如我们只关注
1
?b
,则通过如下步骤可以获得之。
第1步:把
1x 对其他解释变量进行回归(请注意,截距所对应的解释变量为1)
,即有: 101223????i i i i
x x x v βββ=+++ (2)
第2步:把
y 也对(2)中的解释变量进行回归,即有:
01223????i i i i y x x w ???=+++ (3)
第3步:把
?w 对?v 进行回归(不含截距,当然你可以包含截距,但你会发现,截距
的估计结果是零,这是因为?w 与?v 其均值都为零)
,即有模型:
??i i i v
e w η=+ (4) 则有:2????i i i
w v v η=∑∑,可以验证,1??b η=,且残差?i e 等于初始的残差?i ε。此即著名的FWL 定理(Frisch-Waugh-Lovell theorem )。关于FWL 定理的一个简单证明见附录1。思考题:
利用关于“偏导数”的直觉,你能够理解
1
??b η=吗? 考察2????i i i
w v v η=∑∑,把01223????i i i i y x x w ?
??=---代入,现在分子是:
2012230123????()?????????i i i i i i i i
i i i v x i i y x x y v x v v v w
v ??????------∑∑∑==∑∑∑
应该注意到,在进行第一步回归时,OLS 法保证了
203???i i i i i v x x v
v ===∑∑∑ 因此,22??????i i i i i i
w v y v v v η==
∑∑∑∑ 显然,如果把
y 对?v 直接进行无截距回归:
*?i
i
i
y v η?
=+ (5)
我们也可以得到:
*122???????i i i i i i y v w v b v v
η
η====∑∑∑∑。
因此,如果只关注如何获得1
?b ,我们可以把FWL 定理中第二步与第三步合并为把y 对
?
v 直接进行无截距回归。
思考题:
?i
?与?i e 相等吗?提示:
???????i i i e v i i i
w y v η
?η--== 注意到,
2?i
v ∑是(2)中的残差平方和,对(2),有: 22211
11
()()??i
i
i
x x x x v TSS ESS RSS
-=-+↓↓↓∑∑∑
22211
11
2211
11211
2211
(2)
()()??()?[()](1)()[()](1)
i i
i
i
i
i
i
v x x x x x x x x x x x x R =----=--
-=--∑∑∑
∑∑∑
∑
其中
2
(2)
R 是根据(2)计算的决定系数。
因此,1
2211
(2)
???[()](1)i i i y v
b x x R η==--
∑∑。
练习: 对
1122i i i i y a b x b x ε=+++进行OLS 估计,利用前述知识证明:
12
21
1?x x b =
在这里,
12
x x r
、2
yx r 分别是x2与x1、y 的样本相关系数。
笔记:
在上述练习题中,当12
0x x r =时,则11
1
(,)
?()
Cov y x b Var x =。现在考虑另外一个
回归模型:
011i i i
y x e ββ=++,在OLS 法下,有:11
1?(,)()
Cov y x Var x β=。
总结:尽管1122i i i i
y a b x b x ε=+++与1
01i i i y x e ββ=++是不同的
模型,但当x 2与x 1样本不相关时,在OLS 法下,1
1
??b
β=。
1
?b 的方差是多少呢? 1
2?112233*********
??()()()???????()?b
i i i i i i i i i i i i i i i i i i i y v a b x b x b x v Var Var v v
av b x v b x v b x v v Var v
δεε=++++=++++=∑∑∑∑∑∑∑∑∑∑
OLS 法保证了
320???i i i x i i x v v
v ===∑∑∑,因此 1
2
?112??()?b
i i i i i b x v v Var v
δε=+∑∑∑
由于我们假定1i x 是非随机的,进而?i v 也是非随机的,因此在i ε是同方差且序列无关的假
定下,有:
2
2211(2)
2
1
2?[()](1)2?i b
x x R i
v δδδ=
--=∑∑
其中
22i
εδδ=。
在上式中,
2
(2)
11R -通常被称为方差膨胀因子(VIF ),而
2
(2)
1R -被称为容忍
度(Tolerence )。另外,由于
2111()i N
x x -∑为1
x 的样本方差1
()V ar x ,因此,
1
22(2)
1
/2?)((1)N b V a r x R δδ-=
(6) 就上述例子,根据(6)式,初步的总结是,1
?b 的方差(或者标准差1
?()sd b ): (1)随着样本容量的增加而减少; (2)随着
1
x
样本方差的增加而减少;
(3)随着
2
(2)
R 增加而增加; (4)随着误差项方差的增加而增加;
样本容量越大则信息越多,1
x 样本方差越大意味着样本覆盖面广,故信息越
多。信息越多将提高估计精度。2(2)
R 越大表示解释变量所蕴含信息的重叠度高,
因此有效信息较少,故降低估计精度。误差项方差大意味着估计时所面临的不确定性程度高,因此估计精度下降。
2δ一般是未知的,需要估计。1
?b 的标准误为:
1
?)(b
se =其中222???44
i
i e N N δ
ε==--∑∑。因此,
1
?)(b se =
考虑初始模型(1),显然有:
2222[)](1)()(1)?(i i
y R NVar y R y ε=--=-∑∑
因此,有:
1
?)(b
se = (7)
特别要注意,
1
?)(b
se 是随机的(在(7)式中,2R 是随机的,其随机性来源于y 的随机性)。既然
1
?)(b
se 是随机的,那么我们再也不能像对(6)式那样总结了!然而在大样
本下,由于标准误在概率上收敛于标准差,故此时有关标准差的一些结论可以应用于标准误。
根据特定的样本,我们可以计算出一个具体的标准误的值,公式仍然是(7)式,但此
时它是非随机的。考虑此种情况。如果在模型(1)上再增添一个解释变量4
x ,显然2
(2)
R 一般是增加的,因此将增加1?b 的标准差,但一定会增加1
?b 的标准误吗? 二、
完全共线与多重共线
针对上述例子,如果
2(2)
1R =,即1x 被2
3
1,,x x 完全拟合,换句话说,存在:
112324310x x x λλλλ+?++=
其中1λ不为零。那么根据公式:
1
2211(2)
??[()](1)i i i y v
b x x R =--∑∑
22211(2)
1
2?[()](1)i b x x R δδ=
--∑ 有:
1
21?
0?;0b b
δ==∞。 思考题:
为什么
0?i i y v
=∑?
现在我们把情况推广:
112324310x x x λλλλ?+++=
其中,1,2,3,4j
j λ
=不全为零,此时,我们称四变量完全共线。根据前面的分析,我
们知道,至少有一个系数的估计量是无法确定的,其方差无穷大。 把初始模型写成矩阵模式:
Y XB ε=+,其中
112131
1231231(1)1N
N
N x x x X x x x x x x ?? ? ? ?
? ? ? ?
?
?
≡
≡ 。
在OLS 法下,
1?()B
X X X Y -=''。为了保证估计量的存在,我们必须假定1
()X X -'存
在
。
然
而
,
当
X
不
是
列
满
秩
的
,
即
112324310x x x λλλλ+?++=,其中,1,2,3,4
j j λ=不全为零,那么1()X X -'是不存在的。
把情况进一步推广:
112324310
i x x x λλλλμ+?+++=,其中
,1,2,3,j j λ=不全为零,i μ为随机误差,那么我们称四变量多重共线。多重共线并没有违背高斯-马尔科夫假定,因此,高斯-马尔科夫定理仍然成立!
三、 多重共线的后果
基于特定的样本,我们根据公式:
1
?)(b
se =计算出一个具体的标准误的值。显然,如果2
(2)
R
较大,即多重共线性越强,那么我们得到的标准误的值可能很大。如果情况确实如此,那么这又有什么后果呢?
(1)
回忆1
1
1
?()?()b b t se b
-=,b 1
是假设的真实系数。如果
1
?()se b
很大,那么上式的分母很大,从而t 趋于零,因此,也许你无论假设b 1
为多少,
你都会不拒绝原假设!因此,t 检验的可靠性降低,犯第二类错误(取误)的概率较大。 (2)
构建一个1a -置信水平的置信区间:1
1
/2
?()?a se b b t ±,
显然,
1
?()se b
很大将导致置信区间更宽,因此,我们不能很好地猜测b 1
的取值。
四、 如何判断多重共线的严重程度? (一)基于严重多重共线性情况下模型的一些典型症状来判断多重共线性的严重程度。这些典型症状是:
1、模型整体拟合较好但很多解释变量不显著。
考虑在初始模型增添一个解释变量,显然其判定系数一般是增加的(相应的是,新模型F 值可能较大),然而,增加解释变量很可能导致严重的多重共线性,从而很多解释变量不显著。
2、系数估计的符号不符合理论预期,但往往不显著。 思考题:为什么?
3、增加样本容量导致估计结果发生了很大的变化。删除一些变量也导致估计结果发生了很大的变化。
思考题:为什么?
(二)考察解释变量两两相关系数。
如果存在取值较大的相关系数,那么这意味着多重共线性程度严重,然而也应该注意到,即使两两相关系数都很小,多重共性性仍可能是严重的。 思考题:
为什么即使两两相关系数都很小,多重共线性仍可能是严重的? (三)考察VIF 或者
2i R 。
如果VIF 大于10,一般认为存在较严重的多重共线性(当然也可考察容忍度)。按照VIF 的定义,显然,当VIF 大于10时,必有一个解释变量对其他解释变量回归所得到的2
i R 超过90%,而这是一个很高的判定系数。事实上,按照Klien ’s rule of thumb ,当2i R 大于初
始模型的
2R 时,多重共线问题就值得关注了。
(四)特征根检验。
当完全共线时,
1()X X -'不存在,0X X
=',当存在严重的多重共线时,
0X X
≈'。假设
X X
'的特征根是
1
2
1
,,...,
k λλλ+,根据矩阵代数知识:
11
k i i X X
λ+==
'∏,因此,如果X X
'的特征根中至少有一个近似为0,则
0X X
≈'。
因此可以根据X X
'的特征根来判断多重共线的严重程度。
笔记:
在实践中,通常基于标准化变量回归模型(每一个解释变量的每一次观察值都减去样本均值,然后再除以样本标准差,此即变量的标准化处理。标准化变量回归模型再也不含截距。)利用特征根方法。记标准化变量回归模型的解释变量矩阵为*
X ,则
*
*
11
N X X '-即为解释变量的相关系数矩阵(你能够验证吗?)。
接下来我们可以根据这个相关系数矩阵的特征根(特征根个数为k )来判断原模型的多重共线性的严重性。定义病态数CN (Condition Number )=最大特征根/最小特征根、病态指数CI (Condition Index
)=,当CI 大于30或者CN
大于1000时,一般认为多重共线程度严重。
五、
多重共线一定会产生令我们忧虑的后果吗?
考虑模型
112233i i i i i y a b x b x b x ε=++++,现在,2
x
与
3
x
的相关性
很大,因此,在OLS 法下,
2?b 与3
?b 的方差或许很大。但2
x 与
3
x
的相关性很大并不一
定意味着
2
x
、
3
x
及其常变量1能够很好地拟合1x ,因此,1
?b
的方差并不一定大。总体来看,尽管由于
2
x
与
3
x
的相关性很大导致模型出现严重的多重共线性,然而我们关注
的是对b 1的估计,而1
?b 的方差并不一定大,故就我们的关注点来说,多重性共线或许并未产生严重的后果。
另外从公式1
?)(b
se =影响
1
?)(b
se 的因素很多,因此,即使2(2)
R
很大也并不一定使得1
?)(b
se 就很大。 当利用估计模型以作预测之用时,我们经常对整个模型的拟合度较为关注,而并不关注个别系数是否显著。此时,多重共线也并不值得我们忧虑。
六、
多重共线的处理方法
多重共线如果产生了令我们忧虑的后果,我们该怎么办? (一)无为而治
一般认为,多重共线是一个样本问题,你手中样本恰好有这样的表现!如果多重共线导致了估计精度问题,那说明你掌握的数据所包含的信息含量很低,因此,“遇到多重共线我该怎么办?”这个问题无异于“如果我没有很多的观测值该怎么办?”(Goldberger,1991)。如果你不能增加样本容量,那么采取一些治疗多重共线的方法(如逐步回归等),反而可能带来灾难性的后果(Leamer,1961)(例如,如果采用逐步回归,也许这将导致遗漏一些重要的变量,结果使得OLS 估计量不满足一致性)。因此,当无法增加样本容量的情况下,无为而治可能是最恰当的方式!
(二)重新建模 例一:
初始模型是一个包含人口变量的多元回归模型,如果初始模型表现出的多重共线性令你
不安,那么你可以重新建立一个涉及到人均变量的模型,在该模型中,人口变量并不作为一个单独的解释变量而出现。 例二:
时间序列变量通常具有相似的时间趋势从而共线性程度可能较高,你或许可以对这些变量取差分,利用差分变量进行建模。
例三:
对一些变量取对数有时也是一种好办法。
例四:
有时在重新建模时会使用相关变量的线性组合作为解释变量,而不是把每个变量单独作为解释变量。问题是如何确定线性组合的权重。主成分分析法是解决这个问题的好办法,见附录3。
(三)使用先验信息 考虑模型
112233i i i i i y a b x b x b x ε=++++,假如3x 与其他解释变量相
关性很高,从而模型多重共线性严重。如果某个理论或者先前的研究表明,3
b β
≈,β
是一已知常数。那么我们可以试着重新估计一模型:
31122i i i i i y x a b x b x v β-=+++)(
显然,先验信息的可靠性是十分重要的。
(四)其他方法,参见相关教科书,要注意相关方法的缺陷(例如逐步回归法的缺陷)。
附录1:FWL 定理的一个简单证明及其推广
由下述三式:
112233?????i i i i i
y a b x b x b x ε=++++ 01223????i i i i y x x w ???=+++
101223????i i i i
x x x v βββ=+++ 有:
012230122312233?????????????i i i i i i i i i
x x v x x w a b b x b x βββ???ε++++++=
++++()
即:
0122310112
1231????????????????i i i
i i
x x v w a b b b b b b βββ???ε=+-+-++-+++)))(((
把上式理解为一个拟合结果,则因为: (1)
23x x 、分别与??w
v 、样本不相关,故 12112123
??0??????b b b b ββ??==-+-+))(( (2)
?w 与?v 其均值都为零,故
10????a b β?+-)(=0 于是:
1????i
i i v w b ε=+ 推广: 对
5451122334???????i i i i i i
i y a b x b x b x b x b x ε=++++++ 必有:
112233????????i i i i i
w b v b v b v ε=+++ 其中123????w v v v 、、、分别是1
2
3
y x x x
、、、各自对
54x x 、进行带截距回归所
得到的残差。
附录2:简单相关、偏相关与复相关;有何种联系?
x 1与x 2具有简单相关系数r 12,然而这种相关性可能是由于x 1与x 2分别与x 3相关造成的。在控制了x 3(保持x 3不变)之后,x 1与x 2的相关性被称为偏相关。另外,x 1与(x 2,x 3)的相关关系被称为复相关。样本复相关系数的平方就是回归模型11223i i i i x a b x b x ε=+++的判定系数R 2。这些基于样本的相关系数具有何种联系呢?
一、样本偏相关系数r sample 12.3的计算 步骤:
第1步:把
1x 对3x 进行回归有:
1023???i i i
x x v ββ=++ (1) 记x 1的拟合值为1
?x
。 第2步:把2
x 也对3
x 进行回归,即有:
2023???i i i x x w ??=++ (2)
记x 2的拟合值为2
?x 。
第3步:计算
?v 与?w
的简单相关系数。
则有:
??
12.3
()()??????w v sam ple
sam ple
w w v v w
v r
r --=
=
=
可以证明,
12.3
sam ple
sam ple
sam ple
sam ple
r r r r
-=
,见第三讲附录3。
二、R 2与简单相关系数与偏相关系数的联系 把
?v 对?w
进行回归,有: ??i i i w
e v η=+ 而对于回归模型11223i i i i
x
a b x b x ε=+++,其判定系数是: 2
1112
2
12.3112
1
1
12.3
1
1
12
??()()()
()
()
,??()()()
()
(
)()[(
)()]
()
(111((
111((??))
??))
?)
????FW L sam ple sam ple V ar V ar V ar V ar e V ar x V ar x V ar x C ov
V ar V ar V ar v
r V ar v
V ar x V ar x V ar V ar r
V ar V ar V ar x v v v w w w x x x x R
εη=
=-==---===-
-
-
-
-
-
--定理
2
112.31
1
1222
1312.313()[(
)()]
()
(1)
??sam ple sam ple sam ple sam ple V ar r V ar V ar V ar x r r r x x x +-=
+-①
按照判定系数的定义,1
(
)/()1?Var Var x x 与2
2
()/(
)?Var Var x
x
分别是回归(1)与回
①
根据第一讲无截距回归的代数知识,我们知道,
2
2
2
????v ()i
i
i
w e η=+∑∑
∑
,又因为???,,v w e 皆为0,因此2
?()((??))?Var e Var Var v w η=-。另外,(
2
????,)??()?C ov i i i
w v w
v Var w
w η=
=∑∑
归(2)的判定系数。而在简单线性回归中,判定系数等于被解释变量与解释变量(样本)简单相关系数的平方。 从上面的结果可知,2
2
13
sample r R
≥,这再次表明,当增加解释变量时,判定系数不会减少!
附录3:主成分分析法
1、基本思想
主成分分析是对数据降维的一种方法。其基本思想是设法将原来众多的具有一定相关性的指标(比如k 个指标)进行线性组合,重新形成一组新的互不相关的综合指标,以代替原来k 个指标。问题是,如果不加限制,则可以有很多线性组合。应该如何限制呢? 2、数学模型
在原有k 个变量(指标)上构建k 个新的综合指标(主成分):
1
1112121212122221122............
...k k k k k
k k kk k
F a X a X a X F a X a X a X F a X a X a X =+++??=+++????=+++?
矩阵表示为:
1
1121112
12222
2
12...............
k k k k
k
kk k i i F a a a X F a a a X F F a a a X F a X
?????? ? ??
?
? ???== ? ??? ? ????????
?
'= 在这里1122
......i i i
ki k a X a X a X a X ???? ? ? ?
?== ? ? ? ?????
。 限制条件:
(1)222
121i i ki a a a +++= ,1i i a a '=
(2)F i 与F j (i ≠j )互不相关,即:
() ()0i j i j i j C ov F F C ov a X a X a a '''==∑=,,
在这里∑是X 的协方差阵。
(3)F 1,F 2,… F k 方差依次递减。每一个主成分的方差代表信息,故该约束意味着,k 个主成分从原始指标所提供的信息总量中所提取的信息量依次递减。
假设X 的协方差阵∑的特征根为λ1≥λ2≥…λk >0,相应的正交化单位特征向量为:
11121212221212,,...,k k
k
k k kk b b b b b b b b b b b b ?????? ? ? ? ? ? ?=== ? ? ? ? ? ???????
可以证明,如果
1122 (i)
i i
i
i i
ki
ki a b a b a b a b ???? ? ?
? ?=== ? ? ? ?
????
则所构建的k 个主成分满足上述约束,并且λ1,λ2,…,λk 分别为各自主成分的方差。 4、估计X 的协方差阵∑
X 的协方差阵∑是未知的。利用公式:
1
1()()1
i j N
X X im
i jm j m s x x x x N
==
---∑
在这里im x 是对变量i X 的第m 次观测,我们可以得到样本协方差阵,进而得到该矩阵的特征根与正交化单位特征向量。
5、选择主成分
我们往往并不需要全部的主成分。如果最终选择的是前p 个主成分,那么一般要求这p
个主成分的累计方差贡献率(1
1
/p
k
i i i i λλ==∑∑)在85%以上已确定的全部。在确定了主成分之
后,不难得到各主成分的观测值。
笔记:
在实践中,通常是基于标准化变量进行主成分分析。标准化变量的协方差矩阵即为相关系数矩阵。假定标准化变量的数据集如下:
1112121222121
2
......(,,...,)...
k k
K
N N N k x x x x x x X X X X x x x ??????==??????
则
11
N X X -'即为样本协方差矩阵。
现在我们假定y 的标准化变量对z y 对前p(m k <)个主成分进行了回归,其结果是:
1122????
...,y p p Z F F F γγγε=++++
由于
11112121212122221122............
...k k k k p p p kp k
F a X a X a X F a X a X a X F a X a X a X =+++??=+++????=+++?
在这里,12...i i i ki
a a a a ?? ?
?=
? ???
是已知的。因此有: 11221
1
1
????()()...,()p
p
p
y i i i i i ki k i i i Z a X a X a X γγγε====++++∑∑∑
定义:112
21
1
1
??????...p
p
p
i
i
i
i
k
i
ki
i i i a
a
a βγβγβγ====
==∑∑∑,则
1122????...,y k k
Z X X X βββε=++++ 回忆第一讲有关标准化系数的笔记,我们不难得到非标准变量回归的系数估计。
应该注意,如果利用全部的主成分(共k 个)进行回归并反推出非标准变量回归的系数估计,则最终结果与直接对非标准变量进行回归没有任何差别(当然前者没有截距估计而直接对非标准变量进行回归可以得到截距估计)!故从终点又回到了起点,参见Kennedy(5e,p.215)。在进行主成分回归时抛弃k-p 个主成分本质上就是在回归分析时施加了约束,这无疑会增加估计的精度。然而这是有代价的,一般来说,利用p 个主成分进行回归并反推出非标准变量回归的系数估计并不是一致估计。
除了主成分分析法外,还有岭回归法、因子分析法等方法可以被用来处理多重共线性。但值得指出的是,基于这些方法最终所获得的系数估计一般都是非一致估计。
第二章简单线性回归模型 第一节回归分析与回归函数P15 (一)相关分析与回归分析 1、相关关系 2、相关系数 3、回归分析 (二)总体回归函数(条件期望) (三)随机扰动项 (四)样本回归函数 第二节简单线性回归模型参数的估计P26 (一)简单线性回归的基本假定 (二)普通最小二乘法求样本回归函数 (三)OLS回归线的性质 (四)最小二乘估计量的统计性质 1、参数估计量的评价标准(无偏性、有效性、一致性) 2、OLS估计量的统计特性(线性特性、无偏性、有效性、高斯-马尔可夫定理) 第三节拟合优度的度量(RSS、ESS、TSS)P35 (一)总变差的分解 (二)可决系数 (三)可决系数与相关系数的关系 第四节回归系数的区间估计与假设检验P38 (一)OLS估计的分布性质 (二)回归系数的区间估值 (三)回归系数的假设检验 1、Z检验 2、t检验 第五节回归模型预测P43 第六节案例分析P48 第三章多元线性回归模型 第一节多元线性回归模型及古典假定P64 一、多元线性回归模型 二、多元线性回归模型的矩阵形式 三、多元线性回归模型的古典假定 第二节多元线性回归模型的估计P68 一、多元线性回归性参数的最小二乘估计 二、参数最小二乘估计的性质(线性特性、无偏性、有效性) 三、OLS估计的分布性质 四、随机扰动项方差的估计 五、多元线性回归模型参数的区间估计
第三节多元线性回归模型的检验P74 一、拟合优度检验(多重可决系数、修正的可决系数) 二、回归方程的显著性检验(F-检验) 三、回归参数的显著性检验(t-检验) 第四节多元线性回归模型的预测P79 第五节案例分析P81 第四章多重共线性第一节什么是多重共线性P94 第二节多重共线性产生的后果 第三节多重共线性的检验 第四节多重共线性的补救措施 第五节案例分析P109
第六讲 多重共线 一、 FWL 定理及其应用 考虑模型: 112233i i i i i y a b x b x b x ε=++++ (1) 假如我们只关注 1 ?b ,则通过如下步骤可以获得之。 第1步:把 1x 对其他解释变量进行回归(请注意,截距所对应的解释变量为1) ,即有: 101223????i i i i x x x v βββ=+++ (2) 第2步:把 y 也对(2)中的解释变量进行回归,即有: 01223????i i i i y x x w ???=+++ (3) 第3步:把 ?w 对?v 进行回归(不含截距,当然你可以包含截距,但你会发现,截距 的估计结果是零,这是因为?w 与?v 其均值都为零) ,即有模型: ??i i i v e w η=+ (4) 则有:2????i i i w v v η=∑∑,可以验证,1??b η=,且残差?i e 等于初始的残差?i ε。此即著名的FWL 定理(Frisch-Waugh-Lovell theorem )。关于FWL 定理的一个简单证明见附录1。思考题: 利用关于“偏导数”的直觉,你能够理解 1 ??b η=吗? 考察2????i i i w v v η=∑∑,把01223????i i i i y x x w ? ??=---代入,现在分子是: 2012230123????()?????????i i i i i i i i i i i v x i i y x x y v x v v v w v ??????------∑∑∑==∑∑∑
应该注意到,在进行第一步回归时,OLS 法保证了 203???i i i i i v x x v v ===∑∑∑ 因此,22??????i i i i i i w v y v v v η== ∑∑∑∑ 显然,如果把 y 对?v 直接进行无截距回归: *?i i i y v η? =+ (5) 我们也可以得到: *122???????i i i i i i y v w v b v v η η====∑∑∑∑。 因此,如果只关注如何获得1 ?b ,我们可以把FWL 定理中第二步与第三步合并为把y 对 ? v 直接进行无截距回归。 思考题: ?i ?与?i e 相等吗?提示: ???????i i i e v i i i w y v η ?η--== 注意到, 2?i v ∑是(2)中的残差平方和,对(2),有: 22211 11 ()()??i i i x x x x v TSS ESS RSS -=-+↓↓↓∑∑∑
第二章简单线性回归模型 2.1 (1)①首先分析人均寿命与人均GDP的数量关系,用Eviews分析:Dependent Variable: Y Method: Least Squares Date: 12/27/14 Time: 21:00 Sample: 1 22 Included observations: 22 Variable Coefficient Std. Error t-Statistic Prob. C 56.64794 1.960820 28.88992 0.0000 X1 0.128360 0.027242 4.711834 0.0001 R-squared 0.526082 Mean dependent var 62.50000 Adjusted R-squared 0.502386 S.D. dependent var 10.08889 S.E. of regression 7.116881 Akaike info criterion 6.849324 Sum squared resid 1013.000 Schwarz criterion 6.948510 Log likelihood -73.34257 Hannan-Quinn criter. 6.872689 F-statistic 22.20138 Durbin-Watson stat 0.629074 Prob(F-statistic) 0.000134 有上可知,关系式为y=56.64794+0.128360x1 ②关于人均寿命与成人识字率的关系,用Eviews分析如下:Dependent Variable: Y Method: Least Squares Date: 11/26/14 Time: 21:10 Sample: 1 22 Included observations: 22 Variable Coefficient Std. Error t-Statistic Prob. C 38.79424 3.532079 10.98340 0.0000 X2 0.331971 0.046656 7.115308 0.0000 R-squared 0.716825 Mean dependent var 62.50000 Adjusted R-squared 0.702666 S.D. dependent var 10.08889 S.E. of regression 5.501306 Akaike info criterion 6.334356 Sum squared resid 605.2873 Schwarz criterion 6.433542 Log likelihood -67.67792 Hannan-Quinn criter. 6.357721 F-statistic 50.62761 Durbin-Watson stat 1.846406 Prob(F-statistic) 0.000001 由上可知,关系式为y=38.79424+0.331971x2 ③关于人均寿命与一岁儿童疫苗接种率的关系,用Eviews分析如下:
第一讲作业题 为分析不同州的公共教育支出花费在学生身上的教育经费,估计了如下的回归方程: 式中,S代表第i个州花费在每个公立学校学生身上的教育经费;Y代表第i个州的资本收入;G代表第i个州公立学校学生的增长率。 1A 说明变量Y与变量G的参数估计值的经济意义。 作业题2 1B 你预期变量Y和G的参数符号各是什么请说明理由。估计结果与你的预期一致吗 作业题3 1C 变量G是用小数来衡量的,因此,当一个州的招生人数增加了10%时,G等于。如果变量G用百分比的形式来衡量,那么当一个州的招生人数增加了10%时,G等于10。此时,方程的参数估计值会如何变化(文字说明即可) 作业题4 Jaime Diaz发表在《体育画报》上的一篇论文研究了美国职业高尔夫球协会(PGA)巡回赛中不同距离的推杆次数。论文中建立了推杆进洞次数百分比(P)关于推杆距离(L,英尺)的关系式。推杆距离越长,进洞的可能性越小。可以预测,L的参数估计值为负。回归方程如下: 2A 说明L的参数估计值的经济意义。 作业题5 2B 利用该方程估计一个PGA高尔夫球员10英尺推杆进球的次数百分比。再分别估计1英尺和25英尺的情况。结果是否符合现实 作业题6 2C 上一题的答案说明回归分析时存在什么问题 第二讲作业题 作业题1 1 查尔斯·拉弗(Charles Lave)发表了一篇驾驶员交通事故率的研究报告。他的总体结论是驾驶速度的方差(同一公路上汽车驾驶速度差异的程度)是交通事故率的重要决定因素。在他的分析中,采用两年的全美数据分别估计,得出的回归方程为: 第一年: 第二年:
式中,代表第i个州州际公路上的交通事故数量(单位:车辆每行驶一亿英里的交通事故数);代表一个不确定的估计截距;代表第i个州的驾驶速度的方差;代表第i个州每名驾驶员的平均罚单数量;代表第i个州内每平方英里医院的数量。 1a.考察变量的理论依据,给出其参数符号的预期。 作业题2 1b.这两年的参数估计的差异是否值得重视请说出你的理由。在什么情况下,应该关注这些差异呢 作业题3 1c.通过比较两个方程的调整的判定系数,哪一个方程具有更高的判定系数调整的判定系数越高,回归方程越好吗为什么 作业题4 假定你决定建一个离你学校最近的冷冻酸奶商店的销售量模型。店主很乐意帮助收集数据,因为她相信你们学校的学生是她的主要顾客。经过长时间的数据收集以及无限量的冷冻酸奶供给之后,你估计得到以下回归方程: 式中,代表第t个两周内冷冻酸奶的销售总量;代表t期的平均温度(单 位:华氏温度);代表t期该商店冷冻酸奶价格(单位:美元);代表反 映是否在学校报纸发布广告的虚拟变量(1=店主在学校报纸上做了广告); 代表反映是否为学校学期时间的虚拟变量(1=t期是学校学期时间,即9月初到12月初、1月初到5月底)。 2a.为什么要假定“无限量的冷冻酸奶供给”(提示:考虑模型是否满足经典假设) 作业题5 2b.说明变量和变量的参数估计值的经济含义。
第10章模型设定与实践 问题 10.1 模型设定误差有哪些类型?如何诊断? 答:模型设定误差主要有以下四种类型: 1.漏掉一个相关变量; 2.包含一个无关的变量; 3.错误的函数形式; 4.对误差项的错误假定。 诊断的方法有:1.侦察是否含有无关变量;2.残差分析,拉姆齐(Ramsey)的RESET检验法,DM(Davidsion-MacKinnon:戴维森麦-克金龙)检验;3.拟合优度、校正拟合优度、系数显著性、系数符合的合理性。 10.2 模型遗漏相关变量的后果是什么? 答:模型遗漏相关变量的后果是:所有回归系数的估计量是有偏的,除非这个被去除的变量与每一个放入的变量都不相关。常数估计量通常也是有偏的,从而预测值是有偏的。由于放入变量的回归系数估计量是有偏的,所以假设检验是无效的。系数估计量的方差估计量是有偏的。 10.3 模型包含不相关变量的后果是什么? 答:模型包含不相关变量的后果是:系数估计量的方差变大,从而估计量的精度下降。10.4 什么是嵌套模型?什么是非嵌套模型? 答:如果两个模型不能被互相包容,即任何一个都不是另一个的特殊情形,便称这两个模型是非嵌套的。如果两个模型能互相包容,即其中一个是另一个的特殊情形,便称这两个模型是嵌套的。 10.5 非嵌套模型之间的比较有哪些方法? 答:非嵌套模型之间的比较方法有:拟合优度或校正拟合优度、AIC(Akaike’s information criterion)准则、SIC(Schwarz’s information criterion)准则和HQ(Hannnan-Qinn criterion)准则。拉姆齐(Ramsey)的RESET检验法,DM(Davidsion-MacKinnon:戴维森麦-克金龙)检验。 习题 10.6 对数线性模型在人力资源文献中有比较广泛的应用,其理论建议把工资或收入的对数
计量经济学讲义共十讲文档编制序号:[KKIDT-LLE0828-LLETD298-POI08]
第一讲 普通最小二乘法的代数 一、 问题 假定y 与x 具有近似的线性关系:01y x ββε=++,其中ε是随机误差项。我们对01ββ、这两个参数的值一无所知。我们的任务是利用样本数据去猜测01ββ、的取值。现在,我们手中就有一个样本容量为N 的样本,其观测值是:1122(,),(,),...,(,)N N y x y x y x 。问题是,如何利用该样本来猜测01ββ、的取值 为了回答上述问题,我们可以首先画出这些观察值的散点图(横轴x ,纵轴y )。既然y 与x 具有近似的线性关 系,那么我们就在图中拟合一条直线:01 ???y x ββ=+。该直线是对y 与x 的真实关系的近似,而0 1 ??,β β分别是对01 ,ββ的猜测(估计)。问题是,如何确定0?β与1 ?β,以使我们的猜测看起来是合理的呢 笔记: 1、为什么要假定y 与x 的关系是0 1y x ββε=++呢一种合理的解释 是,某一经济学理论认为x 与y 具有线性的因果关系。该理论在讨论x 与y 的关系时认为影响y 的其他因素是不重要的,这些因素对y 的影响即为模型中的误差项。 2、0 1y x ββε=++被称为总体回归模型。由该模型有: 01E()E()y x x x ββε=++。既然ε代表其他不重要因素对y 的影 响,因此标准假定是:E()0x ε=。故进而有:
01E()y x x ββ=+,这被称为总体回归方程(函数),而 01 ???y x ββ=+相应地被称为样本回归方程。由样本回归方程确定的?y 与y 是有差异的,?y y -被称为残差?ε。进而有:0 1 ???y x ββε=++,这被称为样本回归模型。 二、 两种思考方法 法一: 12(,,...,)N y y y '与12???(,,...,)N y y y '是N 维空间的两点,0 ?β与1 ?β的选择应该是这两点的距离最短。这可以归结为求解一个数学问题: 由于?i i y y -是残差?i ε的定义,因此上述获得0?β与1 ?β的方法即是0 ?β 与1 ?β的值应该使残差平方和最小。 法二: 给定i x ,看起来i y 与?i y 越近越好(最近距离是0)。然而,当你选择拟合直线使得i y 与?i y 是相当近的时候,j y 与?j y 的距离也许变远了,因此存在一个权衡。一种简单的权衡方式是,给定12,,..,N x x x ,拟合直线的选择应该使1y 与 2?y 、2y 与2?y 、...、N y 与?N y 的距离的平均值是最小的。距离是一个绝对值,数学处理较为麻烦,因此,我们把第二种思考方法转化求解数学问题: 由于N 为常数,因此法一与法二对于求解0?β与1 ?β的值是无差异的。 三、 求解
一:绘制时间序列图 根据1970-1991年的美国制造业固定厂房设备投资Y和销售量X的数据在Eviews中录入数据得到固定厂房设备投资Y时间序列图如下 由上图我们可以看出该时间序列可能存在趋势和截距项所以我们选择ADF检验的模型对其检验是否为平稳序列。 二:ADF检验结果
从检验的结果可以看出,在1%、5%、10%三个显着水平下,单位根检验的Mackinnon的临界值分别为、、,t检验统计量为远远大于相应的临界值,从而不能拒绝原假设,即可以说明固定厂房设备投资Y存在单位根,是非平稳数列。 三:根据1970-1991年的美国制造业固定厂房设备投资Y和销售量X的数据在Eviews 中录入数得到销售量X的时间序列图如下 由上图我们可以看出该时间序列可能存在趋势和截距项所以我们选择ADF检验的模型对其检验是否为平稳序列。 四ADF检验结果
从检验的结果可以看出,在1%、5%、10%三个显着水平下,单位根检验的Mackinnon的临界值分别为、、,t检验统计量为远大于相应的临界值,从而不能拒绝原假设,即可以说明销售量X存在单位根,是非平稳数列。 五:单整阶数检验
从检验的结果可以看出,在1%、5%、10%三个显着水平下,单位根检验的Mackinnon的临界值分别为、、,t检验统计量为,小于于相应的临界值,从而能拒绝原假设,即可以说明销售量X已经不存在单位根,是平稳数列。即是二阶单整。
从 检 验 的 结 果 可 以 看 出, 在 1%、 5%、 10% 三 个 显 着 水 平 下, 单 位 根 检 验 的 Mac kin non 的 临 界 值分别为、、,t检验统计量质为.小于相应的临界值,从而能拒绝原假设,即可以说明固定厂房设备投资Y已经存在单位根,是平稳数列。即是二阶单整。
第二章 简单线性回归模型 2.1 (1) ①首先分析人均寿命与人均GDP 的数量关系,用Eviews 分析: Dependent Variable: Y Method: Least Squares Date: 12/27/14 Time: 21:00 Sample: 1 22 Included observations: 22 Variable Coefficient Std. Error t-Statistic Prob. C 56.64794 1.960820 28.88992 0.0000 X1 0.128360 0.027242 4.711834 0.0001 R-squared 0.526082 Mean dependent var 62.50000 Adjusted R-squared 0.502386 S.D. dependent var 10.08889 S.E. of regression 7.116881 Akaike info criterion 6.849324 Sum squared resid 1013.000 Schwarz criterion 6.948510 Log likelihood -73.34257 Hannan-Quinn criter. 6.872689 F-statistic 22.20138 Durbin-Watson stat 0.629074 Prob(F-statistic) 0.000134 有上可知,关系式为y=56.64794+0.128360x 1 ②关于人均寿命与成人识字率的关系,用Eviews 分析如下: Dependent Variable: Y Method: Least Squares Date: 11/26/14 Time: 21:10 Sample: 1 22 Included observations: 22 Variable Coefficien t Std. Error t-Statistic Prob. C 38.79424 3.532079 10.98340 0.0000 X2 0.331971 0.046656 7.115308 0.0000 R-squared 0.716825 Mean dependent var 62.50000 Adjusted R-squared 0.702666 S.D. dependent var 10.08889 S.E. of regression 5.501306 Akaike info criterion 6.334356 Sum squared resid 605.2873 Schwarz criterion 6.433542 Log likelihood -67.67792 Hannan-Quinn criter. 6.357721
第八讲 平稳时间序列 在严格意义上,随机过程{}t X 的平稳性是指这个 过程的联合和条件概率分布随着时间t 的改变而保持不变。在实践中,我们更关注弱意义上的平稳或者所谓的协方差平稳: 2();();(,)t t t t j j E X Var X Cov X X μδδ+=== 显然20δδ=。 在本讲义中,平稳皆指协方差平稳。当上述条件中的任意一个被违背时,则称{}t X 是非平稳的。 (一)平稳随机过程的例子 1、白噪声过程{}t ε: 20()0;();(,)0,t t t t j j E Var Cov εεδεε+≠=== 笔记: 假定t ε还服从正态分布,则{}t ε被称为高斯白噪声。在正态分布下,独立与不相关是两个等价的概念,从而高斯白噪声{}t ε也属于严格白噪声。对于严格白噪声过程,有: , (12) ()()t t t t E E εεεε--=,。因此,就预测t ε来说,,1t i i ε-≥没有任何信息价值。当一个变量的当期及其过去值对预测变量未来值没有任何帮助时,我们常常称该变量是不可预测的。
2、AR(1)过程: 011,11t t t y a a y a ε<-=++,{}t ε是白噪声过程 为了验证上述过程满足平稳性条件,我们首先通过迭代得到:1 1 1 1 00 1 0t t i i t i i i t t y a a a y a ε---===++∑∑。接下来注意到, 1 1 1)0(t i i t t E y a a a y -==+∑,进一步假设数据生成过程发生了 很久,即t 趋于无穷大,则0 1 )1(t a E y a μ-==;其次也有 1 1 ()() t i t i i t Var y Var a ε--==∑,当t 趋于无穷大时, 2 12 2 1()11()i t Var a a Var y εδ-= - = ;最后,当t 趋于无穷大时,有: 1211111111222 (12411112) 1......(...) [()()] [()()]s s t t s t s t t s t s t s t t s s s s s a a a a a E y y E a a a a a μμδδεεεεεεε+-----------++- -+++++++++++= == 关于AR(p)过程的平稳性,见附录。下图是对一个 平稳AR(1)过程的模拟。 1,(0,1) 10.8t N ID t t t y y εε-+=+ 笔记:
第一章绪论 参考重点: 计量经济学的一般建模过程 第一章课后题(1.4.5) 1.什么是计量经济学?计量经济学方法与一般经济数学方法有什么区别? 答:计量经济学是经济学的一个分支学科,是以揭示经济活动中客观存在的数量关系为内容的分支学科,是由经济学、统计学和数学三者结合而成的交叉学科。 计量经济学方法揭示经济活动中各个因素之间的定量关系,用随机性的数学方程加以描述;一般经济数学方法揭示经济活动中各个因素之间的理论关系,用确定性的数学方程加以描述。 4.建立与应用计量经济学模型的主要步骤有哪些? 答:建立与应用计量经济学模型的主要步骤如下:(1)设定理论模型,包括选择模型所包含的变量,确定变量之间的数学关系和拟定模型中待估参数的数值范围;(2)收集样本数据,要考虑样本数据的完整性、准确性、可比性和—致性;(3)估计模型参数;(4)检验模型,包括经济意义检验、统计检验、计量经济学检验和模型预测检验。 5.模型的检验包括几个方面?其具体含义是什么? 答:模型的检验主要包括:经济意义检验、统计检验、计量经济学检验、模型的预测检验。在经济意义检验中,需要检验模型是否符合经济意义,检验求得的参数估计值的符号与大小是否与根据人们的经验和经济理论所拟订的期望值相符合;在统计检验中,需要检验模型参数估计值的可靠性,即检验模型的统计学性质;在计量经济学检验中,需要检验模型的计量经济学性质,包括随机扰动项的序列相关检验、异方差性检验、解释变量的多重共线性检验等;模型的预测检验主要检验模型参数估计量的稳定性以及对样本容量变化时的灵敏度,以确定所建立的模型是否可以用于样本观测值以外的范围。 第二章经典单方程计量经济学模型:一元线性回归模型参考重点: 1.相关分析与回归分析的概念、联系以及区别? 2.总体随机项与样本随机项的区别与联系?
第一讲 普通最小二乘法的代数 一、 问题 假定y 与x 具有近似的线性关系:01y x ββε=++,其中ε是随机误差项。我们对01ββ、这两个参数的值一无所知。我们的任务是利用样本数据去猜测01ββ、的取值。现在,我们手中就有一个样本容量为N 的样本,其观测值是:1122(,),(,),...,(,)N N y x y x y x 。问题是,如何利用该样本来猜测01ββ、的取值? 为了回答上述问题,我们可以首先画出这些观察值的散点图(横轴x ,纵轴y )。既然y 与x 具有近似的线性关系,那么我们就在图中拟合一条直线: 1 ???y x ββ=+。该直线是对y 与x 的真实关系的近似,而01??,ββ分别是对01 ,ββ的猜测(估计)。问题是,如何确定0 ?β 与1 ?β,以使我们的猜测看起来是合理的呢? 笔记: 1、为什么要假定y 与x 的关系是0 1y x ββε=++呢?一种合 理的解释是,某一经济学理论认为x 与y 具有线性的因果关系。该理论在讨论x 与y 的关系时认为影响y 的其他因素是不重要的,这些因素对y 的影响即为模型中的误差项。 2、 01y x ββε=++被称为总体回归模型。由该模型有: 01E()E()y x x x ββε=++。既然ε代表其他不重要因素对y
的影响,因此标准假定是:E()0x ε=。故进而有: 01E()y x x ββ=+,这被称为总体回归方程(函数),而01 ???y x ββ=+相应地被称为样本回归方程。由样本回归方程确定的 ?y 与y 是有差异的,?y y -被称为残差?ε。进而有:01 ???y x ββε=++,这被称为样本回归模型。 二、 两种思考方法 法一: 12(,,...,)N y y y '与12???(,,...,)N y y y '是N 维空间的两点,0 ?β 与1 ?β的选择应该是这两点的距离最短。这可以归结为求解一个数学问题: 01012201????,,11 ???()()N N i i i i i i Min y y Min y x ββββββ==-=--∑∑ 由于?i i y y -是残差?i ε的定义,因此上述获得0 ?β与1?β的方法即是0 ?β 与1 ?β的值应该使残差平方和最小。 法二: 给定i x ,看起来i y 与?i y 越近越好(最近距离是0)。然而,当你选择拟合直线使得i y 与?i y 是相当近的时候,j y 与?j y 的距离也许变远了,因此存在一个权衡。一种简单的权衡方式是,给定12,,..,N x x x ,拟合直线的选择 应该使1y 与2?y 、2y 与2?y 、...、N y 与?N y 的距离的平均值是最小的。距离是一个绝对值,数学处理较为麻烦,
第十章 联立方程组模型 第一节 联立方程组模型概述 一、问题的提出 1、单一方程模型存在的条件是单向因果关系。 2、对于变量之间存在的双向因果关系,则需要建立联立方程组模型。 3、经济现象的表现多以系统或体系的形式进行,仅用单一方程来反映存在局限性。 二、联立方程组的概念 1、联立方程组模型的定义。 由一个以上的相互联系的单一方程组成的系统(模型),每一个单一方程中包含了一个过多个相互联系(相互依存)的内生变量。联立方程组表现的是多个变量间互为因果的联立关系。 联立方程组与单一方程的区别是估计联立方程组模型的参数必须考虑联立方程组所能提供的信息(包括联立方程组里方程之间的关联信息),而单一方程模型的参数估计仅考虑被估计方程自身所能提供的信息。 2、联立方程组模型的例子。 (1)一个均衡条件下市场供给与需求的关系。 ) 3()2(0 )1(012101110s i d i i i s i i i d i Q Q u P Q u P Q =>++=<++=βββααα 称(1)式为需求方程,(2)式为供给方程,(3)式为供需均衡式;d i Q 表示需求量,s i Q 表示供给量,i P 表示价格,i i u u 21,分别为(1)式和(2)式的随机误差项。按照经济学基本原理,商品的供给与商品的需求共同作用于价格,反过来,价格也要分别决定商品的供给与需求。这就是方程(1)与方程(2)的作用机制,如果考虑了均衡条件,这又是方程(3)的作用。因此,通过这一联
立方程组将上述商品的供需与价格的相互作用过程得到了反映。 (2)一个凯恩斯宏观经济模型。 011012(4)(5)(6) t t t t t t t t t t C Y u I Y u T C I G ββαα=++=++=++ 式中,C 表示消费,Y 表示国民总收入(又GDP ,实际上它们是有区别的),I 表示私人投资,G 表示政府支出,u1、u2分别为消费函数和投资函数中的随机误差项。 三、联立方程组模型的基本问题(即联立方程组模型的偏倚性) 1、内生解释变量与随机误差项的相关性。 2、直接对联立方程组模型运用OLS 法,所得的参数估计值是有偏的,并且是不一致的。 例如,设凯恩斯收入决定模型为 [][]01) (11)1() 0)(())(())())(((),cov(1)(11) 1(11)(111)1(1 01 2 21 11 1 1011101 1100110110≠-=-=-==-=--=-= -∴-+-=-+-+-=-+ -+-= ∴++=-+++=∴+=<<++=βσβββββββββββββββββββββU E U U E U E U Y E Y E U E U Y E Y E U Y U Y E Y I U E I Y E U I Y U I Y I U Y Y I C Y U Y C t t t t t t t t t t t t t t t t t t t t t t t t t 表明内生变量Y 在作解释变量时与随机误差U 相关。 对凯恩斯模型中的消费函数求参数的估计,有(用离差形式表示)
计量经济学讲义 第四讲 趋势和DF 检验(修订版) 此翻译稿制作学习之用,如有错误之处,文责自负。 趋势平稳序列(TS )(图1和2) 一个趋势平稳序列绕着一个确定的趋势(序列的均值),其波动幅度不显示增大或者减小的趋势。 线性确定性趋势: t t t y εβα++= ),0(~2 σεiid t t=1,2,… 平方确定性趋势: t t t t y εγβα+++=2 ),0(~2 σεiid t t=1,2,… 通常: t t t f y ε+=)( ),0(~2 σεiid t t=1,2,… 均值是是随时间变化的(川),但是方差是常数。t ε可以为任意平稳序列,也就是说,不一定要是白噪声过程。 通过拟合一个确定的多项式时间趋势,趋势可以来消除:拟合趋势后残差将给出一个去趋势的序列。 一个带线性确定性趋势AR (1)过程可以写作: t 1-t 1t )1)-t (y (t y εβαφβα+--=-- ),0(~2 σεiid t t=1,2,… 此处确定性趋势被t y 减去。然而在实践中,α、β是未知的而且必须估计出来。于是模型可以被重述为: t 1-t 1111t y t )1()1(y εφβφβφαφ++-++-= 其中包含一个截距和一个趋势,也就是 t 1-t 1* *t y t y εφβα+++= 此处 βφαφα11*)1(+-= 且 βφβ)1(1* -= 若1||1<φ,那么此AR 过程就是围绕一个确定性趋势的平稳过程. 差分平稳序列(DF )(也叫单整序列)和随机性趋势 如果一个非平稳序列可以由一个平稳序列通过d 次差分得到,那么我们说这个序列就是d 阶单整的,写做I (d ).这一过程也因此叫做差分平稳过程(DSP ). 因此,平稳序列就是零阶单整的,I (0)。白噪声序列是I (0)。 所以如果序列t d t y w ?=是平稳的,那么t y 就是I (d )。?是差分算子,即 等等2-t 1-t t 2-t 1-t 1-t t 1-t t t t 21-t t t y 2y y )y y ()y y ()y y (y y ,y y y +-=---=-?=??=?-=? 如果序列 1-t t t t y y y w -=?= 是平稳的话,t y 是I (1); 如果序列2-t 1-t t t 2 t y 2y y y w +-=?= 是平稳的,t y 是I (2),
第二讲 普通最小二乘估计量 一、基本概念:估计量与估计值 对总体参数的一种估计法则就是估计量。例如,为了估计总体均值为u ,我们可以抽取一个容量为N 的样本,令Y i 为第i 次观测值,则u 的一个很自然的 估计量就是?i Y u Y N ==∑。A 、B 两同学都利用了这种 估计方法,但手中所掌握的样本分别是12(,,...,)A A A N y y y 与12(,,...,)B B B N y y y 。A 、B 两同学分别计算出估计值 ?A i A y u N =∑ 与?B i B y u N =∑ 。因此,在上例中,估计量?u 是随机的,而??,A B u u 是该随机变量可能的取值。估计量 所服从的分布称为抽样分布。 如果真实模型是:01y x ββε=++,其中01,ββ是待估计的参数,而相应的OLS 估计量就是: 1 01 2 ()???;() i i i x x y y x x x βββ-==--∑∑ 我们现在的任务就是,基于一些重要的假定,来考察上述OLS 估计量所具有的一些性质。 二、高斯-马尔科夫假定
●假定一:真实模型是:01y x ββε=++。有三种 情况属于对该假定的违背:(1)遗漏了相关的解释变量或者增加了无关的解释变量;(2)y 与x 间的关系是非线性的;(3)01,ββ并不是常数。 ●假定二:在重复抽样中,12(,,...,)N x x x 被预先固定 下来,即12(,,...,)N x x x 是非随机的(进一步的阐释见附录),显然,如果解释变量含有随机的测量误差,那么该假定被违背。还存其他的违背该假定的情况。 笔记: 12(,,...,)N x x x 是随机的情况更一般化,此时,高斯-马尔科夫假定二被更改为:对任意,i j ,i x 与j ε不相关,此即所谓的解释变量具有严格外生性。显然,当12(,,...,)N x x x 非随机时,i x 与j ε必定不相关,这是因为j ε是随机的。 ●假定三:误差项期望值为0,即 ()0,1,2i E i N ε==。 笔记: 1、当12(,,...,)N x x x 随机时,标准假定是: 12(,,...,)0,1,2,...,i N E x x x i N ε== 根据迭代期望定律有:12[(,,...,)]()i N i E E x x x E εε=,因 此,如果12(,,...,)0i N E x x x ε=成立,必定有:()0i E ε=。
计量经济学讲义
计量经济学讲义 第四讲 趋势和DF 检验(修订版) 此翻译稿制作学习之用,如有错误之处,文责自负。 趋势平稳序列(TS )(图1和2) 一个趋势平稳序列绕着一个确定的趋势(序列的均值),其波动幅度不显示增大或者减小的趋势。 线性确定性趋势: t t t y εβα++= ) ,0(~2σεiid t t=1,2,… 平方确定性趋势: t t t t y εγβα+++=2 ) ,0(~2σεiid t t=1,2,… 通常: t t t f y ε+=)( ) ,0(~2σεiid t t=1,2,… 均值是是随时间变化的(川),但是方差是常数。t ε可以为任意平稳序列,也就是说,不一 定要是白噪声过程。 通过拟合一个确定的多项式时间趋势,趋势可以来消除:拟合趋势后残差将给出一个去趋势的序列。 一个带线性确定性趋势AR (1)过程可以写作: t 1-t 1t )1)-t (y (t y εβαφβα+--=-- ) ,0(~2σεiid t 版权所
t=1,2,… 此处确定性趋势被t y 减去。然而在实践中,α、 β 是未知的而且必须估计出来。于是模型可以被 重述为: t 1-t 1111t y t )1()1(y εφβφβφαφ++-++-= 其中包含一个截距和一个趋势,也就是 t 1 -t 1 * * t y t y εφβα+++= 此处 β φαφα11* )1(+-= 且 β φβ)1(1*-= 若1 ||1 <φ ,那么此AR 过程就是围绕一个确定性 趋势的平稳过程. 差分平稳序列(DF )(也叫单整序列)和随机性趋势 如果一个非平稳序列可以由一个平稳序列通过d 次差分得到,那么我们说这个序列就是d 阶单整的,写做I (d ).这一过程也因此叫做差分平稳过程(DSP ). 因此,平稳序列就是零阶单整的,I (0)。白噪声序列是I (0)。 所以如果序列t d t y w ?=是平稳的,那么t y 就是I (d )。? 是差分算子,即 等等 2-t 1-t t 2-t 1-t 1-t t 1-t t t t 21-t t t y 2y y )y y ()y y ()y y (y y ,y y y +-=---=-?=??=?-=?
第八讲 平稳时间序列与单位根过程 一、随机时间序列模型概述 在严格意义上,随机过程{}t X 的平稳性是指这个 过程的联合和条件概率分布随着时间t 的改变而保持不变。在实践中,我们更关注弱意义上的平稳或者所谓的协方差平稳: 2();();(,)t t t t j j E X Var X Cov X X μδδ+=== 显然20δδ=。 在本讲义中,平稳皆指协方差平稳。当上述条件中的任意一个被违背时,则称{}t X 是非平稳的。 (一)平稳随机过程的例子 1、白噪声过程{} t ε: 20()0;();(,)0,t t t t j j E Var Cov εεδεε+≠=== 2、AR(1)过程: 011,11t t t y a a y a ε<-=++,{}t ε是白噪声过程 为了验证上述过程满足平稳性条件,我们首先通过迭代得到:1101 100 10t t i i t i i i t t y a a a y a ε---===++∑∑。接下来注意到,1 01 01)0(t i i t t E y a a a y -==+∑,进一步假设数据生成过程发生了很久,即t 趋于无穷大,则0 1 )1(t a E y a μ-==;其次也有
1 10()()t i t i i t Var y Var a ε--==∑,当t 趋于无穷大时,21221 ()11()i t Var a a Var y εδ-=-=;最后,当t 趋于无穷大时,有:1211111111222 (124111121) ......(...)[()()] [()()] s s t t s t s t t s t s t s t t s s s s s a a a a a E y y E a a a a a μμδδεεεεεεε+-----------++--+++++++++++=== 关于AR(p)过程的平稳性,见附录。 3、MA(P)过程: 11...p t t t p t y a a εεε--=+++,{}t ε是白噪声过程 显然,任意有限阶MA 过程都是平稳的。 练习:对于00():,1,t i t i i MA y βεβ∞ -=∞==∑{}t ε是白噪声过程, 请指出平稳性条件。 关于ARMA(p,q)过程的平稳性,见附录。 (二)非平稳随机过程的例子 1、随机游走: 1t t t y y ε-=+,其中{}t ε是白噪声过程 注意到11210...t i t t t t t t i y y y y εεεε=---=+=++==+∑ , 故有:0()t E y y =、2()t t Var y δ=。显然,随着时期的延伸其方差趋于无穷大,因此随机游走属于非平稳过程。对于过程:1t t t y y με-=++,其中{}t ε是白噪声过程。该
第一章绪论 §计量经济学 一、计量经济学的产生与发展 计量经济学是经济学的一个分支,是以揭示经济活动中的客观存在的数量关系为内容的分支学科。其创立者R.弗里希将其定义为经济理论、统计学、数学三者的结合,但它又完全不同于这三个学科的每一个分支。 计量经济学(Econometrics)1926年由挪威经济学家弗里希(R.Frish)仿造生物计量学(Biometrics)一词提出的。1930年12月弗里希、丁百根和费歇耳等经济学家在美国克利夫兰市成立经济计量学会。1933年出版《计量经济学杂志》在发刊词中弗里希将计量经济学定义为:经济理论、数学、统计学的结合。 计量经济学的学术渊源和社会历史根源: 17世纪英国经济学家威廉.配弟在《政治算术》一书中应用“数字、重量或尺度”来阐述经济现象 19世纪法国经济学家古尔诺《财富理论的数学原理研究》中认为:某些经济范畴、需求、价格、供给可以视为互为函数关系,从而有可能用一系列的函数方程表述市场中的关系,并且可以用数学语言系统地阐述某些经济规律(数理学派的奠基者) 其后瑞士经济学家瓦尔拉斯创立了一般均衡理论,利用联立方程研究一般均衡的决定条件(洛桑学派的先驱) 意大利经济学家帕累托发展了一般均衡理论。用立体几何研究经济变量之间的关系。 1890年(剑桥学派的创始人)马歇尔的《经济学原理》的问世,使数学成为经济学研究不可缺少的描述与分析推理的工具为计量经济学奠定了基础 计量经济学从二十世纪三十年代诞生起就显示了极强的生命力。一方面出于对经济的干预政策的需要,许多国家都广泛采用经济计量理论和方法,进行经济预测,加强市场研究,探讨经济政策的效果。另一方面随着科学技术的发展与进步,各门科学相互协作、相互渗透,计算机科学、数学、系统论、信息论、控制论等相继进入了经济研究领域。特别是计算机技术的高速发展为计量经济学广泛应用铺平了道路。
第三讲 假设检验 一、 经典线性模型假定 对于模型 1 i i i y x ββε=++,利用OLS 有: 112()?()i i i x x x x εββ-=+ -∑∑ 在高斯-马尔科夫假定下,OLS 估计量的抽样分布完全取决于误差项的分布。 在高斯-马尔科夫假定中,我们要求误差项是序列无关与同方差的,现在,我们施加更强的假定,即误差项服从正态分布,即 2(0,)i N δε 。应该注意到,当误差项服从正 态分布时,序列无关与独立性是等价的。因此,我们可以把上述分布假设写为: ..2(0,)i i d i N δε ,即误差项服从独立同正态分布。为什么要施加更强的假定呢?这是为 了进行小样本下的假设检验。 2(0,)i N δε 与高斯-马尔科夫假定一起,被称为经典线 性模型假定。在经典线性模型假定下,可以证明,OLS 估计量是方差最小的无偏估计量(注意!此时不需要把比较范围限制在线性估计量之中)。 笔记: 1、假设误差项服从正态分布的合理性在于,误差项是由很多因素构成的,当这些因素是独立同分布时,依照中心极限定理,那么这些因素之和应该近似服从正态分布。当然,这并不意味着用正态分布来近似误差项的分布总是恰当的,例如,各因素或许并不同分布。另外,如果y 是价格这样的变量,那么假设误差项服从正态分布是不合理的,因为价格不可能是负数,不过我们可以进行变量变换,例如对价格取自然对数或者考察价格的变化率,那么经过变量变换之后,或许再假设误差项服从正态分布就变得合理了。 2、如果能够对误差项是否服从正态分布进行检验,那最好不过了。一种常用的检验方法是Jarqe-Bera 检验,这可以参见相关的教科书。问题是,尽管我们能观察到解释变量、被解释变量的取值,然而,由于对参数的真实取值无法确定,因此误差是观测不到的,我们或许不得不利用残差来代替误差以进行相关的检验。当然,一个前提是残差确实是对误差的良好近似,这进而要求,我们对参数的估计是合理的。 3、根据公式: 111221 ()()1?()()i i i i i i N x x N x x x x x x εεβββ=? --=++--∑∑∑∑ 考虑x 非随机这种简单情况,显然,当样本容量很大时,只要误差项是独立同分布的(并不 需要要假定误差项服从正态分布),那么根据中心极限定理,1 ?β 应该近似服从正态分布。当然,为了保证误差项的独立性,抽样的随机性十分关键。 二、 利用标准正态分布作假设检验