计量经济学讲义第二讲(共十讲)
- 格式:doc
- 大小:557.00 KB
- 文档页数:17
第二讲 普通最小二乘估计量 一、基本概念:估计量与估计值所谓估计量就是指估计总体参数的一种方法。
在该方法下,给定一个样本,我们可以获得一个具体的估计结果,该结果就是所谓的估计值。
例如,基于一个样本容量为N 的样本,其中i y 为第i 次观测值,我们用样本均值1ˆiuy yN==∑来作为对总体均值u 的估计。
在这里,ˆu就属于估计量,由于其取值随着样本的变化而变化,因此它是随机的。
现在假设我们持有A 、B 两个样本:12(,,...,)AA A N y y y 与12(,,...,)B B B Ny y y ,则基于这两个样本,可以计算出:1ˆAAiuy N=∑1ˆBB iuyN=∑ˆˆA B uu 、分别是估计量ˆu 可能的取值,它们就是估计值。
既然估计量是随机变量,那么它一定服从某种分布,由于估计量与抽样相联系,因此我们把估计量所服从的分布称为抽样分布。
有关统计学的一些基本知识请参见本讲附录一。
笔记:观测值i y 是随机变量y 的一个可能的取值。
我们用样本均值y 来估计总体均值,实际上就是用y 来估计()E y 。
在数理统计中,这被称为矩估计,因为y 被称为样本(一阶)矩,而()E y 被称为总体(一阶)矩。
矩估计其要点可以归结为,符号1N∑与符号E 相对应。
我们再来看看矩估计思想的一个应用。
为了估计随机变量y 的方差E[y - E(y )]2(也即总体方差),在矩估计法下,则方差估计量将是:22111)()(i i i y y y NNNy --=∑∑∑。
应该注意到,这个方差估计量是有偏估计,而21)1(i y y N --∑才是方差的无偏估计。
如果样本容量很大,这两个估计量相差无几,事实上两者都是方差的一致估计量。
这个例子暗示,矩估计并不一定会获得一个无偏的估计量,但将获得一个一致的估计量。
关于估计量无偏性与一致性的基本含义见附录1二、高斯-马尔科夫假定对于模型:01y x ββε=++,则1β、0β相应的OLS 估计量就是:1012()ˆˆˆ()iiix x yy x x x βββ-==--∑∑ 在一些重要的假定下,OLS 估计量表现出良好的性质。
第二章经典单方程计量经济学模型:一元线性回归模型§2.1 回归分析概述一回归分析的概念无论自然现象之间还是社会经济现象之间,大都存在着不同程度的联系,计量经济学的主要任务之一就是寻找各种经济变量之间的相互联系程度、联系方式以及经济变量之间的运动规律。
一般来说,变量之间的关系可以分为两类:一类是确定性的函数关系。
例如,表示。
圆的半径与圆面积之间的关系,可以用函数关系S=2r另一类是非确定性的统计相关关系。
例如,商品房的价格Y与房屋面积X 的关系,随着X的增加,Y也增加。
但是,在给定X时,Y并不能确定。
原因在于,商品房的价格Y不仅与房屋面积X有关,而且还与所在的区域、楼层和小区的人文环境等等因素有关。
这样,虽然人们无法得到商品房的价格Y与房屋面积X之间的函数关系,但是,人们可以将商品房的价格Y作为随机变量,通过统计计量的方法研究它们之间的统计相关关系。
研究随机变量间统计相关关系的方法主要有两种,一种是相关分析法,另一种是回归分析法。
1 相关分析相关分析主要研究随机变量间的相关形式和相关程度。
(1)相关的定义与分类定义:相关(correlation)指两个或两个以上随机变量间相互关系的程度或强度。
分类:①按强度分完全相关:变量间存在函数关系。
例,圆的周长,L = 2πr高度相关(强相关):变量间近似存在函数关系。
例,我国家庭收入与支出的关系。
弱相关:变量间有关系但不明显。
例,近年来我国耕种面积与产量。
零相关:变量间不存在任何关系。
例,某班学生的学习成绩与年龄。
2004006008001020304050YX121020304050YX0.51.01.52.02.53.02.02.53.03.54.04.5YX完全相关 高度相关、线性相关、正相关 弱相关②按变量个数分按形式分:线性相关, 非线性相关 简单相关:指两个变量间相关按符号分:正相关, 负相关, 零相关 复相关(多重相关):指一个变量与两个或两个以上变量间的相关。
第一讲 普通最小二乘法的代数一、 问题假定y 与x 具有近似的线性关系:01y x ββε=++,其中ε是随机误差项。
我们对01ββ、这两个参数的值一无所知。
我们的任务是利用样本数据去猜测01ββ、的取值。
现在,我们手中就有一个样本容量为N 的样本,其观测值是:1122(,),(,),...,(,)N N y x y x y x 。
问题是,如何利用该样本来猜测01ββ、的取值?为了回答上述问题,我们可以首先画出这些观察值的散点图(横轴x ,纵轴y )。
既然y 与x 具有近似的线性关系,那么我们就在图中拟合一条直线:01ˆˆˆy x ββ=+。
该直线是对y 与x 的真实关系的近似,而01ˆˆ,ββ分别是对01,ββ的猜测(估计)。
问题是,如何确定0ˆβ与1ˆβ,以使我们的猜测看起来是合理的呢?笔记:1、为什么要假定y 与x 的关系是01y x ββε=++呢?一种合理的解释是,某一经济学理论认为x 与y 具有线性的因果关系。
该理论在讨论x 与y 的关系时认为影响y 的其他因素是不重要的,这些因素对y 的影响即为模型中的误差项。
2、01y x ββε=++被称为总体回归模型。
由该模型有:01E()E()y x x x ββε=++。
既然ε代表其他不重要因素对y 的影响,因此标准假定是:E()0x ε=。
故进而有:01E()y x x ββ=+,这被称为总体回归方程(函数),而01ˆˆˆy x ββ=+相应地被称为样本回归方程。
由样本回归方程确定的ˆy与y 是有差异的,ˆy y -被称为残差ˆε。
进而有:01ˆˆˆy x ββε=++,这被称为样本回归模型。
二、 两种思考方法法一:12(,,...,)N y y y '与12ˆˆˆ(,,...,)N y y y '是N 维空间的两点,0ˆβ与1ˆβ的选择应该是这两点的距离最短。
这可以归结为求解一个数学问题:由于ˆi i y y -是残差ˆi ε的定义,因此上述获得0ˆβ与1ˆβ的方法即是0ˆβ与1ˆβ的值应该使残差平方和最小。
第一章绪论§计量经济学一、计量经济学的产生与发展计量经济学是经济学的一个分支,是以揭示经济活动中的客观存在的数量关系为容的分支学科。
其创立者R.弗里希将其定义为经济理论、统计学、数学三者的结合,但它又完全不同于这三个学科的每一个分支。
计量经济学(Econometrics)1926年由挪威经济学家弗里希(R.Frish)仿造生物计量学(Biometrics)一词提出的。
1930年12月弗里希、丁百根和费歇耳等经济学家在美国克利夫兰市成立经济计量学会。
1933年出版《计量经济学杂志》在发刊词中弗里希将计量经济学定义为:经济理论、数学、统计学的结合。
计量经济学的学术渊源和社会历史根源:17世纪英国经济学家威廉.配弟在《政治算术》一书中应用“数字、重量或尺度”来阐述经济现象19世纪法国经济学家古尔诺《财富理论的数学原理研究》中认为:某些经济畴、需求、价格、供给可以视为互为函数关系,从而有可能用一系列的函数方程表述市场中的关系,并且可以用数学语言系统地阐述某些经济规律(数理学派的奠基者)其后瑞士经济学家瓦尔拉斯创立了一般均衡理论,利用联立方程研究一般均衡的决定条件(洛桑学派的先驱)意大利经济学家帕累托发展了一般均衡理论。
用立体几何研究经济变量之间的关系。
1890年(剑桥学派的创始人)马歇尔的《经济学原理》的问世,使数学成为经济学研究不可缺少的描述与分析推理的工具为计量经济学奠定了基础计量经济学从二十世纪三十年代诞生起就显示了极强的生命力。
一方面出于对经济的干预政策的需要,许多国家都广泛采用经济计量理论和方法,进行经济预测,加强市场研究,探讨经济政策的效果。
另一方面随着科学技术的发展与进步,各门科学相互协作、相互渗透,计算机科学、数学、系统论、信息论、控制论等相继进入了经济研究领域。
特别是计算机技术的高速发展为计量经济学广泛应用铺平了道路。
计量经济学的发展过程是计量经济模型的建立、应用和发展的过程。
第2讲 OLS 小样本性质一、背景OLS 是最基本也是最常用的一个回归估计方法,其思想十分简单,就是使回归的残差平方和达到最小。
需要注意的是,应用OLS 离不开相应的假设条件,也就是所谓的古典假设。
在这些假设条件下,OLS 估计具有一系列优良的性质。
这个部分主要阐述对古典假设条件和理解并讨论在该条件下OLS 所具有的优良性质。
二、知识要点 1、对古典假设的理解 2、自变量的随机和非随机问题3、OLS 在古典假设下的无偏性和有效性4、OLS 的统计推断5、OLS 的预测6、约束OLS 三、要点细纲 1、对古典假设的理解最小二乘有限样本性质的推导是在古典假设下得到的,因此需要注意的是,一旦古典假设不能得到满足,OLS 的一系列有限样本的优良性质就不在具备了。
计量经济学中的假设很多,从现实角度出发,假设条件应该是越弱越好的。
这意味着模型的假设条件在现实中越容易得到满足,但是古典假设是一个很强的假设,虽然有其合理性,但是某些假设需要被放宽或者舍弃。
最强的两个假设条件是:自变量的强外生性假定,即(|)0E X ε= 随机扰动项服从正态分布,即2(0,)N εσ其中,强外生性条件(|)0E X ε=不仅意味ε与X 是不相关的,即()0E X ε=,也意味着ε与X 的任何函数形式()f X 是不相关的。
根据条件期望定理:若(|)y E y X ε=-,那么对于任意X 的函数()f X ,有[()]0E f X ε=。
(证明: (|)[((|))|](|)(|)0E X E y E y X X E y X E y X ε=-=-=[()]([()|])(()[|])0E f X E E f X X E f X E X εεε∴===)其次,随机扰动项服从正态分布也是一个过强,有时不够实际的假设条件,但是该假设是有限样本性质的核心内容,是进行构造统计量进行假设检验和统计推断的基础。
当然,在随机扰动项不服从正态分布的情况下,必须利用渐进理论讨论估计量的大样本性质。
第二讲 普通最小二乘估计量 一、基本概念:估计量与估计值对总体参数的一种估计法则就是估计量。
例如,为了估计总体均值为u ,我们可以抽取一个容量为N 的样本,令Y i 为第i 次观测值,则u 的一个很自然的估计量就是ˆiY uY N==∑。
A 、B 两同学都利用了这种估计方法,但手中所掌握的样本分别是12(,,...,)A A AN y y y 与12(,,...,)B B B N y y y 。
A 、B 两同学分别计算出估计值ˆAiA y uN=∑与ˆBiB y uN=∑。
因此,在上例中,估计量ˆu是随机的,而ˆˆ,A B u u 是该随机变量可能的取值。
估计量所服从的分布称为抽样分布。
如果真实模型是:01y x ββε=++,其中01,ββ是待估计的参数,而相应的OLS 估计量就是:1012()ˆˆˆ;()iiix x yy x x x βββ-==--∑∑ 我们现在的任务就是,基于一些重要的假定,来考察上述OLS 估计量所具有的一些性质。
二、高斯-马尔科夫假定●假定一:真实模型是:01y x ββε=++。
有三种情况属于对该假定的违背:(1)遗漏了相关的解释变量或者增加了无关的解释变量;(2)y 与x 间的关系是非线性的;(3)01,ββ并不是常数。
●假定二:在重复抽样中,12(,,...,)N x x x 被预先固定下来,即12(,,...,)N x x x 是非随机的(进一步的阐释见附录),显然,如果解释变量含有随机的测量误差,那么该假定被违背。
还存其他的违背该假定的情况。
笔记:12(,,...,)N x x x 是随机的情况更一般化,此时,高斯-马尔科夫假定二被更改为:对任意,i j ,i x 与j ε不相关,此即所谓的解释变量具有严格外生性。
显然,当12(,,...,)N x x x 非随机时,i x 与j ε必定不相关,这是因为j ε是随机的。
●假定三:误差项期望值为0,即()0,1,2i E i N ε==。
笔记:1、当12(,,...,)N x x x 随机时,标准假定是:12(,,...,)0,1,2,...,i N E x x x i N ε==根据迭代期望定律有:12[(,,...,)]()i N i E E x x x E εε=,因此,如果12(,,...,)0i N E x x x ε=成立,必定有:()0i E ε=。
另外,根据迭代期望定律也有:12[(,,...,)]()i N j i j E E x x x E x x εε=而1212(,,...,)(,,...,)i N i N j j E x x x E x x x x x εε=。
故有:12()0(,,...,)0()0()()()0(,)i N i i j i j i j i j E E x x x E E E E x C ov x x x εεεεεε==⇒=-=⎧⎨⎩⇒=因此,在12(,,...,)N x x x 是随机的情况下,假定二、三可以修正为一个假定:12(,,...,)0i N E x x x ε=。
2、所谓迭代期望定律是指:如果信息集Θ⊆Ω,则有][()()E E X E X ΩΘ=Θ。
为了理解上述等式,考虑一个极端情况:Ω包含了全部的信息,此时X 丧失了随机性,故()E XX Ω=,因此必有][()()E E X E X ΩΘ=Θ。
无条件期望所对应的信息集是空集,因此[()]()E E X E X Ω=。
3、回忆第一讲,对模型01y x ββε=++,在OLS 法下我们一定能保证:(1)残差均值为零;(2)残差与x 样本不相关。
残差是对误差的近似,如果假定二、三不成立,即误差项与解释变量相关,误差项期望值不为零,显然此时残差并不是对误差项的有效的近似,换句话说,此时OLS 估计量是有严重问题的。
因此,假定二、三非常重要。
●假定四:22iεδδ=,即所谓的同方差假定。
笔记:在12(,,...,)N x x x 是随机的情况下,该假定修订为:122Var(,,...,)i N x x x εδ=●假定五:(,)0,i j C ov i j εε=≠,即所谓的序列不相关假定。
笔记:在12(,,...,)N x x x 是随机的情况下,该假定修订为:12C ov(,,...,),0i jN x x x εε= ,i j ≠●假定六:2()0i x x -≠∑,在多元回归中,该假定演变为X X '的逆存在,即各解释变量不完全共线。
三、高斯-马尔科夫定理当高斯-马尔科夫假定成立时,在所有线性无偏估计量中,OLS 估计量方差最小。
或者说,OLS 估计量是最优线性无偏估计量(best linear unbiased esti mator,BLUE )。
这被称为高斯-马尔科夫定理。
(一)OLS 估计量是线性估计量所谓OLS 估计量是线性估计量,是指它能够被表示为i y 的线性函数。
例如:12ˆ[]()i i i i i x xy k y x x β-==-∑∑∑注意,在假定二下,k i 是非随机的。
练习:把0ˆβ表示成iy 的线性函数。
笔记:线性意味着简单,简单意味着普通。
因此有称谓“普通最小二乘法”。
二乘即为平方,故OLS 即为“简单的最小平方法”。
(二)OLS 估计量具有无偏性:11)ˆ(E ββ=;00ˆ()E ββ= 证明11)ˆ(E ββ=: 0112)ˆ[](()i i i i i i i i x x xy k y k x x βεββ++-===-∑∑∑∑0()11)ˆ(i i i i i k x E k E k βεββ++⇒=∑∑∑而0i k =∑;1i i k x =∑。
因此在重要假定三:()0i E ε=下,有:11)ˆ(E ββ=。
笔记:在12(,,...,)N x x x 是随机的情况下,我们需证:1211ˆE (,,...,)N x x x ββ=练习:证明00ˆ()E ββ= (三)在所有线性无偏估计量中,OLS 估计量方差最小1、关于方差12ˆ01][())(i i i i i Var Var x k k βδβεεβ==++∑∑在重要假定五:(,)0,i j C ov i j εε=≠及其重要假定四:22iεδδ=下,有:12ˆ22i k βδδ=∑ 注意到2222()()1()i i i i x xx x x x k =-=--∑∑∑∑因此有:12ˆ22()i x x βδδ=-∑ 笔记:12ˆ112222()()NN iix x x x βδδδ==--∑∑,当N 趋于无穷大时,样本方差12()N i x x -∑收敛于总体方差,故当N 趋于无穷大时,12ˆβδ趋于0。
由于11)ˆ(E ββ=,因此,当N 趋于无穷大时,1ˆβ在概率上收敛于1β,即1ˆβ是1β的一致估计量。
你能够表明0ˆβ是0β的一致估计量吗?应该注意到,一致性是估计量应该满足的最低要求。
想一想,如果把总体都告诉了你,但你的估计或者猜测却与真实参数不一致,你是不是应该检讨一下你的估计方法?练习:(1)证明在高斯-马尔科夫假定下:2ˆ2222221()()()i i ix x Nx x N x x βδδδ=+=--∑∑∑(2)证明在高斯-马尔科夫假定下:221()(1)i E Nεεδ-=-(3)证明在高斯-马尔科夫假定下:1ˆ(,)0C ov βε=(4)证明在高斯-马尔科夫假定下:0122ˆˆ(,)()i x C ov x x ββδ=--∑2、证明方差最小把任意一种线性估计量表示为i i w y ∑,当2()i i i i x xx x k w --==∑时,该估计量即为1β的OLS 估计量。
现在我们将证明:在所有无偏的1β的线性估计量中,OLS 估计量具有最小的方差。
“在所有无偏的1β的线性估计量中”是一个前提条件。
我们的任务是,在给定前提下(约束条件),证明OLS 估计量所对应的权数使方差(目标函数)取最小值。
首先分析前提条件:线性估计量的表达是011ˆ)i i ii i w y w x βββε==++∑∑( 为了保证1ˆβ的无偏性,那么应该保证:101011)ˆ()(i i i i i i i i w w w E w x w x E ββββεββ==++=+∑∑∑∑∑ 因此,0;1i i i w w x ==∑∑其次分析方差表示:12ˆ01()[()]()i i i i i i i Var w y Var w x Var w βδββεε==++=∑∑∑,在假定四、五下,有:12ˆ22()i i i Var w w βδεδ==∑∑。
最后,形成数学问题:2211,2,..0..1(2)(1)Nii i i i Nw w w w w x M inws t δ===∑∑∑ 常数2δ对于该最优化问题并不重要,因此上述问题简化为:211,2,..0..1(2)(1)Nii i i i Nw w w w w x M inw s t ===∑∑∑对上述极值问题,其拉格朗日函数是:122(1)i i i i w w x L w λλ+=--∑∑∑相应的一阶条件是:112112121(3)222000iNi Ni N group lw lw lw x x x w w w λλλλλλ------∂=∂∂=∂∂=∂===2(4)(5)110il i il w w xλλ-∂==∂∂=-=∂∑∑应该注意到,把(3group )中各式相加并利用(4)有:120i N x λλ+=∑,即12x λλ=-;把(3group )中第i 式两边同乘以i x 并各式相加,然后利用(5),有:12220i i x x λλ--=∑∑,即22220i i x x x λλ-+=∑∑因此,2()2i i x x x λ-=∑;1()2i i x x x x λ=--∑因此,2(((12)))()2222i i i i i i i iii i i x x x x x x x x x x x x xx x xx xw λλ-++---===--=-∑∑∑∑而在前面我们已知道这个权数正是1β的OLS 估计量所对应的权数!练习:证明OLS 估计量0ˆβ在所有0β的线性无偏估计量中方差是最小的。
笔记:线性性质不过是OLS 估计量在假定一下所具有的代数性质,无偏性与有效性才是高斯-马尔科夫定理所强调的。
高斯-马尔科夫定理为OLS 的广泛应用提供了理论依据。
当然问题是,该定理涉及到如此众多的假定,这些假定同时成立实属罕见!从而这涉及到两个问题:(1)如何检验这些假定?这些检验属于计量检验。
(2)如果一些假定并不成立,那么OLS 估计量具有什么性质?此时我们应该采取何种估计方法?本讲义后续章节将讨论这些问题。