第三节 最小二乘估计量的性质
- 格式:doc
- 大小:1.26 MB
- 文档页数:26
计量经济学重点知识整理1一般性定义计量经济学是以经济理论和经济数据的事实为依据,运用数学和统计学的方法,通过建立数学模型来研究经济数量关系和规律的一门经济学科。
研究的主体(出发点、归宿、核心):经济现象及数量变化规律研究的工具(手段):模型数学和统计方法必须明确:方法手段要服从研究对象的本质特征(与数学不同),方法是为经济问题服务2注意:计量经济研究的三个方面理论:即说明所研究对象经济行为的经济理论——计量经济研究的基础数据:对所研究对象经济行为观测所得到的信息——计量经济研究的原料或依据方法:模型的方法与估计、检验、分析的方法——计量经济研究的工具与手段三者缺一不可3计量经济学的学科类型●理论计量经济学研究经济计量的理论和方法●应用计量经济学:应用计量经济方法研究某些领域的具体经济问题4区别:●经济理论重在定性分析,并不对经济关系提供数量上的具体度量●计量经济学对经济关系要作出定量的估计,对经济理论提出经验的内容5计量经济学与经济统计学的关系联系:●经济统计侧重于对社会经济现象的描述性计量●经济统计提供的数据是计量经济学据以估计参数、验证经济理论的基本依据●经济现象不能作实验,只能被动地观测客观经济现象变动的既成事实,只能依赖于经济统计数据6计量经济学与数理统计学的关系联系:●数理统计学是计量经济学的方法论基础区别:●数理统计学是在标准假定条件下抽象地研究一般的随机变量的统计规律性;●计量经济学是从经济模型出发,研究模型参数的估计和推断,参数有特定的经济意义,标准假定条件经常不能满足,需要建立一些专门的经济计量方法3、计量经济学的特点:计量经济学的一个重要特点是:它自身并没有固定的经济理论,而是根据其它经济理论,应用计量经济方法将这些理论数量化。
4、计量经济学为什么是一门单独的学科计量经济学是经济理论、数理经济、经济统计与数理统计的混合物。
1、经济理论所作的陈述或假说大多数是定性性质的,计量经济学对大多数经济理论赋予经验内容。
超定方程组,又称为过定方程组,是线性代数中的一个概念。
当方程组的未知数数量少于方程数量时,该方程组就被称为超定方程组。
由于超定方程组通常没有精确解,我们常常会寻求一个近似解,使得所有方程的残差平方和最小。
这就是最小二乘解的原理。
一、最小二乘解的基本概念最小二乘法是一种数学优化技术,它通过最小化误差的平方和来寻找数据的最佳函数匹配。
利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和最小。
最小二乘法还可用于曲线拟合,其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。
二、超定方程组的性质对于超定方程组,由于方程数量多于未知数数量,因此通常不存在一个解能够使得所有方程同时成立。
这种情况下,我们需要寻找一个近似解,即一个解,使得所有方程的残差(即方程的实际值与解代入方程后得到的计算值之间的差)的平方和最小。
三、最小二乘解的原理最小二乘解的原理就是基于上述思想,通过最小化残差平方和来寻找超定方程组的近似解。
具体步骤如下:构建残差平方和函数:首先,我们需要构建一个表示残差平方和的函数。
假设超定方程组有(m) 个方程,(n) 个未知数((m > n)),未知数的向量记作(\mathbf{x} = (x_1, x_2, \ldots, x_n)^T),方程组的系数矩阵记作(\mathbf{A} = (a_{ij})_{m \times n}),常数项向量记作(\mathbf{b} = (b_1, b_2, \ldots, b_m)^T)。
那么,残差向量可以表示为(\mathbf{r} = \mathbf{A}\mathbf{x} - \mathbf{b}),残差平方和函数可以写为(S(\mathbf{x}) = \mathbf{r}^T\mathbf{r} = (\mathbf{A}\mathbf{x} - \mathbf{b})^T(\mathbf{A}\mathbf{x} - \mathbf{b}))。
《计量经济学》课程教学大纲英文名称:Econometric课程代码:221102004课程类别:专业核心课课程性质:必修开课学期:第四学期总学时:54(讲课:36,实验0,实践18,网络0)总学分:3考核方式:作业先修课程:高等数学、微观经济学、宏观经济学、统计学适用专业:经济学一、课程简介《计量经济学》是经济学专业的一门专业核心课程。
本课程以高等数学、宏微观经济学、统计学为先修课程,系统讲授计量经济学的基础理论、一元和多元线性回归模型、非线性回归模型的线性化、异方差、自相关、多重共线性、模型中特殊的解释变量以及Eviews基础操作等内容,为全国大学生市场调查与分析大赛以及毕业论文作理论与实践兼具的准备。
该课程分别从理论授课、软件学习以及团队实训等三个维度全面提高学生的思想水平、政治觉悟、道德品质及文化素养,重点培养学生经济学专业知识与技能,使其具有较为扎实的专业知识储备、数据分析的能力、实践与创新能力。
二、课程目标及其对毕业要求的支撑总体目标:全面提高学生的政治素养和道德品质,重点培养学生经济统计专业知识与技三、课程内容及要求第一章绪论教学内容:第一节计量经济学的定义与类型1.计量经济学的定义2.计量经济学的类型第二节计量经济学的特征1.经典计量经济学在理论方法方面特征2.经典计量经济学在应用方法方面特征第三节计量经济学的目的及研究问题的步骤1.计量经济学的目的2.计量经济学研究问题的步骤3.Eviews软件介绍学生学习预期成果:1.理解计量经济学的含义2.理解计量经济学的类型与特征3.了解计量经济学的目的及研究问题的步骤4.了解Eviews软件并下载安装成功教学重点:计量经济学的含义;计量经济学研究问题的步骤;Eviews软件介绍。
教学难点:计量经济学的含义;计量经济学研究问题的步骤。
第二章一元线性回归模型教学内容:第一节模型的建立及其假定条件1.回归分析的概念2.一元线性回归模型的介绍3.随机误差项的假定条件第二节一元线性回归模型的参数估计1.普通最小二乘法的概念2.参数估计第三节最小二乘估计量的统计性质1.线性性2.无偏性3.最小方差性第四节用样本可决系数检验回归方程的拟合优度1.总离差平方和的分解2.样本可决系数及相关系数第五节回归系数估计值的显著性检验与置信区间1.随机变量u的方差2.t检验3.置信区间第六节一元线性回归方程的预测1.点预测2.区间预测第七节案例分析1.用Eviews软件研究分析我国城镇居民年人均可支配收入与年人均消费性支出之间的关系学生学习预期成果:1.掌握回归分析的概念2.掌握随机误差项的假定条件3.掌握一元线性回归模型的参数估计4.熟悉最小二乘估计量的统计性质5.掌握用样本可决系数检验回归方程的拟合优度6.掌握回归系数估计值的显著性检验7.掌握Eviews软件的基础操作教学重点:回归分析的概念;随机误差项的假定条件;一元线性回归模型的参数估计;Eviews软件的基础操作。
三、最小二乘法最小二乘法是根据最小二乘准则,利用样本数据估计回归方程的一种方法。
(一)残差设是被解释变量的第次样本观测值,是相应的第次样本估计值。
将与之间的偏差记作称为第次样本观测值的残差。
(二)最小二乘准则使全部样本观测值的残差平方和达到最小,即来确定未知参数估计量的准则,称为最小二乘准则。
(三)最小二乘估计量未知参数的最小二乘估计量的计算公式为最小二乘估计量的推导设残差平方和其中它是阶残差列向量。
为了得到最小二乘估计量,我们对上式进行极小化移项后,得正规方程组根据基本假定5.,存在,用左乘正规方程组两边,得的最小二乘估计量式(四)的无偏估计量随机误差项的方差的无偏估计量为称作回归估计的均方误差,而称作回归估计的标准误差。
(五)的方差其中,,于是每个的方差为,而是矩阵对角线上对应的第个元素,。
(六)方差的估计量方差的估计量为则每个方差的估计量为,标准差的估计量为,四、拟合优度检验拟合优度检验是样本回归方程对样本观测值拟合程度的检验。
(一)总离差平方和的分解公式其中—总离差平方和,—回归平方和,—残差平方和。
于是,可以将平方和的分解公式写成离差形式(二)多元样本决定系数1.多元样本决定系数所谓多元样本决定系数,也称多元样本判定系数或多元样本可决系数,是指被解释变量中的变异性能被样本回归方程解释的比例,即2. 修正的样本决定系数与有如下关系:在样本容量一定的情形下,可以看出有性质:(1),;(2)可能出现负值。
例如,,,时,。
显然负的拟合优度没有任何意义,在这种情形时,我们取。
(三)三个平方和的计算公式于是有因为,所以。
作为度量回归值对样本观测值拟合优度的指标,显然的数值越大越好。
的数值越接近于1,表示中的变异性能被估计的回归方程解释的部分越多,估计的回归方程对样本观测值就拟合的越好;反之,的数值越接近于0,表示中的变异性能被估计的回归方程解释的部分越少,估计的回归方程对样本观测值就拟合的越差。
五、检验检验是对回归方程总体显著性的检验,就是从总体上检验解释变量对被解释变量是否有显著影响的一种统计检验方法。
计量经济学重点知识整理1一般性定义计量经济学是以经济理论和经济数据的事实为依据,运用数学和统计学的方法,通过建立数学模型来研究经济数量关系和规律的一门经济学科。
研究的主体(出发点、归宿、核心):经济现象及数量变化规律研究的工具(手段):模型数学和统计方法^必须明确:方法手段要服从研究对象的本质特征(与数学不同),方法是为经济问题服务2注意:计量经济研究的三个方面理论:即说明所研究对象经济行为的经济理论——计量经济研究的基础数据:对所研究对象经济行为观测所得到的信息——计量经济研究的原料或依据;方法:模型的方法与估计、检验、分析的方法——计量经济研究的工具与手段三者缺一不可3计量经济学的学科类型●理论计量经济学研究经济计量的理论和方法●应用计量经济学:应用计量经济方法研究某些领域的具体经济问题4区别:—●经济理论重在定性分析,并不对经济关系提供数量上的具体度量●计量经济学对经济关系要作出定量的估计,对经济理论提出经验的内容5计量经济学与经济统计学的关系联系:●经济统计侧重于对社会经济现象的描述性计量●经济统计提供的数据是计量经济学据以估计参数、验证经济理论的基本依据●经济现象不能作实验,只能被动地观测客观经济现象变动的既成事实,只能依赖于经济统计数据?6计量经济学与数理统计学的关系联系:●数理统计学是计量经济学的方法论基础区别:●数理统计学是在标准假定条件下抽象地研究一般的随机变量的统计规律性;●计量经济学是从经济模型出发,研究模型参数】的估计和推断,参数有特定的经济意义,标准假定条件经常不能满足,需要建立一些专门的经济计量方法3、计量经济学的特点:计量经济学的一个重要特点是:它自身并没有固定的经济理论,而是根据其它经济理论,应用计量经济方法将这些理论数量化。
4、计量经济学为什么是一门单独的学科计量经济学是经济理论、数理经济、经济统计与数理统计的混合物。
?1、经济理论所作的陈述或假说大多数是定性性质的,计量经济学对大多数经济理论赋予经验内容。
第三节 最小二乘估计量的性质三大性质:线性特性、无偏性和最小偏差性 一、 线性特性的含义线性特性是指参数估计值1ˆβ和2ˆβ分别是观测值t Y 或者是扰动项t μ的线性组合,或者叫线性函数,也可以称之为可以用t Y 或者是t μ来表示。
1、2ˆβ的线性特征证明 (1)由2ˆβ的计算公式可得:222222()ˆt ttttttttttt tt ttx yx Y x Y xxx xx x xxβ--===⎛⎫==⎪ ⎪⎝⎭∑∑∑∑∑∑∑∑∑∑∑Y Y YY需要指出的是,这里用到了因为t x 不全为零,可设2tt tx b x=∑,从而,t b 不全为零,故2ˆt t b β=∑Y 。
这说明2ˆβ是t Y 的线性组合。
(2)因为12tt tY X ββμ=++,所以有()212122ˆttttttttttttb b X b b X b b βββμββμβμ==++=++=+∑∑∑∑∑∑Y 这说明2ˆβ是t μ的线性组合。
需要指出的是,这里用到了22t tt ttx x b x x===∑∑∑∑∑以及()2222222201t t tttt t t ttttttttx x X x b XX x x xxXx Xxxxx x⎛⎫+⎪==⎪⎝⎭++==+=∑∑∑∑∑∑∑∑∑∑∑∑∑2、1ˆβ的线性特征证明 (1)因为12ˆˆYX ββ=-,所以有()121ˆˆ1tttt t Y X YXb nX b n ββ=-=-⎛⎫=- ⎪⎝⎭∑∑∑Y Y这里,令1a X bn =-,则有1ˆt a β=∑Y这说明1ˆβ是t Y 的线性组合。
(2)因为回归模型为12tt tY X ββμ=++,所以()11212ˆtttttttttta a X a a X a βββμββμ==++=++∑∑∑∑∑Y 因为111t t ta Xb Xbnn⎛⎫=-=-= ⎪⎝⎭∑∑∑∑。
而110t t t tt tta X Xb X X Xb X n n X X ⎛⎫=-=- ⎪⎝⎭-=∑∑∑∑所以,11ˆt t a ββμ=+∑ 这说明1ˆβ是t μ的线性组合。
至此,参数的线性特性证明完毕。
问题参数估计值线性特性的深层次含义是什么?要根据被解释变量、随机扰动项和的随机性来理解。
二、 无偏性的含义所谓无偏性是指估计值的均值等于真实值。
在这里,无偏性是指参数估计值1ˆβ和2ˆβ的期望值分别等于总体参数1β和2β。
其数学上要求是()11ˆE ββ=和()22ˆE ββ=。
证明:根据参数估计值的线性特征,我们推导出:11ˆt t a ββμ=+∑,所以有: ()()()()()()()()()()()111111ˆttttttttE E a E E a E E a E E a E E ββμβμβμβμβ=+=+=+=+∙=∑∑∑∑相似地,22ˆt tb ββμ=+∑,所以有()()()()()()()()()()()222222ˆttttttttE E b E E b E E b E E b E E ββμβμβμβμβ=+=+=+=+∙=∑∑∑∑三、 最优性(有的书本上直接称之为最小方差性)的含义 最优性是指用最小二乘法得到的参数估计值1ˆβ和2ˆβ在各种线性无偏估计中得到的方差最小。
根据上述的定义,我们可以任意假设2ˆβ*是用其他方法得到的总体参数2ˆβ的一个线性无偏估计。
因为2ˆβ*具有线性特性,我们可以得到:()212ˆtttt t c c X βββμ*==++∑∑Y,()()()()()()()()21212121212ˆ0t t t t ttt ttttttttttttE E c Ec X c E X c c E X c E c c E X c c Xβββμββμββμββββ*==++=++=++=++=+∑∑∑∑∑∑∑∑∑∑Y又因为2ˆβ*是用其他方法得到的总体参数2ˆβ的一个无偏估计,所以有()22ˆE ββ*= 所以由上述两个结果,可以得到:122t t t c c X βββ+=∑∑上述式子要成立,必须同时满足两个条件,即0tc=∑和1t t c X =∑现在求2ˆβ*的方差:()()()()()()()()()()()()()222222221122222112211221133223322ˆvar var ˆˆt t t t t t t t t t t t t t t t t t t t tt t t t t t c E c E c E c E c E c c E E c c E c E c E c c c E c c c c c c c c c c βμμμμμμμμμμμμμμ*⎡⎤==-⎣⎦⎡⎤⎡⎤=-=-⎣⎦⎣⎦⎡⎤⎡⎤=-=-⎣⎦⎣⎦⎡⎤==++⋅⋅⋅+⎣⎦=++⋅⋅⋅++++⋅⋅⋅++∑∑∑∑∑∑∑∑∑∑∑Y Y Y Y Y Y Y Y Y Y Y ()()()()4422tttstsc cE c E μμμμμ⎡⎤+⋅⋅⋅+⋅⋅⋅⎣⎦=+∑∑∑因为根据假设条件(常数方差和非自相关,即()222var()(())t t t tuE E E μμμμσ=-==和[][]cov(,)(())(())(0)(0)()0t s t t s s t s t s E E E E E μμμμμμμμμμ=--=--==所以,有()()()()2222222222ˆvar 2u t u t t t utt ututtt c c b b cb bb cb βσσσσσ*==-+⎡⎤⎣⎦=-++-⎡⎤⎣⎦∑∑∑∑∑2ˆβ*方差的最后一项为()()()()2222222111(1)11ttt t ttttt ttttt t t t ttttb cb bc bx x c xxc xx c X X x c XXcx -=-⎡⎤⎣⎦⎛⎫⎛⎫=- ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭=-=--=--=∑∑∑∑∑∑∑∑∑∑∑∑∑∑这是因为0t c =∑和1t t c X =∑因此,有()()22222ˆvar u t t utc b b βσσ*=-+∑∑很明显,当ttc b =时,2ˆβ*方差最小,此时,最小值为()222ˆvar u t b βσ*=∑。
而在此时,有22ˆˆt t t t c b ββ*===∑∑Y Y 即两个估计值相等。
因为2ˆβ*的最小方差等于2ˆβ的方差,即()()22ˆˆvar var ββ*≥,因此,我们说,2ˆβ在所有线性无偏估计中的方差最小,且最小方差为: ()22222ˆvar uuttbx σβσ==∑∑同理,我们可以证明,1ˆβ在所有线性无偏估计中的方差最小,且参数估计值的方差为:()()2212ˆvar ut tX n x σβ=∑∑。
由此,说明,最小二乘估计具有BLUE(best linear unbiased estimation)性质。
从而在统计学和计量经济学中得到广泛应用。
第四节 系数的显著性检验一、 系数估计值的特性:1、根据系数估计值的线性特性,我们知道系数估计值是t Y 和t μ的线性组合。
又因为t Y 和t μ都服从正态分布,所以,我们可以自然得到两点:一是系数估计值是随机变量(这里是在数学上再次予以证明);二是系数估计值服从正态分布。
从而,可以用随机变量的一些数字特征来表示。
通常,我们采用的是均值与方差。
系数估计值的均值是多少呢?根据系数估计值的无偏性,我们知道,()11ˆE ββ=,()22ˆE ββ=。
这说明系数估计值1ˆβ和2ˆβ这两个随机变量的数学期望(均值)分别等于总体参数(实际值)。
系数估计值的方差又是多少呢?根据系数估计值的最小方差性的证明,我们得到了其方差,即有()()2212ˆvar ut tX n xσβ=∑∑ ,()22222ˆvar uuttbx σβσ==∑∑。
至此,我们可以用随机变量的数学期望和方差来刻画1ˆβ和2ˆβ这两个随机变量的分布,即有:1ˆβ服从均值为1β、方差为()222ut tX n x σ∑∑的正态分布;而2ˆβ服从均值为2β、方差为22utxσ∑的分布。
用数学的语言可以描述为:()2211,2ˆu t tX N n x σββ⎛⎫ ⎪ ⎪⎝⎭∑∑ 和222,2ˆu t N x σββ⎛⎫ ⎪ ⎪⎝⎭∑ 。
可以明显看出的是,在系数的描述中,方差中含有随机扰动项的方差,其他我们可以得到。
随机扰动项是总体回归模型中的误差项,无法得到,只能对其估计。
二、 随机误差项方差的估计 因为总体回归模型为:12tt tY X ββμ=++而样本回归模型为:12ˆˆtt tYX e ββ=++ 从形式上看,样本回归模型中的残差te 可以看作随机扰动项t μ的估计值。
进一步,残差t e 的方差可以作为随机扰动项t μ的方差2uσ的估计值。
样本回归模型为:12ˆˆtt t YX e ββ=++ 样本回归直线为:12ˆˆˆttX ββ=+Y 样本回归模型的左右两边减去样本回归直线的左右两边,可得:ˆt t tY e -=Y ,把这个式子重新安排一下,可以得到: ()()ˆˆt t t t te Y Y Y Y =-=---Y Y现在,重点要求的是te 的两个部分,即()ˆtY-Y 和()tYY-。
这两部分知道之后,才能求te 的方差。
对样本回归模型12ˆˆtt tY X e ββ=++两边分别对t 求和,再除以n,有:1212121212ˆˆˆˆ1111ˆˆ1111ˆˆ1ˆˆt t t tt tt ttt t ttY X e YX eY X e n n nn Y X e nnnnY X enββββββββββ=++⇒=++⇒=++⇒=+⨯+⇒=++∑∑∑∑∑∑∑∑∑∑∑∑∑由前边的正规方程组,我们曾经知道,点(),X Y 在样本回归直线上,用数学的语言来讲,就有:12ˆˆYX ββ=+,因此,有1212ˆˆˆˆˆt t X Y X ββββ=+=+Y ,进而,有()22ˆˆˆt ttY X X x ββ-=-=Y对总体回归模型12tt tY X ββμ=++两边分别对t 求和,再除以n,有:1212121211212111111111tt t t tt tt t tt t tn t Y X YX Y X n n nnY X nnnnY X Y X nμμββμββμββμββμββμββμ==++⇒=++⇒=++⇒=+⨯+∑⇒=++−−−−→=++∑∑∑∑∑∑∑∑∑∑∑∑∑所以,由1212t t t Y X Y X ββμββμ=++=++,可得,()()()22t t t t t Y Y X X x βμμβμμ-=-+-=+-将两部分结合起来,现在,我们可以得到:()()()22ˆˆˆˆt t t t t t tt t t e Y Y Y Y Y x Y Y x ββμμ=-=----=-=+-Y Y Y可以得到:()()22ˆtt te x ββμμ=-+-,(从这个式子我们可以看出什么呢?)至此,已经将残差与扰动项联系起来了。