三大检验LM-WALD-LR
- 格式:ppt
- 大小:742.00 KB
- 文档页数:37
E v i e w s计量经济学三大检验作业1我们有1978-2007年我国财政收入,国内生产总值,财政支出和商品零售价格指数的年度数据。
请用Eview 进行回归分析。
(1) 根据回归结果分析模型的经济意义(包含模型的显著性,拟合优度,系数的显著性,系数的经济意义)建立模型,做OLS 估计,得结果图一,列表如下:43283175.57898859.0003271.0558.6399X X X Y ++--=∧)0636.20)(065848.0)(012559.0)(836.2132(SE )882456.2)(65061.13)(260476.0-)(000492.3-(t =997046.02=R 996705.02=R 845.2924=F模型整体显著性较高(F 检验十分显著),可决系数2R 和调整的可决系数较大,即样本回归方程对样本观测值拟合较好。
t 检验显示2X 的系数不显著(p 值>0.05,不能拒绝β=0的原假设),3X 和4X 的系数显著(p值<0.05,拒绝β=0的原假设)。
从模型的经济意义来看,财政支出、商品零售价格指数与财政收入成正相关,国内生产总值与财政收入成负相关,不符合客观经济规律,可能与模型变量的选取有关。
考虑对模型进行对数变换,结果为图二。
432ln 128427.1ln 631090.0ln 448496.0946444.6ln X X X Y +++-=∧)610249.0)(160929.0)(141418.0)(853146.2(SE)849127.1)(921549.3)(171412.3)(434662.2(t -=987673.02=R 986251.02=R 3969.694=F对数变换后模型整体显著性较高(F 检验十分显著,p 值=0.00<<0.05),可决系数2R 和调整的可决系数略有下降,模型可解释98.63%的因变量变化。
第二章 线性回归模型回顾与拓展 (12-15学时)第四节 三大检验(LR Wald LM ) 一、极大似然估计法(ML )(一)极大似然原理假设对于给定样本{},Y X ,其联合概率分布存在,(),;f Y X ξ。
将该联合概率密度函数视为未知参数ξ的函数,则(),;f Y X ξ称为似然函数(Likelihood Function )。
极大似然原理就是寻找未知参数ξ的估计ˆξ,使得似然函数达到最大,或者说寻找使得样本{},Y X 出现的概率最大ˆξ。
(二)条件似然函数VS 无条件似然函数()()(),;;;f Y X f Y X f X ξθϕ=若θ与ϕ没有关系,则最大化无条件似然函数(),;f Y X ξ等价于分别最大化条件似然函数();f Y X θ和边际似然函数();f X ϕ,从而θ的最大似然估计就是最大化条件似然函数();f Y X θ。
(三)线性回归模型最大似然估计Y X u β=+,2(0,)u N I σ→2222()()(,;,)(2)exp{}2nY X Y X L Y X βββσπσσ-'--=-对数似然函数:22()()2222n n Y X Y X l LnL Ln Ln ββπσσ'--==---于是 22241ˆ(22)0ˆˆ21ˆˆ()()0ˆˆˆ22l X Y X X l n Y X Y X βσβββσσσ∂⎧''=--+=⎪⎪∂⎨∂⎪'=-+--=⎪∂⎩得到 12ˆ()1ˆMLML X X X Y e e n βσ-⎧''=⎪⎨'=⎪⎩(三)得分(Score )和信息矩阵(Information Matrix )(;,)lf Y X θθ∂=∂称为得分; 12...k l l l l θθθθ∂⎡⎤⎢⎥∂⎢⎥∂⎢⎥⎢⎥∂⎢⎥∂⎢⎥=∂⎢⎥⎢⎥⎢⎥⎢⎥∂⎢⎥⎢⎥∂⎣⎦得分向量;(Gradient ) 海瑟矩阵(Hessian Matrix ):2l H θθ∂='∂∂信息矩阵:三*、带约束条件的最小二乘估计(拉格朗日估计)在计量经济分析中,通常是通过样本信息对未知参数进行估计。
最全计量经济学检验汇总现代计量经济学的检验包括以下三个大类:§1.1 系数检验一、Wald检验--系数约束条件检验Wald检验没有把原假设定义的系数限制加入回归,通过估计这一无限制回归来计算检验统计量。
Wald统计量计算无约束估计量如何满足原假设下的约束。
如果约束为真,无约束估计量应接近于满足约束条件。
考虑一个线性回归模型:和一个线性约束:,R是一个已知的阶矩阵,r是q维向量。
Wald统计量在下服从渐近分布,可简写为:进一步假设误差独立同时服从正态分布,我们就有一确定的、有限的样本F-统计量是约束回归的残差向量。
F统计量比较有约束和没有约束计算出的残差平方和。
如果约束有效,这两个残差平方和差异很小,F统计量值也应很小。
EViews显示和F统计量以及相应的p值。
假设Cobb-Douglas生产函数估计形式如下:(1)Q为产出增加量,K为资本投入,L为劳动力投入。
系数假设检验时,加入约束。
为进行Wald检验,选择View/Coefficient Tests/Wald-Coefficient Restrictions,在编辑对话框中输入约束条件,多个系数约束条件用逗号隔开。
约束条件应表示为含有估计参数和常数(不可以含有序列名)的方程,系数应表示为c(1),c(2)等等,除非在估计中已使用过一个不同的系数向量。
为检验规模报酬不变的假设,在对话框中输入下列约束:c(2)+c(3)=1二、遗漏变量检验这一检验能给现有方程添加变量,而且询问添加的变量对解释因变量变动是否有显著作用。
原假设是添加变量不显著。
选择View/Coefficient Tests/Omitted Variables-Likehood Ration,在打开的对话框中,列出检验统计量名,用至少一个空格相互隔开。
例如:原始回归为LS log(q) c log(L) log(k) ,输入:K L,EViews将显示含有这两个附加解释变量的无约束回归结果,而且显示假定新变量系数为0的检验统计量。
第四章线性回归模型检验方法拓展——三大检验作为统计推断的核心内容,除了估计未知参数以外,对参数的假设检验是实证分析中的一个重要方面。
对模型进行各种检验的目的是,改善模型的设定以确保基本假设和估计方法比较适合于数据,同时也是对有关理论有效性的验证。
一、假设检验的基本理论及准则假设检验的理论依据是“小概率事件原理”,它的一般步骤是(1)建立两个相对(互相排斥)的假设(零假设和备择假设)。
(2)在零假设条件下,寻求用于检验的统计量及其分布。
(3)得出拒绝或接受零假设的判别规则。
另一方面,对于任何的检验过程,都有可能犯错误,即所谓的第一类错误P(拒绝H|H0为真)=α和第二类错误P(接受H|H0不真)=β在下图,粉红色部分表示P(拒绝H0|H0为真)=α。
黄色部分表示P(接受H0|H0不真)=β。
而犯这两类错误的概率是一种此消彼长的情况,于是如何控制这两个概率,使它们尽可能的都小,就成了寻找优良的检验方法的关键。
下面简要介绍假设检验的有关基本理论。
参数显著性检验的思路是,已知总体的分布(,)F X θ,其中θ是未知参数。
总体真实分布完全由未知参数θ的取值所决定。
对θ提出某种假设001000:(:,)H H θθθθθθθθ=≠><或,从总体中抽取一个容量为n 的样本,确定一个统计量及其分布,决定一个拒绝域W ,使得0()P W θα=,或者对样本观测数据X ,0()P X W θα∈≤。
α是显著性水平,即犯第一类错误的概率。
既然犯两类错误的概率不能同时被控制,所以通常的做法是,限制犯第一类错误的概率,使犯第二类错误的概率尽可能的小,即在0()P X W θα∈≤ 0θ∈Θ的条件下,使得()P X W θ∈,0θ∈Θ-Θ达到最大,或1()P X W θ-∈,0θ∈Θ-Θ达到最小。
其中()P X W θ∈表示总体分布为(,)F X θ时,事件W ∈{X }的概率,0Θ为零假设集合(0Θ只含一个点时成为简单原假设,否则称为复杂原假设)。
计量中三大检验(wald,lr,lm)的区别Wald 统计量我们先对无约束模型得到参数的估计值,再代入约束条件检查约束条件是否成立;LR 统计量则是分别计算在约束和无约束条件下的参数估计值,然后计算二者的对数似然函数是否足够接近;LM 统计量则考察约束条件的拉格朗日乘子是否为零,因为假设约束条件成立,那么这个约束条件应该对我们的估计没有影响,那么拉格朗日乘子应该为0。
这是三个检验的基本思想。
至于为什么渐进等价,则要一些推导。
基本上三者的大小差距为O(1/n).似然比检验、wald检验、拉格朗日乘数检验都基于MLE,就大样本而言三者是渐进等价的。
1、似然比检验的思想是:如果参数约束是有效的,那么加上这样的约束不应该引起似然函数最大值的大幅度降低。
也就是说似然比检验的实质是在比较有约束条件下的似然函数最大值与无约束条件下似然函数最大值。
似然比定义为有约束条件下的似然函数最大值与无约束条件下似然函数最大值之比。
以似然比为基础可以构造一个服从卡方分布统计量(具体形式参见Greene)。
2、wald检验的思想是:如果约束是有效的,那么在没有约束情况下估计出来的估计量应该渐进地满足约束条件,因为MLE是一致的。
以无约束估计量为基础可以构造一个Wald统计量(具体形式参见Greene),这个统计量也服从卡方分布;3、拉格朗日乘数检验的思想是:在约束条件下,可以用拉格朗日方法构造目标函数。
如果约束有效,则最大化拉格朗日函数所得估计量应位于最大化无约束所得参数估计值附近。
这里也是构造一个LM统计量(具体形式参见Greene),该统计量服从卡方分布。
对于似然比检验,既需要估计有约束的模型,也需要估计无约束的模型;对于Wald检验,只需要估计无约束模型;对于LM检验,只需要估计有约束的模型。
一般情况下,由于估计有约束模型相对更复杂,所有Wald检验最为常用。
对于小样本而言,似然比检验的渐进性最好,LM检验也较好,Wald检验有时会拒绝原假设,其小样本性质不尽如人意。
第二章 线性回归模型回顾与拓展 (12-15学时)第四节 三大检验(LR Wald LM ) 一、极大似然估计法(ML )(一)极大似然原理假设对于给定样本{},Y X ,其联合概率分布存在,(),;f Y X ξ。
将该联合概率密度函数视为未知参数ξ的函数,则(),;f Y X ξ称为似然函数(Likelihood Function )。
极大似然原理就是寻找未知参数ξ的估计ˆξ,使得似然函数达到最大,或者说寻找使得样本{},Y X 出现的概率最大ˆξ。
(二)条件似然函数VS 无条件似然函数()()(),;;;f Y X f Y X f X ξθϕ=若θ与ϕ没有关系,则最大化无条件似然函数(),;f Y X ξ等价于分别最大化条件似然函数();f Y X θ和边际似然函数();f X ϕ,从而θ的最大似然估计就是最大化条件似然函数();f Y X θ。
(三)线性回归模型最大似然估计Y X u β=+,2(0,)u N I σ→2222()()(,;,)(2)exp{}2nY X Y X L Y X βββσπσσ-'--=-对数似然函数:22()()2222n n Y X Y X l LnL Ln Ln ββπσσ'--==---于是 22241ˆ(22)0ˆˆ21ˆˆ()()0ˆˆˆ22l X Y X X l n Y X Y X βσβββσσσ∂⎧''=--+=⎪⎪∂⎨∂⎪'=-+--=⎪∂⎩得到 12ˆ()1ˆMLML X X X Y e e n βσ-⎧''=⎪⎨'=⎪⎩(三)得分(Score )和信息矩阵(Information Matrix )(;,)lf Y X θθ∂=∂称为得分; 12...k l l l l θθθθ∂⎡⎤⎢⎥∂⎢⎥∂⎢⎥⎢⎥∂⎢⎥∂⎢⎥=∂⎢⎥⎢⎥⎢⎥⎢⎥∂⎢⎥⎢⎥∂⎣⎦得分向量;(Gradient ) 海瑟矩阵(Hessian Matrix ):2l H θθ∂='∂∂信息矩阵:三*、带约束条件的最小二乘估计(拉格朗日估计)在计量经济分析中,通常是通过样本信息对未知参数进行估计。
conditional条件法、lr偏似然估计法、wald瓦尔德法条件法、偏似然估计法和瓦尔德法是统计学中经常使用的三种方法,用于估计参数和进行假设检验。
本文将逐步解释这三种方法的原理和应用,并讨论它们的优缺点。
条件法(Method of Moments) 是一种基于样本矩的估计方法。
其核心思想是将理论矩和样本矩之间的差异最小化,从而得到参数的估计值。
具体步骤如下:步骤1:确定估计量的数量首先,根据需要估计的参数的数量,确定需要计算的矩数量。
例如,如果需要估计一个参数,那么只需要计算一个矩;如果需要估计两个参数,那么需要计算两个矩。
步骤2:计算样本矩从样本中计算所需的矩。
常见的矩包括样本均值、方差和偏度。
步骤3:建立理论矩对所需的参数建立理论矩的表达式。
这些表达式是参数的函数。
步骤4:求解方程组将样本矩和理论矩相等,得到参数的估计值。
这可以通过求解一个由样本矩和理论矩的方程组获得。
条件法的优点是简单易用,特别适用于参数估计问题。
然而,它的缺点是对于非线性模型或者高阶矩的估计问题存在较大的不确定性。
偏似然估计法(Maximum Likelihood Estimation, MLE) 是一种基于似然函数的估计方法。
它假设观测数据来自于已知的概率分布,然后通过最大化似然函数来估计参数。
具体步骤如下:步骤1:建立似然函数根据数据的概率分布函数,建立参数的似然函数。
似然函数是参数的函数,表示给定参数情况下观测数据出现的可能性。
步骤2:对似然函数取对数将似然函数取对数,得到对数似然函数。
这样做的好处是可以简化计算。
步骤3:求对数似然函数的导数对对数似然函数求导,得到参数的似然方程。
解这个方程可以求得参数的估计值。
步骤4:计算似然函数的二阶导数对对数似然函数再次求导,得到似然函数的二阶导数。
这个二阶导数称为观测信息矩阵。
步骤5:计算标准误差和置信区间根据观测信息矩阵,计算参数的标准误差,并利用标准误差构建置信区间。