下载文档原格式
第二章 线性回归模型回顾与拓展 （12-15学时）第四节 三大检验（LR Wald LM ） 一、极大似然估计法（ML ）（一）极大似然原理假设对于给定样本{},Y X ,其联合概率分布存在，(),;f Y X ξ。
将该联合概率密度函数视为未知参数ξ的函数，则(),;f Y X ξ称为似然函数（Likelihood Function ）。
极大似然原理就是寻找未知参数ξ的估计ˆξ，使得似然函数达到最大，或者说寻找使得样本{},Y X 出现的概率最大ˆξ。
（二）条件似然函数VS 无条件似然函数()()(),;;;f Y X f Y X f X ξθϕ=若θ与ϕ没有关系，则最大化无条件似然函数(),;f Y X ξ等价于分别最大化条件似然函数();f Y X θ和边际似然函数();f X ϕ，从而θ的最大似然估计就是最大化条件似然函数();f Y X θ。
（三）线性回归模型最大似然估计Y X u β=+，2(0,)u N I σ→2222()()(,;,)(2)exp{}2nY X Y X L Y X βββσπσσ-'--=-对数似然函数：22()()2222n n Y X Y X l LnL Ln Ln ββπσσ'--==---于是 22241ˆ(22)0ˆˆ21ˆˆ()()0ˆˆˆ22l X Y X X l n Y X Y X βσβββσσσ∂⎧''=--+=⎪⎪∂⎨∂⎪'=-+--=⎪∂⎩得到 12ˆ()1ˆMLML X X X Y e e n βσ-⎧''=⎪⎨'=⎪⎩（三）得分（Score ）和信息矩阵（Information Matrix ）(;,)lf Y X θθ∂=∂称为得分； 12...k l l l l θθθθ∂⎡⎤⎢⎥∂⎢⎥∂⎢⎥⎢⎥∂⎢⎥∂⎢⎥=∂⎢⎥⎢⎥⎢⎥⎢⎥∂⎢⎥⎢⎥∂⎣⎦得分向量；（Gradient ） 海瑟矩阵（Hessian Matrix ）:2l H θθ∂='∂∂信息矩阵：三*、带约束条件的最小二乘估计（拉格朗日估计）在计量经济分析中，通常是通过样本信息对未知参数进行估计。
第1章 极大似然估计极大似然估计是非线性模型中非常重要的一种估计方法。
最小二乘法是极大似然估计在线性模型中的特例。
1.1 似然函数假设随机变量x t 的概率密度函数为 f (x t )，其参数用θ= (θ1, θ2, …, θk )表示，则对于一组固定的参数 θ来说，x t 的每一个值都与一定的概率相联系。
即给定参数θ，随机变量x t 的概率密度函数为f (x t )。
相反若参数 θ未知，当得到观测值x t 后，把概率密度函数看作给定x t 的参数 θ的函数，这即是似然函数。
L (θ| x t ) = f (x t | θ)似然函数L (θ| x t ) 与概率密度函数f (x t | θ) 的表达形式相同。
所不同的是在f (x t | θ) 中参数 θ是已知的，x t 是未知的；而在L (θ| x t ) 中x t 是已知的观测值，参数 θ是未知的。
对于n 个独立的观测值x =(x 1, x 2, …, x n )，其联合概率密度函数为1(|)(|)ni i f f x ==∏x θθ其对应的似然函数为：11(|)(|)(|)nn i i i i LnL LnL x f x ====∑∏θx θθ经常使用的是对数似然函数，即对L (θ| x t )取自然对数：LnL (θ| x t ) =log[f (x t | θ)]例 1.1正态分布随机变量的似然函数设一组随机变量x i ,（i = 1, 2, …, n ）是相互独立的，且服从正态分布N (μ,σ2)。
存在N 个独立的观测值x =(x 1, x 2, …, x n )。
x i 的似然函数为221/22()1(,|)(|,)exp (2)2i i i i x L x f x μμσμσπσσ⎛⎫-==-⎪⎝⎭=1i x μφσσ-⎛⎫- ⎪⎝⎭其中，φ表示标准正态分布的概率密度函数，2()2x x φ⎛⎫=- ⎪⎝⎭x i 的对数似然函数为：21(,|)ln()ln ()2i i i x LnL x μμσσφσ-⎛⎫=-+ ⎪⎝⎭其中，21ln ()ln(2)22x x φπ=--(x 1, x 2, …, x n )的联合似然函数为21(,|)ln()ln ()2n i i x n LnL μμσσφσ=-⎛⎫=-+ ⎪⎝⎭∑x=2221()ln()ln(2)222n i i x n n μσπσ=----∑ 例 1.2 泊松分布的对数似然函数假设每5分钟到达商店的顾客的数目服从Poisson 分布，有N 个样本观测值(x 1, x 2, …, x N )。
统计学常见概念及解析统计学常见概念及解析统计学是通过搜索、整理、分析、描述数据等手段，以达到推断所测对象的本质，甚至预测对象未来的一门综合性科学。
统计学常见概念有哪些你知道吗?下面是店铺为大家带来的统计学常见概念及解析。
欢迎阅读。
统计学常见概念及解析1(1)自由度 d.f.统计学上的自由度是指当以样本的统计量来估计总体的参数时，样本中独立或能自由变化的自变量的个数，称为该统计量的自由度。
统计学上的自由度包括两方面的内容：首先，在估计总体的平均数时，由于样本中的n 个数都是相互独立的，从其中抽出任何一个数都不影响其他数据，所以其自由度为n。
在估计总体的方差时，使用的是离差平方和。
只要n-1个数的离差平方和确定了，方差也就确定了;因为在均值确定后，如果知道了其中n-1个数的值，第n个数的值也就确定了。
这里，均值就相当于一个限制条件，由于加了这个限制条件，估计总体方差的自由度为n-1。
例如，有一个有4个数据(n=4)的样本，其平均值m等于5，即受到m=5的条件限制，在自由确定4、2、5三个数据后，第四个数据只能是9，否则m≠5。
因而这里的自由度υ=n-1=4-1=3。
推而广之，任何统计量的自由度υ=n-k(k为限制条件的个数)。
其次，统计模型的自由度等于可自由取值的自变量的个数。
如在回归方程中，如果共有p个参数需要估计，则其中包括了p-1个自变量(与截距对应的自变量是常量1)。
因此该回归方程的自由度为p-1。
(2)偏相关Partial correlation coefficient在多元回归分析中，在消除其他变量影响的条件下，所计算的某两变量之间的相关系数。
在多元相关分析中，简单相关系数可能不能够真实的反映出变量X和Y之间的相关性，因为变量之间的关系很复杂，它们可能受到不止一个变量的影响。
这个时候偏相关系数是一个更好的选择。
假设我们需要计算X和Y之间的相关性，Z代表其他所有的变量，X和Y的偏相关系数可以认为是X和Z线性回归得到的残差Rx与Y和Z线性回归得到的残差Ry之间的简单相关系数，即pearson相关系数。
极大似然估计法及其在统计中的应用统计学是一门研究样本数据的收集、分析和解释的学科。
统计方法在各个学科中都有着广泛的应用，例如医学、经济学、社会学、心理学等。
而在统计中，极大似然估计法是一种常用的推断方法，本文将详细介绍极大似然估计法及其在统计学中的应用。
一、极大似然估计法的基本原理极大似然估计法的基本思想是：在已知样本的前提下，选择一个最合适的参数值，使得样本中出现该参数值的概率最大。
这里的“概率”指的是似然函数，即以参数值为自变量，样本出现的概率为因变量的函数。
以简单的二项分布为例，其概率函数为：P(X=k)=C(n,k)p^k(1-p)^(n-k)其中，X表示二项分布的随机变量，k表示X的取值，n表示试验次数，p表示成功的概率。
在已知样本的情况下，极大似然估计法的目标是确定p的最佳估计值。
首先，根据已知样本的情况，似然函数L(p)为：L(p)=f(x1)f(x2)...f(xn)其中，f(x)表示二项分布中取值为x的概率密度函数，n表示样本容量，x1,x2,...,xn为样本中的数据。
而根据似然函数的定义，选择最合适的p值即为最大化似然函数L(p)。
因此，极大似然估计法的估计值为：p^=argmax L(p)最后，通过求解该表达式的导数，可以求得p的最佳估计值为：p^=k/n其中，k表示样本中成功的次数，n表示样本容量。
二、极大似然估计的应用极大似然估计法在统计学中有着广泛的应用，本节将介绍其中的一些常见应用。
1. 线性回归在线性回归中，极大似然估计法通常被用来估计参数向量。
对于给定的样本数据，线性回归的目标是找到一组最优参数，使得样本数据的误差平方和最小。
而误差平方和的似然函数则可以表示为一个高斯分布的概率密度函数。
通过极大似然估计法，可以求解该高斯分布的均值和方差，从而得到最佳参数估计值。
2. 逻辑回归在逻辑回归中，极大似然估计法通常被用来估计模型中的系数。
逻辑回归是一种用来处理二元分布数据的分类算法，其目标是根据已知的样本数据，预测模型中某个事件发生的概率。
极大似然函数的渐近分布极大似然函数是统计学中常用的一种方法，用于估计参数的最优值。
在很多实际问题中，我们需要根据已知的样本数据来确定未知参数的取值。
极大似然函数就是一种通过最大化样本数据出现的概率来估计参数的方法。
我们需要了解什么是似然函数。
似然函数是指在给定一组观测数据的条件下，参数取值的可能性。
它是参数的函数，表示参数的取值对于给定的样本数据而言有多么合理。
而极大似然函数是在给定样本数据的情况下，寻找使得似然函数取得最大值的参数取值。
假设我们有一组样本数据{x1, x2, ..., xn}，这些数据是从一个未知分布中独立并且随机地抽取得到的。
我们假设这个分布具有某些参数，我们的目标就是通过这些样本数据来估计这些参数的取值。
假设我们的分布是一个正态分布，它具有两个参数：均值μ和方差σ²。
我们的任务就是通过极大似然函数来估计这两个参数的最优值。
我们需要假设一个概率密度函数，即正态分布的概率密度函数。
然后，我们需要计算给定样本数据的概率密度函数的乘积。
这个乘积表示了在给定样本数据下，参数取值的可能性。
接下来，我们需要寻找使得这个乘积最大化的参数取值。
我们可以通过计算似然函数的对数，将乘积转化为求和的形式。
这样做的好处是可以简化计算，并且不会影响最优化问题的解。
我们可以使用最大似然估计的方法，通过最大化似然函数来估计参数的最优值。
这可以通过求解似然函数的导数为0的方程组来实现。
极大似然函数的渐近分布是指当样本数量趋于无穷大时，极大似然估计的分布趋于真实参数的分布。
这个渐近分布可以用来评估估计值的置信区间以及统计推断的可靠性。
总结一下，极大似然函数是一种常用的参数估计方法，通过最大化样本数据出现的概率来确定参数的取值。
通过求解似然函数的导数为0的方程组，可以得到参数的最优值。
当样本数量趋于无穷大时，极大似然估计的分布趋于真实参数的分布。
这个渐近分布可以用来评估估计值的置信区间以及统计推断的可靠性。
2014级中级计量经济学A 中期练习题中国金融研究中心 龙夕左 2140202041811、分别从数理和经济的角度，简述对每一条古典假定的含义和作用的理解。
（1）零条件均值假定：(|)0E u X =, i u 的条件均值为零。
其作用是它可以保证估计量的无偏性。
（2）球形扰动假定：2(|)Var u X I σ=，随机扰动项的方差-协方差矩阵为同方差且无自相关同时成立时的情况。
其作用是保证参数估计的有效性。
（3）外生性假定：()0E X u '=，即解释变量与扰动项不相关，表示随机扰动项中不包含有解释变量的任何信息。
其作用是保证参数估计的一致性，这是最重要的也是最基本的假定，若违反了此假定参数估计也变得没有意义。
（4）满秩性条件：()Rank X X k '=，含义是解释变量无共线性，作用是为了保证条件期望的唯一性，参数可求解。
（5）正态性条件：2(0,)uN I σ，含义是扰动项服从正态分布，主要与统计检验和推断有关，作用是使得参数服从正态分布，从而对参数进行估计，但在大样本的条件下，根据中心极限定理这个条件是可以放宽的。
2、对线性回归模型Y X u β=+，试用最小二乘法和极大似然法估计参数β和随机扰动项的方差2σ，并且说明和比较在满足古典假定的条件下，参数β与扰动项方差2σ的估计量的性质。
最小二乘法（OLS ）估计的参数β估计量1ˆ()X X X Y β-''=，随机扰动项方差σ2的估计量2ˆe e n kσ'=-；极大似然估计法（ML ）估计的参数β估计量1ˆ()MLX X X Y β-''=，随机扰动项方差σ2的估计量21ˆˆˆ()()ML ML MLY X Y X nσββ'=--。
与OLS 的2σ的估计参数不一样，差别在分母上。
在满足古典假定的条件下，OLS 对β的估计量是最佳线性无偏估计（BLUE ）,对2σ的估计量是一致最小方差无偏估计（UMVUE ）。
第四章线性回归模型检验方法拓展——三大检验作为统计推断的核心内容，除了估计未知参数以外，对参数的假设检验是实证分析中的一个重要方面。
对模型进行各种检验的目的是，改善模型的设定以确保基本假设和估计方法比较适合于数据，同时也是对有关理论有效性的验证。
一、假设检验的基本理论及准则假设检验的理论依据是“小概率事件原理”，它的一般步骤是（1）建立两个相对（互相排斥）的假设（零假设和备择假设）。
（2）在零假设条件下，寻求用于检验的统计量及其分布。
（3）得出拒绝或接受零假设的判别规则。
另一方面，对于任何的检验过程，都有可能犯错误，即所谓的第一类错误P（拒绝H|H0为真）=α和第二类错误P（接受H|H0不真）=β在下图，粉红色部分表示P（拒绝H0|H0为真）=α。
黄色部分表示P（接受H0|H0不真）=β。
而犯这两类错误的概率是一种此消彼长的情况，于是如何控制这两个概率，使它们尽可能的都小，就成了寻找优良的检验方法的关键。
下面简要介绍假设检验的有关基本理论。
参数显著性检验的思路是，已知总体的分布(,)F X θ，其中θ是未知参数。
总体真实分布完全由未知参数θ的取值所决定。
对θ提出某种假设001000:(:,)H H θθθθθθθθ=≠><或，从总体中抽取一个容量为n 的样本，确定一个统计量及其分布，决定一个拒绝域W ，使得0()P W θα=，或者对样本观测数据X ，0()P X W θα∈≤。
α是显著性水平，即犯第一类错误的概率。
既然犯两类错误的概率不能同时被控制，所以通常的做法是，限制犯第一类错误的概率，使犯第二类错误的概率尽可能的小，即在0()P X W θα∈≤ 0θ∈Θ的条件下，使得()P X W θ∈，0θ∈Θ-Θ达到最大，或1()P X W θ-∈，0θ∈Θ-Θ达到最小。
其中()P X W θ∈表示总体分布为(,)F X θ时，事件W ∈{X }的概率，0Θ为零假设集合（0Θ只含一个点时成为简单原假设，否则称为复杂原假设）。
