第十七讲 极大似然估计

《概率论与数理统计》极大似然思想一般地说，事件A 与参数Θ∈θ有关，θ取值不同，则)(A P 也不同．若A 发生了，则认为此时的θ值就是θ的估计值．这就是极大似然思想．看一例子：例１、设袋中装有许多黑、白球，不同颜色球的数量比为3:1，试设计一种方法，估计任取一球为黑球的概率P ．分析：易知P 的值无非是1/4或3/4．为估计P 的值，现从袋中有放回地任取3只球，用X 表示其中的黑球数，则),3(~P b X ．按极大似然估计思想，对P 的取值进行估计．解：对P 的不同取值，X 取3,2,1,0=k 的概率可列表如下:X ０ １ ２ ３41=P 6427 6427 649 64143=P641 64964276427故根据极大似然思想即知：⎪⎩⎪⎨⎧===3,2,431,0,41ˆk k P ．在上面的例子中，P 是分布中的参数，它只能取两个值：1/4或3/4，需要通过抽样来决定分布中参数究竟是1/4还是3/4．在给定了样本观测值后去计算该样本出现的概率，这一概率依赖于P 的值，为此需要用1/4、3/4分别去计算此概率，在相对比较之下，哪个概率大，则P 就最象那个．二、似然函数与极大似然估计1、离散分布场合：设总体X 是离散型随机变量，其概率函数为);(θx p ，其中θ是未知参数．设n X X X ,,,21 为取自总体X 的样本．n X X X ,,,21 的联合概率函数为∏=ni i X p 1);(θ，这里，θ是常量，n X X X ,,,21 是变量．若我们已知样本取的值是n x x x ,,,21 ，则事件},,,{2211n n x X x X x X === 发生的概率为∏=ni i x p 1);(θ．这一概率随θ的值而变化．从直观上来看，既然样本值n x x x ,,,21 出现了，它们出现的概率相对来说应比较大，应使∏=ni i x p 1);(θ取比较大的值．换句话说，θ应使样本值n x x x ,,,21 的出现具有最大的概率．将上式看作θ的函数，并用)(θL 表示，就有：∏===ni i n x p x x x L L 121);();,,,()(θθθ （１）称)(θL 为似然函数．极大似然估计法就是在参数θ的可能取值围Θ，选取使)(θL 达到最大的参数值θˆ，作为参数θ的估计值．即取θ，使);,,,(max )ˆ;,,,()(2121θθθθnn x x x L x x x L L Θ∈== （２） 因此，求总体参数θ的极大似然估计值的问题就是求似然函数)(θL 的最大值问题．这可通过解下面的方程0)(=θθd dL （３） 来解决．因为L ln 是L 的增函数，所以L ln 与L 在θ的同一值处取得最大值．我们称)(ln )(θθL l =为对数似然函数．因此，常将方程（３）写成：0)(ln =θθd L d （４） 方程（４）称为似然方程．解方程（３）或（４）得到的θˆ就是参数θ的极大似然估计值．如果方程（４）有唯一解，又能验证它是一个极大值点，则它必是所求的极大似然估计值．有时，直接用（４）式行不通，这时必须回到原始定义（２）进行求解．２、连续分布场合：设总体X 是连续离散型随机变量，其概率密度函数为);(θx f ，若取得样本观察值为n x x x ,,,21 ，则因为随机点),,,(21n X X X 取值为),,,(21n x x x 时联合密度函数值为∏=ni i x f 1);(θ．所以，按极大似然法，应选择θ的值使此概率达到最大．我们取似然函数为∏==ni i x f L 1);()(θθ，再按前述方法求参数θ的极大似然估计值．三、求极大似然估计的方法1、可通过求导获得极大似然估计：当函数关于参数可导时，常可通过求导方法来获得似然函数极大值对应的参数值．例２、设某工序生产的产品的不合格率为p ，抽n 个产品作检验，发现有T 个不合格，试求p 的极大似然估计．分析：设X 是抽查一个产品时的不合格品个数，则X 服从参数为p 的二点分布),1(p b ．抽查n 个产品，则得样本n X X X ,,,21 ，其观察值为n x x x ,,,21 ，假如样本有T 个不合格，即表示n x x x ,,,21 中有T 个取值为１，T n -个取值为０．按离散分布场合方法，求p 的极大似然估计．解：（１）写出似然函数：∏=--=ni x x i i P p p L 11)1()(（２）对)(p L 取对数，得对数似然函数)(p l ：∑∑==--+-=--+=ni i ni i i p p x p n p x p x p l 11)]1ln([ln )1ln()]1ln()1(ln [)(（３）由于)(p l 对p 的导数存在，故将)(p l 对p 求导，令其为０，得似然方程：0)1(11)111(1)(11=-+--=-++--=∑∑==ni i n i i x p p p n p p x p n dp p dl （４）解似然方程得：x x n pni i ==∑=11ˆ （５）经验证，在x p =ˆ时，0)(22<dpp l d ，这表明x p =ˆ可使似然函数达到最大（６）上述过程对任一样本观测值都成立，故用样本代替观察值便得p 的极大似然估计为：X p=ˆ 将观察值代入，可得p 的极大似然估计值为：nTx p==ˆ，其中∑==ni i x T 1．若总体X 的分布中含有多个未知参数k θθθ,,,21 时，似然函数L 是这些参数的多元函数),,(1k L θθ ．代替方程（３），我们有方程组),,2,1(0)(ln k i L i==∂∂θ，由这个方程组解得kθθθˆ,,ˆ,ˆ21 分别是参数k θθθ,,,21 的极大似然估计值．例３、设某机床加工的轴的直径与图纸规定的中心尺寸的偏差服从),(2σμN ，其中2,σμ未知．为估计2,σμ，从中随机抽取100=n 根轴，测得其偏差为10021,,,x x x ．试求2,σμ的极大似然估计．分析：显然，该问题是求解含有多个（两个）未知参数的极大似然估计问题．通过建立关于未知参数2,σμ的似然方程组，从而进行求解．解：（１）写出似然函数：212222)(2212)(2)2(21),(σμσμπσσπσμ∑===---=--∏ni i i x n ni x ee L（２）写出对数似然函数：21222)(21)2ln(2),(∑=---=n i i x n l μσπσσμ（３）将),(2σμl 分别对2σμ、求偏导，并令它们都为０，得似然方程组为：⎪⎪⎩⎪⎪⎨⎧=-+-=∂∂=-=∂∂∑∑==0)(212),(0)(1),(1242221222ni i ni i x n l x l μσσσσμμσμσμ （４）解似然方程组得：x =μˆ，∑=-=ni i x x n 122)(1ˆσ （５）经验证2ˆ,ˆσμ使),(2σμl 达到极大， （６）上述过程对一切样本观察值成立，故用样本代替观察值，便得2,σμ的极大似然估计分别为：X =μˆ，2122)(1ˆn n i i S X X n =-=∑=σ．２、不可通过求导方法获得极大似然估计：当似然函数的非零区域与未知参数有关时，通常无法通过解似然方程来获得参数的极大似然估计，这时可从定义（２）出发直接求)(θL 的极大值点．例4、设总体X 服从均匀分布),0(θU ，从中获得容量为n 的样本n X X X ,,,21 ，其观测值为n x x x ,,,21 ，试求θ的极大似然估计．分析：当写出其似然函数)(θL 时，我们会发现)(θL 的非零区域与θ有关，因而无法用求导方法来获得θ的极大似然估计，从而转向定义（２）直接求)(θL 的极大值．解：写出似然函数：⎩⎨⎧≤≤≤=-其它场合,00,)()()1(θθθn n x x L 为使)(θL 达到极大，就必须使θ尽可能小，但是θ不能小于)(n x ，因而θ取)(n x 时使)(θL 达到极大，故θ的极大似然估计为：)(ˆn X =θ． 进一步，可讨论估计θˆ的无偏性： 由于总体),0(~θU X ，其密度函数与分布函数分别为：⎪⎩⎪⎨⎧<<=其它,00,1)(θθx x p ，⎪⎩⎪⎨⎧≥<<≤=θθθx x x x x F ,10,0,0)(，从而)(ˆn X =θ的概率密度函数为：θθθ<<==--y ny y p y F n p nn n 0,)()]([11ˆ θθθθθθθ≠+====⎰⎰1)()()ˆ(0ˆ)(n ndy ny dy y yp X E E nnn 这说明θ的极大似然估计)(ˆn X =θ不是θ的无偏估计，但对θˆ作一修正可得θ的无偏估计为：)(11ˆn X nn +=θ． 通过修正获得未知参数的无偏估计，这是一种常用的方法．在二次世界大战中，从战场上缴获的纳粹德国的枪支上都有一个编号，对最大编号作一修正便获得了德国生产能力的无偏估计．综上，可得求极大似然估计值的一般步骤．四、求极大似然估计的一般步骤1、由总体分布导出样本的联合概率函数（或联合密度）；2、把样本联合概率函数（或联合密度）中自变量看成已知常数，而把参数θ看作自变量，得到似然函数)(θL ；3、求似然函数)(θL 的最大值点（常转化为求对数似然函数)(θl 的最大值点）；4、在最大值点的表达式中，用样本值代入就得参数的极大似然估计值．五、极大似然估计的不变性求未知参数θ的某种函数)(θg 的极大似然估计可用极大似然估计的不变原则，证明从略．定理（不变原则）设θˆ是θ的极大似然估计，)(θg 是θ的连续函数，则)(θg 的极大似然估计为)ˆ(θg ． 例5、设某元件失效时间服从参数为λ的指数分布，其密度函数为0,);(≥=-x e x f x λλλ，λ未知．现从中抽取了n 个元件测得其失效时间为n x x x ,,,21 ，试求λ及平均寿命的极大似然估计．分析：可先求λ的极大似然估计，由于元件的平均寿命即为X 的期望值，在指数分布场合，有λ1)(=X E ，它是λ的函数，故可用极大似然估计的不变原则，求其极大似然估计．解：（１）写出似然函数：∑===-=-∏ni iix nni x eeL 11)(λλλλλ（２）取对数得对数似然函数：∑=-=ni i x n l 1ln )(λλλ（３）将)(λl 对λ求导得似然方程为：0)(1=-=∑=ni i x n d dl λλλ（４）解似然方程得：xxnni i1ˆ1==∑=λ经验证，λˆ能使)(λl 达到最大，由于上述过程对一切样本观察值成立，故λ的极大似然估计为：X1ˆ=λ； 根据极大似然估计的不变原则，元件的平均寿命的极大似然估计为：X X E ==λˆ1)(． 五、小结1、极大似然估计的思想；2、求解未知参数极大似然估计的一般步骤；3、极大似然估计的不变原则．。

§6.2 极大似然估计极大似然估计法是求估计的另一种方法。

它最早由高斯提出。

后来为费歇在1912年的文章中重新提出，并且证明了这个方法的一些性质。

极大似然估计这一名称也是费歇给的。

这是一种上前仍然得到广泛应用的方法。

它是建立在极大似然原理的基础上的一个统计方法，极大似然原理的直观想法是：一个随机试验如有若干个可能的结果A ，B ，C ，…。

若在一次试验中，结果A 出现，则一般认为试验条件对A 出现有利，也即A 出现的概率很大。

我们来看一个例子。

（例题略） 下面我们对连续型与离散型母体两种情形阐述极大似然估计。

设1ξ，2ξ，…，nξ为取自具有概率函数{}Θ∈θθ:);(x f 的母体ξ的一个子样。

子样1ξ，2ξ，…，n ξ的联合概率函数在iξ取已知观测值x i ，i =1，…n 时的值);(1θx f );(2θx f …);(θn x f 是θ的函数。

我们用L （θ）= L （θ；x 1，… ，x n ）表示，称作这个子样的似然函数。

于是L （θ）= L （θ；x 1，… ，x n ）=);(1θx f );(2θx f …);(θn x f （6.8）如果是离散型母体，L （θ；x 1，… ，x n ）给出观测到（x 1，x 2，… ，x n ）的概率。

因此，可以把L （θ；x 1，… ，x n ）看成为了观测到（x 1，x 2，… ，x n ）时出现什么样θ的可能性的一个测度。

所以我们只要寻找这样的观测值（x 1，x 2，… ，x n）的函数i θ =i θ （x 1，… ，x n ），以θ代θ使L （θ；x 1，… ，x n ）=Θ∈θsup L （θ；x 1，… ，x n ） （6.9）成立。

满足（6.9）式的θ（x 1，… ，x n ）就是最可能产生x 1，… ，x n的参数θ的值。

我们称θ（x 1，… ，x n）为参数θ的极大似然估计值，其相应的统计量),(1n ，ξξθ称作参数θ的极大似然估计量。

第1章 极大似然估计极大似然估计是非线性模型中非常重要的一种估计方法。

最小二乘法是极大似然估计在线性模型中的特例。

1.1 似然函数假设随机变量x t 的概率密度函数为 f (x t )，其参数用θ= (θ1, θ2, …, θk )表示，则对于一组固定的参数 θ来说，x t 的每一个值都与一定的概率相联系。

即给定参数θ，随机变量x t 的概率密度函数为f (x t )。

相反若参数 θ未知，当得到观测值x t 后，把概率密度函数看作给定x t 的参数 θ的函数，这即是似然函数。

L (θ| x t ) = f (x t | θ)似然函数L (θ| x t ) 与概率密度函数f (x t | θ) 的表达形式相同。

所不同的是在f (x t | θ) 中参数 θ是已知的，x t 是未知的；而在L (θ| x t ) 中x t 是已知的观测值，参数 θ是未知的。

对于n 个独立的观测值x =(x 1, x 2, …, x n )，其联合概率密度函数为1(|)(|)ni i f f x ==∏x θθ其对应的似然函数为：11(|)(|)(|)nn i i i i LnL LnL x f x ====∑∏θx θθ经常使用的是对数似然函数，即对L (θ| x t )取自然对数：LnL (θ| x t ) =log[f (x t | θ)]例 1.1正态分布随机变量的似然函数设一组随机变量x i ,（i = 1, 2, …, n ）是相互独立的，且服从正态分布N (μ,σ2)。

存在N 个独立的观测值x =(x 1, x 2, …, x n )。

x i 的似然函数为221/22()1(,|)(|,)exp (2)2i i i i x L x f x μμσμσπσσ⎛⎫-==-⎪⎝⎭=1i x μφσσ-⎛⎫- ⎪⎝⎭其中，φ表示标准正态分布的概率密度函数，2()2x x φ⎛⎫=- ⎪⎝⎭x i 的对数似然函数为：21(,|)ln()ln ()2i i i x LnL x μμσσφσ-⎛⎫=-+ ⎪⎝⎭其中，21ln ()ln(2)22x x φπ=--(x 1, x 2, …, x n )的联合似然函数为21(,|)ln()ln ()2n i i x n LnL μμσσφσ=-⎛⎫=-+ ⎪⎝⎭∑x=2221()ln()ln(2)222n i i x n n μσπσ=----∑ 例 1.2 泊松分布的对数似然函数假设每5分钟到达商店的顾客的数目服从Poisson 分布，有N 个样本观测值(x 1, x 2, …, x N )。

极大似然估计方法极大似然估计（Maximum Likelihood Estimation，MLE）方法是一种用于估计参数的统计方法，它基于观测到的样本数据，通过选择最大化观测数据出现的概率的参数值来估计未知参数。

极大似然估计是概率论和统计学中最重要的方法之一，广泛应用于各个领域的数据分析与建模中。

极大似然估计方法的核心思想是基于某一参数下观测数据出现的概率，选择使得这个概率最大的参数值。

具体而言，给定一个观测数据集合X，其来自于一个具有参数θ的概率分布，我们要估计未知参数θ的值。

极大似然估计的目标是找到一个参数值θ^，使得给定θ^条件下观测数据集合X出现的概率最大。

数学上，极大似然估计可以通过最大化似然函数来求解。

似然函数是一个参数的函数，表示给定某个参数θ下观测数据出现的概率。

似然函数的定义如下：L(θ|X) = P(X|θ)数的函数，表示给定某个参数θ下观测数据出现的概率。

极大似然估计的目标是寻找一个参数θ^，使得似然函数最大化，即：θ^ = arg max L(θ|X)为了方便计算，通常将似然函数转化为其对数形式，即对数似然函数：l(θ|X) = log L(θ|X)本文将主要介绍如何利用极大似然估计来估计参数。

具体而言，将分为两个部分：首先是介绍极大似然估计的理论基础，包括似然函数和对数似然函数的定义，以及如何通过最大化似然函数来估计参数；其次是通过一个实际的例子，展示如何使用极大似然估计来求解参数。

理论基础似然函数是极大似然估计的核心概念之一。

似然函数是一个参数的函数，表示给定某个参数θ下观测数据出现的概率。

似然函数的定义如下：L(θ|X) = P(X|θ)数的函数，表示给定某个参数θ下观测数据出现的概率。

似然函数的值越大，则表示给定参数θ的取值越可能产生观测数据X。

对数似然函数是似然函数的对数变换，通常在实际计算中会更加方便。

它的定义如下：l(θ|X) = log L(θ|X)对数似然函数和似然函数存在着一一对应关系，因此在求解参数时，两者等价。

极大似然估计极大似然估计极大似然估计方法在金融领域中的应用十分广泛。

该方法利用已知的概率密度函数形式，构造对数似然函数，然后最大化该似然函数从而求得概率密度函数中所含的参数估计量。

比如：对GARCH(1,1)模型中的参数估计中，如果均值方程中的扰动项服从正态分布，则我们可以利用正态分布的概率密度函数对所含参数进行估计。

1．极大似然估计基本原理 (1)参数估计下面以线性回归中系数的极大似然估计为例来说明极大似然估计基本原理。

考虑线性回归：Y X βε=+，2~(0,)Y X N εβσ=−则对于X 和Y 的每一对观测值(,)i i X Y ，这里，i X 为行向量，其概率密度函数形式如下： 21(,)())2i i i i Y X f X Y βσ−=− 给定N 对相互独立的观测值(,)i i X Y ，1,2,...,i N =，样本中所有观测值的总体概率密度函数(,)L βσ为单个观测值概率密度函数的乘积，即：211(,)())2Ni i i Y X L ββσσ=−=− （1） 极大似然估计要给出参数(,)βσ的估计量使得（1）式最大。

由于（1）式为乘积的形式，直接对最大化（1）式求解最优解，比较麻烦。

因此，采用似然函数的对数形式：2211(,)[()]2Ni i i LnL Ln Y X βσβσ==−−∑然后求解以下最优化问题：22(,)11max (,)[()]2Ni i i LnL Ln Y X βσβσβσ==−−∑ （2）最后得到的参数(,)βσ的估计量与普通最小二乘法得到的结果一样。

因此，当普通最小二乘法回归方程中的残差服从正态分布时，普通最小二乘估计与极大似然估计的结果是一样的。

更一般地，我们用θ表示需要估计的参数向量，相应地对数似然函数为：()LnL θ。

(2)参数估计的标准误差求解优化问题（2），虽然给出了参数θ的估计量ˆθ，但并没有给出估计的标准误差。

如果对数似然函数()LnL θ在其估计量ˆθ处的二阶倒数的期望是已知的，则极大似然估计量的渐进协方差矩阵1[()]I θ−满足：2111()()()[()]{[]}{[()()]}LnL LnL LnL I E E θθθθθθθθ−−−∂∂∂=−=′′∂∂∂∂ （3）通常情况下()LnL θ是一个非常复杂的非线性函数，我们很难得到（3）式中期望值的解析解形式。