第7章 极大似然法和预报误差方法

极大似然估计方法
极大似然估计方法是一种常用的参数估计方法，它基于最大化观察到的样本数据出现的概率来选择最优的参数值。

具体来说，给定一个概率分布模型和一组观察到的样本数据，极大似然估计方法通过求解最大化似然函数的参数值来估计模型的参数。

似然函数是指，在给定参数值的情况下，观察到这组样本数据的概率密度函数。

假设样本数据为x_1,x_2,…,x_n，模型的概率密度函数为f(x \theta)，其中\theta 是待估计的参数向量。

极大似然估计方法通过求解似然函数L(\theta
x_1,x_2,…,x_n)最大值的参数值来估计\theta，即：
\hat{\theta}=\arg \max _{\theta} L(\theta x_{1}, x_{2}, \ldots,
x_{n})=\arg \max _{\theta} \prod_{i=1}^{n} f\left(x_{i} \theta\right)
在实际应用中，通常使用对数似然函数来避免数值上的不稳定性，并使用优化算法求解最优参数值。

2 极大似然参数辨识方法极大似然参数估计方法是以观测值的出现概率为最大作为准则的，这是一种很普遍的参数估计方法，在系统辨识中有着广泛的应用。

2.1 极大似然原理设有离散随机过程}{k V 与未知参数θ有关，假定已知概率分布密度)(θk V f 。

如果我们得到n 个独立的观测值,21,V V …n V ,，则可得分布密度)(1θV f ，)(2θV f ，…,)(θn V f 。

要求根据这些观测值来估计未知参数θ，估计的准则是观测值{}{k V }的出现概率为最大。

为此，定义一个似然函数)()()(),,,(2121θθθθn n V f V f V f V V V L = （2.1.1）上式的右边是n 个概率密度函数的连乘，似然函数L 是θ的函数。

如果L 达到极大值，}{k V 的出现概率为最大。

因此，极大似然法的实质就是求出使L 达到极大值的θ的估值∧θ。

为了便于求∧θ，对式（2.1.1）等号两边取对数，则把连乘变成连加，即 ∑==ni iV f L 1)(ln ln θ （2.1.2）由于对数函数是单调递增函数，当L 取极大值时，lnL 也同时取极大值。

求式（2.1.2）对θ的偏导数，令偏导数为0，可得0ln =∂∂θL（2.1.3）解上式可得θ的极大似然估计ML ∧θ。

2.2 系统参数的极大似然估计设系统的差分方程为)()()()()(11k k u z b k y z a ξ+=-- （2.2.1） 式中111()1...nn a z a z a z ---=+++1101()...nn b z b b z b z ---=+++因为)(k ξ是相关随机向量，故（2.2.1）可写成)()()()()()(111k z c k u z b k y z a ε---+= （2.2.2） 式中)()()(1k k z c ξε=- （2.2.3）nn z c z c z c ---+++= 1111)( （2.2.4）)(k ε是均值为0的高斯分布白噪声序列。

极大似然法原理在统计学中，极大似然法是一种常用的参数估计方法。

它的原理是基于已知数据集的情况下，通过寻找最大概率使模型参数最接近真实值。

接下来，我们将围绕极大似然法原理进行分步骤的阐述。

第一步，定义似然函数。

似然函数是指在已知数据集的情况下，模型参数的取值所产生的概率。

假设我们要估计一个二项分布模型的参数p，数据集中有n个实例，其中有m个成功实例（成功实例概率为p）。

那么这个模型的似然函数可以表示为：L(p;m,n) = C(n,m) * p^m * (1-p)^(n-m)其中，C(n,m)表示从n个实例中选择m个成功的组合数。

这个式子中，p取值不同，所对应的似然函数值也不同。

第二步，求解极大化似然函数的参数值。

在求解参数值时，我们要找到一个能使似然函数取到最大值的p值。

这个过程可以通过求解似然函数的导数为零来实现。

即：dL/dp = C(n,m) * [m/(p)] * [(n-m)/(1-p)] = 0这个式子中，p的值是可以求出来的，即为p = m / n。

这个p值被称为最大似然估计值，意味着在该值下，似然函数取值最大。

这个值也是对真实参数值的一个良好估计。

第三步，检验极大似然估计值的可靠性。

为了检验极大似然估计值的可靠性，我们需要进行假设检验。

通常我们会计算一个置信区间，如果实际参数值在置信区间内，那么我们就认为估计值是可靠的。

置信区间可以通过计算似然函数的二阶导数来得到。

即：d^2L/dp^2 = -C(n,m) * [m/(p^2)] * [(n-m)/((1-p)^2)]计算得到极大似然估计值的二阶导数在该参数值下是负数。

根据二阶导数的符号，可以确定p = m / n是最大值，同时也可以计算出该置信区间的范围。

在这个过程中，我们还需要参考似然比值，以便更好地确定参数估计值。

综上所述，极大似然法是统计学中重要的一种参数估计方法。

它的原理在求解模型参数时非常实用，能够帮助我们更好地估计真实值，从而使得我们的模型更加准确。

极大似然估计方法极大似然估计（Maximum Likelihood Estimation，MLE）方法是一种用于估计参数的统计方法，它基于观测到的样本数据，通过选择最大化观测数据出现的概率的参数值来估计未知参数。

极大似然估计是概率论和统计学中最重要的方法之一，广泛应用于各个领域的数据分析与建模中。

极大似然估计方法的核心思想是基于某一参数下观测数据出现的概率，选择使得这个概率最大的参数值。

具体而言，给定一个观测数据集合X，其来自于一个具有参数θ的概率分布，我们要估计未知参数θ的值。

极大似然估计的目标是找到一个参数值θ^，使得给定θ^条件下观测数据集合X出现的概率最大。

数学上，极大似然估计可以通过最大化似然函数来求解。

似然函数是一个参数的函数，表示给定某个参数θ下观测数据出现的概率。

似然函数的定义如下：L(θ|X) = P(X|θ)数的函数，表示给定某个参数θ下观测数据出现的概率。

极大似然估计的目标是寻找一个参数θ^，使得似然函数最大化，即：θ^ = arg max L(θ|X)为了方便计算，通常将似然函数转化为其对数形式，即对数似然函数：l(θ|X) = log L(θ|X)本文将主要介绍如何利用极大似然估计来估计参数。

具体而言，将分为两个部分：首先是介绍极大似然估计的理论基础，包括似然函数和对数似然函数的定义，以及如何通过最大化似然函数来估计参数；其次是通过一个实际的例子，展示如何使用极大似然估计来求解参数。

理论基础似然函数是极大似然估计的核心概念之一。

似然函数是一个参数的函数，表示给定某个参数θ下观测数据出现的概率。

似然函数的定义如下：L(θ|X) = P(X|θ)数的函数，表示给定某个参数θ下观测数据出现的概率。

似然函数的值越大，则表示给定参数θ的取值越可能产生观测数据X。

对数似然函数是似然函数的对数变换，通常在实际计算中会更加方便。

它的定义如下：l(θ|X) = log L(θ|X)对数似然函数和似然函数存在着一一对应关系，因此在求解参数时，两者等价。

极大似然估计量的标准误差一、引言极大似然估计量（Maximum Likelihood Estimator，MLE）是一种在统计学中常用的参数估计方法。

它通过最大化样本数据的似然函数来估计未知参数。

然而，MLE的估计结果往往受到样本数据的影响，存在一定的误差。

本文将探讨极大似然估计量的标准误差及其计算方法。

二、极大似然估计量的定义极大似然估计量是一种参数估计方法，它通过最大化样本数据的似然函数来估计未知参数。

似然函数描述了样本数据在给定参数下的概率分布。

通过最大化似然函数，MLE可以找到最有可能的参数值，使得样本数据出现的概率最大。

三、极大似然估计量的标准误差极大似然估计量的标准误差是衡量MLE估计结果稳定性的一个重要指标。

标准误差越小，MLE的估计结果越稳定。

计算MLE的标准误差通常需要使用样本数据的方差和协方差矩阵。

1.方差计算方差是衡量数据波动程度的一个指标，它描述了数据点与其均值的偏离程度。

对于极大似然估计量，其方差可以通过以下公式计算：方差= 2 * Σ (likelihood function) / (n * number of parameters)其中，Σ表示求和符号，likelihood function表示样本数据的似然函数，n表示样本数量，number of parameters表示未知参数的数量。

2.协方差矩阵计算协方差矩阵描述了各个参数之间的相关性。

对于极大似然估计量，其协方差矩阵可以通过以下公式计算：协方差矩阵= -1 * Σ (likelihood function) / (n * numb er of parameters)其中，Σ表示求和符号，likelihood function表示样本数据的似然函数，n表示样本数量，number of parameters表示未知参数的数量。

3.标准误差计算标准误差是方差的平方根，它描述了MLE估计结果的波动程度。

对于极大似然估计量，其标准误差可以通过以下公式计算：标准误差= √ 方差四、结论本文探讨了极大似然估计量的标准误差及其计算方法。

求极大似然估计值的一般步骤如下：写出似然函数：极大似然估计的直观想法是，一个随机试验如有若干个可能的结果A，B，C等，若在一次试验中，结果A出现，则一般认为试验条件对A出现有利，也即A出现的概率很大。

对于参数估计，模型是假设已知的，然后通过若干次试验，观察其结果，利用这个结果推出参数的大概值。

因此首先需要写出与样本数据相关的似然函数。

对似然函数取对数：由于似然函数往往涉及连乘运算，取对数后可将连乘转化为求和，简化计算。

同时取对数不会影响函数的单调性，因此不会影响后续求解极大值的过程。

求导数：为了找到使似然函数最大的参数值，需要对似然函数（或其对数形式）求导。

解似然方程：令导数等于0，解出对应的参数值。

这个值就是极大似然估计值。

《概率论与数理统计》典型教案教学内容：极大似然估计法 教学目的：通过本节内容的教学，使学生： 1、明确极大似然估计法是在总体分布类型已知的情况下的一种常用的参数估计方法；2、理解极大似然思想；3、掌握求极大似然估计值的一般步骤，会求常见分布参数的极大似然估计值． 教学重点：1、对极大似然思想阐述；2、极大似然估计值的求解． 教学难点：对不能通过求导方法获得极大似然估计的值的确定． 教学时数：２学时． 教学过程：引例：某位同学与一位猎人一起外出打猎，一只野兔从前方窜过．只听一声枪响，野兔应声到下，如果要你推测，这一发命中的子弹是谁打的？你就会想，只发一枪便打中，由于猎人命中的概率一般大于这位同学命中的概率，看来这一枪是猎人射中的．这个例子所作的推断就体现了极大似然法的基本思想．一、极大似然思想一般地说，事件A 与参数Θ∈θ有关，θ取值不同，则)(A P 也不同．若A 发生了，则认为此时的θ值就是θ的估计值．这就是极大似然思想．看一例子：例１、设袋中装有许多黑、白球，不同颜色球的数量比为3:1，试设计一种方法，估计任取一球为黑球的概率P ．分析：易知P 的值无非是1/4或3/4．为估计P 的值，现从袋中有放回地任取3只球，用X 表示其中的黑球数，则),3(~P b X ．按极大似然估计思想，对P 的取值进行估计．解：对P 的不同取值，X 取3,2,1,0=k 的概率可列表如下:X ０ １ ２ ３41=P 6427 6427 649 64143=P641 64964276427故根据极大似然思想即知：⎪⎩⎪⎨⎧===3,2,431,0,41ˆk k P ．在上面的例子中，P 是分布中的参数，它只能取两个值：1/4或3/4，需要通过抽样来决定分布中参数究竟是1/4还是3/4．在给定了样本观测值后去计算该样本出现的概率，这一概率依赖于P 的值，为此需要用1/4、3/4分别去计算此概率，在相对比较之下，哪个概率大，则P 就最象那个．二、似然函数与极大似然估计1、离散分布场合：设总体X 是离散型随机变量，其概率函数为);(θx p ，其中θ是未知参数．设n X X X ,,,21 为取自总体X 的样本．n X X X ,,,21 的联合概率函数为∏=ni i X p 1);(θ，这里，θ是常量，n X X X ,,,21 是变量．若我们已知样本取的值是n x x x ,,,21 ，则事件},,,{2211n n x X x X x X === 发生的概率为∏=ni i x p 1);(θ．这一概率随θ的值而变化．从直观上来看，既然样本值n x x x ,,,21 出现了，它们出现的概率相对来说应比较大，应使∏=ni i x p 1);(θ取比较大的值．换句话说，θ应使样本值n x x x ,,,21 的出现具有最大的概率．将上式看作θ的函数，并用)(θL 表示，就有：∏===ni i n x p x x x L L 121);();,,,()(θθθ （１）称)(θL 为似然函数．极大似然估计法就是在参数θ的可能取值范围Θ内，选取使)(θL 达到最大的参数值θˆ，作为参数θ的估计值．即取θ，使);,,,(max )ˆ;,,,()(2121θθθθnn x x x L x x x L L Θ∈== （２） 因此，求总体参数θ的极大似然估计值的问题就是求似然函数)(θL 的最大值问题．这可通过解下面的方程0)(=θθd dL （３） 来解决．因为L ln 是L 的增函数，所以L ln 与L 在θ的同一值处取得最大值．我们称)(ln )(θθL l =为对数似然函数．因此，常将方程（３）写成：0)(ln =θθd L d （４） 方程（４）称为似然方程．解方程（３）或（４）得到的θˆ就是参数θ的极大似然估计值．如果方程（４）有唯一解，又能验证它是一个极大值点，则它必是所求的极大似然估计值．有时，直接用（４）式行不通，这时必须回到原始定义（２）进行求解．２、连续分布场合：设总体X 是连续离散型随机变量，其概率密度函数为);(θx f ，若取得样本观察值为n x x x ,,,21 ，则因为随机点),,,(21n X X X 取值为),,,(21n x x x 时联合密度函数值为∏=ni i x f 1);(θ．所以，按极大似然法，应选择θ的值使此概率达到最大．我们取似然函数为∏==ni i x f L 1);()(θθ，再按前述方法求参数θ的极大似然估计值．三、求极大似然估计的方法1、可通过求导获得极大似然估计：当函数关于参数可导时，常可通过求导方法来获得似然函数极大值对应的参数值．例２、设某工序生产的产品的不合格率为p ，抽n 个产品作检验，发现有T 个不合格，试求p 的极大似然估计．分析：设X 是抽查一个产品时的不合格品个数，则X 服从参数为p 的二点分布),1(p b ．抽查n 个产品，则得样本n X X X ,,,21 ，其观察值为n x x x ,,,21 ，假如样本有T 个不合格，即表示n x x x ,,,21 中有T 个取值为１，T n -个取值为０．按离散分布场合方法，求p 的极大似然估计．解：（１）写出似然函数：∏=--=ni x x i i P p p L 11)1()(（２）对)(p L 取对数，得对数似然函数)(p l ：∑∑==--+-=--+=ni i ni i i p p x p n p x p x p l 11)]1ln([ln )1ln()]1ln()1(ln [)(（３）由于)(p l 对p 的导数存在，故将)(p l 对p 求导，令其为０，得似然方程：0)1(11)111(1)(11=-+--=-++--=∑∑==ni i n i i x p p p n p p x p n dp p dl （４）解似然方程得：x x n pni i ==∑=11ˆ （５）经验证，在x p=ˆ时，0)(22<dp p l d ，这表明x p =ˆ可使似然函数达到最大（６）上述过程对任一样本观测值都成立，故用样本代替观察值便得p 的极大似然估计为：X p=ˆ 将观察值代入，可得p 的极大似然估计值为：nTx p==ˆ，其中∑==ni i x T 1．若总体X 的分布中含有多个未知参数k θθθ,,,21 时，似然函数L 是这些参数的多元函数),,(1k L θθ ．代替方程（３），我们有方程组),,2,1(0)(ln k i L i==∂∂θ，由这个方程组解得kθθθˆ,,ˆ,ˆ21 分别是参数k θθθ,,,21 的极大似然估计值．例３、设某机床加工的轴的直径与图纸规定的中心尺寸的偏差服从),(2σμN ，其中2,σμ未知．为估计2,σμ，从中随机抽取100=n 根轴，测得其偏差为10021,,,x x x ．试求2,σμ的极大似然估计．分析：显然，该问题是求解含有多个（两个）未知参数的极大似然估计问题．通过建立关于未知参数2,σμ的似然方程组，从而进行求解．解：（１）写出似然函数：212222)(2212)(2)2(21),(σμσμπσσπσμ∑===---=--∏ni i i x n ni x ee L（２）写出对数似然函数：21222)(21)2ln(2),(∑=---=n i i x n l μσπσσμ（３）将),(2σμl 分别对2σμ、求偏导，并令它们都为０，得似然方程组为：⎪⎪⎩⎪⎪⎨⎧=-+-=∂∂=-=∂∂∑∑==0)(212),(0)(1),(1242221222ni i n i i x n l x l μσσσσμμσμσμ （４）解似然方程组得：x =μˆ，∑=-=ni i x x n 122)(1ˆσ （５）经验证2ˆ,ˆσμ使),(2σμl 达到极大， （６）上述过程对一切样本观察值成立，故用样本代替观察值，便得2,σμ的极大似然估计分别为：X =μˆ，2122)(1ˆn n i i S X X n =-=∑=σ．２、不可通过求导方法获得极大似然估计：当似然函数的非零区域与未知参数有关时，通常无法通过解似然方程来获得参数的极大似然估计，这时可从定义（２）出发直接求)(θL 的极大值点．例4、设总体X 服从均匀分布),0(θU ，从中获得容量为n 的样本n X X X ,,,21 ，其观测值为n x x x ,,,21 ，试求θ的极大似然估计．分析：当写出其似然函数)(θL 时，我们会发现)(θL 的非零区域与θ有关，因而无法用求导方法来获得θ的极大似然估计，从而转向定义（２）直接求)(θL 的极大值．解：写出似然函数：⎩⎨⎧≤≤≤=-其它场合,00,)()()1(θθθn n x x L为使)(θL 达到极大，就必须使θ尽可能小，但是θ不能小于)(n x ，因而θ取)(n x 时使)(θL 达到极大，故θ的极大似然估计为：)(ˆn X =θ． 进一步，可讨论估计θˆ的无偏性： 由于总体),0(~θU X ，其密度函数与分布函数分别为：⎪⎩⎪⎨⎧<<=其它,00,1)(θθx x p ，⎪⎩⎪⎨⎧≥<<≤=θθθx x x x x F ,10,0,0)(，从而)(ˆn X =θ的概率密度函数为：θθθ<<==--y ny y p y F n p nn n 0,)()]([11ˆ θθθθθθθ≠+====⎰⎰1)()()ˆ(0ˆ)(n ndy ny dy y yp X E E nnn 这说明θ的极大似然估计)(ˆn X =θ不是θ的无偏估计，但对θˆ作一修正可得θ的无偏估计为：)(11ˆn X nn +=θ． 通过修正获得未知参数的无偏估计，这是一种常用的方法．在二次世界大战中，从战场上缴获的纳粹德国的枪支上都有一个编号，对最大编号作一修正便获得了德国生产能力的无偏估计．综上，可得求极大似然估计值的一般步骤．四、求极大似然估计的一般步骤1、由总体分布导出样本的联合概率函数（或联合密度）；2、把样本联合概率函数（或联合密度）中自变量看成已知常数，而把参数θ看作自变量，得到似然函数)(θL ；3、求似然函数)(θL 的最大值点（常转化为求对数似然函数)(θl 的最大值点）；4、在最大值点的表达式中，用样本值代入就得参数的极大似然估计值．五、极大似然估计的不变性求未知参数θ的某种函数)(θg 的极大似然估计可用极大似然估计的不变原则，证明从略．定理（不变原则）设θˆ是θ的极大似然估计，)(θg 是θ的连续函数，则)(θg 的极大似然估计为)ˆ(θg ． 例5、设某元件失效时间服从参数为λ的指数分布，其密度函数为0,);(≥=-x e x f x λλλ，λ未知．现从中抽取了n 个元件测得其失效时间为n x x x ,,,21 ，试求λ及平均寿命的极大似然估计．分析：可先求λ的极大似然估计，由于元件的平均寿命即为X 的期望值，在指数分布场合，有λ1)(=X E ，它是λ的函数，故可用极大似然估计的不变原则，求其极大似然估计．解：（１）写出似然函数：∑===-=-∏ni iix nni x eeL 11)(λλλλλ（２）取对数得对数似然函数：∑=-=ni i x n l 1ln )(λλλ（３）将)(λl 对λ求导得似然方程为：0)(1=-=∑=ni i x n d dl λλλ （４）解似然方程得：xxnni i1ˆ1==∑=λ经验证，λˆ能使)(λl 达到最大，由于上述过程对一切样本观察值成立，故λ的极大似然估计为：X1ˆ=λ； 根据极大似然估计的不变原则，元件的平均寿命的极大似然估计为：X X E ==λˆ1)(． 五、小结1、极大似然估计的思想；2、求解未知参数极大似然估计的一般步骤；3、极大似然估计的不变原则．五、作业见参考文献1的第278页第4，5，6页．参考文献：1、苏均和主编：概率论与数理统计，上海财经大学出版社．1999年1版．2、茆诗松等编著：概率论与数理统计，中国统计出版社．1999年1版．3、魏振军编：概率论与数理统计三十三讲，中国统计出版社．2000年1版．4、唐生强主编：概率论与数理统计复习指导，科学出版社．1999年1版．。

极大似然估计方法介绍极大似然估计（Maximum Likelihood Estimation, MLE）是概率统计中常用的参数估计方法之一，也是统计学中估计方法的基础之一、它的核心思想是通过最大化样本的似然函数来估计未知参数值。

在介绍极大似然估计方法之前，首先需要了解一些概率统计的基础知识。

1.似然函数：似然函数是一个关于参数的函数，其定义为给定参数下观察到的样本的概率密度函数（概率质量函数）的乘积。

似然函数表示了参数取值的可能性在给定观察数据下的程度。

2.最大似然估计：最大似然估计是一种基于观察数据的统计推断方法，通过寻找使得似然函数取得最大值的参数值来估计未知的参数。

下面以一个例子来说明极大似然估计的思想和步骤。

假设我们有一组观察数据{x₁,x₂,...,xx}，并假设这些数据服从一些分布，例如正态分布。

我们希望通过这组数据来估计正态分布的均值和方差。

步骤一：似然函数的建立对于正态分布，概率密度函数为：x(x，xx,x²)=(1/√(2xx²))*x^(-(x−xx)²/(2x²))其中xx和x²是未知参数，我们要通过观察数据来估计这两个参数。

对于一个具体的观察值xᵢ，其在给定参数xx和x²下的概率为x(xᵢ，xx,x²)。

那么样本的似然函数为：x(xx,x²)=x(x₁，xx,x²)*x(x₂，xx,x²)*...*x(xx，xx,x²)=∏[x(xᵢ，xx,x²)]步骤二：对数似然函数的计算为了方便计算，通常会对似然函数取对数，即对数似然函数：xx(x(xx,x²))=∑xx[x(xᵢ，xx,x²)]步骤三：最大化对数似然函数通过求解xx(x(xx,x²))对参数xx和x²的偏导数，令偏导数等于0，可以得到最大似然估计的闭式解。

如果无法解析求解，可以通过数值优化等方法来求得最大似然估计。

简述极大似然估计的基本原理极大似然估计（Maximum Likelihood Estimation, MLE）是统计学中一种常见的方法，用于在给定一些观察数据的情况下，找到一个最有可能产生这些数据的模型参数值。

它的基本思想是，通过分析样本数据来推断总体的分布参数，使所观测到的样本概率最大化。

简言之，MLE方法就是找到一个参数值，使样本数据出现的概率最大。

MLE方法具有很多优点。

它不需要对总体的分布做出假设，而是直接通过样本数据来推断分布参数。

它具有一致性和渐近正态性等优良的性质，使得其估计结果具有较高的可靠性。

它易于计算，常用的最优化方法可以轻松地实现。

下面我将从MLE的基本原理、MLE的求解方法、MLE的优点以及其应用等方面进行详细介绍。

一、MLE的基本原理MLE的基本思想是，给定一组样本数据，找到它们的概率密度函数（或分布函数）的参数，使得这些数据在该概率密度函数下对应的似然函数取最大值。

在统计学的术语中，对于某个参数θ，似然函数L(θ)定义为，给定一组由随机变量X取值得到的样本数据，其在某一条件概率分布f(x|θ)下的概率密度函数值：L(θ) = f(x1,x2,...,xn|θ) = ∏ f(xi|θ)其中∏表示对于所有i从1到n的乘积。

似然函数表示了在给定参数θ的情况下，样本数据出现的概率。

那么，为了确定最佳的参数值θ，我们需要寻找使似然函数L(θ)最大的值。

也就是说，最大化似然函数的值，就是求解MLE问题的目标。

我们有一组观测数据：(2,4,6)。

将这些数据视为从概率分布N(μ,σ^2)中抽取的样本，其中μ和σ^2是分布的参数。

我们可以根据样本数据计算似然函数：L(μ,σ^2) = f(2,4,6|μ,σ^2) = (√(2πσ^2))^-3 × exp(-3/2)exp表示自然常数e的指数形式。

上式中的(√(2πσ^2))^-3是概率密度函数的归一化项，不影响MLE的求解。

极大似然估计及其性质一、极大似然估计 设联合密度函数为12(;),'()k f Y θθθθθ=则似然函数为似然函数(;)(;)L Y f Y θθ==为使关于θ的似然函数最大化，求θ的一个估计ˆθ，使获得的已观测到的样本值的概率自大化，即最大似然估计量（MLE ）。

定义对数似然函数为ln l L =则l l LL θθ∂∂=∂∂ 最大化l 的ˆθ值也会最大化L ，l 对θ的导数(;)s Y θ称作得分，将得分定义为0，即可解出（MLE ）ˆθ，即(;)0ls Y θθ∂==∂ 二、MLE 的性质 1、一致性。

ˆlim()P θθ= 2、渐进正态性。

1ˆ~(,())N I θθθ- 式中()I θ为信息矩阵2()'l l l I E E θθθθθ⎡⎤'⎡⎤∂∂∂⎛⎫⎛⎫⎢⎥==- ⎪⎪⎢⎥∂∂∂∂⎢⎥⎝⎭⎝⎭⎣⎦⎣⎦ 当θ是一个k 维向量时，lθ∂∂表示k 个偏导数组成的列向量，即12k l l l l θθθθ∂⎛⎫∂ ⎪ ⎪∂∂ ⎪∂= ⎪∂ ⎪ ⎪∂ ⎪∂⎝⎭ 而lθ∂∂的二阶导数为 222211212222212*'k k k k k kl l l ll l l θθθθθθθθθθθθ⎛⎫∂∂∂ ⎪∂∂∂∂∂⎪⎪∂= ⎪∂∂⎪ ⎪∂∂∂ ⎪ ⎪∂∂∂∂∂⎝⎭ 3、渐进有效性。

2ˆ)(0,)d N θθσ-−−→4、不变性。

如果ˆθ是θ的MLE ，()g θ是θ的连续函数，则ˆ()g θ是()g θ的MLE 。

5、得分的均值为0，方差为()I θ。

三、线性模型的极大似然估计 设2~(0,)Y XB UU N σ=+U 的多元正态密度函数为21()(')2221()(2)U U n f U eσπσ-=Y 关于X 的多元条件密度为(,)()U f Y X f U Y∂=∂ UY∂∂是由U 中元素关于Y 中元素的偏导数组成的n n ⨯矩阵转换成的行列式的绝对值，并且为恒等矩阵。