探析极大似然估计的解法

极大似然估计方法
极大似然估计方法是一种常用的参数估计方法，它基于最大化观察到的样本数据出现的概率来选择最优的参数值。

具体来说，给定一个概率分布模型和一组观察到的样本数据，极大似然估计方法通过求解最大化似然函数的参数值来估计模型的参数。

似然函数是指，在给定参数值的情况下，观察到这组样本数据的概率密度函数。

假设样本数据为x_1,x_2,…,x_n，模型的概率密度函数为f(x \theta)，其中\theta 是待估计的参数向量。

极大似然估计方法通过求解似然函数L(\theta
x_1,x_2,…,x_n)最大值的参数值来估计\theta，即：
\hat{\theta}=\arg \max _{\theta} L(\theta x_{1}, x_{2}, \ldots,
x_{n})=\arg \max _{\theta} \prod_{i=1}^{n} f\left(x_{i} \theta\right)
在实际应用中，通常使用对数似然函数来避免数值上的不稳定性，并使用优化算法求解最优参数值。

最大似然估计法是一种可以用来估计参数的数学方法，它是统计学中
最常用的估计方法之一。

本文将介绍最大似然估计法解题的步骤。

第一步：确定似然函数。

最大似然估计法是一种在给定数据条件下求
取参数和特征值的估计方法，它将一个参数模型的似然函数定义为样
本数据的概率密度。

要确定这个似然函数，我们必须首先确定模型的
数学表达式，这一步是重要的，它将决定似然函数的形式，因此决定
最大似然估计法的参数模型。

第二步：求取参数的似然估计值。

在确定了似然函数后，我们就可以
计算出参数的似然估计值了。

由于模型中参数之间可能存在相关性，
这时就可以使用最大似然估计法来求解参数估计值。

最大似然估计值
就是求出似然函数概率密度最大值点所代表的参数值。

第三步：解释解决结果。

在获得了参数的似然估计值后，可以对拟合
后的结果进行解释，说明为什么模型准确地估计了参数值。

最后，最大似然估计是一种有效的数学方法，本文介绍了最大似然估
计法解题的步骤，也就是确定似然函数，求取参数的似然估计值，以
及解释解决结果。

并且，本文还强调了最大似然估计法的重要性和有
用性，在实际应用中，最大似然估计法可以给出准确可靠的估计结果。

千字讲解极大似然估计上周有读者私信我说，面试被问到了极大似然估计没回答出来，虽然网上有很多讲解，但是不大能看得懂，而且有一些疑问没有解释清楚。

经过一周的撰写，今天困哥就专门整理了一篇数千字的文章，来详细介绍一下极大似然估计，顺带介绍一下极大后验估计和贝叶斯估计。

在很多的机器学习问题种，输入x是一个向量，输出p(x)为某一个时间的概率（比如，x属于某个类别的概率）一观测的数据集D，其中x1，x2，x3……独立同分布。

我们将输入x所满足的概率分布建模为p(D,θ)，则对新输入的预测为p(x|D,θ)，其中θ是一个向量，表示待去顶的所有模型参数。

那么如何求解或者估计出θ的值呢？1. 频率学派VS贝叶斯学派对于θ的本质不同认识，可以分为两个大派别。

（1）频率学派：认为θ是确定的，有一个真实值，目标是找出或者逼近这个真实值。

（2）贝叶斯学派：认为θ是不确定的，不存在唯一的真实值，而是服从某一个概率分布。

基于不同学派对参数的不同认识，产生了不同的参数估计方法。

下面将讨论三种参数估计方法：（1）极大似然估计：MLE（Maximum Likelihood Estimation）【频率学派】（2）极大后验估计：MAP（Maximum A Posterior）【贝叶斯学派】（3）贝叶斯估计：BE（Bayesian Estimation）【贝叶斯学派】其中，涉及到先验、似然、后验、贝叶斯公式的知识。

先验：p(θ)，指在见到数据集D之前，对参数θ的认识似然：p(D|θ），在给定参数θ下，数据集D被观测到的概率后验：p(θ|D)，在见到数据集D之后，对参数θ的重新认识贝叶斯公式：2. 举例以抛硬币为例，假设我们有一枚硬币, 现在要估计其正面朝上的概率。

为了对进行估计, 我们进行了10次实验 (独立同分布, i.i.d.) , 这组实验记为, 其中正面朝上的次数为6次，反面朝上的次数为4次，结果为。

3. 极大似然估计MLE的逻辑是：真实的参数θ是唯一的，既然数据集D被观测到了，那么真实参数θ对应的概率分布一定是可以使D出现的概率最大。

极大似然估计计算公式极大似然估计呀，这可是统计学里一个挺重要的概念。

咱先来说说啥是极大似然估计。

简单来讲，就是在一堆可能的情况里，挑那个最有可能产生咱们观察到的数据的情况。

比如说，咱抛硬币，抛了 10 次，有 7 次正面，3 次反面。

那按照极大似然估计的思路，就会认为这枚硬币正面朝上的概率大概是 0.7 。

那极大似然估计的计算公式是啥呢？一般来说，如果咱们有一个随机变量 X ，它的概率密度函数或者概率质量函数是f(x;θ) ，这里的θ就是咱们要估计的参数。

然后咱们有一组观察值 x₁, x₂,..., xₙ 。

那极大似然函数L(θ) 就是这几个观察值的概率的乘积，也就是L(θ) = ∏[i=1 to n] f(xᵢ;θ) 。

为了找到让这个极大似然函数最大的那个θ 值，咱们通常会对L(θ) 取对数，变成对数似然函数 l(θ) = ∑[i=1 to n] log(f(xᵢ;θ)) 。

这样做能让计算简单点儿，因为乘积变求和嘛。

然后呢，通过对这个对数似然函数求导，令导数等于 0 ，就能解出那个最有可能的θ 值啦。

我给您举个例子哈。

比如说，咱有一个正态分布的随机变量 X ，它的均值是μ ，方差是σ² 。

现在咱们观察到了一组数据 10, 12, 15, 18,20 。

那它的概率密度函数就是f(x;μ, σ²) = 1/√(2πσ²) * exp(-(x -μ)²/(2σ²)) 。

咱把这几个观察值带进去，得到极大似然函数L(μ, σ²) ，然后取对数变成l(μ, σ²) 。

对l(μ, σ²) 分别关于μ 和σ² 求导，令导数等于 0 ，就能算出μ 和σ² 的估计值啦。

您可能会问，这在实际生活中有啥用呢？其实用处可大啦！比如说，在质量检测里，工厂生产了一批零件，咱们想知道这批零件的尺寸是不是符合标准。

通过测量一些零件的尺寸，用极大似然估计就能估计出这批零件尺寸的分布参数，看看是不是在合格范围内。

教学内容一、引入新课：矩估计法虽然简单，但是没有用到已知分布的信息。

而在极大似然估计法中，我们将改进这一点。

下面先通过一个例子来说明极大似然估计法的原理：例1 有两个外形相同的箱子，甲箱和乙箱，各有100个球，甲箱有90个黑球，10个白球，乙箱有10个黑球 ，90个白球。

很明显，两个箱中的优势球种完全不一样。

现在把甲乙两箱的标签撕掉，随机从一箱中，进行返回式抽取4次，其结果全为黑球，问所取的球来自哪一个箱子？我相信大家都会说是甲箱，因为它的可能性更大。

我们也可以进行如下计算来说明这个结果。

解：设i X 表示第i 次取球的结果)4,3,2,1(=i ，4321,,,X X X X 是相互独立的。

已知，443214321)1()1()1()1()1,1,1,1(p X P X P X P X P X X X X P ========== 若从甲箱中抽取，则9.0=p ，抽取4次全为黑球的概率为6561.0，若从乙箱中抽取，则1.0=p ，抽取4次全为黑球的概率为0001.0.0.0001是一个小概率，一般认为小概率事件在一次试验中是不可能发生的。

反过来也就说明一次试验中某事件发生了，这个事件的概率应该较大。

这就是极大似然估计法的基本思想。

二、讲授新课：1、极大似然法的基本原理：一个随机试验有若干可能结果， A ，B ，C 等等，然后进行了一次试验，如果结果A 出现了，我们认为试验的条件对A 的出现有利，也就是试验条件对A 的概率应该是最大。

把这样的原理用到参数估计上，就是总体X 服从分布中含有未知参数θ，在一次试验中出现了样本n x x ,,1 ，如何估计θ呢？极大似然估计的思想，试验的条件应该使这组样本观测值出现的概率最大。

所以，要计算参数θ就是寻找使样本观测值出现的概率达到最大值的θˆ。

这样找到的θˆ就是θ的极大似然估计值。

2、 极大似然法的步骤：(1)似然函数：);,,(1θn x x L );,,(11θn n x X x X P ===⎪⎪⎩⎪⎪⎨⎧==∏∏==似然函数是其密度函数是连续型随机变量时，当似然函数是其分布律是离散型随机变量时，当i n i i i ni i i X x f X x X P ,);(,)(11θ (2)取对数： );,,(ln 1θn x x L(3)求导：0);,,(ln 1=∂∂θθn x x L 似然方程 (4)求解似然方程，得参数的估计值。

极大似然估计极大似然估计（Maximum Likelihood Estimation，MLE）是Fisher提出的一种点估计方法，在很多场合都有应用。

根据字面意思理解，极大似然估计就是最大可能的一个估计，我们获得了样本数据后，根据已知的样本结果反推找到一个估计值，使得出现这种样本结果的可能性最大，这就是极大似然估计的基本思想。

极大似然估计的实际计算比较复杂，本文简单介绍其基本原理。

1. 似然函数要理解极大似然估计的基本原理，先要理解似然函数的概念。

例1 一家公司每次从供应商送来的一个批次的零件中随机抽取20件进行检验，以确定是否接收这批零件。

假定这批零件的批量很大，我们希望推断这批零件的不良率p。

抽取20件产品，可能的不良品件数是0~20的整数。

由于样本量与批量相比很小，可以近似认为抽到x件不良品的概率服从二项分布，计算公式为：式中x是随机变量的取值，p是该批产品的不良品率，是未知的，我们希望估计这个数值。

如果抽取20件产品中2件不良品，则这批产品的不良率是多少呢？20件产品中有2件不良品，不良率为10%，这个不良率是样本不良率，我们关心的是整个这批产品的不良率。

假定总体不良率为p，则抽取20件产品，抽到2件不良品的概率用下式计算：当总体不良率p取不同数值时，抽到2件不良品的概率是变化的，现在我们以总体不良品率p为横轴，以P(X=2)为纵轴画出二者之间的关系图，图中的函数称为似然函数。

可以看出当总体不良品率为0.1时，P(X=2)的值最大，大约是0.285。

2. 对数似然函数例2 一条生产线生产瓷砖，每100块瓷砖的瑕疵点数服从均值为λ的Poisson分布，λ未知。

抽取了两个随机样本，经过检查发现分别有10个和12个瑕疵点，求平均瑕疵点数λ。

我们知道，Poisson分布的概率计算公式是：似然函数是P(10)和P(12)二者的乘积：上式可以通过取自然对数简化：同样画出对数似然函数如下图：可以看出，当λ=11时对数似然函数最大，所以可以确定λ=DPU=11。