最大似然估计

最⼤似然估计详解⼀、引⼊ 极⼤似然估计，我们也把它叫做最⼤似然估计(Maximum Likelihood Estimation)，英⽂简称MLE。

它是机器学习中常⽤的⼀种参数估计⽅法。

它提供了⼀种给定观测数据来评估模型参数的⽅法。

也就是模型已知，参数未定。

在我们正式讲解极⼤似然估计之前，我们先简单回顾以下两个概念：概率密度函数(Probability Density function),英⽂简称pdf似然函数(Likelyhood function)1.1 概率密度函数 连续型随机变量的概率密度函数(pdf)是⼀个描述随机变量在某个确定的取值点附近的可能性的函数(也就是某个随机变量值的概率值，注意这是某个具体随机变量值的概率，不是⼀个区间的概率)。

给个最简单的概率密度函数的例⼦，均匀分布密度函数。

对于⼀个取值在区间[a,b]上的均匀分布函数\(I_{[a,b]}\)，它的概率密度函数为:\[f_{I_{[a,b]}}(x) = \frac{1}{b-a}I_{[a,b]} \]其图像为：其中横轴为随机变量的取值，纵轴为概率密度函数的值。

也就是说，当\(x\)不在区间\([a,b]\)上的时候，函数值为0，在区间\([a,b]\)上的时候，函数值等于\(\frac{1}{b-a}\)，函数值即当随机变量\(X=a\)的概率值。

这个函数虽然不是完全连续的函数，但是它可以积分。

⽽随机变量的取值落在某个区域内的概率为概率密度函数在这个区域上的积分。

Tips:当概率密度函数存在的时候，累计分布函数是概率密度函数的积分。

对于离散型随机变量，我们把它的密度函数称为概率质量密度函数对概率密度函数作类似福利叶变换可以得到特征函数。

特征函数与概率密度函数有⼀对⼀的关系。

因此，知道⼀个分布的特征函数就等同于知道⼀个分布的概率密度函数。

(这⾥就是提⼀嘴，本⽂所讲的内容与特征函数关联不⼤，如果不懂可以暂时忽略。

)1.2 似然函数 官⽅⼀点解释似然函数是，它是⼀种关于统计模型中的参数的函数，表⽰模型参数的似然性(likelyhood)。

简述最大似然估计的原理最大似然估计是一种常见的参数估计方法，它的基本思想是在给定一组观测数据的情况下，通过选择最能解释这些数据的参数值来确定模型中未知参数的值。

在统计学中，最大似然估计被广泛应用于各种领域，如生物统计学、医学研究、金融分析等。

一、最大似然估计的基本思想最大似然估计是一种基于概率论的统计方法。

假设我们有一个样本集合X={x1,x2,…,xn}，其中每个样本都是从某个未知分布中独立地抽取而来。

我们希望通过这些样本来推断出该分布的参数θ。

因此，我们需要找到一个函数L(θ|X)，它能够给出在给定参数θ下观测到样本X 的概率密度函数（或概率质量函数）。

具体地说，对于连续型变量，L(θ|X)可以表示为：L(θ|X)=f(x1;θ)f(x2;θ)…f(xn;θ)其中f(xi;θ)表示在给定参数θ下观测到xi的概率密度函数；对于离散型变量，L(θ|X)可以表示为：L(θ|X)=f(x1;θ)f(x2;θ)…f(xn;θ)其中f(xi;θ)表示在给定参数θ下观测到xi的概率质量函数。

最大似然估计的基本思想是选择能够最大化L(θ|X)的参数值作为估计值。

也就是说，我们希望找到一个参数向量θ*，使得：L(θ*|X)=max{L(θ|X)}二、最大似然估计的实现方法在实际应用中，我们通常采用对数似然函数来简化计算。

因为对数函数是单调递增的，所以它可以保持最大值不变。

因此，我们可以将对数似然函数表示为：l(θ|X)=lnL(θ|X)=∑i=1nlnf(xi;θ)接着，我们需要求解使得l(θ|X)最大化的参数值。

这可以通过求解方程∂l(θ|X)/∂θ=0来实现。

由于这个方程通常很难直接求解，所以我们需要采用一些优化算法来近似地求解。

常见的优化算法包括牛顿法、梯度下降法、共轭梯度法等。

其中，梯度下降法是一种简单而有效的方法，在实际应用中被广泛采用。

梯度下降法的基本思想是通过迭代更新参数值，使得目标函数逐渐趋于最优解。

最大似然估计原理
最大似然估计原理定义为：在所有可能的参数中，选择那些最有可能使某个样本出现的参数的过程。

换句话说，最大似然估计原理是从收集的数据中推断出概率参数值的过程。

在模型中，当把每个可能取值的参数按照可能性排序时，取最大似然估计原理就是从可能性最大的参数值中获取结果的过程。

二、最大似然估计原理的应用场景
最大似然估计原理可以被广泛应用于不同的领域中。

它首先被用来计算集合中有限样本的参数，比如贝叶斯网络中的参数，假设参数以及贝叶斯模型参数等。

它还可以被用来计算统计变量，比如概率，逻辑变量，多项式变量，二项式变量等。

此外，最大似然估计原理还可以被用来估计无穷量参数和统计变量，比如无穷量参数的估计和映射变量的估计。

三、最大似然估计原理的优势
最大似然估计原理的最大优势恰恰在于它可以从有限的训练数
据中推断出许多参数和统计变量。

它还可以处理复杂模型，例如多维度数据，大量数据，无限量数据等。

此外，最大似然估计原理还可以运用于从一组数据中筛选出重要因素的过程中，从而可以提出较优解决方案。

综上所述，最大似然估计原理是一个强大的技术，可以大大节约时间和精力，可以有效地推断参数和统计变量，并且能够处理复杂的模型，可以有效地筛选出重要的因素，因此被应用到如今的统计学中，
特别是在数据分析和机器学习领域中。

最大似然估计：最大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。

简单而言，假设我们要统计全国人口的身高，首先假设这个身高服从服从正态分布，但是该分布的均值与方差未知。

我们没有人力与物力去统计全国每个人的身高，但是可以通过采样，获取部分人的身高，然后通过最大似然估计来获取上述假设中的正态分布的均值与方差。

最大似然估计中采样需满足一个很重要的假设，就是所有的采样都是独立同分布的。

下面我们具体描述一下最大似然估计：首先，假设为独立同分布的采样，θ为模型参数,f为我们所使用的模型，遵循我们上述的独立同分布假设。

参数为θ的模型f产生上述采样可表示为回到上面的“模型已定，参数未知”的说法，此时，我们已知的为，未知为θ，故似然定义为:在实际应用中常用的是两边取对数，得到公式如下：其中称为对数似然，而称为平均对数似然。

而我们平时所称的最大似然为最大的对数平均似然，即：举个别人博客中的例子，假如有一个罐子，里面有黑白两种颜色的球，数目多少不知，两种颜色的比例也不知。

我们想知道罐中白球和黑球的比例，但我们不能把罐中的球全部拿出来数。

现在我们可以每次任意从已经摇匀的罐中拿一个球出来，记录球的颜色，然后把拿出来的球再放回罐中。

这个过程可以重复，我们可以用记录的球的颜色来估计罐中黑白球的比例。

假如在前面的一百次重复记录中，有七十次是白球，请问罐中白球所占的比例最有可能是多少？很多人马上就有答案了：70%。

而其后的理论支撑是什么呢？我们假设罐中白球的比例是p，那么黑球的比例就是1-p。

因为每抽一个球出来，在记录颜色之后，我们把抽出的球放回了罐中并摇匀，所以每次抽出来的球的颜色服从同一独立分布。

这里我们把一次抽出来球的颜色称为一次抽样。

题目中在一百次抽样中，七十次是白球的概率是P(Data | M)，这里Data是所有的数据，M是所给出的模型，表示每次抽出来的球是白色的概率为p。

如果第一抽样的结果记为x1，第二抽样的结果记为x2... 那么Data = (x1,x2,…,x100)。

最大似然估计(Maximum likelihood estimation)(通过例子理解)之前看书上的一直不理解到底什么是似然，最后还是查了好几篇文章后才明白，现在我来总结一下吧，要想看懂最大似然估计，首先我们要理解什么是似然，不然对我来说不理解似然，我就一直在困惑最大似然估计到底要求的是个什么东西，而那个未知数θ到底是个什么东西TT似然与概率在统计学中，似然函数（likelihood function，通常简写为likelihood，似然）是一个非常重要的内容，在非正式场合似然和概率（Probability）几乎是一对同义词，但是在统计学中似然和概率却是两个不同的概念。

概率是在特定环境下某件事情发生的可能性，也就是结果没有产生之前依据环境所对应的参数来预测某件事情发生的可能性，比如抛硬币，抛之前我们不知道最后是哪一面朝上，但是根据硬币的性质我们可以推测任何一面朝上的可能性均为50%，这个概率只有在抛硬币之前才是有意义的，抛完硬币后的结果便是确定的；而似然刚好相反，是在确定的结果下去推测产生这个结果的可能环境（参数），还是抛硬币的例子，假设我们随机抛掷一枚硬币1,000次，结果500次人头朝上，500次数字朝上（实际情况一般不会这么理想，这里只是举个例子），我们很容易判断这是一枚标准的硬币，两面朝上的概率均为50%，这个过程就是我们根据结果来判断这个事情本身的性质（参数），也就是似然。

结果和参数相互对应的时候，似然和概率在数值上是相等的，如果用θ 表示环境对应的参数，x 表示结果，那么概率可以表示为：P(x|θ)P(x|θ)是条件概率的表示方法，θ是前置条件，理解为在θ 的前提下，事件 x 发生的概率，相对应的似然可以表示为：理解为已知结果为 x ，参数为θ (似然函数里θ 是变量，这里## 标题 ##说的参数是相对与概率而言的)对应的概率，即：需要说明的是两者在数值上相等，但是意义并不相同，是关于θ 的函数，而 P 则是关于 x 的函数，两者从不同的角度描述一件事情。

最大似然估计计算公式
最大似然估计是一种常用的参数估计方法，它通过寻找最大化给定数据集的概率来估计参数的值。

在统计学中，我们经常面对未知参数的情况，而最大似然估计提供了一种有效的方法来估计这些参数。

在最大似然估计中，我们假设数据是从一个特定的概率分布中抽取的，并且我们希望找到使得这个数据集出现的概率最大的参数值。

换句话说，最大似然估计就是在给定数据集的情况下，寻找最有可能产生这个数据集的参数值。

举个例子来说，假设我们有一个硬币，我们不知道它是正面朝上的概率是多少。

我们可以进行一系列的抛硬币实验，然后利用这些实验的结果来估计这个概率。

最大似然估计就是通过最大化观测到的数据集出现的概率，来估计这个硬币正面朝上的概率。

在实际应用中，最大似然估计通常会涉及到一些复杂的数学计算，但是其基本思想是非常直观的。

通过找到使得观测数据出现概率最大的参数值，我们可以得到对未知参数的估计，从而对数据进行分析和预测。

最大似然估计在统计学中有着广泛的应用，比如在线性回归、逻辑回归、朴素贝叶斯分类器等模型中都会用到最大似然估计来估计参数。

它不仅在理论上具有重要意义，而且在实际应用中也被广泛采用。

总的来说，最大似然估计是一种重要的参数估计方法，通过最大化观测数据的出现概率来估计参数的值。

它在统计学中有着广泛的应用，是数据分析和模型建立中不可或缺的一部分。

通过深入理解最大似然估计的原理和应用，我们可以更好地理解数据背后的规律，从而做出更准确的预测和决策。

第二章 线性回归模型回顾与拓展 （12-15学时）第四节 三大检验（LR Wald LM ） 一、极大似然估计法（ML ）（一）极大似然原理假设对于给定样本{},Y X ,其联合概率分布存在，(),;f Y X ξ。

将该联合概率密度函数视为未知参数ξ的函数，则(),;f Y X ξ称为似然函数（Likelihood Function ）。

极大似然原理就是寻找未知参数ξ的估计ˆξ，使得似然函数达到最大，或者说寻找使得样本{},Y X 出现的概率最大ˆξ。

（二）条件似然函数VS 无条件似然函数()()(),;;;f Y X f Y X f X ξθϕ=若θ与ϕ没有关系，则最大化无条件似然函数(),;f Y X ξ等价于分别最大化条件似然函数();f Y X θ和边际似然函数();f X ϕ，从而θ的最大似然估计就是最大化条件似然函数();f Y X θ。

（三）线性回归模型最大似然估计Y X u β=+，2(0,)u N I σ→2222()()(,;,)(2)exp{}2nY X Y X L Y X βββσπσσ-'--=-对数似然函数：22()()2222n n Y X Y X l LnL Ln Ln ββπσσ'--==---于是 22241ˆ(22)0ˆˆ21ˆˆ()()0ˆˆˆ22l X Y X X l n Y X Y X βσβββσσσ∂⎧''=--+=⎪⎪∂⎨∂⎪'=-+--=⎪∂⎩得到 12ˆ()1ˆMLML X X X Y e e n βσ-⎧''=⎪⎨'=⎪⎩（三）得分（Score ）和信息矩阵（Information Matrix ）(;,)lf Y X θθ∂=∂称为得分； 12...k l l l l θθθθ∂⎡⎤⎢⎥∂⎢⎥∂⎢⎥⎢⎥∂⎢⎥∂⎢⎥=∂⎢⎥⎢⎥⎢⎥⎢⎥∂⎢⎥⎢⎥∂⎣⎦得分向量；（Gradient ） 海瑟矩阵（Hessian Matrix ）:2l H θθ∂='∂∂信息矩阵：三*、带约束条件的最小二乘估计（拉格朗日估计）在计量经济分析中，通常是通过样本信息对未知参数进行估计。

最⼤似然估计（Maximumlikelihoodestimation）最⼤似然估计提供了⼀种给定观察数据来评估模型参数的⽅法，即：“模型已定，参数未知”。

简单⽽⾔，假设我们要统计全国⼈⼝的⾝⾼，⾸先假设这个⾝⾼服从服从正态分布，但是该分布的均值与⽅差未知。

我们没有⼈⼒与物⼒去统计全国每个⼈的⾝⾼，但是可以通过采样，获取部分⼈的⾝⾼，然后通过最⼤似然估计来获取上述假设中的正态分布的均值与⽅差。

最⼤似然估计中采样需满⾜⼀个很重要的假设，就是所有的采样都是独⽴同分布的。

下⾯我们具体描述⼀下最⼤似然估计：⾸先，假设为独⽴同分布的采样，θ为模型参数,f为我们所使⽤的模型，遵循我们上述的独⽴同分布假设。

参数为θ的模型f产⽣上述采样可表⽰为回到上⾯的“模型已定，参数未知”的说法，此时，我们已知的为，未知为θ，故似然定义为: 在实际应⽤中常⽤的是两边取对数，得到公式如下： 其中称为对数似然，⽽称为平均对数似然。

⽽我们平时所称的最⼤似然为最⼤的对数平均似然，即：举个别⼈博客中的例⼦，假如有⼀个罐⼦，⾥⾯有⿊⽩两种颜⾊的球，数⽬多少不知，两种颜⾊的⽐例也不知。

我们想知道罐中⽩球和⿊球的⽐例，但我们不能把罐中的球全部拿出来数。

现在我们可以每次任意从已经摇匀的罐中拿⼀个球出来，记录球的颜⾊，然后把拿出来的球再放回罐中。

这个过程可以重复，我们可以⽤记录的球的颜⾊来估计罐中⿊⽩球的⽐例。

假如在前⾯的⼀百次重复记录中，有七⼗次是⽩球，请问罐中⽩球所占的⽐例最有可能是多少？很多⼈马上就有答案了：70%。

⽽其后的理论⽀撑是什么呢？我们假设罐中⽩球的⽐例是p，那么⿊球的⽐例就是1-p。

因为每抽⼀个球出来，在记录颜⾊之后，我们把抽出的球放回了罐中并摇匀，所以每次抽出来的球的颜⾊服从同⼀独⽴分布。

这⾥我们把⼀次抽出来球的颜⾊称为⼀次抽样。

题⽬中在⼀百次抽样中，七⼗次是⽩球的概率是P(Data | M)，这⾥Data是所有的数据，M是所给出的模型，表⽰每次抽出来的球是⽩⾊的概率为p。

最大似然估计可以说是应用非常广泛的一种参数估计的方法。

它的原理也很简单：利用已知的样本，找出最有可能生成该样本的参数。

文章介绍大概从这几方面：最大似然估计中的似然函数是什么？和概率有什么不同？最大似然估计离散型随机变量做最大似然估计连续型随机变量做最大似然估计最后还附有有关贝叶斯估计、矩估计、最大似然估计与最小二乘法的关系的传送门。

1.似然函数似然性（likelihood）与概率（possibility）同样可以表示事件发生的可能性大小，但是二者有着很大的区别：概率 p(x|\theta) 是在已知参数 \theta 的情况下，发生观测结果 x 可能性大小；似然性 L(\theta|x) 则是从观测结果 x 出发，分布函数的参数为\theta 的可能性大小；可能听着不是那么好理解。

我们再详细说明下，似然函数如下：L(\theta|x)=p(x|\theta)\\其中 x 已知， \theta 未知。

若对于两个参数\theta_1 , \theta_2 ，有L(\theta_1|x)=p(x|\theta_1)>p(x|\theta_2)=L(\theta_2|x)\\那么意味着\theta=\theta_1 时，随机变量 X 生成 x 的概率大于当参数 \theta=\theta_2 时。

这也正是似然的意义所在，若观测数据为 x ，那么 \theta_1 是比 \theta_2 更有可能为分布函数的参数。

在不同的时候， p(x|\theta) 可以表示概率也可以用于计算似然，这里给出个人的理解，整理如下：在 \theta 已知，x 为变量的情况下，p(x|\theta) 为概率，表示通过已知的分布函数与参数，随机生成出 x 的概率；在\theta 为变量，x 已知的情况下，p(x|\theta) 为似然函数，它表示对于不同的\theta ，出现 x 的概率是多少。

此时可写成 L(\theta|x)=p(x|\theta) ，更严格地，我们也可写成 L(\theta|x)=p(x;\theta) 。

统计推断中的最大似然估计法统计推断是指通过观察样本数据来对总体参数进行估计的方法，其中最大似然估计法被广泛应用于估计参数的方法之中。

最大似然估计法是一种常用的参数估计方法，它的基本思想是寻找使得样本观测结果出现的概率最大的参数值。

一、最大似然估计法的基本原理最大似然估计法的基本原理是，在给定一组观测数据的情况下，通过调整参数的取值，使得观测数据的概率最大化。

换言之，最大似然估计法寻求使得观测数据出现的最有可能的参数估计。

在统计学中，我们可以将观测数据表示为X1, X2, …, Xn，其中X1, X2, …, Xn是来自同一总体的独立随机变量。

总体的概率分布由参数θ决定，我们的目标就是通过观测数据来估计参数θ的值。

假设总体的概率分布函数为f(x|θ)，其中θ是待估计的参数。

那么给定样本数据X1, X2, …, Xn，它们的联合概率密度函数可以表示为：L(θ|X1, X2, …, Xn) = ∏[f(xi|θ)]最大似然估计法的核心思想就是要找到一个参数估计值θ^，使得L(θ^|X1, X2, …, Xn)最大。

二、最大似然估计法的步骤最大似然估计法的步骤包括以下几个关键的步骤：1. 确定总体的概率分布函数：在进行最大似然估计之前，首先需要确定总体的概率分布函数f(x|θ)。

这一步通常需要根据实际问题对总体分布的形式进行假设。

2. 建立似然函数：根据观测数据的概率密度函数，建立似然函数L(θ|X1, X2, …, Xn)。

3. 求解最大似然估计值：通过最大化似然函数，求解使得似然函数取得最大值的参数估计值θ^。

常见的求解方法包括解析法、迭代法等。

4. 检验估计值合理性：通过假设检验、置信区间等统计方法，确定最大似然估计值的合理性。

三、最大似然估计法的优缺点最大似然估计法作为一种常用的参数估计方法，具有以下优点：1. 理论上的有效性：最大似然估计法在一定条件下是一致性的，即当样本容量增加时，参数估计值趋近于真实值。

最⼤似然估计（极⼤似然估计）⽬录概率与似然对于最⼤似然估计我们使⽤最简单的抛硬币问题来进⾏讲解概率当我们抛⼀枚硬币的时候,就可以去猜测抛硬币的各种情况的可能性,这个可能性就称为概率⼀枚质地均匀的硬币,在不考虑其他情况下是符合⼆项分布的,即正⾯和翻⾯的概率都是0.5,那么我们抛10次硬币5次正⾯在上⾯的概率为:P(5次正⾯朝上)=C5100.55(1−0.5)5=0.24609375≈0.25似然但是现实⽣活中,我们并不知道硬币是否均匀,那么我们就需要通过多次抛硬币来推测硬币是否均匀或者说推测硬币每⼀⾯朝上的概率,这就是似然最⼤似然估计那么什么是最⼤似然估计(⼜称极⼤似然估计)呢?所谓的最⼤似然估计其实就是假设硬币正⾯朝上的概率,然后计算实验结果的概率是多少,概率越⼤,那么这个假设的概率越可能是真的。

假设我们投了10次硬币,其中有6次正⾯朝上,那么我们根据这个实验结果对其进⾏假设我们可以先假设正⾯朝上的概率为0.5,那么达到实验结果的概率为:P=C6100.56(1−0.5)4=0.205078125≈0.21我们还可以假设正⾯朝上的概率为0.6,那么达到实验结果的概率为P=C6100.66(1−0.6)4=0.25082265600000003≈0.25那么我们就可以说,正⾯朝上的概率为0.6要⽐0.5的更有可能。

当然,我们仅仅⽐较这两种情况是不够的,我们需要将所有的情况都进⾏对⽐,然后求出最⼤的可能性。

接下来我们使⽤作图的⽅法来看⼀下最有可能的取值根据上图我们可以看出，可能性最⼤的应该是正⾯概率为0.6的时候。

以上通过实验结果，然后对相应的概率进⾏假设，从⽽得到最有可能造成测试结果的概率的过程，就称为最⼤似然估计Processing math: 100%。