最大似然估计学习总结(概率论大作业)

最⼤似然估计详解⼀、引⼊ 极⼤似然估计，我们也把它叫做最⼤似然估计(Maximum Likelihood Estimation)，英⽂简称MLE。

它是机器学习中常⽤的⼀种参数估计⽅法。

它提供了⼀种给定观测数据来评估模型参数的⽅法。

也就是模型已知，参数未定。

在我们正式讲解极⼤似然估计之前，我们先简单回顾以下两个概念：概率密度函数(Probability Density function),英⽂简称pdf似然函数(Likelyhood function)1.1 概率密度函数 连续型随机变量的概率密度函数(pdf)是⼀个描述随机变量在某个确定的取值点附近的可能性的函数(也就是某个随机变量值的概率值，注意这是某个具体随机变量值的概率，不是⼀个区间的概率)。

给个最简单的概率密度函数的例⼦，均匀分布密度函数。

对于⼀个取值在区间[a,b]上的均匀分布函数\(I_{[a,b]}\)，它的概率密度函数为:\[f_{I_{[a,b]}}(x) = \frac{1}{b-a}I_{[a,b]} \]其图像为：其中横轴为随机变量的取值，纵轴为概率密度函数的值。

也就是说，当\(x\)不在区间\([a,b]\)上的时候，函数值为0，在区间\([a,b]\)上的时候，函数值等于\(\frac{1}{b-a}\)，函数值即当随机变量\(X=a\)的概率值。

这个函数虽然不是完全连续的函数，但是它可以积分。

⽽随机变量的取值落在某个区域内的概率为概率密度函数在这个区域上的积分。

Tips:当概率密度函数存在的时候，累计分布函数是概率密度函数的积分。

对于离散型随机变量，我们把它的密度函数称为概率质量密度函数对概率密度函数作类似福利叶变换可以得到特征函数。

特征函数与概率密度函数有⼀对⼀的关系。

因此，知道⼀个分布的特征函数就等同于知道⼀个分布的概率密度函数。

(这⾥就是提⼀嘴，本⽂所讲的内容与特征函数关联不⼤，如果不懂可以暂时忽略。

)1.2 似然函数 官⽅⼀点解释似然函数是，它是⼀种关于统计模型中的参数的函数，表⽰模型参数的似然性(likelyhood)。

详解最大似然估计、最大后验概率估计及贝叶斯公式最大似然估计（Maximum Likelihood Estimation，简称MLE）是一种参数估计方法，用于根据样本数据推断出最有可能的模型参数。

它的基本思想是在给定观测数据的情况下，选择使得观测数据出现的概率最大的参数值作为估计值。

假设有一个参数化的概率分布模型，其中包含一个参数θ，需要通过最大似然估计来估计θ。

给定一个观测数据集D，假设每个样本都是独立同分布的。

那么似然函数L(θ|D)可以定义为在给定参数θ下，观测数据集D出现的概率。

最大似然估计的目标是找到使得似然函数取得最大值的参数θ。

最大后验概率估计（Maximum A Posteriori Estimation，简称MAP）是一种结合了先验概率和似然函数的参数估计方法。

它与最大似然估计的区别在于引入了一个先验概率分布P(θ)来描述对参数θ的先验知识，通过贝叶斯公式结合似然函数和先验概率来得到后验概率分布P(θ|D)。

最大后验概率估计的目标是找到使得后验概率分布取得最大值的参数θ。

贝叶斯公式是统计学中一条重要的公式，它描述了在已知先验概率和条件概率的情况下，计算后验概率的方法。

假设有两个事件A和B，其中事件A是先发生的事件，事件B是在事件A发生的条件下发生的事件。

那么贝叶斯公式可以表示为：P(A|B) = P(B|A) * P(A) / P(B)其中，P(A|B)是在事件B已经发生的条件下，事件A发生的概率；P(B|A)是在事件A已经发生的条件下，事件B发生的概率；P(A)是事件A发生的先验概率；P(B)是事件B发生的先验概率。

在最大后验概率估计中，贝叶斯公式被用来计算后验概率分布P(θ|D)，其中P(θ)是参数θ的先验概率分布，P(D|θ)是在给定参数θ下，观测数据集D出现的似然函数。

最大后验概率估计通过最大化后验概率分布来估计参数θ的值。

最大似然估计学习总结航天学院探测制导与控制技术杨若眉1110420123摘要：最大似然估计是一种统计方法，它用来求一个样本集的相关概率密度函数的参数。

最大似然法明确地使用概率模型，其目标是寻找能够以较高概率产生观察数据的系统发生树。

最大似然法是一类完全基于统计的系统发生树重建方法的代表。

关键词：最大似然估计；离散；连续；概率密度最大似然估计是一种统计方法，它用来求一个样本集的相关概率密度函数的参数。

这个方法最早是遗传学家以及统计学家罗纳德·费雪爵士在1912年至1922年间开始使用的。

“似然”是对likelihood 的一种较为贴近文言文的翻译，“似然”用现代的中文来说即“可能性”。

故而，若称之为“最大可能性估计”则更加通俗易懂。

最大似然法明确地使用概率模型，其目标是寻找能够以较高概率产生观察数据的系统发生树。

最大似然法是一类完全基于统计的系统发生树重建方法的代表。

该方法在每组序列比对中考虑了每个核苷酸替换的概率。

最大似然法是要解决这样一个问题：给定一组数据和一个参数待定的模型，如何确定模型的参数，使得这个确定参数后的模型在所有模型中产生已知数据的概率最大。

通俗一点讲，就是在什么情况下最有可能发生已知的事件。

举个例子，假如有一个罐子，里面有黑白两种颜色的球，数目多少不知，两种颜色的比例也不知。

我们想知道罐中白球和黑球的比例，但我们不能把罐中的球全部拿出来数。

现在我们可以每次任意从已经摇匀的罐中拿一个球出来，记录球的颜色，然后把拿出来的球再放回罐中。

这个过程可以重复，我们可以用记录的球的颜色来估计罐中黑白球的比例。

假如在前面的一百次重复记录中，有七十次是白球，请问罐中白球所占的比例最有可能是多少？我想很多人立马有答案：70%。

这个答案是正确的。

可是为什么呢？（常识嘛！这还要问？！）其实，在很多常识的背后，都有相应的理论支持。

在上面的问题中，就有最大似然法的支持例如，转换出现的概率大约是颠换的三倍。

最大似然估计(Maximum likelihood estimation)(通过例子理解)之前看书上的一直不理解到底什么是似然，最后还是查了好几篇文章后才明白，现在我来总结一下吧，要想看懂最大似然估计，首先我们要理解什么是似然，不然对我来说不理解似然，我就一直在困惑最大似然估计到底要求的是个什么东西，而那个未知数θ到底是个什么东西TT似然与概率在统计学中，似然函数（likelihood function，通常简写为likelihood，似然）是一个非常重要的内容，在非正式场合似然和概率（Probability）几乎是一对同义词，但是在统计学中似然和概率却是两个不同的概念。

概率是在特定环境下某件事情发生的可能性，也就是结果没有产生之前依据环境所对应的参数来预测某件事情发生的可能性，比如抛硬币，抛之前我们不知道最后是哪一面朝上，但是根据硬币的性质我们可以推测任何一面朝上的可能性均为50%，这个概率只有在抛硬币之前才是有意义的，抛完硬币后的结果便是确定的；而似然刚好相反，是在确定的结果下去推测产生这个结果的可能环境（参数），还是抛硬币的例子，假设我们随机抛掷一枚硬币1,000次，结果500次人头朝上，500次数字朝上（实际情况一般不会这么理想，这里只是举个例子），我们很容易判断这是一枚标准的硬币，两面朝上的概率均为50%，这个过程就是我们根据结果来判断这个事情本身的性质（参数），也就是似然。

结果和参数相互对应的时候，似然和概率在数值上是相等的，如果用θ 表示环境对应的参数，x 表示结果，那么概率可以表示为：P(x|θ)P(x|θ)是条件概率的表示方法，θ是前置条件，理解为在θ 的前提下，事件 x 发生的概率，相对应的似然可以表示为：理解为已知结果为 x ，参数为θ (似然函数里θ 是变量，这里## 标题 ##说的参数是相对与概率而言的)对应的概率，即：需要说明的是两者在数值上相等，但是意义并不相同，是关于θ 的函数，而 P 则是关于 x 的函数，两者从不同的角度描述一件事情。

深度学习之最⼤似然估计⼀、定义⼆、知识解读 极⼤似然估计，通俗理解来说，就是利⽤已知的样本结果信息，反推最具有可能（最⼤概率）导致这些样本结果出现的模型参数值！ 换句话说，极⼤似然估计提供了⼀种给定观察数据来评估模型参数的⽅法，即：“模型已定，参数未知”。

可能有⼩伙伴就要说了，还是有点抽象呀。

我们这样想，⼀当模型满⾜某个分布，它的参数值我通过极⼤似然估计法求出来的话。

⽐如正态分布中公式如下： 如果我通过极⼤似然估计，得到模型中参数和的值，那么这个模型的均值和⽅差以及其它所有的信息我们是不是就知道了呢。

确实是这样的。

极⼤似然估计中采样需满⾜⼀个重要的假设，就是所有的采样都是独⽴同分布的。

下⾯我通过俩个例⼦来帮助理解⼀下最⼤似然估计 但是⾸先看⼀下似然函数的理解： 对于这个函数：输⼊有两个：x表⽰某⼀个具体的数据；表⽰模型的参数 如果是已知确定的，是变量，这个函数叫做概率函数(probability function)，它描述对于不同的样本点，其出现概率是多少。

如果是已知确定的，是变量，这个函数叫做似然函数(likelihood function), 它描述对于不同的模型参数，出现这个样本点的概率是多少。

这有点像“⼀菜两吃”的意思。

其实这样的形式我们以前也不是没遇到过。

例如， , 即x的y次⽅。

如果x是已知确定的(例如x=2)，这就是 , 这是指数函数。

如果y是已知确定的(例如y=2)，这就是，这是⼆次函数。

同⼀个数学形式，从不同的变量⾓度观察，可以有不同的名字。

这么说应该清楚了吧？如果还没讲清楚，别急，下⽂会有具体例⼦。

现在真要先讲讲MLE了。

例⼦⼀ 别⼈博客的⼀个例⼦。

假如有⼀个罐⼦，⾥⾯有⿊⽩两种颜⾊的球，数⽬多少不知，两种颜⾊的⽐例也不知。

我们想知道罐中⽩球和⿊球的⽐例，但我们不能把罐中的球全部拿出来数。

现在我们可以每次任意从已经摇匀的罐中拿⼀个球出来，记录球的颜⾊，然后把拿出来的球再放回罐中。

千字讲解极大似然估计上周有读者私信我说，面试被问到了极大似然估计没回答出来，虽然网上有很多讲解，但是不大能看得懂，而且有一些疑问没有解释清楚。

经过一周的撰写，今天困哥就专门整理了一篇数千字的文章，来详细介绍一下极大似然估计，顺带介绍一下极大后验估计和贝叶斯估计。

在很多的机器学习问题种，输入x是一个向量，输出p(x)为某一个时间的概率（比如，x属于某个类别的概率）一观测的数据集D，其中x1，x2，x3……独立同分布。

我们将输入x所满足的概率分布建模为p(D,θ)，则对新输入的预测为p(x|D,θ)，其中θ是一个向量，表示待去顶的所有模型参数。

那么如何求解或者估计出θ的值呢？1. 频率学派VS贝叶斯学派对于θ的本质不同认识，可以分为两个大派别。

（1）频率学派：认为θ是确定的，有一个真实值，目标是找出或者逼近这个真实值。

（2）贝叶斯学派：认为θ是不确定的，不存在唯一的真实值，而是服从某一个概率分布。

基于不同学派对参数的不同认识，产生了不同的参数估计方法。

下面将讨论三种参数估计方法：（1）极大似然估计：MLE（Maximum Likelihood Estimation）【频率学派】（2）极大后验估计：MAP（Maximum A Posterior）【贝叶斯学派】（3）贝叶斯估计：BE（Bayesian Estimation）【贝叶斯学派】其中，涉及到先验、似然、后验、贝叶斯公式的知识。

先验：p(θ)，指在见到数据集D之前，对参数θ的认识似然：p(D|θ），在给定参数θ下，数据集D被观测到的概率后验：p(θ|D)，在见到数据集D之后，对参数θ的重新认识贝叶斯公式：2. 举例以抛硬币为例，假设我们有一枚硬币, 现在要估计其正面朝上的概率。

为了对进行估计, 我们进行了10次实验 (独立同分布, i.i.d.) , 这组实验记为, 其中正面朝上的次数为6次，反面朝上的次数为4次，结果为。

3. 极大似然估计MLE的逻辑是：真实的参数θ是唯一的，既然数据集D被观测到了，那么真实参数θ对应的概率分布一定是可以使D出现的概率最大。

最大似然估计的原理嘿，朋友们！今天咱来唠唠最大似然估计这个神奇的玩意儿。

你说啥是最大似然估计呀？咱打个比方哈，就好比你在一堆糖果里找你最喜欢的那颗。

你不知道它具体在哪儿，但你会根据一些线索去猜，去想哪种可能性最大。

最大似然估计就是这么个道理。

咱就说，生活中不也经常有这种情况嘛。

比如你丢了钥匙，你会回想你可能把它丢在哪儿了，哪个地方最有可能，这其实就是在做一种估计呀！最大似然估计就是要找到那个最有可能产生我们所观察到的数据的模型参数。

比如说，咱抛硬币。

你抛了十次，有七次正面三次反面。

那你会不会就觉得这硬币正面朝上的概率可能更大一些呢？这就是一种很直观的最大似然估计的想法呀！你想想，要是按照正常情况，抛十次差不多应该五次正面五次反面吧，可现在七次正面，那是不是就感觉正面朝上更有可能呢？再比如抽奖，你每次都抽不中，那你是不是会觉得这抽奖有猫腻呀，哈哈，其实这也是一种基于你观察到的结果的估计呢。

那最大似然估计有啥用呢？用处可大啦！在统计学里，它能帮我们找到最合适的模型参数，让我们的模型更准确地描述现实世界。

就像你找路，找到了最正确的那条路，就能更快更准地到达目的地。

而且哦，它还能让我们在面对不确定的时候做出更合理的判断。

好比天气预报，虽然不能百分百准确，但通过最大似然估计等方法，能让预报更靠谱一些，咱也好提前做准备呀。

你说，这最大似然估计是不是挺神奇的？它就像一个聪明的侦探，能从一堆杂乱无章的数据中找出最关键的线索，然后告诉我们真相。

咱再回过头想想，生活中很多时候我们不也在不自觉地用着最大似然估计嘛。

找东西的时候，判断一件事情的时候，不都是在根据已有的信息去估计最有可能的情况嘛。

所以呀，可别小瞧了这个最大似然估计，它可就在我们身边，默默地发挥着大作用呢！它让我们的生活变得更有秩序，让我们能更好地理解这个充满不确定性的世界。

怎么样，是不是觉得很有意思呢？。

最大似然估计公式了解最大似然估计的计算公式最大似然估计（Maximum Likelihood Estimation, MLE）是概率统计学中常用的一种参数估计方法，旨在通过大量观测数据，根据最有可能（最大似然）导致观测结果发生的参数值，来估计未知参数的值。

在概率模型中，假设数据服从某一分布，而最大似然估计能够找出使得观测数据出现概率最大的参数值。

一、最大似然估计的基本概念最大似然估计的基本思想是通过选择合适的参数值，使得观测数据出现的概率最大化。

在给定观测数据和参数模型的前提下，我们可以通过最大化似然函数来获得最可信的参数估计。

似然函数（Likelihood Function）是指在给定某个参数值的条件下，观测数据出现的可能性。

似然函数的计算公式如下：L(θ|x) = f(x|θ)其中，L代表似然函数，θ代表参数值，x代表观测数据。

f(x|θ)表示基于参数θ的概率密度函数或概率质量函数。

似然函数的求解就是寻找使得给定观测数据出现概率最大的参数值。

二、最大似然估计的计算公式在进行最大似然估计时，我们通常需要计算似然函数的极大值点。

为了简化计算，我们常使用对数似然函数（Log-Likelihood Function）来替代似然函数。

对数似然函数的计算公式如下：ln L(θ|x) = Σ ln f(xi|θ)其中，ln表示自然对数，Σ表示求和运算。

ln L(θ|x)表示对数似然函数，xi表示第i个观测数据。

利用对数似然函数，最大似然估计的目标就是寻找使得对数似然函数最大的参数估计值。

为了找到使对数似然函数最大的参数值，我们需要采用数值优化的方法，例如梯度下降法或牛顿法等。

三、最大似然估计的应用最大似然估计广泛应用于各个领域的数据建模和参数估计中。

以下是最大似然估计在常见概率模型中的应用实例：1. 二项分布：最大似然估计可以用于估计二项分布的参数p，即成功的概率。

在伯努利试验或二项试验中，成功与失败的结果按独立的概率p和1-p发生。