最⼤似然估计详解⼀、引⼊ 极⼤似然估计，我们也把它叫做最⼤似然估计(Maximum Likelihood Estimation)，英⽂简称MLE。
它是机器学习中常⽤的⼀种参数估计⽅法。
它提供了⼀种给定观测数据来评估模型参数的⽅法。
也就是模型已知，参数未定。
在我们正式讲解极⼤似然估计之前，我们先简单回顾以下两个概念：概率密度函数(Probability Density function),英⽂简称pdf似然函数(Likelyhood function)1.1 概率密度函数 连续型随机变量的概率密度函数(pdf)是⼀个描述随机变量在某个确定的取值点附近的可能性的函数(也就是某个随机变量值的概率值，注意这是某个具体随机变量值的概率，不是⼀个区间的概率)。
给个最简单的概率密度函数的例⼦，均匀分布密度函数。
对于⼀个取值在区间[a,b]上的均匀分布函数\(I_{[a,b]}\)，它的概率密度函数为:\[f_{I_{[a,b]}}(x) = \frac{1}{b-a}I_{[a,b]} \]其图像为：其中横轴为随机变量的取值，纵轴为概率密度函数的值。
也就是说，当\(x\)不在区间\([a,b]\)上的时候，函数值为0，在区间\([a,b]\)上的时候，函数值等于\(\frac{1}{b-a}\)，函数值即当随机变量\(X=a\)的概率值。
这个函数虽然不是完全连续的函数，但是它可以积分。
⽽随机变量的取值落在某个区域内的概率为概率密度函数在这个区域上的积分。
Tips:当概率密度函数存在的时候，累计分布函数是概率密度函数的积分。
对于离散型随机变量，我们把它的密度函数称为概率质量密度函数对概率密度函数作类似福利叶变换可以得到特征函数。
特征函数与概率密度函数有⼀对⼀的关系。
因此，知道⼀个分布的特征函数就等同于知道⼀个分布的概率密度函数。
(这⾥就是提⼀嘴，本⽂所讲的内容与特征函数关联不⼤，如果不懂可以暂时忽略。
)1.2 似然函数 官⽅⼀点解释似然函数是，它是⼀种关于统计模型中的参数的函数，表⽰模型参数的似然性(likelyhood)。
指数函数的最大似然估计
最大似然估计是一种估计统计模型参数的重要任务，其最常用的情
况是，假定模型是指数函数，而最大似然估计的一般程序是，它利用
已知的一些统计模型参数，试图搜索似然函数的最大值，以求出最佳
的拟合结果。
首先，为了能够使用最大似然估计，我们需要确定正确的模型，也就
是指数函数。
由于指数函数是一个多项式函数，它可以通过多项式拟
合程序得到，例如通过最小二乘法，快速傅里叶变换，和非线性最小
二乘等。
它还可以通过建立矩阵推导出来。
在进行最大似然估计之前，必须分析模型参数之间的关系，得到参数
估计量。
然后定义似然函数，水平估计参数。
给定数据集，我们可以
建立某观测数据的似然函数，计算并表达有效的参数。
最后，应用最大似然法，搜索似然函数的最大值，利用参数估计量来
表示数据，计算似然函数的值，并进行模型选择。
最后，利用模型的
参数估计量来求出拟合结果，即可得出最佳拟合参数，从而解决模型
参数估计的问题。
在总结上，最大似然估计对指数函数进行参数估计是非常有效的方法，需要确定正确的模型拟合程序，并计算似然函数的值，以查找模型的
参数估计，这将使参数估计的精度和可靠性都大大提高，而最大似然
估计将是一个有效的估计方法。
矩估计与最大似然估计
矩估计和最大似然估计是统计学中常用的两种参数估计方法。
矩估计是利用样本矩来估计总体参数，最大似然估计是选择使得样本观测的概率最大的参数作为总体参数的估计值。
在矩估计中，我们首先计算出样本的一阶、二阶甚至更高阶矩，然后将这些矩代入总体参数的矩方程中，解出未知参数的值。
矩估计方法简单易用，但其估计结果的精度可能不如最大似然估计。
在最大似然估计中，我们假设总体参数服从某个已知的分布，然后根据样本观测的概率密度函数，选择使得此概率密度函数取到最大值的参数作为总体参数的估计值。
最大似然估计方法能够最大化样本观测的概率，其估计结果通常更加准确。
总之，矩估计和最大似然估计是两种常用的参数估计方法。
在选择使用哪种方法时，需要根据具体的问题、数据样本和已知条件来进行判断。
- 1 -。
深度学习之最⼤似然估计⼀、定义⼆、知识解读 极⼤似然估计，通俗理解来说，就是利⽤已知的样本结果信息，反推最具有可能（最⼤概率）导致这些样本结果出现的模型参数值！ 换句话说，极⼤似然估计提供了⼀种给定观察数据来评估模型参数的⽅法，即：“模型已定，参数未知”。
可能有⼩伙伴就要说了，还是有点抽象呀。
我们这样想，⼀当模型满⾜某个分布，它的参数值我通过极⼤似然估计法求出来的话。
⽐如正态分布中公式如下： 如果我通过极⼤似然估计，得到模型中参数和的值，那么这个模型的均值和⽅差以及其它所有的信息我们是不是就知道了呢。
确实是这样的。
极⼤似然估计中采样需满⾜⼀个重要的假设，就是所有的采样都是独⽴同分布的。
下⾯我通过俩个例⼦来帮助理解⼀下最⼤似然估计 但是⾸先看⼀下似然函数的理解： 对于这个函数：输⼊有两个：x表⽰某⼀个具体的数据；表⽰模型的参数 如果是已知确定的，是变量，这个函数叫做概率函数(probability function)，它描述对于不同的样本点，其出现概率是多少。
如果是已知确定的，是变量，这个函数叫做似然函数(likelihood function), 它描述对于不同的模型参数，出现这个样本点的概率是多少。
这有点像“⼀菜两吃”的意思。
其实这样的形式我们以前也不是没遇到过。
例如， , 即x的y次⽅。
如果x是已知确定的(例如x=2)，这就是 , 这是指数函数。
如果y是已知确定的(例如y=2)，这就是，这是⼆次函数。
同⼀个数学形式，从不同的变量⾓度观察，可以有不同的名字。
这么说应该清楚了吧？如果还没讲清楚，别急，下⽂会有具体例⼦。
现在真要先讲讲MLE了。
例⼦⼀ 别⼈博客的⼀个例⼦。
假如有⼀个罐⼦，⾥⾯有⿊⽩两种颜⾊的球，数⽬多少不知，两种颜⾊的⽐例也不知。
我们想知道罐中⽩球和⿊球的⽐例，但我们不能把罐中的球全部拿出来数。
现在我们可以每次任意从已经摇匀的罐中拿⼀个球出来，记录球的颜⾊，然后把拿出来的球再放回罐中。
