第57讲 最大似然估计法 (1)

最大似然估计法公式
最大似然估计法是一种用来估计模型参数的方法。

对于给定的样本数据，最大似然估计法所估计的参数值，是使样本数据出现的概率为最大的参数值。

具体公式如下：
设样本数据为 {x1, x2, ..., xn}，模型参数为θ，则样本数据出现的概率为：L(θ|x1, x2, ..., xn)
L(θ|x1, x2, ..., xn) 表示为似然函数。

最大似然估计法的核心思想是：选择一组参数值θ，使得在该组参数值下，样本数据出现的概率L(θ|x1, x2, ..., xn) 最大。

具体实现时，通常会对似然函数取对数，使问题转化为求解对数似然函数的最大值。

第6 章最大似然估计如果回归模型存在非线性，常使用最大似然估计法(MLE)。

6.1最大似然估计法的定义假设随机向量y 的概率密度函数为f ( y;θ) ，其中θ为K 维未知参数向量，θ∈Θ。

Θ为参数空间，即参数θ所有可能取值所构成的集合。

2通过抽取随机样本{ y 1, , y n }来估计θ 。

假设{ y 1, , y n } 为 iid ，则样本数据的联合密度函数为f ( y 1; θ ) f ( y 2 ; θ ) f ( y n ; θ )。

在抽样前，{ y 1, , y n }为随机向量。

抽样后，{ y 1, , 函数视为在{ y 1, , y n }有了特定的样本值，可将样本联合密度y n }给定情况下，未知参数θ 的函数。

3n=定义似然函数(likelihood function)为L (θ ; y 1, , y n ) = ∏ i =1f ( y i ; θ )似然函数与联合密度函数完全相等，只是θ 与{ y 1, , y n }的角色互换，即把θ 作为自变量，而视{ y 1, , y n }为给定。

为了运算方便，常把似然函数取对数：ln L (θ ; y 1, , y n nln i 1f ( y i ; θ ) ) = ∑4ML“最大似然估计法”(Maximum Likelihood Estimation ，简记 MLE 或 ML)的思想：给定样本取值后，该样本最有可能来自参数θ 为何值的总体。

寻找θˆ ，使得观测到样本数据的可能性最大，即最大化对 数似然函数(loglikelihood function)：max ln L (θ ; y )θ∈Θ最大似然估计量θˆ 可写为，ˆ ≡ arg max ln L (θ ; y ) ML ML θ5⎝ K ⎭其中， “argmax ”(argument of the maximum) 表示能使 ln L (θ ; y )最大化的θ 取值。

最大似然法最大似然法（the method of maximum likelihood）也称极大似然法，它最早是由高斯所提出的,后来由英国统计学家费歇于1912年在其一篇文章中重新提出,并且证明了这个方法的一些性质.最大似然估计这一名称也是费歇给的.它是建立在最大似然原理的基础上的一个统计方法.为了对最大似然原理有一个直观的认识,我们先来看一个例子.例设有外形完全相同的两个箱子,甲箱有99个白球1个黑球,乙箱有1个白球99个黑球.今随机地抽取一箱,然后再从这箱中任取一球,结果发现是白球.问这个箱子是甲箱还是乙箱?分析注意我们这里做的是统计推断而不是逻辑推断。

所谓统计推断，就是根据已知的部分数据对总体的进行估计的一种推断方法。

从部分推断总体，必然伴随着一定的犯错误的概率。

因此从逻辑上认起死理来，统计推断似乎因为不太严谨而被排斥在“科学推断”之外了。

但是在实际生活中，如果都要按照逻辑推断来思考，那么将会给你的生活带来很大的麻烦。

比如出门，则难免会有一定的概率出一定的意外，因此所谓“安全回家”在逻辑上便不再是绝对可靠的，故而你只能选择闭门不出。

回到刚才的例题。

现在的问题是，仅仅从取出的球是白球这一点是无法从逻辑上严格加以判定该箱究竟是甲箱还是乙箱的。

但是如果现在一定要我们做出选择，那么我们只能这样来考虑：从箱中取出的球是白球这一点来看，甲箱和乙箱哪个看上去更像是真正从中取球的箱子？我们这样来分析：如果该箱是甲箱,则取得白球的概率为0.99；如果该箱是乙箱,则取得白球的概率0.01．因此，用“该箱是甲箱”来解释所取的球是白球这一事件更有说服力一些，从而我们判定甲箱比乙箱更像一些。

最后我们做出推断,这球是从甲箱取出的.其实，如果我们从“最大似然”的原文maximum likelihood来看，就会发现这个名称的原始含义就是“看起来最像”的意思。

“看起来最像”，在很多情况下其实就是我们决策时的依据。

一个总体往往都有若干个重要的参数。

说明最大似然估计的原理并推导证明正态分布下的似然估计的计算公式最大似然估计（Maximum Likelihood Estimation，简称MLE）是一种概率统计方法，常用于估计一个参数或一组参数的值，使得给定观测数据的出现概率最大。

它的基本原理是找到最适合观测数据的概率分布模型中的参数值，使得观测数据的观测值发生的概率最大。

最大似然估计方法通常在具有参数的概率分布模型中使用，如正态分布、伯努利分布等。

首先来推导最大似然估计在正态分布下的计算公式。

假设我们有n个独立同分布的观测值x₁,x₂,...,x_n，它们满足正态分布N(μ,σ²)，其中μ是均值，σ²是方差。

在正态分布下，概率密度函数（Probability Density Function，简称PDF）为：f(x ，μ, σ²) = (1 / √(2πσ²)) * exp(-(x - μ)² / (2σ²))我们的目标是找到使得观测数据的观测值出现的概率最大的参数值。

假设我们的参数为θ=(μ,σ²)。

由于每个观测值是独立同分布的，我们可以将所有观测值的概率密度函数连乘起来作为似然函数（Likelihood Function）：L(θ，x₁,x₂,...,x_n)=f(x₁，θ)*f(x₂，θ)*...*f(x_n，θ)取对数方便计算，并不改变最大似然估计的结果：ln L(θ ， x₁, x₂, ..., x_n) = ln(f(x₁，θ)) + ln(f(x₂，θ)) + ... + ln(f(x_n ，θ))将正态分布的概率密度函数代入上式：ln L(θ ， x₁, x₂, ..., x_n) = ln((1 / √(2πσ²)) * exp(-(x₁- μ)² / (2σ²))) + ln((1 / √(2πσ²)) * exp(-(x₂ - μ)² /(2σ²))) + ... + ln((1 / √(2πσ²)) * exp(-(x_n - μ)² /(2σ²)))化简上式：ln L(θ ， x₁, x₂, ..., x_n) = -n * ln(√(2πσ²)) - (x₁ - μ)² / (2σ²) - (x₂ - μ)² / (2σ²) - ... - (x_n - μ)² / (2σ²)我们的目标是求使得似然函数最大化的参数值μ。

最大似然估计法的步骤
最大似然估计法是一种常用的参数估计方法，它基于样本数据的观测结果，通过寻找最大化概率的参数值来估计真实参数值。

以下是最大似然估计法的步骤：
1. 理解问题：首先，我们需要明确要解决的问题是什么，以及需要估计的参数是什么。

这可以通过问题的背景和给定的数据来确定。

2. 建立模型：根据问题的特点和要求，我们需要选择合适的概率分布模型来描述数据的分布。

常见的模型包括正态分布、伯努利分布等。

3. 定义似然函数：根据所选的模型，我们可以定义似然函数。

似然函数描述了参数取值下观测到给定数据的概率。

4. 取对数：为了方便计算和优化，通常我们会取似然函数的对数，得到对数似然函数。

5. 构建似然方程：通过对对数似然函数求导，我们可以得到似然方程。

将似然方程设为零，求解参数的估计值。

6. 求解参数：根据似然方程，我们可以使用数值方法（如牛顿法、梯度下降法）或解析方法（如求导）来求解参数的估计值。

7. 检验结果：在求解参数后，我们需要对估计结果进行检验。

可以利用统计方法进行假设检验或计算置信区间来评估估计结果的可靠
性。

8. 解释结果：最后，我们需要解释参数估计的意义和结果。

这可以通过与问题的实际意义和背景相结合来完成。

最大似然估计法是一种常用且有效的参数估计方法，它在统计学和机器学习领域得到了广泛应用。

通过合理选择模型和构建似然函数，最大似然估计法可以帮助我们从有限的样本数据中推断出参数的最佳估计值，为问题的解决提供了有力的工具和方法。

最大似然估计原理
最大似然估计（Maximum Likelihood Estimation，简称MLE）
是一种参数估计方法，常用于统计学和机器学习领域。

它的基本原理是在给定观测数据的情况下，找到使得观测数据出现的概率最大的参数值。

具体而言，最大似然估计的步骤如下：
1. 建立概率模型：首先根据问题的特点和假设，建立合适的概率模型。

常见的概率分布模型包括正态分布、泊松分布、伯努利分布等。

2. 构造似然函数：利用建立的概率模型，将观测数据代入，并将数据看作是从该概率模型中独立、同分布地产生的。

然后，构造似然函数，即将多个样本数据发生的概率乘起来，形成一个参数的函数。

3. 最大化似然函数：为了找到参数的最优解，我们需要通过最大化似然函数来确定参数值。

通常使用对数似然函数进行运算，因为对数函数具有单调性，可以简化计算。

4. 计算估计值：通过求解对数似然函数的导数为0的方程，或通过优化算法（如牛顿法、梯度下降法），找到似然函数的最大值点。

该点的参数值即为最大似然估计值。

最大似然估计在实际应用中具有广泛的应用，例如用于线性回归、逻辑回归、马尔可夫链蒙特卡洛等模型的参数估计。

它的
核心思想是基于样本数据出现的概率最大化，通过最大似然估计可以获得参数的合理估计值，从而实现对未知参数的估计。

最大似然估计的原理及其应用摘要:了解最大似然估计的原理，并通过其原理来解决生活中的某些概率与统计的问题。

引言:似然函数 是θ的函数,表示由参数θ产生样本值 的“可能性”大小.将样本观察看成“结果"，θ是产生结果的“原因”，则是度量产生该结果的各种 “原因"的机会。

因此，θ的一个合理的估计应使这种机会（即)达到最大的那个值。

关键词:似然函数，最大似然估计,最大似然估计值。

（1）似然函数 设描述总体的随机变量Ｘ的概率密度函数为，其中k θθθ,,,21⋯都是总体的未知参数（若Ｘ是离散型的，则约定表示概率分布，总体的样本Ｘ1，Ｘ2，…，Ｘn 的测量值为n x x x ,,,21⋯，也可以理解为是ｎ维独立随机向量（Ｘ1，Ｘ2，…, Ｘn)的一个测量值.即是说，对一维随机变量进行ｎ次测量得到的ｎ个测量值可以看成是对ｎ维独立的随机向量进行一次测量得到的ｎ个测量值。

由于ｎ维随机向量的联合概率密度为∏=⋯n i k i x f 121),,;(θθθ显然，对于样本的一个测量值，它是k θθθ,,,21⋯的函数，记为并称它为似然函数,简记为Ｌ。

对于离散型随机变量。

应该注意，似然函数与参数k θθθ,,,21⋯有关,对于给定的样本值，它是这些参数的函数.（2） 最大似然估计值设总体含未知参数k θθθ,,,21⋯,对于给定的样本值如有 ∏∏==⋯>⋯ni k i n i k i x f x f 121121)'',';()ˆ,,ˆ,ˆ;(θθθθθθ 其中k θθθˆ,,ˆ,ˆ21⋯为未知参数k θθθ,,,21⋯可能取的某一组值，而k '','21θθθ⋯为k θθθ⋯21,的一切其他可能取值，此时,我们可认为k θθθˆ,,ˆ,ˆ21⋯，比k '','21θθθ⋯作为k θθθ,,,21⋯的估值要好些。

这是因为不等式说明，k θθθ,,,21⋯取k θθθˆ,,ˆ,ˆ21⋯时得到样本值n x x x ,,,21⋯的可能性最大,这样的估计值就是k θθθ,,,21⋯的最大似然估计值。

最大似然估计法是由英国统计学家R.A.Fisher 于1912年提出来的，随后经过进一步的发展，成了一种普遍采用的估计方法。

与矩估计法不同的是，它使用了总体的概率分布，从而很好的利用了总体分布提供的有关θ的信息，所以具有许多优良的性质。

前提：总体分布已知 １． 准备工作定义1 设总体的密度函数（或分布列）为),(θx f ，其中T k),,,(21θθθθ =为待估参数。

若T nX X X ),,,(21 是来自总体的样本，则样本的联合密度函数（或联合分布列）为∏=ni ix f 1),(θ。

一旦抽样结束，取定n x x x ,,,21 后，我们可以把它看作待估参数Tk),,,(21θθθθ =的函数，记为)(θL ，即∏==n i i x f L 1),()(θθ我们称这里的函数)(θL 为似然函数。

从定义1不难看出，样本的联合概率分布和似然函数其实是同一个事物从不同侧面看得到的两个概念。

前者度量的是固定参数θ后，试验出现各种样本值的概率；而后者度量的是样本值n x x x ,,,21 出现后，样本空间Θ中的各个可能参数θ导致这个样本值出现的概率。

综上所述，最大似然估计的思想是：在试验的结果出现的情况下，应该寻求使这个结果出现的可能性最大的那个θ值作为θ的估计。

定义2 若对任意给定的样本值n x x x ,,,21 ，存在),,,(ˆˆ21n x x x θθ=，使)(max )ˆ(θθθL L Θ∈= 则称),,,(ˆˆ21n x x x θθ=为θ的最大似然估计值，称相应的统计量),,,(ˆˆ21n X X X θθ=为θ的最大似然估计量，两者统称为最大似然估计。

２．步骤通过以上定义不难看出，最大似然估计本质上就是似然函数的最大值点，所以我们就可以利用高等数学中求最大值点的方法求之。

具体步骤如下：⑴ 写出似然函数∏==ni i x f L 1),()(θθ； ⑵ 令∑==n i i x f L 1),(ln )(ln θθ，称)(ln θL 为对数似然函数。

maximum likelihood method最大似然估计法（MaximumLikelihoodMethod，MLM）是一种常用的统计方法，它可以用于估计一个随机变量的参数。

在实际应用中，MLM被广泛应用于概率分布的参数估计、机器学习、数据挖掘等领域，具有很高的实用价值和广泛的应用前景。

一、最大似然估计法的基本概念最大似然估计法是一种基于概率统计的方法，它的核心思想是：在已知一些观测数据的情况下，估计这些数据所属的概率分布的参数，使得这些数据出现的概率最大。

这里的“概率最大”指的是在给定数据的条件下，所估计的参数能够使得这些数据出现的概率最大，也就是估计出的概率分布与观测数据的分布最为接近。

在数学上，最大似然估计法可以用极大化似然函数的方法来实现。

似然函数是指在已知参数的情况下，观测数据出现的概率分布。

具体地说，假设我们有一组观测数据{x1,x2,...,xn}，它们来自某个概率分布，我们要估计这个概率分布的参数θ。

如果假设这个概率分布是一个已知的函数f(x;θ)，那么似然函数可以表示为：L(θ|x1,x2,...,xn) = f(x1;θ)×f(x2;θ)×...×f(xn;θ) 这个似然函数的意义是，在已知参数θ的情况下，观测数据{x1,x2,...,xn}出现的概率。

我们的目标是找到一个最优的θ，使得这个似然函数最大化。

也就是说，最大化似然函数可以得到最优的参数估计。

二、最大似然估计法的实现步骤最大似然估计法的实现步骤可以分为以下几个步骤：1. 确定概率分布的形式：首先需要确定所要估计的概率分布的形式，比如正态分布、泊松分布、伽马分布等等。

这个选择需要根据实际问题来进行，一般可以根据数据的特点和分布情况来进行选择。

2. 写出似然函数：在确定了概率分布的形式之后，需要根据这个概率分布的密度函数写出似然函数。

这个似然函数的形式应该与上面提到的公式相同。

3. 求解似然函数的最大值：最大似然估计法的核心是求解似然函数的最大值。