考研数学概率学：极大自然估计量考点

极大似然估计及其性质一、极大似然估计 设联合密度函数为12(;),'()k f Y θθθθθ=则似然函数为似然函数(;)(;)L Y f Y θθ==为使关于θ的似然函数最大化，求θ的一个估计ˆθ，使获得的已观测到的样本值的概率自大化，即最大似然估计量（MLE ）。

定义对数似然函数为ln l L =则l l LL θθ∂∂=∂∂ 最大化l 的ˆθ值也会最大化L ，l 对θ的导数(;)s Y θ称作得分，将得分定义为0，即可解出（MLE ）ˆθ，即(;)0ls Y θθ∂==∂ 二、MLE 的性质 1、一致性。

ˆlim()P θθ= 2、渐进正态性。

1ˆ~(,())N I θθθ- 式中()I θ为信息矩阵2()'l l l I E E θθθθθ⎡⎤'⎡⎤∂∂∂⎛⎫⎛⎫⎢⎥==- ⎪⎪⎢⎥∂∂∂∂⎢⎥⎝⎭⎝⎭⎣⎦⎣⎦ 当θ是一个k 维向量时，lθ∂∂表示k 个偏导数组成的列向量，即12k l l l l θθθθ∂⎛⎫∂ ⎪ ⎪∂∂ ⎪∂= ⎪∂ ⎪ ⎪∂ ⎪∂⎝⎭ 而lθ∂∂的二阶导数为 222211212222212*'k k k k k kl l l ll l l θθθθθθθθθθθθ⎛⎫∂∂∂ ⎪∂∂∂∂∂⎪⎪∂= ⎪∂∂⎪ ⎪∂∂∂ ⎪ ⎪∂∂∂∂∂⎝⎭ 3、渐进有效性。

2ˆ)(0,)d N θθσ-−−→4、不变性。

如果ˆθ是θ的MLE ，()g θ是θ的连续函数，则ˆ()g θ是()g θ的MLE 。

5、得分的均值为0，方差为()I θ。

三、线性模型的极大似然估计 设2~(0,)Y XB UU N σ=+U 的多元正态密度函数为21()(')2221()(2)U U n f U eσπσ-=Y 关于X 的多元条件密度为(,)()U f Y X f U Y∂=∂ UY∂∂是由U 中元素关于Y 中元素的偏导数组成的n n ⨯矩阵转换成的行列式的绝对值，并且为恒等矩阵。

极大似然估计方法极大似然估计（Maximum Likelihood Estimation，MLE）方法是一种用于估计参数的统计方法，它基于观测到的样本数据，通过选择最大化观测数据出现的概率的参数值来估计未知参数。

极大似然估计是概率论和统计学中最重要的方法之一，广泛应用于各个领域的数据分析与建模中。

极大似然估计方法的核心思想是基于某一参数下观测数据出现的概率，选择使得这个概率最大的参数值。

具体而言，给定一个观测数据集合X，其来自于一个具有参数θ的概率分布，我们要估计未知参数θ的值。

极大似然估计的目标是找到一个参数值θ^，使得给定θ^条件下观测数据集合X出现的概率最大。

数学上，极大似然估计可以通过最大化似然函数来求解。

似然函数是一个参数的函数，表示给定某个参数θ下观测数据出现的概率。

似然函数的定义如下：L(θ|X) = P(X|θ)数的函数，表示给定某个参数θ下观测数据出现的概率。

极大似然估计的目标是寻找一个参数θ^，使得似然函数最大化，即：θ^ = arg max L(θ|X)为了方便计算，通常将似然函数转化为其对数形式，即对数似然函数：l(θ|X) = log L(θ|X)本文将主要介绍如何利用极大似然估计来估计参数。

具体而言，将分为两个部分：首先是介绍极大似然估计的理论基础，包括似然函数和对数似然函数的定义，以及如何通过最大化似然函数来估计参数；其次是通过一个实际的例子，展示如何使用极大似然估计来求解参数。

理论基础似然函数是极大似然估计的核心概念之一。

似然函数是一个参数的函数，表示给定某个参数θ下观测数据出现的概率。

似然函数的定义如下：L(θ|X) = P(X|θ)数的函数，表示给定某个参数θ下观测数据出现的概率。

似然函数的值越大，则表示给定参数θ的取值越可能产生观测数据X。

对数似然函数是似然函数的对数变换，通常在实际计算中会更加方便。

它的定义如下：l(θ|X) = log L(θ|X)对数似然函数和似然函数存在着一一对应关系，因此在求解参数时，两者等价。

教学内容一、引入新课：矩估计法虽然简单，但是没有用到已知分布的信息。

而在极大似然估计法中，我们将改进这一点。

下面先通过一个例子来说明极大似然估计法的原理：例1 有两个外形相同的箱子，甲箱和乙箱，各有100个球，甲箱有90个黑球，10个白球，乙箱有10个黑球 ，90个白球。

很明显，两个箱中的优势球种完全不一样。

现在把甲乙两箱的标签撕掉，随机从一箱中，进行返回式抽取4次，其结果全为黑球，问所取的球来自哪一个箱子？我相信大家都会说是甲箱，因为它的可能性更大。

我们也可以进行如下计算来说明这个结果。

解：设i X 表示第i 次取球的结果)4,3,2,1(=i ，4321,,,X X X X 是相互独立的。

已知，443214321)1()1()1()1()1,1,1,1(p X P X P X P X P X X X X P ========== 若从甲箱中抽取，则9.0=p ，抽取4次全为黑球的概率为6561.0，若从乙箱中抽取，则1.0=p ，抽取4次全为黑球的概率为0001.0.0.0001是一个小概率，一般认为小概率事件在一次试验中是不可能发生的。

反过来也就说明一次试验中某事件发生了，这个事件的概率应该较大。

这就是极大似然估计法的基本思想。

二、讲授新课：1、极大似然法的基本原理：一个随机试验有若干可能结果， A ，B ，C 等等，然后进行了一次试验，如果结果A 出现了，我们认为试验的条件对A 的出现有利，也就是试验条件对A 的概率应该是最大。

把这样的原理用到参数估计上，就是总体X 服从分布中含有未知参数θ，在一次试验中出现了样本n x x ,,1 ，如何估计θ呢？极大似然估计的思想，试验的条件应该使这组样本观测值出现的概率最大。

所以，要计算参数θ就是寻找使样本观测值出现的概率达到最大值的θˆ。

这样找到的θˆ就是θ的极大似然估计值。

2、 极大似然法的步骤：(1)似然函数：);,,(1θn x x L );,,(11θn n x X x X P ===⎪⎪⎩⎪⎪⎨⎧==∏∏==似然函数是其密度函数是连续型随机变量时，当似然函数是其分布律是离散型随机变量时，当i n i i i ni i i X x f X x X P ,);(,)(11θ (2)取对数： );,,(ln 1θn x x L(3)求导：0);,,(ln 1=∂∂θθn x x L 似然方程 (4)求解似然方程，得参数的估计值。

极大似然估计极大似然估计（Maximum Likelihood Estimation，MLE）是Fisher提出的一种点估计方法，在很多场合都有应用。

根据字面意思理解，极大似然估计就是最大可能的一个估计，我们获得了样本数据后，根据已知的样本结果反推找到一个估计值，使得出现这种样本结果的可能性最大，这就是极大似然估计的基本思想。

极大似然估计的实际计算比较复杂，本文简单介绍其基本原理。

1. 似然函数要理解极大似然估计的基本原理，先要理解似然函数的概念。

例1 一家公司每次从供应商送来的一个批次的零件中随机抽取20件进行检验，以确定是否接收这批零件。

假定这批零件的批量很大，我们希望推断这批零件的不良率p。

抽取20件产品，可能的不良品件数是0~20的整数。

由于样本量与批量相比很小，可以近似认为抽到x件不良品的概率服从二项分布，计算公式为：式中x是随机变量的取值，p是该批产品的不良品率，是未知的，我们希望估计这个数值。

如果抽取20件产品中2件不良品，则这批产品的不良率是多少呢？20件产品中有2件不良品，不良率为10%，这个不良率是样本不良率，我们关心的是整个这批产品的不良率。

假定总体不良率为p，则抽取20件产品，抽到2件不良品的概率用下式计算：当总体不良率p取不同数值时，抽到2件不良品的概率是变化的，现在我们以总体不良品率p为横轴，以P(X=2)为纵轴画出二者之间的关系图，图中的函数称为似然函数。

可以看出当总体不良品率为0.1时，P(X=2)的值最大，大约是0.285。

2. 对数似然函数例2 一条生产线生产瓷砖，每100块瓷砖的瑕疵点数服从均值为λ的Poisson分布，λ未知。

抽取了两个随机样本，经过检查发现分别有10个和12个瑕疵点，求平均瑕疵点数λ。

我们知道，Poisson分布的概率计算公式是：似然函数是P(10)和P(12)二者的乘积：上式可以通过取自然对数简化：同样画出对数似然函数如下图：可以看出，当λ=11时对数似然函数最大，所以可以确定λ=DPU=11。

概率论中的极大似然估计和贝叶斯估计是两个重要的概率统计方法，它们在实际问题中都有着广泛的应用。

虽然它们的思想和理论有所不同，但是它们的目的都是为了找到最优的精度和效率的估计值。

一、极大似然估计极大似然估计是一种参数估计方法，用于确定某个未知参数的值。

在估计未知参数时，我们可以把这个参数想象成一个未知的点，而通过样本数据作为输入，就可以得到输出。

极大似然估计方法的目的就是在所有可能的输入中，选择能让输出概率最大的那个未知点的值。

举个例子，假设我们有一个包含50个人的样本，我们想知道这里面有多少人患有某种疾病。

我们假设这个患病率为p，那么患病的人数X就是一个二项式分布。

使用极大似然估计方法，我们通过观察样本数据，找到一个最能代表这个患病率的值。

这个最优的值要满足以下两个条件：1.它使得已知的样本数据出现的概率最大。

2.它是能够真实描述数据分布的。

在这个例子中，我们要找到最优的p值，使得在我们观测到的50个人中，恰好有x个人患病的概率最大，那么这个最大概率就是我们需要估计出来的患病率。

二、贝叶斯估计贝叶斯估计是一种基于贝叶斯定理的参数估计方法，它允许我们使用先验知识来估计参数。

在贝叶斯估计中，我们假设参数并不是一个恒定的值，而是一个概率分布。

这个概率分布被称为先验分布，它反映了我们关于参数的先前知识。

在样本数据输入之后，我们可以使用贝叶斯定理来更新我们对参数的估计，得到概率分布后验分布。

后验分布包含了更准确的信息，反映了我们对参数的新认知。

举个例子，假设我们要估计某种疾病的患病率，并且我们之前已经知道，在某些人群中这种疾病的患病率为0.5。

我们可以把这个先前知识，即患病率的先验概率，引入到概率模型中。

使用贝叶斯定理，我们可以得到这个患病率的后验概率，即在观测到当前数据后，我们对患病率的估计。

这个后验概率还可以反过来被用作先验概率，随着新的数据不断输入，我们的后验概率不断被更新和调整。

三、极大似然估计和贝叶斯估计的比较极大似然估计和贝叶斯估计各有优点与不足。

第1章 极大似然估计极大似然估计是非线性模型中非常重要的一种估计方法。

最小二乘法是极大似然估计在线性模型中的特例。

1.1 似然函数假设随机变量x t 的概率密度函数为 f (x t )，其参数用θ= (θ1, θ2, …, θk ) 表示，则对于一组固定的参数 θ 来说，x t 的每一个值都与一定的概率相联系。

即给定参数θ，随机变量x t 的概率密度函数为f (x t )。

相反若参数 θ 未知，当得到观测值x t 后，把概率密度函数看作给定x t 的参数 θ 的函数，这即是似然函数。

L (θ | x t ) = f (x t | θ )似然函数L (θ | x t ) 与概率密度函数f (x t | θ ) 的表达形式相同。

所不同的是在f (x t | θ ) 中参数 θ 是已知的，x t 是未知的；而在L (θ | x t ) 中x t 是已知的观测值，参数 θ是未知的。

对于n 个独立的观测值x =(x 1, x 2, …, x n )，其联合概率密度函数为1(|)(|)ni i f f x ==∏x θθ其对应的似然函数为：11(|)(|)(|)nn i i i i LnL LnL x f x ====∑∏θx θθ经常使用的是对数似然函数，即对L (θ| x t )取自然对数：LnL (θ | x t ) =log[f (x t | θ )]例 1.1正态分布随机变量的似然函数设一组随机变量x i ,（i = 1, 2, …, n ）是相互独立的，且服从正态分布N (μ,σ2)。

存在N 个独立的观测值x =(x 1, x 2, …, x n )。

x i 的似然函数为221/22()1(,|)(|,)exp (2)2i i i i x L x f x μμσμσπσσ⎛⎫-==-⎪⎝⎭=1i x μφσσ-⎛⎫- ⎪⎝⎭其中，φ表示标准正态分布的概率密度函数，2()2x x φ⎛⎫=- ⎪⎝⎭x i 的对数似然函数为：21(,|)ln()ln ()2i i i x LnL x μμσσφσ-⎛⎫=-+ ⎪⎝⎭其中，21ln ()ln(2)22x x φπ=--(x 1, x 2, …, x n )的联合似然函数为21(,|)ln()ln ()2n i i x n LnL μμσσφσ=-⎛⎫=-+ ⎪⎝⎭∑x=2221()ln()ln(2)222n i i x n n μσπσ=----∑ 例 1.2 泊松分布的对数似然函数假设每5分钟到达商店的顾客的数目服从Poisson 分布，有N 个样本观测值(x 1, x 2, …, x N )。

极大似然估计方法介绍极大似然估计（Maximum Likelihood Estimation, MLE）是概率统计中常用的参数估计方法之一，也是统计学中估计方法的基础之一、它的核心思想是通过最大化样本的似然函数来估计未知参数值。

在介绍极大似然估计方法之前，首先需要了解一些概率统计的基础知识。

1.似然函数：似然函数是一个关于参数的函数，其定义为给定参数下观察到的样本的概率密度函数（概率质量函数）的乘积。

似然函数表示了参数取值的可能性在给定观察数据下的程度。

2.最大似然估计：最大似然估计是一种基于观察数据的统计推断方法，通过寻找使得似然函数取得最大值的参数值来估计未知的参数。

下面以一个例子来说明极大似然估计的思想和步骤。

假设我们有一组观察数据{x₁,x₂,...,xx}，并假设这些数据服从一些分布，例如正态分布。

我们希望通过这组数据来估计正态分布的均值和方差。

步骤一：似然函数的建立对于正态分布，概率密度函数为：x(x，xx,x²)=(1/√(2xx²))*x^(-(x−xx)²/(2x²))其中xx和x²是未知参数，我们要通过观察数据来估计这两个参数。

对于一个具体的观察值xᵢ，其在给定参数xx和x²下的概率为x(xᵢ，xx,x²)。

那么样本的似然函数为：x(xx,x²)=x(x₁，xx,x²)*x(x₂，xx,x²)*...*x(xx，xx,x²)=∏[x(xᵢ，xx,x²)]步骤二：对数似然函数的计算为了方便计算，通常会对似然函数取对数，即对数似然函数：xx(x(xx,x²))=∑xx[x(xᵢ，xx,x²)]步骤三：最大化对数似然函数通过求解xx(x(xx,x²))对参数xx和x²的偏导数，令偏导数等于0，可以得到最大似然估计的闭式解。

如果无法解析求解，可以通过数值优化等方法来求得最大似然估计。