信号检测与估计理论(7)第七章 最大似然估计

最⼤似然估计详解⼀、引⼊ 极⼤似然估计，我们也把它叫做最⼤似然估计(Maximum Likelihood Estimation)，英⽂简称MLE。

它是机器学习中常⽤的⼀种参数估计⽅法。

它提供了⼀种给定观测数据来评估模型参数的⽅法。

也就是模型已知，参数未定。

在我们正式讲解极⼤似然估计之前，我们先简单回顾以下两个概念：概率密度函数(Probability Density function),英⽂简称pdf似然函数(Likelyhood function)1.1 概率密度函数 连续型随机变量的概率密度函数(pdf)是⼀个描述随机变量在某个确定的取值点附近的可能性的函数(也就是某个随机变量值的概率值，注意这是某个具体随机变量值的概率，不是⼀个区间的概率)。

给个最简单的概率密度函数的例⼦，均匀分布密度函数。

对于⼀个取值在区间[a,b]上的均匀分布函数\(I_{[a,b]}\)，它的概率密度函数为:\[f_{I_{[a,b]}}(x) = \frac{1}{b-a}I_{[a,b]} \]其图像为：其中横轴为随机变量的取值，纵轴为概率密度函数的值。

也就是说，当\(x\)不在区间\([a,b]\)上的时候，函数值为0，在区间\([a,b]\)上的时候，函数值等于\(\frac{1}{b-a}\)，函数值即当随机变量\(X=a\)的概率值。

这个函数虽然不是完全连续的函数，但是它可以积分。

⽽随机变量的取值落在某个区域内的概率为概率密度函数在这个区域上的积分。

Tips:当概率密度函数存在的时候，累计分布函数是概率密度函数的积分。

对于离散型随机变量，我们把它的密度函数称为概率质量密度函数对概率密度函数作类似福利叶变换可以得到特征函数。

特征函数与概率密度函数有⼀对⼀的关系。

因此，知道⼀个分布的特征函数就等同于知道⼀个分布的概率密度函数。

(这⾥就是提⼀嘴，本⽂所讲的内容与特征函数关联不⼤，如果不懂可以暂时忽略。

)1.2 似然函数 官⽅⼀点解释似然函数是，它是⼀种关于统计模型中的参数的函数，表⽰模型参数的似然性(likelyhood)。

详解最大似然估计、最大后验概率估计及贝叶斯公式最大似然估计（Maximum Likelihood Estimation，简称MLE）是一种参数估计方法，用于根据样本数据推断出最有可能的模型参数。

它的基本思想是在给定观测数据的情况下，选择使得观测数据出现的概率最大的参数值作为估计值。

假设有一个参数化的概率分布模型，其中包含一个参数θ，需要通过最大似然估计来估计θ。

给定一个观测数据集D，假设每个样本都是独立同分布的。

那么似然函数L(θ|D)可以定义为在给定参数θ下，观测数据集D出现的概率。

最大似然估计的目标是找到使得似然函数取得最大值的参数θ。

最大后验概率估计（Maximum A Posteriori Estimation，简称MAP）是一种结合了先验概率和似然函数的参数估计方法。

它与最大似然估计的区别在于引入了一个先验概率分布P(θ)来描述对参数θ的先验知识，通过贝叶斯公式结合似然函数和先验概率来得到后验概率分布P(θ|D)。

最大后验概率估计的目标是找到使得后验概率分布取得最大值的参数θ。

贝叶斯公式是统计学中一条重要的公式，它描述了在已知先验概率和条件概率的情况下，计算后验概率的方法。

假设有两个事件A和B，其中事件A是先发生的事件，事件B是在事件A发生的条件下发生的事件。

那么贝叶斯公式可以表示为：P(A|B) = P(B|A) * P(A) / P(B)其中，P(A|B)是在事件B已经发生的条件下，事件A发生的概率；P(B|A)是在事件A已经发生的条件下，事件B发生的概率；P(A)是事件A发生的先验概率；P(B)是事件B发生的先验概率。

在最大后验概率估计中，贝叶斯公式被用来计算后验概率分布P(θ|D)，其中P(θ)是参数θ的先验概率分布，P(D|θ)是在给定参数θ下，观测数据集D出现的似然函数。

最大后验概率估计通过最大化后验概率分布来估计参数θ的值。

第七章: 参数估计
7.1 矩估计
7.2 最大似然估计
7.3 估计量的优良性准则
7.4 正态总体的区间估计(一) *7.5 正态总体的区间估计(二) *7.6 非正态总体的区间估计
是在总体类型已知条件下使用的一种参数估计方法 .
它首先是由德国数学家高斯在1821年提出的 , Gauss
Fisher
然而，这个方法常归功于英国统计学家费歇 . 费歇在1922年重新发现了 这一方法，并首先研究了这 种方法的一些性质 .
§7.2 最大似然估计
最大似然估计法的基本思想就最大似然原理.
例1:设有一随机事件,已知它出现的概率p的可能值是0.01和0.99,若在一次试验中该事件就出现了,这时我们估计p 为0.99为更合理.
例2: 一个老猎人带领一个新手进山打猎,遇见一只飞奔的兔子,他们各发一弹,野兔被打中了,但身上只有一个弹孔,
最可能是谁打中的呢?不用问,我们认为是老猎人打中的更合理.
同样,机器出故障,有经验的修理工首先从最易损的部件查起.公安人员破案也是从最有嫌疑的人员开始查起.
最大似然原理:一次试验就出现的事件有较大的概率。

最大似然估计
分布中的未知参数 θ
进行估计 用途：根据从总体 X 中抽取的样本 1(,,)n X X …，对总体对离散型的随机变量：就是估计出概率函数中的参数 θ对连续型的随机变量：就是估计出概率密度中的 θ
θ这里说的总体未知参数通常指的是:
小结
本讲首先介绍参数矩估计的基本思想以及求矩估计的步骤，给出多个求参数矩估计的例子；然后介绍参数极大似然估计的基本原理，求极大似然估计的基本方法，给出多个求参数极大似然矩估计的例子。

作业：p150，7.1;7.2。

简述最大似然估计的原理最大似然估计是一种常见的参数估计方法，它的基本思想是在给定一组观测数据的情况下，通过选择最能解释这些数据的参数值来确定模型中未知参数的值。

在统计学中，最大似然估计被广泛应用于各种领域，如生物统计学、医学研究、金融分析等。

一、最大似然估计的基本思想最大似然估计是一种基于概率论的统计方法。

假设我们有一个样本集合X={x1,x2,…,xn}，其中每个样本都是从某个未知分布中独立地抽取而来。

我们希望通过这些样本来推断出该分布的参数θ。

因此，我们需要找到一个函数L(θ|X)，它能够给出在给定参数θ下观测到样本X 的概率密度函数（或概率质量函数）。

具体地说，对于连续型变量，L(θ|X)可以表示为：L(θ|X)=f(x1;θ)f(x2;θ)…f(xn;θ)其中f(xi;θ)表示在给定参数θ下观测到xi的概率密度函数；对于离散型变量，L(θ|X)可以表示为：L(θ|X)=f(x1;θ)f(x2;θ)…f(xn;θ)其中f(xi;θ)表示在给定参数θ下观测到xi的概率质量函数。

最大似然估计的基本思想是选择能够最大化L(θ|X)的参数值作为估计值。

也就是说，我们希望找到一个参数向量θ*，使得：L(θ*|X)=max{L(θ|X)}二、最大似然估计的实现方法在实际应用中，我们通常采用对数似然函数来简化计算。

因为对数函数是单调递增的，所以它可以保持最大值不变。

因此，我们可以将对数似然函数表示为：l(θ|X)=lnL(θ|X)=∑i=1nlnf(xi;θ)接着，我们需要求解使得l(θ|X)最大化的参数值。

这可以通过求解方程∂l(θ|X)/∂θ=0来实现。

由于这个方程通常很难直接求解，所以我们需要采用一些优化算法来近似地求解。

常见的优化算法包括牛顿法、梯度下降法、共轭梯度法等。

其中，梯度下降法是一种简单而有效的方法，在实际应用中被广泛采用。

梯度下降法的基本思想是通过迭代更新参数值，使得目标函数逐渐趋于最优解。

最大似然估计与参数的点估计最大似然估计(Maximum Likelihood Estimation, 简称MLE)是一种常用的统计推断方法，被广泛应用于各个领域中的参数估计问题。

通过选择使得样本观测值出现的概率最大的参数值，来估计未知参数。

在本文中，将介绍最大似然估计的原理和方法，并探讨参数的点估计。

一、最大似然估计的原理和方法最大似然估计的原理是基于概率论的思想和假设。

对于一个概率分布已知的模型，假设其参数为θ，观测到的样本为x。

最大似然估计的目标是找到一个最优的参数值θ^，使得在该参数值下，样本观测值x出现的概率最大。

我们可以通过以下步骤来求解最大似然估计：1. 建立概率模型：根据问题的具体情况，选择适当的概率分布模型，并对参数进行定义。

2. 构建似然函数：将观测样本的联合概率密度函数或者联合概率质量函数看作是参数θ的函数，记为L(θ|x)。

3. 求解最大似然估计：寻找使得似然函数取得最大值的参数θ^。

通常我们可以通过求解似然函数的导数为0的方程，或者对似然函数取对数后求解极值问题来找到最大似然估计。

最大似然估计具有很好的性质，包括可一致性、渐近正态性和高效性等。

它在统计推断中被广泛应用于参数的估计。

二、参数的点估计在最大似然估计中，通过寻找使得似然函数取得最大值的参数θ^，我们得到了参数的点估计。

点估计是指通过样本数据直接得到的对未知参数的估计。

对于最大似然估计，参数的点估计即为使得似然函数取得最大值时对应的参数值。

通过最大似然估计求得的参数估计值通常具有良好的统计性质，如一致性、渐近正态性等。

需要注意的是，最大似然估计得到的是一个点估计值，即对参数的一个具体估计。

在真实情况下，我们并不知道参数的真实值，所以通过点估计得到的估计值存在一定的误差。

三、总结最大似然估计是一种常用的参数估计方法，通过选择使得样本观测值出现的概率最大的参数值，来估计未知参数。

通过建立概率模型、构建似然函数以及求解最大似然估计，我们可以得到参数的点估计。

最大似然估计的原理及应用1. 原理概述最大似然估计（Maximum Likelihood Estimation，简称MLE）是统计学中一种常见的参数估计方法，通过寻找使观测数据发生的概率最大化的参数值，来估计未知参数的方法。

其基本原理是在给定观测数据的条件下，选择参数值使得似然函数（或对数似然函数）最大。

2. 最大似然估计的步骤最大似然估计的步骤可以总结为以下几点：1.建立概率模型：根据观测数据的特点，选择合适的概率分布模型，如高斯分布、泊松分布等。

2.构建似然函数：将观测数据与参数构成的概率模型相结合，得到关于参数的似然函数。

3.对似然函数取对数：通常对似然函数取对数，方便计算和推导。

4.求导并解方程：对似然函数取导数，并解方程找到使似然函数最大化的参数值。

5.参数估计：得到使似然函数最大化的参数值，作为对未知参数的估计。

3. 最大似然估计的优点最大似然估计具有以下几个优点：•简单易用：只需要建立合适的概率模型，并求解似然函数的最大值，无需额外的假设或先验知识。

•有效性：在样本量充足的情况下，最大似然估计能够产生高质量的参数估计结果。

•渐进无偏性：在样本量趋于无穷的情况下，最大似然估计的结果具有无偏性。

4. 最大似然估计的应用4.1. 二项分布的参数估计二项分布是一种常见的离散概率分布，用于描述n次独立的二元试验中成功次数的概率分布。

最大似然估计可以用来估计二项分布的参数。

假设我们观测到了一系列成功次数的数据，我们可以建立一个二项分布模型，并使用最大似然估计来确定二项分布的参数，如成功概率p。

4.2. 正态分布的参数估计正态分布是一种常见的连续概率分布，具有对称性和钟形曲线特点。

最大似然估计可以用来估计正态分布的参数，包括均值和方差。

假设我们观测到一组服从正态分布的数据，我们可以建立正态分布模型，并使用最大似然估计来确定正态分布的参数，如均值和方差。

4.3. 泊松分布的参数估计泊松分布是一种常见的离散概率分布，用于描述单位时间内独立事件发生次数的概率分布。

最⼤似然估计（极⼤似然估计）⽬录概率与似然对于最⼤似然估计我们使⽤最简单的抛硬币问题来进⾏讲解概率当我们抛⼀枚硬币的时候,就可以去猜测抛硬币的各种情况的可能性,这个可能性就称为概率⼀枚质地均匀的硬币,在不考虑其他情况下是符合⼆项分布的,即正⾯和翻⾯的概率都是0.5,那么我们抛10次硬币5次正⾯在上⾯的概率为:P(5次正⾯朝上)=C5100.55(1−0.5)5=0.24609375≈0.25似然但是现实⽣活中,我们并不知道硬币是否均匀,那么我们就需要通过多次抛硬币来推测硬币是否均匀或者说推测硬币每⼀⾯朝上的概率,这就是似然最⼤似然估计那么什么是最⼤似然估计(⼜称极⼤似然估计)呢?所谓的最⼤似然估计其实就是假设硬币正⾯朝上的概率,然后计算实验结果的概率是多少,概率越⼤,那么这个假设的概率越可能是真的。

假设我们投了10次硬币,其中有6次正⾯朝上,那么我们根据这个实验结果对其进⾏假设我们可以先假设正⾯朝上的概率为0.5,那么达到实验结果的概率为:P=C6100.56(1−0.5)4=0.205078125≈0.21我们还可以假设正⾯朝上的概率为0.6,那么达到实验结果的概率为P=C6100.66(1−0.6)4=0.25082265600000003≈0.25那么我们就可以说,正⾯朝上的概率为0.6要⽐0.5的更有可能。

当然,我们仅仅⽐较这两种情况是不够的,我们需要将所有的情况都进⾏对⽐,然后求出最⼤的可能性。

接下来我们使⽤作图的⽅法来看⼀下最有可能的取值根据上图我们可以看出，可能性最⼤的应该是正⾯概率为0.6的时候。

以上通过实验结果，然后对相应的概率进⾏假设，从⽽得到最有可能造成测试结果的概率的过程，就称为最⼤似然估计Processing math: 100%。

一、填空题说明填空题（每空1分，共10分）或（每空2分，共20分）二、第1章填空题1．从系统的角度看，信号检测与估计的研究对象是 加性噪声情况信息传输系统中的接收设备 。

从信号的角度看，信号检测与估计的研究对象是 随机信号或随机过程 。

2．信号检测与估计的基本任务：以数理统计为工具，解决接收端信号与数据处理中 信息恢复与获取 问题。

3．信号检测与估计的基本任务：以数理统计为工具，从被噪声及其他干扰污染的信号中 提取、恢复 所需的信息。

4．信号检测是在噪声环境中，判断 信号是否存在或哪种信号存在 。

信号检测分为 参量检测和 非参量检测 。

参量检测是以 信道噪声概率密度已知 为前提的信号检测。

非参量检测是在 信道噪声概率密度为未知 情况下的信号检测。

5．信号估计是在噪声环境中，对 信号的参量或波形 进行估计。

信号估计分为 信号参量估计和 信号波形估计 。

信号参量估计是对 信号所包含的参量（或信息） 进行的估计。

信号波形估计是对 信号波形 进行的估计。

6．信号检测与估计的数学基础：数理统计中贝叶斯统计的 贝叶斯统计决策理论和方法 。

三、第2章填空题1．匹配滤波器是在输入为 确定信号加平稳噪声 的情况下，使 输出信噪比达到最大 的线性系统。

2．匹配滤波的目的是从含有噪声的接收信号中，尽可能 抑制噪声，提高信噪比 。

3．匹配滤波器的作用：一是使滤波器 输出有用信号成分尽可能强 ；二是 抑制噪声，使滤波器输出噪声成分尽可能小 。

4．匹配滤波器的传输函数与输入 确定信号频谱的复共轭 成正比，与输入 平稳噪声的功率谱密度 成反比。

3．匹配滤波器传输函数的幅频特性与输入 确定信号的幅频特性成 正比，与输入 平稳噪声的功率谱密度 成反比。

4．物理不可实现滤波器也称作非因果滤波器：是指 物理上不可能实现或不满足因果规律 的滤波器。

5．物理不可实现匹配滤波器的冲激响应)(t h 满足： 0)(≠t h ， ∞<<∞-t 。

最大似然相位估计最大似然相位估计是一种常用的参数估计方法，在信号处理和通信领域有广泛的应用。

该方法基于最大似然估计原理，通过寻找能使观测信号的概率密度函数达到最大的参数值来估计信号的相位。

最大似然相位估计方法可以有效地提取信号中的相位信息，对于提高信号的解调和恢复的性能具有重要的意义。

在估计信号相位的问题中，通常假设信号是高斯分布的，且只有相位是未知的，其它参数如幅度和频率是已知的。

基于这些假设，可以通过对信号进行采样和处理，利用最大似然估计方法估计信号的相位。

最大似然相位估计方法的核心思想是找到最大化似然函数的参数值。

似然函数是给定观测信号的条件下，参数的取值的概率密度函数。

通过对似然函数取对数，可以将似然函数的最大化问题转化为最小化问题。

最大似然估计方法的目标是找到使似然函数取最小值的参数。

最大似然相位估计方法的具体实现步骤如下：1. 建立似然函数：首先根据观测信号的概率密度函数和已知参数，建立似然函数。

通常假设观测信号为高斯分布，因此似然函数可以表示为观测信号的概率密度函数。

2. 取对数化：对似然函数取对数，将似然函数的最大化问题转化为最小化问题。

对数化后的似然函数通常被称为对数似然函数。

3. 求导计算：对对数似然函数进行求导，计算其关于参数的一阶导数。

根据导数为零的条件，求得使对数似然函数取最小值的参数值。

4. 解方程求解：将导数为零的条件转化为方程，通过求解方程得到参数的估计值。

在实际计算中，通常采用迭代方法求解方程。

最大似然相位估计方法的优点是估计结果的无偏性和一致性，即在样本数量趋于无穷的情况下，估计值将无偏且收敛于真实值。

此外，最大似然相位估计方法在高斯噪声下具有最小均方误差的性质，可以提高信号的解调和恢复的性能。

然而，最大似然相位估计方法也存在一些限制。

首先，该方法对于非高斯分布的观测信号不适用。

其次，在实际应用中，观测信号通常存在噪声的影响，噪声的存在会导致估计结果的偏差。

因此，需要对噪声进行建模，并考虑噪声对估计结果的影响。

最大似然估计原理
最大似然估计原理是统计学中用于估计参数值的一种经典方法，它是一种建立在概率统计基础上的数理估计方法，它可以根据样本数据估计出参数值，使这些参数值最大可能地满足样本观测到的结果。

最大似然估计原理将估计参数的问题转换为寻找最大概率问题，也就是在指定参数后，最大程度的满足样本的观测结果。

通过计算样本数据的占比，来计算概率分布函数，为求解参数值作准备。

求解参数值的过程中，优化的目标就变成了求解使概率函数最大的参数值，这样就可以得到更准确的估计参数值了。

最大似然估计把求解参数值的问题，转换为求解一个函数极值的问题，利用数学计算（有专门的最大似然估计方法），求解出参数值。

由此，最大似然估计实际上就是以概率统计的观点来确定搜索空间，在这个搜索空间中尽可能有效地寻找最优参数组合，使参数值尽可能地满足样本结果的方法，这种方法的优势在于它的灵活性，可以用来处理复杂的模型和参数组合。

总之，最大似然估计原理是一种非常有效的估计参数值的方法，利用这种方法可以获得更准确的参数值，有利于提高统计模型的准确性，提高对数据分析的准确性，和对问题更好的解决。