条件概率密度函数的最大似然估计

• 方法：通过将似然函数对未知参数求偏导数，并令其为0，解方程组得到未知参数 的估计量
• 正态分布：均值——无偏估计；方差——渐近无偏估计
– 基于最大似然估计对模式进行分类决策
25
END
26
)
2
)2
1 N1
N(xkμ ))2
（无偏）
k1
推广到多元正态分布
18
讲授提纲
• 问题提出 • 最大似然估计 • 基于最大似然估计的模式分类实例
19
基于最大似然估计的模式分类实例
？
已知条件：
① 80条鲑鱼，20条多宝鱼 ② 对于宽度特征，两类鱼均服从正态分布 ③ 箱中这条鱼的宽度为10cm
θ[1,2]T[,2]T
• 已知 X{x1,x2,...,xN}，利用最大似然估计法，针对上述样本集，
求出均值与方差的估计值
θ ) [) 1 ,) 2 ] T [),)2 ] T
16
对数似然函数
H()lnp(xk|)1 2ln(22)1 2
xk 2
H
1
N
0
1
2 1
H
1
N
0
2
2 1
21 1 m in( X )
2 max( X )
15
例：正态分布函数的最大似然估计
• 单变量正态分布的概率密度函数
p(x|)
21 exp1 2
x 2
• 要求的未知参数（均值与方差）
0 )1 2 k1
N k 1
(
x
k
)

)
2 2
1
)2
17
)
1

)

1 N
N
xk
k 1
)
2
) 2

1 N
N
( xk ) )2
k 1
解释：
正态分布总体均值的最大似然估计量是样本属性值的算术平均（无偏）
正态分布总体方差的最大似然估计量是样本方差的算术平均（渐进无偏）
)5)2 0.05
• 多宝鱼关于宽度特征的均值和方差的最大似然估计结果： )9)2 0.05
22
Step3：后验概率计算
0.45 0.4
0.35 0.3
0.25 0.2
0.15 0.1
0.05 0 0
p(x|w1) p(x|w2)
5
10
15
关于宽度特征的类条件概率密度曲线
p(w1|x)
10
最大似然估计的主要思想
• 最大似然估计的主要思想：如果在一次观察中一个事件出现了，则
我们可以认为这一事件出现的可能性很大。现在，样本集（x1,…xN ）在 一次观察（从概率总体中抽取一组样本）中居然出现了，则我们认为似 然函数 l(θ) 应该达到最大值 • 为了便于分析，可以取似然函数的对数，即 H(θ)lnl(θ)
2
讲授提纲
• 问题提出
–贝叶斯决策论 –贝叶斯公式
• 最大似然估计 • 基于最大似然估计的模式分类实例
3
问题提出（1/4）
80条鲑鱼，20条多宝鱼
4
问题提出（2/4）
？
第一种情况：不知晓这条鱼的任何信息，判决依据P(ωi)的大小；结论： 鲑鱼 第二种情况： 给你这条鱼的宽度值 x，判决依据P (ωi| x)；
贝叶斯决策论
5
问题提出（3/4）
• 贝叶斯公式
类条件概率密度 先验概率
根据领域知识或大量样本中计算
后验概率
各类样本所占的比例得到
p(i|x)

p(x|i) p(i)
p(x)
• 用非正式的英语表述
总体密度
所有样本关于特征x的概率密度
6
问题提出（4/4）
函数形式
已知 未知
估计目标
估计方法
函数中的未知参数
参数估计
（ 最大似然估计、贝叶斯估计 ）
函数形式
非参数估计 （kn近邻估计、Parzen窗法 ）
7
讲授提纲
• 问题提出 • 最大似然估计
–假设条件 –主要思想 –求解方法及解的分析 –正态分布参数的最大似然估计
• 基于最大似然估计的模式分类实例
8
最大似然估计的假设条件
假设条件： ①类条件概率密度函p(x数|ωi形) 的式函数已形知式是已知的，但是其中的某些参
• 设ωi类样本集有 N 个样本
X{x1,...,xN}
它们是独立地按照概率密度 p(x | ωi ，θ ) 抽取出来的（独立同分布样本）
• 似然函数可以表示为：
N
l( θ ) p ( x 1 ,...,x N |θ )p ( x 1 |θ ) ...p ( x N |θ ) p ( x k |θ ) k 1 含义：从总体中抽取 x1,…xN 这样 N 个样本的联合概率（可能性）
问题：对箱中的鱼进行贝叶斯分类决策
20
Step1：数据准备
• 数据获取：对80条鲑鱼和20条多宝鱼分别测得他们的宽度值
• 数据预处理：剔除野值数据（如发育不正常的个例）
• 特征形成：每一条鱼有两个数据：
✓ 类别标识
✓ 宽度（特征）
+1 6.2 +1 5.7 …… -1 8.9 -1 9.5 …….
• 对数函数是单调增函数，H(θ) 与 l(θ) 的最大值点相同
11
求最大似然估计量的方法
• 如果H(θ) 满足连续可微的数学性质，可以直接应用高等数学的知识来求最
大值点，即求梯度（偏导数）,并令其等于零，解线性或者非线性方程组得 到估计量
• 假设： θ[1,...,S]T 有s个参数
• 梯度算子
p(w1|x)
1
p(w2|x)
0.8
决策结果：该鱼为多宝鱼
0.6
0.4
0.2
0
0
5
10
15
24
小结
– 概率密度函数估计的目的与基本概念
• 目的：用于最小错误率贝叶斯决策分类 • 概念： 某类关于特征x的概率分布，依据分布函数形式是否已知，可将估计方法分
为两类
– 最大似然函数参数估计方法,并应用于正态分布中的参数估计(均值与方差)
21
Step2 ：类条件概率密度函数估计
• 两类样本分别满足各自的正态分布，利用最大似然估计方法分别求出鲑
鱼和多宝鱼关于宽度特征的均值和方差的最大似然估计量为
)
1

)

1 N
N
xk
k 1
)
2
) 2

1 N
Hale Waihona Puke Baidu
N
( xk ) )2
k 1
• 鲑鱼关于宽度特征的均值和方差的最大似然估计结果：
H (θ) 0
从中求解出 θ 的最大似然估计量
13
最大似然估计结果的分析
① 可能存在多个解
解决方法：使得似然函数最大的解才是最大似然估计量
14
② 有可能求不出正确的解（比如均匀分布）
p(x|)


2
1
1
,1

2
0, otherwise
H ()N ln (21)
数是未知的
②待估计参数θ 是参确定数性确的定未知但量未知
③按类别将样本划分 c 类，第 i 样本都是从类条件概率密度 p(x |ωi )
的总体中独立地抽取样出来本的独立同分布 ④第 i 类的样本不包类含类有关互θ不j (i≠干j)的扰信息。不同类别的函数在参数上
相互独立，每一类样本可以独立进行处理
9
1 2ln(2
)1(xk1)2
2 2 2
求偏导数

(xk 1)


lnp(xk
|θ) 212
2
(xk 1)2 222

N
H(θ) lnp(xk|θ)0 k1

N
)
0 (
x
k
)

1
)
2
k 1
N
模式识别
条件概率密度函数的最大似然估计
Maximum Likelihood Estimation of Class-conditional Probability Density Function
任课教师： 刘琼 自动化学院
教材：模式识别（第三版） 张学工编著 清华大学出版社
讲授提纲
• 问题提出 • 最大似然估计 • 基于最大似然估计的模式分类实例
1
p(w2|x)
0.8
0.6
0.4
0.2
0
0
5
10
15
关于宽度特征的后验概率曲线
p ( i|x) p (x| i)p (x ) p ( i)= 2 p (p x (x | | i)i) p (p ( i)i) i 1
23
Step4：分类决策
• 当黑箱中鱼的宽度为10cm时




1




...

S
12
• 求解过程：
N
l(θ) p(xk | θ) k 1 N
H (θ) ln l(θ) ln p(xk | θ) k 1 N
H (θ ) ln p( x k | θ ) k 1