哈工大 模式识别第2章

ω1出现的可能性大
– 类条件概率: P(x|ω1)和P(x|ω2)
▪ 是在不同条件下讨论的问题 ▪ 即使只有两类ω1与ω2，P(x|ω1)+P(x|ω2)≠1 ▪ P(x|ω1)与P(x|ω2)两者没有联系
▪ 为什么后验概率要利用Bayes公式从先验概 率和类条件概率密度函数计算获得 ？
– 计算概率都要拥有大量数据
▪ 条件概率密度函数
– p(x|ωi)
▪ 后验概率
– P(ωi|X)
先验概率、后验概率、概率密度函数
– 假设总共有c类物体，用ωi (i=1,2,…,c)标记每 个类别，x = [x1, x2, …, xd]T，是d维特征空间 上的某一点，则
– P(ωi )是先验概率 – p(x| ωi )是ωi类发生时的条件概率密度函数 – P(ωi|x)表示后验概率
▪ 假设一个待识别的物理对象用其d个属 性观察值描述，称之为d个特征，每个 观察值即是一个特征。
▪ 这d个特征组成一个d维的向量，叫特征 向量。记为x = [x1, x2, …, xd]T
▪ d维待征所有可能的取值范围则组成了 一个d维的特征空间。
▪ 例：鲈鱼 ▪ 特征：长度：L=0~30 cm
宽度：W=10 cm~25 cm 亮度：G=0~10 ▪ 特征向量：A=(L，W，G) ▪ A 的各分量所占的三维空间就是对 鲈鱼 进行度量的特征空间。
– 引进一个与损失有关联的，更为广泛的概念—— 风险。
– 在作出决策时，要考虑所承担的风险。
– 基于最小风险的贝叶斯决策规则正是为了体现这 一点而产生的。
基于最小风险的贝叶斯决策
▪ 最小错误率贝叶斯决策规则
如果 :
P(i
|
X
)

max
j 1,2,...,c
P( j
|
X
)

X
i
▪ 实际上，C类中的每一类都有一定的样本的特征向量 取值X，只不过可能性大小不同而已。
第2章 贝叶斯决策理论
§2.1 引 言
▪ 模式识别是一种分类问题，即根据识别对象 所呈现的观察值，将其分到某个类别中去。
▪ 统计决策理论是处理模式分类问题的基本理 论之一，对模式分析和分类器的设计起指导 作用。
▪ 贝叶斯决策理论是统计模式识别中的一个基 本方法。
物理对象的描述----
特征及特征空间
X 1
▪ 在R1区内任一个x值都有P(w2|x)＜P(w1|x)， ▪ 在R2区内任一个x值都有P(w1|x)＜P(w2|x) ▪ 错误率在每个x值处都取小者，因而平均错误率
P(e)也必然达到最小
▪ 因而，按最大后验概率作出的决策，其平均错误 率为最小。
▪
C类别情况
如果:P(i
|
X
)

max
▪ (2)决策与决策空间。 对分类问题所作的判决，称之为决策， αi 。 由所有决策组成的空间称为决策空间。 A={α1, α2,….., αa}
c
p( X | i )P(i )
i 1
▪ 根据先验概率和概 率密度函数可以计 算出后验概率
后验概率
P(i | X )
p( X | i )P(i )
c
p( X | i )P(i )
i 1
类条件概率和后验概率
– 后验概率: P(ω1|x)和P(ω２|x)
▪ 同一条件x下，比较ω1与ω2出现的概率 ▪ 两类ω1和ω2，则有P(ω1|x)+P(ω2|x)=1 ▪ 如P(ω1|x)> P(ω2|x)则可以下结论，在x条件下，事件
失表示成: λ1 (2) 【虚警】
– 另外为了使式子写的更方便，我们也可以定义 λ1 (1)和λ2 (2)
– 是指正确判断也可有损失
两种决策
▪ X被判正常(ω1)的代价( 损失 )
R1(
X
)

(1) 1
P(1
|
X
)

(1) 2
P(2
|
X
)
▪ X被判癌细胞(ω2)的代价(损失)
R2 (
X
正确率：
所以：P(e)=1-P(c)
（可见：每次决策，正确率最大，即：P(C）最大，
所以，错误率最小）
2.3基于最小风险的贝叶斯决策
▪ 基本思想
– 使错误率最小并不一定是一个普遍适用的最佳选 择。
– 癌细胞分类
▪ 两种错误:
– 癌细胞→正常细胞 – 正常细胞→癌细胞
▪ 两种错误的代价(损失)不同
– 宁可扩大一些总的错误率，但也要使总的损失减 少。
如果我们把作出w1决策的所有观测值区域称为R1，则 在R1区内的每个x值，条件错误概率为p(w2|x)。 另一个区R2中的x,条件错误概率为p(w1|x)。
则：
P(e) R1P(2 | x) p(x)dx R2 P(1 | x) p(x)dx R1 p(x | 2 )P(2 )dx R2 p(x | 1)P(1)dx
P(e)
p( X
R1
| 2 )P(2 )dx
R2
p( X
| 1)P(1)dx

P(2 )
p( X
R1
| 2 )dx
P(1 )
R2
p( X
| 1)dx
P(2 )P2 (e) P(1)P1(e)
如果l(x) p( X | 1) P(2 ) , p( X | 2 ) P(1)
▪ 若引入风险（或损失）：
▪ 表示: X本属于ωj类，但作出决策ωj时所造成的损失 （风险）
▪则：本属于第j类，但决策为第i类的风险为

(i j
)
P(
j
|
X
)
▪因此，若取值为X的样本决策为第i类的平
均风险为：
c
Ri ( X )

(i j
)
P(
j
|
X
)
j 1
▪分类准则是使风险最小：
如果 :
则： X 1
▪ (4) 对数似然比（似然比处理器）
h(x) ln[l(x)]

ln
p( X
| 1)

ln
p( X
| 2 )

ln
P(1) P(2 )
则： X 1
▪ 例2.1 假设在某地区切片细胞中正常(ω1)和异
常(ω２)两类的先验概率分别为P(ω1)=0.9， P(ω2)=0.1。现有一待识别细胞呈现出状态x， 由其类条件概率密度分布曲线查得 p(x|ω1)=0.2，p(x|ω２)=0.4，试对细胞x进行 分类。
贝叶斯决策理论
▪ 贝叶斯决策理论前提
– 各类别总体的概率分布是已知的; – 要决策分类的概率分布是已知的。
▪ 贝叶斯决策理论方法所讨论的问题是：
– 已知:总共有c类物体，以及先验概率P(ωi)及类条 件概率密度函数p(x|ωi)
– 问题: 如何对某一样本按其特征向量分类的问题。
基于最小错误率的贝叶斯决策
▪ P(*|#)是条件概率的通用符号
– 即在某条件#下出现某个事件*的概率 – P(ωK|X):X出现条件下,样本为ωK类的概率
▪ P(*|#)与P(*)不同
– 例:*表示待识别的目标是敌人的导弹 #表示目前处于战争状态
– 则P(*|#)与P(*)不同含义不同
几个重要概念
▪ 先验概率
– P(ω1)及P(ω2)
j 1,...,c
P(
j
|
X
)
则： X i
也可写成先验概率与条件概率密度形式：
如果
:
p(
X
| i
)P(i
)

max
j 1,...,c
p( X
|

j
)P(
j
)
则： X i
多类别决策过程中的错误率计算：
1、把特征空间分割成R1，R2，…，Rc，C个区域 2、在每个区域Ri统计将所有其它类错误划为该区 域对应的类的概率，则每个区域共有c-1项错误率， 总共有c(c-1) 项 。（计算复杂）
▪ 先验概率
– 根据先验概率决定
P(1 P(1
) )

P(2 P(2
), ),
x x
1 2

– 这种分类决策没有意义 – 表明由先验概率所提供的信息太少
▪ 概率密度函数
– 利用对细胞作病理分析所观测到的信息，也就是 所抽取到的d维观测向量。
– 为简单起见，我们假定只用其一个特征进行分类， 即d=1
– 得到两类的类条件概率密度函数分布
▪ p(x|ω1)是正常细胞的属性分布 ▪ p(x|ω2)是异常细胞的属性分布
类条件概率密度函数
后验概率
– 我们的问题:
▪ 当观测向量为X值时,应该把该细胞分为哪个类别呢？
– 最小错误率的贝叶斯决策
▪ 该细胞属于正常细胞的概率P(ω1|x) ▪ 该细胞属于异常细胞的概率P(ω2|x)
▪ 分类识别中为什么会有错分类？
– 当某一特征向量值X只为某一类物体所特有，即
▪ 对其作出决策是容易的，也不会出什么差错
– 问题在于出现模棱两可的情况 – 任何决策都存在判错的可能性。
▪
基于最小错误率的贝叶斯决策
▪ 基本思想
– 分类准则：使错误率为最小 – 称之为基于最小错误率的贝叶斯决策
条件概率
几种常用的决策规则
▪ 不同的决策规则反映了分类器设计者的不同考虑， 对决策结果有不同的影响。
▪ 最有代表性的是： 1. 基于最小错误率的贝叶斯决策 2. 基于最小风险的贝叶斯决策 3. 在限定一类错误率条件下使另一类错误率为最小
的两类别决策(Neyman-pearson准则) 4. 最小最大决策