第2章 贝叶斯决策理论

P (2 ) P2 (e) P (1 ) P 1 ( e)
基于最小错误率的贝叶斯决策

多类情况下的贝叶斯决策规则
(1) P(i | x) max P( j | x)
j 1, ,c j 1, ,c
x i x i
(2) p( x | i ) P(i ) max p( x | j ) P( j )
基于最小错误率的贝叶斯决策
考虑贝叶斯公式
P(i | x) p( x | i ) P(i ) i 1, 2,
p( x | ) P( )
j 1 j j
c
,c
癌细胞识别问题中c=2
p( x) p( x | j ) P( j )为一因子
j 1 c
贝叶斯公式通过类条件概率密度形式的观察值，将先验 概率转化为后验概率。
R(i | x) (i , j ) P( j | x), i 1,2, , a
j 1 c
（3）取（2）中条件风险最小的决策，采取该行动。
基于最小风险的贝叶斯决策
例：在最小错误率例题基 础上，利用决策表按最小 风险贝叶斯决策进行分类。
1
1
2
0 1
2
6 0
解：前例已计算出P(1 | x) 0.818, P(2 | x) 0.182
基于最小风险的贝叶斯决策
直观上对数字信号的判断如下图
x 0.5
1 x 0
2 1
信号受0均值高斯噪声影响，输入为0时，幅值的概率密度为
p( x | 1 ) 1 ( x 0)2 exp[ ] 2 2 2
输入为1时，幅值的概率密度为
p( x | 2 ) 1 ( x 1)2 exp[ ] 2 2 2
(1) P(i | x) P( j | x), j 1, 2, , c, 且j i x i , c, 且j i x i , c, 且j i x i x i (2) p( x | i ) P(i ) p( x | j ) P( j ), j 1, 2, p( x | i ) P( j ) (3)l ( x) , j 1, 2, p( x | j ) P(i )
P(1 ) P(2 )

1 , 正常 x 2 , 异常
此种判断方法是否合理？
利用信息太少！
基于最小错误率的贝叶斯决策
加入特征—细胞光密度
d 1 x [ x1 ]T
章前假设：各类总体概率密度为已知，即 已知类条件概率密度 p( x | 1 ), p( x | 2 ) 此时已知分类类别数、先验概率及类条件概率密度， 可重新进行决策。
基于最小风险的贝叶斯决策
定义损失函数 (i , j )
i 1, 2, , a; j 1, 2, ,c
其表示真实状态为 j ，而采取决策 i 所带来的损失。
针对特定x采取决策 i 的条件期望损失（条件风险）为
R(i | x) E[ (i , j )] (i , j ) P( j | x), i 1, 2,
j 1 c
,a
针对所有x的期望风险定义为 R R ( | x ) p ( x )dx 欲令R最小，须令针对每一x的条件风险最小。
基于最小风险的贝叶斯决策
最小风险贝叶斯决策规则
R( k | x) min R( i | x)
i 1, , a
k
步骤：
（1）计算后验概率
（2）利用后验概率及决策表计算针对某一x采取a种决策 的a个条件期望损失
基于最小风险的贝叶斯决策
解：最小风险决策的似然比形式
1 R(1 | x) R( 2 | x), x 2 11 p( x | 1 ) P(1 ) 12 p( x | 2 ) P(2 ) 21 p( x | 1 ) P(1 ) 22 p( x | 2 ) P(2 ) (21 11 ) p( x | 1 ) P(1 ) (12 22 ) p( x | 2 ) P(2 ) 1 p( x | 1 ) (12 22 ) P(2 ) , x p( x | 2 ) (21 11 ) P(1 ) 2
试对该细胞x进行分类。 解：
P(1 | x)
p( x | 1 ) P(1 )
p( x | ) P( )
j 1 j j
2
0.2 0.9 0.818 0.2 0.9 0.4 0.1
P(2 | x) 1 P(1 | x) 0.182 P(1 | x) 0.818 P(2 | x) 0.182 x 1
j 1
R(1 | x) R( 2 | x) x 2
结果与前例相反，Why?
基于最小风险的贝叶斯决策

两例结果相反的原因
最小风险决策规则在考虑错误率的同时考虑了“损失”， 而上例中将异常细胞判为正常的代价较大，占“主导”作用， 故产生相反的结果。

决策表直接影响决策结果，制定应慎重。
R(1 | x) 1 j P( j | x) 11P(1 | x) 12 P(2 | x) 6 0.182 1.092
j 1 2 2
R( 2 | x) 2 j P ( j | x) 21P (1 | x) 22 P (2 | x) 1 0.818 0.818
2.1 引言

符号规定
分类类别数：c i , 间维数：d x [ x1, x2 , d维特征空间中的特征向量：
P(i ) 先验概率： 类条件概率密度： p( x | i )
, xd ]T
2.2 几种常用决策规则

最小错误率的贝叶斯决策规则 最小风险决策规则 Neyman-Pearson决策规则 极小极大决策规则
第2章 贝叶斯决策理论
常用决策规则 分类器设计
正态分布情况下的贝叶斯决策
实验内容
2.1 引言
贝叶斯决策理论是统计模式识别的基本理论，其假设
（1）各类别总体的概率分布是已知的； （2）要决策分类的类别数是一定的。 贝叶斯决策理论研究了模式类的概率结构完全知道 的理想情况。这种情况实际中极少出现，但提供了一个 对比其它分类器的依据，即“最优”分类器。
p( x | 1 ) P(1 )
p( x | 2 ) P(2 )
x
概率密 度估计
. . .| M ) P(M ) p( x
最大值 选择器
判别结果
M进制贝叶斯分类器
2.3 分类器设计

决策面—划分决策域的边界 判别函数—用以表达决策规则的函数
x2
决策面
0
x1
2.3 分类器设计
多类情况下的4种贝叶斯决策规则
参照两类情况，也可得到平均错误率最小的分类结果
基于最小风险的贝叶斯决策
考虑风险，如

癌症诊断问题 空袭警报问题 制药企业药品合格检定问题
因此须考虑减小损失（或代价） 最小风险贝叶斯决策是一种令各种错误造成 的损失（风险）最小化的决策。
基于最小风险的贝叶斯决策
决策会带来相应的损失，以决策表来定义
i 1, , c
P ( j | x) min
j 1 j k
c
i 1, , c
P(
j 1 j i
c
j
| x) P (i | x) max P ( j | x)
j 1, , c
基于最小风险的贝叶斯决策
通信例题：
下图为一信号通过受噪声干扰的信道
0,1 信道 x 分类器
基于最小错误率的贝叶斯决策
基本思想：利用贝叶斯公式使分类错误率达到最小。 癌细胞识别问题： 选择癌细胞的d个特征
1 ,正常 x 2 ,异常
经调查统计，得先验概率P(1 ) P(2 )
P(1 ) P(2 ) 1
基于最小错误率的贝叶斯决策
仅依靠先验概率进行判断，其决策规则为
均值为真实信号，噪声在其上波动
基于最小风险的贝叶斯决策
似然比
p( x | 1 ) 1 2 x (12 22 ) P(2 ) exp 2 p( x | 2 ) 2 (21 11 ) P(1 ) 1 x 2
0 1
12 P(1) 1 1 2 x 12 P(1) 2 exp x ln , x 1 2 2 2 21 P(0) 21 P(0) 12 P(1) 1 1 2 x 12 P(1) 2 exp x ln , x 2 2 2 2 21 P(0) 21 P (0)
P(1 ) (4)h( x) ln[l ( x)] ln p( x | 1 ) ln p( x | 2 ) ln P (2 )
基于最小错误率的贝叶斯决策
例：假设在某个局部地区细胞识别中正常和异常两类的先验概率分别为 P(1 ) 0.9 正常状态： P(2 ) 0.1 异常状态： 现有一待识别的细胞，其观察值为x，类条件概率密度分别为 p( x | 1 ) 0.2, p( x | 2 ) 0.4
基于最小错误率的贝叶斯决策
类条件概率密度与后验概率图示
基于最小错误率的贝叶斯决策
两类问题最小错误率贝叶斯决策规则：
(1) P(i | x) max P( j | x)
j 1,2 j 1,2
x i x i 似然比形式 1 x 2
(2) p( x | i ) P(i ) max p( x | j ) P( j ) p ( x | 1 ) P(2 ) (3)l ( x) p ( x | 2 ) P(1 ) 1 x 2
基于最小错误率的贝叶斯决策
关于错误率最小的讨论（一维情况） 错误率是指平均错误率P(e) 令每一个x都取使P(e|x) P (e) P (e, x) dx P (e | x) p ( x) dx 最小的值，则所有x产生 P (2 | x) P (1 | x ) 的平均错误率最小。 P (1 | x )