P(1 | X )
p( X | 1 ) P(1 )
p( X | )P( )
i 1 i i
2
0.2 0.9 0.818 0.2 0.9 0.4 0.1
P(2 | X ) 1- P(1 | X ) 1 0.818 0.182
P(1 | X ) 0.818 P(2 | X ) 0.182
2.5 最小最大决策
先验概率值在一定范围内变化，如何使可能 的最大风险是最小的。 先验概率未知。
两类问题
λ11----当X∈ω 1时决策为X∈ω1的损失。 λ21----当X∈ω 1时决策为X∈ω2的损失。 λ12----当X∈ω 2时决策为X∈ω1的损失。 λ22----当X∈ω 2时决策为X∈ω2的损失。 一般：λ21〉λ11及λ12〉λ22 风险：R R( ( X ) | X ) P( X )dX
X 1
最小错误率决策与最小风险决策的错误率
p( X | 1 ) P(2 ) 如果l ( x) , p( X | 2 ) P(1 )
如果l ( x )
X 1
) p( X | 1 ) P(2（12 - 22） , p( X | 2 ) P(1（21 - 11） )
则：
X i
j 1,...,c
计算多类别决策过程中的错误率： 1、把特征空间分割成R1，R2，…，Rc 个区域 2、在每个区域Ri统计将所有其它类错 误划为该区域对应的类的概率，则每个 区域共有c-1项错误率，总共有c(c-1) 项。 正确率：
所以：P(e)=1-P(c)，
2.3基于最小风险的贝叶斯决策
第2章 贝叶斯决策理论
§2.1 引 言
模式识别是一种分类问题，即根据识别对象 所呈现的观察值，将其分到某个类别中去。 统计决策理论是处理模式分类问题的基本理 论之一，对模式分析和分类器的设计起指导 作用。 贝叶斯决策理论是统计模式识别中的一个基 本方法。
待征及特征空间。
假设一个待识别的物理对象用其d个属 性观察值描述，称之为d个特征。 这d个特征组成一个d维的向量，叫特征 向量。 d维待征所有可能的取值范围则组成了 一个d维的特征空间。
基于最小错误概率的贝叶斯决策
基于最小错误概率的贝叶斯决策理论就是按后验 概率的大小作判决的 1、后验概率
如果
P(i | X ) max P( j | X )
j 1,2
则
X i
(2) 如用先验概率及类条件概率密度函 数表示，则有
若：p( X | i ) P(i ) max p( X | j ) P( j )
R1 R2
错误率
p( X | 1 ) P(2 ) 如果l ( x) , p( X | 2 ) P(1 )
X 1
C类别情况
如果: (i | X ) max P( j | X ) P
则：
X i
j 1,...,c
也可写成先验概率与条件概率密度形式：
如果 : p( X | i )P(i ) max p( X | j ) P( j )
损失
(2) ：X确实是正常(ω1) ，但被判癌细胞(ω2)的代价 1
( R2 ( X ) 1( 2) P(1 | X ) 22) P(2 | X )
定义
(1)自然状态与状态空间。 自然状态：指待识别对象的类别: ωi 状态空间Ω：由所有自然状态所组成的空间 Ω={ω1，ω2，…，ωc} (2)决策与决策空间。 对分类问题所作的判决，称之为决策， αi 。 由所有决策组成的空间称为决策空间。 A={α1, α2,….., αa} 决策不仅包括根据观测值将样本划归哪一类别(状态)，还可包 括其它决策，如“拒绝”等，因此决策空间内决策总数a可以 不等于类别数c
2.4在限定一类错误率条件下使另一 类错误率为最小的两类别决策
最小错误率或最小风险决策方法: 先验概率已知。 先验概率的数值对决策有很密切的关系。 先验概率不知道，或先验概率发生变化的情 况。 在这种情况下，如果仍按某一组先验概率 值P(ωi)作决策，则很可能使实际的决策效果 有较大的错误率或较大风险。
Neyman-Pearosn决策：阈值是常数λ
求解λ
在高维时，直接求解λ是不容易的。 似然比函数：l(x)=p(X|ω1)/ p(X|ω2) 似然比密度函数：p(l|ω2) 则：
P2 (e) 1 p(l | 2 )dl 0
0
一般可利用P2(e)与λ值之间存在的单调函数关系， 采用选择一些λ值的试探法，使P2(e)=ε0条件满足， 又能使P1(e)尽可能小。
i 1
类条件概率密度函数
后验概率
P(i | X )
p( X | i ) P(i )
p( X | )P( )
i 1 i i
c
例：癌细胞的识别
识别的目的是要依据观察的细胞（用向量X 表示）将细胞划分为正常细胞或者异常细胞。 设：ω１表示是正常细胞，而ω２则属于异 常细胞。 设正常与异常细胞出现的概率分别为： P(ω1)及P(ω2) 决策规则： P(ω1)〉P(ω2) ω=ω1 P(ω1)<P(ω2) ω=ω2 ！不合理
那末能否在这种情况下，找到一种合适的 分类器设计，使其最大可能的风险为最小？ 换句话说，如果先验概率值在较大范围内变 化，就可能产生的最大风险而言是最小的。 限定某一种错误率条件下，使另一类错误 率最小决策，也称Neyman-Pearson决策规 则，既是此类方法。
两类别问题中可能出现两种错误分类
2.2基于最小错误率的贝叶斯决策
分类识别中为什么会有错分类？在何种情况 下会出现错分类？错分类可能性有多大？ 条件概率P(*|#)：在某条件#下出现某个事件* 的概率。 P(ω|X)是表示在X出现条件下，样本为ω类的 概率。
先验概率、后验概率、概率密度函数
先验概率P(ω1)、P(ω2) 后验概率P(ω1|X)、P(ω2|X) 联合概率P(X,ω1)、P(X,ω2) 类条件概率密度函数p(X|ω1)、p(X|ω2)
[11P(1 ) p( X | 1 ) 12 P( 2 ) p( X | 2 )]dX
R1
21P(1 ) p( X | 1 ) 22 P( 2 ) p( X | 1 )dX
R2
利用 : P(1 ) P(2 ) 1
及 p( X | 1 )dX 1 p( X | 1 )dX
R1 R2
在R1区内任一个x值都有P(w2|x)＜P(w1|x)， 在R2区内任一个x值都有P(w1|x)＜P(w2|x按最大后验概率作出的决策，其平均错误率为 最小。 也可写成：
P(e) p( X | 2 )P(2 )dx p( X | 1 )P(1 )dx
R1/R2:作出w1/w2决策的所有观测值区域
条件错误概率为P(w2|x), P(w1|x)
则： P(e) R1 P(2 | x) p( x)dx R 2 P(1 | x) p( x)dx
p( x | 2 ) P(2 )dx p( x | 1 ) P(1 )dx
X i
例：病理切片
ω1表示病理切片正常 ω 2表示病理切片异常 P(ω 1|X)与P(ω 2|X)分别表示两种可能性大小 ( 21)：X确实是癌细胞(ω2)，但被判正常(ω1)的代价 损失 ( R1( X ) 1(1) P(1 | X ) 21) P(2 | X )
先验概率、后验概率、概率密度函数
Bayes 公式
P( X , i ) p( X | i )P(i ) P(i | X ) p( X )
p( X | i ) P(i ) P(i | X ) p( X ) p( X | i ) P(i ) c p( X | i )P(i )
j 1 ,2
则： X i (3)用比值的方式表示-----似然比
p( X | 1 ) P(2 ) 如果l ( x) p( X | 2 ) P(1 )
则： X 1
对数似然比
h( x ) ln[l ( x )] P(1 ) ln p( X | 1 ) ln p( X | 2 ) ln P(2 )
(3)损失函数λ(αi|ωj) (或写成λ(αi,ωj))。 它明确表示对自然状态ωj，作出决策αi 时所造成的损失。 (4)观测值X条件下的期望损失R(αi|X),
i=1,2,…,a Ri：称为条件风险。
最小风险贝叶斯决策规则
两类时的似然比
) p( X | 1 ) P(2（12 - 22） 如果l ( x ) , p( X | 2 ) P(1（21 - 11） )
已知总共有c类物体，讨论在下列条件下对某 一样本按其特征向量分类的问题。 1、各类别ωi=1,2,…,c的先验概率P(ωi)及 类条件概率密度函数p(x|ωi)已知。 2、类别数一定。 几种常用的决策规则。 正态分布时统计决策的问题以及错误概率等 问题。
几种常用的决策规则
不同的决策规则反映了分类器设计者的不同 考虑，对决策结果有不同的影响。 最有代表性的是： 1. 基于最小错误率的贝叶斯决策 2. 基于最小风险的贝叶斯决策
使错误率最小并不一定是一个普遍适用的最佳 选择 与损失有关联概念----风险 加权平均-----风险
Ri ( X ) (j i ) P( j | X )
j 1
c
分类准则是使风险最小。
如果 : Ri ( X ) max R j ( X ) 则：
j 1,..., c
例：中青年男子 特征：年龄：a=18~45 身高：h=160cm~250cm 体重：w=50kg~150kg 特征向量：A=(a，h，w) 由a值从18到45，h值从160到 250,w值从50到150包围的三维空 间就是对中青年男子进行度量的特 征空间。
