哈工大模式识别课件—第2章 贝叶斯决策理论

j ≠i
(
)
判别准则为： 判别准则为：
i = argmax P ω j x ,
1≤ j ≤c
(
)
则：x ∈ ωi
模式识别 – 贝叶斯分类器
贝叶斯最小错误率准则
P ωj x =
(
)
p ( x ω j ) P (ω j ) p (x)
g j ( x ) = p ( x ω j ) P (ω j )
Bayes判别准则： 判别准则： 判别准则
γ j ( x ) = ∑ λij P (ωi x )
i =1 c
模式识别 – 贝叶斯分类器
最小平均风险判别准则
利用 利用Bayes公式，构造判别函数： 公式，构造判别函数： 公式
g j ( x ) = γ j ( x )
γ j ( x ) = ∑ λij P ( x ωi ) P (ωi )
i =1 c
1 t gi ( x ) = ( x i ) Σ1 ( x i ) + ln P (ωi ) 2
可以简化为： 可以简化为：
1 t 1 gi ( x ) = Σ x i Σ i + ln P (ωi ) = wti x + wi 0 2 称为线性分类器
t i 1
模式识别 – 贝叶斯分类器
模式识别 – 贝叶斯分类器
线性分类器
两类问题，高维特征，先验概率不同时： 两类问题，高维特征，先验概率不同时：
模式识别 – 贝叶斯分类器
情况三： 情况三： Σi 任意
判别函数可以写成： 判别函数可以写成：
1 t 1 1 1 t 1 t 1 gi ( x ) = x Σi x + i Σi x + i Σi i ln Σi + ln P (ωi ) 2 2 2
d 2
Σi
12
t 1 exp ( x i ) Σi1 ( x i ) 2
模式识别 – 贝叶斯分类器
正态分布的判别函数
贝叶斯判别函数可以写成对数形式： 贝叶斯判别函数可以写成对数形式：
gi ( x ) = ln p ( x ωi ) + ln P (ωi )
类条件概率密度函数为正态分布时： 类条件概率密度函数为正态分布时：
P (ωi x ) =
P ( x ωi ) P (ωi ) P (x)
模式识别 – 贝叶斯分类器
两个类别， 两个类别，一维特征
模式识别 – 贝叶斯分类器
两类问题的错误率
观察到特征 时作出判别的错误率： 观察到特征x时作出判别的错误率： 时作出判别的错误率
P (ω1 x ) , 判定ω2 P ( error x ) = P (ω2 x ) , 判定ω1
模式识别 – 贝叶斯分类器
2.3 贝叶斯分类器的其它版本
先验概率 ωi)未知：极小化极大准则； 先验概率P(ω 未知 极小化极大准则； 未知： 约束一定错误率（风险）： 约束一定错误率（风险）：Neyman）： Pearson准则； 准则； 准则 某些特征缺失的决策： 某些特征缺失的决策： 连续出现的模式之间统计相关的决策： 连续出现的模式之间统计相关的决策：
i = arg max g j ( x ) ，则 x ∈ ωi
1≤ j ≤ c
模式识别 – 贝叶斯分类器
贝叶斯分类器的错误率估计
p (ω2 x )
p (ω1 x )
P ( error ) = ∑ ∫ 1 p (ωi x ) dx
i =1 Ri
c
(
)
模式识别 – 贝叶斯分类器
例2.1
对一大批人进行癌症普查，设ω1类代表患癌 对一大批人进行癌症普查， 类代表正常人。已知先验概率： 症，ω2类代表正常人。已知先验概率：
模式识别 – 贝叶斯分类器
2.4 正态分布的贝叶斯分类器
单变量正态分布密度函数（高斯分布）： 单变量正态分布密度函数（高斯分布）：
p
(x ) =
1 x 2 exp σ 2π σ 2 1
模式识别 – 贝叶斯分类器
多元正态分布函数
p ( x ωi ) = 1
( 2π )
分类界面为 次曲线（面） 分类界面为2次曲线（ 次曲线
模式识别 – 贝叶斯分类器
二次分类曲线
模式识别 – 贝叶斯分类器
二次分类曲面
模式识别 – 贝叶斯分类器
第二章 贝叶斯决策理论
模式识别 – 贝叶斯分类器
2.1 最小错误率准则
模式识别 – 贝叶斯分类器
各种概率及其关系
先验概率： 先验概率： 后验概率： 后验概率： 类条件概率： 类条件概率：
P ( x ωi )
模式识别 – 贝叶斯分类器
贝叶斯分类器
g1 ( X )
g2 ( X )
gc ( X )
x1
x2
x3
xd
模式识别 – 贝叶斯分类器
例2.2
对一大批人进行癌症普查， 类代表患癌症， 对一大批人进行癌症普查，设ω1类代表患癌症， ω2类代表正常人。已知先验概率： 类代表正常人。已知先验概率：
P (ω1 ) = 0.005, P (ω2 ) = 0.995
P (ω1 ) = 0.005, P (ω2 ) = 0.995
以一个化验结果作为特征x: 阳性 阴性}， 阳性， 以一个化验结果作为特征 {阳性，阴性 ，患癌症 的人和正常人化验结果为阳性的概率分别为： 的人和正常人化验结果为阳性的概率分别为：
P ( x = 阳性 ω1 ) = 0.95,P ( x = 阳性 ω2 ) = 0.01
以一个化验结果作为特征x: {阳性，阴性 ，患癌症的 阳性， 以一个化验结果作为特征 阳性 阴性}， 人和正常人化验结果为阳性的概率分别为： 人和正常人化验结果为阳性的概率分别为：
P ( x = 阳 性 ω 1 ) = 0.9 5 , P ( x = 阳 性 ω 2 ) = 0 .0 1
判别代价： 判别代价： λ11 = 0, λ22 = 0, λ12 = 100, λ21 = 25 现有一人化验结果为阳性，问此人是否患癌症？ 现有一人化验结果为阳性，问此人是否患癌症？
t
2
此分类器称为距离分类器，判别函数可以用 此分类器称为距离分类器， 待识模式x与类别均值 之间的距离表示： 与类别均值μ 待识模式 与类别均值 i之间的距离表示：
gi ( x ) = d ( x, i )
模式识别 – 贝叶斯分类器
情况二： 情况二： Σ
i
=Σ
判别函数可以写成： 判别函数可以写成：
线性分类器
两类问题，1维特征，先验概率相同时： 两类问题， 维特征 先验概率相同时： 维特征，
模式识别 – 贝叶斯分类器
线性分类器
两类问题，高维特征，先验概率相同时： 两类问题，高维特征，先验概率相同时：
模式识别 – 贝叶斯分类器
线性分类器
两类问题，1维特征，先验概率不同时： 两类问题， 维特征 先验概率不同时： 维特征，
现有一人化验结果为阳性，问此人是否患癌症？ 现有一人化验结果为阳性，问此人是否患癌症？
模式识别 – 贝叶斯分类器
2.2 最小平均风险准则贝叶斯分 类器
问题的提出 问题的提出 个类别ω 有c个类别ω1, ω2 ,... , ωc, 将ωi类的样本 个类别 判别为ω 类的代价为λ 判别为ωj类的代价为λij。 将未知模式 判别为ωj类的平均风险为： 将未知模式x判别为 将未知模式 判别为ω 的平均风险为：
两类问题最小错误率判别准则： 两类问题最小错误率判别准则：
如果P(ω1 x) > P(ω2 x) , x ∈ω1 如果P(ω1 x) < P(ω2 x) , x ∈ω2
模式识别 – 贝叶斯分类器
多类问题最小错误率
判别 属于ωi的错误率： 判别x属于ω 的错误率： 属于
P ( error x ) = ∑ P ω j x = 1 P (ωi x )
1 d 1 t 1 gi ( x ) = ( x i ) Σi ( x i ) ln 2π ln Σi + ln P (ωi ) 2 2 2
模式识别 – 贝叶斯分类器
1 情况一： 情况一 Σi = σ I, P (ωi ) = c
2
判别函数可以写成： 判别函数可以写成：
gi ( x ) = ( x i ) ( x i ) = x i