当前位置：文档之家 › 2贝叶斯决策理论PPT课件

2贝叶斯决策理论PPT课件

  • 格式：ppt
  • 大小：1.02 MB
  • 文档页数：60

下载文档原格式

  / 60

合集下载

第2章 贝叶斯决策完整版.ppt

第2章 贝叶斯决策完整版.ppt
精选
最小风险准则
❖ 最小风险贝叶斯决策：考虑各种错误造成损失不
同而提出的一种决策规则。
❖ 条件风险：
精选
最小风险准则
❖ 期望风险：对于x的不同观察值，采取决策αi时，
其条件风险大小是不同的。所以究竟采取哪一种决 策将随x的取值而定。这样，决策α可以看成随机向 量x的函数，记为α(x)。可以定义期望风险Rexp为：
假言：如果鱼的长度 x 大于45cm，则该鱼为 鲈鱼 1，否则该鱼为鲑鱼 2
前提：现在某条鱼 x 38cm
结论：该鱼为鲑鱼 2
❖ 概率推理（不确定性推理）
P i x 精选
最小错误率准则
❖ 例子：
给定
P
y
1
P
y
2
1 2
，类条件概率密度如图。
现有一条鱼 x=38cm， 若采用最小错误率决策，该鱼应该为哪一类？
R2
R1
a p 1 b
❖ 一旦 R1 和 R2 确定，a和b为常数
❖ 一旦 R1 和 R2 确定， R 与 P(ω1) 成线性关系
❖ 选择使 b=0 的R1 和 R2 ，期望风险与P(ω1) 无关！
精选
R* C’ C
最小最大决策准则
D
R1 ,R2不变
A
R*B
D’
B
R1 ,R2改变
b=0
此时最大 风险最小,
P i
x
Px
i P i
Px
则： P1 x P2 x
等价于：
p x 1 P 1 p x 2 P 2
p x 1 p x 2
p 2 p 1
精选
似然比公式
最小错误率准则
❖ 特例1：

贝叶斯决策理论课件(PPT 88页)

贝叶斯决策理论课件(PPT 88页)
[计算]0.323
最小错误率的证明
以一维情况为例证明贝叶斯决策确实对 应最小错误率
统计意义上的错误率，即平均错误率， 用P(e)表示
最小错误率的证明
错误率图示
以t为界确实使错误率最小，因为P(e/x)始终取 最小
这个图在哪见过？ 与图像分割中最优阈值对应的错误分割结果类
似，最优阈值同样是基于最小错误概率 图像分割蕴含了与模式识别类似的思想，即判
设被试验的人中患有癌症的概率为0.005，即 P(ω1)=0.005，当然P(ω2)=1-0.005=0.995
现任意抽取一人，要判断他是否患有癌症。显然， 因为P(ω2)> P(ω1)，只能说是正常的可能性大。如 要进行判断，只能通过化验来实现
寻找样本观测量
设有一种诊断癌症的试验，其结果为 “阳性”和“阴性”两种反应
元素含义：对角线和非对角线
协方差：用来度量变量之间“协同变异”大小的总体参数， 即二者相互影响大小的参数；绝对值越大，相互影响越大
对角阵情形；去相关
多元正态分布的性质
均值向量和协方差矩阵共同决定分布
均值向量有d个分量 协方差矩阵独立元素个数为d(d+1)/2 多元正态分布由d+d(d+1)/2个参数完全决定，
取若干个不同的P(1)值，并分别按最小损失准则确
定相应的最佳决策类域R1、R2，然后计算出其相应
的最小平均损失R*，从而可得最小平均损失R*与先 验概率P(1)的关系曲线。
最小最大决策图示
先验概率为Pa*(1) 的 最小风险分类结果对
应各种先验概率的风 险变化 R a bP(1)
为何 为切 线？
正常人试验反应为阳性的概率=0.01，即 p(x=阳|ω2)=0.01

Bayes决策理论课件(PPT 67页)

Bayes决策理论课件(PPT 67页)
损失。 根据Bayes公式，后验概率为：
P( j
x)
p( x j )P( j )
5
p( x i )P(i )
i1
j 1, 2, ,5
返回本章首页
第3章 Bayes决策理论
对于刚才的决策表考虑如下的一个条件期望损失，即给
定x ，我们采取决策 i 情况下的条件期望损失（条件风
险） ：
5
R(i x) (i , j )P( j x) E (i , j ) i1,2, ,5
R2
R1
P(1)P1(e) P(2 )P2 (e)
返回本章首页
第3章 Bayes决策理论
结 束放映 返回本章首页
第3章 Bayes决策理论
3.2 最小风险的Bayes决策
在上一节我们介绍了最小错误率的Bayes决策， 并且证明了应用这种决策法则时，平均错误概率 是最小的。但实际上有时需要考虑一个比错误率 更为广泛的概念——风险，举例说明。毋庸置疑， 任何风险都会带来一定损失。看一个一般的决策 表。
0
p(x 2 )dx 0
R1
R1 ( t) R2 (t )
与最小错误率的Bayes决策的比较
P(1 x) P(2 x) 1
P(1 x) P(2 x)
2
p(x p(x
1 ) 2 )
p(x p(x
1 ) 2 )
x2 x1
返回本章首页
第3章 Bayes决策理论
3.4 最小最大决策
有时我们必须设计在整个先验概率范围上都能很 好的进行操作的分类器。比如，在我们的有些分 类问题中可能设想尽管模式的有些物理属性恒定 不变，然而先验概率可能变化范围很大，并且以 一种不确定的 方式出现。或者，我们希望在先 验概率不知道的情况下使用此分类器，那么一种 合理的设计分类器的方法就是使先验概率取任何 一种值时所引起的总风险的最坏的情况尽可能小， 也就是说，最小化最大可能的总风险。以二类模 式识别问题为例，进行讨论。

第2章 贝叶斯决策理论PPT课件

第2章 贝叶斯决策理论PPT课件

令每一个x都取使P( P (e | x) p ( x)dx
P(e
|
x)
P P
(1 ( 2
| |
x) x)
P ( 2 | x) P (1 | x) P (1 | x) P ( 2 | x)
最小的值，则所有x产生
的平均错误率最小。
结论可推广至多类
t
P (e) P ( 2 | x) p ( x)dx t P (1 | x) p ( x)dx
t
p ( x | 2 ) P ( 2 )dx t p ( x | 1 ) P (1 )dx
P ( 2 ) P2 (e) P (1 ) P1 (e)
12
基于最小错误率的贝叶斯决策
使误判概率 P (最e ) 小，等价于使正确分类识别的概率 P ( c ) 最大。
贝叶斯决策理论研究了模式类的概率结构完全知道的 理想情况。这种情况实际中极少出现，但提供了一个对 比其它分类器的依据，即“最优”分类器。
5
2.1 引言
符号规定
分类类别数：c
类别状态： i,i1,2, ,c
特征空间维数：d
d维特征空间中的特征向量：x[x1,x2, ,xd]T
先验概率：P (表i ) 示 类出i 现的先验概率,简称为 类的 概i 率
P(1| x)
p(x|1)P(1)
2
p(x|j)P(j)
0.20.9 0.818 0.20.90.40.1
j1
P(2 | x)1P(1| x)0.182 P(1|x)0.818P(2| x)0.182 x1
11
基于最小错误率的贝叶斯决策
关于错误率最小的讨论（一维情况）
错误率是指平均错误率P(e)
2.1 引言

第2章贝叶斯决策理论

第2章贝叶斯决策理论
R1 | x R2 | x 所以 x w2
损 失状态（正常类）（异常类）
决策
ω1
ω2
α1（正常）0
6
α（2 异常）1
0
这意味着： 把异常类血细胞判别为正常类细胞所冒风险太大，所以 宁肯将之判别为异常类血细胞。
2.2.3 基于最小风险的贝叶斯决策应用实例
例：细胞识别
w1类
w2类
x
假设在某个局部地区细胞识别中， 率分别为
则 x wi
w1类 w3 类
w2 类
x
2.2 基于最小风险的贝叶斯决策
2.2.1 为什么要引入基于风险的决策
基于最小错误率的贝叶斯决策
错误率
如果 P w1 | x P w2 | x 则 x w1 如果 P w2 | x P w1 | x 则 x w2
误判为：x w2 误判为：x w1
正常(1)和异常(
2)两类的先验概
正常状态： 异常状态：
P P
((21))
=0.9; =0.1.
现有一待识别的细胞，其观察值为x ，从类条件概率密度分布曲线上
查得
P(x | 1 )=0.2, P(x | 2)=0.4.
且因误判而带来的风险如下页表所表示，试对该细胞x进行分类。
解： （1）利用贝叶斯公式，分别计算出 1及 2的后验概率。
wi
PD | wi Pwi
n
PD | wi Pwi
i 1
2.1.1 预备知识（续）
贝叶斯公式：
Pwi | D
PD | wi Pwi PD
（1763年提出）
贝叶斯公式由于其权威性、一致性和典雅性而被列入最优美的数 学公式之一 ；
由贝叶斯公式衍生出贝叶斯决策、贝叶斯估计、贝叶斯学习等 诸多理论体系，进而形成一个贝叶斯学派；

贝叶斯决策理论课件(PPT90页)

贝叶斯决策理论课件(PPT90页)

Some about Bayes(2)
一所学校里面有 60% 的男生，40% 的女生。男生总是穿长 裤，女生则一半穿长裤一半穿裙子。假设你走在校园中， 迎面走来一个穿长裤的学生（很不幸的是你高度近似，你 只看得见他（她）穿的是否长裤，而无法确定他（她）的 性别），你能够推断出他（她）是女生的概率是多大吗？
要决策分类的类别数是一定的
引言
在连续情况下，假设对要识别的物理对象有d种特征
观察量x1,x2,…xd，这些特征的所有可能的取值范围构 成了d维特征空间。
称向量 x x1, x2, , xd T x Rd 为d维特征向量。
假设要研究的分类问题有c个类别，类型空间表示
为：
1,2 , ,i ,c
P(B|LB)∝P(LB|B)P(B)∝0.75P(B) P(~B|LB)∝P(LB|~B)P(~B)∝0.25(1-P(B)) 而西安的出租车10辆中有9辆是绿色的，则给出了先验概率P(B)=0.1，于 是有 P(B|LB)∝0.75×0.1=0.075 P(~B|LB)∝0.25(1-P(B))=0.25×0.9=0.225 P(B|LB)=0.075/0.072+0.225=0.25 P(~B|LB)=0.225/0.072+0.225=0.75 因此肇事车辆为绿色。
Neyman-Pearson准则
问题：先验概率和损失未知
通常情况下，无法确定损失。 先验概率未知，是一个确定的值 某一种错误较另一种错误更为重要。
基本思想：
要求一类错误率控制在很小，在满足此条件的 前提下再使另一类错误率尽可能小。
用lagrange乘子法求条件极值
Neyman-Pearson准则
和绿色的区分的可靠度是75%； 假设随后你又了解到第3条信息：（3）西安的出租车10辆

模式识别课件-第二章 贝叶斯决策理论

模式识别课件-第二章 贝叶斯决策理论
如果使得 > 对于一切的 ≠ 均成
立，则将x归于 类。
几种常见的决策规则
判别函数
相对应于贝叶斯决策的判别函数
(1) = |
(2) = (│ )( )
(3) = ln + ln ( )
= , =
= , =
几种常见的决策规则
基于最小风险的贝叶斯决策
利用贝叶斯公式，分别计算后验概率
(│ )( )
=
σ= (│ )( )
. ∗ .
=
= .
. ∗ . + . 4 ∗ . 1
且对应于各类别的 i 出现的先验概率 P(i )
及类条件概率密度 p ( x | i )已知
如果在特征空间已经观察到某一个向量x, 应
该把x分到哪一类？
引言
基本符号与定义
例：医生要根据病人血液中白细胞的浓度来
判断病人是否患血液病。（两分类问题）
根据以往医生的经验知道：
患病的人，白细胞的浓度与正常人不同
正态分布函数定义及性质
概率密度函数应满足下面关系：
≥ 0 −∞ < < +∞
+∞
න
−∞
() = 1
正态分布时的统计决策
正态分布函数定义及性质
多元正态分布

1
−1
−1
=
exp{
(
−
)
Σ ( − )}
/2
1/2
2
(2) |Σ|
其中
= [ , , … , ] 是d维列向量，
= [ , , … , ] 是d维均值向量，

02 贝叶斯决策理论精品资料PPT课件

02 贝叶斯决策理论精品资料PPT课件

n 那么当 R (1|x)R (2|x)n 时，采取第1个行动。即：
1 P ( 1 1 |x ) 1 P ( 2 2 | x ) 2 P ( 1 1 |x ) 2 P ( 2 2 |x )
( 1 1 2 ) P ( 1 1 |x ) ( 2 2 1 ) P 2 (2 |x )
( 1 1 2 ) P ( 1 x |1 ) P ( 1 ) ( 2 2 1 ) P ( 2 x |2 ) P ( 2 )
加上相同的树，或取自然对数。那么不等式的关系是不变的。因 此不考虑损失时的贝叶斯判别函数：
gi(x)p(i|x)p(x|p (ix ))p(i)
n 可以写成：
gi(x)p(x|i)p(i)
g i(x ) ln p (x| i) ln p (i)
n
比鱼的时如ω罐候1对头分的于里类罐上装后头面入采里的了取装例 鲈 的入子 鱼 行了动λω鲑111就鱼，=λ要ω那222偏么=，0向客那。于户么鲈便很客鱼宜难户ω的感1会比鲑到很鲑鱼有生鱼。损气ω因失；2贵此。如。设那果如当么鲑果真这鱼鲈正个ω2
类装将λ21别入x=归0是了类.2鲑鲑。为鱼鱼可鲑ωω以鱼22的)看的ω时2到损(造候，失成，上λ鲑1将2面=鱼x的2归， ω公类2设的式为当罐变鲈真头成鱼正里了ω类装1：(别入造是了成鲈鲈鲈鱼鱼鱼ωωω111的的)的时罐损候头失，里
P(y|x)P(x| y)P(y) P(x)
n 换一种写法：
P(j |x)P(x| P(jx)P )(j)
P(j |x)P(x| P(jx)P )(j)
n 这就是著名的贝叶斯公式。其中P(ωj)叫做先验概率，就是类别出现 的可能性；p(x|ωj)叫条件概率，就是在ωj时x出现的可能性；p(ωj|x) 叫后验概率；p(x)是该样例出现的可能性。

第二章贝叶斯决策理论

第二章贝叶斯决策理论
1
第二章 贝叶斯决策理论
2.2 几种 常用旳决策规则
• 基于最小错误率旳贝叶斯决策 • 基于最小风险旳贝叶斯决策 • 分类器设计
2
2.2.1 基于最小错误率旳贝叶斯决策
在模式分类问题中，基于尽量降低分类旳错 误旳要求，利用概率论中旳贝叶斯公式，可得出 使错误率为最小旳分类规则，称之为基于最小错 误率旳贝叶斯决策。
11 0,
12 6
21 1,
22 0
根据例2.1旳计算成果可知后验概率为
P(1 | x) 0.818,
P(2 | x) 0.182
再按式（2-15）计算出条件风险 2 R(1 | x) 1 j P( j | x) 12P(2 | x) 1.092 j 1
R(2 | x) 21P(1 | x) 0.818 由于R(1 | x) R(2 | x)
c
c
R(i | x) (i , j )P( j | x) P( j | x)
(2 19)
j 1
j 1
ji
c
P( j
j 1
| x)
表达对x采用决策 i旳条件错误概率。
ji
26
• 所以在0-1损失函数时，使
R( k
|
x)
min
i 1,,c
R(i
|
x)
旳最小风险贝叶斯决策就等价于
c
c
j1
P( j
(i ,
j
)
10,,ii
j, j,
i, j 1,2,, c
(2 18)
25
• 式中假定对于c类只有c个决策，即不考虑“拒绝”旳
情况。式（2-18）中(i , j ) 是对于正确决策（即i=j）
  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
➢ 捕获鲈鱼和鲑鱼的几率相等。 P(1) = P(2) (先验) P(1) + P( 2) = 1 (排除其它鱼的种类)
7
仅含先验信息的判别规则(Decision rule)
➢ 如果P(1) > P(2) ，则选择 1 ➢ 否则，选择 2
采用类条件信息(class –conditional information)
14
平均错误概率
P(e) P(ex)p(x)dx
从式可知，如果对每次观察到的特征值x
，P(e|)
是尽可能小的话，则上式
的积分必定是尽可能小的这就证实了最小
错误率的Bayes决策法则。下面从理论上
给予证明。以两类模式为例。
15
P(e)P(xR2,1)P(xR1,2) P(xR2 1)P(1)P(xR1 2)P(2)
x 1 2
P (x 1 )P (1 ) P (x 2 )P (2 )
x 1 2
3.似然比
l(x)P P ( (x x 1 2) ) P P ( ( 1 2) )
4.似然对数
x 1 2
h (X ) ln l(X ())
ln p (X / 1 ) ln p (X /
5
决策准则
评价决策有多种标准，对于同一个问题， 采用不同的标准会得到不同意义下“最优 ”的决策。
Bayes决策常用的准则：
➢ 最小错误率准则
➢ 最小风险准则
➢ 在限定一类错误率条件下使另一类错误 率为最小的准则(Neyman—Pearson决策)
➢ 最小最大决策准则
6
2.1 引言
鲈鱼/鲑鱼例子 ➢ 自然状态(State of nature), 先验的(prior)---类别状态，i,i=1,2 ➢ 为i类先别验状概态率是。一个随机变量, P(i) 表示
3
基本概念
模式分类：根据识别对象的观测值确定其 类别
样本与样本空间：
xx1,x2, ,xdT x R n
类别与类别空间：c个类别（类别数已知）
1,2, , i ,c
4
决策
把x分到哪一类最合理？理论基础 之一是统计决策理论
决策：是从样本空间S，到决策空 间Θ的一个映射，表示为 D: S -> Θ
12
错误概率的最小化判定规则：
如果 P(1|x)>P(2|x)，判定为1； 否则，判定为2。
因此， P(error | x) = min [P(1 | x), P(2 | x)]
(基于最小错误的贝叶斯决策 Bayes decision)
13
对待分类模式的特征我们得到一个观察值 x ， 合理的决策规则： P(1 x)P(2 x) 1 P(1 x)P(2 x) 2
类条件概率密度=似然
10
11
基于后验分布的判别规则
存在一个观察值x(特征)
如果P(1 | x) > P(2 | x)
类别状态= 1
如果P(1 | x) < P(2 | x)
类别状态 = 2
因此，无论何时观测到某一个特定值x，
概率误差为：
P(error|x)=P(1|x) 判定为2 (错误选择1); P(error|x)=P(2|x) 判定为1(错误选择2 );
决策错误的条件概率（随机变量x 的函数）：
P(e
x)P P((12
x) x)
2 1
模式特征x 是一个随机变量，在应用Bayes法则时， 每当观察到一个模式时，得到特征x，就可利用后 验概率作出分类的决策，同时也会带来一定的错误 概率。若观察到大量的模式，对它们作出决策的平 均错误概率P(e)应是P(e|x)的数学期望。
最小风险贝叶斯决策正是考虑各种错误造成损失 不同而提出的一种决策规则。
20
上述思想一般化推广
➢ 采用多个特征(特征矢量)； ➢ 类别状态多于两个； ➢ 决策行动不局限于判定类别状态。 ➢ 引入损失函数(loss of function)代替误差概率。
决策行为不是以错误分类的概率为基础， 而是行为风险的代价为决策依据。
19
2.2 贝叶斯决策理论
上述分类基于错误率最小化的所得到规则，但有
时要考虑比错误率更广泛的概念-----风险。风险与
损失密切相连。
比如对细胞分类固然尽可能正确判断，但判错了 的后果将怎样？
正常异常：精神负担； 异常正常：失去进一步治疗的机会。
显然这两种不同的错误判断所造成损失的严重程 度是有显著差别的，后者的损失比前者更严重。
模式识别 Pattern Recognition
1
2 贝叶斯决策理论
引言 贝叶斯决策理论 最小误差率分类 分类器、判别函数及决策面 正态分布密度(The Normal Density) 正态分布的判别函数
2
2.1 引言
信号空间
数据获取
预处理
特征空间
特征提取 与选择
分类决策
分类器 设计
P(x|1)和P(x|2) 描述在鲈鱼和鲑鱼总群之 间光泽度的差异。
8
9
后验(Posterior), 似然(likelihood),全概 率( evidence---证据?)
Pi xpxpi(x•)Pi
对于两类的全概率为：
j2
P(x)P(x|j)P(j)
j1
后 验 (分 布 或 密 度 )似 全 然 概 先 率 验
p(x1)P(1)dx p(x2)P(2)dx
R2
R1
P(1)P1(e)P(2)P2(e)
16
p( x 1)P(1)
A
p( x 2 )P(2 )
R1
H
p(x 2 )P(2 ) dx
R1
R2
p( x 1)P(1) dx
R2
17
四种基于最小错误的Bayes决策形式
1.后验形式 2.先验形式
P(1 x) P(2 x)
2 ) ln P P ( ((1 2 ) ))
X

12
18
❖例：某地区细胞识别； P(ω1)=0.9， P(ω2)=0.1 未知 细胞x，先从类条件概率密度分布曲线上查到： P(x/ω 1)=0.2， P(x/ω 2)=0.4 问该细胞属于正常细胞还是异常细胞。
解：先计算后验概率：
P (1x)2P P (x (x 1)jP )P ( ( 1)j)0.20 0..9 2 0 0 ..9 40.10.818 P (2x ) 1 P (1x ) 0 .1 8 2 j 1 因 为 P ( 1 x ) P ( 2 x ) , x 1 属 正 常 细 胞 。 因 为 P ( 1 ) P ( 2 ) , 所 以 先 验 概 率 起 很 大 作 用 。