下载文档原格式
![第2章贝叶斯决策理论[1]](https://img.taocdn.com/s1/m/6575d6a814791711cd791720.png)
第⼆章贝叶斯决策理论第⼆章贝叶斯决策理论●引⾔统计模式识别⽅法以样本特征值的统计概率为基础：（1）先验概率()i P ω、类（条件）概率密度函数(/)i p ωx 和后验概率(/)i P ωx 。
（2） Bayes 公式体现这三者关系的公式。
本章讨论的内容在理论上有指导意义，代表了基于统计参数这⼀类的分类器设计⽅法，结合正态分布使分类器设计更加具体化。
模式识别算法的设计都是强调“最优”，即希望所设计的系统在性能上最优。
是指对某⼀种设计原则讲的，这种原则称为准则。
使这些准则达到最优，如最⼩错误率准则，基于最⼩风险准则等,讨论⼏种常⽤的决策规则。
设计准则,并使该准则达到最优的条件是设计模式识别系统最基本的⽅法。
●思考？机器⾃动识别分类，能不能避免错分类，如汉字识别能不能做到百分之百正确？怎样才能减少错误？错分类往往难以避免，因此就要考虑减⼩因错分类造成的危害损失，有没有可能对⼀种错分类严格控制？●贝叶斯决策理论与⽅法基本概念给定⼀个m 模式类(,,....,)m ωωω12的分类任务以及各类在这n 维特征空间的统计分布, 要区分出待识别样本x 属于这m 类样本中的哪⼀类问题。
假设⼀个待识别的样本⽤n 个属性观察值描述，称之为n 个特征，从⽽组成⼀个n 维的特征向量，⽽这n 维征向量所有可能的取值范围则组成了⼀个n 维的特征空间。
特征空间的统计分布 (1) i ω, i =1,2,…,m 的先验概率：()i P ω(2)类条件概率密度函数：(|)i p ωx （可解释为当类别i ω已知的情况下，样本x 的概率分布密度函数）(3)后验概率：⽣成m 个条件后验概率(|)i P ωx ，i =1，2，…，m 。
也就是对于⼀个特征向量x ，每⼀个条件后验概率(|)iP ωx 都代表未知样本属于某⼀特定类i ω的概率。
第⼀节基于最⼩错误率的贝叶斯判别⽅法 (⼀).两类情况两类情况是多类情况的基础，多类情况往往是⽤多个两类情况解决的。
模式识别Bayesian Decision TheoryXIDIAN UNIVERSITY2017/03/15第章第一章绪论复习模式识别的含义——机器自动识别与分类模式识别的过程——从样本到类别的映射特特征选择模类征空和提取分类决策式空型空2间间间引言12内容几种常用的决策规则3判别函数、决策面与分类器设计4正态分布时的统计决策知识拓展5引言12内容几种常用的决策规则3判别函数、决策面与分类器设计4正态分布时的统计决策知识拓展521引言2-1 引言在连续情况下假设对要识别的◆在连续情况下，假设对要识别的物理对象有d 种特征观察量x ,x ,…x ，这些特征的所有可能的1,2,d ，取值范围构成了d 维特征空间。
T dx x x R =∈x x ◆称向量为d 维特征向量。
个类别[]12,,,,d ◆假设要研究的分类问题有c 个类别，类型空间表示为：{}12,,,,i c ωωωωΩ= 把x分到哪类去才更合理？5x →Ω把x分到哪一类去才更合理？21引言2-1 引言贝叶斯◆托马斯·贝叶斯(ThomasBayes,17011761)英国牧师、业余数Bayes,1701-1761)英国牧师、业余数学家。
贝叶斯在数学方面主要研究概率论,创立了贝叶斯统计理论。
逆概问题◆所谓的贝叶斯方法源于他生前为解决一个“逆概”问题写的一篇文章。
在此之前，人们已经能概”问题写的篇文章在此之前人们已经能够解决“正向概率”问题。
621引言2-1 引言◆贝叶斯方法的重要性●贝叶斯方法是机器学习的核心方法之一现实世界本身就是不确定的人类的●深刻原因：现实世界本身就是不确定的，人类的观察能力是有局限性的●比如：我们往往只能知道从里面取出来的球是什么颜色，而并不能直接看到袋子里面实际的情况。
这个时候，就需要提供一个猜测/假设。
（后验概率）1.算出各种不同猜测的可能性大小算出各种不同猜测的可能性大小2算出最可靠的猜测是什么2.算出最可靠的猜测是什么（决策分类）72-1 引言21引言◆贝叶斯决策理论贝叶斯决策理论是统计模型决策中的一个基本方法，是处理模式分类问题的基本理论之一，对方法是处理模式分类问题的基本理论之一对模式分析和分类器（Classifier）的设计起指导作用其基本思想是：作用。
其基本思想是：1、先验概率和类条件概率密度是已知的；2、要决策分类的类别数是一定的；3、利用贝叶斯公式转换成后验概率；4、根据后验概率大小进行决策分类。
821引言2-1 引言X P ΩΩ◆贝叶斯公式先验概率()()()()X X p P P Ω=后验概率类条件概率密度●先验概率：根据大量统计数据确定某类事物出现的比例由先验知识在识别前就得到的概率的比例，由先验知识在识别前就得到的概率。
921引言2-1 引言X Ω◆贝叶斯公式●类条件概率密度/类分布概率密度同一类事物的各个属性都有一定的变化范围，在这些变化范围内的分布密度用一种函数形式表示称为类分布概率密度()p 围内的分布密度用种函数形式表示，称为类分布概率密度函数。
为了强调是同一类事物内部，因此这种分布密度函数往往表示成条件概率的形式这种分布密度只对同一类事物往往表示成条件概率的形式。
这种分布密度只对同一类事物而言，与其它类事物没有关系。
●后验概率：一个具体事物(属性)属于某种类别的概率(在同一条件X下，()X p Ω10个具体事物(属性)属于某种类别的概率(在同条件X下，某类别出现的概率)。
2-1 引言21引言◆贝叶斯公式几点说明：p(*|#)是条件概率的通用符号，在“|”●(|#)是条件概率的通用符号，在|后边出现的#为条件，之前的*为某个事件，即在某条件#下出现某个事件*的概率。
一个事物在某条件下出现的的概率一个事物在某条件下出现的概率p(*|#)与该事件在不带任何条件下出现的概率写成P(*)是不相同的。
是不相同的●各类别先验概率之和应满足总和为1的约束。
●类条件概率不满足总和为1的约束●后验概率满足总和为1的约束。
1121引言2-1 引言一个贝叶斯决策的例子◆个贝叶斯决策的例子●已知：在夏季，某公园男性穿凉鞋的概率为1/2，女性穿凉鞋的概率为2/3并且该公园中男女比例通常为2:1穿凉鞋的概率为2/3，并且该公园中男女比例通常为2:1，●问题：若你在公园中随机遇到一个穿凉鞋的人，请问它的性别为男性或女性的概率分别为多少？概率论只不过是把常识用数学公式表达了出来。
拉普拉斯——拉普拉斯12 == =ωω男性，女性；设鞋：穿凉x 12:=23=13=12=2P P ωω⎧⎨x x 先验概率（），（） 已知：1212||3p p ωω⎩类条件概率（），（）12|=|=P P ωωx x 后验概率 （），（题？问）：？第二章第章贝叶斯决策理论引言12内容几种常用的决策规则3判别函数、决策面与分类器设计4正态分布时的统计决策知识拓展522几种常用的决策规则2-2 几种常用的决策规则●一般说来，般说来，c 类不同的物体应该具有各不相同的属性，在d 维特征空间，各自有不同的分布。
当某一特只为某一类物体所特有，对其作出决策是征向量值x 只为某类物体所特有，对其作出决策是容易的，也不会出什么差错。
c ⎧()10c i P c iω==⎨≠⎩x ●关键在于经常出现模棱两可的情况。
此时，任何决策都存在判错的可能性。
●不同的决策规则反映了分类器设计者的不同考虑，14对决策结果有不同的影响。
2-2 几种常用的决策规则22几种常用的决策规则基于最小错误率的最小最大决策贝叶斯决策01040203N‐P（Neyman‐Pearson）基于最小风险的决策贝叶斯决策152-2 几种常用的决策规则22几种常用的决策规则基于最小错误率的最小最大决策贝叶斯决策01040203N‐P（Neyman‐Pearson）基于最小风险的决策贝叶斯决策1622几种常用的决策规则2-2 几种常用的决策规则◆基于最小错误率的贝叶斯决策●主要思想：已知先验分布和观测值的类条件概率分布，就可以用贝叶斯公式求得x 属于哪一类的后验概率：()i P ωx ()i i p P ωωx c 其中()()()i P P ω=x x ()()()1i i i P p P ωω==∑x x 其中：lik lih d i P likelihood prior evidence posterior ⨯=称为关于x 的似然函数，或简称为“似然”(likelyhood )。
()i ωx i ω后验概率主要是由先验概率和似然函数的乘积所决定的证据(id 可仅仅看成是个标量因子17的，证据(evidence )因子P (x )可仅仅看成是一个标量因子，以保证各类别的后验概率总和为1，从而满足概率条件。
22几种常用的决策规则2-2 几种常用的决策规则基于最小错误率的贝叶斯决策◆●决策规则(Decision Rules)：几种等价的决策规则：()(), , . i j i P P j i ωωω>∀≠∈x x x 若则判定(1) ()() max , .i j i jP P ωωω=∈⎡⎤⎣⎦x x x (2) 若则判定()若（后验概率形式）()()()() , , .i i j j iP P P P j i ωωωωω>∀≠∈x x x (3) 若则判定i P P ωωx (4)若（条件概率形式）()()()() , , .j i j i j i P P ωωω>∀≠∈x x (4) 若则判定l l l l (5)若（似然比形式）18()()()() ln ln , , .ln ln i i j j i P P P P j i ωωωωω>∀≠∈++x x x (5) 若 则判定（条件概率的对数形式）22几种常用的决策规则2-2 几种常用的决策规则基于最小错误率的贝叶斯决策◆●实现过程：先验概率类•以先验概率、类条件概率密度、特征值（向量）为输入•以后验概率作为类别判断的依据•贝叶斯公式保证了错误率最小19（证明过程见边肇祺《模式识别》p11）22几种常用的决策规则2-2 几种常用的决策规则基于最小错误率的贝叶斯决策◆●特例1：202-2 几种常用的决策规则22几种常用的决策规则基于最小错误率的贝叶斯决策◆●特例2：2122几种常用的决策规则2-2 几种常用的决策规则◆基于最小错误率的贝叶斯决策●形式逻辑（经典确定性推理）形式逻辑（典确定性推）以鲈鱼和鲑鱼分类为例：假言：如果鱼的长度x 小于45cm ，则该鱼为否则该鱼为鲈鱼==鲑鱼，否则该鱼为鲈鱼前提：现在某条鱼的长度x = 38cm2ωΩ1ωΩ结论：该鱼为鲑鱼1ωΩ=2222几种常用的决策规则2-2 几种常用的决策规则◆基于最小错误率的贝叶斯决策●概率推理（不确定性推理）概率推（不确定性推）给定：先验概率：()()1212P y P y ωω====12::ωω，鲑鱼鲈鱼类条件概率密度如图有条问题：现有一条鱼x =38cm ，若采用最小错误率决策，采用最错率策，该鱼应该为哪一类？2322几种常用的决策规则2-2 几种常用的决策规则◆基于最小错误率的贝叶斯决策●概率推理（不确定性推理）12::ωω，鲑鱼鲈鱼概率推（不确定性推）已知：求解()()1212P y P y ωω====求解：3801605x y P y ===()()()()1110.160.5380.8380.160.50.040.5p P y x p x ωωω⨯======⨯+⨯24()2380.2P y x ω===1y ω=故判决：2-2 几种常用的决策规则22几种常用的决策规则基于最小错误率的最小最大决策贝叶斯决策01040203N‐P（Neyman‐Pearson）基于最小风险的决策贝叶斯决策252-2 几种常用的决策规则22几种常用的决策规则基于最小风险的贝叶斯决策◆●主要思想：上述最小错误率决策中，使错误率达到最小是重要的。
上最错率决策中使错率达到最是重的但实际上，有时候需要考虑一个比错误率更广泛的概念—风险，而风险又是和损失紧密相连的。
我们对样本的分类不仅要考虑到尽可能作出正确的判断，而且还要考虑到作出错误判断时会带来什么后果。
最小风险贝叶斯决策正是考虑各种错误造成损失不同而提出的一种决策规则。
2622几种常用的决策规则2-2 几种常用的决策规则基于最小风险的贝叶斯决策◆●决策论的观点：般决策表()损失状态自然状态ω一般决策表(1) x 是d 维随机向量12[,,]T d x x x =x 1…ωc α1λ(α1, ω1)…λ(α1, ωc ),决策(2) 状态空间Ω由c 个自然状态c 类组成……λ(αi , ωj )…αa λ(αa , ω1)…λ(αa , ωc )()12{,,}cωωωΩ= (3)决策/行动(3) 决策/行动αi 指将模式x 判定为ωi 或者是拒判。
