当前位置：文档之家 › 最小风险贝叶斯判决准则

最小风险贝叶斯判决准则

  • 格式：ppt
  • 大小：587.00 KB
  • 文档页数：80

下载文档原格式

  / 80

合集下载

93贝叶斯决策规则

93贝叶斯决策规则
• 解答
• 已知
• 计算
• 由于 得癌症
，根据贝叶斯决策规则，该病人没有
如何确定概率？
• 应用贝叶斯决策规则，需已知如下概率
p(x | i ) P(i )
• 对于某个具体问题，常常需要通过实验统计相对 频率，或者利用概率密度估计技术来确定如上概 率
例子
• 问题：
• 在某大学校园内，根据轿车车身高度判断其价格是否超 过5万美元？
• 情况2：
特例
对所有i均相同
1 2
2
xt x
2μti xμi
μ ti μ i
log
P(i
)
令
wi
1
2
μi
，wi 0
1
2 2
μ it μ i
log
P(i
)
则得到线性判别函数
gi
(x)
w
t i
x
wi 0
第i个方向上的 阈值（偏置）
采用线性判别函数的分类器称为线性分类器（线性机器）
特例
• 情况2：
• 一个线性机器的判决面是一些超平面，其中每一个超平 面是由具有最大后验概率的两种类别的判别函数相等确 定的：
• 情况1a：均匀先验概率，并且
• 各特征统计独立 • 所有特征具有相同的方差
1
2
2
x μi
2
平方欧几里德 距离
特例
• 情况1：均匀先验概率
• 情况1b：均匀先验概率，并且Σi Σ
• 各类数据具有相同的 协方差矩阵
平方 Mahalanobis距 离（马氏距离） 情况1a和1b可被视为最小距离分类器，即将x划分为 最近的均值 所属的类别
的常量
两类分类问题

基于最小风险的贝叶斯决策PPT(共19页)

基于最小风险的贝叶斯决策PPT(共19页)

•
3、命运给你一个比别人低的起点是想告 诉你， 让你用 你的一 生去奋 斗出一 个绝地 反击的 故事， 所以有 什么理 由不努 力!
•
4、心中没有过分的贪求，自然苦就少。 口里不 说多余 的话， 自然祸 就少。 腹内的 食物能 减少， 自然病 就少。 思绪中 没有过 分欲， 自然忧 就少。 大悲是 无泪的 ，同样 大悟无 言。缘 来尽量 要惜， 缘尽就 放。人 生本来 就空， 对人家 笑笑， 对自己 笑笑， 笑着看 天下， 看日出 日落， 花谢 花开， 岂不自 在，哪 里来的 尘埃!
2.2.2 基于最小风险的贝叶斯决策
问题的提出：风险的概念
风险与损失紧密相连，如病情诊断、商品销售、股 票投资等问题
日常生活中的风险选择，即所谓的是否去冒险
最小风险贝叶斯决策正是考虑各种错误造成损 失不同而提出的一种决策规则
对待风险的态度：“宁可错杀一千，也不放走 一个”
以决策论的观点
决策空间：所有可能采取的各种决策所 组成的集合，用A表示
•
55、不积小流无以成江海，不积跬步无 以至千 里。
•
56、远大抱负始于高中，辉煌人生起于 今日。
•
57、理想的路总是为有信心的人预备着 。
•
58、抱最大的希望，为最大的努力，做 最坏的 打算。
•
59、世上除了生死，都是Hale Waihona Puke 事。从今天 开始， 每天微 笑吧。
•
60、一勤天下无难事，一懒天下皆难事 。
•
•
67、心中有理想 再累也快乐
•
68、发光并非太阳的专利，你也可以发 光。
•
69、任何山都可以移动，只要把沙土一 卡车一 卡车运 走即可 。
•

最小风险贝叶斯判决准则

最小风险贝叶斯判决准则

设样本x来自类ωi, 可能被判为ω1, ω2, …, ωm 中的任何一种, 若允许拒绝判决, 可将拒绝类看成是独立的一类, 记为第m+1类, 即ωm+1。 为了表述方便, 引入如下 符号:
(1) 决策αj: 将样本x的类别判为第j类。 不同的决策对应于特征空间的不同决 策区域Rj, j∈{1, 2, …, m}。 若x∈Rj, 则判决x∈ωj(j=1, 2, …, m)。 这里未考虑拒识情况。
Rd→{1, 2, …, m} 给定一个映射f, 就给出了一种模式识别方法, 不同的映射对应不同的分类方 法, 这就是模式识别问题的映射描述法。
2. 划分描述法
由于每个特征向量是Rd空间的一个点，且Rd→{1, 2, …, m}是一个多对一的映
射，通过映射，本质上实现了对空间Rd的一种划分，即把Rd划分成个不相重叠的
P( j
|
x)
max
i{1,2,,m}
P(i
|
x)
2-3
则x∈ωj。
由于已知P(ωi)和p(x|ωi), 因此我们希望找到P(ωi|x)与它们之间的关系。 这 里以一维为例进行讨论。
假设特征变量为X,
P(i
|
x)
lim
0
P
i
|
X
(x
,
x
)
由Bayes
P
i
|
X
(x
,
x
)
P
X (x
PX
,x (x ,
(2-8)
式(2-7)
P(e) P(1)(1 R1 p(x | 1)dx) P(2) R1 p(x | 2)dx
P(1) R1[P(2 ) p(x | 2) P(1) p(x | 1)]dx

最小风险的Bayes决策

最小风险的Bayes决策

0-1·损失函数
c
P(j X ) j1, ji
两种判决方式等价！ 9
3.3 Bayes分类器和判别函数
分类器设计：利用决策规则对观察向量 X 进行分类
d 维特征空间
决策规则
c 个决策域
决策面：划分决策域的边界面 决策面方程：决策面的数学解析形式 判别函数：表达决策规则的函数
用正态分布模型描述训练样本集与测试样本集在数 学上实现起来也比较方便
23
物理上的合理性 如果同一类样本在特征空间 内的确较集中地分布在其类均值的附近，远离 均值处分布较少，那么一般情况下以正态分布 模型近似往往是比较合理的
人们也往往因数学分析复杂程度考虑而不得不 采用这种模型，当然使用时应注意结果是否合 理或关注其可接受的程度
A [1 ,. . . ,a ] T ,1 ,. . . ,a为 a 个 决 策 状 态
损失函数 (i ,j ) : 真 实 状 态 为 j 而 判 断 为 i 的 损 失 ( i j )
期望损失（条件风险）
c
R (i|X )E [(i,j)] (i,j)P (j|X ) j 1
分割它们的决策面方程应满足：
gi(x) gj(x)
11
最小错误概率决策
判别函数的不同形式：
gi(x)P(i |x)
gi(x)P(xi)P(i)
g i(x ) lo g P (xi) lo g P (i)
12
最小风险决策
判别函数
gi(x)R(i |x)
判别函数不唯一，更一般地，f ( gi ( x)) （其中 f ( x ) 为 单调增函数）均可作为判别函数
18
后验概率：

分别写出在以下2种下，贝叶斯最小错误率判决规则：

分别写出在以下2种下，贝叶斯最小错误率判决规则：

1．利用概率论中的乘法定理和全概率公式，证明：(1) 贝叶斯公式)()()|()|(x p w P w x p x w P i i i = (2) 在两类情况下：1)|()|(21=+x w P x w P 。

2．分别写出在以下2种情况下，贝叶斯最小错误率判决规则：(1) 两类情况，且)|()|(21w x p w x p =。

(2) 两类情况，且)()(21w p w p =。

3．两个一维模式类型，类概率密度函数如下图所示，假定先验概率相等，试用0－1损失函数：（1） 导出贝叶斯判决函数；（2） 求出分界点的位置；（3） 判断下列样本各属于哪一个类型：0，2.5，0.5，2，1.5。

4．试写出两类情况下的贝叶斯最小风险判决规则及其判决函数和决策面方程，并且证明该判决规则可以表示为： 若)()()()()|()|(111212221221w P w P w x p w x p λλλλ--<>，则⎩⎨⎧∈21w wx式中，12λ、22λ、21λ、11λ，为损失函数)|(j i w L α，2,1,=j i 。

若02211==λλ，2112λλ=，证明此时最小最大决策面使来自两类的错误率相等。

5．似然比)(x l 是随机变量，对两类问题)|()|()(21w x p w x p x l =，试证明： (1)]|)([]|)([211w x l E w x l E n n +=(2)1]|)([2=w x l E(3)]|)([]|)([]|)([221w x l Var w x l E w x l E =-注意：方差})]({[)()(2X E x E x Var x D -==。

6．属于两类的一维模式，每类都是正态分布的，并且已知两类的均值分别为01=μ和22=μ，均方差分别为21=σ和22=σ先验概率相等，可用0－1损失函数，试绘出类概率密度函数及判决边界；若已获得样本：－3，－2，1，3，5，试判断它们各属于哪一种类型。

第二章 贝叶斯决策理论—第三次课

第二章 贝叶斯决策理论—第三次课
第2章 贝叶斯决策理论
第2章 贝叶斯决策理论
第2章 贝叶斯决策理论
本章内容
2.1 分类器的描述方法 2.2 最大后验概率判决准则 2.3 最小风险贝叶斯判决准则 2.4 Neyman-Person判决准则 2.5 最小最大风险判决准则 2.6 本章小结
第2章 贝叶斯决策理论
2.2 最大后验概率判决准则 (基于最小错误率的贝叶斯决策准则)
第2章 贝叶斯决策理论
2.5
第2章 贝叶斯决策理论
最小风险贝叶斯判决受三种因素的影响： 类条件概率密度函数p(x|ωi) ； 先验概率P(ωi) ； 损失（代价）函数λ(αj, ωi) 。 在实际应用中遇到的情况： – 各类先验概率不能精确知道； – 在分析过程中发生变动。 这种情况使判决结果不能达到最佳，实际分类器的平均损 失要变大，甚至变得很大。
第2章 贝叶斯决策理论
2.4 Neyman-Person
第2章 贝叶斯决策理论
最小风险贝叶斯判决准则使分类的平均风险最小, 该准则需要什么条件？
最大后验概率判决准则使分类的平均错误率最小, 该准则需要什么条件？
N-P准则在实施时既不需要知道风险函数，也不需 要知道先验概率。
第2章 贝叶斯决策理论
最大后验概率判决准则使分类的平均错误概率最小。 最小风险贝叶斯判决准则使分类的平均风险最小。 可是, 在实际遇到的模式识别问题中有可能出现这样 的问题: 对于两类情形, 不考虑总体的情况, 而只关注某 一类的错误概率, 要求在其中一类错误概率小于给定阈 值的条件下, 使另一类错误概率尽可能小。
因为两类情况下, 先验概率满足:
P(1) P(2 ) 1
第2章 贝叶斯决策理论
R R1 [(1,1)P(1) p(x | 1) (1,2 )P(2 ) p(x | 2 )]dx R2 {(2 ,1)P(1) p(x | 1) (2,2 )P(2 ) p(x | 2 )}dx

最小风险贝叶斯决策判决规则

最小风险贝叶斯决策判决规则1. 走进最小风险的世界你有没有过这种经历？你站在一个十字路口，不知道该往哪边走。

左边可能有更美丽的风景，但也可能遇到堵车；右边看似平淡无奇，但也许会有惊喜。

决定究竟走哪边，真是让人抓狂。

其实，这就像是贝叶斯决策中的一个经典问题：如何在不确定的情况下做出最优选择？听起来复杂对吧？别担心，让我们一步步来解开这个谜团。

2. 贝叶斯决策规则大揭秘2.1 贝叶斯的魔法贝叶斯决策规则的核心思想就是最小化风险。

我们先得了解什么是风险。

想象一下，你在赌场里，拿着一把筹码，面前有一副扑克牌。

你能选择赌一手，但不确定对手的牌有多强。

你知道，如果你选择错了，可能会输钱；如果选择对了，可能会赢大钱。

最小风险的意思就是在这张扑克牌游戏中，怎么才能让你输钱的概率最小，也就是风险最小。

2.2 如何选择最小风险的路径回到我们的十字路口问题。

假如你想用贝叶斯决策规则来决定走哪条路，首先，你需要知道每条路的可能结果和这些结果的概率。

简单来说，你得了解每条路可能带来的好事和坏事的概率。

比如，左边的路你知道可能会遇到拥堵，概率是50%，而右边的路，你知道它的拥堵概率只有20%。

这时候，你就需要计算走每条路的期望风险。

期望风险就是对所有可能结果的风险进行加权平均。

简单点说，就是把每条路的所有可能坏结果的风险加起来，看哪个路的综合风险最小。

听起来是不是有点像在做数学题？别担心，做这种选择题其实就像是你在超市挑选打折商品，挑那个最划算的就对了。

3. 风险最小化的妙招3.1 把风险控制在合理范围内在现实生活中，我们面临的风险多得数不过来，比如投资股市、选择工作、甚至是买房子。

最小风险贝叶斯决策规则就像是你手里的一个万能工具，可以帮助你在这些选择中做出更理智的决定。

想象一下，你要投资一个新项目。

你可以用贝叶斯方法来估算这个项目的成功概率和可能带来的损失。

你计算出每种可能结果的风险，然后把它们加权，看看哪种投资最能让你的钱包安稳。

贝叶斯决策理论与统计判决方法


=1X1/2+1/5X1/2
=0.6
例：考试有用吗？
利用贝叶斯公式可以得到:
这说明老师们依据试卷成绩来衡量学生平时的学习状况 还是有科学依据的。
仪器，经常被用于征兵、安全部门的 筛查、侦破、诉讼等领域。定义事件T={测谎仪检测到一个人在说谎}， L={一个人真正在说谎}。
p( x)P(i x) P(i ) p( x i )
条件概率 先验概率：P(i)表示类i出现的先验概率，简称类i的概率。 后验概率：P(i|x)表示x出现条件下类i出现的概率,称其为类别的后验概率， 对于模式识别来讲可理解为x来自类i的概率。 类条件概率密度： p(x|i)表示在类i条件下的概率密度，即类i模式x的概率 分布密度，简称为类条件概率密度。
A B4 B3
B2
划分示意图
例：考试有用吗？
老师出了一道5选题，5个选项中只有一个是正确的选择。 假定某学生知道正确答案的概率为1/2，如果他最后选对了， 问他确实知道答案的概率是多少? 解： 设 A事件为{知道答案}，B事件为{选择正确}， 由题意可知：
P(B|~A)=1/5，P(B|A)=1， P(A)=1/2 由全概率公式: P(B)=P(B|A)XP(A)+P(B|~A)XP(~A)
两种鱼的长度特征直方图
例：鱼的分类
单凭长度特征很难将两类鱼很好地区分开，因此，我们 可以考虑别的特征，比如：平均光泽度。
例：鱼的分类
分别输入100组鲈鱼和鲑鱼的亮度、长度数据，作为训练集。输入400组数据作为测试 集，其中200组鲈鱼数据，100组鲑鱼数据。得到以下实验结果（设定鲈鱼先验概率为 0.5，鲑鱼先验概率为0.5）： 鲈鱼错误分类（鲑鱼判决为鲈鱼）：3 鲑鱼错误分类（鲈鱼判决为鲑鱼）：8 错误率：2.75%（3+8/400）

贝叶斯决策(1)

因此，P(e)=1-P(c)
贝叶斯决策(1)
基于最小风险的贝叶斯决策
上述分类基于错误率最小化的所得到规则，但有
时要考虑比错误率更广泛的概念-----风险。风险与
损失密切相连。
比如对细胞分类固然尽可能正确判断，但判错了 的后果将怎样？
正常异常：精神负担； 异常正常：失去进一步治疗的机会。
显然这两种不同的错误判断所造成损失的严重程 度是有显著差别的，后者的损失比前者更严重。
v 决策：是从样本空间S，到决策空间Θ的一个 映射，表示为：D: S -> Θ。
v 评价决策有多种标准，对于同一个问题，采 用不同的标准会得到不同意义下“最优”的 决策。
贝叶斯决策(1)
Bayes决策常用的准则
v 主要有：
基于最小错误率的贝叶斯决策
基于最小风险的贝叶斯决策
在限定一类错误率条件下使另一类错误率为最小的 两类别决策(Neyman—Pearson决策)
贝叶斯决策(1)
2. 利用后验概率P(j/x)与损失函数，计算出 每个条件期望风险R(i/x)(一共有a个决策)。
3. 在a个R(i/x)相互比较，找出最小的决策k， 完成最小风险贝叶斯决策。
贝叶斯决策(1)
❖ 注意：最小风险贝叶斯决策除了先验概
率 P(j) 和 类 条 件 概 率 密 度 p(x/j) 外 ， 还需要有合适的损失函数(j,j)。
1、先验形式
贝叶斯决策(1)
2、似然比 似然比
似然比阈值
由先验形式易知： 即：
贝叶斯决策(1)
3、似然对数
贝叶斯决策(1)
❖例：某地区细胞识别； P(ω1)=0.9， P(ω2)=0.1 未知 细胞x，先从类条件概率密度分布曲线上查到： P(x/ω 1)=0.2， P(x/ω 2)=0.4 问该细胞属于正常细胞还是异常细胞。 解：先计算后验概率：

风险投资中的最小贝叶斯风险决策

风险投资中的最小贝叶斯风险决策基金项目:泰山医学院青年科学基金资助项目最小贝叶斯风险决策使贝叶斯风险最小的决策方法。

本文通过一个具体实例,阐述贝叶斯决策在风险投资分析中的应用。

并由此得出结论:贝叶斯决策属于风险型决策,决策者虽不能控制客观因素的变化,但却可掌握其变化的可能状况及各状况的分布概率,并利用期望值即未来可能出现的平均状况作为决策准则。

贝叶斯決策不是使决策问题完全无风险,而是通过其他途径增加信息量使决策中的风险减小。

由此可以看出,贝叶斯决策是一种比较实际可行的方法。

[ 关键词] 风险投资贝叶斯决策最小贝叶斯风险决策贝叶斯决策就是在不完全情报下,对部分未知的状态用主观概率估计,然后用贝叶斯公式对发生概率进行修正,最后再利用期望值和修正概率做出最优决策。

贝叶斯决策理论方法是统计模型决策中的一个基本方法,其基本思想是:1. 已知含有未知参数的概率密度表达式以及未知参数先验概率;2. 利用先验分布计算其后验概率;3. 根据后验概率求参数贝叶斯决策。

寻求贝叶斯决策函数有两条路径,一条是使后验风险最小,一条是使贝叶斯风险最小。

实际中,人们常使用后验风险途径,因为它的计算相对简单和方便,本文我们使用的实际上正是后验风险准则。

在不同的先验分布假设下,参数的贝叶斯决策量一般是不同的。

本文旨在通过在各种不同的先验分布条件下进行参数的贝叶斯决策,最终比较并探讨各种情况下贝叶斯决策的优良性问题。

一、提出问题设想有一投资公司对某一项目已经投入100万元。

现在决定是追加投资100万或是保持原投资不变,还是将已经投入的100万撤回。

若在一年后该项投资的收益会因市场的变化而不同,如果一年后的市场对该项投资分为有利和不利两种情况。

且根据以往的经验有利和不利两种情况发生的概率分别为:0.7和0.3。

有利时可获利30%,不利时会损失40%。

在这种情况下,寻求最小贝叶期风险决策。

如果该公司投资前用5万元聘请一名投资顾问,该顾问在未来有利的情况下预测的准确率为85%,不利时预测的准确率是90%。

  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
P(1) n1 / n 0.4
P(2 ) n2 / n 0.6
情形1:假设在没有看到一个具体的产品时就要确定它到底属于哪一类。 如果唯一能够得到的信息就是先验概率, 那么一个很自然的“合理”选择是将 这一产品归入类ω2。 可以想象, 这时可能造成40%的错误率。
如果我们仅仅需要做一次判断, 那么采用这种判决规则还是合理的。 但 是, 如果要求我们进行多次判断, 那么重复使用这种规则就不合适了, 因为我 们将一直得到相同的结果。
。 m Rd Ri
i 1
m
Rm1 Rd Ri
i 1
当样本落在两类或多类的交界面上时, 可以任取交界面所在的一类进行判 决, 也可以拒绝判决。 从划分意义上看, 模式识别就是对于一个具体分类问题, 在确定了需分类的类别数m和所用的特征维数后, 实现对Rd空间的划分, 每一种 划分对应一种识别方法。
模式分类实际上是将特征空间划分为不同的决策区域, 相邻决策区域被决 策面所分割, 这些决策面是特征空间中的超曲面, 其决策面方程满足相邻两个 决策域的判别函数相等,
gi(x)=gj(x) 分类器可被看做是一个计算m类个判别函数并选取最大(或最小)判决值对 应的类别的网络或机器。 一个分类器的网络结构如图2-1所示。
x∈ωi; 此时, Ri称为x∈ωi的决策区域。
(3)
。若
Ri为Rd的真子集, 即
, 当样本落在此区域中
m
m
m
时, d Ri 为
i 1
i 1
i 1
拒绝域, 相应的判决为拒识。 此时, 引入一个新类ωm+1(拒绝类), 相应的决策区域为
图 2-1 分类器的网络结构
2.2 最大后验概率判决准则
2.2.1
在讨论具体的判决准则之前, 让我们先来看一个分类问题。 假设某工厂里 所有的产品都只属于事先确定的两类, 分别表示为ω1=“高质量”, ω2=“平均质 量”。 假设工厂对于产品储量有一个合理的长期记录, 总结出来的结果如下：
总的产品个数n=2 253 550; 属于类ω1产品的个数 n1=901 420; 属于类ω2产品的个数 n2=1 352 130; 由此可以估计出两类产品出现的概率,
Rd→{1, 2, …, m} 给定一个映射f, 就给出了一种模式识别方法, 不同的映射对应不同的分类方 法, 这就是模式识别问题的映射描述法。
2. 划分描述法
由于每个特征向量是Rd空间的一个点，且Rd→{1, 2, …, m}是一个多对一的映
射，通过映射，本质上实现了对空间Rd的一种划分，即把Rd划分成个不相重叠的
区域，每一个区域对应一个类别。设区域Ri对应第i类ωi，则以下条件成立：
(1)
这一条表明了分类的确定性，一个样
本只能属于某一类，不能同属两个或多个类别。
Ri Rj , i j i, j 1, 2, , m
(2) 若特征向量x=(x1, x2, …, xd)落在区域Ri内, 即x∈Ri, 则将样本x判属第i类, 记为
如果不考虑拒识, 此时,
,m 那Ri么, R正d确分类包括m种情形, 样本x
来自类ωi, 特征向量x∈Ri(i=1, 2, …, m); 错i误1 分类包括m(m－1)种情形, 样本x来自
类ωi, 但特征向量x∈Rj(i=1, 2, …, m; j=1, 2, …, m; j≠i)。 因此, 平均正确概
2.1.2
模式分类器的描述方法有多种, 这里仅介绍以下三种描述方法, 它们之间是统 一的。
1. 由于我们获取的有关观察对象的数据总量是有限的, 因此, 可用一个d+1维向 量表示, 即
(x1, x2, , xd ; )
其中: (x1, x2, …, xd)为特征向量, 是特征空间Rd中的一个点; α取值于集合{1, 2, …, m}, 表示模式的真实类别号, 是未知的量, m为类别数。 模式分类的实质在于 实现特征空间Rd到类别号空间{1, 2, …, m}的一个映射, 即
(3) 特征向量x的取值范围构成特征空间, 记为Rd; (4) 特征向量x的类条件概率密度函数为p(x|ωi), 表示当样本x∈ωi时, 特征向 量x的概率密度函数; (5) 特征向量x的后验概率为P(ωi|x), 表示在特征向量x出现的条件下, 样本x 来自类ωi的概率, 即类ωi出现的概率。 模式识别就是根据特征向量x的取值, 依据某个判决准则把样本x划分到ω1，ω2, …, ωm中的一个。
情形2:假设可以对产品进行一些测量, 获得了它的观测向量(或特征向量)x, 这时意味着对该产品所属类别的不确定性减少了, 即观测向量(或特征向量)能 够提供一些类别信息。 具体地, 后验概率P(ωi|x)表示了x所代表的某个产品属 于第i类的概率, 那么现在“合理”的选择是:
如果P(ω1|x)>P(ω2|x), 则判决x属于ω1; 如果P(ω1|x)<P(ω2|x), 则判决x属于ω2; 如果P(ω1|x)=P(ω2|x), 则判决x属于ω1或属于ω2。 这种决策称为最大后验概率判决准则, 也称为贝叶斯(Bayes)判决准则。 假设已知P(ωi)和p(x|ωi)(i=1, 2, …, m), 最大后验概率判决准则就是把样本x归 入后验概率最大的类别中, 也就是,
率Pc
m
m
Pc i1 P(x Ri | i )P(i ) i1 P(i ) Ri p(x | i )dx
(2-1)
平均错误概率Pe
Pe=1－Pc
(2-2)
以下不再刻意区分样本(或模式)和特征向量, 也就是说, x∈ωi意指x是样本
(或模式); x∈Ri或函数g(x)意指x是特征向量。
3. 把分类问题对应为Rd空间上的多元函数, 通常称为判别函数(或称判决函 数)gi(x), i=1, 2, …, m 对于任给未知类别的样本x, 计算各类判别函数的值 gi(x), i=1, 2, …, m, 将样本x判属有极大(或极小)函数值的那一类。 到底应取极大 值还是取极小值, 需要根据具体问题的物理意义确定。 不同的判别函数对应不同 的模式分类方法。
2.1 分类器的描述方法
2.1.1 基本假设
给定模式空间S，由m个互不相交的模式类集合
1,2 , ,m
组成，即
，
。
几个基本假设S如下：1 2
m i j , (i j, i, j 1, 2, , m)
(1) 假定类ωi的先验概率为P(ωi); (2) 样本(或模式) x由特征向量来表示, 同样记为x, 假设为d维, 即x=(x1, x2, …, xd);