当前位置：文档之家 › 模式识别(2-1)

模式识别(2-1)

  • 格式：ppt
  • 大小：398.50 KB
  • 文档页数：37

下载文档原格式

  / 37

合集下载

模式识别第二篇习题解答

模式识别第二篇习题解答

题1：画出给定迭代次数为n的系统聚类法的算法流程框图题2：对如下5个6维模式样本，用最小聚类准那么进行系统聚类分析x1: 0, 1, 3, 1, 3, 4x2: 3, 3, 3, 1, 2, 1 x3: 1, 0, 0, 0, 1, 1 x4: 2, 1, 0, 2, 2, 1 x5: 0, 0, 1, 0, 1, 0第1步：将每一样本看成单唯一类，得(0)(0)(0)112233(0)(0)4455{},{},{}{},{}G x G x G x Gx Gx =====计算各类之间的欧式距离，可得距离矩阵(0)D第2步：矩阵(0)D 中最小元素为(0)3G 和(0)5G 之间的距离，将他们归并为一类，得新的分类为(1)(0)(1)(0)(1)(0)(0)(1)(0)112233544{},{},{,},{}G G G G G G G G G ====计算聚类后的距离矩阵(1)D第3步：由于(1)D 它是(1)3G 与(1)4G 之间的距离，于是归并(1)3G 和(1)4G ，得新的分类为(2)(1)(2)(2)(2)(1)(1)1122334{},{},{,}G G G G G G G ===一样，按最小距离准那么计算距离矩阵(2)D ，得第4步：同理得(3)(2)(3)(2)(2)11223{},{,}G G G G G ==知足聚类要求，如聚为2类，聚类完毕。

题3：选2k =，11210(1),(1)z x z x ==，用K-均值算法进行聚类分析第一步：选取1121007(1),(1)06z x z x ⎛⎫⎛⎫==== ⎪ ⎪⎝⎭⎝⎭第二步：依照聚类中心进行聚类，取得1123456782910111220(1){,,,,,,,}(1){,,,,}S x x x x x x x x S x x x x x ==第三步：计算新的聚类中心121128(1)1291020(1)2 1.250011(2)() 1.125087.666711(2)()7.333312x S x S z x x x x N z x x x x N ∈∈⎛⎫==+++= ⎪⎝⎭⎛⎫==+++= ⎪⎝⎭∑∑第四步：因(2)(1),1,2j j z z j ≠=，故回到第二步 第二步：依照新的聚类中心从头进行聚类，取得1123456782910111220(2){,,,,,,,}(2){,,,,}S x x x x x x x x S x x x x x ==第三步：计算新的聚类中心121128(2)1291020(2)2 1.250011(3)() 1.125087.666711(3)()7.333312x S x S z x x x x N z x x x x N ∈∈⎛⎫==+++= ⎪⎝⎭⎛⎫==+++= ⎪⎝⎭∑∑第四步：(3)(2),1,2j j z z j ==，因此算法收敛，得聚类中心为121.25007.6667,1.12507.3333z z ⎛⎫⎛⎫== ⎪ ⎪⎝⎭⎝⎭迭代终止。

模式识别作业题(2)

模式识别作业题(2)
得证。 3、使用最小最大损失判决规则的错分概率是最小吗？为什么？
答：不是最小的。首先要明确当我们谈到最小最大损失判决规则时，先验概率是未知的， 而先验概率的变化会导致错分概率变化， 故错分概率也是一个变量。 使用最小最大损 失判决规则的目的就是保证在先验概率任意变化导致错分概率变化时， 错分概率的最 坏（即最大）情况在所有判决规则中是最好的（即最小）。 4、 若 λ11 = λ22 =0， λ12 = λ21 ，证明此时最小最大决策面是来自两类的错误率相等。 证明：最小最大决策面满足 （ λ11 - λ22 ）+（ λ21 - λ11 ） 容易得到
λ11 P(ω1 | x) + λ12 P(ω2 | x) < λ21 P(ω1 | x) + λ22 P(ω2 | x) ( λ21 - λ11 ) P (ω1 | x) >( λ12 - λ22 ) P (ω2 | x) ( λ21 - λ11 ) P (ω1 ) P ( x | ω1 ) >( λ12 - λ22 ) P (ω2 ) P ( x | ω2 ) p( x | ω1 ) (λ 12 − λ 22) P(ω2 ) > 即 p( x | ω2 ) ( λ 21 − λ 11) P (ω1 )
6、设总体分布密度为 N( μ ，1)，-∞< μ <+∞,并设 X={ x1 ， x2 ，… xN }，分别用最大似然 估计和贝叶斯估计计算 μ 。已知 μ 的先验分布 p（ μ ）～N（0,1）。 解：似然函数为：
∧Байду номын сангаас
L（ μ ）=lnp(X|u)=
∑ ln p( xi | u) = −
i =1
N
模式识别第三章作业及其解答

模式识别第二版答案完整版

模式识别第二版答案完整版
模式识别第二版习题解答目录线性判别函数10非线性判别函数16近邻法16经验风险最小化和有序风险最小化方法18特征的选取和提取18基于kl展开式的特征提取2010非监督学习方法2221如果只知道各类的先验概率最小错误率贝叶斯决策规则应如何表示
模式识别(第二版)习题解答
目录
1 绪论
2
2 贝叶斯决策理论
2
j=1,...,c
类条件概率相联系的形式，即 如果 p(x|wi)P (wi) = max p(x|wj)P (wj)，则x ∈ wi。
j=1,...,c
• 2.6 对两类问题，证明最小风险贝叶斯决策规则可表示为，若
p(x|w1) > (λ12 − λ22)P (w2) , p(x|w2) (λ21 − λ11)P (w1)
max P (wj|x)，则x ∈ wj∗。另外一种形式为j∗ = max p(x|wj)P (wj)，则x ∈ wj∗。
j=1,...,c
j=1,...,c
考虑两类问题的分类决策面为：P (w1|x) = P (w2|x)，与p(x|w1)P (w1) = p(x|w2)P (w2)
是相同的。
• 2.9 写出两类和多类情况下最小风险贝叶斯决策判别函数和决策面方程。
λ11P (w1|x) + λ12P (w2|x) < λ21P (w1|x) + λ22P (w2|x) (λ21 − λ11)P (w1|x) > (λ12 − λ22)P (w2|x)
(λ21 − λ11)P (w1)p(x|w1) > (λ12 − λ22)P (w2)p(x|w2) p(x|w1) > (λ12 − λ22)P (w2) p(x|w2) (λ21 − λ11)P (w1)

模式识别第二章ppt课件

模式识别第二章ppt课件
2.2.2 聚类准则
• 试探方法
凭直观感觉或经验，针对实际问题定义一种 相似性测度的阈值，然后按最近邻规则指定 某些模式样本属于某一个聚类类别。
– 例如对欧氏距离，它反映了样本间的近邻性，但 将一个样本分到不同类别中的哪一个时，还必须 规定一个距离测度的阈值作为聚类的判别准则。
精选ppt课件2021
• 特征选择的维数
在特征选择中往往会选择一些多余的特征，它增加了 维数，从而增加了聚类分析的复杂度，但对模式分类 却没有提供多少有用的信息。在这种情况下，需要去 掉相关程度过高的特征（进行降维处理）。
• 降维方法
– 结论：若rij->1，则表明第i维特征与第j维特征所反 映的特征规律接近，因此可以略去其中的一个特
– 距离阈值T对聚类结果的影响
精选ppt课件2021
17
2.3 基于试探的聚类搜索算法
2.3.2 最大最小距离算法
• 基本思想：以试探类间欧氏距离为最大 作为预选出聚类中心的条件。
• 病人的病程
– 名义尺度：指定性的指标，即特征度量时没有数量
关系，也没有明显的次序关系，如黑色和白色的关
系，男性和女性的关系等，都可将它们分别用“0”
和“1”来表示。
• 超过2个状态时，可精选用pp多t课个件2数021值表示。
8
2.2 模式相似性的测度和
聚类准则
2.2.1 相似Βιβλιοθήκη 测度• 目的：为了能将模式集划分成不同的类别，必须定义 一种相似性的测度，来度量同一类样本间的类似性和 不属于同一类样本间的差异性。
12
2.2 模式相似性的测度和
聚类准则
2.2.2 聚类准则
• 聚类准则函数法
– 依据：由于聚类是将样本进行分类以使类别间可 分离性为最大，因此聚类准则应是反映类别间相 似性或分离性的函数；

模式识别郝旷荣Chap2(MSSB-HKR)

模式识别郝旷荣Chap2(MSSB-HKR)
第二章 贝叶斯决策理论与 统计判别方法
§2.1 引 言 §2.2 几种常用的决策规则 §2.3 正态分布时的统计决策 §本章小节 §本章习题
1
第二章 贝叶斯决策理论与 统计判别方法
本章要点 1. 机器自动识别出现错分类的条件，错分类的
可能性如何计算，如何实现使错分类出现可能 性最小——基于最小错误率的Bayes决策理论 2. 如何减小危害大的错分类情况——基于最小 错误风险的Bayes决策理论 3. 模式识别的基本计算框架——制定准则函数， 实现准则函数极值化的分类器设计方法
如果我们把作出ω1决策的所有观测值区域称为R1， 则在R1区内的每个x值，条件错误概率为p(ω2|x)。另 一个区R2中的x,条件错误概率为p(ω1|x)。
24
2.2.1 基于最小错误率的贝叶斯决策
因此平均错误率P(e)可表示成
(2-8) 由于在R1区内任一个x值都有P(ω2|x)＜P(ω1|x)，同样
8
§2.2 几种常用的决策规则
本节将讨论几种常用的决策规则。 不同的决策规则反映了分类器设计者的不同考虑，
对决策结果有不同的影响。 最有代表性的是基于最小错误率的贝叶斯决策与基
于最小风险的贝叶斯决策，下面分别加以讨论。
9
2.2.1 基于最小错误率的贝叶斯决策
一般说来，c类不同的物体应该具有各不相同的属性， 在d维特征空间，各自有不同的分布。
(2-9) 因此错误率为图中两个划线部分之和，显而易见只有
这种划分才能使对应的错误率区域面积为最小。
27
2.2.1 基于最小错误率的贝叶斯决策
在C类别情况下，很容易写成相应的最小错误率贝叶 斯决策规则：如果 ,
(2-10) 也可将其写成用先验概率与类条件概率密度相联系的 形式，得：

模式识别期末考试试卷2套

模式识别期末考试试卷2套

2 1一、填空题（15个空，每空2分，共30分）1．基于机器学习的模式识别系统通常由两个过程组成,即（）和分类判决。

2．统计模式识别把观察对象表达为一个随机向量(即特征向量),将()表达为由有穷或无穷个具有相似数值特性的模式组成的集合。

3．特征一般有两种表达方法:(1)将特征表达为()；(2)将特征表达为基元。

4．特征提取是指采用变换或映射实现由模式测量空间向()的转变。

5．同一类模式类样本的分布比较集中，没有或临界样本很少，这样的模式类称为()。

6．加权空间的所有()都通过坐标原点。

7．线性多类判别：若每两个模式类间可用判别平面分开，在这种情况下，M 类有()个判别函数,存在有不确定区域。

8．当取()损失函数时,最小风险贝叶斯判决准则等价于最大后验概率判决准则。

9．Neyman-Pearson决策的基本思想是()某一错误率，同时追求另一错误率最小。

10．聚类/集群：用事先不知样本的类别，而利用样本的先验知识来构造分类器属于()学习。

11．相似性测度、()和聚类算法称为聚类分析的三要素。

12．K/C均值算法使用的聚类准则函数是()准则，通过反复迭代优化聚类结果，使所有样本到各自所属类别的中心的距离平方和达到最小。

13．根据神经元的不同连接方式，可将神经网络分为分层网络和相互连接型网络两大类。

其中分层网络可细分为前向网络、具有反馈的前向网络和()三种互连方式。

14．神经网络的特性及能力主要取决于()及学习方法。

15．BP神经网络是采用误差反向传播算法的多层前向网络，其中，神经元的传输函数为S型函数，网络的输入和输出是一种()映射关系。

1.分类器设计,2.模式类,3.数值,4.特征空间,5.紧致集,6.分界面,7.M(M-1)/2,8.0-1,9.约束或限制,10.无监督,11.聚类准则,12.误差平方和,13.层内互连前向网络,14.网络拓扑结构,15.非线性二、简答题（2题，每小题10分，共20分）1．简述有监督分类方法和无监督分类方法的主要区别。

模式识别第2章 模式识别的基本理论(2)

yk
（步长系数 ）
33
算法
1）给定初始权向量a(k) ，k=0；
（ 如a(0)=[1,1,….,1]T）
2）利用a(k)对对样本集分类，设错分类样本集为yk 3）若yk是空集，则a=a(k)，迭代结束；否则，转4） 或 ||a(k)-a(k-1)||<=θ, θ是预先设定的一个小的阈值 （线性可分， θ =0） ( y) a(k 1) a(k) k J p 4）计算：ρ k, J p (a) y y 令k=k+1 5）转2）
1）g(x)>0, 决策：X∈ ω1 决策面的法向量指向ω1的决 策域R1，R1在H的正侧 2） g(x)<0, 决策：X∈ ω2， ω2的决策域R2在H的负侧
6
X g(X) / ||W|| R0=w0 / ||W|| Xp R2: g<0 H: g=0 r 正侧 R1: g>0 负侧
g(X)、 w0的意义 g(X)是d维空间任一点X到决策面H的距离的代数度量 w0体现该决策面在特征空间中的位置 1) w0=0时，该决策面过特征空间坐标系原点 2)否则，r0=w0/||W||表示坐标原点到决策面的距离
否则，按如下方法确定： 1、 2、 3、 m m ln[ P( ) / P( )]
~ ~
w0
1
2
2
1
2
N1 N 2 2
（P(W1)、P(W2) 已知时）
24
分类规则
25
5 感知准则函数
感知准则函数是五十年代由Rosenblatt提出的一种 自学习判别函数生成方法，企图将其用于脑模型感 知器，因此被称为感知准则函数。 特点：随意确定判别函数的初始值，在对样本分类 训练过程中逐步修正直至最终确定。 感知准则函数：是设计线性分类器的重要方法 感知准则函数使用增广样本向量与增广权向量

模式识别第2章 非监督学习方法

三、匹配测度
当特征只有两个状态（0，1）时，常用匹配测度。 0表示无此特征 1表示有此特征。故称之为二值特征。 对于给定的x和y中的某两个相应分量xi与yj 若xi=1,yj=1 ，则称 xi与yj是 (1-1)匹配； 若xi=1,yj=0 ，则称 xi与yj是 (1-0)匹配； 若xi=0,yj=1 ，则称 xi与yj是 (0-1)匹配； 若xi=0,yj=0 ，则称 xi与yj是 (0-0)匹配。
青蛙
无肺
有肺
14
特征选取不同对聚类结果的影响
(c) 按生活环境分
羊,狗,猫 蜥蜴,毒蛇 麻雀,海鸥
金鱼 绯鲵鲣
蓝鲨
青蛙
陆地
水里
两栖
15
特征选取不同对聚类结果的影响
(d) 按繁衍后代方式和肺是否存在分
蜥蜴,毒蛇 麻雀,海鸥
青蛙
金鱼 绯鲵鲣
非哺乳且有肺 非哺乳且无肺
羊,狗,猫
哺乳且有肺
蓝鲨
哺乳且无肺
p
q
最近距离法
1/2
1/2
0
-1/2
最远距离法
1/2
1/2
0
1/2
中间距离法 重心距离法 平均距离法 可变平均法 可变法 离差平方和法
1/2
np n p nq
np n p nq
(1 ) np np nq
1
2
nk n p nk nl
1/2
nq n p nq
nq n p nq (1 ) nq
48
2·3 类的定义与类间距离
49
2·3 类的定义与类间距离
w j 的类内离差阵定义为
S ( j) W
1 nj
nj
(

认知心理学 第二章 模式识别


– 特征分析说 —— 模式可分解为诸特征
– 模式识别时，由特征觉察系统对刺激的特征进行分解， 与长时记忆中各种刺激的特征进行比较和匹配
• Lindsay和Norman(1977)：构成所有26个英文字母的特征共有 7种，即垂直线、水平线、斜线、直角、锐角、连续曲线和不 连续曲线
第二章 模式识别
25
二、模式识别的理论
– 难题：
• 无法确定一个客观事物模板的数量及其变式 • 大脑中贮存有多少模板？这些模板的检索方式与速度如何？
第二章 模式识别
22
二、模式识别的理论
• 2、原型理论
– 在记忆中贮存的不是与外部模式有一对一关系的模板， 而是原型（Prototype） – 原型是一个类别或范畴的所有个体的概括表征，反映 一类客体具有的基本特征 – 模式识别时，刺激只需与原型近似匹配即可 – Posner等（1967）：原型实验 —— 证实原型的存在
– 1990：端点和结合点在图形辨认中的重要性
• 符合格式塔的连续性原则和间隙填充原则
– 局限性：
• 对不规则物体的解释 • 几个物体同时呈现时，边缘信息识别困难
第二章 模式识别
32
二、模式识别的理论
• 6、视觉拓扑学理论
– 陈霖（1982） – 在视觉处理的早期阶段，视觉系统首先检测的是图形
的大范围的拓扑性质，而非局部几何性质；
• 知识表征：已有的知识经验
• 易化作用：加快速度，提高正确率
• 补充作用：填补感觉信息的缺失 • 期待作用：预测环境中将呈现的信息
– 人鼠两歧图
第二章 模式识别
35
三、模式识别的影响因素
第二章 模式识别
提
• 一、知觉与模式识别 • 二、模式识别的理论 • 三、模式识别的影响因素

模式识别第二版答案完整版

• 2.5
1. 对c类情况推广最小错误率率贝叶斯决策规则； 2. 指出此时使错误率最小等价于后验概率最大，即P (wi|x) > P (wj|x) 对一切j ̸= i
成立时，x ∈ wi。
2
模式识别(第二版)习题解答
解：对于c类情况，最小错误率贝叶斯决策规则为： 如果 P (wi|x) = max P (wj|x)，则x ∈ wi。利用贝叶斯定理可以将其写成先验概率和
(2) Σ为半正定矩阵所以r(a, b) = (a − b)T Σ−1(a − b) ≥ 0，只有当a = b时，才有r(a, b) = 0。
(3) Σ−1可对角化，Σ−1 = P ΛP T


h11 h12 · · · h1d
• 2.17 若将Σ−1矩阵写为：Σ−1 = h...12
h22 ...
P (w1) P (w2)
= 0。所以判别规则为当(x−u1)T (x−u1) > (x−u2)T (x−u2)则x ∈ w1,反
之则s ∈ w2。即将x判给离它最近的ui的那个类。
[
• 2.24 在习题2.23中若Σ1 ̸= Σ2，Σ1 =
1
1
2
策规则。
1]
2
1
，Σ2
=
[ 1
−
1 2
−
1 2
] ，写出负对数似然比决
1
6
模式识别(第二版)习题解答
解：
h(x) = − ln [l(x)]
= − ln p(x|w1) + ln p(x|w2)
=
1 2 (x1
−
u1)T
Σ−1 1(x1
−
u1)
−
1 2 (x2
  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
p(x|ω1)与p(x|ω2)两者没有联系，p(x|ω1) +p(x|ω2)≠ 1.它 们都是指各自条件下出现x的可能性，不能仅因为前者 比后者大，就认为x是第一类事物的可能性较大，只有 考虑先验概率这一因素，才能决定x条件下， ω1类还是 ω2类的可能性比较大。

基于最小错误率的贝叶斯决策

最小错误率贝叶斯决策规则证明确实使错误率为最小 由于统计判别方法是基于统计参数作出决策，因此错误 率也只能从平均的意义上讲，表示为在观测值可能取值 的整个范围内错识率的均值。在连续条件下，平均错误 率，以P(e)表示，


§2.1 引言

问题描述：已知总共有c类物体，待识别物体属于这c类 中的一个类别；各类别ωi (i =1,2,…,c)的先验概率P(ωi)及 类条件概率密度函数p(x|ωi)已知的条件下，如何对某一样 本按其特征向量分类的问题。 由于属于不同类的待识别对象存在着呈现相同观察值的可 能，即所观察到的某一样本的特征向量为X，而在c类中 又有不止一类可能呈现这一X值，这种可能性可用P(ωi|X) 表示。如何作出合理的判决就是贝叶斯决策理论所要讨论 的问题。
为A类就是两种不同的错误。不同的错分类造成的危害是不同的，有 的错分类种类造成的危害更大，因此控制这种错分类则是更重要的。
为此引入了一种“风险”与“损失”概念，希望做到使风险最小。
§2.1 引言
要点：

要着重理解“风险”与“损失”的概念，以及在引入 “风险”概念后的处理方法。 理解这一章的关键是要正确理解先验概率，类概率密度 函数，后验概率这三种概率，对这三种概率的定义，相 互关系要搞得清清楚楚。
但我们常常遇到要求“事件A发生的前提下事件 B发生的概率”，这就是条件概率。
事件A发生的前提下事件B发生的概率
P( AB) P( B A) P( A)
§2.2 相关的概率知识回顾
（3）全概率公式
设试验E的样本空间为S，而A1，A2，…，An为E 中两两互不相容的事件，且A1∪A2∪A…∪An=S， P（Ai）>0 (i=1,2, …,n)，对于E中任一事件B，则

基于最小错误率的贝叶斯决策

例2 假设在某地区切片细胞中正常(ω1)和异常(ω2)两 类的先验概率分别为P(ω1)=0.9，P(ω2)=0.1。现有一 待识别细胞呈现出状态x，由其类条件概率密度分布 曲线查得p(x|ω1)=0.2，p(x|ω2)=0.4，试对细胞x进行分 类。
解：利用贝叶斯公式，计算状态为x时ω1与ω2的后验概率:
j 1
P( x | i ) P( x | 1 )
P( x | 2 )
x
类条件概率密度分布
基于最小错误率的贝叶斯决策

通过对细胞的再观察，就可以把先验概率转化为后 验概率，利用后验概率可对未知细胞x进行识别 。
若P (1 | x) P (2 | x), 则x 1 若P (1 | x) P(2 | x), 则x 2

1 (2) P( x | 1 ) P(1 ) P( x | 2 ) P(2 ) x 2 1 P(2 ) P ( x | 1 ) (3) x P ( x | 2 ) P (1 ) 2 1 P ( x | 1 ) P(2 ) (4) g ( x) ln ln x 2 P ( x | 2 ) P (1 )
P( B) P ( A1 ) P ( B A1 ) P ( A2 ) P ( B A2 ) P ( An ) P ( B An ) P ( Ak ) P ( B Ak )
k 1 n
§2.2 相关的概率知识回顾
（4）贝叶斯（Bayes）公式
前面是已知多种原因要得到随机事件发生概率，但 有时要求事件B发生是由某种原因（Ak）引起的概率 P（Ak|B）。
当 0， 1 时，称 服从标准正态分布。
§2.2 相关的概率知识回顾
（7）数学期望
设

x1 , x2 ,, xk ,
k
为离散随机变量 可能取的数
值，其分布律为 pk P( xk ), k 1,2,, 若级数
x
k 1
pk 绝对收敛，则称此级数的和为随机变量的数
§2.1 引言

模式识别的分类问题是根据识别对象特征的观察值将其分到某个类 别中去。统计决策理论是处理模式分类问题的基本理论之一。

本章主要内容是说明分类识别中为什么会有错分类，在何种情况下 会出现错分类？错分类的可能性会有多大？在理论上指明怎样才能 使错分类最少？

另一方面，错分类有不同情况，例如误将A错分为B类，或将B类错分

学期望（或均值）。
E x k p k
k 1
E xp( x)dx


§2.2 相关的概率知识回顾
（8）方差
对于随机变量 ，若 E ( E ) 2 存在，则称它为 的 方差。记为 D ：
D E ( E ) 2
D 称为 的均方差或标准差。

§2.2 相关的概率知识回顾
（1）概率定义
设E为随机试验，S为样本空间，对于E的 任一事件A（A S），当试验次数无限增大 时，事件A的频率r/n稳定在某一定数p附近， 则称p为事件A的概率，记为P（A）=p。
§2.2 相关的概率知识回顾
（2）条件概率 上页定义中，某事件A的概率，是指在E中一组 固定的基本条件下事件A发生的概率。除了试验本 身所固定条件外，没有其它限制条件，P（A）为 无条件概率。


Bayes公式正是体现这三者关系的式子，要透彻掌握。
§2.1 引言

本章讨论的内容在理论上有指导意义，代表了基于统计 参数这一类的分类器设计方法，结合正态分布这一例子 的目的是使分类器设计更加具体化。 学习这一章还要体会模式识别算法的设计都是强调 “最 优”，即希望所设计的系统在性能上最优。这种最优是 指对某一种设计原则讲的，这种原则称为准则。使这些 准则达到最优，如最小错误率准则，基于最小风险准则 等。 设计准则,并使该准则达到最优的条件是设计模式识别系 统最基本的方法。

P(e)

P(e, x)dx p(e | x)P( x)dx


其中：P(e,x)表示错误率为e观测值为x的联合概率密度， P(e|x)是观测值为x时的条件错误概率密度函数， P(x)为x值出现的概率， 积分运算表示在整个d维特征空间上的总和， x取从－∞到+∞的整个范围。
计算用简便公式： D E 2 ( E ) 2
§2.3 几种常用的决策规则

不同的决策规则反映了分类器设计者的不同考 虑，对决策结果有不同的影响。其中最有代表 性的是:

基于最小错误率的贝叶斯决策
基于最小风险的贝叶斯决策

基于最小错误率的贝叶斯决策

一般说来，c类不同的物体应该具有各不相同的属性， 在d维特征空间，各自有不同的分布。当某一特征向 量值X只为某一类物体所特有时，对其作出决策是容 易的，也不会出什么差错。问题在于出现模棱两可的 情况。此时，任何决策都存在判错的可能性。 在模式分类问题中，人们往往希望尽量减少分类的错 误，从这样的要求出发，利用概率论中的贝叶斯公式， 就能得出使错误率为最小的分类规则，称之为基于最 小错误率的贝叶斯决策。
P(1 | x)，当P(2 | x) P(1 | x) P (e | x ) P(2 | x)，当P(1 | x) P(2 | x)
P(e) p(2 | x) P( x)dx p (1 | x) P ( x)dx
R1 R2
基于最小错误率的贝叶斯决策
P(e) p(2 | x) P( x)dx p (1 | x) P ( x)dx
P(a b) p( x)dx
a
b
ቤተ መጻሕፍቲ ባይዱ
成立，则称 为连续性随机变量，p（x）为 的概率 密度。
§2.2 相关的概率知识回顾
（6）正态分布 如果随机变量 的概率密度为
1 p ( x) e 2 ( x )2 2 2
, x
其 0 ， 为常数，则称 服从参数 ， 的正态分布 或高斯分布。

基于最小错误率的贝叶斯决策

假定只用其一个特征进行分类，即d=1，并已知这两类的 类条件概率密度，其中p(x|ω1)是正常细胞的属性分布， p(x|ω2)是异常细胞的属性分布。 当观测向量为x值时，它属于 各类的概率又是多少呢? P(ωi|x)－－状态的后验概率 贝叶斯公式 p( X | i ) P(i ) P(i | X ) c p( X | j ) P( j )
P( x | i ) P( x | 1 ) P ( x 2 ) P(i | x)
1.0 0.8 0.6 0.4 0.2
P(1 | x) P(2 | x)
x
后验概率
类条件概率密度
x
基于最小错误率的贝叶斯决策
Ø
基于最小错误概率的贝叶斯决策规则形式
1 (1) P (1 | x) P (2 | x) x 2
P(1 | x) P( x | 1 ) P(1 )
P( x | ) P( )
j 1 j j
2

0.2 0.9 0.818 0.2 0.9 0.4 0.1
P(2 | x) 1 P(1 | x) 0.182,因为P(1 | x) P(2 | x), x 1属正常细胞。

基于最小错误率的贝叶斯决策

例1： 癌细胞的识别

假设每个要识别的细胞已作过预处理，并抽取出了 d个特征描述量，用一个d维的特征向量x表示。 识别目的：依据特征向量x将细胞划分为正常或者 异常细胞。 这里我们用ω= ω1表示是正常细胞，而ω= ω2则属 于异常细胞。