当前位置：文档之家 › 模式识别第2章

模式识别第2章

  • 格式：ppt
  • 大小：2.49 MB
  • 文档页数：90

下载文档原格式

  / 90

合集下载

模式识别第二章

模式识别第二章

多元正态分布由n+n(n+1)/2个参数所完全决 定
p(x)~N(μ,Σ)
第二章 贝叶斯决策理论
37
等概率密度轨迹为超椭球面
正态分布 Bayes决策
p ( x ) c ( x μ ) T 1 ( x μ ) 2
i
第二章 贝叶斯决策理论
9
分类器设计
判别 函数
分类器是某种由硬件或软件组成的“机器”：
➢计算c个判别函数gi(x)
➢最大值选择
x1
g1
x2
g2
ARGMAX
a(x)
.
.
.
.
.
.
xn
gc
多类识别问题的Bayes最大后验概率决策：gi(x) = P (ωi |x)
第二章 贝叶斯决策理论
10
2.3 Bayes最小错误率决策
根据已有知识和经验，两类的先验概率为：
➢正常(ω1)： P(ω1)=0.9 ➢异常(ω2)： P(ω2)=0.1 ➢对某一样本观察值x，通过计算或查表得到：
p(x|ω1)=0.2， p(x|ω2)=0.4
如何对细胞x进行分类？
第二章 贝叶斯决策理论
15
Bayes最小错误率决策例解（2）
最小错误 率决策
利用贝叶斯公式计算两类的后验概率：
P ( 1|x ) 2 P P ( ( 1)jp )( p x (x | | 1 )j)0 .9 0 0 ..9 2 0 0 ..2 1 0 .40 .8 1 8
j 1
P ( 2|x ) 2 P P ( ( 2)jp )( p x (x | | 2)j)0 .2 0 0 ..9 4 0 0 ..1 4 0 .1 0 .1 8 2
最新哈工大 模式识别第2章ppt教学课件

最新哈工大 模式识别第2章ppt教学课件

P(e)也必然达到最小
▪ 因而，按最大后验概率作出的决策，其平均错误 率为最小。
▪
C类别情况
如 果 : P (i|X ) m j 1 a ,...x ,cP (j|X )
则： X i
也可写成先验概率与条件概率密度形式：
如 果 :p ( X |i) P (i) m j 1 a ,... x ,c p ( X | j) P (j)
则： X i
多类别决策过程中的错误率计算：
1、把特征空间分割成R1，R2，…，Rc，C个区域 2、在每个区域Ri统计将所有其它类错误划为该区 域对应的类的概率，则每个区域共有c-1项错误率， 总共有c(c-1) 项 。（计算复杂）
正确率：
所以：P(e)=1-P(c)
（可见：每次决策，正确率最大，即：P(C）最大，
P(e)R1p(X|2)P(2)dxR2p(X|1)P(1)dx
P(2)R1p(X|2)dxP(1)R2p(X|1)dx
P(2)P2(e)P(1)P1(e)
ห้องสมุดไป่ตู้
如 果 l(x)p p((X X|| 2 1))P P(( 2 1)),
X 1
▪ 在R1区内任一个x值都有P(w2|x)＜P(w1|x)， ▪ 在R2区内任一个x值都有P(w1|x)＜P(w2|x) ▪ 错误率在每个x值处都取小者，因而平均错误率
– 在作出决策时，要考虑所承担的风险。
– 基于最小风险的贝叶斯决策规则正是为了体现这 一点而产生的。
基于最小风险的贝叶斯决策
▪ 最小错误率贝叶斯决策规则
如 果 :P (i|X ) jm 1 ,2 a ,. x ..,c P (j|X ) X i
▪ 实际上，C类中的每一类都有一定的样本的特征向 量取值X，只不过可能性大小不同而已。
模式识别-第2章(1)

模式识别-第2章(1)

M
M
M M = ∫ ∑ λk 1 p ( x | ωk ) P(ωk ) dx + .... + ∫ ∑ λkM p( x | ωk ) P(ωk ) dx R1 RM k =1 k =1
使上述平均风险达到最小的判决规则成为最小风 险判决规则。
2、最优决策域的构成： 考察特征空间中的所有特征向量。对于任意一 个特征向量x，如果
α ( x) = ωi
因此，为了使r取得最小值，最优判决规则应为： r 如果
M
ri = ∑ λki P (ωk | x) <rj = ∑ λkj P (ωk | x), j = 1,..., M , j ≠ i
k =1 k =1
M
4、两类分类的一个例子：对于观测到的任意一 个特征向量x，计算：
r1 = λ11 P (ω1 | x) + λ21 P (ω2 | x) r2 = λ12 P (ω1 | x) + λ22 P (ω2 | x) 如果r1<r2则判为 ω1，如果r1>r2则判为 ω2 。
寻求一个最优的判决规则，也就是寻求一个最优 的划分R1及R2，使得错误率达到最小。
4、判决规则错误概率的计算：假设判决规则对应 的决策域为R1及R2，则其错误率为：
Pe = P(ω1 ) P( x ∈ R2 | ω1 ) + P (ω2 ) P ( x ∈ R1 | ω2 )
= P(ω1 ) ∫ p( x | ω1 )dx + P(ω2 ) ∫ p ( x | ω2 )dx
3、判决规则的一般描述形式 对特征空间的任意一个划分R1及R2，都对应一个 判决规则。该判决规则为：对于观测到的特征 向量x， 如果 x ∈ R1 则判为 ω1 ，即x属于第一类 如果 x ∈ R2 则判为 ω2 ，即x属于第二类 该判决规则的错误概率为：
第二章 知觉与模式识别

第二章 知觉与模式识别


固定网像（Stopped Image）实验 固定网像（Stopped Image）实验
固定网像（Stopped Image）或静止网像 固定网像（Stopped Image）或静止网像 人的眼睛经常处于运动之中，眼动包括人 自己觉察不到的每秒30—70次的生理震颤， 自己觉察不到的每秒30—70次的生理震颤， 以及摆动、跳动等。因此，即使人注视一 个客体，该客体的网像也不是完全固定的， 它的位置总要发生一些变化。
二、原型说
原型说认为在记忆中贮存的不是与外部模式有一 对一关系的模板，而是原型（Prototype）。 原型不是某一个特定模式的内部复本。它被看作 一类客体的内部表征，即一个类别或范畴的所有 个体的概括表征。这种原型反映一类客体具有的 基本特征。 在模式识别的过程中，外部刺激只需与原型进行 比较并达到近似的匹配即可。当刺激与某一原形 有着最近似的匹配，即可得到识别。
三、特征说
模式是由若干元素或成分按一定关系构成的。这 些元素或成分可称为特征（Feature），而其关系 有时也称为特征。特征说认为，模式可分解为诸 特征。 特征说认为外部刺激在人的长时记忆中，是以各 种特征来表征的，在模式识别过程中，首先要对 刺激的特征进行分折，也即抽取刺激的有关特征， 然后将这些抽取的特征加以合并，再与长时记亿 中的各种刺激的特征进行比较，一旦获得最佳的 匹配，外部刺激就被识别了。
结构密度级差实验 如果在两维平面上，画出这种表面结构 的密度级差，如使上端的结构单元较小而 密度较大，下端的结构单元较大而密度效 小，则可将画面知觉为向远方延伸，有明 显的距离感或深度感。但是如果画面没有 这种结构密度级差，则看起来仍然是垂直 于视线的平面图形。
（1） 视觉环境中存在的种种特性提供了足够的信息，使 人能够分辨物体的深度。 （2） 这种直接来自环境的信息，是由物体表面的纹理结 构提供的。 （3） 当人们观看周围的物体时，物体表面的纹理密度发 生变化。 （4） 这种纹理密度的级差就是深度知觉的重要线索。 （5） 如果一个均匀的、有纹理的表面与视线垂直，那么 它的纹理密度在视野的不同部位是一样的，或者说，纹理 密度的级差为零。物体表面与视线倾斜，级差将上升。当 物体在不同距离出现时，它的表面的纹理密度也是变化的。 （6）人们根据这种变化就能直接感知物体的深度与距离。 因此，深度知觉既不依赖于感觉的联合，也不依赖于无意 识的推理。
模式识别(chapter2)资料

模式识别(chapter2)资料


解： 三个判别边界分别为：
dd12((xx))
x1 x2 x1 x2 5
0
0
d3 (x) x2 1 0
13
➢1、第一种情况（续）
结论： 因为
d1(x) 0, d2 (x) 0, d3(x) 0
所以它属于ω2类。
14
➢1、第一种情况（续）
5
dd12((xx))
0 0
d3 ( x) 0
wn1
0
当 x 在 n 背向的半空间中时，w0 x wn1 0
这说明判别函数值的正负表示出特征点位于 哪个半空间中，或者换句话说，表示特征点位于 界面的哪一侧。
34
例2.3.1：利用判别函数的鉴别意义，试分析
d(x1,x2)＝x1+x2+1。
x2
d(x1,x2)＝0
×××××××××××××
n
开，而 i j法是将 i 类和 j类分开，显然 i j法使模式更容易线性可分，这是它的优点。
方法⑶判别函数的数目和方法⑴相同，但没有不 确定区，分析简单，是最常用的一种方法。
26
2.3 判别函数值的鉴别意义、权空间及解空间
27
.3 判别函数值的鉴别意义、权空间及解空间
此方程表示一超平面 π。它有以下三个性质:
1
x2
1
d1(x) 0
2 3
d1(x) 0
d2 (x) 0
d3 (x) 0
d3(x) 0
x1
d1(x) 0
d
2
(
x)
0
d3
(
x
)
0
d2(x) 0
5
15
16
➢2、第二种情况（续）
模式识别 第二章 聚类分析课件

模式识别 第二章 聚类分析课件

青蛙
蜥蜴,蛇, 麻雀，海
金鱼
鸥,青蛙
羊,狗, 猫,
鲨鱼
(c) 生存环境
(d)繁衍后代的方式和是否存在肺
6
2.1 聚类的基本概念
2.1.5 距离测度对聚类结果的影响
数据的粗聚类是两类,细聚类为4类
72.2 ຫໍສະໝຸດ 式相似性测度2.2.1 距 离 测 度 2.2.2 相 似 测 度 2.2.3 匹 配 测 度
r(x1, x2 )
18
(3) 指数相关系数
e(x, y) 1 n exp[ 3 (xi yi )2 ]
n i1
4
2 i
这里假设 x 和 y 的维数n相同、概率分布相同。
2是第i个分量的方差。
i
性质：不受量纲变化的影响。
19
（三） 匹 配 测 度
若特征只有两个状态： 0 => 有此特征；1 => 无此特征。称之为二值特征。
注意，这里只考虑（1-1）匹配，而不考虑（0-0）匹配。 21
（三） 匹 配 测 度
(2) Rao测度
（1-1）匹配特征数目与特征总数之比
s(x, y)
a
x'y
abce n
(3) 简单匹配系数 （1-1）匹配+（0-0）匹配/特征总数
m(x, y) a e n
(4) Dice系数
只对（1-1）匹配加权
取决于分类算法和特征点分布情况的匹配。
x2
x2
w1
w2
W1
b
w1
W2
W1
w2
w3
W2
W3
1.特征选取不当使分类无效。
x1
4
2.特征选取不足可能使不同 类别的模式判为一类。
模式识别第2章 模式识别的基本理论(2)

模式识别第2章 模式识别的基本理论(2)

yk
（步长系数 ）
33
算法
1）给定初始权向量a(k) ，k=0；
（ 如a(0)=[1,1,….,1]T）
2）利用a(k)对对样本集分类，设错分类样本集为yk 3）若yk是空集，则a=a(k)，迭代结束；否则，转4） 或 ||a(k)-a(k-1)||<=θ, θ是预先设定的一个小的阈值 （线性可分， θ =0） ( y) a(k 1) a(k) k J p 4）计算：ρ k, J p (a) y y 令k=k+1 5）转2）
1）g(x)>0, 决策：X∈ ω1 决策面的法向量指向ω1的决 策域R1，R1在H的正侧 2） g(x)<0, 决策：X∈ ω2， ω2的决策域R2在H的负侧
6
X g(X) / ||W|| R0=w0 / ||W|| Xp R2: g<0 H: g=0 r 正侧 R1: g>0 负侧
g(X)、 w0的意义 g(X)是d维空间任一点X到决策面H的距离的代数度量 w0体现该决策面在特征空间中的位置 1) w0=0时，该决策面过特征空间坐标系原点 2)否则，r0=w0/||W||表示坐标原点到决策面的距离
否则，按如下方法确定： 1、 2、 3、 m m ln[ P( ) / P( )]
~ ~
w0
1
2
2
1
2
N1 N 2 2
（P(W1)、P(W2) 已知时）
24
分类规则
25
5 感知准则函数
感知准则函数是五十年代由Rosenblatt提出的一种 自学习判别函数生成方法，企图将其用于脑模型感 知器，因此被称为感知准则函数。 特点：随意确定判别函数的初始值，在对样本分类 训练过程中逐步修正直至最终确定。 感知准则函数：是设计线性分类器的重要方法 感知准则函数使用增广样本向量与增广权向量
模式识别(2-3)

模式识别(2-3)



i
ln P (i )
正态分布概率模型下的最小错误率贝叶 斯决策
决策规则：gi ( x) xT W i x WiT x wi 0 max xT W j x W jT x w j 0 x i
1 j M


对于二类情况: g ( x) g 2 ( x) g1 ( x) 1 1 1 T 1 T 1 ( x 1 ) 1 ( x 1 ) ( x 2 ) 2 ( x 2 ) ln 2 2 2
由于它的主对角元素都是各分量的方差，因此一般情况下 都是大于零的值。
正态分布概率模型下的最小错误率贝叶 斯决策
Ø
判别函数：
1 1 n 1 T x i i x i ln 2 ln 2 2 2
gi ( x)

i
ln P(i )
决策面方程：
gi ( x) g j ( x) 0 1 1 1 x i i x i x j j x j 2 i P (i ) 1 ln ln 0 2 P ( j ) j
正态分布概率模型下的最小错误率贝叶 斯决策

例2设一个二维空间中的两类样本服从正态分布，其参数
分别为
1 (1, 0) ,
t
1 0 1 , 0 1
2 (1, 0) ,
T
2 0 2 0 2
先验概率 P 1 P 2
试证明其基于最小错误率的贝叶斯决策分界面方程 为一圆，并求其方程。
T
7 (0, )T 4
协方差矩阵为 : 2 1 0 3 0 C11 C12 , 1 0 3 2 1 , 1 C C 0 21 22 10 4 1 5 C11 ( x1k x11 )T ( x1k x11 ) 5 1 k 1 1 (1 0) 2 (1 0) 2 (0 0) 2 ( 1 0) 2 ( 1 0) 2 1 4 1 5 C12 ( x1k x11 )( x2 k x12 )T 0 4 k 1 C12 C21
《模式识别》 第二章 2.1

《模式识别》 第二章 2.1


( ) ( ) P ωi x
=
max P
j =1,2 ," ,c
ωj
x
先验概率与类条件概率密度相联系的形式 ：
( ) ( ) ( ) ( ) P
x ωi
P ωi
= max P j =1,2,",c
x ωj
P ωj
,则
x ∈ωi
19
小结
贝叶斯公式：
P(ωi | x) =
p(x | ωi )P(ωi )
=
−
ln
p(x
|
ω1 )
+
ln
p(x
|
ω2
)
< ln
>
⎛ ⎜ ⎝
P(ω1) P(ω2 )
⎞ ⎟ ⎠
x ∈ ⎧⎨⎩ωω12
15
基于最小错误率的贝叶斯决策
例：假设在某个局部地区细胞识别中正常和异常两类的先验概率 分别为
正常状态：P(ω1) = 0.9
异常状态：P(ω2 ) = 0.1
现有一待识别的细胞，其观察值为x，类条件概率密度分别
基于最小错误率的贝叶斯决策
鲈鱼/鲑鱼例子
自然状态下，先验的类别状态，ωi, i=1,2
ωi类别状态是一个随机变量, P(ωi) 表示为先验概率。 捕获鲈鱼和鲑鱼的几率相等。
P(ω1) = P(ω2) (先验) P(ω1) + P( ω2) = 1 (排除其它鱼的种类)
基于最小错分布 (先验概率和类条件 概率密度) 是已知的
要决策分类的类别数是一定的
决策
黑色：第一类
粉色：第二类
绿色：哪一类？
统计决策理论就是 根据每一类总体的 概率分布决定未知 类别的样本属于哪 一类！
《模式识别与机器学习》习题和参考答案

《模式识别与机器学习》习题和参考答案


(μ i , i ), i 1, 2 ，可得
r (x) ln p(x | w 1) ln p(x | w 2)
d
1
1

(x μ1 ) 1 (x μ1 ) ln 2 ln | |
2
2
2

d
1
1

(x μ 2 ) 1 (x μ 2 ) ln 2 ln | |
(2-15)可简化为
1
gi ( x) (x μi ) 1 (x μi ).
2
(2-17)
将上式展开，忽略与 i 无关的项 x 1x ，判别函数进一步简化为
1
gi (x) ( 1μi ) x μi 1μi .
2
(2-18)
此时判别函数是 x 的线性函数，决策面是一个超平面。当决策区域 Ri 与 R j 相邻时，
190%
(2-13)
最小风险贝叶斯决策会选择条件风险最小的类别，即 h( x) 1 。
3.
给出在两类类别先验概率相等情况下，类条件概率分布是相等对角协方差
矩阵的高斯分布的贝叶斯决策规则，并进行错误率分析。
答：
（1）首先给出决策面的表达式。根据类条件概率分布的高斯假设，可以
得到
p(x | w i )
2
2
2

1
1
1 ||
(x μ1 ) 1 (x μ1 ) (x μ 2 ) 1 (x μ 2 ) ln
2
2
2 ||
1
(μ 2 μ1 ) 1x (μ1 1μ1 μ 2 1μ 2 ).
2
(2-28)
第2章模式识别

第2章模式识别


知识经验在知觉中的作用
实验研究
Warren等（1970）的因素恢复效应实验。 实验时：让不同被试分别听一个不同的句子， 如：达尔马提亚狗 （1）It was found that the ＊eel was on the axle. （2）It was found that the ＊eel was on the shoe. （3）It was found that the ＊eel was on the orange. （4）It was found that the ＊eel was on the table. 在每个句子中， ＊表示某个字母缺失。
• • • • •
模式识别中的非认知因素 (一)需要与动机的影响 (二)价值与态度的影响 (三)情绪的影响 (四)人格的影响 场依存和场独立（实验，p68）
• 第三节：模式识别的早期理论 • 一、模板匹配理论（p69） • 二、原型理论（p71） • 三、特征分析理论(p74) • 小妖模型 生理和心理学证据
• 特征说类似于模板说，Anderson指出，这种特 征可看成微型模板。但二者不同：
• 依据刺激的特征和关系进行识别，不管刺激的 大小、方位等细节，避开预处理的困难和负担， 使识别有更强的适应性。 • 同样的特征可出现在不同模式中，必然极大地 减轻记忆负担。 • 由于需要获得刺激的组成成分信息，即抽取必 要的特征和关系，再加以综合，才能进行识别， 这使该过程具有更多的学习色彩。 • 当不同模式具有一些相同特征时，使识别发生 困难。
Reed的模式识别实验
三、特征说
模式是由若干元素或成分按一定关系构成 的，这些元素或成分称为特征（Feature)，而 其关系有时也称为特征。 模式可分解为诸特 征。
特征分析说试图将模式分析为组成它们的 各种特征，模式识别时需要对刺激的特征进行 分析，将之与长时记忆中的各种刺激特征进行 比较，一旦获得最佳的匹配，外部刺激就得以 识别。

模式识别课件 第二章1

P e rro r 1 P 1 | x P 2 | x x 1 错 误 率 ： P e rro r 1 P 2 | x P 1 | x x 2 错 误 率 ：
引 例
P i | x ? i 1, 2 . 测量
j 1 i i
2

P 2 | x 1 P 2 | x 0 .1 8 2
根据贝叶斯决策规则可知，由于
p 1 | x 0 .8 1 8 > p 1 | x 0 .1 8 2
因此，该细胞为正常细胞。
最小错误率贝叶斯决策
多类识别——最小错误率贝叶斯决策
2
P x | 1 dx
P 2 P2 e P 1 P1 e
P1 e P2
e
2 1
P x | 1 d x 把第一类样本决策为第二类的错误 P x | 2 d x 把第二类样本决策为第一类的错误
或 者 P x | i P i
最小错误率贝叶斯决策
多类决策中，特征空间分为多个区域：
1 , 2 , , c
平均错误率（c（c-1）项）：
P e P x 2 , 1 P x 3 , 1 P x c , 1 P 1 P x 1 , 2 P x 3 , 2 P x c , 2 P 2 c行 P x , c P x 2 , c P x c 1 , c c P 1 每 行 c -1 项

模式识别第二章DiscriminantFunction资料


❖ 结论： g1(x) <0 , g2(x) >0 , g3(x) <0所以它属于ω2类
➢ 2.第二种情况：
➢每个模式类和其它模式类间可分别用判别平面分开。
❖这样 有 M(M _ 1)/2个判别平面。
❖对于两类问题，M=2，则有一个判别平面。
❖同理，三类问题则有三个判别平面。 g12(x) 0
❖ 判别函数： gij (x) WijT x ❖ 判别边界： gij ( x ) o
x2
2
1
g(x) w1x1 w2 x2 w3
x1
➢2. n维情况
❖ 现n个特征为： x ( x1 , x 2 , x 3 ,... x n ) T
❖ 判别函数：
g (x) w1x1 w2x2 ...... wnxn wn1
W
T 0
x
w n1
W0 (w1, w2 ,..., wn )T 为 权 向 量 ，
g
2
(
x)
0
g3 (x) 0
g2(x) 0
5
➢1.第一种情况（续）
❖ 对于任一模式X如果它的 g1(x) >0 , g2(x) <0 , g3(x) <0
❖ 则该模式属于ω1类。相应ω1类的区域由直线-x2+1=0
的正边、直线-x1+x2-5=0 和直线-x1+x2=0的负边来确定。
5
x2
g23(x) 0
2
gij
( x)
0 0
当x 当x
i i j
j
❖ 判别条件：
若gij ( x) 0 , 则x i
1
3
g13(x) 0
➢ 2. 第二种情况（续）

模式识别 第二章 贝叶斯决策论习题答案


2
= min p (ω1 x ) , p (ω2 x ) max p (ω1 x ) , p (ω2 x )
= p ω1 x p ω2 x
(
) (
)
所以， p ω1 x p ω2 x 能过给出误差率的下界。 d) 因为：
(
) (
)
pβ ( error ) = ∫ β p (ω1 x ) p ( ω2 x ) p ( x ) dx
α 4
∫
Hale Waihona Puke +∞p ( x ) dx <
显而易见： pα ( error ) < p ( error ) ，因此当 α < 2 时，无法得到误差率的上界。 c) 因为：
p ( error x ) ≥ p ( error x ) − p ( error x ) = p ( error x ) 1 − p ( error x )
i =1 ωi ≠ωmax
∑ P (ω x ) p ( x ) d x
i
c
= ∫ 1 − P (ωmax x ) p ( x ) dx = 1 − ∫ P (ωmax x ) p ( x ) dx
d) 续上式：
(
)
P ( error ) = 1 − ∫ P (ωmax x ) p ( x ) dx ≤ 1− ∫ 1 1 c −1 p ( x ) dx = 1 − = c c c
n t
′ ′ ′ Σ′ = ∑ ( x′ k − μ )( x k − μ )
k =1 n
= ∑ Tt ( x 0 k − μ )( x 0 k − μ ) T
t k =1
n t = Tt ∑ ( x 0 k − μ )( x 0 k − μ ) T k =1 = T t ΣT

模式识别(2)

模式识别作业作业1：已知四个训练样本w1={<0,0>,<0,1>}w2={<1,0>,<1,1>}使用感知器固定增量法求判别函数设w1=<1,1,1,1> ρk=1要求编写程序上机运行,写出判别函数,并打出图表。

解：程序:function [W iters]=perceptionclassfy<W1,Pk>x1=[0 0 1]';x2=[0 1 1]';x3=[1 0 1]';x4=[1 1 1]';Wk=W1;FLAG=0;iters=0;if Wk'*x1<=0Wk=Wk+x1;FLAG=1;endif Wk'*x2<=0Wk=Wk+x2;FLAG=1;endif Wk'*x3>=0Wk=Wk-x3;FLAG=1;endif Wk'*x4>=0Wk=Wk-x4;FLAG=1;enditers=iters+1;while<FLAG>FLAG=0;if Wk'*x1<=0Wk=Wk+x1;FLAG=1;endif Wk'*x2<=0Wk=Wk+x2;FLAG=1;endif Wk'*x3>=0Wk=Wk-x3;FLAG=1;endif Wk'*x4>=0Wk=Wk-x4;FLAG=1;enditers=iters+1;endW=Wk;作业2：①在下列条件下,求待定样本x=<2,0>T的类别,画出分界线,编程上机。

1、二类协方差相等,2、二类协方差不等。

1. 二类协方差相等 程序如下：x1=[mean<[1,1,2]>,mean<[1,0,-1]>]'; x2=[mean<[-1,-1,-2]>,mean<[1,0,-1]>]'; m=cov<[1,1;1,0;2,-1]>; n=cov<[-1,1;-1,0;-2,-1]>; m1=inv<m>;n1=inv<n>; p=log<<det<m>>/<det<n>>>; q=log<1>; x=[2,0]'; l=m+n; l1=inv<l>;g1=0.5*<x-x1>'*m1*<x-x1>-0.5*<x-x2>'*n1*<x-x2>+0.5*p-q g1 = -64>> <x2-x1>'*m1 ans =-32.0000 -16.0000 化简矩阵多项式g1=0.5*<x-x1>'*m1*<x-x1>-0.5*<x-x2>'*n1*<x-x2>+0.5*p-q 其中x1,x2已知,x 设为T x x x ]2,1[= 下面用MATLAB 化简,程序如下：>> syms x11; >> syms x22;>> w1=-32*x11+<-16>*x22+0.5*<x1'*l1*x1-x2'*l1*x2>-q,simplify<w1>; w1 =- 32*x11 - 16*x22因此分界线方程为- 32*x11 - 16*x22=0,即0221=+x x 2. 二类协方差不等>>x1=[mean<[1,1,2]>,mean<[1,0,-1]>]'; >> x2=[mean<[-1,-1,-2]>,mean<[1,0,-1]>]'; >> m=cov<[1,1;1,0;2,-1]>; >> n=cov<[-1,1;-1,0;-2,-1]>; >> m1=inv<m>;n1=inv<n>; >> p=log<<det<m>>/<det<n>>> >> q=log<1> >> x=[2,0]'>> g1=0.5*<x-x1>'*m1*<x-x1>-0.5*<x-x2>'*n1*<x-x2>+0.5*p-q g1<0,则判定T x ]0,2[=属于1ω类。

  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

P(1 | X )
p( X | 1 ) P(1 )
p( X | )P( )
i 1 i i
2
0.2 0.9 0.818 0.2 0.9 0.4 0.1
P(2 | X ) 1- P(1 | X ) 1 0.818 0.182
P(1 | X ) 0.818 P(2 | X ) 0.182
2.5 最小最大决策
先验概率值在一定范围内变化，如何使可能 的最大风险是最小的。 先验概率未知。
两类问题
λ11----当X∈ω 1时决策为X∈ω1的损失。 λ21----当X∈ω 1时决策为X∈ω2的损失。 λ12----当X∈ω 2时决策为X∈ω1的损失。 λ22----当X∈ω 2时决策为X∈ω2的损失。 一般：λ21〉λ11及λ12〉λ22 风险：R R( ( X ) | X ) P( X )dX
X 1
最小错误率决策与最小风险决策的错误率
p( X | 1 ) P(2 ) 如果l ( x) , p( X | 2 ) P(1 )
如果l ( x )
X 1
) p( X | 1 ) P(2（12 - 22） , p( X | 2 ) P(1（21 - 11） )
则：
X i
j 1,...,c
计算多类别决策过程中的错误率： 1、把特征空间分割成R1，R2，…，Rc 个区域 2、在每个区域Ri统计将所有其它类错 误划为该区域对应的类的概率，则每个 区域共有c-1项错误率，总共有c(c-1) 项。 正确率：
所以：P(e)=1-P(c)，
2.3基于最小风险的贝叶斯决策
第2章 贝叶斯决策理论
§2.1 引 言
模式识别是一种分类问题，即根据识别对象 所呈现的观察值，将其分到某个类别中去。 统计决策理论是处理模式分类问题的基本理 论之一，对模式分析和分类器的设计起指导 作用。 贝叶斯决策理论是统计模式识别中的一个基 本方法。
待征及特征空间。
假设一个待识别的物理对象用其d个属 性观察值描述，称之为d个特征。 这d个特征组成一个d维的向量，叫特征 向量。 d维待征所有可能的取值范围则组成了 一个d维的特征空间。
基于最小错误概率的贝叶斯决策
基于最小错误概率的贝叶斯决策理论就是按后验 概率的大小作判决的 1、后验概率
如果
P(i | X ) max P( j | X )
j 1,2
则
X i
(2) 如用先验概率及类条件概率密度函 数表示，则有
若：p( X | i ) P(i ) max p( X | j ) P( j )
R1 R2
错误率
p( X | 1 ) P(2 ) 如果l ( x) , p( X | 2 ) P(1 )
X 1
C类别情况
如果: (i | X ) max P( j | X ) P
则：
X i
j 1,...,c
也可写成先验概率与条件概率密度形式：
如果 : p( X | i )P(i ) max p( X | j ) P( j )

损失
(2) ：X确实是正常(ω1) ，但被判癌细胞(ω2)的代价 1
( R2 ( X ) 1( 2) P(1 | X ) 22) P(2 | X )
定义
(1)自然状态与状态空间。 自然状态：指待识别对象的类别: ωi 状态空间Ω：由所有自然状态所组成的空间 Ω={ω1，ω2，…，ωc} (2)决策与决策空间。 对分类问题所作的判决，称之为决策， αi 。 由所有决策组成的空间称为决策空间。 A={α1, α2,….., αa} 决策不仅包括根据观测值将样本划归哪一类别(状态)，还可包 括其它决策，如“拒绝”等，因此决策空间内决策总数a可以 不等于类别数c
2.4在限定一类错误率条件下使另一 类错误率为最小的两类别决策
最小错误率或最小风险决策方法: 先验概率已知。 先验概率的数值对决策有很密切的关系。 先验概率不知道，或先验概率发生变化的情 况。 在这种情况下，如果仍按某一组先验概率 值P(ωi)作决策，则很可能使实际的决策效果 有较大的错误率或较大风险。
Neyman-Pearosn决策：阈值是常数λ
求解λ
在高维时，直接求解λ是不容易的。 似然比函数：l(x)=p(X|ω1)/ p(X|ω2) 似然比密度函数：p(l|ω2) 则：
P2 (e) 1 p(l | 2 )dl 0
0
一般可利用P2(e)与λ值之间存在的单调函数关系， 采用选择一些λ值的试探法，使P2(e)=ε0条件满足， 又能使P1(e)尽可能小。
i 1
类条件概率密度函数
后验概率
P(i | X )
p( X | i ) P(i )
p( X | )P( )
i 1 i i
c
例：癌细胞的识别
识别的目的是要依据观察的细胞（用向量X 表示）将细胞划分为正常细胞或者异常细胞。 设：ω１表示是正常细胞，而ω２则属于异 常细胞。 设正常与异常细胞出现的概率分别为： P(ω1)及P(ω2) 决策规则： P(ω1)〉P(ω2) ω=ω1 P(ω1)<P(ω2) ω=ω2 ！不合理
那末能否在这种情况下，找到一种合适的 分类器设计，使其最大可能的风险为最小？ 换句话说，如果先验概率值在较大范围内变 化，就可能产生的最大风险而言是最小的。 限定某一种错误率条件下，使另一类错误 率最小决策，也称Neyman-Pearson决策规 则，既是此类方法。
两类别问题中可能出现两种错误分类
2.2基于最小错误率的贝叶斯决策
分类识别中为什么会有错分类？在何种情况 下会出现错分类？错分类可能性有多大？ 条件概率P(*|#)：在某条件#下出现某个事件* 的概率。 P(ω|X)是表示在X出现条件下，样本为ω类的 概率。
先验概率、后验概率、概率密度函数
先验概率P(ω1)、P(ω2) 后验概率P(ω1|X)、P(ω2|X) 联合概率P(X,ω1)、P(X,ω2) 类条件概率密度函数p(X|ω1)、p(X|ω2)

[11P(1 ) p( X | 1 ) 12 P( 2 ) p( X | 2 )]dX
R1
21P(1 ) p( X | 1 ) 22 P( 2 ) p( X | 1 )dX
R2
利用 : P(1 ) P(2 ) 1
及 p( X | 1 )dX 1 p( X | 1 )dX
R1 R2
在R1区内任一个x值都有P(w2|x)＜P(w1|x)， 在R2区内任一个x值都有P(w1|x)＜P(w2|x按最大后验概率作出的决策，其平均错误率为 最小。 也可写成：
P(e) p( X | 2 )P(2 )dx p( X | 1 )P(1 )dx
R1/R2:作出w1/w2决策的所有观测值区域
条件错误概率为P(w2|x), P(w1|x)
则： P(e) R1 P(2 | x) p( x)dx R 2 P(1 | x) p( x)dx
p( x | 2 ) P(2 )dx p( x | 1 ) P(1 )dx
X i
例：病理切片
ω1表示病理切片正常 ω 2表示病理切片异常 P(ω 1|X)与P(ω 2|X)分别表示两种可能性大小 ( 21)：X确实是癌细胞(ω2)，但被判正常(ω1)的代价 损失 ( R1( X ) 1(1) P(1 | X ) 21) P(2 | X )
先验概率、后验概率、概率密度函数
Bayes 公式
P( X , i ) p( X | i )P(i ) P(i | X ) p( X )
p( X | i ) P(i ) P(i | X ) p( X ) p( X | i ) P(i ) c p( X | i )P(i )
j 1 ,2
则： X i (3)用比值的方式表示-----似然比
p( X | 1 ) P(2 ) 如果l ( x) p( X | 2 ) P(1 )
则： X 1
对数似然比
h( x ) ln[l ( x )] P(1 ) ln p( X | 1 ) ln p( X | 2 ) ln P(2 )
(3)损失函数λ(αi|ωj) (或写成λ(αi,ωj))。 它明确表示对自然状态ωj，作出决策αi 时所造成的损失。 (4)观测值X条件下的期望损失R(αi|X),
i=1,2,…,a Ri：称为条件风险。
最小风险贝叶斯决策规则
两类时的似然比
) p( X | 1 ) P(2（12 - 22） 如果l ( x ) , p( X | 2 ) P(1（21 - 11） )
已知总共有c类物体，讨论在下列条件下对某 一样本按其特征向量分类的问题。 1、各类别ωi=1,2,…,c的先验概率P(ωi)及 类条件概率密度函数p(x|ωi)已知。 2、类别数一定。 几种常用的决策规则。 正态分布时统计决策的问题以及错误概率等 问题。
几种常用的决策规则
不同的决策规则反映了分类器设计者的不同 考虑，对决策结果有不同的影响。 最有代表性的是： 1. 基于最小错误率的贝叶斯决策 2. 基于最小风险的贝叶斯决策
使错误率最小并不一定是一个普遍适用的最佳 选择 与损失有关联概念----风险 加权平均-----风险
Ri ( X ) (j i ) P( j | X )
j 1
c
分类准则是使风险最小。
如果 : Ri ( X ) max R j ( X ) 则：
j 1,..., c
例：中青年男子 特征：年龄：a=18~45 身高：h=160cm~250cm 体重：w=50kg~150kg 特征向量：A=(a，h，w) 由a值从18到45，h值从160到 250,w值从50到150包围的三维空 间就是对中青年男子进行度量的特 征空间。