当前位置：文档之家 › 模式识别习题解答第三章

模式识别习题解答第三章

  • 格式：doc
  • 大小：558.00 KB
  • 文档页数：10

题1：在一个10类的模式识别问题中，有3类单独满足多类情况1，其余的类别满足多类情况2。问该模式识别问题所需判别函数的最少数目是多少？

答：将10类问题可看作4类满足多类情况1的问题，可将3类单独满足多类情况1的类找出来，剩下的7类全部划到4类中剩下的一个子类中。再在此子类中，运用多类情况2的判别法则进行分类，此时需要7*（7-1）/2=21个判别函数。故共需要4+21=25个判别函数。

题2：一个三类问题，其判别函数如下： d1(x)=-x1, d2(x)=x1+x2-1, d3(x)=x1-x2-1 1. 设这些函数是在多类情况1条件下确定的，绘出其判别界面和每一个模式类别的区域。 2. 设为多类情况2，并使：d12(x)= d1(x), d13(x)= d2(x), d23(x)= d3(x)。绘出其判别界面和多类情况2的区域。 3. 设d1(x), d2(x)和d3(x)是在多类情况3的条件下确定的，绘出其判别界面和每类的区域。

答：三种情况分别如下图所示： 1．

2． 3． 题3：两类模式，每类包括5个3维不同的模式，且良好分布。如果它们是线性可分的，问权向量至少需要几个系数分量？假如要建立二次的多项式判别函数，又至少需要几个系数分量？（设模式的良好分布不因模式变化而改变。）

答：（1）若是线性可分的，则权向量至少需要14Nn个系数分量； （2）若要建立二次的多项式判别函数，则至少需要5!102!3!N个系数分量。

题4：用感知器算法求下列模式分类的解向量w: ω1: {(0 0 0)T, (1 0 0)T, (1 0 1)T, (1 1 0)T} ω2: {(0 0 1)T, (0 1 1)T, (0 1 0)T, (1 1 1)T}

解：将属于2w的训练样本乘以(1)，并写成增广向量的形式

x1=[0 0 0 1]',x2=[1 0 0 1]',x3=[1 0 1 1]',x4=[1 1 0 1]';x5=[0 0 -1 -1]',x6=[0 -1 -1 -1]',x7=[0 -1 0 -1]',x8=[-1 -1 -1 -1]';

迭代选取1C，(1)(0,0,0,0)w，则迭代过程中权向量w变化如下： (2)(0 0 0 1)w；(3)(0 0 -1 0)w；(4)(0 -1 -1 -1)w；(5)(0 -1 -1 0)w；

(6)(1 -1 -1 1)w；(7)(1 -1 -2 0)w；(8)(1 -1 -2 1)w；(9)(2 -1 -1 2)w；

(10)(2 -1 -2 1)w；(11)(2 -2 -2 0)w；(12)(2 -2 -2 1)w；收敛

所以最终得到解向量(2 -2 -2 1)w，相应的判别函数为123()2221dxxxx。

题5：用多类感知器算法求下列模式的判别函数： ω1: (-1 -1)T，ω2: (0 0)T，ω3: (1 1)T 解：采用一般化的感知器算法，将模式样本写成增广形式，即 1231011,0,1111xxx





取初始值123000www，取1C，则有 第一次迭代：以1x为训练样本，123(1)(1)(1)0ddd，故 123111(2)1,(2)1,(2)1111www





第二次迭代：以2x为训练样本，123(2)1,(2)1,(2)1ddd，故

123111(3)1,(3)1,(3)1002www





第三次迭代：以3x为训练样本，123(3)2,(3)2,(3)0ddd，故

123102(4)1,(4)0,(4)2011www





第四次迭代：以1x为训练样本，123(4)2,(4)1,(4)5ddd，故

112233(5)(4),(5)(4),(5)(4)wwwwww 第五次迭代：以2x为训练样本，123(5)0,(5)1,(5)1ddd，故

123102(6)1,(6)0,(6)2102www





第六次迭代：以3x为训练样本，123(6)3,(6)0,(6)2ddd，故

112233(7)(6),(7)(6),(7)(6)wwwwww 第七次迭代：以1x为训练样本，123(7)1,(7)0,(7)6ddd，故 112233(8)(7),(8)(7),(8)(7)wwwwww 第八次迭代：以2x为训练样本，123(8)1,(8)0,(8)2ddd，故 112233(9)(8),(9)(8),(9)(8)wwwwww 由于第六、七、八次迭代中对312,,xxx均以正确分类，故权向量的解为：

1231021,0,2102www





，可得三个判别函数为：

1122312

10222dxxddxx

题6： 采用梯度法和准则函数2(,,)21()8ttwxbJwxbwxbx，式中实数b〉0，试导出两类模式的分类算法。

解：)]sgn(*[*|]|)[(||||412bxwxxbxwbxwxwJttt 其中：0,10,1)sgn(bxwbxwbxwttt 得迭代式： 2(1)()[(())|()|]*[*sgn(())]4||||tttCwkwkwkxbwkxbxxwkxbx

200(1)()()0tttwxbwkwkCbwxxwxbx



题7：用LMSE算法求下列模式的解向量： ω1: {(0 0 0)T, (1 0 0)T, (1 0 1)T, (1 1 0)T}

ω2: {(0 0 1)T, (0 1 1)T, (0 1 0)T, (1 1 1)T}

解：写出模式的增广矩阵X： 00011001101111010011011101011111X





#11000110010111000110110111000100010111110100010111()()001011010011001011011111111101111111111101011111ttXXXX

















=121121212(2)1122222401110001000101110010110111111111 20010201100214111201110001000101110010110111111111







1111111111111111111111111421001011







取(1)(11111111)tb和1C 第一次迭代： #(1)(1)(1110.5)tXwb

(1)(1)(1)(0.50.50.50.50.50.50.50.5)tXewb #(2)(1)(1)(1.51.51.50.75)tCXwwe

(2)(1)[(1)(1)](12111211)tCbbee 第二次迭代： (2)(2)(2)(0.250.250.250.250.250.250.250.25)tXewb

#(3)(2)(2)(1.751.751.750.875)tCXwwe

(3)(2)[(2)(2)](12.51112.511)tCbbee 第三次迭代： (3)(3)(3)(0.1250.1250.1250.1250.1250.1250.1250.125)tXewb

#(4)(3)(3)(1.8751.8751.8750.9375)tCXwwe

(4)(3)[(3)(3)](12.751112.7511)tCbbee 第四次迭代： (4)(4)(4)(0.06250.06250.06250.06250.06250.06250.06250.0625)tXewb

#(5)(4)(4)(1.93751.93751.93750.9688)tCXwwe

(5)(4)[(4)(4)](12.8751112.87511)tCbbee 第五次迭代： (5)(5)(5)(0.03130.03130.03130.03130.03130.03130.03130.0313)tXewb

#(6)(5)(5)(1.96881.96881.96880.9844)tCXwwe

(6)(5)[(5)(5)](12.93751112.937511)tCbbee 第六次迭代： (6)(6)(6)(0.01560.01560.01560.01560.01560.01560.01560.0156)tXewb

#(7)(6)(6)(1.98441.98441.98440.9922)tCXwwe

(7)(6)[(6)(6)](12.96881112.968811)tCbbee 第七次迭代： (7)(7)(7)(0.00780.00780.00780.00780.00780.00780.00780.0078)tXewb

#(8)(7)(7)(1.99221.99221.99220.9961)tCXwwe

(8)(7)[(7)(7)](12.98441112.984411)tCbbee 第八次迭代： (8)(8)(8)(0.00390.00390.00390.00390.00390.00390.00390.0039)tXewb

合集下载

模式识别v试题库

模式识别v试题库

《模式识别》试题库一、大体概念题模式识别的三大核心问题是：、、。

、模式散布为团状时，选用聚类算法较好。

欧式距离具有。

马式距离具有。

（1）平移不变性（2）旋转不变性（3）尺度缩放不变性（4）不受量纲阻碍的特性描述模式相似的测度有：。

（1）距离测度（2）模糊测度（3）相似测度（4）匹配测度利用两类方式处置多类问题的技术途径有：（1）；（2）；（3）。

其中最经常使用的是第个技术途径。

判别函数的正负和数值大小在分类中的意义是：，。

感知器算法。

（1）只适用于线性可分的情形；（2）线性可分、不可分都适用。

积存位势函数法的判别界面一样为。

（1）线性界面；（2）非线性界面。

基于距离的类别可分性判据有：。

（1）1[]w BTr S S-（2）BWSS（3）BW BSS S+作为统计判别问题的模式分类，在（）情形下，可利用聂曼-皮尔逊裁决准那么。

确信性模式非线形分类的势函数法中，位势函数K(x,x k)与积存位势函数K(x)的关系为（）。

用作确信性模式非线形分类的势函数法，通常，两个n维向量x和x k的函数K(x,x k)假设同时知足以下三个条件，都可作为势函数。

①（）；②（ ）； ③ K(x,x k )是滑腻函数，且是x 和x k 之间距离的单调下降函数。

散度J ij 越大，说明ωi 类模式与ωj 类模式的散布（ ）。

当ωi 类模式与ωj 类模式的散布相同时，J ij =（ ）。

假设用Parzen 窗法估量模式的类概率密度函数，窗口尺寸h1过小可能产生的问题是（ ），h1过大可能产生的问题是（ ）。

信息熵能够作为一种可分性判据的缘故是： 。

作为统计判别问题的模式分类，在（ ）条件下，最小损失裁决规那么与最小错误裁决规那么是等价的。

随机变量l(x )=p( x |ω1)/p( x |ω2)，l( x )又称似然比，那么E {l( x )|ω2}=（ ）。

在最小误判概率准那么下，对数似然比Bayes 裁决规那么为（ ）。

模式识别考试题答案

模式识别考试题答案

模式识别考试题答案题1：设有如下三类模式样本集ω1，ω2和ω3，其先验概率相等，求Sw 和Sb ω1：{(1 0)T, (2 0) T, (1 1) T} ω2：{(-1 0)T, (0 1) T, (-1 1) T}ω3：{(-1 -1)T, (0 -1) T, (0 -2) T}解：由于本题中有三类模式，因此我们利用下面的公式：b S =向量类模式分布总体的均值为C ,))()((00031m m m m m P t i i i i --∑=ω,即:i31i i0m )p(E{x }m ∑===ωi m 为第i 类样本样本均值⎪⎪⎪⎪⎭⎫⎝⎛=⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡⎪⎪⎪⎪⎭⎫ ⎝⎛+⎪⎪⎪⎪⎭⎫ ⎝⎛--+⎪⎪⎪⎪⎭⎫⎝⎛=⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡⎪⎭⎫ ⎝⎛--⎪⎪⎪⎪⎭⎫⎝⎛--+⎪⎭⎫ ⎝⎛-⎪⎪⎪⎪⎭⎫ ⎝⎛-+⎪⎭⎫ ⎝⎛⎪⎪⎪⎪⎭⎫ ⎝⎛=--=⎪⎪⎪⎪⎭⎫ ⎝⎛-=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡-+--=⎪⎪⎪⎪⎭⎫⎝⎛--=⎥⎦⎤⎢⎣⎡---++-=⎪⎪⎪⎪⎭⎫ ⎝⎛-=⎥⎦⎤⎢⎣⎡++-+-=⎪⎪⎪⎪⎭⎫ ⎝⎛=⎥⎦⎤⎢⎣⎡++++=∑=81628113811381628112181448144811681498149814981498116814481448112131911949119497979797949119491131)m m )(m m ()(P S 919134323131323431m 343121100131m 323211010131m ;313410012131m t0i 0i 31i i b10321ω；333t(i)(i)k k w i i i i i i i i 1i 11111S P()E{(x-m )(x-m )/}C [(x m )(x m )33361211999271612399279Tk ωω====•==--⎡⎤⎡⎤--⎢⎥⎢⎥==⎢⎥⎢⎥⎢⎥⎢⎥--⎢⎥⎢⎥⎣⎦⎣⎦∑∑∑题2：设有如下两类样本集，其出现的概率相等： ω1：{(0 0 0)T , (1 0 0) T , (1 0 1) T , (1 1 0) T}ω2：{(0 0 1)T , (0 1 0) T , (0 1 1) T , (1 1 1) T}用K-L 变换，分别把特征空间维数降到二维和一维，并画出样本在该空间中的位置。

模式识别题目及答案

模式识别题目及答案

一、（15分）设有两类正态分布的样本集，第一类均值为T1μ=（2,0），方差11⎡⎤∑=⎢⎥⎣⎦11/21/2，第二类均值为T2μ=（2,2），方差21⎡⎤∑=⎢⎥⎣⎦1-1/2-1/2，先验概率12()()p p ωω=，试求基于最小错误率的贝叶斯决策分界面。

解 根据后验概率公式()()()()i i i p x p p x p x ωωω=， (2’)及正态密度函数11/21()exp[()()/2]2T i i i i nip x x x ωμμπ-=--∑-∑ ,1,2i =。

(2’) 基于最小错误率的分界面为1122()()()()p x p p x p ωωωω=， (2’) 两边去对数，并代入密度函数，得1111112222()()/2ln ()()/2ln T T x x x x μμμμ----∑--∑=--∑--∑ (1) (2’)由已知条件可得12∑=∑，114/3-⎡⎤∑=⎢⎥⎣⎦4/3-2/3-2/3，214/3-⎡⎤∑=⎢⎥⎣⎦4/32/32/3，(2’)设12(,)Tx x x =，把已知条件代入式（1），经整理得1221440x x x x --+=， (5’)二、（15分）设两类样本的类内离散矩阵分别为11S ⎡⎤=⎢⎥⎣⎦11/21/2, 21S ⎡⎤=⎢⎥⎣⎦1-1/2-1/2,各类样本均值分别为T 1μ=（1,0），T2μ=（3,2），试用fisher 准则求其决策面方程，并判断样本Tx =（2,2）的类别。

解：122S S S ⎡⎤=+=⎢⎥⎣⎦200 (2’) 投影方向为*112-2-1()211/2w S μμ-⎡⎤⎡⎤⎡⎤=-==⎢⎥⎢⎥⎢⎥--⎣⎦⎣⎦⎣⎦1/200 (6’)阈值为[]*0122()/2-1-131T y w μμ⎡⎤=+==-⎢⎥⎣⎦(4’)给定样本的投影为[]*0-12241T y w x y ⎡⎤===-<⎢⎥-⎣⎦， 属于第二类 (3’)三、 （15分）给定如下的训练样例实例 x0 x1 x2 t(真实输出) 1 1 1 1 1 2 1 2 0 1 3 1 0 1 -1 4 1 1 2 -1用感知器训练法则求感知器的权值，设初始化权值为0120w w w ===；1 第1次迭代（4’）2 第2次迭代（2’）3 第3和4次迭代四、 （15分）i. 推导正态分布下的最大似然估计；ii. 根据上步的结论，假设给出如下正态分布下的样本{}1,1.1,1.01,0.9,0.99，估计该部分的均值和方差两个参数。

模式识别习题答案

模式识别习题答案


将 w0 代入由 (∗∗) 得到的第二个等式得到：
1 [ N
Sw
+
N1N2 N2
(m1
−
m2)(m1
−
m2)T ]w
=
m1
−
m2
显然，
N1 N2 N2
(m1
−
m2
)(m1
−
m2
)T
w
在
m1 − m2
方向上，不妨令
N1 N2 N2
(m1
−
m2)(m1 − m2)T w = (1 − λ)(m1 − m2) 代入上式可得
g(x) = aT y, a = (1, 2, −2)T , y = (x1, x2, 1)T
(3)事实上， X 是 Y 中的一个 y3 = 1 超平面，两者有相同的表达式，因此对 原空间的划分相同。 4.8 证明在正态等协方差条件下，Fisher线性判别准则等价于贝叶斯判别。 证明： 在正态等协方差条件（ Σ1 = Σ2 = Σ ）下，贝叶斯判别的决策面方程为：
w xp = x ∓ r ∥w∥
根据超平面的定向，将 r 代入可得，
g(x) xp = x − ∥w∥2 w
4.4 对于二维线性判别函数
g(x) = x1 + 2x2 − 2
(1)将判别函数写成 g(x) = wT x + w0 的形式，并画出 g(x) = 0 的几何图形； (2)映射成广义齐次线性判别函数
∥∇J (a)∥2 ρk = ∇JT (a)D∇J(a)
时，梯度下降算法的迭代公式为
证明：
ak+1
=
ak
+
b
− aTk y1 ∥y1∥2
y1