模式识别导论习题集
1、设一幅256×256大小的图像，如表示成向量，其维数是多少？如按行串接成一维，则第3行第4个象素在向量表示中的序号。 解：其维数为2；序号为256×2＋4＝516
2、如标准数字1在5×7的方格中表示成如图所示的黑白图像，黑为1，白为0，现若有一数字1在5×7网格中向左错了一列。试用分别计算要与标准模板之间的欧氏距离、绝对值偏差、偏差的夹角表示，异己用“异或”计算两者差异。
解：把该图像的特征向量为5×7＝35维，其中标准模版的特征向量为：
x =[0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1
0 0]T
待测样本的特征向量为：
y =[0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0]T
3521
()14i i i x y =-∑，绝对值偏差为351
|()|14i i i x y =-=∑，
夹角余弦为cos 0||||||||
T x y x y θ=
=?，因此夹角为
90度。
3、哈明距离常用来计算二进制之间的相似度，如011与010的哈明
距离为1，010与100距离为3。现用来计算7位LED编码表示的个数字之间的相似度，试计算3与其它数字中的哪个数字的哈明距离最小。
解：是“9”，距离为1
4、对一个染色体分别用一下两种方法描述：
(1)计算其面积、周长、面积/周长、面积与其外接矩形面积之比可以得到一些特征描述，如何利用这四个值？属于特征向量法，还是结构表示法？
(2)按其轮廓线的形状分成几种类型，表示成a、b、c等如图表示，如何利用这些量？属哪种描述方法？
(3)设想其他结构描述方法。
解：
（1）这是一种特征描述方法，其中面积周长可以体现染色体大小，面积周长比值越小，说明染色体越粗，面积占外接矩形的比例也
体现了染色体的粗细。把这四个值组成一个维数为4的特征向量，该特征向量可以描述染色体的一些重要特征，可以按照特征向量匹配方法计算样本间的相似度。可以区分染色体和其它圆形、椭圆细胞结构。 （2）a 形曲线表示水平方向的凹陷，b 形表示竖直方向的凹陷，c 形指两个凹陷之间的突起，把这些值从左上角开始，按顺时针方向绕一圈，可以得到一个序列描述染色体的边界。它可以很好的体现染色体的形状，用于区分X 和Y 染色体很合适。这是结构表示法。 （3）可以先提取待识别形状的骨架，在图中用蓝色表示，然后，用树形表示骨架图像。
5. 设在一维特征空间中两类样本服从正态分布，1σ=2σ=1，μ1=0，μ2=3，两类先验概率之比e P P =)(/)(21ωω，试求按基于最小错误率贝叶斯决策原则的决策分界面的x 值。
解：按照公式（2－84），分界面上的点应满足：
111
[(0)1(0)(3)1(3)]ln ln 0221
11
302116
x x x x e x x --??---??--+=?-+=?=
6. 设有两类正态分布的样本集，第一类均值t )0,2(1=μ，?
???
??=∑12/12/11
1，t )2,2(2=μ先验概率)()(21ωωP P =，现按基于最小错误率贝叶斯决策设计
分类器，试求分类器得分界面。
解：按照公式（2－84），分界面上的点应满足：
11112211112212
111
[()()()()]ln ln10221()()()()2T T T T x x x x x x x x x x μμμμμμμμ------??---??--+=?-??-=-??-?=∑∑∑∑
7. 已知某一正态分布二维随机变量的协方差矩阵为???
?
??12/12/11，均值向量为零向量。试求其mahalanobis 距离为1的点的轨迹。（不要求）
8. 设有二维随机变量的分布如图a 、b 、c 所示的三种情况，协方差
矩阵表示成???
?
??2221
1211
a a a a ，试问这三种分布分别对应哪种情况（A. a12>0 B. a12<0 C. a12≈0）？
解：这3种情况都存在均值向量μ＝0，所以协方差矩阵为
2
11121
22212
2{()}x x x x E x x E x x x x ??
??
==
? ???
??
∑ 所以对于图a 而言，明显有12x x 的平均值>0,因此a →A, 对于图b 而言，明显有12x x 的平均值=0,因此b →C, 对于图b 而言，明显有12x x 的平均值<0,因此c →B,
a b
c
图1
9. 什么叫对称矩阵？什么叫正定矩阵？半正定矩阵？试问协方差矩
阵是否是对称矩阵？
是否是正定矩阵或半正定矩阵？
答：对称阵：a ij =a ji 。正定阵：它的特征值都大于0。半正定阵：它的特征值都大于等于0。协方差矩阵是正定阵。
10. 设有N 个d 维向量组成样本集，表示成X1，…，Xn ，Σ是任一
个非奇异对称阵，证明使∑=--∑-N
k k T k x x x x 11)()(为最小的向量
X 是该样本集的均值向量。（不要求）
证明：显然可以看出这是一个多元二次式。故极值位置是导数为零的位置，求导，得：
∑∑==--=-∑+∑-N
k N
k k T
k
x x x x
1
1
1
1
0)()(,这是一个一次方程组，在N
x
x N
k k
∑==
1
处得零。故极值在这里取得。
11. 设一个二维空间中的两类样本服从正态分布，其参数分别为
t )0,1(1=μ，???? ??=∑10011，t
)0,1(2-=μ，???
? ??=∑20022，
先验概率)()(21ωωP P =,试证明其基于最小错误率的贝叶斯决策分界面方程为一圆，并求其方程。
证明：先验概率相等条件下，基于最小错误率贝叶斯决策的分界面上两类条件概率密度函数相等。因此有：
111111222222
2212121111()()ln ||()()ln ||
2222
11(1)(1)ln 4
22
T T X X X X x x x x μμμμ----∑--∑=--∑--∑?-+=+++
化简为4ln 28)3(2
2
21+=+-x x ，是一个圆的方程
12. 将上题推广到一般情况（不要求）
（1） 若I 21σ=∑，12∑=∑k ,试说明先验概率相等条件下，基于最小错误率的贝叶斯决策面是否是超球面； （2） 它能否用mahalanobis 距离平方为常数的轨迹表示
（3） 用mahalanobis 距离表示的轨迹，分析其Σ与Σ1,Σ2的关系.
13. 对两类问题，若损失函数02211==λλ，012≠λ,021≠λ,试求基于最小
风险贝叶斯决策分界面处的两类错误率与12λ,21λ的关系。（不要求）
14. 思考题：如果有两类问题，ω1和ω2，现欲严格限制错将第二类
误判成第一类的情况，那么应如何选择)2(2)1(2)2(1)1(1
,,,λλλλ?（不要求）
15. 证明在Σ正定或半正定时，mahalanobis 距离r 符合距离定义的
三个条件，即（不要求） （1） r(a,b)=r(b,a)
（2） 当且仅当a=b 时，有r(a,b)=0 （3） r(a,c)≤r(a,b)+r(b,c)
16、设五维空间的线性方程为010261632685554321=+++++x x x x x ，
试求出其权向量与样本向量点积的表达式00=+w X W T 中的W ，X 以及增广权向量与增广样本向量形式 Y a T 中的a 与Y 。 解：W=[55 68 32 16 26]T ，X=[x 1 x 2 x 3 x 4 x 5]
a=[55 68 32 16 26 10]T ，Y=[x 1 x 2 x 3 x 4 x 5 1]
17、上式是一个五维空间的超平面，试求该平面到坐标原点的法向距离。
解：根据式(4-8)，该式的权向量的模为：
222222616126855W ++++=
而超平面到坐标原点的距离为349
2
100-=
-=-
W W w
18、设在三维空间中一个类别分类问题拟采用二次曲面。如欲采用广义线性方程求解。试向其广义样本向量与广义权向量的表达式，其维数是多少？
解：根据式(5-29)
1200111
1
()d
d d
d
T
T
kk k
jk
j k j j k j k j j g x x Wx w x w w x w
x x w x w -===+==++=+++∑∑
∑∑
其中11
1213112
2223213
23
333w w w w W w w w w w w w w w ??
??
????==????????????
可得：
222
111222333121213132323
11223302220
w x w bx w cx w x x w x x w x x w x w x w x w +++++++++=
因此可令其广义样本向量为222123121323123(,,,,,,,,,1)T Y x x x x x x x x x x x x = 广义权向量为1112131213231230(,,,2,2,2,,,,)T W w w w w w w w w w w *=
19、设两类样本的类内离散矩阵分别为???
?
??=12/12/111S ，???? ?
?--=12/12/11
2S 均值向量t t m m )2,2(,)0,2(21== 试用fisher 准则求其决策面方程。
解：由式(4-18)和(4-32)分别得总类内离散度矩阵和最佳投影方向为
?
??
? ??-=???? ??-???? ??=-=?
??
?
??=+=-*10205.0005.0)(2002211
21m m S W S S S w w
因此，原二维空间的均值m 1、m 2在一维y 空间中的投影分别为，
112
202T T
m W m m W m **====-%%，， 由于两类样本分布形状是相同的（只是方向不同），根据先验知识由式(4-33)选定分界阈值点y 0应为两类均值的中点:即
012()/21y m m =+=-%%。
20、设在一个二维空间，A 类有三个训练样本，图中用红点表示，B 类四个样本，图中用蓝点表示。
试问：
（1）按近邻法分类，这两类最多有多少个分界面
（2）画出实际用到的分界面（3）A1与B4之间的分界面有没有用到？
解: （1）按近邻法，对任意两个由不同类别的训练样本构成的样本对，如果它们有可能成为测试样本的近邻，则它们构成一组最小距离分类器，它们之间的中垂面就是分界面，因此由三个A类与四个B类训练样本可能构成的分界面最大数量为3×4＝12。
（2）实际分界面如下图所示，由9条线段构成。
（3）没有用到。因为它可以用A1与B1的分界面代替。
21、C-均值算法的准则函数为：2
01i i x i
c
J x m =∈Γ=-∑
∑,设两个集群的数
据分别为{}t t t )1,1(,)0,2(,)0,1(与{}t t t )1,1(,)0,1(,)1,0(-- 试求：
1） 两个集群的均值。
2） 若将t )1,1(数据从第一个集群转移至第二个时，准则函数值J 0的变化量。
解：1）t m )1,4(31
1=，t m )2,2(3
12-=
2) t )1,1(从第一个集群中移出，准则函数值减少为
2
341
5(1,1)(,)3133
6
T T
-=
- 该数据加入第二个集群值准则函数值增加值为
2
322
13
(1,1)(,)3133
6
T T
--=+(
22、若数据集共有N 个集群，总离散矩阵为w S （不要求）
1）试求证某一数据x 从i τ转移至i τ集群时，i τ的离散矩阵变化量
为t i i i i
m x m x N N ))((1
----
其中i m 是转移前i τ集群的均值的量，i N 是转移前i τ的数据。
2）推测i τ在增加数据x 后离散矩阵的变化量，以及总离散矩阵的变化量。
23、 如果四个数据分别为：
t x )5,4(1=，t x )4,1(2=，t x )1,0(3=，以及t x )0,5(4=
《模式识别导论》教学大纲 （课程编号08824380 学分-学时 2-40） 东南大学自动化学院 一．课程的性质与目的 本课程是自动化专业高年级本科生一门专业选修课，是研究计算机模式识别的基本理论和方法、应用。本课程的教学目的是，通过对模式识别的基本理论和方法、运用实例的学习，使学生掌握模式识别的基本知识，培养学生利用模式识别方法、运用技能解决本专业及相关领域实际问题的能力。 二．课程内容的教学要求 1.掌握模式识别的概念、发展和应用，模式识别的研究方法； 2.掌握统计模式识别中Bayes决策理论的基本原理及运用； 3.掌握统计模式识别中线性判别函数的基本理论及运用； 4.熟悉概率总体估计中的参数估计方法和非参数技术估计方法； 5.掌握近邻法则和集群； 6.掌握模式特征的抽取和选择； 7.了解人工神经网络在模式识别中的应用； 8.熟悉模式识别的聚类算法。 三．能力培养要求 1.分析能力的培养：主要是对相似性度量方法、特征提取和选择方法、各种识别方法特点进行分析的能力的培养，同时也要注意培养针对具体应用选择合适的识别方法的能力的培养。 2.计算能力的培养：要求学生通过本课程的学习，具备对线性判决函数、似然比、Bayes 风险进行计算或确定计算步骤的能力和对计算结果的正确性进行判断或校核的能力；具有使用计算机进行模式识别分析和计算的能力。 3.自学能力的培养：通过本课程的教学，要培养和提高学生对所学知识进行整理、概括、消化吸收的能力，以及围绕课堂教学内容，阅读参考书籍和资料，自我扩充知识领域的能力。 4.表达能力的培养：主要是通过作业，清晰、整洁地表达自己解决问题的思路和步骤的能力。 5.创新能力的培养：培养学生独立思考、深入钻研问题的习惯，和对问题提出多种解决方案、选择不同计算方法，以及对计算进行简化和举一反三的能力。
7.朴素贝叶斯方法的条件独立假设是( P(x| 3 i) =P(x1, x2,…,xn | co i) 第一章绪论 1 ?什么是模式？具体事物所具有的信息。 模式所指的不是事物本身，而是我们从事物中获得的 2?模式识别的定义？ 让计算机来判断事物。 3?模式识别系统主要由哪些部分组成？ 数据获取一预处理一特征提取与选择一分类器设计 / 分类决策。 第二章贝叶斯决策理论 P ( W 2 ) / P ( W 1 ) _,贝V X 1. 最小错误率贝叶斯决策过程？ 答：已知先验概率，类条件概率。利用贝叶斯公式 得到后 验概率。根据后验概率大小进行决策分析。 2. 最小错误率贝叶斯分类器设计过程？ 答：根据训练数据求出先验概率 P ( W i ), > 类条件概率分布P ( X | W i ), i 1 , 2 利用贝叶斯公式得到后验概率 P (W i 1 x) 1 如果输入待测样本 X ，计算X 的后验概率根据后验概率大小进行分类决策分析。 3. 最小错误率贝叶斯决策规则有哪几种常用的表示形式? 决策规则的4- I-J 形工战< d x +) — max 爪'(vr I A *), MJ A * 匚 w. 如SI 卫(A *叫)厂)= 如果lg=上心lw) py %) 心li M/ JC ) = —1IL | /( A *)J = — hi JC | 讥.j + 111 | i r 2 ) > 尸(“空) I MJ 4 .贝叶斯决策为什么称为最小错误率贝叶斯决策？ 答：最小错误率Bayes 决策使得每个观测值下的条件错误率最小因而保证了 (平均)错误率 最小。Bayes 决策是最优决策：即，能使决策错误率最小。 5. 贝叶斯决策是 由先验概率和(类条件概率)概率，推导(后验概率)概率，然后利用这 个概率进行决策。 6. 利用乘法法则和全概率公式证明贝叶斯公式 p(AB) p(A|B)p(B) p(B|A)p(A) P (A 」B ) 答： m 所以推出贝叶斯公式 p(B) p(B|Aj)p(Aj) j 1 P(W i |x) P (x | W i ) P(W i ) 2 P(x | W j ) P (w j ) j 1 1 , 2 .信息__。 如果 I (x) P (X | W i ) P (W i ) P(X | W j )P(W j ) max />(A' | t ),则 时 P(B |A i )P(AJ P ( B ) P ( B | A i ) P ( A i ) 7M P ( B | A j ) P ( A j ) 2
2013模式识别练习题 一. 填空题 1、模式识别系统的基本构成单元包括：模式采集、特征的选择和提取和模式分类。 2、统计模式识别中描述模式的方法一般使用特征矢量；句法模式识别中模式描述方法一般有串、树、 网。 3、影响层次聚类算法结果的主要因素有计算模式距离的测度、聚类准则、类间距离阈值、预定的类别数目。 4、线性判别函数的正负和数值大小的几何意义是正负表示样本点位于判别界面法向量指向的正负半空间中， 绝对值正比于样本点与判别界面的距离。 5、感知器算法1 ，H-K算法 2 。 （1）只适用于线性可分的情况；（2）线性可分、不可分都适用。 6、在统计模式分类问题中，聂曼- 况；最小最大判别准则主要用于先验概率未知的情况。 7、“特征个数越多越有利于分类”这种说法正确吗？错误。 特征选择的主要目的是。一般在可 和（C n m>>n ）的条件下，可以使用分支定界法以减少计算量。 8、散度J ij越大，说明ωi类模式与ωj类模式的分布差别越大； 当ωi类模式与ωj类模式的分布相同时，J ij= 0。 二、选择题 1、影响聚类算法结果的主要因素有（B、C、D ）。 A.已知类别的样本质量； B.分类准则； C.特征选取； D.模式相似性测度 2、模式识别中，马式距离较之于欧式距离的优点是（C、D）。 A.平移不变性； B.旋转不变性；C尺度不变性；D.考虑了模式的分布 3、影响基本K-均值算法的主要因素有(ABD）。 A.样本输入顺序； B.模式相似性测度； C.聚类准则； D.初始类中心的选取 4、位势函数法的积累势函数K(x)的作用相当于Bayes判决中的（B D）。
模式识别导论课程设计 学号： 班级： 姓名：
课程名称模式识别考试性质考查试卷类型 A 使用班级电信1101-1103 考试方法大作业人数100 题号一二三四五六七八九十总成绩成绩
（2）分类器设计方法概述及选择依据分析；（10分） （3）感知器算法原理及算法步骤；（20分） （4）感知器算法流程设计；（20分） （5）感知器算法程序；（10分） （6）程序仿真及结果分析；（20分） （7）结论；（5分） （8）参考文献。（5分） 四、请结合具体的应用背景，设计基于K-L变换的特征提取算法，并编写程序，分析结果，提交报告一份。 报告内容包括：（1）具体应用背景的介绍；（10分） （2）特征提取方法概述及选择依据分析；（10分） （3）基于K-L变换的特征提取算法原理及步骤；（20分） （4）基于K-L变换的特征提取算法流程设计；（20分） （5）基于K-L变换的特征提取算法程序；（10分） （6）程序仿真及结果分析；（20分） （7）结论；（5分） （8）参考文献。（5分）
1具体应用背景的介绍 随着社会经济的发展、人口的增多，人们对水资源的利用更加重视，不同的水资源质量程度不一，为了更好地适应人类的需求，需要对水资源根据污染物有机物、无机物、重金属含量进行适当的分类。在这里将运用模式识别的方法简单的对其分类为一类水与二类水。 2分类器设计方法概述及选择依据分析 感知器是一种神经网络模型，是20世纪50年代中期到60年代初人们对模拟人脑学习能力的一种分类学习机模型的称呼，当时有些人认为它是一种学习记的强有力模型，后来发现估计过高，由于无法实现非线性分类，到60年代中期，从事感知器研究的实验室纷纷下马，但在发展感知器是所获得的一些数学概念，如“赏罚分明”今天仍在模式识别中起着很大的作用。 将用感知器的方法在本次设计中对水资源进行分类 3感知器算法原理及算法步骤 两类线性可分的模式类 21,ωω，设 X W X d T )(=其中，[]T 121,,,,+=n n w w w w W ，[]T 211,,,,n x x x =X 应具有性质 （3-1） 对样本进行规范化处理，即ω2类样本全部乘以(－1)，则有： 2)-(3 0)(T >=X W X d 感知器算法通过对已知类别的训练样本集的学习，寻找一个满足上式的权向量。 感知器算法步骤： （1）选择N 个分属于ω1和 ω2类的模式样本构成训练样本集{ X1 ,…, XN }构成增广向量形式，并进行规范化处理。任取权向量初始值W(1)，开始迭代。迭代次数k=1。 （2）用全部训练样本进行一轮迭代，计算W T (k )X i 的值，并修正权向量。 分两种情况，更新权向量的值： ?? ?∈<∈>=2 1 T ,0,0)(ωωX X X W X 若若d
模式识别导论习题集 1、设一幅256×256大小的图像，如表示成向量，其维数是多少？如按行串接成一维，则第3行第4个象素在向量表示中的序号。 解：其维数为2；序号为256×2＋4＝516 2、如标准数字1在5×7的方格中表示成如图所示的黑白图像，黑为1，白为0，现若有一数字1在5×7网格中向左错了一列。试用分别计算要与标准模板之间的欧氏距离、绝对值偏差、偏差的夹角表示，异己用“异或”计算两者差异。 解：把该图像的特征向量为5×7＝35维，其中标准模版的特征向量为： x =[0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0]T 待测样本的特征向量为： y =[0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0]T ，绝对值偏差为351 |()|14i i i x y =-=∑， 夹角余弦为cos 0|||||||| T x y x y θ= =?，因此夹角为 90度。 3、哈明距离常用来计算二进制之间的相似度，如011与010的哈明距离为1，010与100距离为3。现用来计算7位LED 编码表示的个数字之间的相似度，试计算3与其它数字中的哪个数字的哈明距离最小。 解：是“9”，距离为1
4、对一个染色体分别用一下两种方法描述： (1)计算其面积、周长、面积/周长、面积与其外接矩形面积之比可以得到一些特征描述，如何利用这四个值？属于特征向量法，还是结构表示法？ (2)按其轮廓线的形状分成几种类型，表示成a 、b 、c 等如图表示，如何利用这些量？属哪种描述方法？ (3)设想其他结构描述方法。 解： （1）这是一种特征描述方法，其中面积周长可以体现染色体大小，面积周长比值越小，说明染色体越粗，面积占外接矩形的比例也体现了染色体的粗细。把这四个值组成一个维数为4的特征向量，该特征向量可以描述染色体的一些重要特征，可以按照特征向量匹配方法计算样本间的相似度。可以区分染色体和其它圆形、椭圆细胞结构。 （2）a 形曲线表示水平方向的凹陷，b 形表示竖直方向的凹陷，c 形指两个凹陷之间的突起，把这些值从左上角开始，按顺时针方向绕一圈，可以得到一个序列描述染色体的边界。它可以很好的体现染色体的形状，用于区分X 和Y 染色体很合适。这是结构表示法。 （3）可以先提取待识别形状的骨架，在图中用蓝色表示，然后，用树形表示骨架图像。 5. 设在一维特征空间中两类样本服从正态分布，1σ=2σ=1，μ1=0，μ2=3，两类先验概率之比e P P =)(/)(21ωω，试求按基于最小错误率贝叶斯决策原则的决策分界面的x 值。 解：按照公式（2－84），分界面上的点应满足：
模式识别 复习题 1. 简单描述模式识别系统的基本构成（典型过程）？ 2. 什么是监督模式识别（学习）？什么是非监督模式识别（学习）？ 对一副道路图像，希望把道路部分划分出来，可以采用以下两种方法： (1). 在该图像中分别在道路部分与非道路部分画出一个窗口，把在这两个窗口中的象素数据作为训练集，用某种判别准则求得分类器参数，再用该分类器对整幅图进行分类。 (2)．将整幅图的每个象素的属性记录在一张数据表中，然后用某种方法将这些数据按它们的自然分布状况划分成两类。因此每个象素就分别得到相应的类别号，从而实现了道路图像的分割。 试问以上两种方法哪一种是监督学习，哪个是非监督学习？ 3. 给出一个模式识别的例子。 4. 应用贝叶斯决策的条件是什么？列出几种常用的贝叶斯决策规 则，并简单说明其规则. 5. 分别写出在以下两种情况：（1）12(|)(|)P x P x ωω=；（2）12()() P P ωω=下的最小错误率贝叶斯决策规则。 6. （教材P17 例2.1） 7. （教材P20 例2.2），并说明一下最小风险贝叶斯决策和最小错误 率贝叶斯决策的关系。 8. 设在一维特征空间中有两类服从正态分布的样本， 12122,1,3,σσμμ====两类先验概率之比12(),() P e P ωω= 试确定按照最小错误率贝叶斯决策规则的决策分界面的x 值。
9. 设12{,,...,}N x x x =X 为来自点二项分布的样本集，即 1(,),0,1,01,1x x f x P P Q x P Q P -==≤≤=-，试求参数P 的最大似然估 计量?P 。 10. 假设损失函数为二次函数2??(,)()P P P P λ=-，P 的先验密度为均匀分布，即()1,01f P P =≤≤。在这样的假设条件下，求上题中的贝叶 斯估计量?P 。 11. 设12{,,...,}N x x x =X 为来自(|)p x θ的随机样本，其中0x θ≤≤时， 1 (|)p x θθ=，否则为0。证明θ的最大似然估计是max k k x 。 12. 考虑一维正态分布的参数估计。设样本（一维）12,,...,N x x x 都是由 独立的抽样试验采集的，且概率密度函数服从正态分布，其均值μ和方差2σ未知。求均值和方差的最大似然估计。 13. 设一维样本12{,,...,}N x x x =X 是取自正态分布2(,)N μσ的样本集，其中 均值μ为未知的参数，方差2σ已知。未知参数μ是随机变量，它的先验分布也是正态分布200(,)N μσ，200,μσ为已知。求μ的贝叶斯估计 ?μ 。 14. 什么是概率密度函数的参数估计和非参数估计？分别列去两种 参数估计方法和非参数估计方法。 15. 最大似然估计和Parzen 窗法的基本原理？
第6章 句法模式识别习题解答 6.1 用链码法描述5～9五个数字。 解：用弗利曼链码表示，基元如解图6.1所示： 数字5~9的折线化和量化结果如解图6.2所示： 各数字的链码表示分别为： “5”的链码表示为434446600765=x ； “6”的链码表示为3444456667012=x ； “7”的链码表示为00066666=x ； “8”的链码表示为21013457076543=x ； “9”的链码表示为5445432107666=x 。 1 7 解图6.1 弗利曼链码基元 解图6.2 数字5~9的折线化和量化结果
6.2 定义所需基本基元，用PDL 法描述印刷体英文大写斜体字母“H ”、“K ”和 “Z ”。 解：设基元为： 用PDL 法得到“H ”的链描述为)))))(~((((d d c d d x H ?+?+=； “K ”的链描述为))((b a d d x K ??+=； “Z ”的链描述为))((c c g x Z ?-=。 6.3 设有文法),,,(S P V V G T N =，N V ，T V 和P 分别为 },,{B A S V N =，},{b a V T = ：P ①aB S →，②bA S →，③a A →，④aS A → ⑤bAA A →，⑥b B →，⑦bS B →，⑧aBB B → 写出三个属于)(G L 的句子。 解： 以上句子ab ，abba ，abab ，ba ，baab ，baba 均属于)(G L 。 6.4 设有文法),,,(S P V V G T N =，其中},,,{C B A S V N =，}1,0{=T V ，P 的各 生成式为 ①A S 0→，②B S 1→，③C S 1→ b c a d e abba abbA abS aB S ???? ① ⑦ ② ③ ab aB S ?? ① ⑥ ba bA S ?? ② ③ abab abaB abS aB S ???? ① ⑦ ① ⑥ baab baaB baS bA S ???? ② ④ ① ⑥ baba babA baS bA S ???? ② ④ ② ③
第一章 绪论 1.什么是模式？具体事物所具有的信息。 模式所指的不是事物本身，而是我们从事物中获得的___信息__。 2.模式识别的定义？让计算机来判断事物。 3.模式识别系统主要由哪些部分组成？数据获取—预处理—特征提取与选择—分类器设计/ 分类决策。 第二章 贝叶斯决策理论 1.最小错误率贝叶斯决策过程？ 答：已知先验概率，类条件概率。利用贝叶斯公式 得到后验概率。根据后验概率大小进行决策分析。 2.最小错误率贝叶斯分类器设计过程？ 答：根据训练数据求出先验概率 类条件概率分布 利用贝叶斯公式得到后验概率 如果输入待测样本X ，计算X 的后验概率根据后验概率大小进行分类决策分析。 3.最小错误率贝叶斯决策规则有哪几种常用的表示形式？ 答 ： ???∈>=<2 1 1221_,)(/)(_)|() |()(w w x w p w p w x p w x p x l 则如果∑==2 1 ) ()|() ()|()|(j j j i i i w P w x P w P w x P x w P 2 ,1),(=i w P i 2 ,1),|(=i w x p i ∑== 21 ) ()|() ()|()|(j j j i i i w P w x P w P w x P x w P
4.贝叶斯决策为什么称为最小错误率贝叶斯决策？ 答：最小错误率Bayes 决策使得每个观测值下的条件错误率最小因而保证了（平均）错误率 最小。Bayes 决策是最优决策：即，能使决策错误率最小。 5.贝叶斯决策是由先验概率和（类条件概率）概率，推导（后验概率）概率，然后利用这个概率进行决策。 6.利用乘法法则和全概率公式证明贝叶斯公式 答： ∑====m j Aj p Aj B p B p A p A B p B p B A p AB p 1 ) ()|()() ()|()()|()(所以推出贝叶斯公式 7.朴素贝叶斯方法的条件独立假设是（P(x| ωi) =P(x1, x2, …, xn | ωi) = P(x1| ωi) P(x2| ωi)… P(xn| ωi)） 8.怎样利用朴素贝叶斯方法获得各个属性的类条件概率分布？ 答：假设各属性独立，P(x| ωi) =P(x1, x2, …, xn | ωi) = P(x1| ωi) P(x2| ωi)… P(xn| ωi) 后验概率：P(ωi|x) = P(ωi) P(x1| ωi) P(x2| ωi)… P(xn| ωi) 类别清晰的直接分类算，如果是数据连续的，假设属性服从正态分布，算出每个类的均值方差，最后得到类条件概率分布。 ∑== = M j j j i i i i i A P A B P A P A B P B P A P A B P B A P 1 ) ()| () ()|() () ()|()|(
一、填空与选择填空（本题答案写在此试卷上，30分） 1、模式识别系统的基本构成单元包括：模式采集、特征提取与选择 和模式分类。 2、统计模式识别中描述模式的方法一般使用特真矢量；句法模式识别中模式描述方法一般有串、树、网。 3、聚类分析算法属于（1）；判别域代数界面方程法属于（3）。 （1）无监督分类 (2)有监督分类（3）统计模式识别方法（4）句法模式识别方法 4、若描述模式的特征量为0-1二值特征量，则一般采用（4）进行相似性度量。 （1）距离测度（2）模糊测度（3）相似测度（4）匹配测度 5、下列函数可以作为聚类分析中的准则函数的有（1）（3）（4）。 （1）（2） (3) (4) 6、Fisher线性判别函数的求解过程是将N维特征矢量投影在（2）中进行。 （1）二维空间（2）一维空间（3）N-1维空间 7、下列判别域界面方程法中只适用于线性可分情况的算法有（1）；线性可分、不可分都适用的有（3）。 （1）感知器算法（2）H-K算法（3）积累位势函数法 8、下列四元组中满足文法定义的有（1）（2）（4）。 （1）({A, B}, {0, 1}, {A→01, A→ 0A1 , A→ 1A0 , B→BA , B→ 0}, A) （2）({A}, {0, 1}, {A→0, A→ 0A}, A) （3）({S}, {a, b}, {S → 00S, S → 11S, S → 00, S → 11}, S) （4）({A}, {0, 1}, {A→01, A→ 0A1, A→ 1A0}, A) 9、影响层次聚类算法结果的主要因素有（计算模式距离的测度、（聚类准则、类间距离门限、预定的 类别数目））。 10、欧式距离具有（ 1、2 ）；马式距离具有（1、2、3、4 ）。 （1）平移不变性（2）旋转不变性（3）尺度缩放不变性（4）不受量纲影响的特性 11、线性判别函数的正负和数值大小的几何意义是（正（负）表示样本点位于判别界面法向量指向的 正（负）半空间中；绝对值正比于样本点到判别界面的距离。）。 12、感知器算法1。 （1）只适用于线性可分的情况；（2）线性可分、不可分都适用。
《模式识别导论》课程教学大纲 一、课程基本信息 课程编号：04010290 课程中文名称：模式识别导论 课程英文名称：Introduction of Pattern Recognition 课程性质：专业任意选修课 考核方式：考查 开课专业：自动化、探测制导与控制技术 开课学期：7 总学时：24 （其中理论24学时，实验0学时） 总学分：1.5 二、课程目的和任务 通过本课程的学习，使学生了解当前模式识别理论的发展现状，初步掌握模式识别的基本方法，使学生对模式、模式识别等基本概念有明确地认识，具有实用统计模式识别完成模式分类的能力。 三、教学基本要求（含素质教育与创新能力培养的要求） 1、掌握模式、模式识别的含义； 2、掌握基于Bayes决策理论的模式分类方法； 3、掌握线性分类的基本方法； 4、掌握近邻法； 5、了解聚类分析的基本方法； 6、了解特征提取的基本方法。 四、教学内容与学时分配 第一章绪论（2学时） 模式和模式识别；模式识别的发展和应用；模式识别的研究方法。 第二章Bayes决策理论（4学时）
最小错误率的Bayes决策；最小风险的Bayes决策；Bayes分类器和判别函数；正态分布模式的Bayes分类器；均值向量和协方差矩阵的估计。 第三章线性判决函数（4学时） 线性判决函数和决策面；最小距离分类器；感知机准则函数；平方误差准则函数；多类模式的线性分类器。 第四章非线性判决函数（4学时） 分段线性判别函数；近邻法；K－近邻法；快速近邻法。 第五章聚类分析（4学时） 模式相似性测度和聚类准则；分级聚类法；C—均值算法。 第六章特征提取（6学时） 类别可分性准则；特征选择；基于距离的特征提取；基于K-L变换的特征提取。五、教学方法及手段（含现代化教学手段） 课堂讲授、专题讨论。 六、实验（或）上机内容 无 七、前续课程、后续课程 前续课程：概率论与数理统计、线性代数 后续课程：无 八、教材及主要参考资料 教材： [1] 黄凤岗，宋克欧. 模式识别[M]. 哈尔滨：哈尔滨工程大学出版社，1998. 主要参考资料： [1] 杨光正等. 模式识别[M].合肥：中国科技大学出版社，2000. [2] 边肇祺，张学工. 模式识别[M].北京：清华大学出版社，2000. 撰写人签字：院（系）教学院长（主任）签字：
模式识别导论基础实验(2) 实验二 1、利用matlab程序完成课本P38页中，学生身高体重数据的均值、方差以及相关系数的计算。设学生身高体重数据为data=[1.71.75 1.651.801.781.601.551.601.651.70;65706065706045455055] (1)计算身高与体重的均值向量 (2)计算身高与体重的方差向量 (3)计算身高与体重的协方差矩阵 (4)计算身高与体重的相关系数矩阵 (5)利用PCA主成分分析的方法，计算出由身高体重构成的二维特征空间的特征值和特征向量，并指出哪个特征向量的方向是第一主分量方向（提示，可借鉴期中测试中的PCA代码和步骤，按照标准化、求协方差矩阵、PCA主成分分解的顺序依次完成） 2、找到上题中身高最矮的那位同学的编号，计算在身高和体重所构成的二维特征空间中，该同学与均值数据之间的各项距离（此题的第(2)、(3)问要求利用matlab和Octave两种软件分别使用不同的语句编程，并分别截图分析） (1)找到10位同学中身高最矮的那位同学的编号 (2)计算该同学与均值数据之间的欧式距离（matlab和Octave） (3)计算该同学与均值数据之间的马氏距离（matlab和Octave） (4)计算该同学与均值数据之间的夹角余弦距离
3、假设手写数字的每类样品均服从正态分布，请按照课本“基于最小错误率的贝叶斯分类实现”（P79页4.6节）中的介绍，完成下列内容： (1)利用教材所提供的手写数字分类软件（该软件在matlab2010版本下可用），在数字输入区手写一个数字1，通过matlab程序读取该数字的编码信息并以列向量形式保存在变量a中； (2)针对用户手写的数字1，运行函数bayesleasterror(a')，验证实验结果与预期是否吻合； (3)熟悉P80-81页的“基于最小错误率贝叶斯分类”的实现步骤，假设每类样品均服从正态分布，写出判别函数h i(X)的表达式，要求在实验报告中写出关键matlab代码并添加注释。 4、理解课本P95-99页中奖惩算法在两类和多类情况下的表达式，仿照P96页的“实例说明”利用感知器算法对两类模式求判别函数。 (1)设该模式线性可分为两个类，每类中有两个样品，四个样品的具体分布情况为ω1：{(0,0)，(0,1)},ω2:{(1,0)，(1,1)},试写出样品的增广形式 (2)手工写出迭代的计算过程，并求出最后的判别函数结果 (3)用matlab代码实现上述计算过程（此步骤不做要求，作为思考题由同学们自己完成，可以不写在实验报告中）
1、PCA和LDA的区别？ PCA是一种无监督的映射方法，LDA是一种有监督的映射方法。PCA只是将整组数据映射到最方便表示这组数据的坐标轴上，映射时没有利用任何数据部的分类信息。因此，虽然做了PCA后，整组数据在表示上更加方便（降低了维数并将信息损失降到了最低），但在分类上也许会变得更加困难；LDA在增加了分类信息之后，将输入映射到了另外一个坐标轴上，有了这样一个映射，数据之间就变得更易区分了（在低纬上就可以区分，减少了很大的运算量），它的目标是使得类别的点距离越近越好，类别间的点越远越好。 2、最大似然估计和贝叶斯方法的区别？p(x|X)是概率密度函数，X是给定的训练样本的集合，在哪种情况下，贝叶斯估计接近最大似然估计？ 最大似然估计把待估的参数看做是确定性的量，只是其取值未知。利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值(模型已知，参数未知）。贝叶斯估计则是把待估计的参数看成是符合某种先验概率分布的随机变量。对样本进行观测的过程，把先验概率密度转化为后验概率密度，利用样本的信息修正了对参数的初始估计值。 当训练样本数量趋于无穷的时候，贝叶斯方法将接近最大似然估计。如果有非常多的训练样本，使得p(x|X)形成一个非常显著的尖峰，而先验概率p(x)又是均匀分布，此时两者的本质是相同的。 3、为什么模拟退火能够逃脱局部极小值？ 在解空间随机搜索，遇到较优解就接受，遇到较差解就按一定的概率决定是否接受，这个概率随时间的变化而降低。实际上模拟退火算法也是贪心算法，只不过它在这个基础上增加了随机因素。这个随机因素就是：以一定的概率来接受一个比单前解要差的解。通过这个随机因素使得算法有可能跳出这个局部最优解。 4、最小错误率和最小贝叶斯风险之间的关系？ 基于最小风险的贝叶斯决策就是基于最小错误率的贝叶斯决策，换言之，可以把基于最小错误率决策看做是基于最小风险决策的一个特例，基于最小风险决策本质上就是对基于最小错误率公式的加权处理。 5、SOM的主要功能是什么？怎么实现的？是winner-all-take-all 策略吗？ SOM是一种可以用于聚类的神经网络模型。 自组织映射（SOM）或自组织特征映射（SOFM）是一种使用非监督式学习来产生训练样本的输入空间的一个低维（通常是二维）离散化的表示的人工神经网络（ANN）。自组织映射与其他人工神经网络的不同之处在于它使用一个邻近函数来保持输入控件的拓扑性质。SOM网络中, 某个输出结点能对某一类模式作出特别的反应以代表该模式类, 输出层上相邻的结点能对实际模式分布中相近的模式类作出特别的反映,当某类数据模式输入时, 对某一输出结点产生最大刺激( 获胜结点) , 同时对获胜结点周围的一些结点产生较大刺激。在训练的过程中, 不断对获胜结点的连接权值作调整, 同时对获胜结点的邻域结点的连接权值作调整; 随着训练的进行, 这个邻域围不断缩小, 直到最后, 只对获胜结点进行细微的连接权值调整。 不是winner-all-take-all 策略。获胜结点产生刺激，其周围的结点也会产生一定程度的兴奋。 6、期望算法需要哪两步？请列出可能的公式并做必要的解释。 E-Step和M-Step。E-Step叫做期望化步骤，M-Step为最大化步骤。 整体算法的步骤如下所示： 1、初始化分布参数。 2、(E-Step)计算期望E，利用对隐藏变量的现有估计值，计算其最大似然估计值，以此实现期望化的过程。 3、(M-Step)最大化在E-步骤上的最大似然估计值来计算参数的值
《模式识别》试题库 一、基本概念题 1.1 模式识别的三大核心问题是： 、 。 1.2、模式分布为团状时，选用 聚类算法较好。 1.3 欧式距离具有 。 马式距离具有 。 （1）平移不变性 （2）旋转不变性 （3）尺度缩放不变性 （4）不受量纲影响的特性 1.4 描述模式相似的测度有： 。 （1）距离测度 （2）模糊测度 （3）相似测度 （4）匹配测度 1.5 利用两类方法处理多类问题的技术途径有：（1） ；（2） ； （3） 。其中最常用的是第 个技术途径。 1.6 判别函数的正负和数值大小在分类中的意义是： ， 。 1.7 感知器算法 。 （1）只适用于线性可分的情况；（2）线性可分、不可分都适用。 1.8 积累位势函数法的判别界面一般为 。 （1）线性界面；（2）非线性界面。 1.9 基于距离的类别可分性判据有： 。 （1）1[]w B Tr S S - （2） B W S S （3）B W B S S S + 1.10 作为统计判别问题的模式分类，在（ ）情况下，可使用聂曼-皮尔逊判决准则。
1.11 确定性模式非线形分类的势函数法中，位势函数K(x,x k )与积累位势函数K(x)的关系为（ ）。 1.12 用作确定性模式非线形分类的势函数法，通常，两个n 维向量x 和x k 的函数K(x,x k )若同时满足下列三个条件，都可作为势函数。 ①（ ）； ②（ ）； ③ K(x,x k )是光滑函数，且是x 和x k 之间距离的单调下降函数。 1.13 散度J ij 越大，说明ωi 类模式与ωj 类模式的分布（ ）。当ωi 类模式与ωj 类模式的分布相同时，J ij =（ ）。 1.14 若用Parzen 窗法估计模式的类概率密度函数，窗口尺寸h1过小可能产生的问题是（ ），h1过大可能产生的问题是（ ）。 1.15 信息熵可以作为一种可分性判据的原因 是： 。 1.16作为统计判别问题的模式分类，在（ ）条件下，最小损失判决规则与最小错误判决规则是等价的。 1.17 随机变量l(x )=p(x |ω1)/p(x |ω2)，l(x )又称似然比，则 E {l(x )|ω2}=（ ）。在最小误判概率准则下，对数似然比Bayes 判决规则为（ ）。 1.18 影响类概率密度估计质量的最重要因素是 （ ）。
华南理工大学《模式识别》大作业报告 题目：模式识别导论实验 学院计算机科学与工程 专业计算机科学与技术（全英创新班） 学生姓名黄炜杰 学生学号201230590051 指导教师吴斯 课程编号145143 课程学分2分 起始日期2015年5月18日
实验概述 【实验目的及要求】 Purpose: Develop classifiers,which take input features and predict the labels. Requirement: ?Include explanations about why you choose the specific approaches. ?If your classifier includes any parameter that can be adjusted,please report the effectiveness of the parameter on the final classification result. ?In evaluating the results of your classifiers,please compute the precision and recall values of your classifier. ?Partition the dataset into2folds and conduct a cross-validation procedure in measuring the performance. ?Make sure to use figures and tables to summarize your results and clarify your presentation. 【实验环境】 Operating system:window8(64bit) IDE:Matlab R2012b Programming language:Matlab
第一章 绪论 1.什么是模式？具体事物所具有的信息。 模式所指的不是事物本身，而是我们从事物中获得的___信息__。 2.模式识别的定义？让计算机来判断事物。 3.模式识别系统主要由哪些部分组成？数据获取—预处理—特征提取与选择—分类器设计/ 分类决策。 第二章 贝叶斯决策理论 1.最小错误率贝叶斯决策过程？ 答：已知先验概率，类条件概率。利用贝叶斯公式 得到后验概率。根据后验概率大小进行决策分析。 2.最小错误率贝叶斯分类器设计过程？ 答：根据训练数据求出先验概率 类条件概率分布 利用贝叶斯公式得到后验概率 如果输入待测样本X ，计算X 的后验概率根据后验概率大小进行分类决策分析。 3.最小错误率贝叶斯决策规则有哪几种常用的表示形式？ 答： 4.贝叶斯决策为什么称为最小错误率贝叶斯决策？ 答：最小错误率Bayes 决策使得每个观测值下的条件错误率最小因而保证了（平均）错误率 最小。Bayes 决策是最优决策：即，能使决策错误率最小。 5.贝叶斯决策是由先验概率和（类条件概率）概率，推导（后验概率）概率，然后利用这个概率进行决策。 6.利用乘法法则和全概率公式证明贝叶斯公式 答：∑====m j Aj p Aj B p B p A p A B p B p B A p AB p 1) ()|()() ()|()()|()(所以推出贝叶斯公式 7.朴素贝叶斯方法的条件独立假设是（P(x| ωi) =P(x1, x2, …, xn | ωi) = P(x1| ωi) P(x2| ωi)… P(xn| ωi)） 8.怎样利用朴素贝叶斯方法获得各个属性的类条件概率分布？ 答：假设各属性独立，P(x| ωi) =P(x1, x2, …, xn | ωi) = P(x1| ωi) P(x2| ωi)… P(xn| ωi) 后验概率：P(ωi|x) = P(ωi) P(x1| ωi) P(x2| ωi)… P(xn| ωi) 类别清晰的直接分类算，如果是数据连续的，假设属性服从正态分布，算出每个类的均值方差，最后得到类条件概率分布。 均值：∑==m i xi m x mean 11)( 方差：2)^(11)var(1∑=--=m i x xi m x 9.计算属性Marital Status 的类条件概率分布 给表格计算，婚姻状况几个类别和分类几个就求出多少个类条件概率。 ???∈>=<2 11221_,)(/)(_)|()|()(w w x w p w p w x p w x p x l 则如果∑==21 )()|()()|()|(j j j i i i w P w x P w P w x P x w P 2,1),(=i w P i 2,1),|(=i w x p i ∑==2 1)()|()()|()|(j j j i i i w P w x P w P w x P x w P ∑=== M j j j i i i i i A P A B P A P A B P B P A P A B P B A P 1) ()| ()()|()()()|()|(
《模式识别导论》 姓名 班级 学号
成绩 1)A B 2)A B C 3) 2011年
阅读材料：（参考资料的阅读以下面的题目为导向，不需要细致的研读代码。） 边肇祺、张学工编著《模式识别》第二版，第十五章 求是科技张宏林编著《Visual C++数字图像模式识别技术及工程实践》，第五、六、七、八章 题目：（请对问题一一作答。解答要尽量表达明白、条理清楚。不要求给出具体的代码实现。）1）汉字识别是与生活紧密相关的一种二维信号识别问题。通过对上述材料的研读，同学们应该对模式识别方法如何应用于实际中、以及在实际应用中需要考虑哪些问题有了一些深入的认识。问题： A．一般解决模式识别问题有哪几个关键步骤？给出处理一般模式识别问题步骤的流程图。B．以汉字识别为例，预处理步骤是哪些（举出3种）？汉字的哪些特性可以被提取作为模式特征（举出5种）？利用特征进行汉字识别分类时，要注意什么问题？有什么样的解决方法？一般可采取哪些判别准则进行分类？ 2）工厂对打上来的鱼进行分类，不同种类的鱼处理方式不 同。可是鱼的数量过大，人工分类不现实。如何利用模式识 别的方法让计算机帮我们分类？ A．可能需要进行哪些预处理？你能想到哪些鱼类特性作为 分类特征？可以采取哪些对应的分类决策方法？ B．在分类过程中，可能会遇到分类算法错误率高、性能不 够鲁棒，你能想出什么方法有效解决？ C．文字说明一种你设计的、认为可以准确处理大多数鱼类 分类问题的分类算法，并写出算法流程图。 左图是利用传感器（如摄像机）对鱼类采样，以进行自动分 类的工厂流水线示意图。 3）人类具有很强的模式识别能力。通过视觉信息识别文字、图片和周围的环境，通过听觉信息识别与理解语言。模式识别能力是人类智能的重要组成部分。今天，虽然人们可以利用计算机部分实现人的视觉，听觉等模式识别能力，但是相对于浩瀚的人类智能，今天的模式识别无论是在理论研究还是在应用水平上都仅仅只处于初级阶段。请以“模式识别，让明天更美好”为题，设想2000年后，模式识别在理论上将会有那些突破，在应用中将会怎样深刻的影响人类的工作和生活。要求： a、体裁不限，字数不限，可以写成故事，小说或科技论文等等。 b、文章应建立在对现存模式识别的理论分析基础之上，通过分析统计模式识别的优点和不 足，设想2000年后模式识别将会得到怎样的发展。 c、设想2000年模式识别应用的时候，应尽可能全面地描述模式识别在人类生活和生产中 的应用，如在工业，生活，娱乐，医疗，通信，战争等等。想象的翅膀能飞多远，就让它飞多远。 d、如果可以包含心理学，生理学，神经学，或数学，信息学等方面的描述更好。
一、判断题（共10个题） 请写清楚题号，在答卷纸上填写√或×，不要直接在本页回答。 特别说明：本部分题目的得分规则为：答对一个题，得2分；不答（即放弃回答）的题，本题得0分；答错一个题，得-2分（即反扣2分）。本道大题得负分的，从其他大题扣除。所以，判断题的回答，建议慎重对待。 1. 基于最小错误率的贝叶斯概率是 损失函数0-1的 基于最小风险贝叶斯概率的特例 2. 监督参数估计是（太多记不住）。。。 3. 单隐层神经网络在经过足够训练后，不管节点多少，总能找到全局最优解。 4. 决策树可以生成规则集，且生成的规则集是可以解释的。 5. SVM 向量机在样本数据少、非线性的情况下有优势。 6. Bagging 是一种串行学习框架。 7. 泛化能力指的是在训练集中体现的特点。 8. Self_Trainning 是一种半监督的方法。 9. 决策树属性选择是依照信息增益比。 10. 2006年以前，多隐层神经网络因为缺乏良好的算法，限制了深度学习的发展。 二、计算题 设在某个局部地区细胞识别中正常和异常两类的先验概率分别为： 正常状态： 异常状态： 现有一待识别的细胞，其观察值为x ，从类条件概率密度分布曲线上查得 2ω 1ω9.0)(1=ωP 1 .0)(2=ωP
试使用贝叶斯决策对该细胞x 进行分类（要求给出具体计算过程及计算结果） 解： 利用贝叶斯公式，分别计算出 及 的后验概率 根据贝叶斯决策规则，有 所以合理的决策规则是把x 归类于正常状态。 三、简答题 1、应用贝叶斯决策需要满足的三个前提条件是什么？ （1）分类的类别数；（2）先验概率；（3）各类的类条件概率密度。 2、试简述您对先验概率和后验概率理解 先验概率：预先已知的或者可以估计的模式识别系统位于某种类型的概率。根据大数定 律，当训练集包含充足的独立同分布样本时，先验概率就可以通过各类样本出现的频率4 .0)|(,2.0)|(21==ωωx p x p 182 .0)|(1)|(818.01.04.09.02.09.02.0)()|()()|()|(1221111=-==?+??==∑=x P x P p x p p x p x P j j j ωωωωωωω182 .0)|(818.0)|(21=>=x P x P ωω1ω2 ω
《模式识别》试题库 一、基本概念题 1.1 模式识别的三大核心问题是：、、。 1.2、模式分布为团状时，选用聚类算法较好。 1.3 欧式距离具有。马式距离具有。 （1）平移不变性（2）旋转不变性（3）尺度缩放不变性（4）不受量纲影响的特性 1.4 描述模式相似的测度有：。 （1）距离测度（2）模糊测度（3）相似测度（4）匹配测度 1.5 利用两类方法处理多类问题的技术途径有：（1）；（2）； （3）。其中最常用的是第个技术途径。 1.6 判别函数的正负和数值大小在分类中的意义 是：， 。 1.7 感知器算法。 （1）只适用于线性可分的情况；（2）线性可分、不可分都适用。 1.8 积累位势函数法的判别界面一般为。 （1）线性界面；（2）非线性界面。 1.9 基于距离的类别可分性判据有：。 （1） 1 [] w B Tr S S - （2） B W S S（3） B W B S S S + 1.10 作为统计判别问题的模式分类，在（）情况下，可使用聂曼-皮尔逊判决准则。 1.11 确定性模式非线形分类的势函数法中，位势函数K(x,x k)与积累位势函数K(x)的关系为 （）。 1.12 用作确定性模式非线形分类的势函数法，通常，两个n维向量x和x k的函数K(x,x k)若同时满足下列三个条件，都可作为势函数。 ①（）；
②（ ）； ③ K(x,x k )是光滑函数，且是x 和x k 之间距离的单调下降函数。 1.13 散度J ij 越大，说明ωi 类模式与ωj 类模式的分布（ ）。当ωi 类模式与ωj 类模式的分布相同时，J ij =（ ）。 1.14 若用Parzen 窗法估计模式的类概率密度函数，窗口尺寸h1过小可能产生的问题是（ ），h1过大可能产生的问题是（ ）。 1.15 信息熵可以作为一种可分性判据的原因 是： 。 1.16作为统计判别问题的模式分类，在（ ）条件下，最小损失判决规则与最小错误判决规则是等价的。 1.17 随机变量l(x )=p( x |ω1)/p( x |ω2)，l( x )又称似然比，则E {l( x )|ω2}= （ ）。在最小误判概率准则下，对数似然比Bayes 判决规则为（ ）。 1.18 影响类概率密度估计质量的最重要因素是 （ ）。 1.19 基于熵的可分性判据定义为 )] |(log )|([1 x P x P E J i c i i x H ωω∑=-=，J H 越（ ），说明模式的 可分性越强。当P(ωi | x ) =（ ）(i=1,2,…,c)时，J H 取极大值。 1.20 Kn 近邻元法较之于Parzen 窗法的优势在于 （ ）。 上述两种算法的共同弱点主要是（ ）。 1.21 已知有限状态自动机Af=(∑，Q ，δ，q0，F)，∑={0，1}；Q={q0，q1}； δ：δ(q0，0)= q1，δ(q0，1)= q1，δ(q1，0)=q0，δ(q1，1)=q0；q0=q0；F={q0}。现有输入字符串：(a) 00011101011，(b) 1100110011，(c) 101100111000，(d)0010011，试问，用Af 对上述字符串进行分类的结果为（ ）。 1.22 句法模式识别中模式描述方法有： 。 （1）符号串 （2）树 （3）图 （4）特征向量