《模式识别》试题库
一、基本概念题
1.1 模式识别的三大核心问题是：、、。
1.2、模式分布为团状时，选用聚类算法较好。
1.3 欧式距离具有。马式距离具有。
（1）平移不变性（2）旋转不变性（3）尺度缩放不变性（4）不受量纲影响的特性
1.4 描述模式相似的测度有：。
（1）距离测度（2）模糊测度（3）相似测度（4）匹配测度
1.5 利用两类方法处理多类问题的技术途径有：（1）；（2）；
（3）。其中最常用的是第个技术途径。
1.6 判别函数的正负和数值大小在分类中的意义
是：，
。
1.7 感知器算法。
（1）只适用于线性可分的情况；（2）线性可分、不可分都适用。
1.8 积累位势函数法的判别界面一般为。
（1）线性界面；（2）非线性界面。
1.9 基于距离的类别可分性判据有：。
（1）
1
[]
w B
Tr S S
-
（2）
B
W
S
S
（3）
B
W B
S
S S
+
1.10 作为统计判别问题的模式分类，在（）情况下，可使用聂曼-皮尔逊判决准则。
1.11 确定性模式非线形分类的势函数法中，位势函数K(x,x k)与积累位势函数K(x)的关系为
（）。
1.12 用作确定性模式非线形分类的势函数法，通常，两个n维向量x和x k的函数K(x,x k)若同时满足下列三个条件，都可作为势函数。
①（）；
②（ ）； ③ K(x,x k )是光滑函数，且是x 和x k 之间距离的单调下降函数。
1.13 散度J ij 越大，说明ωi 类模式与ωj 类模式的分布（ ）。当ωi 类模式与ωj 类模式的分布相同时，J ij =（ ）。
1.14 若用Parzen 窗法估计模式的类概率密度函数，窗口尺寸h1过小可能产生的问题是（ ），h1过大可能产生的问题是（ ）。 1.15 信息熵可以作为一种可分性判据的原因
是： 。
1.16作为统计判别问题的模式分类，在（ ）条件下，最小损失判决规则与最小错误判决规则是等价的。
1.17 随机变量l(x ρ)=p( x ρ|ω1)/p( x ρ|ω2)，l( x ρ)又称似然比，则E {l( x ρ)|ω2}=
（ ）。在最小误判概率准则下，对数似然比Bayes 判决规则为（ ）。 1.18 影响类概率密度估计质量的最重要因素是
（ ）。
1.19 基于熵的可分性判据定义为
)]
|(log )|([1
x P x P E J i c
i i x H ρ
ρωω∑=-=，J H 越（ ），说明模式的
可分性越强。当P(ωi | x ρ) =（ ）(i=1,2,…,c)时，J H 取极大值。
1.20 Kn 近邻元法较之于Parzen 窗法的优势在于
（ ）。 上述两种算法的共同弱点主要是（ ）。 1.21 已知有限状态自动机Af=(∑，Q ，δ，q0，F)，∑={0，1}；Q={q0，q1}；
δ：δ(q0，0)= q1，δ(q0，1)= q1，δ(q1，0)=q0，δ(q1，1)=q0；q0=q0；F={q0}。现有输入字符串：(a) 00011101011，(b) 1100110011，(c) 101100111000，(d)0010011，试问，用Af 对上述字符串进行分类的结果为（ ）。
1.22 句法模式识别中模式描述方法有： 。 （1）符号串 （2）树 （3）图 （4）特征向量
1.23设集合X={a,b,c,d }上的关系，
R={(a,a),(a,b),(a,d),(b,b),(b,a),(b,d),(c,c),(d,d),(d,a),(d,b)}，则a,b,c,d 生成的R 等价类分别为 （ [a]R= ，[b]R= ，[c]R= ，[d]R= ）。 1.24 如果集合X 上的关系R 是传递的、（ ）和（ ）的，则称R 是一个等价关系。 1.25一个模式识别系统由那几部分组成？画出其原理框图。 1.26 统计模式识别中，模式是如何描述的。
1.27 简述随机矢量之间的统计关系：不相关，正交，独立的定义及它们之间的关系。 1.28 试证明，对于正态分布，不相关与独立是等价的。
1.29 试证明，多元正态随机矢量的线性变换仍为多元正态随机矢量。
1.30 试证明，多元正态随机矢量X ρ
的分量的线性组合是一正态随机变量。
第二部分 分析、证明、计算题 第二章 聚类分析
2.1 影响聚类结果的主要因素有那些？ 2.2 马氏距离有那些优点？
2.3 如果各模式类呈现链状分布，衡量其类间距离用最小距离还是用最大距离？为什么？
2.4 动态聚类算法较之于简单聚类算法的改进之处何在？层次聚类算法是动态聚类算法吗？比较层次聚类算法与c-均值算法的优劣。
2.5 ISODATA 算法较之于c-均值算法的优势何在？ 2.6 简述最小张树算法的优点。
2.7 证明马氏距离是平移不变的、非奇异线性变换不变的。 2.8 设，类
p
ω、
q
ω的重心分别为
p
x ρ、
q
x ρ，它们分别有样本
p
n 、
q
n 个。将和
q
ω合并为
l ω，则 l
ω有
q
p l n n n +=个样本。另一类 k ω的重心为 k x ρ
。试证明 k ω与 l ω的距离平方是
2
2
2
2
pq
l
k q p kq l
k q kp l
k p kl D n n n n D n n n D n n n D +-
++
+=
2.9 （1）设有M 类模式ωi ，i=1,2,...,M ，试证明总体散布矩阵S T 是总类内散布矩阵S W 与类间散布矩阵S B 之和，即S T ＝S W ＋S B 。
（2）设有二维样本：x1=(-1,0)T，x2=(0,-1)T，x3=(0,0)T，x4=(2,0)T和x5=(0,2)T。试选用一种合适的方法进行一维特征特征提取y i= W T x i。要求求出变换矩阵W，并求出变换结果y i，(i=1,2,3,4,5)。（3）根据（2）特征提取后的一维特征，选用一种合适的聚类算法将这些样本分为两类，要求每类样本个数不少于两个，并写出聚类过程。
2.10 （1）试给出c-均值算法的算法流程图;
（2）试证明c-均值算法可使误差平方和准则
∑
∑
∈
=
-
-
=
)
(
)
(
)
()(
)
(
1
)
(
k
j
i
x
k
j
i
T
k
j
i
c
j
k z
x
z
x
J
ω
ρ
ρ
ρ
ρ
ρ
最小。
其中，k是迭代次数；
)
(k
j
z
ρ
是
)
(k
j
ω
的样本均值。
2.11 现有2k+1个一维样本，其中k个样本在x=-2处重合，另k个样本在x=0处重合，只有1个在x=a>0处。若a=2(k+1)，证明，使误差平方和准则Jc最小的两类划分是x=0处的k个样本与x=a处的1个样本为一类，其余为另一类。这里，
c N j
Jc = ∑∑(x i-m j)2
j=1 i=1
其中，c为类别数，Nj是第j类的样本个数，xi∈ωj，i=1,2,...,Nj，mj是第j类的样本均值。
2.12 有样本集
}
1
,
5
5
,
4
5
,
5
4
,
4
4
,
1
,
{??
?
?
?
?
??
?
?
?
?
??
?
?
?
?
??
?
?
?
?
??
?
?
?
?
??
?
?
?
?
??
?
?
?
?
，试用谱系聚类算法对其分类。
2.13 设有样本集S=
}
,...,
,
{
2
1n
x
x
x
ρ
ρ
ρ
，证明类心z
ρ
到S中各样本点距离平方和
∑
=
-
-
n
i
i
T
i
z
x
z
x
1
)
(
)
(
ρ
ρ
ρ
ρ
为最
小时，有
∑
=
=
n
i
i
x
n
z
1
1ρ
ρ
。
2.14 假设s为模式矢量集X上的距离相似侧度，有
,0,(,)0
x y s x y
?>>且当0
a>时，
(,)/(,)
d x y a s x y
=。证明d是距离差异性测度。
2.15 证明欧氏距离满足旋转不变性。
提示：运用Minkowski不等式，对于两矢量
T
1
[,,]
l
x x x
=L
和
min min max max m m (),(),(),()()ss ss ss ss ss ss ss ss
avg avg ean ean d s d s d s d s d s ，满足
1/1/1/1
1
1
()
()
()
p
p
p
l
l
l
p
p
p
i i i i i i i y y x x ≤+===+∑∑∑
2.16证明：
（a ）如果s 是类X 上的距离相似侧度，,0,(,)0x y s x y ?>>，那么对于 0a ?>，
(,)s x y a +也是类X 上的距离测度。
（b ）如果d 是类X 上的距离差异性测度，那么对于0a ?>， d a +也是类X 上的距离差异性测度
2.17 假设:f R R +
+
→是连续单调递增函数，满足
()()(),,f x f y f x y x y R +
+≥+?∈
d 是类X 上的距离差异性测度且
00d ≥。证明
()f d 也是类X 上的距离差异性测度。
2.18 假设s 为类X 上的距离相似侧度，有,0,(,)0x y s x y ?>>， :f R R +
+
→是连续单调递增函
数，满足
1
1
1()()(),,x y
f x f y f x y R +
+≥?∈+
证明()f x 是X 上的距离相似侧度。
2.19 证明：对于模式矢量集X 上任意两个矢量x r 和 y r 有
21(,)(,)(,)
x y x y x y d d d ∞≤≤r r r r r r
2.20 （a ）证明公式1/(,)1(,)()q
F l q q x y i i i s x y s ==∑r r
r r 中 (,)F s x y r r
的最大最小值分别是和 1/0.5q l 。
（b ）证明当q →+∞时，公式
1/(,)1
(,)()
q
q
F
l
q x y i i i s x y s ==∑r r
r r 中
1(,)max (,)i l i i F
x y s x y s ≤≤=r r r r
2.21 假设d 是模式矢量集X 上的差异性测度，
max s d d =-是相应相似测度。
证明
max (,)(,),,ps
ps
avg avg x C x C x X C X
s d d =-?∈?
其中ps avg
s
和
ps avg
d
是分别根据s 和d 所定义的。
ps avg
ψ的定义来自于下面公式，其中第一个
集合只含有一个矢量。 提示：平均亲近函数
1
(,)(,)
i j
i j
ps avg i j x D y D D D D D x y n n ∈∈ψ=
ψ∑∑，其中
i
D n 和
j
D n 分别是集合
i D 和
j D 的
势。即使 ψ是测度，显然
ps avg
ψ不是测度。在公式中，
i D 和
j D 中的所有矢量都参与计算。
2.22 假设,{0,1}l x y ∈。证明
2
(,)x y d =。
2.23 考虑一维空间的两矢量，T 1[,,]l x x x =L 和
T
1[,,]l y y y =L ，
1max {}
j l i
j i
j
y
y x x =-=-K K ，定义距离
(,)
n
x y d
为
1,1
(,)[(2)/2]l
n
i
i
i
i
j j i
x y l l y
y
d
x x =≠=
-+---∑
这个距离曾被提议作为欧氏距离的近似值。 （a ）证明n
d 是距离。 （b ）比较n
d
和
2
d
的计算复杂度。
2．24 若定义下列准则函数
1
1()()
i c
T T i T i i x X J x m S x m -=∈=--∑∑
其中
i m 是 i X 中 i N 个样本的均值向量，
T S 是总散布矩阵，
（1）证明
T J 对数据的非奇异线形变换具有不变性。 （2）证明把
i X 中的样本
?x 转移到 j X 中去，则使 T J 改变为 *
1
1
????[
()()()()]1
1j T T i T T j T j i T i j i N N J J x m S x
m x m S x m N N --=------+-
（3）写出使
T J 最小化的迭代程序。
2．25 证明对于C-均值算法，聚类准则函数满足使算法收敛的条件。（即若(,)(,)J K J K Γ≤Γ%
，则有
(,)(,)J K J K Γ≤Γ%%%）
2．26 令111(,)()()log ||22T j j j j j y K y m y m -?=-∑-+∑是点到聚类的相似性度量，式中 j m 和 j ∑是
聚类
j
Γ的均值和协方差矩阵，若把一点从
i Γ转移到
j Γ中去，计算由公式
1(,)
j
c
K j i y J y K =∈Γ=?∑∑所示
K J 的变化值。
第三章 判别域代数界面方程法
3.1 证明感知器算法在训练模式是线性可分的情况下，经过有限次迭代后可以收敛到正确的解矢量*
w 。 3.2
（1）试给出LMSE 算法（H-K 算法）的算法流程图;
（2）试证明X #
e(k)=0，这里, X #
是伪逆矩阵；e(k)为第k 次迭代的误差向量; （3）已知两类模式样本ω1：x1=(-1,0)T
, x2=(1,0)T
；ω2：x3=(0,0)T
，x4=(0,-1)T
。 试用LMSE 算法判断其线性可分性。
3.3 设等式方程组b w X ??=，其中：属于 1ω的样本作为 X 的前 1N 行，属于 2ω的样本作为 X 的后 2
N 行。证明：当余量矢量
),,,,,(
2
1
221143
421Λ43421ΛN N N N
N N N N N N b =时，MSE 解等价于Fisher 解。
3.4 已知二维样本：1x ρ=(-1,0)T ， 2x ρ=(0,-1)T ，=(0,0)T ， 4x ρ
=(2,0)T 和 5x ρ=(0,2)T ， 1321},,{ω∈x x x ρρρ，
254},{ω∈x x ρρ。试用感知器算法求出分类决策函数，并判断
6x ρ
=(1,1)T 属于哪一类？
3.4. 已知模式样本 x 1=(0,0)T
,x 2=(1,0)T
,x 3=(-1,1)T
分别属于三个模式类别，即， x 1∈ω1,x 2∈ω2,x 3∈ω3， （1）试用感知器算法求判别函数g i (x)，使之满足，若x i ∈ωi 则g i (x)>0，i=1,2,3； （2）求出相应的判决界面方程，并画出解区域的示意图。 给定校正增量因子C=1，初始值可以取：
w 1(1)=(4,-9,-4)T ，w 2(1)=(4,1,-4,)T ，w 3(1)=(-4,-1,-6)T
。
3.5 已知ω1：{(0,0)T
},ω2：{(1,1)T
},ω3：{(-1,1)T
}。用感知器算法求该三类问题的判别函数，并画出解区域。
3.6 试证明：
（1）从x ρ到超平面 0)(0=+=w x w x g T ρρρ的距离
w
x g r ρ
ρ|)(|=是在
)(=q x g ρ
的约束条件下，使
2q
x x ρρ-达到极小的解。
（2）x ρ在超平面上的投影是 w
w x g x x p ρρρ
ρρ2)(-= 。
3.7 设有一维空间二次判别函数2
975)(x x x g ++=，试将其映射成广义齐次线性判别函数
y a x g T ρρρ=)(。
3.8 对二维线性判别函数
22)(21-+=x x x g ρ （1）将判别函数写成0)(w x w x g T +=ρρρ的形式，并画出
0)(=x g ρ的几何图形； （2）将其映射成广义齐次线性判别函数
y a x g T ρ
ρρ=)( ； （3）指出上述X 空间实际是Y 空间的一个子空间，且0=y a T ρ
ρ对X 子空间的划分与原空间中 00=+w x w T ρ
ρ对原X 空间的划分相同，并在图上表示出来。
3.9 指出在Fisher 线性判别中，w ρ的比例因子对Fisher 判别结果无影响的原因。
3.10 证明两向量外积组成的矩阵一般是奇异的。
3.11 证明，在几何上，感知器准则函数值正比于被错分类样本到决策面的距离之和。
3.12解释为什么感知器函数是一个连续分段的线性分类器。
3.13如果在感知器算法中
k
ρ
ρ
=，那么在
()()
*
2
02w w
k
αρρβ-=
-步之后，这个算法收敛，其中
2
αγβ
=
， 2ρ<。
3.14证明感知器算法的正确分类和错误分类在有限个反复的运算以后是收敛的
3.15 考虑一种情况，在类
1
ω中包含两个特征向量，
[]
0,1T
。类
2ω
中包含
[]1,0T
和
[]1,1T
两
个向量。根据感知器算法，其中 1ρ=，
[](0)0.5,0.5T
ω=
，设计一个线性分离器来区分这两类
3.16在上一章2。12问题中两分类问题中，取
[]
1
1,1T
μ=,
[]2
0,0T
μ=,
2
2
12
0.2σσ==.对于每一类产生50个向量。为了确保对于这两类的线性分离，对于向量[1，1]类确保
12
1
x x +<， 对于[0，0]向量类
1
2
1
x x
+>。下面的步骤就是使用这些向量去设计一个线性分类器使用(3.21)中的
感知器算法。在收敛以后，画出相关的判定线
3.17 假如2.12问题中是多类分类问题，每一类有100个样本点。根据LMS 算法使用这些数据去设计一个线性分类器。当所有的点被带入这个算法中进行计算的时候，画出这个算法收敛的相关超平面。其中
0.01
k
ρρ
==，然后使用 0.01ρ=。观察这个结果
3.18 证明，使用KESLER 构造器，经过前面3。21感知器算法的有限步正确与错误分类计算后，对于一个
()t
i
x ω
∈，变为
()()()
()()()()()()
()()()()()1,1,
1T
T
i i t i t j t T
T
i i t i
t j t k k t t if t j i t t if t j i t t k j
andk i
x x x x x x ρρωωωωωωωωωω+=+<≠+=-<≠+=?≠≠
3.19 证明理想权重向量的误差平方和趋渐进于MSE 的解。 3.20使用均方误差和的原则解问题3.6并设计一个线性分类器。
3.21证明设计一个M 类的线性分类器，有最佳误差平方和。分类器减少到M 等价个有相应的效果。
3.22证明，假如x,y 服从联合高斯分布，对于x 条件下y 的分布是
[]|y
y
x
y
x
x
E y x x μασασμσσ
=
+-，
2
2
x
x y
x
y
y
σασσασσσ
?
?
?
?∑=????
3.23 取M 类分类器按照参数函数
()
;k g x ω的形式存在，目的是估计参数
k ω
，使得分类器根据输入
向量x 能够产生期望的响应输出值 。假设在每一类中x 是随机分布，分类器的输出根据相关期望响应值的不同而不同。按照高斯已知变量的一个高斯分布，假设所有的输出都是相同的。证明按照误差平方和的原则，ML 估计是产生一个等价的估计值。
提示：在已知的类别当中取出N 个训练样本值。对于他们中的每一个形成
();i
i k k
i
g y x d ω=-。
i k
d
是第k 类中第i 个样本点的期望响应值。 '
i
s y 服从正态0均值，方差为
2
σ
的分布。这个似然函数使
用
'
i
s y
3.24在二类分类问题中，贝叶斯最佳判定截面是通过()()()12||0
g x P x P x ωω=-=给出，证明MSE
中训练一个判定界面 ()
;f x ω，目的是对两类进行有效判别，相关的，它等价于在MSE 最优感知中，
它等价于 ()
;f x ω的渐进函数形式g(.).
3.25 假设在两类分类问题中有服从联合分布的特征向量，他们在有共同的方差∑。设计一个线性MSE 分类器，证明在2.11问题中的贝叶斯分类器和这个结果的MSE 分类器仅仅通过一个阈值就可以区分。简化起见，仅仅考虑等概率的类的情况。 提示：计算MSE 超平面
T
x ωω
+=，增加x 的维数，它的解按照下列方式提供，
[][]
(
)
1201
210T
R
E x w E w x μμ??
????-??
??=?????????
??
?
相关的R 和∑在MSE 分类器中按照下列的形式给出
()()
1
1
2
1()0122T
x μμμμ-?
?
-
+>< ??
?-∑
第四章 统计判决
4.1 使用最小最大损失判决规则的错分概率是最小吗？为什么？ 4.2 当∑i=σ2I 时，先验概率对决策超平面的位置影响如何？
4.3 假设在某个地区的细胞识别中正常1ω和异常 2ω两类的先验概率分别为
正常状态 ：1()0.9P ω=
异常状态：
2()0.1P ω=
现有一待识的细胞，其观测值为x ，从类条件概率密度分布曲线上查得 12()0.2,()0.4p x p x ω==
并且已知损失系数为λ11=0，λ12=1，λ21=6，λ22=0。
试对该细胞以以下两种方法进行分类：①基于最小错误概率准则的贝叶斯判决；②基于最小损失准则的贝叶斯判决。请分析两种分类结果的异同及原因。
4.4 试用最大似然估计的方法估计单变量正态分布的均值μ和方差 2
σ。
4.5 已知两个一维模式类别的类概率密度函数为
? x 0≤x<1 p(x |ω1)=? 2-x
1≤x ≤2
? 0 其它 ? x -1 1≤x<2 p(x |ω2)=? 3-x 2≤x ≤3 ? 0 其它
先验概率P(ω1)=0.6，P(ω2)=0.4， （1）求0-1代价Bayes 判决函数； （2）求总错误概率P(e)；
（3）判断样本{x1=1.35,x2=1.45,x3=1.55,x4=1.65}各属于哪一类别。
4.6 在目标识别中，假定有农田和装甲车两种类型，类型
1
ω和类型
2
ω分别代表农田和装甲车，它们的
先验概率分别为0.8和0.2，损失函数如表1所示。现在做了三次试验，获得三个样本的类概率密度如下：
)/(1ωx p ：0.3，0.1，0.6
)/(2ωx p ：0.7，0.8，0.3
（1） 试用贝叶斯最小误判概率准则判决三个样本各属于哪一个类型；
（2） 假定只考虑前两种判决，试用贝叶斯最小风险准则判决三个样本各属于哪一个类型； （3） 把拒绝判决考虑在内，重新考核三次试验的结果。
表1
4.7已知两个一维模式类别的类概率密度函数为
??
?≤≤=其它 ,01
0 ,2)|(1x x x p ω ??
?≤≤-=其它
, 01
0 , 22)|(2x x x p ω 先验概率P(ω1)=P(ω2)，损失函数，λ11=λ22=0，λ12=0.6，λ21=0.4。 （1）求最小平均损失Bayes 判决函数； （2）求总的误判概率P(e)；
（3）对于一个两类一维问题，若这两类的类概率密度分别服从正态分布N(0,σ2
)和 N(1,σ2
)，证明使平
均决策风险最小的决策门限为
)()(ln 21
11222120ωλωλσP P x -=
这里，假设风险函数λ11=λ22=0 。一维正态分布：]
2)([2
221)(σμσ
π--
=
x e
x p
4.8 设
T j j N
j N m x N m x N N C
))
(?))((?(1)(?1
ρρρρ--=∑
=是基于样本集{ N x x x ρρρ,...,,2
1}对总体 x ρ? ),(C m N ρ的协方差矩阵的最大似然估计。试推导由 )(?N C 求增加一个样本 1+N x ρ后协方差矩阵的估计 )
1(?+N C 的递推公式。其中， )(?N m ρ是基于样本集{ N x x x ρρρ,...,,21}对总体 x ρ的均值向量 m ρ的最大似然估计
j
N
j x N
N m
ρρ∑
==1
1)(? 。
4.9 设以下两类模式均为正态分布 ω1：{(0,0)T
，(2,0)T
，(2,2)T
，(0,2)T
} ω2：{(4,4)T
，(6,4)T
，(6,6)T
，(4,6)T
}
(1) 设P(ω1)= P(ω2)=1/2，求该两类模式之间的Bayes 判别界面的方程。 (2) 绘出判别界面。
4.10 设以下两类模式均为正态分布
ω1：{(-5,-5)T
，(-5,-4)T
，(-4,-5)T
，(-6,-5)T
，(-5,-6)T
} ω2：{(5,5)T
，(5,6)T
，(6,5)T
，(5,4)T
，(4,5)T
}
(1) 试用正交函数逼近法求类概率密度的估计
)|(1ωx p ρ)和 )|(2ωx p ρ)，可选用Hermite 正交多项式前四项低阶基函数：H 0(x)=1, H 1(x)=2x,H 2(x)=4x 2
-2, H 3(x)=8x 3
-12x ； (2) 设P(ω1)= P(ω2)=1/2，求Bayes 判决函数； (3) 给出判别界面方程和图示。
4.11 证明在多类问题中，贝叶斯决策准则使错误分类概率最小。
提示：使用正确分类概率来证明要方便一些。
4.12 在一个两类一维问题中，两类的概率分布密度函数分别为高斯分布),0(2
σN 和 ),1(2
σN ，证明
使平均风险最小的门限
0x
为：
()
()
212012
1221ln
P x P λωσλω=- 其中
11220λλ==。
4.13 假设两类类问题中损失矩阵为L=
???? ??22211211λλλλ，ε1是将本来属于ω1类的样本错分为ω2的概率，ε2是将本来属于ω2类的样本错分为ω1的概率。试证明平均风险为
4.14 证明在多类分类问题中，M 类的分类错误概率上限为 Pe=(M-1)/M 。
提示，对于每一个向量x 最大后验概率密度函数(|)i P x ωr
，i=1,2，…，M ，大于或等于1/M 。这等价于每一个
(|)i P x ωr
都是相等的。 4.15 假设在一维两类分类当中样本点符合Rayleigh 概率密度函数分布：
?????<≥-=0 00
)2exp()|(22
2x x x x x p i
i i σσω 试求判决边界
()0g x =。 4.16在两类分类问题中，限定其中一类的错分误概率为ε1=ε，证明，使另一类的错分概率ε2最小等价
于似然比判决：如果P(ω1)/P(ω2)> θ，则判x ∈ω1，这里，θ是使ε1=ε成立的似然比判决门限。 注：这就是Neyman-Pearson 判决准则， 它类似于贝叶斯最小风险准则。 提示：该问题等价于用Langrange 乘子法，使q=θ(ε1-ε)+ε2最小化。
4.17．二维三类问题，假设每一类都服从同一正态分布，且特征向量的的协方差矩阵为
1.20.40.4 1.8??
=??
??∑ 各类的均值向量分别是
[]0.1,0.1T
，
[]2.1,1.9T
，
[]1.5,2.0T
-。
（1）用贝叶斯最小错误概率分类器将向量
[]1.6,1.5T
分类。
（2）画出距离向量
[]2.1,1.9T
的等马氏距离曲线图（略图）
。
4.18. 在两类三维空间分类问题中，每一类中的特征向量都服从正态分布，协方差矩阵为
0.30.10.10.10.30.10.10.10.3????=-????-??∑ 这两类的各自的均值向量分别为[]0,0,0T
和
[]0.5,0.5,0.5T
。试推导相应的线性决策函数
和决策界面方程。
4.19．在两类等概率分类问题中，每一类中的特征向量的协方差矩阵均为∑，相关的均值向量为
1μ，
2μ，证明对于贝叶斯最小错误概率分类器，错误概率分布是
2(1/2)1
exp(/2)2m
B
d z dz P π+∞
=
-?
其中，
m d 是这两个均值向量之间的马氏距离。该函数是
m d 的增函数。
提示：对数似然比
12ln (|)ln (|)
u p p x w x w =-是一个随机变量，且服从高斯分布：
221,2m m d d ??N ???，?
1x ω∈；和
2
21,2m m d d ??N - ?
??，? 2x ω∈。据此计算错误概率。
4.20．证明假设每个向量都遵循高斯概率密度函数分布，在（2。19）的最大似然概率检测
()
()112122|()()|p x x if
p x l ωωωθ
ω∈=><
等价于
()
()
()22
1121
2
2
,|,|ln
2ln m
m
x x d d θμ
μ
-+<>-∑∑∑∑
这里()2,|m
i
i
x d μ∑是
i
μ和x 之间关于
i
∑矩阵的的马氏距离。
模 式 识 别 非 学 位 课 考 试 试 题 考试科目： 模式识别 考试时间 考生姓名： 考生学号 任课教师 考试成绩 一、简答题（每题6分，12题共72分）： 1、 监督学习和非监督学习有什么区别？ 参考答案：当训练样本的类别信息已知时进行的分类器训练称为监督学习，或者由教师示范的学习；否则称为非监督学习或者无教师监督的学习。 2、 你如何理解特征空间？表示样本有哪些常见方法？ 参考答案：由利用某些特征描述的所有样本组成的集合称为特征空间或者样本空间，特征空间的维数是描述样本的特征数量。描述样本的常见方法：矢量、矩阵、列表等。 3、 什么是分类器？有哪些常见的分类器？ 参考答案：将特征空中的样本以某种方式区分开来的算法、结构等。例如：贝叶斯分类器、神经网络等。 4、 进行模式识别在选择特征时应该注意哪些问题？ 参考答案：特征要能反映样本的本质；特征不能太少，也不能太多；要注意量纲。 5、 聚类分析中，有哪些常见的表示样本相似性的方法？ 参考答案：距离测度、相似测度和匹配测度。距离测度例如欧氏距离、绝对值距离、明氏距离、马氏距离等。相似测度有角度相似系数、相关系数、指数相似系数等。 6、 你怎么理解聚类准则？ 参考答案：包括类内聚类准则、类间距离准则、类内类间距离准则、模式与类核的距离的准则函数等。准则函数就是衡量聚类效果的一种准则，当这种准则满足一定要求时，就可以说聚类达到了预期目的。不同的准则函数会有不同的聚类结果。 7、 一种类的定义是：集合S 中的元素x i 和x j 间的距离d ij 满足下面公式： ∑∑∈∈≤-S x S x ij i j h d k k )1(1 ，d ij ≤ r ，其中k 是S 中元素的个数，称S 对于阈值h ，r 组成一类。请说明， 该定义适合于解决哪一种样本分布的聚类？ 参考答案：即类内所有个体之间的平均距离小于h ，单个距离最大不超过r ，显然该定义适合团簇集中分布的样本类别。 8、 贝叶斯决策理论中，参数估计和非参数估计有什么区别？ 参考答案：参数估计就是已知样本分布的概型，通过训练样本确定概型中的一些参数；非参数估计就是未知样本分布概型，利用Parzen 窗等方法确定样本的概率密度分布规律。 9、 基于风险的统计贝叶斯决策理论中，计算代价[λij ]矩阵的理论依据是什么？假设这个矩阵是 M ?N ，M 和N 取决于哪些因素？
模式识别与机器学习期末考查 试卷 研究生姓名：入学年份：导师姓名：试题1：简述模式识别与机器学习研究的共同问题和各自的研究侧重点。 答：（1）模式识别是研究用计算机来实现人类的模式识别能力的一门学科，是指对表征事物或现象的各种形式的信息进行处理和分析，以对事物或现象进行描述、辨认、分类和解释的过程。主要集中在两方面，一是研究生物体（包括人）是如何感知客观事物的，二是在给定的任务下，如何用计算机实现识别的理论和方法。机器学习则是一门研究怎样用计算机来模拟或实现人类学习活动的学科，是研究如何使机器通过识别和利用现有知识来获取新知识和新技能。主要体现以下三方面：一是人类学习过程的认知模型；二是通用学习算法；三是构造面向任务的专用学习系统的方法。两者关心的很多共同问题，如：分类、聚类、特征选择、信息融合等，这两个领域的界限越来越模糊。机器学习和模式识别的理论和方法可用来解决很多机器感知和信息处理的问题，其中包括图像/ 视频分析（文本、语音、印刷、手写）文档分析、信息检索和网络搜索等。 （2）机器学习和模式识别是分别从计算机科学和工程的角度发展起来的，各自的研究侧重点也不同。模式识别的目标就是分类，为了提高分类器的性能，可能会用到机器学习算法。而机器学习的目标是通过学习提高系统性能，分类只是其最简单的要求，其研究更
侧重于理论，包括泛化效果、收敛性等。模式识别技术相对比较成熟了，而机器学习中一些方法还没有理论基础，只是实验效果比较好。许多算法他们都在研究，但是研究的目标却不同。如在模式识别中研究所关心的就是其对人类效果的提高，偏工程。而在机器学习中则更侧重于其性能上的理论证明。试题2：列出在模式识别与机器学习中的常用算法及其优缺点。答：（1）K 近邻法算法作为一种非参数的分类算法，它已经广泛应用于分类、 回归和模式识别等。在应用算法解决问题的时候，要注意的两个方面是样本权重和特征权重。 优缺点：非常有效，实现简单，分类效果好。样本小时误差难控制，存储所有样本，需要较大存储空间，对于大样本的计算量大。（2）贝叶斯决策法 贝叶斯决策法是以期望值为标准的分析法，是决策者在处理 风险型问题时常常使用的方法。 优缺点：由于在生活当中许多自然现象和生产问题都是难以完全准确预测的，因此决策者在采取相应的决策时总会带有一定的风险。贝叶斯决策法就是将各因素发生某种变动引起结果变动的概率凭统计资料或凭经验主观地假设，然后进一步对期望值进行分析，由于此概率并不能证实其客观性，故往往是主观的和人为的概率，本身带有一定的风险性和不肯定性。虽然用期望的大小进行判断有一些风险，但仍可以认为贝叶斯决策是一种兼科学性和实效性于一身的比较完善的用于解决风险型决策问题的方法，在实际中能够广泛应
一、试问“模式”与“模式类”的含义。如果一位姓王的先生是位老年人，试问“王先生”和“老头”谁是模式，谁是模式类？ 二、试说明Mahalanobis距离平方的定义，到某点的Mahalanobis距离平方为常数的轨迹的几何意义，它与欧氏距离的区别与联系。 三、试说明用监督学习与非监督学习两种方法对道路图像中道路区域的划分的基本做法，以说明这两种学习方法的定义与它们间的区别。 四、试述动态聚类与分级聚类这两种方法的原理与不同。 五、如果观察一个时序信号时在离散时刻序列得到的观察量序列表示为，而该时序信号的内在状态序列表示成。如果计算在给定O条件下出现S的概 率，试问此概率是何种概率。如果从观察序列来估计状态序列的最大似然估计，这与Bayes 决策中基于最小错误率的决策有什么关系。 六、已知一组数据的协方差矩阵为，试问 1．协方差矩阵中各元素的含义。 2．求该数组的两个主分量。 3．主分量分析或称K-L变换，它的最佳准则是什么？ 4．为什么说经主分量分析后，消除了各分量之间的相关性。 七、试说明以下问题求解是基于监督学习或是非监督学习： 1. 求数据集的主分量非 2. 汉字识别有 3. 自组织特征映射非 4. CT图像的分割非 八、试列举线性分类器中最著名的三种最佳准则以及它们各自的原理。 九、在一两维特征空间，两类决策域由两条直线H1和H2分界， 其中 而包含H1与H2的锐角部分为第一类，其余为第二类。 试求： 1．用一双层感知器构造该分类器 2．用凹函数的并构造该分类器 十、设有两类正态分布的样本基于最小错误率的贝叶斯决策分界面，分别为X2=0，以及X1=3，其中两类的协方差矩阵，先验概率相等，并且有， 。 试求：以及。
中国科学技术大学模式识别试题 （2012年春季学期） 姓名：学号：成绩： 一、填空与选择填空（本题答案写在此试卷上，30分） 1、模式识别系统的基本构成单元包括：、 和。 2、统计模式识别中描述模式的方法一般使用；句法模式识别中模式描述方法一般 有、、。 3、聚类分析算法属于；判别域代数界面方程法属于。 （1）无监督分类 (2)有监督分类（3）统计模式识别方法（4）句法模式识别方法 4、若描述模式的特征量为0-1二值特征量，则一般采用进行相似性度量。 （1）距离测度（2）模糊测度（3）相似测度（4）匹配测度 5、下列函数可以作为聚类分析中的准则函数的有。 （1） (4) 6、Fisher线性判别函数的求解过程是将N维特征矢量投影在中进行。 （1）二维空间（2）一维空间（3）N-1维空间 7、下列判别域界面方程法中只适用于线性可分情况的算法有；线性可分、不可分都适用的 有。 （1）感知器算法（2）H-K算法（3）积累位势函数法 8、下列四元组中满足文法定义的有。 （1）({A, B}, {0, 1}, {A→01, A→ 0A1 , A→ 1A0 , B→BA , B→ 0}, A) （2）({A}, {0, 1}, {A→0, A→ 0A}, A) （3）({S}, {a, b}, {S → 00S, S → 11S, S → 00, S → 11}, S) （4）({A}, {0, 1}, {A→01, A→ 0A1, A→ 1A0}, A) 二、(15分)简答及证明题 （1）影响聚类结果的主要因素有那些？ （2）证明马氏距离是平移不变的、非奇异线性变换不变的。 （3）画出对样本集 ω1：{(0,0,0)T, (1,0,0)T, (1,0,1)T, (1,1,0)T,} PDF 文件使用 "pdfFactory Pro" 试用版本创建https://www.doczj.com/doc/1916021595.html,
1.简述模式的概念及其直观特性，模式识别的分类，有哪几种方法。（6’） 答（1）：什么是模式？广义地说，存在于时间和空间中可观察的物体，如果我们可以区别它们是否相同或是否相似，都可以称之为模式。 模式所指的不是事物本身，而是从事物获得的信息，因此，模式往往表现为具有时间和空间分布的信息。 模式的直观特性：可观察性；可区分性；相似性。 答（2）：模式识别的分类： 假说的两种获得方法（模式识别进行学习的两种方法）： ●监督学习、概念驱动或归纳假说； ●非监督学习、数据驱动或演绎假说。 模式分类的主要方法： ●数据聚类：用某种相似性度量的方法将原始数据组织成有意义的和有用的各种数据 集。是一种非监督学习的方法，解决方案是数据驱动的。 ●统计分类：基于概率统计模型得到各类别的特征向量的分布，以取得分类的方法。 特征向量分布的获得是基于一个类别已知的训练样本集。是一种监督分类的方法， 分类器是概念驱动的。 ●结构模式识别：该方法通过考虑识别对象的各部分之间的联系来达到识别分类的目 的。（句法模式识别） ●神经网络：由一系列互相联系的、相同的单元（神经元）组成。相互间的联系可以 在不同的神经元之间传递增强或抑制信号。增强或抑制是通过调整神经元相互间联 系的权重系数来（weight）实现。神经网络可以实现监督和非监督学习条件下的分 类。 2.什么是神经网络？有什么主要特点？选择神经网络模式应该考虑什么因素？ （8’） 答（1）：所谓人工神经网络就是基于模仿生物大脑的结构和功能而构成的一种信息处 理系统（计算机）。由于我们建立的信息处理系统实际上是模仿生理神经网络，因此称它为人工神经网络。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。 人工神经网络的两种操作过程：训练学习、正常操作（回忆操作）。 答（2）：人工神经网络的特点： ●固有的并行结构和并行处理； ●知识的分布存储； ●有较强的容错性； ●有一定的自适应性； 人工神经网络的局限性： ●人工神经网络不适于高精度的计算； ●人工神经网络不适于做类似顺序计数的工作； ●人工神经网络的学习和训练往往是一个艰难的过程； ●人工神经网络必须克服时间域顺序处理方面的困难； ●硬件限制； ●正确的训练数据的收集。 答（3）：选取人工神经网络模型，要基于应用的要求和人工神经网络模型的能力间的 匹配，主要考虑因素包括：
一、填空与选择填空（本题答案写在此试卷上，30分） 1、模式识别系统的基本构成单元包括：模式采集、特征提取与选择 和模式分类。 2、统计模式识别中描述模式的方法一般使用特真矢量；句法模式识别中模式描述方法一般有串、树、网。 3、聚类分析算法属于（1）；判别域代数界面方程法属于（3）。 （1）无监督分类 (2)有监督分类（3）统计模式识别方法（4）句法模式识别方法 4、若描述模式的特征量为0-1二值特征量，则一般采用（4）进行相似性度量。 （1）距离测度（2）模糊测度（3）相似测度（4）匹配测度 5、下列函数可以作为聚类分析中的准则函数的有（1）（3）（4）。
（1）（2） (3)
(4) 6、Fisher线性判别函数的求解过程是将N维特征矢量投影在（2）中进行。 （1）二维空间（2）一维空间（3）N-1维空间 7、下列判别域界面方程法中只适用于线性可分情况的算法有（1）；线性可分、不可分都适用的有（3）。 （1）感知器算法（2）H-K算法（3）积累位势函数法 8、下列四元组中满足文法定义的有（1）（2）（4）。 （1）({A, B}, {0, 1}, {A?01, A ? 0A1 , A ? 1A0 , B ? BA , B ? 0}, A)（2）({A}, {0, 1}, {A?0, A ? 0A}, A) （3）({S}, {a, b}, {S ? 00S, S ? 11S, S ? 00, S ? 11}, S) （4）({A}, {0, 1}, {A?01, A ? 0A1, A ? 1A0}, A) 9、影响层次聚类算法结果的主要因素有（计算模式距离的测度、（聚类准则、类 间距离门限、预定的类别数目））。 10、欧式距离具有（ 1、2 ）；马式距离具有（1、2、3、4 ）。 （1）平移不变性（2）旋转不变性（3）尺度缩放不变性（4）不受量纲影响的特性11、线性判别函数的正负和数值大小的几何意义是（正（负）表示样本点位于判别 界面法向量指向的正（负）半空间中；绝对值正比于样本点到判别界面的距离。）。
2013–2014 学年度 模式识别 课程期末考试试题 一、计算题 （共20分） 在目标识别中，假定类型1ω为敌方目标，类型2ω为诱饵（假目标），已知先验概率P (1ω)=0.2和P (2ω)=0.8，类概率密度函数如下： ??? ??≤≤-<≤=其它021210)(1x x x x x p ω ?? ? ??≤≤-<≤=其它0323211-)(2x x x x x p ω 1、求贝叶斯最小误判概率准则下的判决域，并判断样本x =1.5属于哪一类； 2、求总错误概率p (e )； 3、假设正确判断的损失λ11=λ22=0，误判损失分别为λ12和λ21，若采用最小损失判决准则，λ12和λ21满足怎样的关系时，会使上述对x =1.5的判断相反？ 解：（1）应用贝叶斯最小误判概率准则如果 )()()(2112ωω=x p x p x l <>)() (12ωωP P 则判 ???ωω∈21 x （2分） 得 l 12(1.5)=1 < )() (12ωωP P =4，故 x=1.5属于ω2 。（2分） （2）P(e)= 212121)()()(εω+εω=P P e P ??ΩΩωω+ωω=1 2 )()()()(2211x d x p P x d x p P = dx x x x ??-+- 1.2 1 2 1.2 10.8d )2(0.2）（=0.08 （算式正确2分，计算错误扣1～2分） (3) 两类问题的最小损失准则的似然比形式的判决规则为：
如果 ) )(())(()()(111212221221λ-λωλ-λω< >ωωP P x p x p 则判 ???ωω∈21 x 带入x=1.5得到 λ12≥4λ21 二、证明题（共20分） 设p(x)~N (μ,σ)，窗函数?(x)~N (0,1)，试证明Parzen 窗估计1 1 ?()( )N i N i N N x x p x Nh h ?=-= ∑ 有如下性质：22 ?[()](,)N N E p x N h μσ+ 。 证明：（1）（为书写方便，以下省略了h N 的下标N ） 22 22 22 2222222222 222211()()()()]22111exp[()()]2221111exp{[()2()]}221 1111exp[()]exp{()[2222y x y x y p y dy dy h h y x y dy h x x y y dy h h h x y h h μ?σμπσσ μμπσσσσ μπσσσ∞ ∞ -∞ -∞∞ -∞∞ -∞ ∞ -∞---=----=--= -+-+++=-+-+-? ??? ?2222()]}x h y dy h σμσ++ 222222 2222222222221 1()exp[(exp()22()2 11()exp[22()1()]2()x x h y dy h h h x h x h μσμπσσσσμπσσμσ∞ +=-+--+-=-+-=-+? （1-1） 121211?[()][()](,,...,)N i N N N i x x E p x p x x x dx dx dx Nh h ?∞ =-∞ -=∑??? 因为样本独立 121211?[()][()]()()...()N i N N N i x x E p x p x p x p x dx dx dx Nh h ?∞ =-∞ -=∑???
模式识别 复习题 1. 简单描述模式识别系统的基本构成（典型过程）？ 2. 什么是监督模式识别（学习）？什么是非监督模式识别（学习）？ 对一副道路图像，希望把道路部分划分出来，可以采用以下两种方法： (1). 在该图像中分别在道路部分与非道路部分画出一个窗口，把在这两个窗口中的象素数据作为训练集，用某种判别准则求得分类器参数，再用该分类器对整幅图进行分类。 (2)．将整幅图的每个象素的属性记录在一张数据表中，然后用某种方法将这些数据按它们的自然分布状况划分成两类。因此每个象素就分别得到相应的类别号，从而实现了道路图像的分割。 试问以上两种方法哪一种是监督学习，哪个是非监督学习？ 3. 给出一个模式识别的例子。 4. 应用贝叶斯决策的条件是什么？列出几种常用的贝叶斯决策规 则，并简单说明其规则. 5. 分别写出在以下两种情况：（1）12(|)(|)P x P x ωω=；（2）12()() P P ωω=下的最小错误率贝叶斯决策规则。 6. （教材P17 例2.1） 7. （教材P20 例2.2），并说明一下最小风险贝叶斯决策和最小错误 率贝叶斯决策的关系。 8. 设在一维特征空间中有两类服从正态分布的样本， 12122,1,3,σσμμ====两类先验概率之比12(),() P e P ωω= 试确定按照最小错误率贝叶斯决策规则的决策分界面的x 值。
9. 设12{,,...,}N x x x =X 为来自点二项分布的样本集，即 1(,),0,1,01,1x x f x P P Q x P Q P -==≤≤=-，试求参数P 的最大似然估 计量?P 。 10. 假设损失函数为二次函数2??(,)()P P P P λ=-，P 的先验密度为均匀分布，即()1,01f P P =≤≤。在这样的假设条件下，求上题中的贝叶 斯估计量?P 。 11. 设12{,,...,}N x x x =X 为来自(|)p x θ的随机样本，其中0x θ≤≤时， 1 (|)p x θθ=，否则为0。证明θ的最大似然估计是max k k x 。 12. 考虑一维正态分布的参数估计。设样本（一维）12,,...,N x x x 都是由 独立的抽样试验采集的，且概率密度函数服从正态分布，其均值μ和方差2σ未知。求均值和方差的最大似然估计。 13. 设一维样本12{,,...,}N x x x =X 是取自正态分布2(,)N μσ的样本集，其中 均值μ为未知的参数，方差2σ已知。未知参数μ是随机变量，它的先验分布也是正态分布200(,)N μσ，200,μσ为已知。求μ的贝叶斯估计 ?μ 。 14. 什么是概率密度函数的参数估计和非参数估计？分别列去两种 参数估计方法和非参数估计方法。 15. 最大似然估计和Parzen 窗法的基本原理？
《模式识别》试题库 一、基本概念题 1.1 模式识别的三大核心问题是：、、。 1.2、模式分布为团状时，选用聚类算法较好。 1.3 欧式距离具有。马式距离具有。 （1）平移不变性（2）旋转不变性（3）尺度缩放不变性（4）不受量纲影响的特性 1.4 描述模式相似的测度有：。 （1）距离测度（2）模糊测度（3）相似测度（4）匹配测度 1.5 利用两类方法处理多类问题的技术途径有：（1）；（2）； （3）。其中最常用的是第个技术途径。 1.6 判别函数的正负和数值大小在分类中的意义 是：， 。 1.7 感知器算法。 （1）只适用于线性可分的情况；（2）线性可分、不可分都适用。 1.8 积累位势函数法的判别界面一般为。 （1）线性界面；（2）非线性界面。 1.9 基于距离的类别可分性判据有：。 （1） 1 [] w B Tr S S - （2） B W S S （3） B W B S S S + 1.10 作为统计判别问题的模式分类，在（）情况下，可使用聂曼-皮尔逊判决准则。 1.11 确定性模式非线形分类的势函数法中，位势函数K(x,x k)与积累位势函数K(x)的关系为 （）。 1.12 用作确定性模式非线形分类的势函数法，通常，两个n维向量x和x k的函数K(x,x k)若同时满足下列三个条件，都可作为势函数。 ①（）；
②（ ）； ③ K(x,x k )是光滑函数，且是x 和x k 之间距离的单调下降函数。 1.13 散度J ij 越大，说明ωi 类模式与ωj 类模式的分布（ ）。当ωi 类模式与ωj 类模式的分布相同时，J ij =（ ）。 1.14 若用Parzen 窗法估计模式的类概率密度函数，窗口尺寸h1过小可能产生的问题是（ ），h1过大可能产生的问题是（ ）。 1.15 信息熵可以作为一种可分性判据的原因 是： 。 1.16作为统计判别问题的模式分类，在（ ）条件下，最小损失判决规则与最小错误判决规则是等价的。 1.17 随机变量l(x ρ)=p( x ρ|ω1)/p( x ρ|ω2)，l( x ρ)又称似然比，则E {l( x ρ)|ω2}= （ ）。在最小误判概率准则下，对数似然比Bayes 判决规则为（ ）。 1.18 影响类概率密度估计质量的最重要因素是 （ ）。 1.19 基于熵的可分性判据定义为 )] |(log )|([1 x P x P E J i c i i x H ρ ρωω∑=-=，J H 越（ ），说明模式的 可分性越强。当P(ωi | x ρ) =（ ）(i=1,2,…,c)时，J H 取极大值。 1.20 Kn 近邻元法较之于Parzen 窗法的优势在于 （ ）。 上述两种算法的共同弱点主要是（ ）。 1.21 已知有限状态自动机Af=(∑，Q ，δ，q0，F)，∑={0，1}；Q={q0，q1}； δ：δ(q0，0)= q1，δ(q0，1)= q1，δ(q1，0)=q0，δ(q1，1)=q0；q0=q0；F={q0}。现有输入字符串：(a) 00011101011，(b) 1100110011，(c) 101100111000，(d)0010011，试问，用Af 对上述字符串进行分类的结果为（ ）。 1.22 句法模式识别中模式描述方法有： 。 （1）符号串 （2）树 （3）图 （4）特征向量
《模式识别》试题答案（A卷） 一、填空与选择填空（本题答案写在此试卷上，30分） 1、影响层次聚类算法结果的主要因素有（计算模式距离的测度、（聚类准则、类间距离门限、预定 的类别数目））。 2、欧式距离具有（ 1、2 ）；马式距离具有（1、2、 3、4 ）。（1）平移不变性（2）旋转不 变性（3）尺度缩放不变性（4）不受量纲影响的特性 3、线性判别函数的正负和数值大小的几何意义是（正（负）表示样本点位于判别界面法向量指向的 正（负）半空间中；绝对值正比于样本点到判别界面的距离。）。 4、感知器算法1。（1）只适用于线性可分的情况；（2）线性可分、不可分都适用。 5、积累势函数法较之于H-K算法的优点是（该方法可用于非线性可分情况（也可用于线性可分情 况））；位势函数K(x,x k)与积累位势函数K(x)的关系为（ ∑ ∈ = X x x x K x K ~ k k k ) , ( ) ( α ）。 6、在统计模式分类问题中，聂曼-皮尔逊判决准则主要用于（某一种判决错误较另一种判决错误更 为重要）情况；最小最大判决准则主要用于（先验概率未知的）情况。 7、“特征个数越多越有利于分类”这种说法正确吗？（错误）。特征选择的主要目的是（从n个特 征中选出最有利于分类的的m个特征（m
《模式识别》试题库 一、基本概念题 1模式识别的三大核心问题是：（ ）、（ ）、（ ）。 2、模式分布为团状时，选用（ ）聚类算法较好。 3 欧式距离具有（ ）。马式距离具有（ ）。（1）平移不变性（2）旋转不 变性（3）尺度缩放不变性（4）不受量纲影响的特性 4 描述模式相似的测度有( )。（1）距离测度 （2）模糊测度 （3）相似测度 （4） 匹配测度 5 利用两类方法处理多类问题的技术途径有：（1） （2） （3） 。其中最常用的是第( )个技术途径。 6 判别函数的正负和数值大小在分类中的意义是：( )。 7 感知器算法 ( )。（1）只适用于线性可分的情况；（2）线性可分、不可分都适用。 8 积累位势函数法的判别界面一般为( )。（1）线性界面；（2）非线性界面。 9 基于距离的类别可分性判据有：( ).（1）1[]w B Tr S S - （2） B W S S （3） B W B S S S + 10 作为统计判别问题的模式分类，在（ ）情况下，可使用聂曼-皮尔逊判决准则。 11 确定性模式非线形分类的势函数法中，位势函数K(x,xk)与积累位势函数K(x)的关系为 （ ）。 12 用作确定性模式非线形分类的势函数法，通常，两个n 维向量x 和xk 的函数K(x,xk)若 同时满足下列三个条件，都可作为势函数。①（ ）； ②（ ）；③ K(x,xk)是光滑函数，且是x 和xk 之间距离的单调下降函数。 13 散度Jij 越大，说明i 类模式与j 类模式的分布（ ）。当i 类 模式与j 类模式的分布相同时，Jij=（ ）。 14 若用Parzen 窗法估计模式的类概率密度函数，窗口尺寸h1过小可能产生的问题是 （ ），h1过大可能产生的问题是（ ）。 15 信息熵可以作为一种可分性判据的原因是：( )。 16作为统计判别问题的模式分类，在（ ）条件下，最小损失判决规则与最 小错误判决规则是等价的。 17 随机变量l(x )=p(x 1)/p(x 2)，l(x )又称似然比，则E l( x )2= （ ）。在最小误判概率准则下，对数似然比Bayes 判决规则为 （ ）。 18 影响类概率密度估计质量的最重要因素（ ）。 19 基于熵的可分性判据定义为)]|(log )|([1x P x P E J i c i i x H ωω∑=-=，JH 越（ ），说 明模式的可分性越强。当P(i| x ) =（ ）(i=1,2,…,c)时，JH 取极大值。 20 Kn 近邻元法较之于Parzen 窗法的优势在于（ ）。上 述两种算法的共同弱点主要是（ ）。 21 已知有限状态自动机Af=(，Q ，，q0，F)，={0，1}；Q={q0，q1}；：(q0， 0)= q1，(q0，1)= q1，(q1，0)=q0，(q1，1)=q0；q0=q0；F={q0}。 现有输入字符串：(a) 000，(b) 11，(c) ，(d)0010011，试问，用Af 对上述字符串进行分
《模式识别》期末考试试题（ A ） 一、填空题（ 15 个空，每空 2 分，共 30 分） 1 ．基于机器学习的模式识别系统通常由两个过程组成 , 即（ ）和分类判决。 2 ．统计模式识别把观察对象表达为一个随机向量 (即特征向量 ), 将 ( ) 表达为由有穷或无穷个具有相似数值特性的 模式组成的集合。 3 ．特征一般有两种表达方法 : (1)将特征表达为 ( )； (2)将特征表达为基元。 4 ．特征提取是指采用变换或映射实现由模式测量空间向 ( )的转变。 5 ．同一类模式类样本的分布比较集中，没有或临界样本很少，这样的模式类称为 ( )。 6 ．加权空间的所有 ( )都通过坐标原点。 7．线性多类判别： 若每两个模式类间可用判别平面分开， 在这种情况下， M 类有 ( )个判别函数 ,存在有不确定 区域。 8 ．当取 ( )损失函数时 , 最小风险贝叶斯判决准则等价于最大后验概率判决准则。 9．Neyman-Pearson 决策的基本思想是 ( )某一错误率，同时追求另一错误率最小。 10．聚类 /集群：用事先不知样本的类别，而利用样本的先验知识来构造分类器属于 ( )学习。 11．相似性测度、 ( )和聚类算法称为聚类分析的三要素。 12． K/C 均值算法使用的聚类准则函数是 ( )准则，通过反复迭代优化聚类结果，使所有样本到各自所属类别的中 心的距离平方和达到最小。 13．根据神经元的不同连接方式，可将神经网络分为分层网络和相互连接型网络两大类。其中分层网络可细分为前向网 络、具有反馈的前向网络和 ( )三种互连方式。 14．神经网络的特性及能力主要取决于 ( )及学习方法。 15． BP 神经网络是采用误差反向传播算法的多层前向网络，其中，神经元的传输函数为 是一种 ( )映射关系。 二、简答题（ 2 题，每小题 10 分，共 20 分） S 型函数，网络的输入和输出 1．简述有监督分类方法和无监督分类方法的主要区别。 1 1/ 2 2．已知一组数据的协方差矩阵为 ，试问： 1/2 1 (1) 协方差矩阵中各元素的含义是什么？ (2) K-L 变换的最佳准则是什么？ (3) 为什么说经 K-L 变换后消除了各分量之间的相关性？ 三、计算题(2 题，每小题 13 分，共 26 分 ) 1．设有两类样本，两类样本的类内离散度矩阵分别为 S 1 1/ 2 ， S 1 1/ 2 ，各类样本均值分别为 1 1/ 2 1 2 1/ 2 1 T T μ1 2 0 和 μ2 2 2 ，试用 Fisher 准则求其决策面方程。 2．设有两类正态分布的样本集，第一类均值 μ1 T 1 1/ 2 T 20，方差 1 1/ 2 ，第二类均值 μ2 22，方差 1 1 1/ 2 p( 2 ) 。试按最小错误率 Bayes 决策求两类的分界面。 2 1/ 2 ，先验概率 p( 1 ) 1
1 ．设有下列语句，请用相应的谓词公式把它们表示出来： （1）有的人喜欢梅花，有的人喜欢菊花，有的人既喜欢梅花又喜欢菊花。答：定义谓词： MAN（X）：X是人， LIKE（X，Y）：X喜欢Y ((?X)(MAN(X)∧LIKE(X, 梅花)) ∧ ((?Y)(MAN(Y)∧LIKE(Y,菊花))∧ ((?Z)(MAN(Z)∧(LIKE(Z,梅花) ∧LIKE(Z,菊花)) （2）他每天下午都去打篮球。 答：定义谓词：TIME(X):X是下午 PLAY(X,Y):X去打Y （?X）TIME(X) PLAY(他,篮球) （3）并不是每一个人都喜欢吃臭豆腐。 定义谓词：MAN（X）：X是人 LIKE（X，Y）：X喜欢吃Y ┐（（?X）MAN（X） LIKE（X，CHOUDOUFU）） 2 ．请对下列命题分别写出它的语义网络： （1）钱老师从 6 月至 8 月给会计班讲《市场经济学》课程。 （2）张三是大发电脑公司的经理，他 35 岁，住在飞天胡同 68 号。
（3）甲队与乙队进行蓝球比赛，最后以 89 ： 102 的比分结束。 3. 框架表示法 一般来讲，教师的工作态度是认真的，但行为举止有些随便，自动化系教师一般来讲性格内向，喜欢操作计算机。方园是自动化系教师，他性格内向，但工作不刻苦。试用框架写出上述知识，并求出方圆的兴趣和举止？ 答： 框架名：<教师> 继承：<职业> 态度：认真 举止：随便 框架名：<自动化系教师> 继承：<教师> 性格：内向 兴趣：操作计算机框架名：<方园> 继承：<自动化系教师> 性格：内向 态度：不刻苦 兴趣：操作计算机 举止：随便 4. 剧本表示法 作为一个电影观众，请你编写一个去电影院看电影的剧本。
1、PCA和LDA的区别？ PCA是一种无监督的映射方法，LDA是一种有监督的映射方法。PCA只是将整组数据映射到最方便表示这组数据的坐标轴上，映射时没有利用任何数据部的分类信息。因此，虽然做了PCA后，整组数据在表示上更加方便（降低了维数并将信息损失降到了最低），但在分类上也许会变得更加困难；LDA在增加了分类信息之后，将输入映射到了另外一个坐标轴上，有了这样一个映射，数据之间就变得更易区分了（在低纬上就可以区分，减少了很大的运算量），它的目标是使得类别的点距离越近越好，类别间的点越远越好。 2、最大似然估计和贝叶斯方法的区别？p(x|X)是概率密度函数，X是给定的训练样本的集合，在哪种情况下，贝叶斯估计接近最大似然估计？ 最大似然估计把待估的参数看做是确定性的量，只是其取值未知。利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值(模型已知，参数未知）。贝叶斯估计则是把待估计的参数看成是符合某种先验概率分布的随机变量。对样本进行观测的过程，把先验概率密度转化为后验概率密度，利用样本的信息修正了对参数的初始估计值。 当训练样本数量趋于无穷的时候，贝叶斯方法将接近最大似然估计。如果有非常多的训练样本，使得p(x|X)形成一个非常显著的尖峰，而先验概率p(x)又是均匀分布，此时两者的本质是相同的。 3、为什么模拟退火能够逃脱局部极小值？ 在解空间随机搜索，遇到较优解就接受，遇到较差解就按一定的概率决定是否接受，这个概率随时间的变化而降低。实际上模拟退火算法也是贪心算法，只不过它在这个基础上增加了随机因素。这个随机因素就是：以一定的概率来接受一个比单前解要差的解。通过这个随机因素使得算法有可能跳出这个局部最优解。 4、最小错误率和最小贝叶斯风险之间的关系？ 基于最小风险的贝叶斯决策就是基于最小错误率的贝叶斯决策，换言之，可以把基于最小错误率决策看做是基于最小风险决策的一个特例，基于最小风险决策本质上就是对基于最小错误率公式的加权处理。 5、SOM的主要功能是什么？怎么实现的？是winner-all-take-all 策略吗？ SOM是一种可以用于聚类的神经网络模型。 自组织映射（SOM）或自组织特征映射（SOFM）是一种使用非监督式学习来产生训练样本的输入空间的一个低维（通常是二维）离散化的表示的人工神经网络（ANN）。自组织映射与其他人工神经网络的不同之处在于它使用一个邻近函数来保持输入控件的拓扑性质。SOM网络中, 某个输出结点能对某一类模式作出特别的反应以代表该模式类, 输出层上相邻的结点能对实际模式分布中相近的模式类作出特别的反映,当某类数据模式输入时, 对某一输出结点产生最大刺激( 获胜结点) , 同时对获胜结点周围的一些结点产生较大刺激。在训练的过程中, 不断对获胜结点的连接权值作调整, 同时对获胜结点的邻域结点的连接权值作调整; 随着训练的进行, 这个邻域围不断缩小, 直到最后, 只对获胜结点进行细微的连接权值调整。 不是winner-all-take-all 策略。获胜结点产生刺激，其周围的结点也会产生一定程度的兴奋。 6、期望算法需要哪两步？请列出可能的公式并做必要的解释。 E-Step和M-Step。E-Step叫做期望化步骤，M-Step为最大化步骤。 整体算法的步骤如下所示： 1、初始化分布参数。 2、(E-Step)计算期望E，利用对隐藏变量的现有估计值，计算其最大似然估计值，以此实现期望化的过程。 3、(M-Step)最大化在E-步骤上的最大似然估计值来计算参数的值
大学模式识别考试题及答 案详解 Last revision on 21 December 2020
一、填空与选择填空（本题答案写在此试卷上，30分） 1、模式识别系统的基本构成单元包括：模式采集、特征提取与选择 和模式分类。 2、统计模式识别中描述模式的方法一般使用特真矢量；句法模式识别中模式描述方法一般有串、树、网。 3、聚类分析算法属于（1）；判别域代数界面方程法属于（3）。 （1）无监督分类 (2)有监督分类（3）统计模式识别方法（4）句法模式识别方法 4、若描述模式的特征量为0-1二值特征量，则一般采用（4）进行相似性度量。 （1）距离测度（2）模糊测度（3）相似测度（4）匹配测度 5、下列函数可以作为聚类分析中的准则函数的有（1）（3）（4）。 （1）（2） (3) (4) 6、Fisher线性判别函数的求解过程是将N维特征矢量投影在（2）中进行。 （1）二维空间（2）一维空间（3）N-1维空间 7、下列判别域界面方程法中只适用于线性可分情况的算法有（1）；线性可分、不可分都适用的有（3）。 （1）感知器算法（2）H-K算法（3）积累位势函数法 8、下列四元组中满足文法定义的有（1）（2）（4）。 （1）({A, B}, {0, 1}, {A01, A 0A1 , A 1A0 , B BA , B 0}, A) （2）({A}, {0, 1}, {A0, A 0A}, A) （3）({S}, {a, b}, {S 00S, S 11S, S 00, S 11}, S) （4）({A}, {0, 1}, {A01, A 0A1, A 1A0}, A) 二、(15分)简答及证明题 （1）影响聚类结果的主要因素有那些 （2）证明马氏距离是平移不变的、非奇异线性变换不变的。
《模式识别》试题库 一、基本概念题 1.1 模式识别的三大核心问题是： 、 。 1.2、模式分布为团状时，选用 聚类算法较好。 1.3 欧式距离具有 。 马式距离具有 。 （1）平移不变性 （2）旋转不变性 （3）尺度缩放不变性 （4）不受量纲影响的特性 1.4 描述模式相似的测度有： 。 （1）距离测度 （2）模糊测度 （3）相似测度 （4）匹配测度 1.5 利用两类方法处理多类问题的技术途径有：（1） ；（2） ； （3） 。其中最常用的是第 个技术途径。 1.6 判别函数的正负和数值大小在分类中的意义是： ， 。 1.7 感知器算法 。 （1）只适用于线性可分的情况；（2）线性可分、不可分都适用。 1.8 积累位势函数法的判别界面一般为 。 （1）线性界面；（2）非线性界面。 1.9 基于距离的类别可分性判据有： 。 （1）1[]w B Tr S S - （2） B W S S （3）B W B S S S + 1.10 作为统计判别问题的模式分类，在（ ）情况下，可使用聂曼-皮尔逊判决准则。
1.11 确定性模式非线形分类的势函数法中，位势函数K(x,x k )与积累位势函数K(x)的关系为（ ）。 1.12 用作确定性模式非线形分类的势函数法，通常，两个n 维向量x 和x k 的函数K(x,x k )若同时满足下列三个条件，都可作为势函数。 ①（ ）； ②（ ）； ③ K(x,x k )是光滑函数，且是x 和x k 之间距离的单调下降函数。 1.13 散度J ij 越大，说明ωi 类模式与ωj 类模式的分布（ ）。当ωi 类模式与ωj 类模式的分布相同时，J ij =（ ）。 1.14 若用Parzen 窗法估计模式的类概率密度函数，窗口尺寸h1过小可能产生的问题是（ ），h1过大可能产生的问题是（ ）。 1.15 信息熵可以作为一种可分性判据的原因 是： 。 1.16作为统计判别问题的模式分类，在（ ）条件下，最小损失判决规则与最小错误判决规则是等价的。 1.17 随机变量l(x )=p(x |ω1)/p(x |ω2)，l(x )又称似然比，则 E {l(x )|ω2}=（ ）。在最小误判概率准则下，对数似然比Bayes 判决规则为（ ）。 1.18 影响类概率密度估计质量的最重要因素是 （ ）。
一单项选择题（每小题2分，共10分） 1 ?首次提出“人工智能”是在（D ）年 A.1946 B.1960 C.1916 D.1956 2.人工智能应用研究的两个最重要最广泛领域为： B A.专家系统、自动规划 B.专家系统、机器学习 C.机器学习、智能控制 D.机器学习、自然语言理解 3.下列不是知识表示法的是 A。 A:计算机表示法B: “与/或”图表示法 C:状态空间表示法D :产生式规则表示法 4.下列关于不确定性知识描述错误的是C。 A:不确定性知识是不可以精确表示的 B:专家知识通常属于不确定性知识 C:不确定性知识是经过处理过的知识 D :不确定性知识的事实与结论的关系不是简单的“是”或“不
5.下图是一个迷宫，SO是入口，S g是出口，把入口作为初始节点，出口作为目标节点，通道作为分支，画出从入口SO出发，寻找出口
Sg的状态树。根据深度优先搜索方法搜索的路径是 C A: s0-s4-s5-s6-s9-sg :B s0-s4-s1-s2-s3-s6-s9-sg C: s0-s4-s1-s2-s3-s5-s6-s8-s9-sg D0-s4-s7-s5-s6-s9-sg 二填空题（每空2分，共20分） 1?目前人工智能的主要学派有三家：符号主义、进化主义和连接主义。2?问题的状态空间包含三种说明的集合，初始状态集合S、操作符 集合F以及目标状态集合G。 3、启发式搜索中，利用一些线索来帮助足迹选择搜索方向，这些线索称为启发式（Heuristic）信息。 4、计算智能是人工智能研究的新内容，涉及神经计算、模糊计算和进化计算等。 5、不确定性推理主要有两种不确定性，即关于结论的不确定性和关于证据的不确 定性。 三名称解释（每词4分，共20分） 人工智能专家系统遗传算法机器学习数据挖掘 答：（1）人工智能 人工智能（Artificial Intelligenee），英文缩写为Al。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应