模式识别习题答案
1 ．设有下列语句，请用相应的谓词公式把它们表示出来：
（1）有的人喜欢梅花，有的人喜欢菊花，有的人既喜欢梅花又喜欢菊花。答：定义谓词： MAN（X）：X是人， LIKE（X，Y）：X喜欢Y ((?X)(MAN(X)∧LIKE(X, 梅花)) ∧ ((?Y)(MAN(Y)∧LIKE(Y,菊花))∧
((?Z)(MAN(Z)∧(LIKE(Z,梅花)∧LIKE(Z,菊花))
（2）他每天下午都去打篮球。
答：定义谓词：TIME(X):X是下午
PLAY(X,Y):X去打Y
（?X）TIME(X) PLAY(他,篮球)
（3）并不是每一个人都喜欢吃臭豆腐。
定义谓词：MAN（X）：X是人
LIKE（X，Y）：X喜欢吃Y
┐（（?X）MAN（X） LIKE（X，CHOUDOUFU））
2 ．请对下列命题分别写出它的语义网络：
（1）钱老师从 6 月至 8 月给会计班讲《市场经济学》课程。
（2）张三是大发电脑公司的经理，他 35 岁，住在飞天胡同 68 号。
（3）甲队与乙队进行蓝球比赛，最后以 89 ： 102 的比分结束。
3. 框架表示法
一般来讲，教师的工作态度是认真的，但行为举止有些随便，自动化系教师一般来讲性格内向，喜欢操作计算机。方园是自动化系教师，他性格内向，但工作不刻苦。试用框架写出上述知识，并求出方圆的兴趣和举止？
答：
框架名：<教师>
继承：<职业>
态度：认真
举止：随便
框架名：<自动化系教师>
继承：<教师>
性格：内向
兴趣：操作计算机框架名：<方园>
继承：<自动化系教师>
性格：内向
态度：不刻苦
兴趣：操作计算机
举止：随便
4. 剧本表示法
作为一个电影观众，请你编写一个去电影院看电影的剧本。
答：
(1) 开场条件
(a) 顾客想看电影
(b) 顾客在足够的钱
(2) 角色
顾客，售票员，检票员，放映员
(3) 道具
钱，电影票
（4) 场景
场景1 购票
1. 顾客来到售票处
2. 售票员把票给顾客
3. 顾客把钱给售票员
4. 顾客走向电影院门
场景2 检票
1. 顾客把电影票给检票员
2. 检票员检票
3. 检票员把电影票还给顾客
4. 顾客进入电影院
场景3 等待
1. 顾客找到自己的座位
2. 顾客坐在自己座位一等待电影开始场景4 观看电影
1. 放映员播放电影
2. 顾客观看电影
场景5 离开
(a) 放映员结束电影放映
(b) 顾客离开电影院
(5) 结果
(a) 顾客观看了电影
(b) 顾客花了钱
5. 状态空间表示法
三个传教士和三个野人来到河边，有一条船可供一人或两人乘渡，在渡河过程中，任一岸的野人数若大于传教士人数，野人就会吃掉传教士。他们怎样才能安全过河？
分析：先来看看问题的初始状态和目标状态，假设和分为甲岸和乙岸： 初始状态：甲岸，3野人，3牧师；
乙岸，0野人，0牧师；
船停在甲岸，船上有0个人；
目标状态：甲岸，0野人，0牧师；
乙岸，3野人，3牧师；
船停在乙岸，船上有0个人；
整个问题就抽象成了怎样从初始状态经中间的一系列状态达到目标状态。问题状态的改变是通过划船渡河来引发的，所以合理的渡河操作就成了通常所说的算符，根据题目要求，可以得出以下5个算符（按照渡船方向的不同，也可以理解为10个算符）：
渡1野人、渡1牧师、渡1野人1牧师、渡2野人、渡2牧师
6. 把下列谓词公式分别化为相应的子句集：
（1）()()((,)(,))x y P x y Q x y ??∧
（2）()()((,)((,)(,)))x y P x y Q x y R x y ??∨→
（3）()()()((,)(,)(,))
x y z P x y Q x y R x z ???→∨
2. 张某被盗，公安局派出五个侦察员去调查。研究案情时，侦察员 A 说“赵与钱中至少有一人作案”；侦察员 B 说“钱与孙中至少有一人作案”；侦察员 C 说“孙与李中至少有一人作案”；侦察员 D 说“赵与孙中至少有一人与此案无关”；侦察员 E 说“钱与李中至少有一人与此案无关”。如果这五个侦察员的话都是可信的，试用归结演绎推理求出谁是盗窃犯。
答：钱和孙是盗窃犯，赵和李不是。下面给出求解过程。
设用T(x)表示x是盗窃犯,则根据题意可得如下子句集：
A：T(赵)∨T(钱) （1）
B：T(钱)∨T(孙) （2）
C: T(孙) ∨T(李) （3）
D: ? T(赵)∨? T(孙) （4）
E: ? T(钱)∨? T(李) （5）
下面先求谁是盗窃犯。把?T(x)∨Ansewer(x)并入上述子句集，即多出一个子句：
?T(x)∨Ansewer(x)
(6)
（1）和（4）归结得：T(钱)∨? T(孙) （7）
（2）和（7）归结得：T(钱)。（8）（6）和（8）归结得：Answer(钱)。（9）{钱/x}
（3）和（5）归结得：T(孙)∨? T(钱) （10）
（2）和（10）归结得：T(孙)。
（11）
（6）和（11）归结得：Answer(孙)。（12）{孙/x}
因此，钱和孙是盗窃犯，此外无论如何也归结不出Ansewer(赵)和Ansewer(李)。
下面证明赵不是盗窃犯，即证明?T(赵)。子句集如下：
A：T(赵)∨T(钱) （1）
B：T(钱)∨T(孙) （2）
C: T(孙) ∨T(李) （3）
D: ? T(赵)∨? T(孙) （4）
E: ? T(钱)∨? T(李) （5）
要证明赵不是盗窃犯，即证明?T(赵)。
对?T(赵)进行否定，并入上述子句集中，即多出如下子句：
模 式 识 别 非 学 位 课 考 试 试 题 考试科目： 模式识别 考试时间 考生姓名： 考生学号 任课教师 考试成绩 一、简答题（每题6分，12题共72分）： 1、 监督学习和非监督学习有什么区别？ 参考答案：当训练样本的类别信息已知时进行的分类器训练称为监督学习，或者由教师示范的学习；否则称为非监督学习或者无教师监督的学习。 2、 你如何理解特征空间？表示样本有哪些常见方法？ 参考答案：由利用某些特征描述的所有样本组成的集合称为特征空间或者样本空间，特征空间的维数是描述样本的特征数量。描述样本的常见方法：矢量、矩阵、列表等。 3、 什么是分类器？有哪些常见的分类器？ 参考答案：将特征空中的样本以某种方式区分开来的算法、结构等。例如：贝叶斯分类器、神经网络等。 4、 进行模式识别在选择特征时应该注意哪些问题？ 参考答案：特征要能反映样本的本质；特征不能太少，也不能太多；要注意量纲。 5、 聚类分析中，有哪些常见的表示样本相似性的方法？ 参考答案：距离测度、相似测度和匹配测度。距离测度例如欧氏距离、绝对值距离、明氏距离、马氏距离等。相似测度有角度相似系数、相关系数、指数相似系数等。 6、 你怎么理解聚类准则？ 参考答案：包括类内聚类准则、类间距离准则、类内类间距离准则、模式与类核的距离的准则函数等。准则函数就是衡量聚类效果的一种准则，当这种准则满足一定要求时，就可以说聚类达到了预期目的。不同的准则函数会有不同的聚类结果。 7、 一种类的定义是：集合S 中的元素x i 和x j 间的距离d ij 满足下面公式： ∑∑∈∈≤-S x S x ij i j h d k k )1(1 ，d ij ≤ r ，其中k 是S 中元素的个数，称S 对于阈值h ，r 组成一类。请说明， 该定义适合于解决哪一种样本分布的聚类？ 参考答案：即类内所有个体之间的平均距离小于h ，单个距离最大不超过r ，显然该定义适合团簇集中分布的样本类别。 8、 贝叶斯决策理论中，参数估计和非参数估计有什么区别？ 参考答案：参数估计就是已知样本分布的概型，通过训练样本确定概型中的一些参数；非参数估计就是未知样本分布概型，利用Parzen 窗等方法确定样本的概率密度分布规律。 9、 基于风险的统计贝叶斯决策理论中，计算代价[λij ]矩阵的理论依据是什么？假设这个矩阵是 M ?N ，M 和N 取决于哪些因素？
题型： 1.填空题5题 填空题 2.名词解释4题 3.问答题4题 4.计算作图题3题 5.综合计算题1题 备注1：没有整理第一章和第六章，老师说不考的 备注2：非线性判别函数相关概念P69 概率相关定义、性质、公式P83以后 最小错误率贝叶斯决策公式P85 最小风险贝叶斯P86 正态贝叶斯P90 综合计算有可能是第六次作业 一、填空题 物以类聚人以群分体现的是聚类分析的基本思想。 模式识别分类：1.从实现方法来分模式识别分为监督分类和非监督分类；2.从理论上来分，有统计模式识别，统计模式识别，模糊模式识别，神经网络模式识别法 聚类分析是按照不同对象之间的差异，根据距离函数的规律做模式分类的。 模式的特性：可观察性、可区分性、相似性 模式识别的任务：一是研究生物体（包括人）是如何感知对象的，二是如何用计算机实现模式识别的理论和方法。 计算机的发展方向：1.神经网络计算机－－模拟人的大脑思维；2.生物计算机－－运用生物工程技术、蛋白分子作芯片； 3.光计算机－－用光作为信息载体，通过对光的处理来完成对信息的处理。 训练学习方法：监督学习、无监督学习（无先验知识，甚至类别数也未知）。 统计模式识别有：1.聚类分析法（非监督）；2.判决函数法/几何分类法(监督)；3.基于统计决策的概率分类法 - 以模式集在特征空间中分布的类概率密度函数为基础，对总体特征进行研究，以取得分类的方法 数据的标准化目的：消除各个分量之间数值范围大小对算法的影响 模式识别系统的基本构成：书P7 聚类过程遵循的基本步骤：特征选择；近邻测度；聚类准则；聚类算法；结果验证；结果判定。 相似测度基础：以两矢量的方向是否相近作为考虑的基础,矢量长度并不重要。 确定聚类准则的两种方式：阈值准则，函数准则 基于距离阈值的聚类算法——分解聚类：近邻聚类法；最大最小距离聚类法 类间距离计算准则:1）最短距离法2）最长距离法3）中间距离法4）重心法5）类平均距离法6）离差平方和法P24 系统聚类法——合并的思想 用于随机模式分类识别的方法，通常称为贝叶斯判决。 BAYES 决策常用的准则：最小错误率；最小风险 错误率的计算或估计方法：①按理论公式计算；②计算错误率上界；③实验估计。
7.朴素贝叶斯方法的条件独立假设是( P(x| 3 i) =P(x1, x2,…,xn | co i) 第一章绪论 1 ?什么是模式？具体事物所具有的信息。 模式所指的不是事物本身，而是我们从事物中获得的 2?模式识别的定义？ 让计算机来判断事物。 3?模式识别系统主要由哪些部分组成？ 数据获取一预处理一特征提取与选择一分类器设计 / 分类决策。 第二章贝叶斯决策理论 P ( W 2 ) / P ( W 1 ) _,贝V X 1. 最小错误率贝叶斯决策过程？ 答：已知先验概率，类条件概率。利用贝叶斯公式 得到后 验概率。根据后验概率大小进行决策分析。 2. 最小错误率贝叶斯分类器设计过程？ 答：根据训练数据求出先验概率 P ( W i ), > 类条件概率分布P ( X | W i ), i 1 , 2 利用贝叶斯公式得到后验概率 P (W i 1 x) 1 如果输入待测样本 X ，计算X 的后验概率根据后验概率大小进行分类决策分析。 3. 最小错误率贝叶斯决策规则有哪几种常用的表示形式? 决策规则的4- I-J 形工战< d x +) — max 爪'(vr I A *), MJ A * 匚 w. 如SI 卫(A *叫)厂)= 如果lg=上心lw) py %) 心li M/ JC ) = —1IL | /( A *)J = — hi JC | 讥.j + 111 | i r 2 ) > 尸(“空) I MJ 4 .贝叶斯决策为什么称为最小错误率贝叶斯决策？ 答：最小错误率Bayes 决策使得每个观测值下的条件错误率最小因而保证了 (平均)错误率 最小。Bayes 决策是最优决策：即，能使决策错误率最小。 5. 贝叶斯决策是 由先验概率和(类条件概率)概率，推导(后验概率)概率，然后利用这 个概率进行决策。 6. 利用乘法法则和全概率公式证明贝叶斯公式 p(AB) p(A|B)p(B) p(B|A)p(A) P (A 」B ) 答： m 所以推出贝叶斯公式 p(B) p(B|Aj)p(Aj) j 1 P(W i |x) P (x | W i ) P(W i ) 2 P(x | W j ) P (w j ) j 1 1 , 2 .信息__。 如果 I (x) P (X | W i ) P (W i ) P(X | W j )P(W j ) max />(A' | t ),则 时 P(B |A i )P(AJ P ( B ) P ( B | A i ) P ( A i ) 7M P ( B | A j ) P ( A j ) 2
2013模式识别练习题 一. 填空题 1、模式识别系统的基本构成单元包括：模式采集、特征的选择和提取和模式分类。 2、统计模式识别中描述模式的方法一般使用特征矢量；句法模式识别中模式描述方法一般有串、树、 网。 3、影响层次聚类算法结果的主要因素有计算模式距离的测度、聚类准则、类间距离阈值、预定的类别数目。 4、线性判别函数的正负和数值大小的几何意义是正负表示样本点位于判别界面法向量指向的正负半空间中， 绝对值正比于样本点与判别界面的距离。 5、感知器算法1 ，H-K算法 2 。 （1）只适用于线性可分的情况；（2）线性可分、不可分都适用。 6、在统计模式分类问题中，聂曼- 况；最小最大判别准则主要用于先验概率未知的情况。 7、“特征个数越多越有利于分类”这种说法正确吗？错误。 特征选择的主要目的是。一般在可 和（C n m>>n ）的条件下，可以使用分支定界法以减少计算量。 8、散度J ij越大，说明ωi类模式与ωj类模式的分布差别越大； 当ωi类模式与ωj类模式的分布相同时，J ij= 0。 二、选择题 1、影响聚类算法结果的主要因素有（B、C、D ）。 A.已知类别的样本质量； B.分类准则； C.特征选取； D.模式相似性测度 2、模式识别中，马式距离较之于欧式距离的优点是（C、D）。 A.平移不变性； B.旋转不变性；C尺度不变性；D.考虑了模式的分布 3、影响基本K-均值算法的主要因素有(ABD）。 A.样本输入顺序； B.模式相似性测度； C.聚类准则； D.初始类中心的选取 4、位势函数法的积累势函数K(x)的作用相当于Bayes判决中的（B D）。
中国科学技术大学模式识别试题 （2012年春季学期） 姓名：学号：成绩： 一、填空与选择填空（本题答案写在此试卷上，30分） 1、模式识别系统的基本构成单元包括：、 和。 2、统计模式识别中描述模式的方法一般使用；句法模式识别中模式描述方法一般 有、、。 3、聚类分析算法属于；判别域代数界面方程法属于。 （1）无监督分类 (2)有监督分类（3）统计模式识别方法（4）句法模式识别方法 4、若描述模式的特征量为0-1二值特征量，则一般采用进行相似性度量。 （1）距离测度（2）模糊测度（3）相似测度（4）匹配测度 5、下列函数可以作为聚类分析中的准则函数的有。 （1） (4) 6、Fisher线性判别函数的求解过程是将N维特征矢量投影在中进行。 （1）二维空间（2）一维空间（3）N-1维空间 7、下列判别域界面方程法中只适用于线性可分情况的算法有；线性可分、不可分都适用的 有。 （1）感知器算法（2）H-K算法（3）积累位势函数法 8、下列四元组中满足文法定义的有。 （1）({A, B}, {0, 1}, {A→01, A→ 0A1 , A→ 1A0 , B→BA , B→ 0}, A) （2）({A}, {0, 1}, {A→0, A→ 0A}, A) （3）({S}, {a, b}, {S → 00S, S → 11S, S → 00, S → 11}, S) （4）({A}, {0, 1}, {A→01, A→ 0A1, A→ 1A0}, A) 二、(15分)简答及证明题 （1）影响聚类结果的主要因素有那些？ （2）证明马氏距离是平移不变的、非奇异线性变换不变的。 （3）画出对样本集 ω1：{(0,0,0)T, (1,0,0)T, (1,0,1)T, (1,1,0)T,} PDF 文件使用 "pdfFactory Pro" 试用版本创建https://www.doczj.com/doc/bc15519045.html,
1.简述模式的概念及其直观特性，模式识别的分类，有哪几种方法。（6’） 答（1）：什么是模式？广义地说，存在于时间和空间中可观察的物体，如果我们可以区别它们是否相同或是否相似，都可以称之为模式。 模式所指的不是事物本身，而是从事物获得的信息，因此，模式往往表现为具有时间和空间分布的信息。 模式的直观特性：可观察性；可区分性；相似性。 答（2）：模式识别的分类： 假说的两种获得方法（模式识别进行学习的两种方法）： ●监督学习、概念驱动或归纳假说； ●非监督学习、数据驱动或演绎假说。 模式分类的主要方法： ●数据聚类：用某种相似性度量的方法将原始数据组织成有意义的和有用的各种数据 集。是一种非监督学习的方法，解决方案是数据驱动的。 ●统计分类：基于概率统计模型得到各类别的特征向量的分布，以取得分类的方法。 特征向量分布的获得是基于一个类别已知的训练样本集。是一种监督分类的方法， 分类器是概念驱动的。 ●结构模式识别：该方法通过考虑识别对象的各部分之间的联系来达到识别分类的目 的。（句法模式识别） ●神经网络：由一系列互相联系的、相同的单元（神经元）组成。相互间的联系可以 在不同的神经元之间传递增强或抑制信号。增强或抑制是通过调整神经元相互间联 系的权重系数来（weight）实现。神经网络可以实现监督和非监督学习条件下的分 类。 2.什么是神经网络？有什么主要特点？选择神经网络模式应该考虑什么因素？ （8’） 答（1）：所谓人工神经网络就是基于模仿生物大脑的结构和功能而构成的一种信息处 理系统（计算机）。由于我们建立的信息处理系统实际上是模仿生理神经网络，因此称它为人工神经网络。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。 人工神经网络的两种操作过程：训练学习、正常操作（回忆操作）。 答（2）：人工神经网络的特点： ●固有的并行结构和并行处理； ●知识的分布存储； ●有较强的容错性； ●有一定的自适应性； 人工神经网络的局限性： ●人工神经网络不适于高精度的计算； ●人工神经网络不适于做类似顺序计数的工作； ●人工神经网络的学习和训练往往是一个艰难的过程； ●人工神经网络必须克服时间域顺序处理方面的困难； ●硬件限制； ●正确的训练数据的收集。 答（3）：选取人工神经网络模型，要基于应用的要求和人工神经网络模型的能力间的 匹配，主要考虑因素包括：
模式识别导论习题集 1、设一幅256×256大小的图像，如表示成向量，其维数是多少？如按行串接成一维，则第3行第4个象素在向量表示中的序号。 解：其维数为2；序号为256×2＋4＝516 2、如标准数字1在5×7的方格中表示成如图所示的黑白图像，黑为1，白为0，现若有一数字1在5×7网格中向左错了一列。试用分别计算要与标准模板之间的欧氏距离、绝对值偏差、偏差的夹角表示，异己用“异或”计算两者差异。 解：把该图像的特征向量为5×7＝35维，其中标准模版的特征向量为： x =[0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0]T 待测样本的特征向量为： y =[0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0]T ，绝对值偏差为351 |()|14i i i x y =-=∑， 夹角余弦为cos 0|||||||| T x y x y θ= =?，因此夹角为 90度。 3、哈明距离常用来计算二进制之间的相似度，如011与010的哈明距离为1，010与100距离为3。现用来计算7位LED 编码表示的个数字之间的相似度，试计算3与其它数字中的哪个数字的哈明距离最小。 解：是“9”，距离为1
4、对一个染色体分别用一下两种方法描述： (1)计算其面积、周长、面积/周长、面积与其外接矩形面积之比可以得到一些特征描述，如何利用这四个值？属于特征向量法，还是结构表示法？ (2)按其轮廓线的形状分成几种类型，表示成a 、b 、c 等如图表示，如何利用这些量？属哪种描述方法？ (3)设想其他结构描述方法。 解： （1）这是一种特征描述方法，其中面积周长可以体现染色体大小，面积周长比值越小，说明染色体越粗，面积占外接矩形的比例也体现了染色体的粗细。把这四个值组成一个维数为4的特征向量，该特征向量可以描述染色体的一些重要特征，可以按照特征向量匹配方法计算样本间的相似度。可以区分染色体和其它圆形、椭圆细胞结构。 （2）a 形曲线表示水平方向的凹陷，b 形表示竖直方向的凹陷，c 形指两个凹陷之间的突起，把这些值从左上角开始，按顺时针方向绕一圈，可以得到一个序列描述染色体的边界。它可以很好的体现染色体的形状，用于区分X 和Y 染色体很合适。这是结构表示法。 （3）可以先提取待识别形状的骨架，在图中用蓝色表示，然后，用树形表示骨架图像。 5. 设在一维特征空间中两类样本服从正态分布，1σ=2σ=1，μ1=0，μ2=3，两类先验概率之比e P P =)(/)(21ωω，试求按基于最小错误率贝叶斯决策原则的决策分界面的x 值。 解：按照公式（2－84），分界面上的点应满足：
2013–2014 学年度 模式识别 课程期末考试试题 一、计算题 （共20分） 在目标识别中，假定类型1ω为敌方目标，类型2ω为诱饵（假目标），已知先验概率P (1ω)=0.2和P (2ω)=0.8，类概率密度函数如下： ??? ??≤≤-<≤=其它021210)(1x x x x x p ω ?? ? ??≤≤-<≤=其它0323211-)(2x x x x x p ω 1、求贝叶斯最小误判概率准则下的判决域，并判断样本x =1.5属于哪一类； 2、求总错误概率p (e )； 3、假设正确判断的损失λ11=λ22=0，误判损失分别为λ12和λ21，若采用最小损失判决准则，λ12和λ21满足怎样的关系时，会使上述对x =1.5的判断相反？ 解：（1）应用贝叶斯最小误判概率准则如果 )()()(2112ωω=x p x p x l <>)() (12ωωP P 则判 ???ωω∈21 x （2分） 得 l 12(1.5)=1 < )() (12ωωP P =4，故 x=1.5属于ω2 。（2分） （2）P(e)= 212121)()()(εω+εω=P P e P ??ΩΩωω+ωω=1 2 )()()()(2211x d x p P x d x p P = dx x x x ??-+- 1.2 1 2 1.2 10.8d )2(0.2）（=0.08 （算式正确2分，计算错误扣1～2分） (3) 两类问题的最小损失准则的似然比形式的判决规则为：
如果 ) )(())(()()(111212221221λ-λωλ-λω< >ωωP P x p x p 则判 ???ωω∈21 x 带入x=1.5得到 λ12≥4λ21 二、证明题（共20分） 设p(x)~N (μ,σ)，窗函数?(x)~N (0,1)，试证明Parzen 窗估计1 1 ?()( )N i N i N N x x p x Nh h ?=-= ∑ 有如下性质：22 ?[()](,)N N E p x N h μσ+ 。 证明：（1）（为书写方便，以下省略了h N 的下标N ） 22 22 22 2222222222 222211()()()()]22111exp[()()]2221111exp{[()2()]}221 1111exp[()]exp{()[2222y x y x y p y dy dy h h y x y dy h x x y y dy h h h x y h h μ?σμπσσ μμπσσσσ μπσσσ∞ ∞ -∞ -∞∞ -∞∞ -∞ ∞ -∞---=----=--= -+-+++=-+-+-? ??? ?2222()]}x h y dy h σμσ++ 222222 2222222222221 1()exp[(exp()22()2 11()exp[22()1()]2()x x h y dy h h h x h x h μσμπσσσσμπσσμσ∞ +=-+--+-=-+-=-+? （1-1） 121211?[()][()](,,...,)N i N N N i x x E p x p x x x dx dx dx Nh h ?∞ =-∞ -=∑??? 因为样本独立 121211?[()][()]()()...()N i N N N i x x E p x p x p x p x dx dx dx Nh h ?∞ =-∞ -=∑???
模式识别与机器学习期末考查 试卷 研究生姓名：入学年份：导师姓名：试题1：简述模式识别与机器学习研究的共同问题和各自的研究侧重点。 答：（1）模式识别是研究用计算机来实现人类的模式识别能力的一门学科，是指对表征事物或现象的各种形式的信息进行处理和分析，以对事物或现象进行描述、辨认、分类和解释的过程。主要集中在两方面，一是研究生物体（包括人）是如何感知客观事物的，二是在给定的任务下，如何用计算机实现识别的理论和方法。机器学习则是一门研究怎样用计算机来模拟或实现人类学习活动的学科，是研究如何使机器通过识别和利用现有知识来获取新知识和新技能。主要体现以下三方面：一是人类学习过程的认知模型；二是通用学习算法；三是构造面向任务的专用学习系统的方法。两者关心的很多共同问题，如：分类、聚类、特征选择、信息融合等，这两个领域的界限越来越模糊。机器学习和模式识别的理论和方法可用来解决很多机器感知和信息处理的问题，其中包括图像/ 视频分析（文本、语音、印刷、手写）文档分析、信息检索和网络搜索等。 （2）机器学习和模式识别是分别从计算机科学和工程的角度发展起来的，各自的研究侧重点也不同。模式识别的目标就是分类，为了提高分类器的性能，可能会用到机器学习算法。而机器学习的目标是通过学习提高系统性能，分类只是其最简单的要求，其研究更
侧重于理论，包括泛化效果、收敛性等。模式识别技术相对比较成熟了，而机器学习中一些方法还没有理论基础，只是实验效果比较好。许多算法他们都在研究，但是研究的目标却不同。如在模式识别中研究所关心的就是其对人类效果的提高，偏工程。而在机器学习中则更侧重于其性能上的理论证明。试题2：列出在模式识别与机器学习中的常用算法及其优缺点。答：（1）K 近邻法算法作为一种非参数的分类算法，它已经广泛应用于分类、 回归和模式识别等。在应用算法解决问题的时候，要注意的两个方面是样本权重和特征权重。 优缺点：非常有效，实现简单，分类效果好。样本小时误差难控制，存储所有样本，需要较大存储空间，对于大样本的计算量大。（2）贝叶斯决策法 贝叶斯决策法是以期望值为标准的分析法，是决策者在处理 风险型问题时常常使用的方法。 优缺点：由于在生活当中许多自然现象和生产问题都是难以完全准确预测的，因此决策者在采取相应的决策时总会带有一定的风险。贝叶斯决策法就是将各因素发生某种变动引起结果变动的概率凭统计资料或凭经验主观地假设，然后进一步对期望值进行分析，由于此概率并不能证实其客观性，故往往是主观的和人为的概率，本身带有一定的风险性和不肯定性。虽然用期望的大小进行判断有一些风险，但仍可以认为贝叶斯决策是一种兼科学性和实效性于一身的比较完善的用于解决风险型决策问题的方法，在实际中能够广泛应
模式识别 复习题 1. 简单描述模式识别系统的基本构成（典型过程）？ 2. 什么是监督模式识别（学习）？什么是非监督模式识别（学习）？ 对一副道路图像，希望把道路部分划分出来，可以采用以下两种方法： (1). 在该图像中分别在道路部分与非道路部分画出一个窗口，把在这两个窗口中的象素数据作为训练集，用某种判别准则求得分类器参数，再用该分类器对整幅图进行分类。 (2)．将整幅图的每个象素的属性记录在一张数据表中，然后用某种方法将这些数据按它们的自然分布状况划分成两类。因此每个象素就分别得到相应的类别号，从而实现了道路图像的分割。 试问以上两种方法哪一种是监督学习，哪个是非监督学习？ 3. 给出一个模式识别的例子。 4. 应用贝叶斯决策的条件是什么？列出几种常用的贝叶斯决策规 则，并简单说明其规则. 5. 分别写出在以下两种情况：（1）12(|)(|)P x P x ωω=；（2）12()() P P ωω=下的最小错误率贝叶斯决策规则。 6. （教材P17 例2.1） 7. （教材P20 例2.2），并说明一下最小风险贝叶斯决策和最小错误 率贝叶斯决策的关系。 8. 设在一维特征空间中有两类服从正态分布的样本， 12122,1,3,σσμμ====两类先验概率之比12(),() P e P ωω= 试确定按照最小错误率贝叶斯决策规则的决策分界面的x 值。
9. 设12{,,...,}N x x x =X 为来自点二项分布的样本集，即 1(,),0,1,01,1x x f x P P Q x P Q P -==≤≤=-，试求参数P 的最大似然估 计量?P 。 10. 假设损失函数为二次函数2??(,)()P P P P λ=-，P 的先验密度为均匀分布，即()1,01f P P =≤≤。在这样的假设条件下，求上题中的贝叶 斯估计量?P 。 11. 设12{,,...,}N x x x =X 为来自(|)p x θ的随机样本，其中0x θ≤≤时， 1 (|)p x θθ=，否则为0。证明θ的最大似然估计是max k k x 。 12. 考虑一维正态分布的参数估计。设样本（一维）12,,...,N x x x 都是由 独立的抽样试验采集的，且概率密度函数服从正态分布，其均值μ和方差2σ未知。求均值和方差的最大似然估计。 13. 设一维样本12{,,...,}N x x x =X 是取自正态分布2(,)N μσ的样本集，其中 均值μ为未知的参数，方差2σ已知。未知参数μ是随机变量，它的先验分布也是正态分布200(,)N μσ，200,μσ为已知。求μ的贝叶斯估计 ?μ 。 14. 什么是概率密度函数的参数估计和非参数估计？分别列去两种 参数估计方法和非参数估计方法。 15. 最大似然估计和Parzen 窗法的基本原理？
第一章 绪论 1.什么是模式？具体事物所具有的信息。 模式所指的不是事物本身，而是我们从事物中获得的___信息__。 2.模式识别的定义？让计算机来判断事物。 3.模式识别系统主要由哪些部分组成？数据获取—预处理—特征提取与选择—分类器设计/ 分类决策。 第二章 贝叶斯决策理论 1.最小错误率贝叶斯决策过程？ 答：已知先验概率，类条件概率。利用贝叶斯公式 得到后验概率。根据后验概率大小进行决策分析。 2.最小错误率贝叶斯分类器设计过程？ 答：根据训练数据求出先验概率 类条件概率分布 利用贝叶斯公式得到后验概率 如果输入待测样本X ，计算X 的后验概率根据后验概率大小进行分类决策分析。 3.最小错误率贝叶斯决策规则有哪几种常用的表示形式？ 答 ： ???∈>=<2 1 1221_,)(/)(_)|() |()(w w x w p w p w x p w x p x l 则如果∑==2 1 ) ()|() ()|()|(j j j i i i w P w x P w P w x P x w P 2 ,1),(=i w P i 2 ,1),|(=i w x p i ∑== 21 ) ()|() ()|()|(j j j i i i w P w x P w P w x P x w P
4.贝叶斯决策为什么称为最小错误率贝叶斯决策？ 答：最小错误率Bayes 决策使得每个观测值下的条件错误率最小因而保证了（平均）错误率 最小。Bayes 决策是最优决策：即，能使决策错误率最小。 5.贝叶斯决策是由先验概率和（类条件概率）概率，推导（后验概率）概率，然后利用这个概率进行决策。 6.利用乘法法则和全概率公式证明贝叶斯公式 答： ∑====m j Aj p Aj B p B p A p A B p B p B A p AB p 1 ) ()|()() ()|()()|()(所以推出贝叶斯公式 7.朴素贝叶斯方法的条件独立假设是（P(x| ωi) =P(x1, x2, …, xn | ωi) = P(x1| ωi) P(x2| ωi)… P(xn| ωi)） 8.怎样利用朴素贝叶斯方法获得各个属性的类条件概率分布？ 答：假设各属性独立，P(x| ωi) =P(x1, x2, …, xn | ωi) = P(x1| ωi) P(x2| ωi)… P(xn| ωi) 后验概率：P(ωi|x) = P(ωi) P(x1| ωi) P(x2| ωi)… P(xn| ωi) 类别清晰的直接分类算，如果是数据连续的，假设属性服从正态分布，算出每个类的均值方差，最后得到类条件概率分布。 ∑== = M j j j i i i i i A P A B P A P A B P B P A P A B P B A P 1 ) ()| () ()|() () ()|()|(
《模式识别》试题答案（A卷） 一、填空与选择填空（本题答案写在此试卷上，30分） 1、影响层次聚类算法结果的主要因素有（计算模式距离的测度、（聚类准则、类间距离门限、预定 的类别数目））。 2、欧式距离具有（ 1、2 ）；马式距离具有（1、2、 3、4 ）。（1）平移不变性（2）旋转不 变性（3）尺度缩放不变性（4）不受量纲影响的特性 3、线性判别函数的正负和数值大小的几何意义是（正（负）表示样本点位于判别界面法向量指向的 正（负）半空间中；绝对值正比于样本点到判别界面的距离。）。 4、感知器算法1。（1）只适用于线性可分的情况；（2）线性可分、不可分都适用。 5、积累势函数法较之于H-K算法的优点是（该方法可用于非线性可分情况（也可用于线性可分情 况））；位势函数K(x,x k)与积累位势函数K(x)的关系为（ ∑ ∈ = X x x x K x K ~ k k k ) , ( ) ( α ）。 6、在统计模式分类问题中，聂曼-皮尔逊判决准则主要用于（某一种判决错误较另一种判决错误更 为重要）情况；最小最大判决准则主要用于（先验概率未知的）情况。 7、“特征个数越多越有利于分类”这种说法正确吗？（错误）。特征选择的主要目的是（从n个特 征中选出最有利于分类的的m个特征（m
《模式识别》试题库 一、基本概念题 1模式识别的三大核心问题是：（ ）、（ ）、（ ）。 2、模式分布为团状时，选用（ ）聚类算法较好。 3 欧式距离具有（ ）。马式距离具有（ ）。（1）平移不变性（2）旋转不 变性（3）尺度缩放不变性（4）不受量纲影响的特性 4 描述模式相似的测度有( )。（1）距离测度 （2）模糊测度 （3）相似测度 （4） 匹配测度 5 利用两类方法处理多类问题的技术途径有：（1） （2） （3） 。其中最常用的是第( )个技术途径。 6 判别函数的正负和数值大小在分类中的意义是：( )。 7 感知器算法 ( )。（1）只适用于线性可分的情况；（2）线性可分、不可分都适用。 8 积累位势函数法的判别界面一般为( )。（1）线性界面；（2）非线性界面。 9 基于距离的类别可分性判据有：( ).（1）1[]w B Tr S S - （2） B W S S （3） B W B S S S + 10 作为统计判别问题的模式分类，在（ ）情况下，可使用聂曼-皮尔逊判决准则。 11 确定性模式非线形分类的势函数法中，位势函数K(x,xk)与积累位势函数K(x)的关系为 （ ）。 12 用作确定性模式非线形分类的势函数法，通常，两个n 维向量x 和xk 的函数K(x,xk)若 同时满足下列三个条件，都可作为势函数。①（ ）； ②（ ）；③ K(x,xk)是光滑函数，且是x 和xk 之间距离的单调下降函数。 13 散度Jij 越大，说明i 类模式与j 类模式的分布（ ）。当i 类 模式与j 类模式的分布相同时，Jij=（ ）。 14 若用Parzen 窗法估计模式的类概率密度函数，窗口尺寸h1过小可能产生的问题是 （ ），h1过大可能产生的问题是（ ）。 15 信息熵可以作为一种可分性判据的原因是：( )。 16作为统计判别问题的模式分类，在（ ）条件下，最小损失判决规则与最 小错误判决规则是等价的。 17 随机变量l(x ρ)=p(x ρ1)/p(x ρ2)，l(x ρ)又称似然比，则E l( x ρ)2= （ ）。在最小误判概率准则下，对数似然比Bayes 判决规则为 （ ）。 18 影响类概率密度估计质量的最重要因素（ ）。 19 基于熵的可分性判据定义为)] |(log )|([1x P x P E J i c i i x H ρρωω∑=-=，JH 越（ ），说 明模式的可分性越强。当P(i| x ρ) =（ ）(i=1,2,…,c)时，JH 取极大值。 20 Kn 近邻元法较之于Parzen 窗法的优势在于（ ）。上 述两种算法的共同弱点主要是（ ）。 21 已知有限状态自动机Af=(，Q ，，q0，F)，={0，1}；Q={q0，q1}；：(q0， 0)= q1，(q0，1)= q1，(q1，0)=q0，(q1，1)=q0；q0=q0；F={q0}。 现有输入字符串：(a) 000，(b) 11，(c) ，(d)0010011，试问，用Af 对上述字符串进行分
一、填空与选择填空（本题答案写在此试卷上，30分） 1、模式识别系统的基本构成单元包括：模式采集、特征提取与选择 和模式分类。 2、统计模式识别中描述模式的方法一般使用特真矢量；句法模式识别中模式描述方法一般有串、树、网。 3、聚类分析算法属于（1）；判别域代数界面方程法属于（3）。 （1）无监督分类 (2)有监督分类（3）统计模式识别方法（4）句法模式识别方法 4、若描述模式的特征量为0-1二值特征量，则一般采用（4）进行相似性度量。 （1）距离测度（2）模糊测度（3）相似测度（4）匹配测度 5、下列函数可以作为聚类分析中的准则函数的有（1）（3）（4）。 （1）（2） (3) (4) 6、Fisher线性判别函数的求解过程是将N维特征矢量投影在（2）中进行。 （1）二维空间（2）一维空间（3）N-1维空间 7、下列判别域界面方程法中只适用于线性可分情况的算法有（1）；线性可分、不可分都适用的有（3）。 （1）感知器算法（2）H-K算法（3）积累位势函数法 8、下列四元组中满足文法定义的有（1）（2）（4）。 （1）({A, B}, {0, 1}, {A→01, A→ 0A1 , A→ 1A0 , B→BA , B→ 0}, A) （2）({A}, {0, 1}, {A→0, A→ 0A}, A) （3）({S}, {a, b}, {S → 00S, S → 11S, S → 00, S → 11}, S) （4）({A}, {0, 1}, {A→01, A→ 0A1, A→ 1A0}, A) 9、影响层次聚类算法结果的主要因素有（计算模式距离的测度、（聚类准则、类间距离门限、预定的 类别数目））。 10、欧式距离具有（ 1、2 ）；马式距离具有（1、2、3、4 ）。 （1）平移不变性（2）旋转不变性（3）尺度缩放不变性（4）不受量纲影响的特性 11、线性判别函数的正负和数值大小的几何意义是（正（负）表示样本点位于判别界面法向量指向的 正（负）半空间中；绝对值正比于样本点到判别界面的距离。）。 12、感知器算法1。 （1）只适用于线性可分的情况；（2）线性可分、不可分都适用。
第一章 绪论 1.什么是模式具体事物所具有的信息。 模式所指的不是事物本身，而是我们从事物中获得的___信息__。 2.模式识别的定义让计算机来判断事物。 3.模式识别系统主要由哪些部分组成数据获取—预处理—特征提取与选择—分类器设计/ 分类决策。 第二章 贝叶斯决策理论 ~ 1.最小错误率贝叶斯决策过程 答：已知先验概率，类条件概率。利用贝叶斯公式 得到后验概率。根据后验概率大小进行决策分析。 2.最小错误率贝叶斯分类器设计过程 答：根据训练数据求出先验概率 类条件概率分布 利用贝叶斯公式得到后验概率 、 如果输入待测样本X ，计算X 的后验概率根据后验概率大小进行分类决策分析。 3.最小错误率贝叶斯决策规则有哪几种常用的表示形式 答： 4.贝叶斯决策为什么称为最小错误率贝叶斯决策 答：最小错误率Bayes 决策使得每个观测值下的条件错误率最小因而保证了（平均）错误率 最小。Bayes 决策是最优决策：即，能使决策错误率最小。 5.贝叶斯决策是由先验概率和（类条件概率）概率，推导（后验概率）概率，然后利用这个概率进行决策。 6.利用乘法法则和全概率公式证明贝叶斯公式 答： ∑====m j Aj p Aj B p B p A p A B p B p B A p AB p 1 ) ()|()() ()|()()|()(所以推出贝叶斯公式 ???∈>=<211 221_,)(/)(_)|()|()(w w x w p w p w x p w x p x l 则如果∑== 2 1 )()|() ()|()|(j j j i i i w P w x P w P w x P x w P 2,1),(=i w P i 2,1),|(=i w x p i ∑==2 1 )()|() ()|()|(j j j i i i w P w x P w P w x P x w P ∑=== M j j j i i i i i A P A B P A P A B P B P A P A B P B A P 1 ) ()| () ()|()() ()|()|(
《模式识别》期末考试试题（ A ） 一、填空题（ 15 个空，每空 2 分，共 30 分） 1 ．基于机器学习的模式识别系统通常由两个过程组成 , 即（ ）和分类判决。 2 ．统计模式识别把观察对象表达为一个随机向量 (即特征向量 ), 将 ( ) 表达为由有穷或无穷个具有相似数值特性的 模式组成的集合。 3 ．特征一般有两种表达方法 : (1)将特征表达为 ( )； (2)将特征表达为基元。 4 ．特征提取是指采用变换或映射实现由模式测量空间向 ( )的转变。 5 ．同一类模式类样本的分布比较集中，没有或临界样本很少，这样的模式类称为 ( )。 6 ．加权空间的所有 ( )都通过坐标原点。 7．线性多类判别： 若每两个模式类间可用判别平面分开， 在这种情况下， M 类有 ( )个判别函数 ,存在有不确定 区域。 8 ．当取 ( )损失函数时 , 最小风险贝叶斯判决准则等价于最大后验概率判决准则。 9．Neyman-Pearson 决策的基本思想是 ( )某一错误率，同时追求另一错误率最小。 10．聚类 /集群：用事先不知样本的类别，而利用样本的先验知识来构造分类器属于 ( )学习。 11．相似性测度、 ( )和聚类算法称为聚类分析的三要素。 12． K/C 均值算法使用的聚类准则函数是 ( )准则，通过反复迭代优化聚类结果，使所有样本到各自所属类别的中 心的距离平方和达到最小。 13．根据神经元的不同连接方式，可将神经网络分为分层网络和相互连接型网络两大类。其中分层网络可细分为前向网 络、具有反馈的前向网络和 ( )三种互连方式。 14．神经网络的特性及能力主要取决于 ( )及学习方法。 15． BP 神经网络是采用误差反向传播算法的多层前向网络，其中，神经元的传输函数为 是一种 ( )映射关系。 二、简答题（ 2 题，每小题 10 分，共 20 分） S 型函数，网络的输入和输出 1．简述有监督分类方法和无监督分类方法的主要区别。 1 1/ 2 2．已知一组数据的协方差矩阵为 ，试问： 1/2 1 (1) 协方差矩阵中各元素的含义是什么？ (2) K-L 变换的最佳准则是什么？ (3) 为什么说经 K-L 变换后消除了各分量之间的相关性？ 三、计算题(2 题，每小题 13 分，共 26 分 ) 1．设有两类样本，两类样本的类内离散度矩阵分别为 S 1 1/ 2 ， S 1 1/ 2 ，各类样本均值分别为 1 1/ 2 1 2 1/ 2 1 T T μ1 2 0 和 μ2 2 2 ，试用 Fisher 准则求其决策面方程。 2．设有两类正态分布的样本集，第一类均值 μ1 T 1 1/ 2 T 20，方差 1 1/ 2 ，第二类均值 μ2 22，方差 1 1 1/ 2 p( 2 ) 。试按最小错误率 Bayes 决策求两类的分界面。 2 1/ 2 ，先验概率 p( 1 ) 1
1、PCA和LDA的区别？ PCA是一种无监督的映射方法，LDA是一种有监督的映射方法。PCA只是将整组数据映射到最方便表示这组数据的坐标轴上，映射时没有利用任何数据部的分类信息。因此，虽然做了PCA后，整组数据在表示上更加方便（降低了维数并将信息损失降到了最低），但在分类上也许会变得更加困难；LDA在增加了分类信息之后，将输入映射到了另外一个坐标轴上，有了这样一个映射，数据之间就变得更易区分了（在低纬上就可以区分，减少了很大的运算量），它的目标是使得类别的点距离越近越好，类别间的点越远越好。 2、最大似然估计和贝叶斯方法的区别？p(x|X)是概率密度函数，X是给定的训练样本的集合，在哪种情况下，贝叶斯估计接近最大似然估计？ 最大似然估计把待估的参数看做是确定性的量，只是其取值未知。利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值(模型已知，参数未知）。贝叶斯估计则是把待估计的参数看成是符合某种先验概率分布的随机变量。对样本进行观测的过程，把先验概率密度转化为后验概率密度，利用样本的信息修正了对参数的初始估计值。 当训练样本数量趋于无穷的时候，贝叶斯方法将接近最大似然估计。如果有非常多的训练样本，使得p(x|X)形成一个非常显著的尖峰，而先验概率p(x)又是均匀分布，此时两者的本质是相同的。 3、为什么模拟退火能够逃脱局部极小值？ 在解空间随机搜索，遇到较优解就接受，遇到较差解就按一定的概率决定是否接受，这个概率随时间的变化而降低。实际上模拟退火算法也是贪心算法，只不过它在这个基础上增加了随机因素。这个随机因素就是：以一定的概率来接受一个比单前解要差的解。通过这个随机因素使得算法有可能跳出这个局部最优解。 4、最小错误率和最小贝叶斯风险之间的关系？ 基于最小风险的贝叶斯决策就是基于最小错误率的贝叶斯决策，换言之，可以把基于最小错误率决策看做是基于最小风险决策的一个特例，基于最小风险决策本质上就是对基于最小错误率公式的加权处理。 5、SOM的主要功能是什么？怎么实现的？是winner-all-take-all 策略吗？ SOM是一种可以用于聚类的神经网络模型。 自组织映射（SOM）或自组织特征映射（SOFM）是一种使用非监督式学习来产生训练样本的输入空间的一个低维（通常是二维）离散化的表示的人工神经网络（ANN）。自组织映射与其他人工神经网络的不同之处在于它使用一个邻近函数来保持输入控件的拓扑性质。SOM网络中, 某个输出结点能对某一类模式作出特别的反应以代表该模式类, 输出层上相邻的结点能对实际模式分布中相近的模式类作出特别的反映,当某类数据模式输入时, 对某一输出结点产生最大刺激( 获胜结点) , 同时对获胜结点周围的一些结点产生较大刺激。在训练的过程中, 不断对获胜结点的连接权值作调整, 同时对获胜结点的邻域结点的连接权值作调整; 随着训练的进行, 这个邻域围不断缩小, 直到最后, 只对获胜结点进行细微的连接权值调整。 不是winner-all-take-all 策略。获胜结点产生刺激，其周围的结点也会产生一定程度的兴奋。 6、期望算法需要哪两步？请列出可能的公式并做必要的解释。 E-Step和M-Step。E-Step叫做期望化步骤，M-Step为最大化步骤。 整体算法的步骤如下所示： 1、初始化分布参数。 2、(E-Step)计算期望E，利用对隐藏变量的现有估计值，计算其最大似然估计值，以此实现期望化的过程。 3、(M-Step)最大化在E-步骤上的最大似然估计值来计算参数的值