1、试说明Mahalanobis 距离平方的定义，到某点的Mahalanobis 距离平方为常数的轨迹的几何意义，它与欧氏距离的区别与联系。
答：Mahalanobis 距离的平方定义为：∑---=1
2)()(),(u x u x u x r T
其中x ，u 为两个数据，1-∑是一个正定对称矩阵（一般为协方差矩阵）。根据定义，距
某一点的Mahalanobis 距离相等点的轨迹是超椭球，如果是单位矩阵Σ，则Mahalanobis 距离就是通常的欧氏距离。
2、试说明用监督学习与非监督学习两种方法对道路图像中道路区域的划分的基本做法，以说明这两种学习方法的定义与它们间的区别。
答：监督学习方法用来对数据实现分类，分类规则通过训练获得。该训练集由带分类号的数据集组成，因此监督学习方法的训练过程是离线的。
非监督学习方法不需要单独的离线训练过程，也没有带分类号（标号）的训练数据集，一般用来对数据集进行分析，如聚类，确定其分布的主分量等。
就道路图像的分割而言，监督学习方法则先在训练用图像中获取道路象素与非道路象素集，进行分类器设计，然后用所设计的分类器对道路图像进行分割。
使用非监督学习方法，则依据道路路面象素与非道路象素之间的聚类分析进行聚类运算，以实现道路图像的分割。
3、已知一组数据的协方差矩阵为???
? ??12/12/11，试问
(1) 协方差矩阵中各元素的含义。 (2) 求该数组的两个主分量。
(3) 主分量分析或称K-L 变换，它的最佳准则是什么？ (4) 为什么说经主分量分析后，消除了各分量之间的相关性。
答：协方差矩阵为???
?
??12/12/11，则
(1) 对角元素是各分量的方差，非对角元素是各分量之间的协方差。
(2) 主分量，通过求协方差矩阵的特征值，用????
?
? ??
----121211λλ＝0得4/1)1(2=-λ，则 ??
?=2/32/1λ，相应地：2/3=λ，对应特征向量为???? ??11，21
=λ，对应???
? ??-11。 这两个特征向量，即为主分量。 (3) K-L 变换的最佳准则为：
对一组数据进行按一组正交基分解，在只取相同数量分量的条件下，以均方误差计算截尾误差最小。
(4) 在经主分量分解后，协方差矩阵成为对角矩阵，因而各主分量间相关性消除。
4、试说明以下问题求解是基于监督学习或是非监督学习：
(1) 求数据集的主分量 (2) 汉字识别 (3) 自组织特征映射 (4) CT 图像的分割
答：(1) 求数据集的主分量是非监督学习方法；
(2) 汉字识别：对待识别字符加上相应类别号—有监督学习方法；
(3) 自组织特征映射—将高维数组按保留近似度向低维映射—非监督学习； (4) CT 图像分割—按数据自然分布聚类—非监督学习方法； 5、试列举线性分类器中最著名的三种最佳准则以及它们各自的原理。
答：线性分类器三种最优准则：
Fisher准则：根据两类样本一般类内密集，类间分离的特点，寻找线性分类器最佳的法线向量方向，使两类样本在该方向上的投影满足类内尽可能密集，类间尽可能分开。
这种度量通过类内离散矩阵Sw和类间离散矩阵Sb实现。
感知准则函数：准则函数以使错分类样本到分界面距离之和最小为原则。
其优点是通过错分类样本提供的信息对分类器函数进行修正，这种准则是人工神经元网络多层感知器的基础。
支持向量机：基本思想是在两类线性可分条件下，所设计的分类器界面使两类之间的间隔为最大，它的基本出发点是使期望泛化风险尽可能小。
6、试分析五种常用决策规则思想方法的异同。
答、五种常用决策是：
1. 基于最小错误率的贝叶斯决策，利用概率论中的贝叶斯公式，得出使得错误率最小
的分类规则。
2. 基于最小风险的贝叶斯决策，引入了损失函数，得出使决策风险最小的分类。当在
0-1损失函数条件下，基于最小风险的贝叶斯决策变成基于最小错误率的贝叶斯决策。
3. 在限定一类错误率条件下使另一类错误率最小的两类别决策。
4. 最大最小决策：类先验概率未知，考察先验概率变化对错误率的影响，找出使最小
贝叶斯奉献最大的先验概率，以这种最坏情况设计分类器。
5. 序贯分类方法，除了考虑分类造成的损失外，还考虑特征获取造成的代价，先用一
部分特征分类，然后逐步加入性特征以减少分类损失，同时平衡总的损失，以求得最有效益。
7、 1. 什么是特征选择？
2. 什么是Fisher 线性判别？
答：1. 特征选择就是从一组特征中挑选出一些最有效的特征以达到降低特征空间维数的目的。
2. Fisher 线性判别：可以考虑把d 维空间的样本投影到一条直线上，形成一维空间，即把维数压缩到一维，这在数学上容易办到，然而，即使样本在d 维空间里形成若干紧凑的互相分得开的集群，如果把它们投影到一条任意的直线上，也可能使得几类样本混在一起而变得无法识别。但是在一般情况下，总可以找到某个方向，使得在这个方向的直线上，样本的投影能分开得最好。问题是如何根据实际情况找到这条最好的、最易于分类的投影线，这就是Fisher 算法所要解决的基本问题。
8、写出两类和多类情况下最小风险贝叶斯决策判别函数和决策面方程。
两类问题：判别函数 )()()(2121111x w p x w p x g λλ+=
)()()(2221212x w p x w p x g λλ+=
决策面方程：)()(21x g x g =
C 类问题：判别函数 )()(1x w p x g j ij c
j i λ=∑=，c i ,......2,1=
决策面方程：)()(x g x g j i =，j i ≠，c i ,......
2,1=，c j ,......2,1= 9、请论述模式识别系统的主要组成部分及其设计流程，并简述各组成部分中常用方法的主
信息获取：通过测量、采样和量化，可以用矩阵或向量表示二维图像或波形。 预处理：去除噪声，加强有用的信息，并对输入测量仪器或其他因素造成的退化现象进行复原。
特征选择和提取：为了有效地实现分类识别，就要对原始数据进行变换，得到最能反映分类本质的特征。
分类决策：在特征空间中用统计方法把识别对象归为某一类。 10、简述支持向量机的基本思想。
答：SVM 从线性可分情况下的最优分类面发展而来。
最优分类面就是要求分类线不但能将两类正确分开(训练错误率为0)，且使分类间隔最大。
SVM 考虑寻找一个满足分类要求的超平面，并且使训练集中的点距离分类面尽可能的远，也就是寻找一个分类面使它两侧的空白区域(margin)最大。
过两类样本中离分类面最近的点，且平行于最优分类面的超平面上H 1，H 2的训练样本就叫支持向量。
四、计算题
1、设两类样本的类内散布矩阵分别为???
???--=??????=11,112121221211S S ， 两类的类心分别为m 1=(2,0)T , m 2=(2,2)T , 试用fisher 准则求其决策面方程。
解：??????=+=1001)(212
1
S S S w ，??
????=-10011w S 22)1,2(10
01)2,0()()()(22121212
1+-=--???
? ??-=--=+-x x x x S m m x d T m m w T ρρρρρρ ???∈?<>21
0)(ωωx x d ρρ
或 写出决策面方程 01)(2=+-=x x d ρ
2、已知两个一维模式类别的类概率密度函数为:
其它2
11002)/(1≤≤<≤??
?
??-=x x x x x p ω 其它3
22
1031)/(2≤≤<≤???
??--=x x x x x p ω
先验概率P(ω1)=0.6，P(ω2)=0.4， （1）求0-1代价Bayes 判决函数； （2）求总错误概率P(e )；
（3）判断样本{x 1=1.35, x 2=1.45, x 3=1.55, x 4=1.65} 各属于哪一类别。
答：(1) 基于0-1代价Bayes 判决函数为：
当
67.032
6.04.0)()()
|()
|(1221≈==ωωωωP P x p x p 时，1w x ∈，否则2w x ∈， (2) 总的误判概率P(e )为：
由
3212=--x x ， 得：6.15
8
==x 12
.0 )1(*4.0)2(*6.0
)|(*)()|(*)()(6
.11
26
.122111
2
=-+-=+=????dx x dx x dx
x p P dx x p P e P D D ωωωω
(3) 67.086.135.0/65.0)/(/)/(,
35.1211>≈==ωωx p x p x ，所以11w x ∈ 67.022.145.0/55.0)/(/)/(,
45.1212>≈==ωωx p x p x ，所以12w x ∈
> <
67.082.055.0/45.0)/(/)/(,55.1213>≈==ωωx p x p x ，所以13w x ∈
67.054.065.0/35.0)/(/)/(,
65.1214<≈==ωωx p x p x ，所以24w x ∈
3、假设在某个地区细胞识别中正常（w 1）和异常（w 2）两类先验概率分别为8.0)(1=w P ，
2.0)(2=w P ，现有一待识别的细胞，其观察值为x ，从类条件概率密度分布曲线上
查得25.0)(1=w x P ，6.0)(2=w x P ，并且已知011=λ，612=λ，121=λ，022=λ
试对该细胞x 用一下两种方法进行分类：
(1) 基于最小错误率的贝叶斯决策； (2) 基于最小风险的贝叶斯决策； 请分析两种结果的异同及原因。
答：(1) 利用贝叶斯公式，分别计算出1w 和2w 的后验概率：
625.02
.06.08.025.08
.025.0)
()()
()()(2
1
1
111=?+??==
∑=j j j
w
p w x p w p w x p x w p
375.0)(1)(12=-=x w p x w p
根据贝叶斯决策规则：375.0)(625.0)(21=>=x w p x w p ，所以把x 归为正常状态。 (2) 根据条件和上面算出的后验概率，计算出条件风险：
125.3)()()()(2121112
111=+==∑=x w p x w p x w p x R j j j λλλα
75.1)()()()(222212121
22=+==∑=x w p x w p x w p x R j j j λλλα
由于)()(21x R x R αα>，即决策为2w 的条件风险小于决策为1w 的条件风险，因此采取决策行动2α，即判断待识别的细胞x 为2w 类----异常细胞。
将 (1) 与 (2) 相对比，其分类结果正好相反，这是因为这里影响决策结果的因素又多了一个，即“损失”；而且两类错误决策所造成的损失相差很悬殊，因此“损失”起了主导作用。
4、有两类样本集 T x ]0,0,0[1
1
=，T x ]0,0,1[21=，T x ]1,0,1[31=，T x ]0,1,1[41= T x ]1,0,0[12=，T x ]0,1,0[22=，T x ]1,1,0[32=，T x ]1,1,1[42
= (1) 用K-L 变换求其二维特征空间，并求出其特征空间的坐标轴； (2) 使用Fisher 线性判别方法给出这两类样本的分类面。
??
??
?
?????=5.025.025.025.05.025.025.025.05.0][T XX E ，其对应的特征值和特征向量为： ??
??
??????=Λ100025.0000
25.0
对应的坐标： , 6132 6132 6231 00:1??
??
????????-????????????-????????????-??????w 033 6232 6131 6131 :2??
?????????????
?
??????
????????????
?????????
??
?
w (2) ??????????=25.025.075.01m ????
?
?????=75.075.025.02m ,
???????
?
?
????
?
??--=????????????
????----+???????
?????????----
+????????????????-
--
-
+????????????
????=--=∑=434
141
414341041
43
16116
316
1163169163
161163
161
16916316
3163161161163161
16116116
116
1
16116116116116116116116
1163161161163
16316316
9))((41
111i T
i i m x m x S ?????
??
?????
????-
-=????????????????+????????????????--
--+????????
????????---
-+????????????????----=--=∑=434141414341
41414316116116316116116316316316916116116
1161161161
161161161 16916316316316116116316
1161161163161
16316916
3161163161
))((4
1
222i T
i i m x m x S ????
?
??
???--=+=31113111341)(2121S S S w ??????????--=-=-222)(211*m m S w w ， 12
2*1
*0-=+=m w m w y T
T 所以 判别函数为1222)(+????
?
?????--=x x g T
5、假设两类模式服从如下的正态分布：
??????=111μ，??????--=112μ，?
?
?
???=∑=∑5.200121，5.021==P P ，
求使)(1
b w
S S tr -最大化的一维特征空间的变换矢量。
答：[]T 0 ,0=μ，??????=∑+∑=500221)(2121w S , ??
????=-4.00011
w S ??????=--=--∑==1111))((41))((21212121T T i i i b S μμμμμμμμ, ??
????=-4.04.0111
b w S S 因为b w S S 1-的秩为1，所以b w S S 1
-只有一个非零特征值，W 是1?D 矩阵，即w W =。
为求解b w S S 1-的特征值，解方程 w w S S b w 11
λ=-，
即
w w S T w 121211
))((4
1λμμμμ=--- 因为
w T )(4121μμ-为标量，所以，??
????=-=-8.02)(211
μμw S w 。
6、现有样本集X={(0,0)T , (0,1) T , (2,1) T , (2,3) T , (3,4) T , (1,0) T },
试用K-means {C-均值}算法进行聚类分析(类数C=2), 初始聚类中心为(0, 0)T 、(0, 1) T 。 解：
第一步：由题意知C = 2，初始聚类中心为Z 10=(0,0)T , Z 20=(0,1) T 第二步： ||x 1-Z 10||=||(0,0) T -(0,0) T ||=0
||x 1-Z 20||=||(0,0) T -(0,1) T ||=1 因为||x 1-Z 10||<||x 1-Z 20||, 所以x 1∈ω1
||x 2-Z 10||=||(0,1) T -(0,0) T ||=1
||x 2-Z 20||=||(0,1) T -(0,1) T ||=0 因为||x 2-Z 10||>||x 2-Z 20||, 所以x 2∈ω2 同理
因为||x 3-Z 10||=51/2>||x 3-Z 20||=2，所以x 3∈ω2 因为||x 4-Z 10||=81/2>||x 4-Z 20||=51/2，所以x 4∈ω2
x 5∈ω2, x 6∈ω1
由此得到新的类：ω1={x 1, x 6} N 1=2, ω2={x 2, x 3, x 4, x 5 } N 2=4
第三步：根据新分成的两类计算新的聚类中心
Z 11=(x 1+x 6)/2=(0.5, 0)T
Z 21=(x 2+x 3+x 4+x 5)/4=(1.75, 2.25)T
第四步：因为新旧聚类中心不等，转第二步
第二步：重新计算x 1, x 2, x 3, x 4, x 5, x 6到Z 11、Z 12的距离，把它们归为最近聚类中心，重
新分为两类ω1={x 1, x 2, x 6} N 1=3, ω2={x 3, x 4, x 5 } N 2=3
第三步：根据新分成的两类计算新的聚类中心
Z 12=(x 1+x 2+x 6)/3=(1/3, 1/3)T Z 22=(x 3+x 4+x 5)/3=(7/3, 8/3)T
第四步：因为新旧聚类中心不等，转第二步
重新计算x 1, x 2, x 3, x 4, x 5, x 6到Z 12、Z 22的距离，把它们归为最近聚类中心，重新分为两类ω1={x 1, x 2, x 6}，N 1=3, ω1={x 3, x 4, x 5 }，N 2=3
和上次聚类结果一样，计算结束。
7、已知二维样本：1x ρ=(-1,0)T ，2x ρ=(0,-1)T ，3x ρ=(0,0)T ，4x ρ=(2,0)T 和5x ρ=(0,2)T ，121},{ω∈x x ρ
ρ，2543},,{ω∈x x x ρρρ。试用感知器算法求出分类决策函数，并判断6x ρ
=(2,1)T 属于哪一类？
答：将样本符号规范化得：
1x ρ=(-1,0,1)T ，2x ρ=(0,-1,1)T ，3x ρ=(0,0,-1)T ，4x ρ
=(-2,0,-1)T 和5x ρ=(0,-2,-1)T ，
赋初值T w )1 ,1 ,1()1(=，取增量1=ρ, 置迭代步数k=1, 则有： k=1, 1x x k =, 0)()(==k T k x k w x d , T x w w )2 ,1 ,0()1()2(1=+= k=2, 2x x k =, 01)()(>==k T k x k w x d , )2()3(w w =
k=3, 3x x k =, 02)()(<-==k T k x k w x d , T x w w )1 ,1 ,0()3()4(3=+= k=4, 4x x k =, 01)()(<-==k T k x k w x d , T x w w )0 ,1 ,2()4()5(4-=+= k=5, 5x x k =, 02)()(<-==k T k x k w x d , T x w w )1 ,1 ,2()5()6(5---=+= k=6, 1x x k =, 01)()(>==k T k x k w x d , )6()7(w w =
k=7, 2x x k =, 0)()(==k T k x k w x d , T x w w )0 ,2 ,2()7()8(2--=+= k=8, 3x x k =, 0)()(==k T k x k w x d , T x w w )1 ,2 ,2()8()9(3---=+= k=9, 4x x k =, 05)()(>==k T k x k w x d , )9()10(w w = k=10, 5x x k =, 05)()(>==k T k x k w x d , )10()11(w w = k=11, 1x x k =, 01)()(>==k T k x k w x d , )11()12(w w = k=12, 2x x k =, 05)()(>==k T k x k w x d , )12()13(w w = k=13, 3x x k =, 05)()(>==k T k x k w x d , )13()14(w w =
所以，最后收敛于T
w )1 ,2 ,2(---=, 分类决策函数为122)(21---=x x x d
将T x )1 ,2(6=代入决策函数，07)(<-=x d , 所以 26ω∈x ρ
8、两类样本的均值矢量分别为m 1=(4, 2)T 和 m 2=(- 4,-2)T ，
协方差矩阵分别为： ??????=31131C , ?
??
???=42242C , 两类的先验概率相等， 试求一维特征提取矩阵。 解，总的类内散布阵可以算得：
模式识别基础
回顾：模式识别与机器学习的基本思路
第十三章 统计学习理论与支持向量机简介
---- 暨课程总结与展望
x
S M
y y'
?
Xuegong Zhang Tsinghua University
1
Xuegong Zhang Tsinghua University
2
例
现实经济数据
声音数据 语料库
语音识别结果
模式识别系统的基本组成
监督模式识别(supervised PR)
分类器设计(训练)
经济发展预测 历史数据 储层性质
已知数据
信息获取与预处理 地震数据
特征提取与选择 分类决策(识别)
非监督模式识别(unsupervised PR)
聚类(自学习) 信息获取与预处理 特征提取与选择 结果解释
3 Xuegong Zhang Tsinghua University 4
基因表达数据
Xuegong Zhang Tsinghua University
复杂疾病 已知病例数据
监督模式识别： 回顾与探讨
贝叶斯决策 最小错误率 /最小风险 --最优分类器 要求模型已 知，否则要估 计模型 问题：有限
样本下估计概率 密度模型可能比 设计分类器更难
Xuegong Zhang Tsinghua University
5
Xuegong Zhang Tsinghua University
6
贝叶斯决策 线性判别
Fisher, Perceptron, MSE, …
次优，一定条 件下可最优 线性假设 问题： — 训练错误率 最小≠预测错 误率小 — 多解时谁为 最优？ — Fisher准则 的理论依据？
线性判别
最小距离 分类器
简单、 有效，但 局限大
如何设 计？ 分段线性分类器 样本较 多时性能 优越，样 本少时怎 么办？
8
近邻法
Xuegong Zhang Tsinghua University
7
Xuegong Zhang Tsinghua University
改进的近邻法
通过非线 性变换间接 实现非线性 分类 问题：思 路很好，但 不易实现 广义线性 判别函数 复杂多 样，无从 确定
Xuegong Zhang Tsinghua University
线性判别
线性判别
非线性 判别函数
复杂多 样，无从 确定
9 Xuegong Zhang Tsinghua University
非线性 判别函数 人工神经 网络
MLP: 通用的 非线性分类器 最小化训练 错误≠预测错 误最小 过学习问题 局部最优解 问题
10
通过非线 性变换间接 实现非线性 分类 问题：思 路很好，但 不易实现 广义线性 判别函数
线性判别
线性 训练错误率最小 ≠ 预测错误率小 多解时谁为最优？ Fisher准则的理论 依据？ 参考书： 通用线性/非线性分 类器 大间隔 有限样本 下高的推广能力 核函数 巧妙实现 广义判别函数 二次规划有唯一解 11 良好的理论支持
统计学习理论概要
支持向量机 （SVM）
Xuegong Zhang Tsinghua University
Xuegong Zhang Tsinghua University
12
模式识别与机器学习期末考查 试卷 研究生姓名：入学年份：导师姓名：试题1：简述模式识别与机器学习研究的共同问题和各自的研究侧重点。 答：（1）模式识别是研究用计算机来实现人类的模式识别能力的一门学科，是指对表征事物或现象的各种形式的信息进行处理和分析，以对事物或现象进行描述、辨认、分类和解释的过程。主要集中在两方面，一是研究生物体（包括人）是如何感知客观事物的，二是在给定的任务下，如何用计算机实现识别的理论和方法。机器学习则是一门研究怎样用计算机来模拟或实现人类学习活动的学科，是研究如何使机器通过识别和利用现有知识来获取新知识和新技能。主要体现以下三方面：一是人类学习过程的认知模型；二是通用学习算法；三是构造面向任务的专用学习系统的方法。两者关心的很多共同问题，如：分类、聚类、特征选择、信息融合等，这两个领域的界限越来越模糊。机器学习和模式识别的理论和方法可用来解决很多机器感知和信息处理的问题，其中包括图像/ 视频分析（文本、语音、印刷、手写）文档分析、信息检索和网络搜索等。 （2）机器学习和模式识别是分别从计算机科学和工程的角度发展起来的，各自的研究侧重点也不同。模式识别的目标就是分类，为了提高分类器的性能，可能会用到机器学习算法。而机器学习的目标是通过学习提高系统性能，分类只是其最简单的要求，其研究更
侧重于理论，包括泛化效果、收敛性等。模式识别技术相对比较成熟了，而机器学习中一些方法还没有理论基础，只是实验效果比较好。许多算法他们都在研究，但是研究的目标却不同。如在模式识别中研究所关心的就是其对人类效果的提高，偏工程。而在机器学习中则更侧重于其性能上的理论证明。试题2：列出在模式识别与机器学习中的常用算法及其优缺点。答：（1）K 近邻法算法作为一种非参数的分类算法，它已经广泛应用于分类、 回归和模式识别等。在应用算法解决问题的时候，要注意的两个方面是样本权重和特征权重。 优缺点：非常有效，实现简单，分类效果好。样本小时误差难控制，存储所有样本，需要较大存储空间，对于大样本的计算量大。（2）贝叶斯决策法 贝叶斯决策法是以期望值为标准的分析法，是决策者在处理 风险型问题时常常使用的方法。 优缺点：由于在生活当中许多自然现象和生产问题都是难以完全准确预测的，因此决策者在采取相应的决策时总会带有一定的风险。贝叶斯决策法就是将各因素发生某种变动引起结果变动的概率凭统计资料或凭经验主观地假设，然后进一步对期望值进行分析，由于此概率并不能证实其客观性，故往往是主观的和人为的概率，本身带有一定的风险性和不肯定性。虽然用期望的大小进行判断有一些风险，但仍可以认为贝叶斯决策是一种兼科学性和实效性于一身的比较完善的用于解决风险型决策问题的方法，在实际中能够广泛应
模式识别的研究现状与发展趋势 摘要：随着现今社会信息技术的飞速发展, 人工智能的应用越来越广泛, 其中模式识别是人工智能应用的一个方面。而且现今的模式识别的应用也越来越得到大家的重视与支持，在各方面也有重大的进步。模式识别也成为人们身边不可或缺的一部分。关键词：人工智能，技术，模式识别，前景 Abstract：In the modern society with the rapid development of information technology, the application of a rtificial intelligence is more and more extensive, among them pattern recognition is one of the ap ply of artificial intelligence. And now the application of pattern recognition is also more and more to get everyone's attention and support, in various aspects have significant progress. Pattern rec ognition has become an integral part of people around. Keywords: Artificial Intelligence, Technology,Pattern Recognition, prospects 一，引言 如今计算机硬件的高速发展, 以及计算机应用领域的不断开拓, 人们开始要求计算机能够更有效地感知诸如声音、文字、图像、温度、震动等人类赖以发展自身、改造环境所运用的信息资料。但就一般意义来说, 目前一般计算机却无法直接感知它们, 我们常用的键盘、鼠标等外部设备, 对于这些外部世界显得无能为力。虽然摄像机、图文扫描仪、话筒等设备业已解决了上述非电信号的转换, 并与计算机联机, 但由于识别技术不高, 而未能使计算机真正知道采录后的究竟是什么信息。计算机对外部世界感知能力的低下, 成为开拓计算机应用的瓶颈, 也与其高超的运算能力形成强烈的对比。于是, 着眼于拓宽计算机的应用领域, 提高其感知外部信息能力的学科———模式识别, 便得到迅速发展。 人工智能所研究的模式识别是指用计算机代替人类或帮助人类感知模式, 是对人类感知外界功能的模拟, 研究的是计算机模式识别系统, 也就是使一个计算机系统具有模拟人类通过感官接受外界信息、识别和理解周围环境的感知能力。现将人工智能在模式识别方面的一些具体和最新的应用范围遍及遥感、生物医学图象和信号的分析、工业产品的自动无损检验、指纹鉴定、文字和语音识别、机器视觉地圈模式识别等方面。 二，现状 以地图模式识别为例，地图模式识别是由计算机来对地图进行识别与理解, 并借助一定的技术手段, 让计算机研究和分析地图上的各种模式信息, 获取地图要素的质量意义。其计算处理的过程类似于人对地图的阅读。 地图模式识别是近年来在地图制图领域中新兴的一门高新技术, 是信息时代人工智能、模式识别技术在地图制图中的具体应用。由于它是传统地图制图迈向数字地图制图的一座桥梁, 因此,地图模式识别遥感技术、地理信息系统一起, 被称为现代地图制图的三大技术。 目前, 地图模式识别由于具有广泛的应用价值和发展潜力,因而受到了人们的普遍重视。尤其是随着现今的计算机及其外部硬件环境的不断提高, 科技不过发展的情况下，
统计模式识别方法 在嗅觉模拟技术领域中，模式识别问题就是由气敏传感器阵列的测量空间向被测对象的的分类或分级空间转化的问题。由于这种模式空间的变化对识别或鉴别结果有着较大的影响，因此模式识别算法的研究和讨论始终较为活跃，各种模式识别方法层出不穷，有力推动了嗅觉模拟技术的应用进程。下面介绍几种常用的统计模式识别方法。 1统计模式识别概述 统计方法，是发展较早也比较成熟的一种方法。被识别对象首先数字化，变换为适于计算机处理的数字信息。一个模式常常要用很大的信息量来表示。许多模式识别系统在数字化环节之后还进行预处理，用于除去混入的干扰信息并减少某些变形和失真。随后是进行特征抽取，即从数字化后或预处理后的输入模式中抽取一组特征。所谓特征是选定的一种度量，它对于一般的变形和失真保持不变或几乎不变，并且只含尽可能少的冗余信息。特征抽取过程将输入模式从对象空间映射到特征空间。这时，模式可用特征空间中的一个点或一个特征矢量表示。这种映射不仅压缩了信息量，而且易于分类。在决策理论方法中，特征抽取占有重要的地位，但尚无通用的理论指导，只能通过分析具体识别对象决定选取何种特征。特征抽取后可进行分类，即从特征空间再映射到决策空间。为此而引入鉴别函数，由特征矢量计算出相应于各类别的鉴别函数值，通过鉴别函数值的比较实行分类。 统计模式识别的技术理论较完善，方法也很多，通常较为有效，现已形成了一个完整的体系。尽管方法很多，但从根本上讲，都是利用各类的分布特征，即直接利用各类的概率密度函数、后验概率等，或隐含地利用上述概念进行识别。其中基本的技术为聚类分析法、判别类域代数界面法、统计决策法、最邻近法等。在聚类分析中，利用待分类模式之间的“相似性”进行分类，较相似的作为一类，较不相似的作为另外一类。在分类过程中不断地计算所划分的各类的中心，一个待分类模式与各类中心的距离作为对其分类的依据。这实际上在某些设定下隐含地利用了概率分布概念，因常见的概率密度函数中，距期望值较近的点概密值较大。该类方法的另一种技术是根据待分类模式和已指判出类别的模式的距离来确定其判别，这实际上也是在一定程度上利用了有关的概念。判别类域界面法中，用已知类别的训练样本产生判别函数，这相当于学习或训练。根据待分类模式
中国科学技术大学模式识别试题 （2012年春季学期） 姓名：学号：成绩： 一、填空与选择填空（本题答案写在此试卷上，30分） 1、模式识别系统的基本构成单元包括：、 和。 2、统计模式识别中描述模式的方法一般使用；句法模式识别中模式描述方法一般 有、、。 3、聚类分析算法属于；判别域代数界面方程法属于。 （1）无监督分类 (2)有监督分类（3）统计模式识别方法（4）句法模式识别方法 4、若描述模式的特征量为0-1二值特征量，则一般采用进行相似性度量。 （1）距离测度（2）模糊测度（3）相似测度（4）匹配测度 5、下列函数可以作为聚类分析中的准则函数的有。 （1） (4) 6、Fisher线性判别函数的求解过程是将N维特征矢量投影在中进行。 （1）二维空间（2）一维空间（3）N-1维空间 7、下列判别域界面方程法中只适用于线性可分情况的算法有；线性可分、不可分都适用的 有。 （1）感知器算法（2）H-K算法（3）积累位势函数法 8、下列四元组中满足文法定义的有。 （1）({A, B}, {0, 1}, {A→01, A→ 0A1 , A→ 1A0 , B→BA , B→ 0}, A) （2）({A}, {0, 1}, {A→0, A→ 0A}, A) （3）({S}, {a, b}, {S → 00S, S → 11S, S → 00, S → 11}, S) （4）({A}, {0, 1}, {A→01, A→ 0A1, A→ 1A0}, A) 二、(15分)简答及证明题 （1）影响聚类结果的主要因素有那些？ （2）证明马氏距离是平移不变的、非奇异线性变换不变的。 （3）画出对样本集 ω1：{(0,0,0)T, (1,0,0)T, (1,0,1)T, (1,1,0)T,} PDF 文件使用 "pdfFactory Pro" 试用版本创建https://www.doczj.com/doc/453421195.html,
《模式识别与人工智能》课程教学大纲 一、课程基本信息 课程代码：DX3004 课程名称：模式识别与人工智能 课程性质：选修课 课程类别：专业与专业方向课程 适用专业：电气信息类专业 总学时： 64 学时 总学分： 4 学分 先修课程：MATLAB程序设计；数据结构；数字信号处理；概率论与数理统计 后续课程：语音处理技术；数字图像处理 课程简介： 模式识别与人工智能是60年代迅速发展起来的一门学科，属于信息，控制和系统科学的范畴。模式识别就是利用计算机对某些物理现象进行分类，在错误概率最小的条件下，使识别的结果尽量与事物相符。模式识别技术主要分为两大类：基于决策理论的统计模式识别和基于形式语言理论的句法模式识别。模式识别的原理和方法在医学、军事等众多领域应用十分广泛。本课程着重讲述模式识别的基本概念，基本方法和算法原理，注重理论与实践紧密结合，通过大量实例讲述如何将所学知识运用到实际应用之中去，避免引用过多的、繁琐的数学推导。这门课的教学目的是让学生掌握统计模式识别基本原理和方法，使学生具有初步综合利用数学知识深入研究有关信息领域问题的能力。 选用教材： 《模式识别》第二版，边肇祺，张学工等编著[M]，北京：清华大学出版社，1999； 参考书目： [1] 《模式识别导论》，齐敏，李大健，郝重阳编著[M]. 北京：清华大学出版社，2009； [2] 《人工智能基础》，蔡自兴，蒙祖强[M]. 北京：高等教育出版社，2005； [3] 《模式识别》，汪增福编著[M]. 安徽：中国科学技术大学出版社，2010； 二、课程总目标 本课程为计算机应用技术专业本科生的专业选修课。通过本课程的学习，要求重点掌握统计模式识别的基本理论和应用。掌握统计模式识别方法中的特征提取和分类决策。掌握特征提取和选择的准则和算法，掌握监督学习的原理以及分类器的设计方法。基本掌握非监督模式识别方法。了解应用人工神经网络和模糊理论的模式识别方法。了解模式识别的应用和系统设计。要求学生掌握本课程的基本理论和方法并能在解决实际问题时得到有效地运用，同时为开发研究新的模式识别的理论和方法打下基础。 三、课程教学内容与基本要求 1、教学内容： （1）模式识别与人工智能基本知识； （2）贝叶斯决策理论； （3）概率密度函数的估计； （4）线性判别函数； （5）非线性胖别函数；
一、填空与选择填空（本题答案写在此试卷上，30分） 1、模式识别系统的基本构成单元包括：模式采集、特征提取与选择 和模式分类。 2、统计模式识别中描述模式的方法一般使用特真矢量；句法模式识别中模式描述方法一般有串、树、网。 3、聚类分析算法属于（1）；判别域代数界面方程法属于（3）。 （1）无监督分类 (2)有监督分类（3）统计模式识别方法（4）句法模式识别方法 4、若描述模式的特征量为0-1二值特征量，则一般采用（4）进行相似性度量。 （1）距离测度（2）模糊测度（3）相似测度（4）匹配测度 5、下列函数可以作为聚类分析中的准则函数的有（1）（3）（4）。
（1）（2） (3)
(4) 6、Fisher线性判别函数的求解过程是将N维特征矢量投影在（2）中进行。 （1）二维空间（2）一维空间（3）N-1维空间 7、下列判别域界面方程法中只适用于线性可分情况的算法有（1）；线性可分、不可分都适用的有（3）。 （1）感知器算法（2）H-K算法（3）积累位势函数法 8、下列四元组中满足文法定义的有（1）（2）（4）。 （1）({A, B}, {0, 1}, {A?01, A ? 0A1 , A ? 1A0 , B ? BA , B ? 0}, A)（2）({A}, {0, 1}, {A?0, A ? 0A}, A) （3）({S}, {a, b}, {S ? 00S, S ? 11S, S ? 00, S ? 11}, S) （4）({A}, {0, 1}, {A?01, A ? 0A1, A ? 1A0}, A) 9、影响层次聚类算法结果的主要因素有（计算模式距离的测度、（聚类准则、类 间距离门限、预定的类别数目））。 10、欧式距离具有（ 1、2 ）；马式距离具有（1、2、3、4 ）。 （1）平移不变性（2）旋转不变性（3）尺度缩放不变性（4）不受量纲影响的特性11、线性判别函数的正负和数值大小的几何意义是（正（负）表示样本点位于判别 界面法向量指向的正（负）半空间中；绝对值正比于样本点到判别界面的距离。）。
模式识别与智能系统 （081104） 一、培养目标 培养热爱祖国，拥护中国共产党的领导，拥护社会主义制度，遵纪守法，品德良好，具有服务国家、服务人民的社会责任感，掌握本学科坚实的基础理论和系统的专业知识，具有创新精神、创新能力和从事科学研究、教学、管理等工作能力的高层次学术型专门人才。 模式识别与智能系统是20世纪60年代以来在信号处理、人工智能、控制论、计算机技术等学科基础上发展起来的新型学科。该学科以各种传感器为信息源，以信息处理与模式识别的理论技术为核心，以数学方法与计算机为主要工具，探索对各种媒体信息进行处理、分类、理解并在此基础上构造具有某些智能特性的系统或装置的方法、途径与实现，以提高系统性能。模式识别与智能系统是一门理论与实际紧密结合，具有广泛应用价值的控制科学与工程的重要学科分支。 本学科培养德智体全面发展，具有坚实和系统的模式识别与智能系统理论知识和实践技能，了解模式识别与智能系统学科发展的前沿和动态，能够适应我国经济、科技、教育发展需要，面向二十一世纪的科学研究、工程技术和高等教育的高层次人才。学位获得者业务上应具有具备从事在本学科及相关学科领域独立开发研究工作的能力，注意理论联系实际，能够分析和解决现代经济建设和交叉学科中涌现出的新课题；能够熟练利用计算机解决本学科的有关问题；较为熟练地掌握一门外国语；具有健康的体格。 二、研究方向 （一）智能机器人系统 主要进行智能机器人控制与决策系统的研究与开发，包括自主移动机器人、特种机器人、服务机器人、工业机器人等内容。机器人的自主定位、导航、避障与多机器人协调控制为主要研究方向。 （二）系统仿真技术与应用 主要研究方向为控制系统仿真与计算机辅助设计、半实物仿真与实时控制、分数阶与网络控制系统仿真、系统建模校验与验证及仿真算法和高层体系结构理论与应用技术、工业过程建模仿真和提高控制效果与系统性能的方法研究。 （三）图像处理与计算机视觉 研究图像信息获取、处理、分析、理解与识别分类等理论与技术，研究图像处理技术在医学影像处理、动态目标识别与跟踪、智能交通系统、军事等领域的工程应用问题。 （四）建筑智能化技术 本方向以建筑智能化技术为背景，主要研究智能建筑系统集成理论与技术、
1、试说明Mahalanobis 距离平方的定义，到某点的Mahalanobis 距离平方为常数的轨迹的几何意义，它与欧氏距离的区别与联系。 答：Mahalanobis 距离的平方定义为：∑---=1 2)()(),(u x u x u x r T 其中x ，u 为两个数据，1-∑是一个正定对称矩阵（一般为协方差矩阵）。根据定义，距 某一点的Mahalanobis 距离相等点的轨迹是超椭球，如果是单位矩阵Σ，则Mahalanobis 距离就是通常的欧氏距离。 2、试说明用监督学习与非监督学习两种方法对道路图像中道路区域的划分的基本做法，以说明这两种学习方法的定义与它们间的区别。 答：监督学习方法用来对数据实现分类，分类规则通过训练获得。该训练集由带分类号的数据集组成，因此监督学习方法的训练过程是离线的。 非监督学习方法不需要单独的离线训练过程，也没有带分类号（标号）的训练数据集，一般用来对数据集进行分析，如聚类，确定其分布的主分量等。 就道路图像的分割而言，监督学习方法则先在训练用图像中获取道路象素与非道路象素集，进行分类器设计，然后用所设计的分类器对道路图像进行分割。 使用非监督学习方法，则依据道路路面象素与非道路象素之间的聚类分析进行聚类运算，以实现道路图像的分割。 3、已知一组数据的协方差矩阵为??? ? ??12/12/11，试问 (1) 协方差矩阵中各元素的含义。 (2) 求该数组的两个主分量。 (3) 主分量分析或称K-L 变换，它的最佳准则是什么？ (4) 为什么说经主分量分析后，消除了各分量之间的相关性。
答：协方差矩阵为??? ? ??12/12/11，则 (1) 对角元素是各分量的方差，非对角元素是各分量之间的协方差。 (2) 主分量，通过求协方差矩阵的特征值，用???? ? ? ?? ----121211λλ＝0得4/1)1(2=-λ，则 ?? ?=2/32/1λ，相应地：2/3=λ，对应特征向量为???? ??11，21 =λ，对应??? ? ??-11。 这两个特征向量，即为主分量。 (3) K-L 变换的最佳准则为： 对一组数据进行按一组正交基分解，在只取相同数量分量的条件下，以均方误差计算截尾误差最小。 (4) 在经主分量分解后，协方差矩阵成为对角矩阵，因而各主分量间相关性消除。 4、试说明以下问题求解是基于监督学习或是非监督学习： (1) 求数据集的主分量 (2) 汉字识别 (3) 自组织特征映射 (4) CT 图像的分割 答：(1) 求数据集的主分量是非监督学习方法； (2) 汉字识别：对待识别字符加上相应类别号—有监督学习方法； (3) 自组织特征映射—将高维数组按保留近似度向低维映射—非监督学习； (4) CT 图像分割—按数据自然分布聚类—非监督学习方法； 5、试列举线性分类器中最著名的三种最佳准则以及它们各自的原理。
2013–2014 学年度 模式识别 课程期末考试试题 一、计算题 （共20分） 在目标识别中，假定类型1ω为敌方目标，类型2ω为诱饵（假目标），已知先验概率P (1ω)=0.2和P (2ω)=0.8，类概率密度函数如下： ??? ??≤≤-<≤=其它021210)(1x x x x x p ω ?? ? ??≤≤-<≤=其它0323211-)(2x x x x x p ω 1、求贝叶斯最小误判概率准则下的判决域，并判断样本x =1.5属于哪一类； 2、求总错误概率p (e )； 3、假设正确判断的损失λ11=λ22=0，误判损失分别为λ12和λ21，若采用最小损失判决准则，λ12和λ21满足怎样的关系时，会使上述对x =1.5的判断相反？ 解：（1）应用贝叶斯最小误判概率准则如果 )()()(2112ωω=x p x p x l <>)() (12ωωP P 则判 ???ωω∈21 x （2分） 得 l 12(1.5)=1 < )() (12ωωP P =4，故 x=1.5属于ω2 。（2分） （2）P(e)= 212121)()()(εω+εω=P P e P ??ΩΩωω+ωω=1 2 )()()()(2211x d x p P x d x p P = dx x x x ??-+- 1.2 1 2 1.2 10.8d )2(0.2）（=0.08 （算式正确2分，计算错误扣1～2分） (3) 两类问题的最小损失准则的似然比形式的判决规则为：
如果 ) )(())(()()(111212221221λ-λωλ-λω< >ωωP P x p x p 则判 ???ωω∈21 x 带入x=1.5得到 λ12≥4λ21 二、证明题（共20分） 设p(x)~N (μ,σ)，窗函数?(x)~N (0,1)，试证明Parzen 窗估计1 1 ?()( )N i N i N N x x p x Nh h ?=-= ∑ 有如下性质：22 ?[()](,)N N E p x N h μσ+ 。 证明：（1）（为书写方便，以下省略了h N 的下标N ） 22 22 22 2222222222 222211()()()()]22111exp[()()]2221111exp{[()2()]}221 1111exp[()]exp{()[2222y x y x y p y dy dy h h y x y dy h x x y y dy h h h x y h h μ?σμπσσ μμπσσσσ μπσσσ∞ ∞ -∞ -∞∞ -∞∞ -∞ ∞ -∞---=----=--= -+-+++=-+-+-? ??? ?2222()]}x h y dy h σμσ++ 222222 2222222222221 1()exp[(exp()22()2 11()exp[22()1()]2()x x h y dy h h h x h x h μσμπσσσσμπσσμσ∞ +=-+--+-=-+-=-+? （1-1） 121211?[()][()](,,...,)N i N N N i x x E p x p x x x dx dx dx Nh h ?∞ =-∞ -=∑??? 因为样本独立 121211?[()][()]()()...()N i N N N i x x E p x p x p x p x dx dx dx Nh h ?∞ =-∞ -=∑???
《模式识别》试题库 一、基本概念题 1.1 模式识别的三大核心问题是：、、。 1.2、模式分布为团状时，选用聚类算法较好。 1.3 欧式距离具有。马式距离具有。 （1）平移不变性（2）旋转不变性（3）尺度缩放不变性（4）不受量纲影响的特性 1.4 描述模式相似的测度有：。 （1）距离测度（2）模糊测度（3）相似测度（4）匹配测度 1.5 利用两类方法处理多类问题的技术途径有：（1）；（2）； （3）。其中最常用的是第个技术途径。 1.6 判别函数的正负和数值大小在分类中的意义 是：， 。 1.7 感知器算法。 （1）只适用于线性可分的情况；（2）线性可分、不可分都适用。 1.8 积累位势函数法的判别界面一般为。 （1）线性界面；（2）非线性界面。 1.9 基于距离的类别可分性判据有：。 （1） 1 [] w B Tr S S - （2） B W S S （3） B W B S S S + 1.10 作为统计判别问题的模式分类，在（）情况下，可使用聂曼-皮尔逊判决准则。 1.11 确定性模式非线形分类的势函数法中，位势函数K(x,x k)与积累位势函数K(x)的关系为 （）。 1.12 用作确定性模式非线形分类的势函数法，通常，两个n维向量x和x k的函数K(x,x k)若同时满足下列三个条件，都可作为势函数。 ①（）；
②（ ）； ③ K(x,x k )是光滑函数，且是x 和x k 之间距离的单调下降函数。 1.13 散度J ij 越大，说明ωi 类模式与ωj 类模式的分布（ ）。当ωi 类模式与ωj 类模式的分布相同时，J ij =（ ）。 1.14 若用Parzen 窗法估计模式的类概率密度函数，窗口尺寸h1过小可能产生的问题是（ ），h1过大可能产生的问题是（ ）。 1.15 信息熵可以作为一种可分性判据的原因 是： 。 1.16作为统计判别问题的模式分类，在（ ）条件下，最小损失判决规则与最小错误判决规则是等价的。 1.17 随机变量l(x ρ)=p( x ρ|ω1)/p( x ρ|ω2)，l( x ρ)又称似然比，则E {l( x ρ)|ω2}= （ ）。在最小误判概率准则下，对数似然比Bayes 判决规则为（ ）。 1.18 影响类概率密度估计质量的最重要因素是 （ ）。 1.19 基于熵的可分性判据定义为 )] |(log )|([1 x P x P E J i c i i x H ρ ρωω∑=-=，J H 越（ ），说明模式的 可分性越强。当P(ωi | x ρ) =（ ）(i=1,2,…,c)时，J H 取极大值。 1.20 Kn 近邻元法较之于Parzen 窗法的优势在于 （ ）。 上述两种算法的共同弱点主要是（ ）。 1.21 已知有限状态自动机Af=(∑，Q ，δ，q0，F)，∑={0，1}；Q={q0，q1}； δ：δ(q0，0)= q1，δ(q0，1)= q1，δ(q1，0)=q0，δ(q1，1)=q0；q0=q0；F={q0}。现有输入字符串：(a) 00011101011，(b) 1100110011，(c) 101100111000，(d)0010011，试问，用Af 对上述字符串进行分类的结果为（ ）。 1.22 句法模式识别中模式描述方法有： 。 （1）符号串 （2）树 （3）图 （4）特征向量
模式识别课程设计 聚类图像分割 一．图像分割概述 图像分割是一种重要的图像分析技术。在对图像的研究和应用中，人们往往仅对图像中的某些部分感兴趣。这些部分常称为目标或前景（其他部分称为背景）。它们一般对应图像中特定的、具有独特性质的区域。为了辨识和分析图像中的目标，需要将它们从图像中分离提取出来，在此基础上才有可能进一步对目标进行测量，对图像进行利用。图像分割就是把图像分成各具特性的区域并提取出感兴趣目标的技术和过程。现有的图像分割方法主要分以下几类：基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法等。近年来，研究人员不断改进原有的图像分割方法并把其它学科的一些新理论和新方法用于图像分割，提出了不少新的分割方法。 图象分割是图象处理、模式识别和人工智能等多个领域中一个十分重要且又十分困难的问题，是计算机视觉技术中首要的、重要的关键步骤。图象分割应用在许多方面，例如在汽车车型自动识别系统中，从CCD摄像头获取的图象中除了汽车之外还有许多其他的物体和背景，为了进一步提取汽车特征，辨识车型，图象分割是必须的。因此其应用从小到检查癌细胞、精密零件表面缺陷检测，大到处理卫星拍摄的地形地貌照片等。在所有这些应用领域中，最终结果很大程度上
依赖于图象分割的结果。因此为了对物体进行特征的提取和识别，首先需要把待处理的物体(目标)从背景中划分出来，即图象分割。但是，在一些复杂的问题中，例如金属材料内部结构特征的分割和识别，虽然图象分割方法已有上百种，但是现有的分割技术都不能得到令人满意的结果，原因在于计算机图象处理技术是对人类视觉的模拟，而人类的视觉系统是一种神奇的、高度自动化的生物图象处理系统。目前，人类对于视觉系统生物物理过程的认识还很肤浅，计算机图象处理系统要完全实现人类视觉系统，形成计算机视觉，还有一个很长的过程。因此从原理、应用和应用效果的评估上深入研究图象分割技术，对于提高计算机的视觉能力和理解人类的视觉系统都具有十分重要的意义。 二．常用的图像分割方法 1.基于阈值的分割方法 包括全局阈值、自适应阈值、最佳阈值等等。阈值分割算法的关键是确定阈值，如果能确定一个合适的阈值就可准确地将图像分割开来。阈值确定后，将阈值与像素点的灰度值比较和像素分割可对各像素并行地进行，分割的结果直接给出图像区域。全局阈值是指整幅图像使用同一个阈值做分割处理，适用于背景和前景有明显对比的图像。它是根据整幅图像确定的：T=T(f)。但是这种方法只考虑像素本身的灰度值，一般不考虑空间特征，因而对噪声很敏感。常用的全局阈值选取方法有利用图像灰度直方图的峰谷法、最小误差法、最大类间方差法、最大熵自动阈值法以及其它一些方法。
模式识别与智能系统硕士点 研究生入学复试大纲 复试笔试满分为150分，包括基本能力测试（45分）和专业基础知识测试（105分）两部分。采取闭卷考试，考试时间一般为2至3小时。 有关专业基础知识测试的说明 专业基础知识测试（105分）由21道题目组成，参加笔试同学可从中任意选择7道完成，每题15分。专业知识点包括以下七个方面： 一．图象处理(共3题) 考试知识点：数字图象直方图、基于直方图均衡化的图象增强、边缘检测算子、梯度大小/方向计算、频域滤波基础、频域滤波操作的基本步骤。 辅导材料：冈萨雷斯等，《数字图象处理》,第二版，电子工业出版社, 2003.3, ISBN 7-5053-8236-5。认真阅读该书的3.3, 4.2, 10.1。 二．信息安全(共2题) 考试知识点：信息熵的计算、信源编码。 辅导材料：《信息与编码理论基础》，万旺根，上海大学出版社。 三．人工智能(共2题) 考试知识点：人工智能的基本概念。 辅导材料：廉师友，人工智能技术导论（第二版）廉师友西安电子科技大学出版社, 2002.7, ISBN 7-5606-0811-6。认真阅读该书的第一章。 四．微型计算机原理(共5题) 考试知识点：80x86指令寻址模式及汇编指令的书写格式；不同进制数之间的转换；汇编程序的阅读；计数器模块8253及其编程；可编程中断控制器8259模块及其编程。 注：相关硬件模块控制字格式不需记忆。（提供）
辅导材料：微型计算机技术及应用（第3版），戴梅萼等，清华大学出版社，2003 五．多媒体信息处理(共4题) 考试知识点：1.多媒体基本概念 多媒体技术，多媒体系统的层次结构，多媒体系统的组成 2.多媒体数据压缩： 数据压缩算法概念及分类，统计编码，预测编码，变换编码，分形编码 静态图像压缩标准JPEG，运动图像压缩标准MPEG，音频压缩标准 3.音频信息处理 声音数字化，音频文件格式，声卡的组成与设计(含声卡的工作原理、硬件设计、软件结构、编程接口等) 4.视频信息处理 视频信号数字化，视频的文件格式，视频压缩卡的设计 辅导材料：多媒体技术基础及应用，钟玉琢等，北京：清华大学出版社，2006.2 六．生物特征识别(共2题) 考试知识点：生物信息学序列联配（双序列比对，多序列比对）。 辅导材料：David W. Mount，《生物信息学：序列与基因组分析（影印）》,Bioinformatics: Sequence and Genome Analysis, Cold Spring Harbor Lab(CSHL) Press。认真阅读sequence alignment 的相关内容。 七．射频识别(共3题) 考试知识点：电子标签的基本概念。 辅导材料：纪震，李慧慧等，《电子标签原理与应用》,西安电子科技大学出版社, 2005.12, ISBN 705606-1599-6。认真阅读该书的第一章。
《模式识别》期末考试试题（ A ） 一、填空题（ 15 个空，每空 2 分，共 30 分） 1 ．基于机器学习的模式识别系统通常由两个过程组成 , 即（ ）和分类判决。 2 ．统计模式识别把观察对象表达为一个随机向量 (即特征向量 ), 将 ( ) 表达为由有穷或无穷个具有相似数值特性的 模式组成的集合。 3 ．特征一般有两种表达方法 : (1)将特征表达为 ( )； (2)将特征表达为基元。 4 ．特征提取是指采用变换或映射实现由模式测量空间向 ( )的转变。 5 ．同一类模式类样本的分布比较集中，没有或临界样本很少，这样的模式类称为 ( )。 6 ．加权空间的所有 ( )都通过坐标原点。 7．线性多类判别： 若每两个模式类间可用判别平面分开， 在这种情况下， M 类有 ( )个判别函数 ,存在有不确定 区域。 8 ．当取 ( )损失函数时 , 最小风险贝叶斯判决准则等价于最大后验概率判决准则。 9．Neyman-Pearson 决策的基本思想是 ( )某一错误率，同时追求另一错误率最小。 10．聚类 /集群：用事先不知样本的类别，而利用样本的先验知识来构造分类器属于 ( )学习。 11．相似性测度、 ( )和聚类算法称为聚类分析的三要素。 12． K/C 均值算法使用的聚类准则函数是 ( )准则，通过反复迭代优化聚类结果，使所有样本到各自所属类别的中 心的距离平方和达到最小。 13．根据神经元的不同连接方式，可将神经网络分为分层网络和相互连接型网络两大类。其中分层网络可细分为前向网 络、具有反馈的前向网络和 ( )三种互连方式。 14．神经网络的特性及能力主要取决于 ( )及学习方法。 15． BP 神经网络是采用误差反向传播算法的多层前向网络，其中，神经元的传输函数为 是一种 ( )映射关系。 二、简答题（ 2 题，每小题 10 分，共 20 分） S 型函数，网络的输入和输出 1．简述有监督分类方法和无监督分类方法的主要区别。 1 1/ 2 2．已知一组数据的协方差矩阵为 ，试问： 1/2 1 (1) 协方差矩阵中各元素的含义是什么？ (2) K-L 变换的最佳准则是什么？ (3) 为什么说经 K-L 变换后消除了各分量之间的相关性？ 三、计算题(2 题，每小题 13 分，共 26 分 ) 1．设有两类样本，两类样本的类内离散度矩阵分别为 S 1 1/ 2 ， S 1 1/ 2 ，各类样本均值分别为 1 1/ 2 1 2 1/ 2 1 T T μ1 2 0 和 μ2 2 2 ，试用 Fisher 准则求其决策面方程。 2．设有两类正态分布的样本集，第一类均值 μ1 T 1 1/ 2 T 20，方差 1 1/ 2 ，第二类均值 μ2 22，方差 1 1 1/ 2 p( 2 ) 。试按最小错误率 Bayes 决策求两类的分界面。 2 1/ 2 ，先验概率 p( 1 ) 1
人工智能与模式识别 摘要：模式识别(Pattern Recognition)是人类的一项基本智能，着20世纪40年代计算机的出现以及50年代人工智能的兴起，模式识别技术有了长足的发展。模式识别与统计学、心理学、语言学、计算机科学、生物学、控制论等都有关系。它与人工智能、图像处理的研究有交叉关系。模式识别的发展潜力巨大。 关键词:人工智能模式识别模式识别的方法模式识别的应用模式识别的发展潜力 正文: 模式识别的定义是借助计算机，就人类对外部世界某一特定环境中的客体、过程和现象的识别功能(包括视觉、听觉、触觉、判断等)进行自动模拟的科学技术。随着20世纪40年代计算机的出现以及50年代人工智能的兴起，人们当然也希望能用计算机来代替或扩展人类的部分脑力劳动。(计算机)模式识别在20世纪60年代初迅速发展并成为一门新学科。 模式识别(Pattern Recognition)是指对表征事物或现象的各种形式的(数 值的、文字的和逻辑关系的)信息进行处理和分析,以对事物或现象进行描述、辨认、分类和解释的过程,是信息科学和人工智能的重要组成部分。模式识别又常称作模式分类，从处理问题的性质和解决问题的方法等角度，模式识别分为有监督的分类（Supervised Classification）和无监督的分类(Unsupervised Classification)两种。二者的主要差别在于，各实验样本所属的类别是否预先已知。一般说来，有监督的分类往往需要提供大量已知类别的样本，但在实际问题中，这是存在一定困难的，因此研究无监督的分类就变得十分有必要了。 此外，模式还可分成抽象的和具体的两种形式。前者如意识、思想、议论等,属于概念识别研究的范畴,是人工智能的另一研究分支。我们所指的模式识别主要是对语音波形、地震波、心电图、脑电图、图片、照片、文字、符号、生物传感器等对象的具体模式进行辨识和分类。 模式识别研究主要集中在两方面,一是研究生物体(包括人)是如何感知对象的，属于认识科学的范畴,二是在给定的任务下,如何用计算机实现模式识别的理论和方法。 模式识别与很多学科都有联系，它与统计学、心理学、语言学、计算机科学、生物学、控制论等都有关系。它与人工智能、图像处理的研究有交叉关系。例如自适应或自组织的模式识别系统包含了人工智能的学习机制；人工智能研究的景物理解、自然语言理解也包含模式识别问题。又如模式识别中的预处理和特征抽取环节应用图像处理的技术；图像处理中的图像分析也应用模式识别的技术。 模式识别的方法主要有决策理论方法和句法方法，模式识别方法的选择取决于问题的性质。如果被识别的对象极为复杂，而且包含丰富的结构信息，一般采用句法方法；被识别对象不很复杂或不含明显的结构信息，一般采用决策理论方法。这两种方法不能截然分开，在句法方法中，基元本身就是用决策理论方法抽取的。在应用中，将这两种方法结合起来分别施加于不同的层次，常能收到较好的效果。 模式识别的应用非常广泛，比较典型的有：1 文字识别：在信息技术及计算机技术日益普及的今天，如何将文字方便、快速地输入到计算机中已成为影响人机接口效率的一个重要瓶颈，也关系到计算机能否真正在我过得到普及的应用。
题型： 1.填空题5题 填空题2.名词解释4题 3.问答题4题 4.计算作图题3题 5.综合计算题1题 备注1：没有整理第一章和第六章，老师说不考的 备注2：非线性判别函数相关概念P69 概率相关定义、性质、公式P83以后 最小错误率贝叶斯决策公式P85 最小风险贝叶斯P86 正态贝叶斯P90 综合计算有可能是第六次作业 一、填空题 物以类聚人以群分体现的是聚类分析的基本思想。 模式识别分类：1.从实现方法来分模式识别分为监督分类和非监督分类；2.从理论上来分， 有统计模式识别，统计模式识别，模糊模式识别，神经网络模式识别法 聚类分析是按照不同对象之间的差异，根据距离函数的规律做模式分类的。 模式的特性：可观察性、可区分性、相似性 模式识别的任务：一是研究生物体（包括人）是如何感知对象的，二是如何用计算机实现 模式识别的理论和方法。 计算机的发展方向：1.神经网络计算机－－模拟人的大脑思维；2.生物计算机－－运用生 物工程技术、蛋白分子作芯片； 3.光计算机－－用光作为信息载体，通过对光的处理来完成对信息的处理。 训练学习方法：监督学习、无监督学习（无先验知识，甚至类别数也未知）。 统计模式识别有：1.聚类分析法（非监督）；2.判决函数法/几何分类法(监督)；3.基于 统计决策的概率分类法 - 以模式集在特征空间中分布的类概率密度函数为基础，对总体特 征进行研究，以取得分类的方法 数据的标准化目的：消除各个分量之间数值范围大小对算法的影响 模式识别系统的基本构成：书P7 聚类过程遵循的基本步骤：特征选择；近邻测度；聚类准则；聚类算法；结果验证；结果 判定。 相似测度基础：以两矢量的方向是否相近作为考虑的基础,矢量长度并不重要。 确定聚类准则的两种方式：阈值准则，函数准则 基于距离阈值的聚类算法——分解聚类：近邻聚类法；最大最小距离聚类法 类间距离计算准则:1）最短距离法2）最长距离法 3）中间距离法4）重心法5）类平均距 离法6）离差平方和法P24 系统聚类法——合并的思想 用于随机模式分类识别的方法，通常称为贝叶斯判决。 BAYES 决策常用的准则：最小错误率；最小风险 错误率的计算或估计方法：①按理论公式计算；②计算错误率上界；③实验估计。