模式识别-模式相似性测度

第二章 聚类分析2.1 聚类分析的相关概念定义 对一批没有标出类别的模式样本集，按照样本之间的相似程度分类，相似的归为一类，不相似的归为另一类，这种分类称为聚类分析，也称为无监督分类。

模式相似/分类的依据把整个模式样本集的特征向量看成是分布在特征空间中的一些点，点与点之间的距离即可作为模式相似性的测量依据。

聚类分析是按不同对象之间的差异，根据距离函数的规律（大小）进行模式分类的。

聚类分析的有效性聚类分析方法是否有效，与模式特征向量的分布形式有很大关系。

若向量点的分布是一群一群的，同一群样本密集（距离很近），不同群样本距离很远，则很容易聚类；若样本集的向量分布聚成一团，不同群的样本混在一起，则很难分类；对具体对象做聚类分析的关键是选取合适的特征。

特征选取得好，向量分布容易区分，选取得不好，向量分布很难分开。

两类模式分类的实例：一摊黑白围棋子 选颜色作为特征进行分类，用“1”代表白，“0”代表黑，则很容易分类；选大小作为特征进行分类，则白子和黑子的特征相同，不能分类（把白子和黑子分开）。

特征选择的维数在特征选择中往往会选择一些多余的特征，它增加了维数，从而增加了聚类分析的复杂度，但对模式分类却没有提供多少有用的信息。

在这种情况下，需要去掉相关程度过高的特征（进行降维处理）。

降维方法设有N 个样本，它们的特征维数是n ，则有n*n 维的相关矩阵R = [ r ij ]nxn 其中，r ij 是第i 维与第j 维特征之间的相关系数：jjii ij ij r σσλ= 这里：σii 和σjj 分别是第i 个和第j 个分量的标准差，λij 是第i 个和第j 个分量的协方差。

分析：（1）根据相关系数的性质：1r 0ij ≤≤（利用柯西不等式证明）（2）r ij =0：表示两个分量完全不相关（3）r ij =1：表示两个分量完全相关结论：若rij->1，则表明第i 维特征与第j 维特征所反映的特征规律接近，因此可以略去其中的一个特征，或将它们合并为一个特征，从而使维数降低一维。

4.1 化学模式空间

一般而言，仅增加一个参量，难有如此显著 的改善，但由一维空间过渡到d维空间，d愈 大，改善程度愈大，则是普遍的规律，这是 由于客观世界本身就是多维的，因此，我们 应善于用多维的思维方法处理问题。而提供 多维数据的能力恰巧是现代仪器分析方法的 特征。仍以奶样为例，用传统的分析方法分 析奶样，每增加一个维数，需要多使用一种 奶中组分的分析方法。例如脂肪的测定方法， 与蛋白质的测定方法可能完全不同。
Dji Dia+ Dja ≥ Dij

条件(1)及(2)表明距离应取正值且是对称的，条件(2) 是作为“度量”距离与“非度量”距离的差异，在 二维平面上，二点间直线距离Dij就恒小于或等于其 它任何路径的长度。
4.2 模式空间的距离与相似性量度

Minkowski距离是一种广义的距离，对于d维空间的 两个模式矢量x(x1, x2,… ,xd)与z(z1, z2,… ,zd)，定义 为： d Dminkowski=[∑(xi-zi)k]1/k
4.3 线性学习机

从这个简单的例子出发，可探讨如何求出判决 面，即找到一个分类器。求决策面的过程，是 借助已知的A类与B类样本进行的，这一过程 称为训练过程，这些已知的样本称为训练集。 设有一组已知分类的样本集，可将其随机分为 两部分，一部分作训练集（或称学习集、参比 集）用于计算判决面；另一部分作预测集（或 称检验集）用于考察找出的判决面能否用来正 确地预测训练集以外的样本。分类器的优劣可 通过预测正确率来表征，如下图：
4.1 化学模式空间

但用现代色谱分析技术，即使奶中有数十个 成分，在理想的情况下，仍可能设计一种分 析方法，一次得到几十个色谱峰，每一个峰 的位置代表了不同组分，其高度或积分面积 代表了各组分的浓度。也就是说，以几十个 不同的色谱峰高作为参量，可以简便地获得 d值达到数十的化学模式。取得这种化学量 测数据所需的时间，可能并不比用传统纯粹 化学方法作一个组分测定建立一维模式所需 时间更长。

《模式识别》试题库一、基本概念题1.1 模式识别的三大核心问题是：、、。

1.2、模式分布为团状时，选用聚类算法较好。

1.3 欧式距离具有。

马式距离具有。

（1）平移不变性（2）旋转不变性（3）尺度缩放不变性（4）不受量纲影响的特性1.4 描述模式相似的测度有：。

（1）距离测度（2）模糊测度（3）相似测度（4）匹配测度1.5 利用两类方法处理多类问题的技术途径有：（1）；（2）；（3）。

其中最常用的是第个技术途径。

1.6 判别函数的正负和数值大小在分类中的意义是：，。

1.7 感知器算法。

（1）只适用于线性可分的情况；（2）线性可分、不可分都适用。

1.8 积累位势函数法的判别界面一般为。

（1）线性界面；（2）非线性界面。

1.9 基于距离的类别可分性判据有：。

（1）1[]w BTr S S-（2）BWSS（3）BW BSS S+1.10 作为统计判别问题的模式分类，在（）情况下，可使用聂曼-皮尔逊判决准则。

1.11 确定性模式非线形分类的势函数法中，位势函数K(x,x k)与积累位势函数K(x)的关系为（）。

1.12 用作确定性模式非线形分类的势函数法，通常，两个n维向量x和x k的函数K(x,x k)若同时满足下列三个条件，都可作为势函数。

①（）；②（ ）； ③ K(x,x k )是光滑函数，且是x 和x k 之间距离的单调下降函数。

1.13 散度J ij 越大，说明ωi 类模式与ωj 类模式的分布（ ）。

当ωi 类模式与ωj 类模式的分布相同时，J ij =（ ）。

1.14 若用Parzen 窗法估计模式的类概率密度函数，窗口尺寸h1过小可能产生的问题是（ ），h1过大可能产生的问题是（ ）。

1.15 信息熵可以作为一种可分性判据的原因是： 。

1.16作为统计判别问题的模式分类，在（ ）条件下，最小损失判决规则与最小错误判决规则是等价的。

1.17 随机变量l(x )=p( x |ω1)/p( x |ω2)，l( x )又称似然比，则E {l( x )|ω2}=（ ）。

大学模式识别考试题及答案详解Last revision on 21 December 2020一、填空与选择填空（本题答案写在此试卷上，30分）1、模式识别系统的基本构成单元包括：模式采集、特征提取与选择和模式分类。

2、统计模式识别中描述模式的方法一般使用特真矢量；句法模式识别中模式描述方法一般有串、树、网。

3、聚类分析算法属于（1）；判别域代数界面方程法属于（3）。

（1）无监督分类 (2)有监督分类（3）统计模式识别方法（4）句法模式识别方法4、若描述模式的特征量为0-1二值特征量，则一般采用（4）进行相似性度量。

（1）距离测度（2）模糊测度（3）相似测度（4）匹配测度5、下列函数可以作为聚类分析中的准则函数的有（1）（3）（4）。

（1）（2） (3)(4)6、Fisher线性判别函数的求解过程是将N维特征矢量投影在（2）中进行。

（1）二维空间（2）一维空间（3）N-1维空间7、下列判别域界面方程法中只适用于线性可分情况的算法有（1）；线性可分、不可分都适用的有（3）。

（1）感知器算法（2）H-K算法（3）积累位势函数法8、下列四元组中满足文法定义的有（1）（2）（4）。

（1）({A, B}, {0, 1}, {A01, A 0A1 , A 1A0 , B BA , B 0}, A)（2）({A}, {0, 1}, {A0, A 0A}, A)（3）({S}, {a, b}, {S 00S, S 11S, S 00, S 11}, S)（4）({A}, {0, 1}, {A01, A 0A1, A 1A0}, A)二、(15分)简答及证明题（1）影响聚类结果的主要因素有那些（2）证明马氏距离是平移不变的、非奇异线性变换不变的。

答：（1）分类准则，模式相似性测度，特征量的选择，量纲。

（2）证明：(2分)(2分)(1分)设，有非奇异线性变换：(1分)(4分)三、(8分)说明线性判别函数的正负和数值大小在分类中的意义并证明之。