一、模式识别概论
在信息的处理过程中，首先需要解决的就是信息的分类问题。按“物以类聚”的自然规律，将大容量的信息分门别类，各种类别的信息分别归集在一起，然后找出它们内部的规律，以及它们相互之间的规律，然后按规律建立模型，进行生产过程的操作和控制，这样才能达到事半功倍的效果。
对具体的个别事物进行观测所得到的具有时间和空间分布的信息称为模式，而把模式所属的类别或同一类中模式的总体称为模式类。人们为了掌握客观事物，按事物相似的程度组成类别。模式识别的作用和目的就在于对某一具体事物时将其准确地归入某一类别。模式识别系统都由两个过程所组成，即设计和实现。设计是指用一定数量的样本进行分类器的设计。实现是指用所设计的分类器对待识别的样本进行分类决策。模式识别系统主要由4个部分组成:数据获取，预处理，特征提取和选择，分类决策。
分类决策就是在特征空间中用统计方法把被识别对象归为某一类别。基本作法是在样本训练集基础上确定某个判决规则，使按这种判决规则对被识别对象进行分类所造成的错误识别率最小或引起的损失最小。
二、模式识别的方法
模式分类是模式识别的主要内容，即将某个模式分到某个模式类中。在这个过程中首先需要建立样本库，然后根据样本库建立判别函
数，这一过程由机器来实现，成为学习过程。然后对一个未知的新对象分析它的特征，并根据判别函数决定它属于哪一类。模式分类是一种监督学习的方法。可用于模式分类的方法有很多，经典的方法有：
①统计模式识别
统计模式识别方法是受数学中的决策理论启发而产生的一种识
别方法。其基本思想是将特征提取阶段得到的特征向量定义在一个特征空间中，这个空间包含了所有的特征矢量。不同的特征向量，或者说不同类别的对象，都对应于此空间中的一点。在分类阶段，则利用统计决策的原理对特征空间进行划分，从而达到识别不同特征对象的目的。统计识别中应用的统计决策分类理论相对比较成熟，研究的重点是特征提取。这类方法中常用的方法有贝叶斯分类、线性分类、非线性分类和聚类分析。
这类方法的优点是比较成熟，能考虑干扰噪声等影响，识别模式基元能力强。但是该方法对结构复杂的模式抽取特征困难，不能反映模式的结构特征，难以描述结构的性质。难以从整体角度考虑识别问题。
②句法结构模式识别
句法识别是对统计识别方法的补充。统计方法用数值来描述图像的特征，句法方法则是用符号来描述图像特征的。它模仿了语言学中句法的层次结构，采用分层描述的方法，把复杂图像分解为单层或多层的简单子图像，主要突出了识别对象的结构信息。图像识别是从统计方法发展起来的，而句法方法扩大了识别的能力，使其不仅
限于对象物的分类，而且还用于景物的分析与物体结构的识别。这类方法中常用的方法有自动机技术、CYK剖析算法、Early算法和转移图法。
该类方法识别方便，可以从简单的基元开始，由简至繁。能反映模式的结构特征，能描述模式的性质。对图形的畸变抗干扰能力较强。但是该方法当存在干扰和噪声时，抽取特征基元困难，且易失误。
③模糊模式识别
模糊模式识别的理论基础是模糊数学。它根据人辨识事物的思维逻辑，吸取人脑的识别特点，将计算机中常用的二值逻辑转向连续逻辑。模糊识别的结果是用被识别对象隶属于某一类别的程度即隶属度来表示的，一个对象可以在某种程度上属于某一类别，而在另一种程度上属于另一类别。一般常规识别方法则要求一个对象只能属于某一类别。基于模糊集理论的识别方法有:最大隶属原则识别法、择近原则识别法和模糊聚类法。
该方法由于隶属度函数作为样本与模板间相似程度的度量，能反映整体的与主体的特征，从而允许样本有相当程度的干扰与畸变。但是该方法准确合理的隶属度函数往往难以建立，故限制了它的应用。
（1）贝叶斯分类
贝叶斯判别的核心问题是：样本为特征向量X时，它属于哪一类可能性有多大。如能确定属于各个类别的百分比(概率)，分类决策就有了依据。贝叶斯分类有最大后验概率判决准则和最小风险贝叶斯判决准则。
①最大后验概率判决准则
如果P(ω1|x)>P(ω2|x), 则判决x 属于ω1;
如果P(ω1|x)如果P(ω1|x)=P(ω2|x), 则判决x 属于ω1或属于ω2。
这种决策称为最大后验概率判决准则, 也称为贝叶斯(Bayes)判决准则。假设已知P(ωi )和p(x|ωi )(i=1, 2, …, m), 最大后验概
率判决准则就是把样本x 归入后验概率最大的类别中, 也就是 {1,2,,}
(|)max (|)j i i m P P ωω∈=x x 则x∈ωj 。
由于已知P(ωi )和p(x|ωi ), 因此需要找到P(ωi |x)与它们之间
的关系。假设特征变量为X ，由Bayes 公式 (|)()(|)()
i i i p P P p ωωω=x x x 若{1,2,,}
(|)()max (|)()j j i i i m p P p P ωωωω∈=x x ，则x ∈ωj ; 在最大后验概率判决准则中, x∈ωj 的决策区域R j 为
(|)()|,1,2,,,(|)()j i j i j p P R i m i j p P ωωωω⎧⎫⎪⎪=>=≠⎨⎬⎪⎪⎩⎭x x x (j =1, 2, …, m )
最大后验概率判决准则的一个优良性质就是使平均错误概率达到最小。因此,最大后验概率判决准则又称为最小错误概率判决准则。 ②最小风险贝叶斯判决准则
基于最小风险的贝叶斯决策的基本思路是给每一种决策规定一个损失值(或代价), 将其作为因错误决策而导致的损失的度量。
1.决策a i ： 将样本x 的类别判为第j 类。
2.损失函数λ(a j ,w i )：对真实类别为第i 类的样本采取决策a j 所带来的损失。
3.条件风险
当样本x 的真实类别未知时, 决策a j 的条件风险是对x 为所有可
能的真实类别条件下将样本判为第j 类的代价求平均, 即
1(|)(,)(|)m j j i i i R P αλαωω==∑x x
最小风险贝叶斯判决准则:
1,2,,(|)min (|)k j j m
R R αα==x x 则判决x ∈ωk ，其中1
(|)(,)(|)m j j i i i R P αλαωω==∑x x 。
（2）线性分类
线性判别函数的形式如下:
()T g w =+x w x 即011220()0T d d g w w x w x w x w =+=++++=x w x 。其中12(,,
,)T d w w w =w ，12(,,,)T d x x x =x 。其几何意义为d 维欧几里德空间中的一个超平面。线性分类器设计的关键在于确定权向量w 和阈值权w0。
对于两类分类问题, 线性判决函数的几何意义在于利用一个超平面实现对特征空间Rd 的划分。即
12()0T -=w x x
其中w 指向R1, R1中的点在H 的正侧。R2中的点在H 的负侧。如下图所示：
