01模式识别导论

1Pattern RecognitionFeng Jufu***********Center for Information ScienceNational Key Lab of Machine PerceptionPeking University2内容z1．导论z2．Bayes决策理论z3．概率密度估计z4．线性判别函数z5．神经网络z6．统计学习理论z7．SVMz8．正则化网络z9．特征空间z10.非监督学习与聚类z11. 应用举例3Referencesz[1] Richard O. Duda, Peter E. Hart, David G. Stork, PatternClassification, 2nd Edition, John Wiley & Sons, Inc. 2001z[2] 《模式识别》，边肇祺，张学工等编著，清华大学出版社，2000年1月第2版z[3] Vladimir N. Vapnik, The Nature of Statistical Learning, Springer-Verlag, New York, NY, 1995 (中译本《统计学习理论的本质》，张学工译，清华大学出版社，2000年9月)z[4] Vladimir N. Vapnik, Statistical Learning Theory, John Wiley &Sons, Inc. 1998z[5] Nello Cristianini, John Shawe-Taylor, An Introduction to SupportVector Machines and other kernel-based learning methods,Cambridge University Press, 2000z[6] S. Haykin, Neural Networks—a Comprehensive Foundation,2nd Edition, Tsinghua University Press, Prentice Hall Press, 2001.4主要期刊和会议z IEEE Trans. On PAMI, NNz Pattern Recognitionz Pattern Recognition Letterz Machine Learningz Neural Computationz《模式识别与人工智能》z CVPR、ICPR、ICML、COLT、NIPS……5第一章导论z模式识别简介z基本概念z模式识别方法z模式识别应用6Introductionz Pattern recognition is the study of howmachines can observe the environment, learnto distinguish patterns of interest from theirbackground, and make sound and reasonabledecisions about the categories of the patterns.(Anil K. Jain)7What is a Pattern ?z Watanabe defines a pattern “as opposite of achaos; it is an entity, vaguely defined, thatcould be given a name.”– a fingerprint image– a handwritten cursive word– a human face– a speech signal–……8识别z识别是时时刻刻发生的z识别（Recognition)—再认知（Re-Cognition)z 主要研究相似和分类问题–有监督分类–无监督分类9与其他学科的关系z 统计学z人工智能z机器学习z运筹学10模式识别系统z数据获取和预处理z数据表达z 决策11基本概念z识别（Recognition）z决策（Decision）z学习（Learning）z Generalization12Generalizez To reduce to a general form, class, or law.z使一般化赋予一普遍形式、种类或定律z To render indefinite or unspecific.z使概括使不确定或不具体z To infer from many particulars.z概括出，归纳从许多特殊事物中推论z To draw inferences or a general conclusion from.z概括从…中得出推论或一普遍结论z To make generally or universally applicable.z使普遍适用，使全球适用z To popularize.z推广13模式识别的方法z模版匹配z统计方法z句法方法z神经网络14模版匹配z首先对每个类别建立一个或多个模版z输入样本和数据库中每个类别的模版进行比较，求相关或距离z根据相关性或距离大小进行决策z优点：直接、简单z缺点：适应性差z形变模版15统计方法z根据训练样本，建立决策边界z统计决策理论——根据每一类总体的概率分布决定决策边界z判别分析方法——给出带参数的决策边界，根据某种准则，由训练样本决定“最优”的参数z本课程的重点内容16句法方法z许多复杂的模式可以分解为简单的子模式，这些子模式组成所谓“基元”z每个模式都可以由基元根据一定的关系来组成z基元可以认为是语言中的字母，每个模式都可以认为是一个句子，关系可以认为是语法z模式的相似性由句子的相似性来决定z 优点：适合结构性强的模式z缺点：抗噪声能力差，计算复杂度高17神经网络z大规模并行计算z学习、推广、自适应、容错、分布表达和计算z优点：可以有效的解决一些复杂的非线性问题z缺点：缺少有效的学习理论18神经网络和统计模式识别的关系Kohonen’s LVQK近邻径向基函数网络Parzen窗密度估计分类器多层感知机非线性决策分析多层感知机后验概率估计自相关网络，PCA网络PCA感知机线性决策函数人工神经网络统计模式识别19几种方法比较均值方差错误网络函数样本，像元，特征神经网络接受错误规则，语法基元句法方法分类错误决策函数特征统计方法分类错误相关，距离度量样本，像元，曲线模版匹配典型准则识别函数表达方法20模式识别应用z 文本分类z 文本图像分析z 工业自动化z 数据挖掘z 多媒体数据库检索z 生物特征识别z 语音识别z 生物信息学z 遥感z。

第一章引论1·1 概述1.1.1模式识别模式识别(Pattern Recognition)：确定一个样本的类别属性（模式类）的过程，即把某一样本归属于多个类型中的某个类型。

样本（Sample)：一个具体的研究（客观）对象。

如患者，某人写的一个汉字，一幅图片等。

模式(Pattern)：对客体（研究对象）特征的描述（定量的或结构的描述），是取自客观世界的某一样本的测量值的集合（或综合）。

特征(Features)：能描述模式特性的量（测量值）。

在统计模式识别方法中，通常用一个矢量表示，称之为特征矢量，记为模式类(Class)：具有某些共同特性的模式的集合。

1.1.2 模式识别系统⑴特征提取从模式空间中选择最有利于模式分类的量作为特征，压缩模式维数，以便于处理，减少消耗。

特征提取一般以分类中使用的某种判决规则为准则。

所提取的特征使在某种准则下的分类错误最少。

为此需要考虑特征之间的统计关系，选用适当的正交变换，才能提取出最有效的特征。

⑵特征选择特征选择同样需要某种分类准则，在该准则下选择对分类贡献较大的特征，删除贡献较小的那些特征。

⑶学习和训练根据已知类别的样本确定分类判决准则矫正特征提取选择方法等⑷分类识别分类是把特征空间划分成类型空间。

把未知类别属性的样本确定为类型空间里的某一类型。

分类错误率越小越好，分类错误率的分析和计算比较困难。

影响分类错误率的因数–分类方法–分类器设计–提取的特征–样本质量等1.1.3模式识别的基本方法㈠统计模式识别理论基础：概率论，数理统计主要方法：线性、非线性分类、Bayes决策、聚类分析主要优点：1）比较成熟2）能考虑干扰噪声等影响3）识别模式基元能力强主要缺点：1）对结构复杂的模式抽取特征困难2）不能反映模式的结构特征，难以描述模式的性质3）难以从整体角度考虑识别问题㈡句法模式识别模式描述方法：符号串，树，图模式判定：是一种语言，用一个文法表示一个类，m类就有m个文法，然后判定未知模式遵循哪一个文法。