下载文档原格式
1Pattern RecognitionFeng Jufu***********Center for Information ScienceNational Key Lab of Machine PerceptionPeking University2内容z1．导论z2．Bayes决策理论z3．概率密度估计z4．线性判别函数z5．神经网络z6．统计学习理论z7．SVMz8．正则化网络z9．特征空间z10.非监督学习与聚类z11. 应用举例3Referencesz[1] Richard O. Duda, Peter E. Hart, David G. Stork, PatternClassification, 2nd Edition, John Wiley & Sons, Inc. 2001z[2] 《模式识别》，边肇祺，张学工等编著，清华大学出版社，2000年1月第2版z[3] Vladimir N. Vapnik, The Nature of Statistical Learning, Springer-Verlag, New York, NY, 1995 (中译本《统计学习理论的本质》，张学工译，清华大学出版社，2000年9月)z[4] Vladimir N. Vapnik, Statistical Learning Theory, John Wiley &Sons, Inc. 1998z[5] Nello Cristianini, John Shawe-Taylor, An Introduction to SupportVector Machines and other kernel-based learning methods,Cambridge University Press, 2000z[6] S. Haykin, Neural Networks—a Comprehensive Foundation,2nd Edition, Tsinghua University Press, Prentice Hall Press, 2001.4主要期刊和会议z IEEE Trans. On PAMI, NNz Pattern Recognitionz Pattern Recognition Letterz Machine Learningz Neural Computationz《模式识别与人工智能》z CVPR、ICPR、ICML、COLT、NIPS……5第一章导论z模式识别简介z基本概念z模式识别方法z模式识别应用6Introductionz Pattern recognition is the study of howmachines can observe the environment, learnto distinguish patterns of interest from theirbackground, and make sound and reasonabledecisions about the categories of the patterns.(Anil K. Jain)7What is a Pattern ?z Watanabe defines a pattern “as opposite of achaos; it is an entity, vaguely defined, thatcould be given a name.”– a fingerprint image– a handwritten cursive word– a human face– a speech signal–……8识别z识别是时时刻刻发生的z识别（Recognition)—再认知（Re-Cognition)z 主要研究相似和分类问题–有监督分类–无监督分类9与其他学科的关系z 统计学z人工智能z机器学习z运筹学10模式识别系统z数据获取和预处理z数据表达z 决策11基本概念z识别（Recognition）z决策（Decision）z学习（Learning）z Generalization12Generalizez To reduce to a general form, class, or law.z使一般化赋予一普遍形式、种类或定律z To render indefinite or unspecific.z使概括使不确定或不具体z To infer from many particulars.z概括出，归纳从许多特殊事物中推论z To draw inferences or a general conclusion from.z概括从…中得出推论或一普遍结论z To make generally or universally applicable.z使普遍适用，使全球适用z To popularize.z推广13模式识别的方法z模版匹配z统计方法z句法方法z神经网络14模版匹配z首先对每个类别建立一个或多个模版z输入样本和数据库中每个类别的模版进行比较，求相关或距离z根据相关性或距离大小进行决策z优点：直接、简单z缺点：适应性差z形变模版15统计方法z根据训练样本，建立决策边界z统计决策理论——根据每一类总体的概率分布决定决策边界z判别分析方法——给出带参数的决策边界，根据某种准则，由训练样本决定“最优”的参数z本课程的重点内容16句法方法z许多复杂的模式可以分解为简单的子模式，这些子模式组成所谓“基元”z每个模式都可以由基元根据一定的关系来组成z基元可以认为是语言中的字母，每个模式都可以认为是一个句子，关系可以认为是语法z模式的相似性由句子的相似性来决定z 优点：适合结构性强的模式z缺点：抗噪声能力差，计算复杂度高17神经网络z大规模并行计算z学习、推广、自适应、容错、分布表达和计算z优点：可以有效的解决一些复杂的非线性问题z缺点：缺少有效的学习理论18神经网络和统计模式识别的关系Kohonen’s LVQK近邻径向基函数网络Parzen窗密度估计分类器多层感知机非线性决策分析多层感知机后验概率估计自相关网络，PCA网络PCA感知机线性决策函数人工神经网络统计模式识别19几种方法比较均值方差错误网络函数样本，像元，特征神经网络接受错误规则，语法基元句法方法分类错误决策函数特征统计方法分类错误相关，距离度量样本，像元，曲线模版匹配典型准则识别函数表达方法20模式识别应用z 文本分类z 文本图像分析z 工业自动化z 数据挖掘z 多媒体数据库检索z 生物特征识别z 语音识别z 生物信息学z 遥感z。
《模式识别导论》课程教学大纲一、课程基本信息课程编号：04010290课程中文名称：模式识别导论课程英文名称：Introduction of Pattern Recognition课程性质：专业任意选修课考核方式：考查开课专业：自动化、探测制导与控制技术开课学期：7总学时：24 （其中理论24学时，实验0学时）总学分：1.5二、课程目的和任务通过本课程的学习，使学生了解当前模式识别理论的发展现状，初步掌握模式识别的基本方法，使学生对模式、模式识别等基本概念有明确地认识，具有实用统计模式识别完成模式分类的能力。
三、教学基本要求（含素质教育与创新能力培养的要求）1、掌握模式、模式识别的含义；2、掌握基于Bayes决策理论的模式分类方法；3、掌握线性分类的基本方法；4、掌握近邻法；5、了解聚类分析的基本方法；6、了解特征提取的基本方法。
四、教学内容与学时分配第一章绪论（2学时）模式和模式识别；模式识别的发展和应用；模式识别的研究方法。
第二章Bayes决策理论（4学时）最小错误率的Bayes决策；最小风险的Bayes决策；Bayes分类器和判别函数；正态分布模式的Bayes分类器；均值向量和协方差矩阵的估计。
第三章线性判决函数（4学时）线性判决函数和决策面；最小距离分类器；感知机准则函数；平方误差准则函数；多类模式的线性分类器。
第四章非线性判决函数（4学时）分段线性判别函数；近邻法；K－近邻法；快速近邻法。
第五章聚类分析（4学时）模式相似性测度和聚类准则；分级聚类法；C—均值算法。
第六章特征提取（6学时）类别可分性准则；特征选择；基于距离的特征提取；基于K-L变换的特征提取。
五、教学方法及手段（含现代化教学手段）课堂讲授、专题讨论。
六、实验（或）上机内容无七、前续课程、后续课程前续课程：概率论与数理统计、线性代数后续课程：无八、教材及主要参考资料教材：[1] 黄凤岗，宋克欧. 模式识别[M]. 哈尔滨：哈尔滨工程大学出版社，1998.主要参考资料：[1] 杨光正等. 模式识别[M].合肥：中国科技大学出版社，2000.[2] 边肇祺，张学工. 模式识别[M].北京：清华大学出版社，2000.撰写人签字：院（系）教学院长（主任）签字：。
对人工智能理论及其应用的认识
一:人工智能的概述
人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。
人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。
人工智能是包括十分广泛的科学，它由不同的领域组成，如机器学习，计算机视觉等等，总的说来，人工智能研究的一个主要目标是使机器能够胜任一些通常需要人类智能才能完成的复杂工作。
但复杂工作的定义是随着时代的发展和技术的进步而变化的，人工智能这门科学的具体目标也自然随着时代的变化而发展。
它一方面不断获得新的进展，另一方面又转向更有意义、更加困难的目标。
目前能够用来研究人工智能的主要物质基础以及能够实现人工智能技术平台的机器就是计算机，除了计算机科学以外，人工智能还涉及信息论、控制论、自动化、仿生学、心理学、数理逻辑、语言学和哲学等多门学科。
人工智能学科研究的主要内容包括：知识表示、自动推理和搜索方法、机器学习和知识获取、知识处理系统、自然语言理解、智能机器人、自动程序设计等方面。
二.人工智能的研究方法
人工智能在计算机上实现时有2种不同的方式。
一种是采用传统的编程技术，使系统呈现智能的效果，而不考虑所用方法是否与人或动物机体所用的方法相同。
这种方法叫工程学方法另一种是模拟法，它不仅要看效果，还要求实现方法也和人类或生物机体所用的方法相同或相类似。
遗传算法模拟人类或生物的遗传-进化机制，人工神经网络则是模拟人类或动物大脑中神经细胞的活动方式。
为了得到相同智能效果，两种方式通常都可使用。
采用前一种方法，需要人工详细规定程序逻辑，如果游戏简单，还是方便的。
如果游戏复杂，角色数量和活动空间增加，相应的逻辑就会很复杂（按指数式增长），人工编程就非常繁琐，容易出错。
采用后一种方法时，编程者要为每一角色设计一个智能系统（一个模块）来进行控制，这个智能系统（模块）开始什么也不懂，但它能够学习，能渐渐地适应环境，应付各种复杂情况。
利用这种方法来实现人工智能，要求编程者具有生物学的思考方法，入门难度大一点。
但一旦入了门，就可得到广泛应用。
由于这种方法编程时无须对角色的活动规律做详细规定，应用于复杂问题，通常会比前一种方法更省力。
三人工智能的研究方向
3.1 问题求解
人工智能的第一个大成就是发展了能够求解难题的下棋(如国际象棋)程序。
在下棋程序中应用的某些技术，如向前看几步，并把困难的问题分成一些比较容易的子问题，发展成为搜索和问题归约这样的人工智能基本技术。
今天的计算机程序能够下锦标赛水平的各种方盘棋、十五子棋和国际象棋。
另一种问题求解程序把各种数学公式符号汇编在一起，其性能达到很高的水平，并正在为许多科学家和工程师所应用。
有些程序甚至还能够用经验来改善其性能。
3.2 逻辑推理与定理证明
逻辑推理是人工智能研究中最持久的子领域之一。
其中特别重要的是要找到一些方法，只把注意力集中在一个大型数据库中的有关事实上，留意可信的证明，并在出现新信息时适时修正这些证明。
对数学中臆测的定理寻找一个证明或反证，确实称得上是一项智能任务。
为此
不仅需要有根据假设进行演绎的能力，而且需要某些直觉技巧。
3.3 自动程序设计
也许程序设计并不是人类知识的一个十分重要的方面，但是它本身却是人工智能的一个重要研究领域。
这个领域的工作叫做自动程序设计。
已经研制出能够以各种不同的目的描述(例如输入，输出对，高级语言描述)来编写计算机程序。
对自动程序设计的研究不仅可以促进半自动软件开发系统的发展。
而且也使通过修正自身数码进行学习(即修正它们的性能)的人工智能系统得到发展。
3.4 专家系统
专家系统是依靠人类专家已有的知识建立起来的知识系统。
目前专家系统是人工智能研究中开展较早、最活跃、成效最多的领域，广泛应用于医疗诊断、地质勘探、石油化工、军事、文化教育等各方面。
它是在特定的领域内具有相应的知识和经验的程序系统，它应用人工智能技术、模拟人类专家解决同题时的思维过程，来求解领域内的各种问题，达到或接近专家的水平。
3.5 机器学习
学习能力无疑是人工智能研究上最突出和最重要的一个方面。
人工智能在这方面的研究
近年来取得了一些进展。
学习是人类智能的主要标志和获得知识的基本手段。
机器学习(自动获取新的事实及新的推理算法)是使计算机具有智能的根本途径。
此外，机器学习还有助于发现人类学习的机理和揭示人脑的奥秘。
所以这是一个始终得到重视，理论正在创立，方法日臻完善，但远未达到理想境地的研究领域。
四、人工智能的应用领域
1.人工神经网络
由于冯·诺依曼(V anNeumann)体系结构的局限性，数字计算机存在一些尚无法解决的问题。
人们一直在寻找新的信息处理机制，神经网络计算就是其中之一。
研究结果已经证明，用神经网络处理直觉和形象思维信息具有比传统处理方式好得多的效果。
神经网络的发展有着非常广阔的科学背景，是众多学科研究的综合成果。
神经生理学家、心理学家与计算机科学家的共同研究得出的结论是：人脑是一个功能特别强大、结构异常复杂的信息处理系统，其基础是神经元及其互联关系。
因此，对人脑神经元和人工神经网络的研究，可能创造出新一代人工智能机--神经计算机。
对神经网络的研究始于40年代初期，经历了一条十分曲折的道路，几起几落，80年代初以来，对神经网络的研究再次出现高潮。
霍普菲尔德(Hopfield)提出用硬件实现神经网络，鲁梅尔哈特(Rumelhart)等提出多层网络中的反向传播(BP)算法就是两个重要标志。
现在，神经网络已在模式识别、图象处理、组合优化、自动控制、信息处理、机器人学和人工智能的其它领域获得日益广泛的应用。
2.机器人学
人工智能研究日益受到重视的另一个分支是机器人学，其中包括对操作机器人装置程序的研究。
这个领域所研究的问题，从机器人手臂的最佳移动到实现机器人目标的动作序列的规划方法，无所不包。
机器人和机器人学的研究促进了许多人工智能思想的发展。
它所导致的一些技术可用来模拟世界的状态，用来描述从一种世界状态转变为另一种世界状态的过程。
它对于怎样产生动作序列的规划以及怎样监督这些规划的执行有了一种较好的理解。
复杂的机器人控制问题迫使我们发展一些方法，先在抽象和忽略细节的高层进行规划，然后再逐步在细节越来越重要的低层进行规划。
智能机器人的研究和应用体现出广泛的学科交叉，涉及众多的课题，如机器人体系结构、机构、控制、智能、视觉、触觉、力觉、听觉、机器人装配、恶劣环境下的机器人以及机器人语言等。
机器人已在各种工业、农业、商业、旅游业、空中和海洋以及国防等领域获得越来越普遍的应用。
3.机器视觉
机器视觉或计算机视觉已从模式识别的一个研究领域发展为一门独立的学科。
在视觉方面，已经给计算机系统装上电视输入装置以便能够"看见"周围的东西。
视觉是感知问题之一。
在人工智能中研究的感知过程通常包含一组操作。
例如，可见的景物由传感器编码，并被表示为一个灰度数值的矩阵。
这些灰度数值由检测器加以处理。
检测器搜索主要图象的成分，如线段、简单曲线和角度等。
这些成分又被处理，以便根据景物的表面和形状来推断有关景物的三维特性信息。
机器视觉的前沿研究领域包括实时并行处理、主动式定性视觉、动态和时变视觉、三维景物的建模与识别、实时图象压缩传输和复原、多光谱和彩色图象的处理与解释等。
机器视觉已在机器人装配、卫星图象处理、工业过程监控、飞行器跟踪和制导以及电视实况转播等领域获得极为广泛的应用。
五、小结
人工智能是一门包括计算机科学、控制学、语言论、神经生理学、心理学、等多种学科相互渗透发展起来的学科,其研究对象可以归纳为“机器智能、智能机器”,它体现在思维、感知、行为三个层次,而它要模拟眼神、扩展人的智能,其研究内容可以分为机器思维和思维机器、机器感知和感知机器、机器行为和行为机器三个层次。
人工智能研究与应用虽然取得了不少成果,但离全面推广应用还有很大距离,还有许多问题有待于解决且需要许多学科的研究专家共同创作。
