下载文档原格式
第五章非线性分类器¾引言¾分段线性判别函数¾二次判别函数5.1 引言¾线性判别函数简单、实用、经济，但线性不可分时错误率可能较大。
¾问题线性不可分•噪声影响•问题本身：非线性分类器¾两种非线性分类器•分段线性判别函数•二次判别函数5.2 分段线性判别函数¾分段线性判别函数是一种特殊的非线性判别函数。
它确定的决策面是由若干超平面段组成的。
¾由于它的基本组成仍然是超平面，因此，与一般超曲面(例如贝叶斯决策面)相比，仍然是简单的；又由于它是由多段超平面组成的，所以它能逼近各种形状的超曲面，具有很强的适应能力。
5.2 分段线性判别函数¾下图分别给出了采用线性判别函数，分段线性判别函数和二次判别函数所得到的分界面。
ω1ω1ω2ⅠⅠ：线性判别ⅡⅡ：分段线性判别Ⅲ：二次判别Ⅲ5.2 分段线性判别函数¾当类条件概率密度函数为正态分布，各特征统计独立且同方差时，贝叶斯决策规则可得到线性判别函数，特别是当P (ω1) = P (ω2)时，决策规则可以写成1220ω⎧−−−<→∈x x x 122||||||||ω⎨⎩μμ这时的决策面是两类期望连线的垂直平分面，这样的分类器叫做最小距离分类。
5.2 分段线性判别函数x 2这一判别函数虽然是在十分x特殊的条件下推出来的，但μ1它却给了我们一个相当重要的启示，这就是可以把均值μ2g (x )=0作为各类的代表点，用距离作为判别函数进行分类。
x 105.2 分段线性判别函数考虑两类分布情况：ω1类和ω2类都是多峰分布。
ω1如果利用上面方法，把ω112m 1Ⅰ各类均值仍作为代表点，设计最小距离分类器，ω21ω22m 2则得到分界面Ⅰ。
ω32缺点：错误率较大。
5.2 分段线性判别函数分段线性距离判别：如果每类不是只取一个代表点，而是取多个代表点，例如，ω类取两个代表点，ω类取三个代表点，ω112仍利用上面定义的距离判别函IIω112数，把未知样本x 归到离它最近的代表点所属的类别，则可ω2ω22得到如图中折线(即分界面Ⅱ所示的分段线性分界面，它是由1多段超平面组成的，其中每一段都是最小距离分类器。
第5章：线性判别函数第一部分：计算与证明1． 有四个来自于两个类别的二维空间中的样本，其中第一类的两个样本为(1,4)T 和(2,3)T ，第二类的两个样本为(4,1)T 和(3,2)T 。
这里，上标T 表示向量转置。
假设初始的权向量a=(0,1)T ，且梯度更新步长ηk 固定为1。
试利用批处理感知器算法求解线性判别函数g(y)=a T y 的权向量。
解：首先对样本进行规范化处理。
将第二类样本更改为(4,1)T 和(3,2)T . 然后计算错分样本集：g(y 1) = (0,1)(1,4)T = 4 > 0 (正确) g(y 2) = (0,1)(2,3)T = 3 > 0 (正确) g(y 3) = (0,1)(-4,-1)T = -1 < 0 (错分) g(y 4) = (0,1)(-3,-2)T = -2 < 0 (错分) 所以错分样本集为Y={(-4,-1)T , (-3,-2)T }.接着，对错分样本集求和：(-4,-1)T +(-3,-2)T = (-7,-3)T第一次修正权向量a ，以完成一次梯度下降更新：a=(0,1)T + (-7,-3)T =(-7,-2)T 再次计算错分样本集：g(y 1) = (-7,-2)(1,4)T = -15 < 0 (错分) g(y 2) = (-7,-2)(2,3)T = -20 < 0 (错分) g(y 3) = (-7,-2)(-4,-1)T = 30 > 0 (正确) g(y 4) = (-7,-2)(-3,-2)T = 25 > 0 (正确) 所以错分样本集为Y={(1,4)T , (2,3)T }.接着，对错分样本集求和：(1,4)T +(2,3)T = (3,7)T第二次修正权向量a ，以完成二次梯度下降更新：a=(-7,-2)T + (3,7)T =(-4,5)T 再次计算错分样本集：g(y 1) = (-4,5)(1,4)T = 16 > 0 (正确) g(y 2) = (-4,5)(2,3)T = 7 > 0 (正确) g(y 3) = (-4,5)(-4,-1)T = 11 > 0 (正确) g(y 4) = (-4,5)(-3,-2)T = 2 > 0 (正确)此时，全部样本均被正确分类，算法结束，所得权向量a=(-4,5)T 。
1 .简述模式的概念及其直观特性，模式识别的分类，有哪几种方法。
（6'）答（1）：什么是模式？广义地说，存在于时间和空间中可观察的物体，如果我们可以区别它们是否相同或是否相似，都可以称之为模式。
模式所指的不是事物本身，而是从事物获得的信息，因此，模式往往表现为具有时间和空间分布的信息。
模式的直观特性：可观察性；可区分性；相似性.答（2）：模式识别的分类：假说的两种获得方法（模式识别进行学习的两种方法）：•监督学习、概念驱动或归纳假说：•非监督学习、数据驱动或演绎假说。
模式分类的主要方法：•数据聚类:用某种相似性度量的方法将原始数据组织成有意义的和有用的各种数据集。
是一种非监督学习的方法，解决方案是数据驱动的。
•统计分类:基于概率统计模型得到各类别的特征向量的分布，以取得分类的方法。
特征向量分布的获得是基于一个类别已知的训练样本集。
是一种监督分类的方法，分类器是概念驱动的。
•结构模式识别:该方法通过考虑识别对象的各部分之间的联系来达到识别分类的目的。
（句法模式识别）•神经网络:由一系列互相联系的、相同的单元（神经元）组成。
相互间的联系可以在不同的神经元之间传递增强或抑制信号。
增强或抑制是通过调整神经元相互间联系的权重系数来（weight）实现。
神经网络可以实现监督和非监督学习条件下的分类。
2.什么是神经网络？有什么主要特点？选择神经网络模式应该考虑什么因素？（8,）•（1 ）：所谓△工神经网络就是基于模仿生物大脑的结构和功能而构成的二种值息处理系统计算机Z由于我们建立的信息处理系统实际上是模仿生理神经网络, 的复杂程度，通过调整内部大量节点之间相互连接的关系, 人工神经网络的两种操作过程：训练学习、正常操作答（2）：人工神经网络的特点：•固有的并行结构和并行处理；•知识的分布存储,•有较强的容错性,•有一定的自适应性,人工神经网络的局限性：•人工神经网络不适于高精度的计算；•人工神经网络不适于做类似顺序计数的工作；•人工神经网络的学习和训练往往是一个艰难的过程;•人工神经网络必须克服时间域顺序处理方面的困难;•硬件限制：•正确的训练数据的收集。
模式识别讲义《模式识别与图像处理》教学讲义上篇模式识别§1. 模式识别序论近年来，科技发展的重要方向之一就是：人类智能的机器化和人造机器的智能化。
前者以计算机、专家系统、神经网络算法等为代表；后者以智能机器人（具有视觉、听觉、触觉、嗅觉等）为典型。
两个方向的努力都归结为一个目标——研究人工智能。
当然，目前科技水平还远没有达到设定目标。
使机器具有人类的智能水平，使机器像人那样进行目标识别尚需艰苦努力。
模式识别是智能的核心功能之一。
换句话说就是模式识别属于人工智能的范畴。
这里所说的智能或人工智能是指用机器完成以往只能由人类方能胜任的智能活动。
包括：①通过视、听、触、嗅觉接受各种自然信息、感知环境；②经推理、分析、判断、综合将感性认识加工成理论知识，进而形成概念、建立方法以及做出决策；③对外界环境的变化和干扰做出适应性反应等等。
模式识别就是要用机器实现上述第一项人类智能活动。
而第二项则已有神经网络、专家系统等仿照人类思维的智能方法。
第三项则是人类早已开始研究的各种自动化技术、自适应控制、自学习控制等。
那么，什么叫做模式识别呢？§1－1 模式识别的基本概念1、模式与模式识别定义一：模式是一些供模仿用的完美无缺的标本；模式识别就是辨别出特定客体所模仿的标本。
定义二：模式是对特定客体的定量的或结构的描述；模式识别是把待识别模式划分到各自的模式类中去。
这里所说的模式类是具有某些共同特性的模式的集合。
两个定义中，模式一词的含义是不同的。
前者指标本，后者指对客体的描述。
本课程中使用定义二，并且作如下狭义约定：模式识别是指利用计算机自动地或有少量人为干预的方法把待识别模式加以分类，即划分到模式类中去。
一般认为，模式是通过对具体的事物进行观测所得到的具有时间与空间分布的信息，模式所属的类别或同一类中的模式的总体称为模式类，其中个别具体的模式往往称为样本。
模式识别就是研究通过计算机自动的(或人为少量干预)将待识别的模式分配到各个模式类中的技术。
可编辑修改精选全文完整版《模式识别》课程标准一、课程概述1.课程性质《模式识别》是人工智能技术服务专业针对人工智能产业及其应用相关的企事业单位的人工智能技术应用开发、系统运维、产品营销、技术支持等岗位，经过对企业岗位典型工作任务的调研和分析后，归纳总结出来的为适应人工智能产品开发与测试、数据处理、系统运维等能力要求而设置的一门专业核心课程。
2.课程任务《模式识别》课程通过与各类特征识别应用案例开发相关的实际项目学习，增强学生对本专业智能感知与识别算法知识的认识，训练他们养成良好的解析思维习惯，在理解理论知识的基础之上，根据实现情况分析与设计出最优解决方案，再用编程方式实现特征提取和识别算法并加以应用的能力，从而满足企业对相应岗位的职业能力需求。
3.课程要求通过课程的学习培养学生智能感知与识别算法应用方面的岗位职业能力，分析问题、解决问题的能力，养成良好的职业道德，为后续课程的学习打下坚实的基础。
二、教学目标（一）知识目标（1）了解模式识别的概念，掌握通过编程实现模板匹配算法来解决简单的模式识别问题的能力；（2）了解常用模式识别算法的原理，能初步利用该类算法解决具体模式识别问题的一般方法；（3）理解特征提取与降维的概念及主要方法，并能够在解决模式识别问题的过程中加以应用；（4）详细了解BP神经网络的原理，熟练掌握利用该算法解决手写体识别问题的方法；（5）详细了解朴素贝叶斯分类器算法的原理，熟练掌握利用该算法解决打印体文字识别问题的方法；（6）详细了解基于隐马尔可夫模型的语音识别原理，熟练掌握利用该模型解决语音识别问题的方法；（7）详细了解基于PCA和SVM模型的人脸识别原理，熟练掌握利用该模型解决人脸识别问题的方法。
（二）能力目标（1）会识读程序流程图，能看懂案例程序代码；（2）会使用Python语言实现“模式识别”常规算法；（3）能按照任务要求，设计程序流程图，编写程序代码；（4）能够根据系统功能要求对程序进行调试；（5）能够对所编写的程序故障进行分析，提出解决方案并进行故障排除：（6）能根据系统工作情况，提出合理的改造方案，组织技术改造工作、绘制程序流程图、提出工艺要求、编制技术文件。
第二章：序列的采集和存储2. 序列数据的存储核酸序列数据库国际三大核酸序列数据库：GenBank, EBML, DDBJdbEST： Expressed Sequences Tags数据库UniGene等RefSeq: The Reference Sequence Database蛋白质序列数据库UniProtSwiss—prot & TrEMBL， PIR基因组数据库： Ensembl第三章序列比对I序列间比对的对应关系：匹配、替代、缺失、插入双序列比对算法：Dot matrix(点阵法)动态规划算法Needleman-Wunsch算法Sij = max of Si—1，j-1 + σ（xi , yj )Si—1，j —d ( 从左到右)Si,j—1 —d ( 从上到下)Smith-Waterman 算法Sij = max of 0Si-1,j-1 + σ(xi , yj )Si—1,j -d （从左到右)Si,j—1 -d （从上到下)FASTA和BLAST算法PSI-BLAST （位点特异性迭代BLAST）：1. 使用普通的blast算法进行搜索;2。
将搜索得到的序列，包括输入的序列放在一起，构建位点特异性的矩阵(Position Specific Matrix）；3。
利用上面得到的矩阵谱（profile），再次在数据库中进行搜索;4. 重复2 ，3 步,直到不再有新的序列出现；PHI—BLAST : 模式发现迭代BLAST第三章序列比对Ⅱ打分矩阵及其含义1，计分方法2， PAM系列矩阵3， BLOSUM 系列矩阵多序列比对：方法改进1。
渐进方法：代表:ClustalW/X, T—Coffee(1)ClustalW/X：计算过程1。
将所有序列两两比对，计算距离矩阵；2. 构建邻接进化树（neighbor—joining tree)/指导树(guide tree）；3。
将距离最近的两条序列用动态规划的算法进行比对；4。
