下载文档原格式
第五章非线性分类器¾引言¾分段线性判别函数¾二次判别函数5.1 引言¾线性判别函数简单、实用、经济，但线性不可分时错误率可能较大。
¾问题线性不可分•噪声影响•问题本身：非线性分类器¾两种非线性分类器•分段线性判别函数•二次判别函数5.2 分段线性判别函数¾分段线性判别函数是一种特殊的非线性判别函数。
它确定的决策面是由若干超平面段组成的。
¾由于它的基本组成仍然是超平面，因此，与一般超曲面(例如贝叶斯决策面)相比，仍然是简单的；又由于它是由多段超平面组成的，所以它能逼近各种形状的超曲面，具有很强的适应能力。
5.2 分段线性判别函数¾下图分别给出了采用线性判别函数，分段线性判别函数和二次判别函数所得到的分界面。
ω1ω1ω2ⅠⅠ：线性判别ⅡⅡ：分段线性判别Ⅲ：二次判别Ⅲ5.2 分段线性判别函数¾当类条件概率密度函数为正态分布，各特征统计独立且同方差时，贝叶斯决策规则可得到线性判别函数，特别是当P (ω1) = P (ω2)时，决策规则可以写成1220ω⎧−−−<→∈x x x 122||||||||ω⎨⎩μμ这时的决策面是两类期望连线的垂直平分面，这样的分类器叫做最小距离分类。
5.2 分段线性判别函数x 2这一判别函数虽然是在十分x特殊的条件下推出来的，但μ1它却给了我们一个相当重要的启示，这就是可以把均值μ2g (x )=0作为各类的代表点，用距离作为判别函数进行分类。
x 105.2 分段线性判别函数考虑两类分布情况：ω1类和ω2类都是多峰分布。
ω1如果利用上面方法，把ω112m 1Ⅰ各类均值仍作为代表点，设计最小距离分类器，ω21ω22m 2则得到分界面Ⅰ。
ω32缺点：错误率较大。
5.2 分段线性判别函数分段线性距离判别：如果每类不是只取一个代表点，而是取多个代表点，例如，ω类取两个代表点，ω类取三个代表点，ω112仍利用上面定义的距离判别函IIω112数，把未知样本x 归到离它最近的代表点所属的类别，则可ω2ω22得到如图中折线(即分界面Ⅱ所示的分段线性分界面，它是由1多段超平面组成的，其中每一段都是最小距离分类器。
第5章：线性判别函数第一部分：计算与证明1． 有四个来自于两个类别的二维空间中的样本，其中第一类的两个样本为(1,4)T 和(2,3)T ，第二类的两个样本为(4,1)T 和(3,2)T 。
这里，上标T 表示向量转置。
假设初始的权向量a=(0,1)T ，且梯度更新步长ηk 固定为1。
试利用批处理感知器算法求解线性判别函数g(y)=a T y 的权向量。
解：首先对样本进行规范化处理。
将第二类样本更改为(4,1)T 和(3,2)T . 然后计算错分样本集：g(y 1) = (0,1)(1,4)T = 4 > 0 (正确) g(y 2) = (0,1)(2,3)T = 3 > 0 (正确) g(y 3) = (0,1)(-4,-1)T = -1 < 0 (错分) g(y 4) = (0,1)(-3,-2)T = -2 < 0 (错分) 所以错分样本集为Y={(-4,-1)T , (-3,-2)T }.接着，对错分样本集求和：(-4,-1)T +(-3,-2)T = (-7,-3)T第一次修正权向量a ，以完成一次梯度下降更新：a=(0,1)T + (-7,-3)T =(-7,-2)T 再次计算错分样本集：g(y 1) = (-7,-2)(1,4)T = -15 < 0 (错分) g(y 2) = (-7,-2)(2,3)T = -20 < 0 (错分) g(y 3) = (-7,-2)(-4,-1)T = 30 > 0 (正确) g(y 4) = (-7,-2)(-3,-2)T = 25 > 0 (正确) 所以错分样本集为Y={(1,4)T , (2,3)T }.接着，对错分样本集求和：(1,4)T +(2,3)T = (3,7)T第二次修正权向量a ，以完成二次梯度下降更新：a=(-7,-2)T + (3,7)T =(-4,5)T 再次计算错分样本集：g(y 1) = (-4,5)(1,4)T = 16 > 0 (正确) g(y 2) = (-4,5)(2,3)T = 7 > 0 (正确) g(y 3) = (-4,5)(-4,-1)T = 11 > 0 (正确) g(y 4) = (-4,5)(-3,-2)T = 2 > 0 (正确)此时，全部样本均被正确分类，算法结束，所得权向量a=(-4,5)T 。
1 .简述模式的概念及其直观特性，模式识别的分类，有哪几种方法。
（6'）答（1）：什么是模式？广义地说，存在于时间和空间中可观察的物体，如果我们可以区别它们是否相同或是否相似，都可以称之为模式。
模式所指的不是事物本身，而是从事物获得的信息，因此，模式往往表现为具有时间和空间分布的信息。
模式的直观特性：可观察性；可区分性；相似性.答（2）：模式识别的分类：假说的两种获得方法（模式识别进行学习的两种方法）：•监督学习、概念驱动或归纳假说：•非监督学习、数据驱动或演绎假说。
模式分类的主要方法：•数据聚类:用某种相似性度量的方法将原始数据组织成有意义的和有用的各种数据集。
是一种非监督学习的方法，解决方案是数据驱动的。
•统计分类:基于概率统计模型得到各类别的特征向量的分布，以取得分类的方法。
特征向量分布的获得是基于一个类别已知的训练样本集。
是一种监督分类的方法，分类器是概念驱动的。
•结构模式识别:该方法通过考虑识别对象的各部分之间的联系来达到识别分类的目的。
（句法模式识别）•神经网络:由一系列互相联系的、相同的单元（神经元）组成。
相互间的联系可以在不同的神经元之间传递增强或抑制信号。
增强或抑制是通过调整神经元相互间联系的权重系数来（weight）实现。
神经网络可以实现监督和非监督学习条件下的分类。
2.什么是神经网络？有什么主要特点？选择神经网络模式应该考虑什么因素？（8,）•（1 ）：所谓△工神经网络就是基于模仿生物大脑的结构和功能而构成的二种值息处理系统计算机Z由于我们建立的信息处理系统实际上是模仿生理神经网络, 的复杂程度，通过调整内部大量节点之间相互连接的关系, 人工神经网络的两种操作过程：训练学习、正常操作答（2）：人工神经网络的特点：•固有的并行结构和并行处理；•知识的分布存储,•有较强的容错性,•有一定的自适应性,人工神经网络的局限性：•人工神经网络不适于高精度的计算；•人工神经网络不适于做类似顺序计数的工作；•人工神经网络的学习和训练往往是一个艰难的过程;•人工神经网络必须克服时间域顺序处理方面的困难;•硬件限制：•正确的训练数据的收集。
可编辑修改精选全文完整版《模式识别》课程标准一、课程概述1.课程性质《模式识别》是人工智能技术服务专业针对人工智能产业及其应用相关的企事业单位的人工智能技术应用开发、系统运维、产品营销、技术支持等岗位，经过对企业岗位典型工作任务的调研和分析后，归纳总结出来的为适应人工智能产品开发与测试、数据处理、系统运维等能力要求而设置的一门专业核心课程。
2.课程任务《模式识别》课程通过与各类特征识别应用案例开发相关的实际项目学习，增强学生对本专业智能感知与识别算法知识的认识，训练他们养成良好的解析思维习惯，在理解理论知识的基础之上，根据实现情况分析与设计出最优解决方案，再用编程方式实现特征提取和识别算法并加以应用的能力，从而满足企业对相应岗位的职业能力需求。
3.课程要求通过课程的学习培养学生智能感知与识别算法应用方面的岗位职业能力，分析问题、解决问题的能力，养成良好的职业道德，为后续课程的学习打下坚实的基础。
二、教学目标（一）知识目标（1）了解模式识别的概念，掌握通过编程实现模板匹配算法来解决简单的模式识别问题的能力；（2）了解常用模式识别算法的原理，能初步利用该类算法解决具体模式识别问题的一般方法；（3）理解特征提取与降维的概念及主要方法，并能够在解决模式识别问题的过程中加以应用；（4）详细了解BP神经网络的原理，熟练掌握利用该算法解决手写体识别问题的方法；（5）详细了解朴素贝叶斯分类器算法的原理，熟练掌握利用该算法解决打印体文字识别问题的方法；（6）详细了解基于隐马尔可夫模型的语音识别原理，熟练掌握利用该模型解决语音识别问题的方法；（7）详细了解基于PCA和SVM模型的人脸识别原理，熟练掌握利用该模型解决人脸识别问题的方法。
（二）能力目标（1）会识读程序流程图，能看懂案例程序代码；（2）会使用Python语言实现“模式识别”常规算法；（3）能按照任务要求，设计程序流程图，编写程序代码；（4）能够根据系统功能要求对程序进行调试；（5）能够对所编写的程序故障进行分析，提出解决方案并进行故障排除：（6）能根据系统工作情况，提出合理的改造方案，组织技术改造工作、绘制程序流程图、提出工艺要求、编制技术文件。
第一章绪论模式识别诞生于20世纪20年代，随着40年代计算机的出现，50年代人工智能的兴起，模式识别在60年代初迅速发展成为一门学科。
它所研究的理论和方法在很多科学和技术领域中得到了广泛的重视，推动了人工智能系统的发展，扩大了计算机应用的可能性。
几十年来，模式识别研究取得了大量的成果，在很多地方得到了成功的应用。
但是，由于模式识别涉及到很多复杂的问题，现有的理论和方法对于解决这些问题还有很多不足之处。
为了使读者更好地掌握后面的各章内容，对于这些内容的有限性和局限性有全面的认识，正确地使用这些理论和方法，进而研究新的理论和方法，本章主要讨论模式识别的一些基本概念和问题，以利于对模式识别的现状和未来的发展方向有更全面的了解。
1.1 模式识别和模式的概念我们在生活中时时刻刻都在进行模式识别。
环顾四周，我们能认出周围的物体是桌子、椅子，能认出对面的人是张三、李四；听到声音，我们能分辨出是炸带鱼还是臭豆腐。
我们所具备的这些模式识别的能力看起来极为平常，谁也不会对此感到惊讶，就连狗猫也能认识它们的主人，更低等的动物也能区别食物和敌害。
因此过去的心理学家也没注意到模式识别的能力是个值得研究的问题，就像苹果落地一样习惯不惊。
只有在计算机出现以后，当人们企图用计算机来实现人或动物所具备的模式识别的能力时，它的难度才逐步为人们所认识。
本书讨论的模式识别是指计算机实现人的模式识别能力。
由于计算机的模式识别在多数方面还远不如人，因此研究人脑中的模式识别过程对提高机器的能力是有益的；反之，研究机器模式识别的能力对于理解人脑中的过程也有很大的帮助，认知心理学的很多新模型得益于此。
什么是模式呢？广义地说，存在于时间和空间中可观察的事物，如果我们可以区别它们是否相同或是否相似，都称之为模式。
但模式所指的不是事物本身，而是我们从事物获得的信息。
因此，模式往往表现为具有时间或空间分布的信息。
由于本书主要讨论的是用计算机进行模式识别，信息进入计算机之前通常要经过取样和量化，在计算机中具有时空分布的信息表现为向量即数组。
