哈工大模式识别第四章第五章

第一章 绪论1．1模式和模式识别模式识别是一门很受人们重视的学科。

早在30年代就有人试图以当时的技术解决一些识别问题，在近代，随着计算机科学技术的发展和应用，模式识别才真正发展起来。

从60年代至今，在模式识别领域中已取得了不少成果。

它的迅速发展和广泛应用前景引起各方面的关注。

模式识别属于人工智能范畴，人工智能就是用机器去完成过去只有人类才能做的智能活动。

在这里，“智能”指的是人类在认识和改造自然的过程中表现出来的智力活动的能力。

例如：通过视觉、听觉、触觉等感官接受图象、文字、声音等各种自然信息去认识外界环境的能力；将感性知识加工成理性知识的能力，即经过分析、推理、判断等思维过程而形成概念、建立方法和作出决策的能力；经过教育、训练、学习不断提高认识与改造客观环境的能力‘对外界环境的变化和干扰作出适应性反应的能力等。

模式识别就是要用机器去完成人类智能中通过视觉、听觉、触觉等感官去识别外界环境的自然信息的那些工作。

虽然模式识别与人工智能关系很密切，但是发展到现在，它已经形成了独立的学科，有其自身的理论和方法。

在许多领域中，模式识别已有不少比较成功的实际应用。

模式的概念：模式这个概念的内涵是很丰富的。

“我们把凡是人类能用其感官直接或间接接受的外界信息都称为模式”。

比如：文字、图片、景物；声音、语言；心电图、脑电图、地震波等；社会经济现象、某个系统的状态等，都是模式。

模式识别：模式识别是一门研究对象描述和分类方法的科学。

如，我们要听某一门课，必须做以下识别：1)看课表—文字识别；2)找教室和座位—景物识别；3)听课—声音识别。

再比如，医生给病人看病：1)首先要了解病情；问2)再做一些必要的检验；查3)根据找到的能够诊断病情的主要特征，如体温、血压、血相等，做出分类决策，即诊断。

对于比较简单的问题，可以认为识别就是分类。

如，对于识别从“0”到“9”这十个阿拉伯数字的问题。

对于比较复杂的识别问题，就往往不能用简单的分类来解决，还需要对待识别模式的描述。

第五章非线性分类器Ø支持向量机5.5 支持向量机ØVapnik等人在多年研究统计学习理论基础上对线性分类器提出了另一种设计最佳准则。

其原理也从线性可分说起，然后扩展到线性不可分的情况。

甚至扩展到使用非线性函数中去，这种分类器被称为支持向量机(Support Vector Machine，简称SVM)。

Ø支持向量机在设计时，需要用到条件极值问题的求解，因此需用拉格朗日乘子理论，但对多数人来说，以前学到的或常用的是约束条件为等式表示的方式，但在此要用到以不等式作为必须满足的条件，此时只要了解拉格朗日理论的有关结论就行。

5.5 支持向量机线性可分条件下的支持向量机最优分界面ØSVM的思想：由于两类别训练样本线性可分，因此在两个类别的样本集之间存在一个间隔。

对一个二维空间的问题用下图表示。

线性可分条件下的支持向量机最优分界面Ø其中H是将两类分开的分界面，而H1与H2与H平行，H是其平分面，H1上的样本是第一类样本到H最近距离的点，H2的点则是第二类样本距H的最近点。

5.5 支持向量机HH1H2线性可分条件下的支持向量机最优分界面Ø由于这两种样本点很特殊，处在间隔的边缘上，因此再附加一个圈表示。

这些点称为支持向量，它们决定了这个间隔。

HH 1H 25.5 支持向量机线性可分条件下的支持向量机最优分界面Ø从图上可以看出能把两类分开的分界面并不止H这一个，如果略改变H的方向，则根据H1、H2与H平行这一条件，H1、H2的方向也随之改变，这样一来，H1与H2之间的间隔(两条平行线的垂直距离)会发生改变。

Ø显然使H1与H2之间间隔最大的分界面H是最合理的选择，因此最大间隔准则就是支持向量机的最佳准则。

5.5 支持向量机5.5 支持向量机最佳线性分割线？高维空间？5.5 支持向量机寻找各自点所在的凸集中的最近点dc5.5 支持向量机最佳分割面dc5.5 支持向量机最优线性分离：最大化间隔最优分类超平面：它能够将训练样本没有错误的分开，并且两类训练样本中离超平面最近的样本与超平面之间的距离最大间隔（M a r g i n）：两类样本中离分类面最近的样本到分类面的距离间隔为了将这个准则具体化，需要用数学式子表达。

第一章 绪论1.什么是模式？具体事物所具有的信息。

模式所指的不是事物本身，而是我们从事物中获得的___信息__。

2.模式识别的定义？让计算机来判断事物。

3.模式识别系统主要由哪些部分组成？数据获取—预处理—特征提取与选择—分类器设计/ 分类决策。

第二章 贝叶斯决策理论1.最小错误率贝叶斯决策过程？ 答：已知先验概率，类条件概率。

利用贝叶斯公式得到后验概率。

根据后验概率大小进行决策分析。

2.最小错误率贝叶斯分类器设计过程？答：根据训练数据求出先验概率类条件概率分布 利用贝叶斯公式得到后验概率如果输入待测样本X ，计算X 的后验概率根据后验概率大小进行分类决策分析。

3.最小错误率贝叶斯决策规则有哪几种常用的表示形式？ 答：4.贝叶斯决策为什么称为最小错误率贝叶斯决策？答：最小错误率Bayes 决策使得每个观测值下的条件错误率最小因而保证了（平均）错误率 最小。

Bayes 决策是最优决策：即，能使决策错误率最小。

5.贝叶斯决策是由先验概率和（类条件概率）概率，推导（后验概率）概率，然后利用这个概率进行决策。

6.利用乘法法则和全概率公式证明贝叶斯公式答：∑====mj Aj p Aj B p B p A p A B p B p B A p AB p 1)()|()()()|()()|()(所以推出贝叶斯公式7.朴素贝叶斯方法的条件独立假设是（P(x| ωi) =P(x1, x2, …, xn | ωi)⎩⎨⎧∈>=<211221_,)(/)(_)|()|()(w w x w p w p w x p w x p x l 则如果∑==21)()|()()|()|(j j j i i i w P w x P w P w x P x w P 2,1),(=i w P i 2,1),|(=i w x p i ∑==21)()|()()|()|(j j j i i i w P w x P w P w x P x w P ∑===Mj j j i i i i i A P A B P A P A B P B P A P A B P B A P 1)()|()()|()()()|()|(= P(x1| ωi) P(x2| ωi)… P(xn| ωi)）8.怎样利用朴素贝叶斯方法获得各个属性的类条件概率分布？答：假设各属性独立，P(x| ωi) =P(x1, x2, …, xn | ωi) = P(x1| ωi) P(x2| ωi)… P(xn| ωi) 后验概率：P(ωi|x) = P(ωi) P(x1| ωi) P(x2| ωi)… P(xn| ωi)类别清晰的直接分类算，如果是数据连续的，假设属性服从正态分布，算出每个类的均值方差，最后得到类条件概率分布。

模式识别模式识别及其应用摘要：模式还可分成抽象的和具体的两种形式。

前者如意识、思想、议论等,属于概念识别研究的范畴,是人工智能的另一研究分支。

我们所指的模式识别主要是对语音波形、地震波、心电图、脑电图、图片、照片、文字、符号、生物的传感器等对象进行测量的具体模式进行分类和辨识。

关键词：模式识别应用模式识别(Pattern Recognition)是人类的一项基本智能，在日常生活中，人们经常在进行“模式识别”。

随着20世纪40年代计算机的出现以及50年代人工智能的兴起，人们当然也希望能用计算机来代替或扩展人类的部分脑力劳动。

(计算机)模式识别在20世纪60年代初迅速发展并成为一门新学科。

一，模式识别基本概念模式识别(Pattern Recognition)是指对表征事物或现象的各种形式的(数值的、文字的和逻辑关系的)信息进行处理和分析,以对事物或现象进行描述、辨认、分类和解释的过程,是信息科学和人工智能的重要组成部分。

什么是模式呢？广义地说，存在于时间和空间中可观察的事物，如果我们可以区别它们是否相同或是否相似，都可以称之为模式。

但模式所指的不是事物本身，而是我们从事物获得的信息。

因此，模式往往表现为具有时间或空间分布的信息。

模式还可分成抽象的和具体的两种形式。

前者如意识、思想、议论等,属于概念识别研究的范畴,是人工智能的另一研究分支。

我们所指的模式识别主要是对语音波形、地震波、心电图、脑电图、图片、照片、文字、符号、生物的传感器等对象进行测量的具体模式进行分类和辨识。

模式识别研究主要集中在两方面,一是研究生物体(包括人)是如何感知对象的，属于认识科学的范畴,二是在给定的任务下,如何用计算机实现模式识别的理论和方法。

前者是生理学家、心理学家、生物学家和神经生理学家的研究内容,后者通过数学家、信息学专家和计算机科学工作者近几十年来的努力,已经取得了系统的研究成果。

应用计算机对一组事件或过程进行鉴别和分类。

实验报告实验课程名称：模式识别：班级： 20120811 学号：注：1、每个实验中各项成绩按照5分制评定，实验成绩为各项总和2、平均成绩取各项实验平均成绩3、折合成绩按照教学大纲要求的百分比进行折合2015年 4月实验1 图像的贝叶斯分类1.1 实验目的将模式识别方法与图像处理技术相结合，掌握利用最小错分概率贝叶斯分类器进行图像分类的基本方法，通过实验加深对基本概念的理解。

1.2 实验仪器设备及软件HP D538、MATLAB1.3 实验原理1.3.1基本原理阈值化分割算法是计算机视觉中的常用算法，对灰度图象的阈值分割就是先确定一个处于图像灰度取值围的灰度阈值，然后将图像中每个像素的灰度值与这个阈值相比较。

并根据比较的结果将对应的像素划分为两类，灰度值大于阈值的像素划分为一类，小于阈值的划分为另一类，等于阈值的可任意划分到两类中的任何一类。

此过程中，确定阈值是分割的关键。

对一般的图像进行分割处理通常对图像的灰度分布有一定的假设，或者说是基于一定的图像模型。

最常用的模型可描述如下：假设图像由具有单峰灰度分布的目标和背景组成，处于目标和背景部相邻像素间的灰度值是高度相关的，但处于目标和背景交界处两边的像素灰度值有较大差别，此时，图像的灰度直方图基本上可看作是由分别对应于目标和背景的两个单峰直方图混合构成。

而且这两个分布应大小接近，且均值足够远，方差足够小，这种情况下直方图呈现较明显的双峰。

类似地，如果图像中包含多个单峰灰度目标，则直方图可能呈现较明显的多峰。

上述图像模型只是理想情况，有时图像中目标和背景的灰度值有部分交错。

这时如用全局阈值进行分割必然会产生一定的误差。

分割误差包括将目标分为背景和将背景分为目标两大类。

实际应用中应尽量减小错误分割的概率，常用的一种方法为选取最优阈值。

这里所谓的最优阈值，就是指能使误分割概率最小的分割阈值。

图像的直方图可以看成是对灰度值概率分布密度函数的一种近似。

如一幅图像中只包含目标和背景两类灰度区域，那么直方图所代表的灰度值概率密度函数可以表示为目标和背景两类灰度值概率密度函数的加权和。