模式识别实验报告2 贝叶斯分类实验 实验报告(例)

模式识别实验报告————————————————————————————————作者：————————————————————————————————日期：实验报告实验课程名称：模式识别姓名：王宇班级： 20110813 学号： 2011081325实验名称规范程度原理叙述实验过程实验结果实验成绩图像的贝叶斯分类K均值聚类算法神经网络模式识别平均成绩折合成绩注：1、每个实验中各项成绩按照5分制评定，实验成绩为各项总和2、平均成绩取各项实验平均成绩3、折合成绩按照教学大纲要求的百分比进行折合2014年 6月实验一、 图像的贝叶斯分类一、实验目的将模式识别方法与图像处理技术相结合，掌握利用最小错分概率贝叶斯分类器进行图像分类的基本方法，通过实验加深对基本概念的理解。

二、实验仪器设备及软件 HP D538、MATLAB 三、实验原理 概念：阈值化分割算法是计算机视觉中的常用算法，对灰度图象的阈值分割就是先确定一个处于图像灰度取值范围内的灰度阈值，然后将图像中每个像素的灰度值与这个阈值相比较。

并根据比较的结果将对应的像素划分为两类，灰度值大于阈值的像素划分为一类，小于阈值的划分为另一类，等于阈值的可任意划分到两类中的任何一类。

最常用的模型可描述如下：假设图像由具有单峰灰度分布的目标和背景组成，处于目标和背景内部相邻像素间的灰度值是高度相关的，但处于目标和背景交界处两边的像素灰度值有较大差别，此时，图像的灰度直方图基本上可看作是由分别对应于目标和背景的两个单峰直方图混合构成。

而且这两个分布应大小接近，且均值足够远，方差足够小，这种情况下直方图呈现较明显的双峰。

类似地，如果图像中包含多个单峰灰度目标，则直方图可能呈现较明显的多峰。

上述图像模型只是理想情况，有时图像中目标和背景的灰度值有部分交错。

这时如用全局阈值进行分割必然会产生一定的误差。

分割误差包括将目标分为背景和将背景分为目标两大类。

实际应用中应尽量减小错误分割的概率，常用的一种方法为选取最优阈值。

本文部分内容来自网络整理，本司不为其真实性负责，如有异议或侵权请及时联系，本司将立即删除！== 本文为word格式，下载后可方便编辑和修改！ ==分类器实验报告篇一：Bayes分类器设计实验报告装订线模式识别实验报告：学院计算机科学与技术专业 xxxxxxxxxxxxxxxx学号xxxxxxxxxxxx姓名xxxx指导教师xxxx201X年xx月xx日题目Bayes分类器设计一、实验目的对模式识别有一个初步的理解，能够根据自己的设计对贝叶斯决策理论算法有一个深刻地认识，理解二类分类器的设计原理。

二、实验原理最小风险贝叶斯决策可按下列步骤进行：(1)在已知叶斯公式计算出后验概率： ???及给出待识别的X的情况下，根据贝(2)利用计算出的后验概率及决策表，按下面的公式计算出采取险的条件风(3)对(2)中得到的a个条件风险值风险最小的决策????则就是最小风险贝叶斯决策。

，即进行比较，找出使其条件三、实验内容假定某个局部区域细胞识别中正常和非正常两类先验概率分别为正常状态：P （w1）=0.9；异常状态：P（w2）=0.1。

现有一系列待观察的细胞，其观察值为x：-3.9847-3.5549-1.2401-0.9780 -0.7932 -2.8531-2.7605-3.7287-3.5414-2.2692 -3.4549 -3.0752-3.9934 2.8792-0.97800.7932 1.1882 3.0682-1.5799-1.4885-0.7431-0.4221 -1.1186 4.2532已知类条件概率是的曲线如下图：类条件概率分布正态分布分别为N（-2，0.25）、N（2,4）试对观察的结果进行分类。

四、实验要求1）用matlab完成基于最小错误率的贝叶斯分类器的设计，要求程序相应语句有说明文字，要求有子程序的调用过程。

2）根据例子画出后验概率的分布曲线以及分类的结果示意图。

3）如果是最小风险贝叶斯决策，决策表如下：最小风险贝叶斯决策表：请重新设计程序，完成基于最小风险的贝叶斯分类器，画出相应的条件风险的分布曲线和分类结果,并比较两个结果。

模式识别理论与方法
课程作业实验报告
实验名称：Generating Pattern Classes
实验编号：Proj02-01
规定提交日期：2012年3月30日
实际提交日期：2012年3月24日
摘要：
在熟悉贝叶斯分类器基本原理基础上，通过对比分类特征向量维数差异而导致分类正确率发生的变化，验证了“增加特征向量维数，可以改善分类结果”。

对于类数的先验概率已知、且无须考虑代价函数的情况，贝叶斯分类器相当简单：“跟谁亲近些，就归属哪一类”。

技术论述：
1，贝叶斯分类器基本原理：多数占优，错误率最小，风险最低
在两类中，当先验概率相等时，贝叶斯分类器可以简化如下：
2，增加有效分类特征分量，可以有助于改善分类效果
实验结果讨论：
从实验的过程和结果来看，进一步熟悉了贝叶斯分类器的原理和使用，基本达到了预期目的。

实验结果：
图1 原始数据
图2 按第1 个特征分量分类结果
图3 按第2 个特征分量分类结果
图4 综合两个特征分量分类结果附录：（程序清单，参见压缩包）
%在Matlab 版本2009a 下运行通过。

《模式识别》实验报告-贝叶斯分类一、实验目的通过使用贝叶斯分类算法，实现对数据集中的样本进行分类的准确率评估，熟悉并掌握贝叶斯分类算法的实现过程，以及对结果的解释。

二、实验原理1.先验概率先验概率指在不考虑其他变量的情况下，某个事件的概率分布。

在贝叶斯分类中，需要先知道每个类别的先验概率，例如：A类占总样本的40%，B类占总样本的60%。

2.条件概率后验概率指在已知先验概率和条件概率下，某个事件发生的概率分布。

在贝叶斯分类中，需要计算每个样本在各特征值下的后验概率，即属于某个类别的概率。

4.贝叶斯公式贝叶斯公式就是计算后验概率的公式，它是由条件概率和先验概率推导而来的。

5.贝叶斯分类器贝叶斯分类器是一种基于贝叶斯定理实现的分类器，可以用于在多个类别的情况下分类，是一种常用的分类方法。

具体实现过程为：首先，使用训练数据计算各个类别的先验概率和各特征值下的条件概率。

然后，将测试数据的各特征值代入条件概率公式中，计算出各个类别的后验概率。

最后，取后验概率最大的类别作为测试数据的分类结果。

三、实验步骤1.数据集准备本次实验使用的是Iris数据集，数据包含150个Iris鸢尾花的样本，分为三个类别：Setosa、Versicolour和Virginica，每个样本有四个特征值：花萼长度、花萼宽度、花瓣长度、花瓣宽度。

2.数据集划分将数据集按7:3的比例分为训练集和测试集，其中训练集共105个样本，测试集共45个样本。

计算三个类别的先验概率，即Setosa、Versicolour和Virginica类别在训练集中出现的频率。

对于每个特征值，根据训练集中每个类别所占的样本数量，计算每个类别在该特征值下出现的频率，作为条件概率。

5.测试数据分类将测试集中的每个样本的四个特征值代入条件概率公式中，计算出各个类别的后验概率，最后将后验概率最大的类别作为该测试样本的分类结果。

6.分类结果评估将测试集分类结果与实际类别进行比较，计算分类准确率和混淆矩阵。

一、实验原理实验数据：IRIS 数据。

分为三种类型，每种类型中包括50个思维的向量。

实验模型：假设IRIS 数据是正态分布的。

实验准备：在每种类型中，选择部分向量作为训练样本，估计未知的均值和方差的参数。

实验方法：最小错误判别准则；最小风险判别准则。

实验原理：1.贝叶斯公式已知共有M 类别M i i ,2,1,=ω，统计分布为正态分布，已知先验概率)(i P ω及类条件概率密度函数)|(i X P ω，对于待测样品，贝叶斯公式可以计算出该样品分属各类别的概率，叫做后验概率；看X 属于哪个类的可能性最大，就把X 归于可能性最大的那个类，后验概率即为识别对象归属的依据。

贝叶斯公式为M i P X P P X P X P Mj jji i i ,2,1,)()|()()|()|(1==∑=ωωωωω该公式体现了先验概率、类条件概率、后验概率三者的关系。

其中，类条件概率密度函数)|(i X P ω为正态密度函数，用大量样本对其中未知参数进行估计，多维正态密度函数为)]()(21exp[)2(1)(12/12/μμπ---=-X S X SX P T n 式中，),,(21n x x x X =为n 维向量； ),,(21n μμμμ =为n 维均值向量； ]))([(TX X E S μμ--=为n 维协方差矩阵； 1-S是S 的逆矩阵；S 是S 的行列式。

大多数情况下，类条件密度可以采用多维变量的正态密度函数来模拟。

)]}()(21exp[)2(1ln{)|()(1)(2/12/i i X X S X X S X P i T in i ωωπω---=- i i T S n X X S X X i i ln 212ln 2)()(21)(1)(-----=-πωω )(i X ω为i ω类的均值向量。

2.最小错误判别准则① 两类问题有两种形式，似然比形式：⎩⎨⎧∈⇒⎩⎨⎧<>=211221)()()|()|()(ωωωωωωX P P X P X P X l 其中，)(X l 为似然比，)()(12ωωP P 为似然比阈值。

《模式识别》实验报告班级：电子信息科学与技术13级02 班姓名：学号：指导老师:成绩：通信与信息工程学院二〇一六年实验一 最大最小距离算法一、实验内容1. 熟悉最大最小距离算法,并能够用程序写出。

2. 利用最大最小距离算法寻找到聚类中心,并将模式样本划分到各聚类中心对应的类别中.二、实验原理N 个待分类的模式样本{}N X X X ， 21,，分别分类到聚类中心{}N Z Z Z ， 21,对应的类别之中.最大最小距离算法描述：（1）任选一个模式样本作为第一聚类中心1Z 。

（2）选择离1Z 距离最远的模式样本作为第二聚类中心2Z 。

（3）逐个计算每个模式样本与已确定的所有聚类中心之间的距离，并选出其中的最小距离.（4）在所有最小距离中选出一个最大的距离，如果该最大值达到了21Z Z -的一定分数比值以上，则将产生最大距离的那个模式样本定义为新增的聚类中心，并返回上一步.否则，聚类中心的计算步骤结束。

这里的21Z Z -的一定分数比值就是阈值T ，即有：1021<<-=θθZ Z T（5）重复步骤（3）和步骤（4），直到没有新的聚类中心出现为止。

在这个过程中，当有k 个聚类中心{}N Z Z Z ， 21,时,分别计算每个模式样本与所有聚类中心距离中的最小距离值,寻找到N 个最小距离中的最大距离并进行判别,结果大于阈值T 是，1+k Z 存在，并取为产生最大值的相应模式向量；否则,停止寻找聚类中心。

（6)寻找聚类中心的运算结束后，将模式样本{}N i X i ,2,1, =按最近距离划分到相应的聚类中心所代表的类别之中。

三、实验结果及分析该实验的问题是书上课后习题2。

1，以下利用的matlab 中的元胞存储10个二维模式样本X ｛1}=［0;0］；X{2}=［1；1];X ｛3｝=[2;2]；X{4｝=[3；7]；X{5｝=[3;6］; X{6}=［4；6］；X{7}=［5；7];X{8}=[6；3］;X{9｝=［7;3］;X{10}=［7;4]；利用最大最小距离算法，matlab 运行可以求得从matlab 运行结果可以看出，聚类中心为971,,X X X ，以1X 为聚类中心的点有321,,X X X ,以7X 为聚类中心的点有7654,,,X X X X ，以9X 为聚类中心的有1098,,X X X 。

模式识别贝叶斯方法实验报告姓名与学号：教师：唐柯目录模式识别贝叶斯方法实验报告 (1)目录 (2)1 原理 (3)1.1 基本思想 (3)1.2 工作过程 (3)2 实验记录 (4)2.1 matlab程序 (4)2.2 特殊情况 (4)2.3 实验结果 (4)2.4 实验人员任务分配 (4)附录 (5)1 原理1.1 基本思想①已知类条件概率密度参数表达式（如符合正态分布）和先验概率（有监督，可统计得到） ②利用贝叶斯公式转换成后验概率 ③根据后验概率大小进行决策分类1.2 工作过程1. 每个数据样本用一个n 维特征向量X = {x 1 , x 2 ,..., x n }表示，对应属性A 1, A 2, ..., A n 。

2. m 个类别C 1 ,C 2 ,...,C m （在本实验中只有两类）。

给定一个未知类别的数据样本X ，分类器将预测X 属于具有最高后验概率（条件X 下）的类。

即将未知的样本分配给类C i ，当且仅当：P(C i | X) > P(C j | X) 1 ≤ j ≤ m 且j ≠ i.求令P(C i | X)最大的类Ci 称为最大后验假设。

根据贝叶斯定理P(C i | X) = P(X | C i )*P(C i )/P(X)由于P(X) 对于所有类别为常数，只需要P(X |C i )*P(C i )最大。

类别的先验概率可以统计得到（有监督），所以最大化P(X | C i )P(C i )。

类别的先验概率P(C i ) = 类别C i 的训练样本数/训练样本总数3. 假定各类别样本之间的属性值相互独立，则P(X|C i ) = ΠP(x k |C i ) k=1...n而概率P(x k |C i )可由训练样本估值，按属性离散与否分为 ①离散属性，则P(x k |C i ) = S ik /S iS ik 为在属性A k 上具有值x k 的类别C i 的训练样本数，S i 是类别C i 的样本数。

模式识别实验报告班级：电信08-1班姓名：黄**学号：********课程名称：模式识别导论实验一安装并使用模式识别工具箱一、实验目的：1．掌握安装模式识别工具箱的技巧，能熟练使用工具箱中的各项功能；2．熟练使用最小错误率贝叶斯决策器对样本分类；3．熟练使用感知准则对样本分类；4．熟练使用最小平方误差准则对样本分类；5．了解近邻法的分类过程，了解参数K值对分类性能的影响（选做）；6．了解不同的特征提取方法对分类性能的影响（选做）。

二、实验内容与原理：1．安装模式识别工具箱；2．用最小错误率贝叶斯决策器对呈正态分布的两类样本分类；3．用感知准则对两类可分样本进行分类，并观测迭代次数对分类性能的影响；4．用最小平方误差准则对云状样本分类，并与贝叶斯决策器的分类结果比较；5．用近邻法对双螺旋样本分类，并观测不同的K值对分类性能的影响（选做）；6．观测不同的特征提取方法对分类性能的影响（选做）。

三、实验器材（设备、元器件、软件工具、平台）：1．PC机－系统最低配置512M 内存、P4 CPU；2．Matlab 仿真软件－7.0 / 7.1 / 2006a等版本的Matlab 软件。

四、实验步骤：1．安装模式识别工具箱。

并调出Classifier主界面。

2．调用XOR.mat文件，用最小错误率贝叶斯决策器对呈正态分布的两类样本分类。

3.调用Seperable.mat文件，用感知准则对两类可分样本进行分类。

4.调用Clouds.mat文件，用最小平方误差准则对两类样本进行分类。

5.调用Spiral.mat文件，用近邻法对双螺旋样本进行分类。

6.调用XOR.mat文件，用特征提取方法对分类效果的影响。

五、实验数据及结果分析：（1）Classifier主界面如下（2）最小错误率贝叶斯决策器对呈正态分布的两类样本进行分类结果如下：（3）感知准则对两类可分样本进行分类当Num of iteration=300时的情况：当Num of iteration=1000时的分类如下：（4）最小平方误差准则对两类样本进行分类结果如下：（5）近邻法对双螺旋样本进行分类，结果如下当Num of nearest neighbor=3时的情况为：当Num of nearest neighbor=12时的分类如下：（6）特征提取方法对分类结果如下当New data dimension=2时，其结果如下当New data dimension=1时，其结果如下六、实验结论：本次实验使我掌握安装模式识别工具箱的技巧，能熟练使用工具箱中的各项功能；对模式识别有了初步的了解。

基于概率统计的贝叶斯分类器设计摘要：人们为了掌握客观事物，按事物相似的程度组成类别，模式识别就是将某一具体事物正确地归入某一类别。

贝叶斯决策理论是统计模式识别中的一个基本方法。

依据贝叶斯决策理论设计的分类器具有最优的性能,即所实现的分类错误率或风险在所有可能的分类器中是最小的,因此经常被用来衡量其他分类器设计方法的优劣。

关键词：MATLAB应用贝叶斯分类器后验概率贝叶斯公式最小错误概率随着计算机与信息技术的发展，人类获取的知识和能够及时处理的数据之间的差距在加大，从而导致了一个尴尬的境地，即“丰富的数据”和“贫乏的知识”并存。

在数据挖掘技术中，分类技术能对大量的数据进行分析、学习，并建立相应问题领域中的分类模型。

分类技术解决问题的关键是构造分类器。

分类器是一个能自动将未知文档标定为某类的函数。

通过训练集训练以后，能将待分类的文档分到预先定义的目录中。

常用的分类器的构造方法有决策树、朴素贝叶斯、支持向量机、k近邻、神经网络等多种分类法，在各种分类法中基于概率的贝叶斯分类法比较简单，在分类技术中得到了广泛的应用。

一原理概述：贝叶斯分类器是基于贝叶斯网络所构建的分类器，贝叶斯网络是描述数据变量之间关系的图形模型，是一个带有概率注释的有向无环图。

贝叶斯分类器的分类原理是通过某对象的先验概率，利用贝叶斯公式计算出其后验概率，即该对象属于某一类的概率，选择具有最大后验概率的类作为该对象所属的类。

(1) 贝叶斯分类并不把一个对象绝对地指派给某一类,而是通过计算得出属于某一类的概率,具有最大概率的类便是该对象所属的类；(2) 一般情况下在贝叶斯分类中所有的属性都潜在地起作用,即并不是一个或几个属性决定分类,而是所有的属性都参与分类；(3) 贝叶斯分类对象的属性可以是离散的、连续的,也可以是混合的。

二计算方法：1、贝叶斯分类的先决条件：(1) 决策分类的类别数是一定的，设有c 个模式类ωi （i=1，2，…，c ）(2) 各类别总体的概率分布已知，待识别模式的特征向量x 的状态后验概率P(ωi|x)是已知的；或各类出现的先验概率P(ωi)和类条件概率密度函数p(x|ωi)已知 2、两类分类的最小错误率Bayes 分类决策规则的后验概率形式：设N 个样本分为两类ω1，ω2。

用身高体重数据进行性别分类实验一一.题目要求：1．用dataset1.txt 作为训练样本，用dataset2.txt 作为测试样本，采用身高和体重数据为特征，在正态分布假设下估计概率密度（只用训练样本），建立最小错误率贝叶斯分类器，写出所用的密度估计方法和得到的决策规则，将该分类器分别应用到训练集和测试集，考察训练错误率和测试错误率。

将分类器应用到dataset3 上，考察测试错误率的情况。

（在分类器设计时可以尝试采用不同先验概率，考查对决策和错误率的影响。

）2．自行给出一个决策表，采用最小风险贝叶斯决策重复上面的实验。

二.数据文件：1.dataset1.txt----- 328 个同学的身高、体重、性别数据（78 个女生、250 个男生）(datasetf1:女生、datasetm1:男生)2.dataset2.txt -----124 个同学的数据（40 女、84 男）3.dataset3.txt----- 90 个同学的数据（16 女，74 男）三.题目分析：要估计正态分布下的概率密度函数，假设身高随机变量为X，体重随机变量为Y，二维随机变量（X,Y）的联合概率密度函数是：p x,y=1122⁡{−121−ρ2[x−μ12ς12−2ρx−μ1y−μ2ς1ς2+(y−μ2)2ς22]}其中−∞<x,y<+∞;−∞<μ1,μ2<+∞;ς1,ς2>0;−1≤ρ≤1.并其μ1,μ2分别是X与Y的均值，ς12，ς22，分别是X与Y的方差，ρ是X与Y的相关系数。

运用最大似然估计求取概率密度函数，设样本集中包含N个样本，即X={x1,x2,…x N},其中x k是列向量。

根据教材中公式，令μ=（μ1,μ2）T，则μ=1 Nx kNk=1;协方差矩阵=ς12ρς1ς2ρς1ς2ς22，那么=1N（x kNk=1−μ）（x k−μ）T。

采用最小错误率贝叶斯分类器，设一个身高体重二维向量为x，女生类为ω1，男生类为ω2，决策规则如下：x∈ω1,当Pω1x）>P(ω2|x)ω2,当Pω2x）>P(ω1|x)。

模式识别技术实验报告本实验旨在探讨模式识别技术在计算机视觉领域的应用与效果。

模式识别技术是一种人工智能技术，通过对数据进行分析、学习和推理，识别其中的模式并进行分类、识别或预测。

在本实验中，我们将利用机器学习算法和图像处理技术，对图像数据进行模式识别实验，以验证该技术的准确度和可靠性。

实验一：图像分类首先，我们将使用卷积神经网络（CNN）模型对手写数字数据集进行分类实验。

该数据集包含大量手写数字图片，我们将训练CNN模型来识别并分类这些数字。

通过调整模型的参数和训练次数，我们可以得到不同准确度的模型，并通过混淆矩阵等评估指标来评估模型的性能和效果。

实验二：人脸识别其次，我们将利用人脸数据集进行人脸识别实验。

通过特征提取和比对算法，我们可以识别不同人脸之间的相似性和差异性。

在实验过程中，我们将测试不同算法在人脸识别任务上的表现，比较它们的准确度和速度，探讨模式识别技术在人脸识别领域的应用潜力。

实验三：异常检测最后，我们将进行异常检测实验，使用模式识别技术来识别图像数据中的异常点或异常模式。

通过训练异常检测模型，我们可以发现数据中的异常情况，从而做出相应的处理和调整。

本实验将验证模式识别技术在异常检测领域的有效性和实用性。

结论通过以上实验，我们对模式识别技术在计算机视觉领域的应用进行了初步探索和验证。

模式识别技术在图像分类、人脸识别和异常检测等任务中展现出了良好的性能和准确度，具有广泛的应用前景和发展空间。

未来，我们将进一步深入研究和实践，探索模式识别技术在更多领域的应用，推动人工智能技术的发展和创新。

【字数：414】。

//删除合并后的聚类
vector<Cluster>::iterator id = c.begin();
...
//合并多少次就删除多少个
...
}
...
}
int main()
...
6、用统一的测试数据观察不同算法的聚类结果，并讨论为什么1中矩阵运算的试验数据见下图（结果）
2-5中使用同同样的样本点数据测试，详情见下图，分析见小结相关数据：
2、编写程序实现近邻聚类算法或者最大最小距离聚类算法
3、编写程序实现层次聚类算法
4、编写程序实现K-means或者K-中心点聚类算法
5、编写程序实现ISODATA算法
附件：
实验报告说明
1．实验项目名称：要用最简练的语言反映实验的容。

要求与实验指导书中相一致。

2．实验目的：目的要明确，要抓住重点，符合实验任务书中的要求。

3．实验环境：实验用的软硬件环境（配置）。

4．实验方案设计（思路、步骤和方法等）：这是实验报告极其重要的容。

包括概要设计、详细设计和核心算法说明及分析，系统开发工具等。

应同时提交程序或设计电子版。

对于设计型和综合型实验，在上述容基础上还应该画出流程图、设计思路和设计方法，再配以相应的文字说明。

对于创新型实验，还应注明其创新点、特色。

5．结论（结果）：即根据实验过程中所见到的现象和测得的数据，做出结论（可以将部分测试结果进行截屏）。

6．小结：对本次实验的心得体会，所遇到的问题及解决方法，其他思考和建议。

7．指导教师评语及成绩：指导教师依据学生的实际报告容，用简练语言给出本次实验报告的评价和价值。

《模式识别》大作业人脸识别方法二---- 基于PCA 和FLD 的人脸识别的几何分类器（修改稿）一、 理论知识1、fisher 概念引出在应用统计方法解决模式识别问题时，为了解决“维数灾难”的问题，压缩特征空间的维数非常必要。

fisher 方法实际上涉及到维数压缩的问题。

fisher 分类器是一种几何分类器, 包括线性分类器和非线性分类器。

线性分类器有：感知器算法、增量校正算法、LMSE 分类算法、Fisher 分类。

若把多维特征空间的点投影到一条直线上，就能把特征空间压缩成一维。

那么关键就是找到这条直线的方向，找得好，分得好，找不好，就混在一起。

因此fisher 方法目标就是找到这个最好的直线方向以及如何实现向最好方向投影的变换。

这个投影变换恰是我们所寻求的解向量*W ，这是fisher 算法的基本问题。

样品训练集以及待测样品的特征数目为n 。

为了找到最佳投影方向，需要计算出各类均值、样品类内离散度矩阵i S 和总类间离散度矩阵w S 、样品类间离散度矩阵b S ，根据Fisher 准则，找到最佳投影准则，将训练集内所有样品进行投影，投影到一维Y 空间，由于Y 空间是一维的，则需要求出Y 空间的划分边界点，找到边界点后，就可以对待测样品进行进行一维Y 空间的投影，判断它的投影点与分界点的关系，将其归类。

Fisher 法的核心为二字：投影。

二、 实现方法1、 一维实现方法(1) 计算给类样品均值向量i m ，i m 是各个类的均值，i N 是i ω类的样品个数。

11,2,...,ii X im X i nN ω∈==∑(2) 计算样品类内离散度矩阵iS 和总类间离散度矩阵wS1()()1,2,...,i Ti i i X w ii S X m X m i nS Sω∈==--==∑∑(3) 计算样品类间离散度矩阵b S1212()()Tb S m m m m =--(4) 求向量*W我们希望投影后，在一维Y 空间各类样品尽可能地分开，也就是说我们希望两类样品均值之差（12m m -）越大越好，同时希望各类样品内部尽量密集，即希望类内离散度越小越好，因此，我们可以定义Fisher 准则函数：()Tb F Tw W S W J W W S W=使得()F J W 取得最大值的*W 为 *112()w WS m m -=-(5) 将训练集内所有样品进行投影*()Ty W X =(6) 计算在投影空间上的分割阈值0y在一维Y 空间，各类样品均值i m为 11,2,...,ii y imy i n N ω∈==∑样品类内离散度矩阵2i s和总类间离散度矩阵w s 22()ii iy sy mω∈=-∑21w ii ss==∑【注】【阈值0y 的选取可以由不同的方案： 较常见的一种是1122012N m N m y N N +=+另一种是121201ln(()/())22m m P P y N N ωω+=++- 】(7) 对于给定的X ，计算出它在*W 上的投影y (8) 根据决策规则分类0102y y X y y X ωω>⇒∈⎧⎨<⇒∈⎩2、程序中算法的应用Fisher 线性判别方法（FLD ）是在Fisher 鉴别准则函数取极值的情况下，求得一个最佳判别方向，然后从高位特征向量投影到该最佳鉴别方向，构成一个一维的判别特征空间将Fisher 线性判别推广到C-1个判决函数下，即从N 维空间向C-1维空间作相应的投影。

类别1234样本x 1x 2x 1x 2x 1x 2x 1x 210.1 1.17.1 4.2-3.0-2.9-2.0-8.42 6.87.1-1.4-4.30.58.7-8.90.23-3.5-4.1 4.50.0 2.9 2.1-4.2-7.74 2.0 2.7 6.3 1.6-0.1 5.2-8.5-3.25 4.1 2.8 4.2 1.9-4.0 2.2-6.7-4.06 3.1 5.0 1.4-3.2-1.3 3.7-0.5-9.27-0.8-1.3 2.4-4.0-3.4 6.2-5.3-6.780.9 1.2 2.5-6.1-4.1 3.4-8.7-6.49 5.0 6.48.4 3.7-5.1 1.6-7.1-9.710 3.9 4.0 4.1-2.2 1.9 5.1-8.0-6.3实验一 感知器准则算法实验一、实验目的：贝叶斯分类方法是基于后验概率的大小进行分类的方法，有时需要进行概率密度函数的估计，而概率密度函数的估计通常需要大量样本才能进行，随着特征空间维数的增加，这种估计所需要的样本数急剧增加，使计算量大增。

在实际问题中，人们可以不去估计概率密度，而直接通过与样本和类别标号有关的判别函数来直接将未知样本进行分类。

这种思路就是判别函数法，最简单的判别函数是线性判别函数。

采用判别函数法的关键在于利用样本找到判别函数的系数，模式识别课程中的感知器算法是一种求解判别函数系数的有效方法。

本实验的目的是通过编制程序，实现感知器准则算法，并实现线性可分样本的分类。

二、实验内容：实验所用样本数据如表2-1给出（其中每个样本空间（数据）为两维，x 1表示第一维的值、x 2表示第二维的值），编制程序实现1、 2类2、 3类的分类。

分析分类器算法的性能。

2-1 感知器算法实验数据具体要求1、复习感知器算法；2、写出实现批处理感知器算法的程序1）从a=0开始，将你的程序应用在和的训练数据上。

记下收敛的步数。