下载文档原格式
Fisher判别是一种基于线性判别分析的分类方法，用于将样本分为不同的类别。
其基本步骤如下：
1. 确定判别变量：首先需要确定用于判别的变量，即用于分类的特征。
2. 计算判别函数：根据样本数据，计算出判别函数，即用于将样本分为不同类别的函数。
3. 确定判别类别：根据判别函数，将样本分为不同的类别。
4. 计算判别准确率：计算分类准确率，即正确分类的样本数与总样本数之比。
5. 优化判别函数：根据判别准确率，调整判别函数，以提高分类准确率。
6. 重复步骤3~5：重复以上步骤，直到达到所需的分类准确率。
在Fisher判别中，判别函数是基于Fisher线性判别的，即对于每个类别，计算出一个线性函数，使得属于该类别的样本与属于其他类别的样本的距离最大化。
这个过程可以通过矩阵运算和求导来实现。
总之，Fisher判别是一种基于线性判别分析的分类方法，其基本步骤包括确定判别变量、计算判别函数、确定判别类别、计算判别准确率、优化判别函数和重复步骤3~5，直到达到所需的分类准确率。
基于Fisher判别准则和改进遗传算法的核函数参数优化研究陈丹玲;柴树峰
【期刊名称】《科技与生活》
【年(卷),期】2009(000)021
【摘要】核函数选择及其参数优化对提高支持向量机分类性能是极其重要的。
本文针对支持向量机的故障分类器的核函数优化问题，提出了基于Fisher判别准则和改进遗传算法相结合的核函数参数优化算法来求解核函数参数最优值的全局解。
实验结果表明．该算法能提高分类器的分类性能，具有算法简单、优化效率高等优点。
【总页数】2页(P30-31)
【作者】陈丹玲;柴树峰
【作者单位】江西理工大学机电工程学院,江西341000;军事交通学院,天津300161
【正文语种】中文
【中图分类】TP18
【相关文献】
1.基于Fisher判别准则和改进遗传算法的核函数参数优化研究 [J], 陈丹玲;柴树峰
2.基于Fisher判别准则的故障分类器核函数参数优化研究 [J], 何学文;付静;汪峰锁;孙林
3.基于改进Fisher核函数的支持向量机在推特数据库情感分析中的应用 [J], 韩开旭;任伟建
4.基于改进遗传算法的数控加工铣削参数优化研究 [J], 王子兵
5.基于改进Fisher判别准则的卷积神经网络设计 [J], 徐小雨;赵龙章;程晓月;何志超
因版权原因，仅展示原文概要，查看原文内容请购买。
基于Fisher判别准则和改进遗传算法的核函数参数优化研究摘要核函数选择及其参数优化对提高支持向量机分类性能是极其重要的。
本文针对支持向量机的故障分类器的核函数优化问题,提出了基于Fisher判别准则和改进遗传算法相结合的核函数参数优化算法来求解核函数参数最优值的全局解。
实验结果表明,该算法能提高分类器的分类性能,具有算法简单、优化效率高等优点。
关键词支持向量机;核函数;故障分类器;遗传算法0前言支持向量机能够较好地解决小样本的学习问题,可使在小样本情况下建立的分类器具有较好的推广能力。
但故障分类器的性能与支持向量机核函数的类型、核函数的参数以及约束常数有很大关系。
在建立故障分类器时,这些参数常需要大量的试验确定,不但费时、费力、效率低,且这样确定的参数不一定是最优的。
支持向量机的核函数直接影响故障分类器的分类结果,求取核参数最优值的优化算法,主要考虑优化精度、优化效率和容易实现等问题。
遗传算法(Genetic Algorithm,简称GA)起源于对生物系统所进行的计算机模拟研究。
美国Michigan大学的Holland教授及其学生受生物模拟技术的启发,创造出了一种基于生物遗传和进化机制的适合于复杂系统优化的自适应概率优化技术。
该算法很适合用于参数的选择和优化,发展极为迅速,已成为求解全局优化问题的有力工具之一。
故障分类器的核函数优化问题,采用较多的是多项式核函数和径向基核函数,这两种核函数只涉及一个参数的优化,因此本文采用基于Fisher判别准则和改进遗传算法来求解核函数参数最优值的全局解。
1基于FISHER判别准则的核函数参数优化模型建立支持向量机的主要思想是把训练样本数据映射到高维特征空间,然后在特征空间中建立最优分类超平面,使两类数据点到超平面的距离最大。
而Fisher判别准则的基本思想是要找到一条最优的投影方向,把原始数据沿该方向进行投影得到一条直线,使投影后的数据能较好地区分开,即不同模式之间数据的距离尽可能大,而同一模式之间数据的离散度要尽可能小。
机器学习-核FisherLDA算法本⽂在我的上⼀篇博⽂的基础上进⼀步介绍核Fisher LDA算法。
之前我们介绍的LDA或者Fisher LDA都是线性模型，该模型简单，对噪⾳的鲁棒性较好，不容易过拟合，但是，简单模型的表达能⼒会弱⼀些，为了增加LDA算法的表达能⼒，我们可以将数据投影到⾮线性的⽅向上去。
为了达到这个⽬的，我们可以先将数据⾮线性的投影到⼀个特征空间F内，然后在这个F空间内计算Fisher 线性判别式,达到降维的⽬的。
⾸先介绍⼀下核函数的概念：如果F空间的维数⾮常⾼甚⾄是⽆穷维数，那么单纯的只是将原数据投影到F空间就是⼀个很⼤的计算量。
但是，我们可以并不显式的进⾏数据的投影，⽽只是计算原数据的点乘：(Φ (x)·Φ (y)).如果我们可以快速⾼效的计算出点乘来，那么我们可以⽆须将原数据投影到F空间就解决问题(关于这⼀点，Andrew Ng的讲义中举过⼀些例⼦，详见附录1)。
我们使⽤Mercer核：k(x,y)=(Φ (x)·Φ (y))，可以选择⾼斯径向基函数核(Gaussian RBF)：k(x,y)=exp(-|x-y|2/c)，或者多项式核：k(x,y)=(x·y)d，或者S形核：tanh(kx·y-δ),其中c,d和δ都是正的常数。
我们⽤Φ表⽰⼀个投影到F特征空间的映射函数，为了得到F空间内的Fisher线性判别式，我们需要最⼤化：式⼦-1其中ω∈F空间，⽽S BΦ和S WΦ分别为：我们需要将式⼦-1转换成⼀个只含有点乘的形式，这样的话我们就可以只使⽤核函数来表达式⼦-1了。
我们知道，任意F空间内的解ω都可以由投影到F空间内的原数据组合得到：式⼦-2根据式⼦-2，以及m iΦ的定义，我们能够得到：式⼦-3其中：根据式⼦-3和S BΦ的定义，式⼦-1中的分⼦可以写为：式⼦-4其中.根据式⼦-2和m iΦ的定义，式⼦-1中的分母可以写为：式⼦-5其中,K j是⼀个l*l j的矩阵：,I是单位矩阵，l lj是所有项都是1/l j的矩阵。
Fisher判别函数，也称为线性判别函数（Linear Discriminant Function），是一种经典的模式识别方法。
它通过将样本投影到一维或低维空间，将不同类别的样本尽可能地区分开来。
一、算法原理：Fisher判别函数基于以下两个假设：1.假设每个类别的样本都服从高斯分布；2.假设不同类别的样本具有相同的协方差矩阵。
Fisher判别函数的目标是找到一个投影方向，使得同一类别的样本在该方向上的投影尽可能紧密，而不同类别的样本在该方向上的投影尽可能分开。
算法步骤如下：(1)计算类内散度矩阵（Within-class Scatter Matrix）Sw，表示每个类别内样本之间的差异。
Sw = Σi=1 to N (Xi - Mi)(Xi - Mi)ᵀ，其中Xi 表示属于类别i 的样本集合，Mi 表示类别i 的样本均值。
(2)计算类间散度矩阵（Between-class Scatter Matrix）Sb，表示不同类别之间样本之间的差异。
Sb = Σi=1 to C Ni(Mi - M)(Mi - M)ᵀ，其中 C 表示类别总数，Ni 表示类别i 中的样本数量，M 表示所有样本的均值。
(3)计算总散度矩阵（Total Scatter Matrix）St，表示所有样本之间的差异。
St =Σi=1 to N (Xi - M)(Xi - M)ᵀ(4)计算投影方向向量w，使得投影后的样本能够最大程度地分开不同类别。
w= arg max(w) (wᵀSb w) / (wᵀSw w)，其中w 表示投影方向向量。
(5)根据选择的投影方向向量w，对样本进行投影。
y = wᵀx，其中y 表示投影后的样本，x 表示原始样本。
(6)通过设置一个阈值或使用其他分类算法（如感知机、支持向量机等），将投影后的样本进行分类。
二、优点和局限性：Fisher判别函数具有以下优点：•考虑了类别内和类别间的差异，能够在低维空间中有效地区分不同类别的样本。
（完整版）判别分析中Fisher判别法的应⽤1 绪论1.1课题背景随着社会经济不断发展，科学技术的不断进步，⼈们已经进⼊了信息时代，要在⼤量的信息中获得有科学价值的结果，从⽽统计⽅法越来越成为⼈们必不可少的⼯具和⼿段。
多元统计分析是近年来发展迅速的统计分析⽅法之⼀，应⽤于⾃然科学和社会各个领域，成为探索多元世界强有⼒的⼯具。
判别分析是统计分析中的典型代表，判别分析的主要⽬的是识别⼀个个体所属类别的情况下有着⼴泛的应⽤。
潜在的应⽤包括预测⼀个公司是否成功；决定⼀个学⽣是否录取；在医疗诊断中，根据病⼈的多种检查指标判断此病⼈是否有某种疾病等等。
它是在已知观测对象的分类结果和若⼲表明观测对象特征的变量值的情况下，建⽴⼀定的判别准则，使得利⽤判别准则对新的观测对象的类别进⾏判断时，出错的概率很⼩。
⽽Fisher判别⽅法是多元统计分析中判别分析⽅法的常⽤⽅法之⼀，能在各领域得到应⽤。
通常⽤来判别某观测量是属于哪种类型。
在⽅法的具体实现上，采⽤国内⼴泛使⽤的统计软件SPSS（Statistical Product and Service Solutions）,它也是美国SPSS公司在20世纪80年代初开发的国际上最流⾏的视窗统计软件包之⼀1.2 Fisher判别法的概述根据判别标准不同，可以分为距离判别、Fisher判别、Bayes判别法等。
Fisher 判别法是判别分析中的⼀种，其思想是投影，Fisher判别的基本思路就是投影，针对P维空间中的某点x=(x1，x2，x3，…，xp)寻找⼀个能使它降为⼀维数值的线性函数y(x)：()j j xy=x∑C然后应⽤这个线性函数把P维空间中的已知类别总体以及求知类别归属的样本都变换为⼀维数据，再根据其间的亲疏程度把未知归属的样本点判定其归属。
这个线性函数应该能够在把P维空间中的所有点转化为⼀维数值之后，既能最⼤限度地缩⼩同类中各个样本点之间的差异，⼜能最⼤限度地扩⼤不同类别中各个样本点之间的差异，这样才可能获得较⾼的判别效率。
实验一、Fisher线性判别算法一、实验目的1、掌握Fisher线性判别算法基本编程。
二、实验内容1、Fisher线性判别算法程序设计用现有的训练样本，实现Fisher线性判别，画出效果图。
取不同的测试样本，观察结果。
三、实验原理1、算法原理步骤四、实验预习1、学习Matlab编程的有关知识。
2、提前预习Fisher线性判别算法。
五、实验报告1、总结出实验的详细步骤。
2、写出调试正确的程序及运行结果。
六、参考程序：参考程序1s1=[1 0.5;0.5 1], s2=[1 -0.5;-0.5 1]u1=[2 0]', u2=[2,2]'s=s1+s2ss=inv(s);w=ss*(u1-u2);y0=w'*(u1+u2)/2x=[1 2]'y=w'*x2A=[9 8 7;7 6 6;10 7 8;8 4 5;9 9 3;8 6 7;7 5 6];B=[8 4 4;3 6 6;6 3 3;6 4 5;8 2 2];s=size(A,1);t=size(B,1);u1=mean(A);u2=mean(B);DA=A-repmat(u1,s,1);DB=B-repmat(u2,t,1);S=DA'*DA+DB'*DB;w=inv(S)*(u1-u2) ';y0=w'*(u1+u2) '/2%编程产生投影后的数据，第一类样本向w上投影后的数据放y1中，第二类样本向w上投影后的%数据放y2中figure(2)for i=1:10plot3(y1(i)*w(1),y1(i)*w(2),y1(i)*w(3),'rx')hold onplot3(y2(i)*w(1),y2(i)*w(2),y2(i)*w(3),'bp')hold off。
