fisher判别准则

简述fisher判别的基本思想一、关于fisher判别在零和博弈的环境下，当各自利益都为零时，会做出什么选择？其中，局中人A是指在与B的交易中获得好处的人，而B则指因此而损失的人。

不管从哪一个角度考虑，局中人A都不会自己吃亏，他一定会想办法将自己的损失补偿给对方。

因此，从A到B的行动是单方面的。

为了对这种行动作出客观评价，我们假定： 1、局中人A 获得正收益； 2、局中人B获得负收益。

在这样的背景下，博弈方应该如何评价局中人A的行为？这就需要引入一个分析工具——fisher判别法。

fisher判别方法要求：每个局中人都会选择和自己利益最大化相等的行动，而不管别人如何。

因此，一个局中人的行动仅仅取决于它对另一个局中人所得利益的期望。

因为B的利益和A的利益总是相等的，即B的收益为-0，因此B的行动对A而言无关紧要。

如果局中人A的行动对B来说有很大影响，那么即使B不采取任何行动，也能够保证A自己的利益最大化，那么它也会采取一些行动。

fisher分析是解决寡头垄断的重要手段。

上世纪70年代以前，荷兰的壳牌公司(荷兰皇家石油公司)是唯一一家占有全国市场的企业。

通过在全国建立广泛的销售网络，荷兰皇家石油公司控制了几乎全部的石油产品市场。

为了反击荷兰皇家石油公司对竞争者的排挤，其他公司纷纷效仿荷兰皇家石油公司，设立全国性销售网络，实现地区范围内的联合销售，并在若干个城市设立销售公司。

这样，一个庞大的跨地区石油销售网络就形成了，而原先各企业各自为战的情况也逐渐改变，甚至消失。

荷兰皇家石油公司从独霸市场到“共存共荣”，完全是由于fisher分析技术的发展。

可见， fisher分析方法的实质是：在一个竞争性环境中，博弈各方最优决策问题可表述为：对于各博弈方而言，如何做出各自最优的个人决策？fisher分析主要适用于零和博弈情形。

如果存在多个纳什均衡点，但这些均衡点没有明显的共同点，而是由局中人的个人偏好、资源约束和实际可能达成的结果共同决定的。

3·4 Fisher线性判别多维 Þ Fisher变换 Þ 利于分类的一维对于线性判别函数( 3-4-1)可以认为是矢量在以为方向的轴上的投影的倍。

这里，视作特征空间中的以为分量的一个维矢量希望所求的使投影后，同类模式密聚，不同类模式相距较远。

求权矢量Þ 求满足上述目标的投影轴的方向和在一维空间中确定判别规则。

从另一方面讲，也是降维，特征提取与选择等问题的需要。

（R.A.Fisher，1936）下面我们用表示待求的。

图 (3-4-1) 二维模式向一维空间投影示意图（1）Fisher准则函数对两类问题，设给定维训练模式，其中有个和个模式分属类和类。

为方便，各类的模式又可分别记为和，于是，各类模式均值矢量为( 3-4-2)各类类内离差阵和总的类内离差阵分别为( 3-4-3)( 3-4-4)我们取类间离差阵为( 3-4-5)作变换，维矢量在以矢量为方向的轴上进行投影( 3-4-6)变换后在一维空间中各类模式的均值为( 3-4-7)类内离差度和总的类内离差度为( 3-4-8)( 3-4-9)类间离差度为( 3-4-10)我们希望经投影后，类内离差度越小越好，类间离差度越大越好，根据这个目标作准则函数( 3-4-11)称之为Fisher准则函数。

我们的目标是，求使最大。

（2）Fisher变换将标量对矢量微分并令其为零矢量，注意到的分子、分母均为标量，利用二次型关于矢量微分的公式可得( 3-4-12)令可得当时，通常是非奇异的，于是有( 3-4-13)上式表明是矩阵相应于本征值的本征矢量。

对于两类问题，的秩为1，因此只有一个非零本征值，它所对应的本征矢量称为Fisher最佳鉴别矢量。

由式( 3-4-13)有( 3-4-14)上式右边后两项因子的乘积为一标量，令其为，于是可得式中为一标量因子。

这个标量因子不改变轴的方向，可以取为1,于是有( 3-4-15)此时的是使Fisher准则函数取最大值时的解，即是维空间到一维空间投影轴的最佳方向，( 3-4-16)称为Fisher变换函数。

Fisher判别函数，也称为线性判别函数（Linear Discriminant Function），是一种经典的模式识别方法。

它通过将样本投影到一维或低维空间，将不同类别的样本尽可能地区分开来。

一、算法原理：Fisher判别函数基于以下两个假设：1.假设每个类别的样本都服从高斯分布；2.假设不同类别的样本具有相同的协方差矩阵。

Fisher判别函数的目标是找到一个投影方向，使得同一类别的样本在该方向上的投影尽可能紧密，而不同类别的样本在该方向上的投影尽可能分开。

算法步骤如下：(1)计算类内散度矩阵（Within-class Scatter Matrix）Sw，表示每个类别内样本之间的差异。

Sw = Σi=1 to N (Xi - Mi)(Xi - Mi)ᵀ，其中Xi 表示属于类别i 的样本集合，Mi 表示类别i 的样本均值。

(2)计算类间散度矩阵（Between-class Scatter Matrix）Sb，表示不同类别之间样本之间的差异。

Sb = Σi=1 to C Ni(Mi - M)(Mi - M)ᵀ，其中 C 表示类别总数，Ni 表示类别i 中的样本数量，M 表示所有样本的均值。

(3)计算总散度矩阵（Total Scatter Matrix）St，表示所有样本之间的差异。

St =Σi=1 to N (Xi - M)(Xi - M)ᵀ(4)计算投影方向向量w，使得投影后的样本能够最大程度地分开不同类别。

w= arg max(w) (wᵀSb w) / (wᵀSw w)，其中w 表示投影方向向量。

(5)根据选择的投影方向向量w，对样本进行投影。

y = wᵀx，其中y 表示投影后的样本，x 表示原始样本。

(6)通过设置一个阈值或使用其他分类算法（如感知机、支持向量机等），将投影后的样本进行分类。

二、优点和局限性：Fisher判别函数具有以下优点：•考虑了类别内和类别间的差异，能够在低维空间中有效地区分不同类别的样本。

实验一、Fisher线性判别算法一、实验目的1、掌握Fisher线性判别算法基本编程。

二、实验内容1、Fisher线性判别算法程序设计用现有的训练样本，实现Fisher线性判别，画出效果图。

取不同的测试样本，观察结果。

三、实验原理1、算法原理步骤四、实验预习1、学习Matlab编程的有关知识。

2、提前预习Fisher线性判别算法。

五、实验报告1、总结出实验的详细步骤。

2、写出调试正确的程序及运行结果。

六、参考程序：参考程序1s1=[1 0.5;0.5 1], s2=[1 -0.5;-0.5 1]u1=[2 0]', u2=[2,2]'s=s1+s2ss=inv(s);w=ss*(u1-u2);y0=w'*(u1+u2)/2x=[1 2]'y=w'*x2A=[9 8 7;7 6 6;10 7 8;8 4 5;9 9 3;8 6 7;7 5 6];B=[8 4 4;3 6 6;6 3 3;6 4 5;8 2 2];s=size(A,1);t=size(B,1);u1=mean(A);u2=mean(B);DA=A-repmat(u1,s,1);DB=B-repmat(u2,t,1);S=DA'*DA+DB'*DB;w=inv(S)*(u1-u2) ';y0=w'*(u1+u2) '/2%编程产生投影后的数据，第一类样本向w上投影后的数据放y1中，第二类样本向w上投影后的%数据放y2中figure(2)for i=1:10plot3(y1(i)*w(1),y1(i)*w(2),y1(i)*w(3),'rx')hold onplot3(y2(i)*w(1),y2(i)*w(2),y2(i)*w(3),'bp')hold off。

Fisher判别分析原理详解说起Fisher判别分析，不得不提到一个大神级人物！Ronald Aylmer Fisher (1890～1962)英国统计学家和遗传学家主要著作有：《根据孟德尔遗传方式的亲属间的相关》、《研究者用的统计方法》、《自然选择的遗传理论》、《试验设计》、《近交的理论》及《统计方法和科学推理》等。

他一生在统计生物学中的功绩是十分突出的。

•生平1890年2月17日生于伦敦，1962年7月29日卒于澳大利亚阿德莱德。

1912年毕业于剑桥大学数学系，后随英国数理统计学家J.琼斯进修了一年统计力学。

他担任过中学数学教师，1918年任罗坦斯泰德农业试验站统计试验室主任。

1933年，因为在生物统计和遗传学研究方面成绩卓著而被聘为伦敦大学优生学教授。

1943年任剑桥大学遗传学教授。

1957年退休。

1959年去澳大利亚，在联邦科学和工业研究组织的数学统计部作研究工作。

大神解决的问题•Fisher 线性判别函数的提出：在用统计方法进行模式识别时，许多问题涉及到维数，在低维空间可行的方法，在高维空间变得不可行。

因此，降低维数就成为解决实际问题的关键。

Fisher 的方法，就是解决维数压缩问题。

对xn的分量做线性组合可得标量yn=wTxn,n=1,2,…,Ni得到N个一维样本yn组成的集合。

从而将多维转换到了一维。

考虑把d维空间中的数据点投影到一条直线上去的问题，需要解决的两个问题：(1)怎样找到最好的投影直线方向；(2)怎样向这个方向实现投影，这个投影变换就是要寻求的解向量w*。

这两个问题就是Fisher方法要解决的基本问题。

•判别分析的一些基本公式Fisher判别分析用于两类或两类以上间的判别，但常用于两类间判别。

Fisher判别函数表达式（多元线性函数式）：判别函数的系数是按照组内差异最小和组间差异最大同时兼顾的原则来确定判别函数的。

Fisher判别准则：判别临界点：Fisher判别分析思想：1. 类间差异大，类内变异小，最大2. 方差分析的思想：以下值最大•Fisher判别的原理分析w1方向之所以比w2方向优越，可以归纳出这样一个准则，即向量w的方向选择应能使两类样本投影的均值之差尽可能大些，而使类内样本的离散程度尽可能小。

fisher线性判别
fisher 判决⽅式是监督学习，在新样本加⼊之前，已经有了原样本。

原样本是训练集，训练的⽬的是要分类，也就是要找到分类线。

⼀⼑砍成两半！
当样本集确定的时候，分类的关键就在于如何砍下这⼀⼑！
若以⿊⾊的来划分，很明显不合理，以灰⾊的来划分，才是看上去合理的
1.先确定砍的⽅向
关键在于如何找到投影的向量u，与u的长度⽆关。

只看⽅向
找到样本点的中⼼均值m1，m2，以及在向量u上的投影的m1~，m2~。

因为u的⽅向与样本点都有关，所以需要考虑⼀个含有所有样本点的表达式
不妨算出离差阵
算出类内离差矩阵，两个都要求出来，并求和
并且投影的离差阵
根据聚类的理想情况，类内距离⼩，类间距离⼤，所以就⽤类间去处理类内，我们现在的变量是向量u，我们就对u求导，算出max存在的时后u的条件。

为了⽅便化简，引⼊⼀个参数不要以为下⾯除以是向量，（1*2）*（2*2）（2*1）=1 维度变成1，这是⼀个常数。

当求导公式
分⼦为0的时候，推出
所以
⽽且是（1*2）*（2*1）等于1，也是⼀个常数
到此为⽌，u的⽅向已经确定了
2.具体切哪⼀个点。

a，切
切投影均值的终点
2.
切贝叶斯概率的⽐例点
⽅向和具体点均已找到，分析完毕。

线性判别分析（LDA）准则：FIsher准则、感知机准则、最⼩⼆乘（最⼩均⽅误差）准则准则采⽤⼀种分类形式后，就要采⽤准则来衡量分类的效果，最好的结果⼀般出现在准则函数的极值点上，因此将分类器的设计问题转化为求准则函数极值问题，即求准则函数的参数，如线性分类器中的权值向量。

分类器设计准则：FIsher准则、感知机准则、最⼩⼆乘（最⼩均⽅误差）准则Fisher准则Fisher线性判别分析LDA（Linearity Distinction Analysis）基本思想：对于两个类别线性分类的问题，选择合适的阈值，使得Fisher准则函数达到极值的向量作为最佳投影⽅向，与投影⽅向垂直的超平⾯就是两类的分类⾯，使得样本在该⽅向上投影后，达到最⼤的类间离散度和最⼩的类内离散度。

Fisher线性判别并不对样本的分布进⾏任何假设，但在很多情况下，当样本维数⽐较⾼且样本数也⽐较多时，投影到⼀维空间后样本接近正态分布，这时可以在⼀维空间中⽤样本拟合正态分布，⽤得到的参数来确定分类阈值。

类间离差平⽅和最⼤，类内离差平⽅和最⼩的投影⽅向。

准则函数：组间离差平⽅和/组内离差平⽅和；准则：超过阈值？感知机准则基本思想：对于线性判别函数，当模式的维数已知时，判别函数的形式实际上就已经确定下来，线性判别的过程即是确定权向量 。

感知机是⼀种神经⽹络模型，其特点是随意确定判别函数初始值，在对样本分类训练过程中，针对分类错误的样本不断进⾏权值修正，逐步迭代直⾄最终分类符合预定标准，从⽽确定权向量值。

可以证明感知机是⼀种收敛算法，只要模式类别是线性可分的，就可以在有限的迭代步数⾥求出权向量的解。

优点：简单、便于实现。

缺点：结果不唯⼀，在线性不可分情况下不收敛。

给定初始权值向量，通过样本的训练分类过程逐渐修正权值直到最终确定。

准则函数：错分样本数，准则：错分样本数为0上述两个准则的区别和联系Fisher线性判别是把线性分类器的设计分为两步，⼀是确定最优⽅向，⼆是在这个⽅向上确定分类阈值；感知机则是通过不断迭代直接得到完整的线性判别函数。

fisher判别原理Fisher判别原理引言：Fisher判别原理是一种经典的模式分类方法，它基于统计学原理，通过对样本数据的分析，将数据投影到一条直线上，使得同类样本的投影点尽可能地紧密，不同类别的样本的投影点尽可能地分散。

本文将对Fisher判别原理进行详细介绍，并探讨其在实际应用中的优缺点。

一、Fisher判别原理的基本思想Fisher判别原理由英国统计学家R.A. Fisher在20世纪30年代提出。

它的基本思想是找到一个投影方向，使得同类样本的投影点尽可能地接近，不同类别的样本的投影点尽可能地远离。

具体来说，假设有两类样本，每个样本有n个特征，我们可以将每个样本表示为一个n维向量。

Fisher判别原理的目标是找到一个n维向量w，使得同类样本在w的投影上的方差尽可能小，不同类样本在w的投影上的方差尽可能大。

二、Fisher判别准则函数的推导为了找到最佳的投影方向w，可以定义Fisher判别准则函数J(w)，该函数的表达式为同类样本投影点方差的倒数与不同类样本投影点方差之和的比值。

推导过程中，需要计算样本的均值和协方差矩阵，并利用最大化准则函数的方法求解最优方向w。

最终的解析解为特征值问题，求解该问题可以得到最佳的投影方向w。

三、Fisher判别原理的优缺点Fisher判别原理作为一种经典的模式分类方法，具有以下优点：1. Fisher判别原理能够有效地降低数据维度。

通过将n维样本数据投影到一维或低维空间，可以减少特征维度，提高计算效率。

2. Fisher判别原理对于噪声数据具有一定的鲁棒性。

由于Fisher判别准则函数考虑了类内方差和类间方差的比值，因此可以减少噪声对分类结果的影响。

然而，Fisher判别原理也存在一些缺点：1. Fisher判别原理假设样本数据满足高斯分布，如果样本不满足高斯分布，可能会导致分类效果下降。

2. Fisher判别原理只考虑了样本的线性投影，对于非线性分类问题效果有限。

图形图像处理上机实验报告
第 1 页 共 1 页 上机实验报告
课程名称：人工智能
年级： 上机实验成绩： 指导教师：
姓名： 上机实践名称：Fisher 判别准则实现分类
学号： 上机实验日期：
实验二：Fisher 判别准则实现分类
一、实验目的
理解Fisher 判别准则的分类作用
二、实验内容
背景：对两类分类问题设计线性分类器。

已对两类采集完样本。

每个样本由二维特征表示。

第一类观测到了200个样本，第二类观测到了100个样本。

试用Fisher 线性判别方法根据数据找到最佳投影方向，并采用均值法确定投影方向上的分类阈值。

任务：将程序补充完整，并运行得到结果
三、实验结果。