下载文档原格式
Fisher判别分析及其应用田兵【期刊名称】《渭南师范学院学报》【年(卷),期】2014(000)023【摘要】判别分析法是根据所研究个体的观测值来构建一个综合标准用来推断个体属于已知种类中哪一类的方法。
Fisher判别分析法是一种非常重要而且应用极为广泛的判别分析法。
文章介绍了Fisher判别分析法的数学思想，详细阐述了在两个总体和多个总体情况下它的判别函数以及判别准则。
之后通过举例说明了Fisher判别分析法在解决实际问题中的具体应用。
%The method of discriminant analysis is a method that builds comprehensive standard according to individual observed value in order to distinguish individual belonging to a certain category.Fisher discriminant analysis is a very important and widely used method.The paper introduces the mathematics thought of Fisher discriminant analysis method, discriminant function and crite-rion.Then its application of specific problems is elucidated.【总页数】5页(P8-11,24)【作者】田兵【作者单位】包头师范学院《阴山学刊》编辑部，内蒙古包头014030【正文语种】中文【中图分类】O212.4【相关文献】1.荧光光谱法结合Fisher判别分析在西洋参鉴别中的应用 [J], 陈家伟;胡翠英;马骥2.Fisher判别分析法r在垦利M区块煤层识别中的应用 [J], 杨锋3.改进的正交边界Fisher判别分析及在人脸识别中的应用 [J], 盛诗曼4.Fisher判别分析法在渤中凹陷储层流体解释评价中的应用 [J], 马金鑫; 牛成民; 姬建飞; 袁胜斌5.Fisher判别分析在1型及2型糖尿病分类中的应用 [J], 司马明珠; 李全忠; 王延年因版权原因，仅展示原文概要，查看原文内容请购买。
Fisher判别法的研究及应用中期报告
一、研究背景
Fisher判别法是一种在统计学中常用的线性分类方法，它使用一组线性条件对样本进行分类。
本研究的目的是深入研究Fisher判别法的原理和方法，并应用它在实际问题中进行分类。
二、研究内容
1. Fisher判别法的基本原理和实现方法
Fisher判别法是一种通过寻找投影方向，使得两个类的距离尽可能大而类内距离尽可能小的线性分类方法。
在实现上，需要对数据进行标准化、计算均值和协方差矩阵、求解特征值和特征向量，以确定投影方向。
2. Fisher判别法的优点和缺点
Fisher判别法在分类问题中具有以下优点：
（1）能够处理高维数据；
（2）分类效果较好，尤其在两类样本分布较相似时更为有效；
（3）易于实现。
但是，Fisher判别法也存在以下缺点：
（1）对于不符合正态分布的数据较为敏感；
（2）过拟合或欠拟合问题较为严重；
（3）当类别数目很多时，计算量较大。
3. 实际应用案例
本研究选取了手写数字数据集作为实际应用案例，使用Fisher判别法对数字进行分类。
通过实验结果，发现Fisher判别法在数字分类问题中具有较好的效果，并能对不同数字进行有效分类。
三、未来研究方向
1. 进一步研究Fisher判别法的理论基础和表现能力；
2. 探索Fisher判别法在多类别分类问题中的应用；
3. 将Fisher判别法与其他分类方法进行比较和融合，提高分类准确率。
判别分析公式Fisher线性判别二次判别判别分析是一种常用的数据分析方法，用于根据已知的类别信息，将样本数据划分到不同的类别中。
Fisher线性判别和二次判别是两种常见的判别分析方法，在实际应用中具有广泛的应用价值。
一、Fisher线性判别Fisher线性判别是一种基于线性变换的判别分析方法，该方法通过寻找一个合适的投影方向，将样本数据投影到一条直线上，在保持类别间离散度最大和类别内离散度最小的原则下实现判别。
其判别函数的计算公式如下：Fisher(x) = W^T * x其中，Fisher(x)表示Fisher判别函数，W表示投影方向的权重向量，x表示样本数据。
具体来说，Fisher线性判别的步骤如下：1. 计算类别内离散度矩阵Sw和类别间离散度矩阵Sb；2. 计算Fisher准则函数J(W)，即J(W) = W^T * Sb * W / (W^T * Sw * W)；3. 求解Fisher准则函数的最大值对应的投影方向W；4. 将样本数据投影到求得的最优投影方向上。
二、二次判别二次判别是基于高斯分布的判别分析方法，将样本数据当作高斯分布的观测值，通过估计每个类别的均值向量和协方差矩阵，计算样本数据属于每个类别的概率，并根据概率大小进行判别。
二次判别的判别函数的计算公式如下：Quadratic(x) = log(P(Ck)) - 0.5 * (x - μk)^T * Σk^-1 * (x - μk)其中，Quadratic(x)表示二次判别函数，P(Ck)表示类别Ck的先验概率，x表示样本数据，μk表示类别Ck的均值向量，Σk表示类别Ck的协方差矩阵。
具体来说，二次判别的步骤如下：1. 估计每个类别的均值向量μk和协方差矩阵Σk；2. 计算每个类别的先验概率P(Ck)；3. 计算判别函数Quadratic(x)；4. 将样本数据划分到概率最大的类别中。
判别分析公式Fisher线性判别和二次判别是常见的判别分析方法，它们通过对样本数据的投影或概率计算，实现对样本数据的判别。
Fisher判别分析对案例中小企业的破产模型做Fisher判别分析江义114113001059一问题：对企业的运行状态利用Fisher判别进行分类选取四个经济指标用于判断企业处于破产状态还是正常运行状态，具体数据如下，其中类别1表示破产状态，类别2表示正常运行状态X1总负债率X2收益率指标X3短期支付能力X4生产效率指标类别-0.45 -0.41 1.09 0.45 1 -0.56 -0.31 1.51 0.16 10.06 0.02 1.01 0.4 1-0.07 -0.09 1.45 0.26 10.38 0.11 3.27 0.55 20.19 0.05 2.25 0.33 20.32 0.07 4.24 0.63 20.04 0.01 1.5 0.71 2-0.06 -0.06 1.37 0.4 10.07 -0.01 1.37 0.34 2-0.13 -0.14 1.42 0.44 10.15 0.06 2.23 0.56 20.16 0.05 2.31 0.2 20.29 0.06 1.84 0.38 带测定0.54 0.11 2.33 0.48 带测定二、程序如下：（R语言）> data=read.table("E:/bac/qiye.txt",header=T)> data1=c(rep(1,6),rep(2,7))> data2=as.factor(data1)> data$class=data2> attach(data)> names(data)[1] "X1" "X2" "X3" "X4" "class"> library(MASS)> data.lda=lda(class~X1+X2+X3+X4)> data.ldaCall:lda(class ~ X1 + X2 + X3 + X4)Prior probabilities of groups:1 20.4615385 0.5384615Group means:X1 X2 X3 X41 -0.07500000 -0.105000000 1.763333 0.35833332 0.07857143 -0.002857143 2.062857 0.4685714Coefficients of linear discriminants:LD1X1 -7.9358690X2 15.8747840X3 0.1653748X4 5.0408074>newdata=data.frame(X1=c(0.29,0.54),X2=c(0.06,0.11),X3=c(1.84, 2.33),X4=c(0.38,0.48))> predict(data.lda,newdata=newdata)三、运行结果$class[1] 1 1Levels: 1 2$posterior1 21 0.6249180 0.37508202 0.7540681 0.2459319$xLD11 -0.69812362 -1.3032372四、$class显示，最后两组数据均属于第一类别，如下表：X1 X2 X3 X4 类别0.29 0.06 1.84 0.38 10.54 0.11 2.33 0.48 1四、总结判别分析是多元统计分析中较为成熟的一种分类方法，根据已知类别的若干样本数据，总结出客观事物分类的规律性。
1 绪论1.1课题背景随着社会经济不断发展，科学技术的不断进步，人们已经进入了信息时代，要在大量的信息中获得有科学价值的结果，从而统计方法越来越成为人们必不可少的工具和手段。
多元统计分析是近年来发展迅速的统计分析方法之一，应用于自然科学和社会各个领域，成为探索多元世界强有力的工具。
判别分析是统计分析中的典型代表，判别分析的主要目的是识别一个个体所属类别的情况下有着广泛的应用。
潜在的应用包括预测一个公司是否成功；决定一个学生是否录取；在医疗诊断中，根据病人的多种检查指标判断此病人是否有某种疾病等等。
它是在已知观测对象的分类结果和若干表明观测对象特征的变量值的情况下，建立一定的判别准则，使得利用判别准则对新的观测对象的类别进行判断时，出错的概率很小。
而Fisher判别方法是多元统计分析中判别分析方法的常用方法之一，能在各领域得到应用。
通常用来判别某观测量是属于哪种类型。
在方法的具体实现上，采用国内广泛使用的统计软件SPSS（Statistical Product and Service Solutions）,它也是美国SPSS公司在20世纪80年代初开发的国际上最流行的视窗统计软件包之一1.2 Fisher判别法的概述根据判别标准不同，可以分为距离判别、Fisher判别、Bayes判别法等。
Fisher 判别法是判别分析中的一种，其思想是投影，Fisher判别的基本思路就是投影，针对P维空间中的某点x=(x1，x2，x3，…，xp)寻找一个能使它降为一维数值的线性函数y(x)：()j j xy=x∑C然后应用这个线性函数把P维空间中的已知类别总体以及求知类别归属的样本都变换为一维数据，再根据其间的亲疏程度把未知归属的样本点判定其归属。
这个线性函数应该能够在把P维空间中的所有点转化为一维数值之后，既能最大限度地缩小同类中各个样本点之间的差异，又能最大限度地扩大不同类别中各个样本点之间的差异，这样才可能获得较高的判别效率。
在这里借用了一元方差分析的思想，即依据组间均方差与组内均方差之比最大的原则来进行判别。
1.3 算法优缺点分析优点：（1）一般对于线性可分的样本，总能找到一个投影方向，使得降维后样本仍然线性可分，而且可分性更好即不同类别的样本之间的距离尽可能远，同一类别的样本尽可能集中分布。
（2）Fisher 方法可直接求解权向量*w ；（3）Fisher 的线性判别式不仅适用于确定性模式分类器的训练，而且对于随机模式也是适用的，Fisher 还可以进一步推广到多类问题中去缺点：（1）如果21M M =，0*=w ，则样本线性不可分； 21M M ≠，未必线性可分； w S 不可逆，未必不可分。
（2）对线性不可分的情况，Fisher 方法无法确定分类2 实验原理2.1 线性投影与Fisher 准则函数各类在d 维特征空间里的样本均值向量：∑∈=ik X x kii xn M 1，2,1=i (2.5-2)通过变换w 映射到一维特征空间后，各类的平均值为：∑∈=ik Y y kii yn m 1，2,1=i (2.5-3)映射后，各类样本“类内离散度”定义为：22()k ii k i y Y S y m ∈=-∑，2,1=i (2.5-4)显然，我们希望在映射之后，两类的平均值之间的距离越大越好，而各类的样本类内离散度越小越好。
因此，定义Fisher 准则函数：2122212||()F m m J w s s -=+ (2.5-5)使F J 最大的解*w 就是最佳解向量，也就是Fisher 的线性判别式。
2.2 求解*w从)(w J F 的表达式可知，它并非w 的显函数，必须进一步变换。
已知：∑∈=ik Y y kii yn m 1，2,1=i , 依次代入(2.5-1)和(2.5-2)，有： i TX x kiT k X x T ii M wx n w x w n m ik ik ===∑∑∈∈)1(1，2,1=i (2.5-6)所以：221221221||)(||||||||M M w M w M w m m T T T -=-=-w S w w M M M M wb T T T=--=))((2121 (2.5-7)其中：T b M M M M S ))((2121--= (2.5-8)b S 是原d 维特征空间里的样本类内离散度矩阵，表示两类均值向量之间的离散度大小，因此，b S 越大越容易区分。
将(2.5-6)i T i M w m =和(2.5-2)∑∈=ik X x kii xn M 1代入(2.5-4)2i S 式中：∑∈-=ik X x i T kT i M w xw S 22)(∑∈⋅--⋅=ik X x T i k i kT w M x M xw ))((w S w i T =(2.5-9)其中：T i X x k i ki M x M xS ik ))((--=∑=，2,1=i (2.5-10)因此：w S w w S S w S S w T T =+=+)(212221 (2.5-11)显然：21S S S w += (2.5-12)i S 称为原d 维特征空间里，样本“类内离散度”矩阵。
w S 是样本“类内总离散度”矩阵。
为了便于分类，显然i S 越小越好，也就是w S 越小越好。
将上述的所有推导结果代入)(w J F 表达式： 可以得到：)(211*M M S w w -=-λγ其中，λγ是一个比例因子，不影响*w 的方向，可以删除，从而得到最后解：)(211*M M S w w -=- (2.5-18)*w 就使)(w J F 取得最大值，*w 可使样本由d 维空间向一维空间映射，其投影方向最好。
)(211*M M S w w -=-是一个Fisher 线性判断式。
这个向量指出了相对于Fisher 准则函数最好的投影线方向。
2.3 Fisher 算法步骤由Fisher 线性判别式)(211*M M S w w -=-求解向量*w 的步骤： ① 把来自两类21/w w 的训练样本集X 分成1w 和2w 两个子集1X 和2X 。
② 由∑∈=ik X x kii xn M 1，2,1=i，计算i M 。
③ 由T i X x k i ki M x M xS ik ))((--=∑=计算各类的类内离散度矩阵iS ，2,1=i。
④ 计算类内总离散度矩阵21S S S w +=。
⑤ 计算w S 的逆矩阵1-wS 。
⑥ 由)(211*M M S w w -=-求解*w 。
3 实验目的应用统计方法解决模式识别问题的困难之一是维数问题，在低维空间行得通的方法，在高维空间往往行不通。
因此，降低维数就成为解决实际问题的关键。
Fisher 的方法，实际上涉及维数压缩。
如果要把模式样本在高维的特征向量空间里投影到一条直线上，实际上就是把特征空间压缩到一维，这在数学上容易办到。
问题的关键是投影之后原来线性可分的样本可能变得混杂在一起而无法区分。
在一般情况下，总可以找到某个最好的方向，使样本投影到这个方向的直线上是最容易分得开的。
如何找到最好的直线方向，如何实现向最好方向投影的变换，是Fisher 法要解决的基本问题。
这个投影变换就是我们寻求的解向量*w本实验通过编制程序体会Fisher线性判别的基本思路，理解线性判别的基本思想，掌握Fisher线性判别问题的实质。
4 实验实例例题：根据我国东部沿海11个省市城镇居民家庭平均每人全年家庭收入的5个指标（工薪收入、经营净收入、财产性收入和转移性收入）数据将各省市城镇居民家庭分为高收入组和次高收入组，建立判别函数进而判定未分组省市的类别。
4.1数据录入通过国家统计局网站得到我国东部沿海11省市的城镇居民家庭平均每人全年家庭收入的5个指标（工薪收入、经营净收入、财产性收入和转移性收入）数据得到excel表格，并将11个省份划分为高收入组（代号为1）和次高收入组（代号为2），分类如图2-1组别，将其导入spss得到如图4-1所示：4-14.2进行Fisher判别分析在SPSS中进行如下操作：步骤一在analyze菜单中的classify子菜单中选择discriminant命令如4-2图所示。
4-2步骤二在如图4-3所示的discriminant analyze对话框中，从左侧变量的变量列表中选择“工薪收入”、“经营净收入”、“财产性收入”和“转移性收入”变量，使之添加到independents框中4-3步骤三选择“组别”变量使之添加到group ariable框中。
这时group ariable 框下的define range按钮变为可用，单击，弹出discriminant analyze：difine 对话框如图4-4所示，并在minium中输入1，在maximum中输入2.4-4步骤四在discriminant analyze对话框中单击statistics按钮，弹出discriminant analyze：statistics对话框，如图4-5所示。
4-5步骤五在discriminant analyze对话框中单击classify按钮弹出discriminant analyze：classification对话框，如图4-6所示4-6步骤六单击图4-3所示的discriminant analysis对话框中的ok键，完成操作。
4.3得到分析结果如表4-1所示可知只有一个判别函数：D1=2.94*城镇居民家庭总收入-1.892*工资性收入+0.943*经营性收入-1.322*财产性收入-1.112*转移性收入标准化的典型判别式函数系数函数1城镇居民家庭总收入 2.940工资性收入-1.892经营性收入.943财产性收入-1.322转移性收入-.112表4-1由分析结果表4-2可知高收入组的Fisher线性判别函数为：F1=0.025*城镇居民家庭总收入-0.018*工资性收入+0.014*经营性收入-0.064*财产性收入-0.009*转移性收入-105.381次高收入组的Fisher判别函数为：F2=0.021*城镇居民家庭总收入-0.015*工资性收入+0.009*经营性收入-0.05*财产性收入-0.009*转移性收入-55.554。
将初始数据代入判别函数可得到表4-3，可知判别函数对初始分组案例100%的进行了正确分类。
4.4应用Fisher 判别方程对未分组省份进行分组 由分析可知判别函数123452.94*X 1.892*X 0.943* 1.322* 1.112*D X X X =-+--（其中1X 2X 3X 4X 5X 分别代表城镇居民家庭总收入、工资性收入、经营性收入、财产性收入、转移性收入） 又有高收入组各项指标的均值表4-2X（1）= （24632.8，18453.4，1826.2 ，703.4 ，6592.4）次高收入组各项指标的均值X（2）= （16178.16667，11553.66667 ，1480.333333，489.5，4210.666667）代入判别函数可得Y（1）=30968.06 ，2Y（）=21770.85进而可得()2,1c Y=25951.4表4-4根据表4-4判别函数值列与临界值25951.4比较可知：剩余未分类的省份都属于次高收入组。
