模式识别FISHER线性判别实验

一、Fisher线性判别

Fisher线性判别是统计模式识别的基本方法之一。它简单，容易实现，且计算量和存储量小，是实际应用中最常用的方法之一。Fisher判别法Fisher在1936年发表的论文中首次提出的线性判别法。Fisher判别法的基本思想是寻找一个最好的投影，当特征向量x从d维空间映射到这个方向时，两类能最好的分开。这个方法实际上涉及到特征维数的压缩问题。

一维空间的Fisher线性判别函数为：

21212()()FmmJwSS （1）

im=xN1,i=1,2 （2）

2,1,)()(imxmxSTixiii （3）

其中，1m和2m是两个样本的均值，1S，2S分别为各类样本的的类内离散度。投影方向w为：

)(211mmSww （4）

12wSSS （5）

在Fisher判决函数中，分子反应了映射后两类中心的距离平方，该值越大，类间可分性越好；分母反应了两类的类内的离散度，其值越小越好；从总体上讲，()FJw的值越大越好，在这种可分性评价标准下，使()FJw达到最大值的w即为最佳投影方向。

1.1、 Fisher线性判别实验流程图

分别取25组类别1和类别2的样本进行训练

通过式2~5，计算得到w和决策面阈值

构成fisher判别函数

分别计算类1类2识别的准确率 选取另外25组类别1和类别2的样本进行测试

是否大于阈值？

类别1的个数加1 类别2的个数加2

Y N

1.2 Fisher线性判别mtalab代码

科技论坛　基于改进的ＰＣＡ算法和Ｆｉｓｈｅｒ线性　判别的掌纹识别研究　李静雯　（四川理工学院计算机学院，四川自贡６４３０００）　摘要：掌纹识别技术是生物特征识别技术的一种，它是根据人手掌上的有效信息（如：掌纹）来识别人的身份。人的掌纹具有唯一性和多特征　性，这些都是识别的关键条件。识别的先决条件就是对掌纹图像进行特征提取，特征提取算法的好坏很大程度上决定了系统的识别率和效率的高　低。现提出了一种基于改进的ＰＣＡ算法和Ｆｉｓｈｅｒ线性判别的掌纹识别研究方法。实验结果表明，识别率有一定提高。　关键词：掌纹识别；ＰＣＡ算法；Ｆｉｓｈｅｒ线性判别　１概述　掌纹识别系统是基于掌纹特征的匹配，特征提取算法的好坏很大程　度上决定了系统的识别率和效率的高低。即能否有效地进行特征的提取　和选择，决定了下一步的分类匹配决策能否高效准确的完成。因此在掌　纹识别的过程中，特征提取是掌纹识别中最关键的一个环节。　２改进的ＰＣＡ和Ｆｉｓｈｅｒ线性判别相结合的识别算法　其实，直接用Ｆｉｓｈｅｒ线性判别分析（ＦＬＤ）方法进行掌纹识别的效果　比ＰＣＡ要好很多，但直接应用ＦＬＤ方法常常遇到样本类内散布矩阵通　常是奇异的这样一个问题。这是因为训练样本一般都小于每个样本所包　含的像素个数。而且ＦＬＤ方法在计算过程中要反复做矩阵操作，计算量　大。并且一般情况下掌纹识别问题只是一个小样本问题，所以如果类内　散布矩阵总为奇异矩阵就反而使求解变得很困难。　所以，这里采用一种将改进的ＰＣＡ方法和Ｆｉｓｈｅｒ线性判别方法相　结合的掌纹识别方法来实现掌纹的识别。首先，将图像通过改进的ＰＣＡ　算法进行降维，然后对降维后的图像应用Ｆｉｓｈｅｒ线性判别算法进行分　类。实验证明，此方法克服了直接使用ＬＤＡ带来的大矩阵和类内散布矩　阵奇异的问题，识别效果比基于纯ＬＤＡ的方法要好很多。　改进的ＰＣＡ方法和Ｆｉｓｈｅｒ线性判别方法相结合的思想是这样的：　首先把所有训练集或掌纹库中的图像组成数据矩阵，然后投影到个Ｎ　Ｘ　Ｎ的正交基上，Ｎ表示所有的训练集中的图像数目，正交基可以通过改　进的ＰＣＡ方法训练得到。投影后将产生一个维数比较小的满秩矩阵，这　将为后面ＦＬＤ的计算缩短时间。由改进的ＰＣＡ方法知道，这个投影保留　了原始图像矩阵的主要信息，不会影响ＦＬＤ的计算精度。　该方法的具体实验步骤如下：　１）读取掌纹数据，通过改进的ＰＣＡ算法降低训练样本的维数。　２）对训练样本进行改进的ＰＣＡ变换，通过公式１求出ＰＣＡ特征空　间的基：　ｗ　【ｗ１，Ｗ２，…，ｗＪ　（１）　将训练样本映射到特征空间，求出其特征系数ａ＝［ａｌ’ａ　－－，ａｎ］。　３）根据公式２，计算降维后的类内散布矩阵和类间散布矩阵：　ｓ’Ｗ＝ｗ　ｗＷ　，ｓ　Ｂ＝Ｗ　ｌ呻ｓＲＷ　（２）　４）根据公式３，求解类内散布矩阵Ｓ　的广义特征值　和类间散布　矩阵ｓ　的特征向量Ａ：　ｓ　Ａ＝　ＳｗＡ　（３）　５）将特征向量根据它们对应的特征值，按照从大到小的顺序进行排　序，并进行标准化，选择前面Ａ个特征向量组成最佳分类空间，如下公　式４：　Ｗ　＝　ｎｄＷ　（４）　６）用上式求出的最佳分类空间进行掌纹的降维和分类识别。识别时　把掌纹图像投影到最优的掌纹子空间，从而得到掌纹在子空间的投影向　量。然后对这个向量运用相应的距离准则进行分类识别。　３各种算法的实验结果对比　本文针对改进的ＰＣＡ算法，将此应用于掌纹库中，并选取不同的特　征数分别进行了ｍａｔｌａｂ实验仿真，和原有ＰＣＡ相比，取得了更好的效　果。　３．１改进的ＰＣＡ算法的实验结果。　由本文实验数据可知，改进的算法比ＰＣＡ算法稍微复杂一点，但是　识别率有显著的提高，见图１。　为使数据具有可比较性，本实验和以后的掌纹识别均统一采用香港　理工大学ＰｏｌｙＵ的公用掌纹图像库，从时间上看，识别一幅图像所用的　ｌＵ　２０　３０　４０　５０　６Ｕ　７０　８０　９Ｏ　ｌＯＵ　ｌｌＵ　ｌ２０　ｌ　３Ｕ　ｌ４Ｕ　特征数　图１不同算法的掌纹识别率　３．２改进的ＰＣＡ算法和ＦＬＤ方法结合的实验结果。　在研究不同的算法效果时，尝试将不同的算法结合在～起。由实验　数据可以得出结论，将改进的ＰＣＡ算法和ＦＬＤ方法结合起来运用到掌　纹识别系统中时，起到了其中某一种算法所远远不及的效果。见图２。　ｊＯ０　簿９５　磊　蓉９Ｏ　格８５　８０　７０　８０　９０　ｌＯ０　ｌｌ０。１２０　１３０　１　４Ｏ　特征数　图２不同算法的掌纹识别率　如表１中，列Ｌ叶Ｊ的是实验中各种方法在特征数为９０时的识别率，并　列出了各种方法训练和识别所用的时间；由表可以看出本文提出的方法　在这几种方法中识别率是最高的，可以达到９５．８％。而且本文提出的混　合方法在提高了正确识别率的同时，保证了其识别时间与训练时间和原　方法相比基本保持不变，可见本文提出的改进方法是切实可行的。　正确识别率、训练和识别时间的对比　

【线性判别】Fisher线性判别（转）

今天读paper遇到了Fisher线性判别的变体， 所以来学习⼀下， 所以到时候⼀定要把PRMl刷⼀遍呀

在前⽂《贝叶斯决策理论》中已经提到，很多情况下，准确地估计概率密度模型并⾮易事，在特征空间维数较⾼和样本数量较少的情况下尤

为如此。

实际上，模式识别的⽬的是在特征空间中设法找到两类（或多类）的分类⾯，估计概率密度函数并不是我们的⽬的。

前⽂已经提到，正态分布情况下，贝叶斯决策的最优分类⾯是线性的或者是⼆次函数形式的，本⽂则着重讨论线性情况下的⼀类判别准则

——Fisher判别准则。

为了避免陷⼊复杂的概率的计算，我们直接估计判别函数式中的参数（因为我们已经知道判别函数式是线性的）。

⾸先我们来回顾⼀下线性判别函数的基本概念：

应⽤统计⽅法解决模式识别问题时，⼀再碰到的问题之⼀就是维数问题。在低维空间⾥解析上或计算上⾏得通的⽅法，在⾼维空间⾥往往⾏不通。因此，降

低维数有时就会成为处理实际问题的关键。

问题描述：如何根据实际情况找到⼀条最好的、最易于分类的投影线，这就是Fisher判别⽅法所要解决的基本问题。考虑把d维空间的样本投影到⼀条直线上，形成⼀维空间，即把维数压缩到⼀维。然⽽，即使样本在d维空间⾥形成若⼲紧凑的互相分得开的集群，当把它们投影到⼀条直线上时，也可能会是⼏类样本混在⼀起⽽变得⽆法识别。但是，在⼀般情况下，总可以找到某个⽅向，使在这个⽅向的直线上，样本的投影能分得开。下图可能会更加直观⼀点：

从d维空间到⼀维空间的⼀般数学变换⽅法：假设有⼀集合Г包含N个d维样本x1, x2, …, xN，其中N1个属于ω1类的样本记为⼦集Г1， N2个属于ω2类的样本记为⼦集Г2 。若对xn的分量做线性组合可得标量：yn = wTxn, n=1,2,…,N

这样便得到N个⼀维样本yn组成的集合，并可分为两个⼦集Г1’和Г2’ 。

实际上，w的值是⽆关紧要的，它仅是yn乘上⼀个⽐例因⼦，重要的是选择w的⽅向。w的⽅向不同，将使样本投影后的可分离程度不同，从⽽直接影响的分类效果。因此，上述寻找最佳投影⽅向的问题，在数学上就是寻找最好的变换向量w*的问题。

实验二 Fisher线性判别法

一、 实验原理

线性判别函数的一般形式可表示成

0)(wXWXgT 其中

dxxX1

dwwwW21

根据Fisher选择投影方向W的原则，即使原样本向量在该方向上的投影能兼顾类间分布尽可能分开，类内样本投影尽可能密集的要求，用以评价投影方向W的函数为：

2221221~~)~~()(SSmmWJF

)(211*mmSWW

上面的公式是使用Fisher准则求最佳法线向量的解，该式比较重要。另外，该式这种形式的运算，我们称为线性变换，其中21mm式一个向量，1WS是WS的逆矩阵，如21mm是d维，WS和1WS都是d×d维，得到的*W也是一个d维的向量。

向量*W就是使Fisher准则函数)(WJF达极大值的解，也就是按Fisher准则将d维X空间投影到一维Y空间的最佳投影方向，该向量*W的各分量值是对原d维特征向量求加权和的权值。

以上讨论了线性判别函数加权向量W的确定方法，并讨论了使Fisher准则函数极大的d维向量*W 的计算方法，但是判别函数中的另一项0W尚未确定，一般可采用以下几种方法确定0W如

2~~210mmW

或者 mNNmNmNW~~~2122110

或当1)(p与2)(p已知时可用

2)(/)(ln2~~2121210NNppmmW

……

当W0确定之后，则可按以下规则分类，

2010XwXWXwXWTT

使用Fisher准则方法确定最佳线性分界面的方法是一个著名的方法，尽管提出该方法的时间比较早，仍见有人使用。

二、 流程图

得到每个类的均值向量

计算类内的离散度，总的离散度

计算总离散度的逆矩阵

计算投影向量和阈值 载入测试数据