1. 问题
之前我们讨论的PCA、ICA也好，对样本数据来言，可以是没有类别标签y的。回想我们做回归时，如果特征太多，那么会产生不相关特征引入、过度拟合等问题。我们可以使用PCA 来降维，但PCA没有将类别标签考虑进去，属于无监督的。
比如回到上次提出的文档中含有“learn”和“study”的问题，使用PCA后，也许可以将这两个特征合并为一个，降了维度。但假设我们的类别标签y是判断这篇文章的topic是不是有关学习方面的。那么这两个特征对y几乎没什么影响，完全可以去除。
再举一个例子，假设我们对一张100*100像素的图片做人脸识别，每个像素是一个特征，那么会有10000个特征，而对应的类别标签y仅仅是0/1值，1代表是人脸。这么多特征不仅训练复杂，而且不必要特征对结果会带来不可预知的影响，但我们想得到降维后的一些最佳特征（与y关系最密切的），怎么办呢？
2. 线性判别分析（二类情况）
回顾我们之前的logistic回归方法，给定m个n维特征的训练样例（i
从1到m），每个对应一个类标签。我们就是要学习出参数，使得（g 是sigmoid函数）。
现在只考虑二值分类情况，也就是y=1或者y=0。
为了方便表示，我们先换符号重新定义问题，给定特征为d维的N个样例，
，其中有个样例属于类别，另外个样例属于类别。
现在我们觉得原始特征数太多，想将d维特征降到只有一维，而又要保证类别能够“清晰”地反映在低维数据上，也就是这一维就能决定每个样例的类别。
我们将这个最佳的向量称为w（d维），那么样例x（d维）到w上的投影可以用下式来计算
这里得到的y值不是0/1值，而是x投影到直线上的点到原点的距离。
当x是二维的，我们就是要找一条直线（方向为w）来做投影，然后寻找最能使样本点分离的直线。如下图：
从直观上来看，右图比较好，可以很好地将不同类别的样本点分离。
接下来我们从定量的角度来找到这个最佳的w。
首先我们寻找每类样例的均值（中心点），这里i只有两个
由于x到w投影后的样本点均值为
由此可知，投影后的的均值也就是样本中心点的投影。
什么是最佳的直线（w）呢？我们首先发现，能够使投影后的两类样本中心点尽量分离的直线是好的直线，定量表示就是：
J(w)越大越好。
但是只考虑J(w)行不行呢？不行，看下图
样本点均匀分布在椭圆里，投影到横轴x1上时能够获得更大的中心点间距J(w)，但是由于有重叠，x1不能分离样本点。投影到纵轴x2上，虽然J(w)较小，但是能够分离样本点。因此我们还需要考虑样本点之间的方差，方差越大，样本点越难以分离。
我们使用另外一个度量值，称作散列值（scatter），对投影后的类求散列值，如下
从公式中可以看出，只是少除以样本数量的方差值，散列值的几何意义是样本点的密集程度，值越大，越分散，反之，越集中。
而我们想要的投影后的样本点的样子是：不同类别的样本点越分开越好，同类的越聚集越好，也就是均值差越大越好，散列值越小越好。正好，我们可以使用J(w)和S来度量，最终的度量公式是
接下来的事就比较明显了，我们只需寻找使J(w)最大的w即可。
先把散列值公式展开
我们定义上式中中间那部分
这个公式的样子不就是少除以样例数的协方差矩阵么，称为散列矩阵（scatter m atrices）我们继续定义
称为Within-class scatter m atrix。
那么回到上面的公式，使用替换中间部分，得
然后，我们展开分子
称为Between-class scatter，是两个向量的外积，虽然是个矩阵，但秩为1。
那么J(w)最终可以表示为
在我们求导之前，需要对分母进行归一化，因为不做归一的话，w扩大任何倍，都成立，我们就无法确定w。因此我们打算令，那么加入拉格朗日乘子后，求导
其中用到了矩阵微积分，求导时可以简单地把当做看待。
如果可逆，那么将求导后的结果两边都乘以，得
这个可喜的结果就是w就是矩阵的特征向量了。
这个公式称为Fisher linear discrimination。
等等，让我们再观察一下，发现前面的公式
那么
代入最后的特征值公式得
由于对w扩大缩小任何倍不影响结果，因此可以约去两边的未知常数和，得到
至此，我们只需要求出原始样本的均值和方差就可以求出最佳的方向w，这就是Fisher于1936年提出的线性判别分析。
看上面二维样本的投影结果图：
3. 线性判别分析（多类情况）
前面是针对只有两个类的情况，假设类别变成多个了，那么要怎么改变，才能保证投影后类别能够分离呢？
我们之前讨论的是如何将d维降到一维，现在类别多了，一维可能已经不能满足要求。假设我们有C个类别，需要K维向量（或者叫做基向量）来做投影。
将这K维向量表示为。
我们将样本点在这K维向量投影后结果表示为，有以下公式成立
为了像上节一样度量J(w)，我们打算仍然从类间散列度和类内散列度来考虑。
当样本是二维时，我们从几何意义上考虑：
其中和与上节的意义一样，是类别1里的样本点相对于该类中心点的散列程度。
变成类别1中心点相对于样本中心点的协方差矩阵，即类1相对于的散列程度。
为
的计算公式不变，仍然类似于类内部样本点的协方差矩阵
需要变，原来度量的是两个均值点的散列情况，现在度量的是每类均值点相对于样本中心的散列情况。类似于将看作样本点，是均值的协方差矩阵，如果某类里面的样本点较多，那么其权重稍大，权重用Ni/N表示，但由于J(w)对倍数不敏感，因此使用Ni。
其中
是所有样本的均值。
上面讨论的都是在投影前的公式变化，但真正的J(w)的分子分母都是在投影后计算的。下面我们看样本点投影后的公式改变：
这两个是第i类样本点在某基向量上投影后的均值计算公式。
下面两个是在某基向量上投影后的和
其实就是将换成了。
综合各个投影向量（w）上的和，更新这两个参数，得到
W是基向量矩阵，是投影后的各个类内部的散列矩阵之和，是投影后各个类中心相对于全样本中心投影的散列矩阵之和。
回想我们上节的公式J(w)，分子是两类中心距，分母是每个类自己的散列度。现在投影方向是多维了（好几条直线），分子需要做一些改变，我们不是求两两样本中心距之和（这个对描述类别间的分散程度没有用），而是求每类中心相对于全样本中心的散列度之和。
然而，最后的J(w)的形式是
由于我们得到的分子分母都是散列矩阵，要将矩阵变成实数，需要取行列式。又因为行列式的值实际上是矩阵特征值的积，一个特征值可以表示在该特征向量上的发散程度。因此我们使用行列式来计算（此处我感觉有点牵强，道理不是那么有说服力）。
整个问题又回归为求J(w)的最大值了，我们固定分母为1，然后求导，得出最后结果（我翻查了很多讲义和文章，没有找到求导的过程）
与上节得出的结论一样
最后还归结到了求矩阵的特征值上来了。首先求出的特征值，然后取前K个特征向量组成W矩阵即可。
注意：由于中的秩为1，因此的秩至多为C（矩阵的秩小于等于各个相加矩阵
的秩的和）。由于知道了前C-1个后，最后一个可以有前面的来线性表示，因此的秩至多为C-1。那么K最大为C-1，即特征向量最多有C-1个。特征值大的对应的特征向量分割性能最好。
由于不一定是对称阵，因此得到的K个特征向量不一定正交，这也是与PCA不同的地方。
4. 实例
将3维空间上的球体样本点投影到二维上，W1相比W2能够获得更好的分离效果。
PCA与LDA的降维对比：
PCA选择样本点投影具有最大方差的方向，LDA选择分类性能最好的方向。
LDA既然叫做线性判别分析，应该具有一定的预测功能，比如新来一个样例x，如何确定其类别？
拿二值分来来说，我们可以将其投影到直线上，得到y，然后看看y是否在超过某个阈值y0，超过是某一类，否则是另一类。而怎么寻找这个y0呢？
看
根据中心极限定理，独立同分布的随机变量和符合高斯分布，然后利用极大似然估计求
然后用决策理论里的公式来寻找最佳的y0，详情请参阅PRML。
这是一种可行但比较繁琐的选取方法，可以看第7节（一些问题）来得到简单的答案。
5. 使用LDA的一些限制
1、LDA至多可生成C-1维子空间
LDA降维后的维度区间在[1,C-1]，与原始特征数n无关，对于二值分类，最多投影到1维。
2、LDA不适合对非高斯分布样本进行降维。
上图中红色区域表示一类样本，蓝色区域表示另一类，由于是2类，所以最多投影到1维上。不管在直线上怎么投影，都难使红色点和蓝色点内部凝聚，类间分离。
3、LDA在样本分类信息依赖方差而不是均值时，效果不好。
上图中，样本点依靠方差信息进行分类，而不是均值信息。LDA不能够进行有效分类，因为LDA过度依靠均值信息。
4、LDA可能过度拟合数据。
6. LDA的一些变种
1、非参数LDA
非参数LDA使用本地信息和K临近样本点来计算,使得是全秩的，这样我们可以抽取多余C-1个特征向量。而且投影后分离效果更好。
2、正交LDA
先找到最佳的特征向量，然后找与这个特征向量正交且最大化fisher条件的向量。这种方法也能摆脱C-1的限制。
3、一般化LDA
引入了贝叶斯风险等理论
4、核函数LDA
将特征，使用核函数来计算。
7. 一些问题
上面在多值分类中使用的
是带权重的各类样本中心到全样本中心的散列矩阵。如果C=2（也就是二值分类时）套用这个公式，不能够得出在二值分类中使用的。
因此二值分类和多值分类时求得的会不同，而意义是一致的。
对于二值分类问题，令人惊奇的是最小二乘法和Fisher线性判别分析是一致的。
下面我们证明这个结论，并且给出第4节提出的y0值得选取问题。
回顾之前的线性回归，给定N个d维特征的训练样例（i从1到N），
每个对应一个类标签。我们之前令y=0表示一类，y=1表示另一类，现在我们为了证明最小二乘法和LDA的关系，我们需要做一些改变
就是将0/1做了值替换。
我们列出最小二乘法公式
w和是拟合权重参数。
分别对和w求导得
从第一个式子展开可以得到
消元后，得
可以证明第二个式子展开后和下面的公式等价
其中和与二值分类中的公式一样。
由于
因此，最后结果仍然是
这个过程从几何意义上去理解也就是变形后的线性回归（将类标签重新定义），线性回归后的直线方向就是二值分类中LDA求得的直线方向w。
好了，我们从改变后的y的定义可以看出y>0属于类，y<0属于类。因此我们可以选取y0=0，即如果，就是类，否则是类。
写了好多，挺杂的，还有个topic模型也叫做LDA，不过名字叫做Latent Dirichlet Allocation，第二作者就是Andrew Ng大牛，最后一个他导师Jordan泰斗了，什么时候拜读后再写篇总结发上来吧。
第8章线性判别分析 主成分分析的目标是向量在低维空间中的投影能很好的近似代替原始向量，但这种投影对分类不一定合适。由于是无监督的学习，没有利用样本标签信息，不同类型样本的特征向量在这个空间中的投影可能很相近。本章要介绍的线性判别分析也是一种子空间投影技术，但是它的目的是用来做分类，让投影后的向量对于分类任务有很好的区分度。 8.1用投影进行分类 线性判别分析（Linear discriminant analysis，简称LDA）[1][2]的基本思想是通过线性投影来最小化同类样本间的差异，最大化不同类样本间的差异。具体做法是寻找一个向低维空间的投影矩阵W，样本的特征向量x经过投影之后得到新向量： y Wx = 同一类样本投影后的结果向量差异尽可能小，不同类的样本差异尽可能大。直观来看，就是经过这个投影之后同一类的样本尽量聚集在一起，不同类的样本尽可能离得远。下图8.1是这种投影的示意图： 图8.1最佳投影方向 上图中特征向量是二维的，我们向一维空间即直线投影，投影后这些点位于直线上。在上图中有两类样本，通过向右上方的直线投影，两类样本被有效的分开了。绿色的样本投影之后位于直线的下半部分，红色的样本投影之后位于直线的上半部分。由于是向一维空间投影，这相当于用一个向量w和特征向量x做内积，得到一个标量： T y=w x
8.2寻找投影矩阵 8.2.1一维的情况 问题的关键是如何找到最佳投影矩阵。下面先考虑最简单的情况，把向量映射到一维空间。假设有n 个样本，它们的特征向量为i x ，属于两个不同的类。属于类1C 的样本集为1D ，有1n 个样本；属于类2C 的样本集为2D ，有2n 个样本。有一个向量w ，所有向量对该向量做投影可以得到一个标量： T y =w x 投影运算产生了n 个标量，分属于与1C 和2C 相对应的两个集合1Y 和2Y 。我们希望投影后两个类内部的各个样本差异最小化，类之间的差异最大化。类间差异可以用投影之后两类样本均值的差来衡量。投影之前每类样本的均值为： x 1m i i D i n ∈= ∑x 投影后的均值为： T T x 1m i i i D i n ∈==∑w x w m 它等价于样本均值在w 上的投影。投影后两类样本均值差的绝对值为： ()T 1212 -=-m m w m m 类内的差异大小可以用方差来衡量。定义类别i C 的类内散布为： ()2 2i i i y Y s y m ∈=-∑ 这是一个标量，和方差相差一个倍数，衡量了某一类的所有样本与该类中心的距离。()() 22121/n s s + 是全体样本的方差，2212s s + 称为总类内散布。我们要寻找的最佳投影需要使下面的目标函数最大化： () ()2 122212m m w L s s -=+ 即让类间的均值差最大化（分子），类内的差异最小化（分母）。为了把这个目标函数写成w 的函数，定义类内散布矩阵为： ()() T x S x m x m i i i i D ∈= --∑总类内散布矩阵为：12S S S W =+
为研究1991年中国城镇居民月平均收入状况，按标准化欧氏平方距离、离差平方和聚类方法将30个省、市、自治区．分为三种类型。试建立判别函数，判定广东、西藏分别属于哪个收入类型。判别指标及原始数据见表9-4。 1991年30个省、市、自治区城镇居民月平均收人数据表 单位：元／人 x1：人均生活费收入 x6：人均各种奖金、超额工资(国有+集体) x2：人均国有经济单位职工工资 x7：人均各种津贴(国有+集体) x3：人均来源于国有经济单位标准工资 x8：人均从工作单位得到的其他收入 x4：人均集体所有制工资收入 x9：个体劳动者收入 5
贝叶斯判别的SPSS操作方法： 1. 建立数据文件 2．单击Analyze→ Classify→ Discriminant，打开Discriminant Analysis 判别分析对话框如图1所示： 图1 Discriminant Analysis判别分析对话框 3．从对话框左侧的变量列表中选中进行判别分析的有关变量x1~x9进入Independents 框，作为判别分析的基础数据变量。 从对话框左侧的变量列表中选分组变量Group进入Grouping Variable 框，并点击Define Range...钮，在打开的Discriminant Analysis: Define Range对话框中，定义判别原始数据的类别数，由于原始数据分为3类，则在Minimum（最小值）处输入1，在Maximum（最大值）处输入3（见图2）。。 选择后点击Continue按钮返回Discriminant Analysis主对话框。 图2 Define Range对话框 4、选择分析方法 Enter independent together 所有变量全部参与判别分析（系统默 认）。本例选择此项。 Use stepwise method 采用逐步判别法自动筛选变量。
线性判别分析使用说明 一、工具产生背景 在实际应用中，我们经常会遇到考察对象的分类结果是已知的情况。例如，某商业银行根据信用卡等级评分模型将其划分为3个类别：信用等级高、信用等级中以及信用等级低。判别分析是用来处理这种在已知分类结果的情况下对新数据集的归类。它与聚类分析相反，因为在进行聚类分析之前，所考察对象可以分为哪几类是未知的。判别分析可以通过训练数据集学习每个类别的特征，然后对新的数据集进行分类处理。 从统计学的角度看，判别分析可描述为：已知有k个总体G1,G2,…,Gk，现有样本y，要根据这k个总体和当前样本的特征，判定该样本y属于哪一个总体。其主要工作是根据对已知总体的理解，建立判别规则（判别函数），然后根据该判别规则对新的样本属于那个总体做出判断。 常用的判别分析主要是线性判别分析和二次判别分析，二者拥有类似的算法特征，区别仅在于：当不同分类样本的协方差（描述维度间关系的指标Cov(X,Y)=E{[ X-E(X)][Y-E(Y) ]}）矩阵相同时，使用线性判别分析；当不同分类样本的协方差矩阵不同时，则应该使用二次判别分析。本文讲解线性判别分析，这也是最常用的判别分析方法。 二、功能按钮说明 软件打开后界面如下： 接下来具体介绍功能的使用： 1、选择训练数据集 选择用于训练模型的数据集。需满足以下条件： 1）首行是字段，且至少有两个字段； 2）必须包含一个分类字段； 3）除了分类字段，其它字段均为数值型。 如下：
其中”Type”为分类字段。 增加训练数据集，可提高模型的预测效果。 2、分类字段 分类字段是必不可少。当选择好训练数据集后会自动将所有字段添加到“分类字段”后的下拉框中，默认首个字段为当前选中的分类字段。 3、选择测试数据集 测试数据集就是待分类的新的数据集。需满足以下条件： 1）首行是字段; 2）每个字段均为数值型； 3）不包含分类字段。 4、优化算法： 指定求解最优化问题的算法，默认为奇异值分解(svd)。 1）奇异值分解(svd) 2）最小平方差(lsqr) 3）特征分解(eigen) 5、先验概率 默认为None，表示每一个分类的先验概率是等可能的。而有时候我们事先知道每个分类可能出现的概率，这时候也可以自定义。此时各分类概率之间需用英文逗号隔开。比如： ”0.2,0.3,0.4,0.1” 表示四个分类的概率分别为0.2,0.3,0.4,0.1且四个概率之和为1，如果概率和不为1则会对概率自动伸缩。而这四个分类分别为“分类字段”指定的按照先后顺序出现的四个唯一值。 6、最小容差 判别类别可以收敛的最小容差，默认为0.0001，一般不需要改动。 7、输出判别结果 输出测试数据集的判别结果。判别结果包含一个判定结果字段，和每条观测属于不同分类的概率。各分类的概率之和为1，判别结果为概率最高的一个分类。 三、生成图表解释 1、权值向量，如下：
第六章 判别分析 §6.1 什么是判别分析 判别分析是判别样品所属类型的一种统计方法，其应用之广可与回归分析媲美。 在生产、科研和日常生活中经常需要根据观测到的数据资料，对所研究的对象进行分类。例如在经济学中，根据人均国民收入、人均工农业产值、人均消费水平等多种指标来判定一个国家的经济发展程度所属类型；在市场预测中，根据以往调查所得的种种指标，判别下季度产品是畅销、平常或滞销；在地质勘探中，根据岩石标本的多种特性来判别地层的地质年代，由采样分析出的多种成份来判别此地是有矿或无矿，是铜矿或铁矿等；在油田开发中，根据钻井的电测或化验数据，判别是否遇到油层、水层、干层或油水混合层；在农林害虫预报中，根据以往的虫情、多种气象因子来判别一个月后的虫情是大发生、中发生或正常； 在体育运动中，判别某游泳运动员的“苗子”是适合练蛙泳、仰泳、还是自由泳等；在医疗诊断中，根据某人多种体验指标（如体温、血压、白血球等）来判别此人是有病还是无病。总之，在实际问题中需要判别的问题几乎到处可见。 判别分析与聚类分析不同。判别分析是在已知研究对象分成若干类型（或组别）并已取得各种类型的一批已知样品的观测数据，在此基础上根据某些准则建立判别式，然后对未知类型的样品进行判别分类。对于聚类分析来说，一批给定样品要划分的类型事先并不知道，正需要通过聚类分析来给以确定类型的。 正因为如此，判别分析和聚类分析往往联合起来使用，例如判别分析是要求先知道各类总体情况才能判断新样品的归类，当总体分类不清楚时，可先用聚类分析对原来的一批样品进行分类，然后再用判别分析建立判别式以对新样品进行判别。 判别分析内容很丰富，方法很多。判别分析按判别的组数来区分，有两组判别分析和多组判别分析；按区分不同总体的所用的数学模型来分，有线性判别和非线性判别；按判别时所处理的变量方法不同，有逐步判别和序贯判别等。判别分析可以从不同角度提出的问题，因此有不同的判别准则，如马氏距离最小准则、Fisher 准则、平均损失最小准则、最小平方准则、最大似然准则、最大概率准则等等，按判别准则的不同又提出多种判别方法。本章仅介绍四种常用的判别方法即距离判别法、Fisher 判别法、Bayes 判别法和逐步判别法。 §6.2 距离判别法 基本思想：首先根据已知分类的数据，分别计算各类的重心即分组（类）的均值，判别准则是对任给的一次观测，若它与第i 类的重心距离最近，就认为它来自第i 类。 距离判别法，对各类（或总体）的分布，并无特定的要求。 1 两个总体的距离判别法 设有两个总体（或称两类）G 1、G 2，从第一个总体中抽取n 1个样品，从第二个总体中抽取n 2个样品，每个样品测量p 个指标如下页表。 今任取一个样品，实测指标值为),,(1'=p x x X ，问X 应判归为哪一类？ 首先计算X 到G 1、G 2总体的距离，分别记为),(1G X D 和),(2G X D ，按距离最近准则
作业一： 为研究1991年中国城镇居民月平均收入状况，按标准化欧氏平方距离、离差平方和聚类方法将30个省、市、自治区．分为两种类型。试建立判别函数，判定广东、西藏分别属于哪个收入类型。判别指标及原始数据见表9-4。 1991年30个省、市、自治区城镇居民月平均收人数据表 单位：元／人 x1：人均生活费收入 x6：人均各种奖金、超额工资(国有+集体) x2：人均国有经济单位职工工资 x7：人均各种津贴(国有+集体) x3：人均来源于国有经济单位标准工资 x8：人均从工作单位得到的其他收入 x4：人均集体所有制工资收入 x9：个体劳动者收入 x5：人均集体所有制职工标准工资
一、距离判别法 解：变量个数p＝9，两类总体各有11个样品，即n1＝n2＝11 ，有2个待判样品，假定两总体协差阵相等。由spss可计算出：协方差和平均值
合计x1 123.2881 23.27817 22 22.000 x2 80.4895 22.04796 22 22.000 x3 50.8709 6.14867 22 22.000 x4 10.1450 3.11887 22 22.000 x5 6.0659 2.72297 22 22.000 x6 14.6060 6.73264 22 22.000 x7 15.7215 6.64603 22 22.000 x8 8.7895 3.02700 22 22.000 x9 1.5291 1.31496 22 22.000 知道了均值和协方差可利用matlab计算线性判别函数W（x）的判别系数a和判别常数。程序如下： v=[1.000,0.217,0.299,0.045,-0.054,0.688,0.212,0.121,-0.245;.217,1,.102,-.234,-.211,. 136,-.052,.116,.154;.299,.102,1,-.296,-.062,.091,-.017,-.607,-.034;.045,-.234,-.296,1,. 762,-.172,-.297,.103,-.554;-.054,-.211,-.062,.762,1,-.156,-.342,.022,-.654;.688,.136,.0 91,-.172,-.156,1,.235,.384,-.098;.212,-.052,-.017,-.297,-.342,.235,1,-.040,.424;.121,.1 16,-.607,.103,.022,.384,-.040,1,-.071;-.245,.154,-.034,-.554,-.654,-.098,.424,-.071,1]; >> m1=[139.2664;93.0918;53.9882;11.2073;6.7645;17.9345;17,8327;11.0018;1.6736];m 2=[107.3099;67.8873;47.7536;9.0827;5.3673;11.2775;13.6102;6.5773;1.3845]; >> m=(m1+m2)/2; >> arfa=inv(v)*(m1-m2);
2 二维线性鉴别分析（2DLDA ） 2．1 实验原理 由上面的公式计算w G 和b G ，类似于经典的Fisher 准则，二维图像直接投影的广义Fisher 准则定义如下： ()T b T w X G X J X X G X = 一般情况下w G 可逆，也就是根据1w b G G -计算本征值、本征向量，取最大的d 个本征值 对应的本征向量作为二维投影的向量组。需要特别指出的是，尽管b G 和w G 都是对称矩阵， 但1w b G G -不一定是对称矩阵。所以各投影轴之间关于w G 及t G 共轭正交，而不是正交。 本实验为简单起见，使用的为欧式距离。 2.2 实验过程 读取训练样本——〉求样本均值——〉求类内散布矩阵——〉特征值分解——〉对实验样本分类——〉计算分类正确率 2.3 实验结果分析 本实验中的类别数为40，每类的样本数为10，训练数为5，检测数为5。实验的结果正确率为72%，结果正确率偏低。 2.4 matlab 代码 clear all; t0=clock; class_num = 40; class_sample = 10; train_num = 5; test_num = 5; scale = 1; allsamples=[];%所有训练图像 gnd=[]; k=1; path = ['C:\Documents and Settings\dongyan\桌面\模式识别\ORL\ORL\ORL']; for i=1:class_num for j =1:train_num
name =[path num2str(10*i+j-10,'%.3d') '.BMP' ]; [a,map]=imread(name,'bmp'); a = imresize(a,scale); a=double(a); ImageSize=size(a); height=ImageSize(1); width=ImageSize(2); A=reshape(a,1,ImageSize(1)*ImageSize(2)); allsamples=[allsamples;A]; gnd(k)=i; k=k+1; end; end; trainData=allsamples; sampleMean=mean(allsamples);%求所有图片的均值 [nSmp,nFea] = size(trainData); classLabel = unique(gnd); nClass = length(classLabel); classmean=zeros(nClass,height*width);%求每类的均值 for i=1:nClass index = find(gnd==classLabel(i)); classmean(i,:)=mean(trainData(index, :)); end Gb=0; Amean=reshape(sampleMean,height,width);%求类间散布矩阵Gb for i=1:nClass Aimean=reshape(classmean(i,:),height,width); Gb=Gb+(Aimean-Amean)'*(Aimean-Amean); end Gw=0;%求类内散布矩阵 for i=1:nClass for j=train_num*(i-1)+1:train_num*i g=reshape((trainData(j,:)-classmean(i,:)),height,width); Gw=Gw+g'*g; end end
数理统计第二次大作业材料行业股票的聚类分析与判别分析 2015年12月26日
材料行业股票的聚类分析与判别分析摘要
1 引言 2 数据采集及标准化处理 2.1 数据采集 本文选取的数据来自大智慧软件的股票基本资料分析数据，从材料行业的股票中选取了30支股票2015年1月至9月的7项财务指标作为分类的自变量，分别是每股收益（单位：元）、净资产收益率（单位：%）、每股经营现金流（单位：元）、主营业务收入同比增长率（单位：%）、净利润同比增长率（单位：%）、流通股本（单位：万股）、每股净资产（单位：元）。各变量的符号说明见表2.1，整理后的数据如表2.2。 表2.1 各变量的符号说明 自变量符号 每股收益（单位：元）X1 净资产收益率（单位：%）X2 每股经营现金流（单位：元）X3 主营业务收入同比增长率（单位：%）X4 净利润同比增长率（单位：%）X5 流通股本（单位：万股）X6 每股净资产（单位：元）X7 表2.2 30支股票的财务指标 股票代码X1 X2 X3 X4 X5 X6 X7 武钢股份600005-0.0990-2.81-0.0237-35.21-200.231009377.98 3.4444宝钢股份6000190.1400 1.980.9351-14.90-55.011642427.88 6.9197山东钢铁600022-0.11650.060.0938-20.5421.76643629.58 1.8734北方稀土6001110.0830 3.640.652218.33-24.02221920.48 2.2856
杭钢股份600126-0.4900-13.190.4184-36.59-8191.0283893.88 3.4497抚顺特钢6003990.219310.080.1703-14.26714.18112962.28 1.4667盛和资源6003920.0247 1.84-0.2141-5.96-19.3739150.00 1.2796宁夏建材6004490.04000.510.3795-22.15-92.3447818.108.7321宝钛股份600456-0.2090-2.53-0.3313-14.81-6070.2043026.578.1497山东药玻6005290.4404 5.26 1.2013 6.5016.7825738.018.5230国睿科技6005620.410011.53-0.2949 3.3018.9416817.86 3.6765海螺水泥600585 1.15169.05 1.1960-13.06-25.33399970.2612.9100华建集团6006290.224012.75-0.57877.90-6.4034799.98 1.8421福耀玻璃6006600.790014.250.9015 3.6017.27200298.63 6.2419宁波富邦600768-0.2200-35.02-0.5129 3.1217.8813374.720.5188马钢股份600808-0.3344-11.710.3939-21.85-689.22596775.12 2.6854亚泰集团6008810.02000.600.1400-23.63-68.16189473.21 4.5127博闻科技6008830.503516.71-0.1010-10.992612.8023608.80 3.0126新疆众和6008880.0523 1.04-0.910662.64162.0464122.59 5.0385西部黄金6010690.0969 3.940.115115.5125.5712600.00 2.4965中国铝业601600-0.0700-2.920.2066-9.0882.79958052.19 2.3811明泰铝业6016770.2688 4.66-1.09040.8227.8640770.247.4850金隅股份6019920.1989 3.390.3310-10.05-39.01311140.26 6.7772松发股份6032680.35007.00-0.3195-4.43-9.622200.00 6.0244方大集团0000550.0950 5.66-0.480939.2920.6742017.94 1.6961铜陵有色0006300.0200 1.220.6132 3.23-30.74956045.21 1.5443鞍钢股份000898-0.1230-1.870.7067-27.32-196.21614893.17 6.4932中钢国际0009280.572714.45-0.4048-14.33410.2441286.57 4.2449中材科技0020800.684610.27 1.219547.69282.1740000.00 6.8936中南重工0024450.1100 4.300.340518.8445.0950155.00 2.7030 2.2 数据的标准化处理 由于不同的变量之间存在着较大的数量级的差别，因此要对数据变量进行标准化处理。本文采用Z得分值法标准化的方法进行标准化，用x的值减去x的均值再除以样本的方差。也就是把个案转换为样本均值为0、标准差为1的样本。如果不同变量的变量值数值相差太大，会导致计算个案间距离时，由于绝对值较小的数值权数较小，个案距离的大小几乎由大数值决定，标准化过程可以解决此类问题，使不同变量的数值具有同等的重要性。经Z标准化输出结果见表 2.2。 表2.2 经Z标准化后的数据 ZX1ZX2ZX3ZX4ZX5ZX6ZX7
实验指导之二 判别分析的SPSS软件的基本操作 [实验例题]为研究1991年中国城镇居民月平均收入状况，按标准化欧氏平方距离、离差平方和聚类方法将30个省、市、自治区．分为三种类型。试建立判别函数，判定广东、西藏分别属于哪个收入类型。判别指标及原始数据见表9-4。 1991年30个省、市、自治区城镇居民月平均收人数据表 单位：元／人 x1：人均生活费收入 x6：人均各种奖金、超额工资(国有+集体) x2：人均国有经济单位职工工资 x7：人均各种津贴(国有+集体) x3：人均来源于国有经济单位标准工资 x8：人均从工作单位得到的其他收入 x4：人均集体所有制工资收入 x9：个体劳动者收入 x5：人均集体所有制职工标准工资
6 湖南124.00 84.66 44.05 13.5 7.4 7 19.11 20.49 10.3 1.76 待判1 广东211.30 114.0 41.44 33.2 11.2 48.72 30.77 14.9 11.1 2 西藏175.9 3 163.8 57.89 4.22 3.37 17.81 82.32 15.7 0.00 贝叶斯判别的SPSS操作方法： 1. 建立数据文件 2．单击Analyze→Classify→Discriminant，打开Discriminant Analysis判别分析对话框如图1所示： 图1 Discriminant Analysis判别分析对话框 3．从对话框左侧的变量列表中选中进行判别分析的有关变量x1~x9进入Independents 框，作为判别分析的基础数据变量。 从对话框左侧的变量列表中选分组变量Group进入Grouping Variable 框，并点击Define Range...钮，在打开的Discriminant Analysis: Define Range 对话框中，定义判别原始数据的类别数，由于原始数据分为3类，则在Minimum（最小值）处输入1，在Maximum（最大值）处输入3（见图2）。。 选择后点击Continue按钮返回Discriminant Analysis主对话框。 图2 Define Range对话框 4、选择分析方法
地区生产总值及经济发展状况的统计分析 学号：姓名： 摘要：本文运用统计学方法，基于从2006和2007年度分地区生产总值的各项指标数据对各省市自治区经济发展状况进行了分类研究。研究结果显示了我国各省市的经济优势地区和经济薄弱地区，对更好地进行统筹规划，促进各地区经济健康协调发展有积极意义。 对各地区的经济发展状况进行的聚类和判别分析结果显示，北京﹑上海﹑山东﹑广东等东部沿海省份及直辖市在经济发展中处于领先地位，属于经济较发达地区；辽宁﹑湖南﹑河南等中部省份处于中游，属于中等发达地区；而位于我国西部的西藏﹑青海﹑宁夏等省份，经济发展较为缓慢，属于欠发达地区。分析结果与我国目前地区经济发展情况基本相符。 关键词：地区生产总值，地区经济发展， SPSS，聚类分析，判别分析 1.引言 国内生产总值是某国家领土面积内的经济情况的度量。是指在一定时期内(一个季度或一年)，一个国家或地区的经济中所生产出的全部最终产品和劳务的价值，常被公认为衡量国家经济状况的最佳指标。它不但可反映一个国家的经济表现，更可以反映一国的国力与财富。 地区生产总值是指由地方政府组织、支配的生产总值。是地方经济建设、政府机器运行和各方面事业发展的关键因素和物质基础。分地区生产总值可以较为准确反映地区经济发展状况，通过建立地区生产总值模型，对各地区经济发展状况进行分类，具有一定的准确性和合理性。 本文应用数理统计软件SPSS对各地区生产总值进行聚类和判别分析，分析和评定各地区经济发展情况，同时对各地区进行分类，确定经济优势地区和经济薄弱地区。 2.地区经济发展的聚类和判别分析 分地区生产总值主要包括的内容有: (1)第一产业: 包括农、林、牧、渔业。 (2)第二产业: 包括工业及建筑业。 (3)第三产业: 包括交通运输、仓储和邮政业、批发和零售业、住宿和餐饮业、金融 业、房地产业及其他产业。 (一)相关自变量的选择 本文从分析各地区生产总值的主要内容出发，展开对地区经济发展的聚类分析。鉴于第一产业的各个元素在地区生产总值中所占比重不大，为了便于分析，我们将农林牧渔等第一产业部分合为一类，与工业、建筑业、交通运输、仓储和邮政业、批发和零售业、住宿和餐
判别分析 1.判别分析的适用条件 (1)自变量和因变量间的关系符合线性假设。 (2)因变量的取值是独立的，且必须是事先就己经确定。 (3)自变量服从多元正态分布。 (4)所有自变量在各组间方差齐，协方差矩阵也相等。 (5)自变量间不存在多重共线性。 2.违背条件时的处理方法 (1)当样本的多元正态分布假设不能满足的时候采取的措施和方法如下: <>如果数据的超平面是若干分段结构的话，采用分段判别分析。 <>如果数据满足方差和协方差的齐次性可以采用距离判别分析、经典判别分析、贝叶斯判别分析中的任何一种，因为此时三者是等价的，建议使用经典判别分析。 <>如果数据不满足方差和协方差的齐次性，则采用经典判别分析、非参数判别分析、距离判别分析，这些方法无此适用条件。 <>进行变量变换。 (2)方差和协方差的齐次性不能满足的时候可以采取的措施如下: <>增加样本，这有时可以使其影响减小。 <>慎重的进行变量变换。 <>采用经典判别分析、非参数判别分析、距离判别分析，这些方法无此适用条件。 <>在合乎总体实际情况的前提下，保证各个分组的样本量一样，判别分析中分组之间样本量一样可以带来以下几个好处:使得结果与方差齐次性假设不会偏离得太大;F检验时第 二类错误(实际上为虚假的条件下正确的拒绝了原假设的概率)得到减小;使得均值更加容易比较和检验。 <>要是样本服从多元正态分布，采用二次判别，但是应该注意到二次判别分析没有计算判错率和统计检验的公式。 (3)存在多重共线性时可以采取的措施如下: <>增加样本量。 <>使用逐步判别分析。 <>采用岭判别分析。 <>对自变量进行主成分分析，用因子代替自变量进行判别分析。 <>通过相关矩阵结合实际的理论知识删去某些产生共线性的自变量。显然，上述措施和线性回归中对共线性的处理方式是非常类似的。 (4)当线性假设被违反的时候可以采取的措施如下: <>采用二次判别分析。 <>K最近邻判别分析或核密度判别分析两种非参数判别分析。 <>离散型判别分析或混合型判别分析。 3．典型判别分析的基本原理 试图找到一个由原始自变量组成的线性函数使得组间差异和组内差异的比值最大化。所谓Fisher判别法，就是一种先投影的方法。考虑只有两个（预测）变量的判别分析问题。假定这里只有两类。数据中的每个观测值是二维空间的一个点。见图（下一张幻灯片）。这里只有两种已知类型的训练样本。其中一类有38个点（用“o”表示），另一类有44个点（用“*”表示）。按照原来的变量（横坐标和纵坐标），很难将这两种点分开。于是就寻找一个方向，也就是图上的虚线方向，沿着这个方向朝和这个虚线垂直的一条直线进行投影会使得这两类分得最清楚。可以看出，如果向其他方向投影，判别效果不会比这个好。有了投影之后，
spss进行判别分析步骤1．Discriminant Analysis判别分析主对话框 图1-1 Discriminant Analysis 主对话框
（1）选择分类变量及其范围 在主对话框中左面的矩形框中选择表明已知的观测量所属类别的变量(一定是离散变量)， 按上面的一个向右的箭头按钮，使该变量名移到右面的Grouping Variable 框中。 此时矩形框下面的Define Range 按钮加亮，按该按钮屏幕显示一个小对话框如图1-2 所示，供指定该分类变量的数值范围。 图1-2 Define Range 对话框 在Minimum 框中输入该分类变量的最小值在Maximum 框中输入该分类变量的最大值。按Continue 按钮返回主对话框。 (2)指定判别分析的自变量 图1-3 展开Selection Variable 对话框的主对话框 在主对话框的左面的变量表中选择表明观测量特征的变量，按下面箭头按钮。
把选中的变量移到Independents 矩形框中，作为参与判别分析的变量。（3）选择观测量 图1-4 Set Value 子对话框 如果希望使用一部分观测量进行判别函数的推导而且有一个变量的某个值可以作为这些观测量的标识， 则用Select 功能进行选择，操作方法是单击Select 按钮展开Selection Variable。选择框如图1-3 所示。 并从变量列表框中选择变量移入该框中再单击Selection Variable 选择框右侧的Value按钮， 展开Set Value(子对话框)对话框，如图1-4 所示，键入标识参与分析的观测量所具有的该变量值， 一般均使用数据文件中的所有合法观测量此步骤可以省略。 （4）选择分析方法
篇一：判别分析实验报告 spss 一、实验目的及要求： 1、目的 用spss软件实现判别分析及其应用。 2、内容及要求 用spss对实验数据利用fisher判别法和贝叶斯判别法，建立判别函数并判定宿州、广安等13个地级市分别属于哪个管理水平类型。 二、仪器用具：三、实验方法与步骤: 准备工作：把实验所用数据从word文档复制到excel，并进一步导入到spss数据文件中，同时，由于只有当被解释变量是属性变量而解释变量是度量变量时，判别分析才适用，所以将城市管理的7个效率指数变量的变量类型改为“数值（n）”，度量标准改为“度量（s）”，以备接下来的分析。 四、实验结果与数据处理： 表1组均值的均等性的检验 综合效率标准指数经济效率标准指数结构效率标准指数社会效率标准指数人员效率标准指数发展效率标准指数环境效率标准指数 wilks 的 lambda f df1 df2 sig. 表1是对各组均值是否相等的检验，由该表可以看出，在0.05的显著性水平上我们不能拒绝结构效率标准指数和环境效率标准指数在三组的均值相等的假设，即认为除了结构效率标准指数和环境效率标准指数外，其余五个标准指数在三组的均值是有显著差异的。 表2 对数行列式 group 1 2 3 汇聚的组内 秩 对数行列式 打印的行列式的秩和自然对数是组协方差矩阵的秩和自然对数。 表3 检验结果箱的 m f 近似。 df1 df2 sig. 对相等总体协方差矩阵的零假设进行检验。 以上是对各组协方差矩阵是否相等的box’m检验，表2反映协方差矩阵的秩和行列式的对数值。由行列式的值可以看出，协方差矩阵不是病态矩阵。表3是对各总体协方差阵是否相等的统计检验，由f值及其显著水平，在0.05的显著性水平下拒绝原假设，认为各总体协方差阵不相等。 1）fisher判别法：图一 图二 表5 wilks 的 lambda 函数检验 1 到 2 dimension0wilks 的 lambda 卡方 df sig. 2 表4反映了判别函数的特征值、解释方差的比例和典型相关系数。第一判别函数解释了75%的方差，第二判别函数解释了25%的方差，它们两个判别函数解释了全部方差。 表5是对两个判别函数的显著性检验，由wilks’lambda检验，认为两个判别函数在0.05
spss进行判别分析步骤 1．Discriminant Analysis判别分析主对话框 如图1-1 所示 图1-1 Discriminant Analysis 主对话框 （1）选择分类变量及其范围 在主对话框中左面的矩形框中选择表明已知的观测量所属类别的变量(一定是离散变量)，
按上面的一个向右的箭头按钮，使该变量名移到右面的Grouping Variable 框中。 此时矩形框下面的Define Range 按钮加亮，按该按钮屏幕显示一个小对话框如图1-2 所示，供指定该分类变量的数值范围。 图1-2 Define Range 对话框 在Minimum 框中输入该分类变量的最小值在Maximum 框中输入该分类变量的最大值。按Continue 按钮返回主对话框。 (2)指定判别分析的自变量
图1-3 展开Selection Variable 对话框的主对话框 在主对话框的左面的变量表中选择表明观测量特征的变量，按下面一个箭头按钮。 把选中的变量移到Independents 矩形框中，作为参与判别分析的变量。 （3）选择观测量 图1-4 Set Value 子对话框
如果希望使用一部分观测量进行判别函数的推导而且有一 个变量的某个值可以作为这些观测量的标识， 则用Select 功能进行选择，操作方法是单击Select 按钮展开Selection Variable。选择框如图1-3 所示。 并从变量列表框中选择变量移入该框中再单击Selection Variable 选择框右侧的Value按钮， 展开Set Value(子对话框)对话框，如图1-4 所示，键入标识参与分析的观测量所具有的该变量值， 一般均使用数据文件中的所有合法观测量此步骤可以省略。（4）选择分析方法 在主对话框中自变量矩形框下面有两个选择项，被选中的方法前面的圆圈中加有黑点。这两个选择项是用于选择判别分
LDA 算法入门 一．LDA 算法概述： 线性判别式分析(Linear Discriminant Analysis , LDA)，也叫做Fisher 线性判别(Fisher Linear Discriminant ,FLD)，是模式识别的经典算法，它是在1996年由Belhumeur 引入模式识别和人工智能领域的。线性鉴别分析的基本思想是将高维的模式样本投影到最佳鉴别矢量空间，以达到抽取分类信息和压缩特征空间维数的效果，投影后保证模式样本在新的子空间有最大的类间距离和最小的类内距离，即模式在该空间中有最佳的可分离性。因此，它是一种有效的特征抽取方法。使用这种方法能够使投影后模式样本的类间散布矩阵最大，并且同时类内散布矩阵最小。就是说，它能够保证投影后模式样本在新的空间中有最小的类内距离和最大的类间距离，即模式在该空间中有最佳的可分离性。 二. LDA 假设以及符号说明： 假设对于一个n R 空间有m 个样本分别为12,,m x x x ，即每个x 是一个n 行的矩阵，其中 i n 表示属第 i 类的样本个数，假设一共有 c 个类，则 12i c n n n n m ++++= 。 b S ： 类间离散度矩阵 w S ：类内离散度矩阵 i n ：属于i 类的样本个数 i x ：第i 个样本 u ：所有样本的均值 i u ：类i 的样本均值 三． 公式推导，算法形式化描述 根据符号说明可得类i 的样本均值为： 1 i x classi i u x n ∈= ∑ (1.1)
同理我们也可以得到总体样本均值： 1 1m i i u x m ==∑ (1.2) 根据类间离散度矩阵和类内离散度矩阵定义，可以得到如下式子： ()() 1c T b i i i i S n u u u u ==--∑ (1.3) ()() 1k c T w i k i k i x classi S u x u x =∈=--∑ ∑ (1.4) 当然还有另一种类间类内的离散度矩阵表达方式： ()()() 1 c T b i i i S P i u u u u ==--∑ (1.5) ()()()(){ } 11 (i)(i)E |k c T w i k i k i x classi i c T i i i P S u x u x n P u x u x x classi =∈==--=--∈∑ ∑∑ (1.6) 其中()P i 是指i 类样本的先验概率，即样本中属于i 类的概率()i n P i m =，把 ()P i 代入第二组式子中，我们可以发现第一组式子只是比第二组式子都少乘了1m ，我们将在稍后进行讨论，其实对于乘不乘该1m ，对于算法本身并没有影响，现在我们分析一下算法的思想， 我们可以知道矩阵 ()() T i i u u u u --的实际意义是一个协方差矩阵，这个矩阵 所刻画的是该类与样本总体之间的关系，其中该矩阵对角线上的函数所代表的是该类相对样本总体的方差（即分散度），而非对角线上的元素所代表是该类样本总体均值的协方差（即该类和总体样本的相关联度或称冗余度），所以根据公式（1.3）可知（1.3）式即把所有样本中各个样本根据自己所属的类计算出样本与总体的协方差矩阵的总和，这从宏观上描述了所有类和总体之间的离散冗余程度。同理可以的得出（1.4）式中为分类内各个样本和所属类之间的协方差矩阵之和，它所刻画的是从总体来看类内各个样本与类之间（这里所刻画的类特性是由是类
1 绪论 1.1课题背景 随着社会经济不断发展，科学技术的不断进步，人们已经进入了信息时代，要在大量的信息中获得有科学价值的结果，从而统计方法越来越成为人们必不可少的工具和手段。多元统计分析是近年来发展迅速的统计分析方法之一，应用于自然科学和社会各个领域，成为探索多元世界强有力的工具。 判别分析是统计分析中的典型代表，判别分析的主要目的是识别一个个体所属类别的情况下有着广泛的应用。潜在的应用包括预测一个公司是否成功；决定一个学生是否录取；在医疗诊断中，根据病人的多种检查指标判断此病人是否有某种疾病等等。它是在已知观测对象的分类结果和若干表明观测对象特征的变量值的情况下，建立一定的判别准则，使得利用判别准则对新的观测对象的类别进行判断时，出错的概率很小。而Fisher判别方法是多元统计分析中判别分析方法的常用方法之一，能在各领域得到应用。通常用来判别某观测量是属于哪种类型。在方法的具体实现上，采用国广泛使用的统计软件SPSS （Statistical Product and Service Solutions）,它也是美国SPSS公司在20世纪80年代初开发的国际上最流行的视窗统计软件包之一 1.2 Fisher判别法的概述 根据判别标准不同，可以分为距离判别、Fisher判别、Bayes判别法等。Fisher 判别法是判别分析中的一种，其思想是投影，Fisher判别的基本思路就是投影，针对P维空间中的某点x=(x1，x2，x3，…，xp)寻找一个能使它降为一维数值的线性函数y(x)：()j j x C y = x∑
然后应用这个线性函数把P 维空间中的已知类别总体以及求知类别归属的样本都变换为一维数据，再根据其间的亲疏程度把未知归属的样本点判定其归属。这个线性函数应该能够在把P 维空间中的所有点转化为一维数值之后，既能最大限度地缩小同类中各个样本点之间的差异，又能最大限度地扩大不同类别中各个样本点之间的差异，这样才可能获得较高的判别效率。在这里借用了一元方差分析的思想，即依据组间均方差与组均方差之比最大的原则来进行判别。 1.3 算法优缺点分析 优点：（1）一般对于线性可分的样本，总能找到一个投影方向，使得降维后样本仍然线性可分，而且可分性更好即不同类别的样本之间的距离尽可能远，同一类别的样本尽可能集中分布。 （2）Fisher 方法可直接求解权向量*w ； （3）Fisher 的线性判别式不仅适用于确定性模式分类器的训练，而且对于随机模式也是适用的，Fisher 还可以进一步推广到多类问题中去 缺点： （1）如果21M M =，0*=w ，则样本线性不可分； 21M M ≠，未必线性可分； w S 不可逆，未必不可分。 （2）对线性不可分的情况，Fisher 方法无法确定分类 2 实验原理 2.1 线性投影与Fisher 准则函数 各类在d 维特征空间里的样本均值向量：
实验1 Fisher 线性判别分析实验 一、摘要 Fisher 线性判别分析的基本思想：通过寻找一个投影方向（线性变换，线性组合），将高维问题降低到一维问题来解决，并且要求变换后的一维数据具有如下性质：同类样本尽可能聚集在一起，不同类的样本尽可能地远。 Fisher 线性判别分析，就是通过给定的训练数据，确定投影方向W 和阈值y0，即确定线性判别函数，然后根据这个线性判别函数，对测试数据进行测试，得到测试数据的类别。 二、算法的基本原理及流程图 1 基本原理 （1）W 的确定 各类样本均值向量mi 样本类内离散度矩阵i S 和总类内离散度矩阵w S 12w S S S =+ 样本类间离散度矩阵b S 在投影后的一维空间中，各类样本均值T i i m '= W m 。样本类内离散度和总类内离散度 T T i i w w S ' = W S W S ' = W S W 。样本类间离散度T b b S ' = W S W 。 Fisher 准则函数满足两个性质： ·投影后，各类样本内部尽可能密集，即总类内离散度越小越好。 ·投影后，各类样本尽可能离得远，即样本类间离散度越大越好。 根据这个性质确定准则函数，根据使准则函数取得最大值，可求出W ： -1w 12W = S (m - m ) 。 （2）阈值的确定 实验中采取的方法：012y = (m ' + m ') / 2。 （3）Fisher 线性判别的决策规则 对于某一个未知类别的样本向量x ，如果y=W T ·x>y0，则x ∈w1；否则x ∈w2。 x 1 m x, 1,2 i i X i i N ∈= =∑T x S (x m )(x m ), 1,2 i i i i X i ∈= --=∑T 1212S (m m )(m m )b =--