???x 2x ω∈则决策1.2 广义线性判别函数
10
1.2 广义线性判别函数
?例：如
x =[x 1, x 2]T ，二次判别函数为
?
定义则可找到a ，a 0，使()T g c B A =++x x x x ；
22
1212
12[,,,,],T x x x x x x =y 0'()().
T g a g =+≡y a y x
13
1.2 广义线性判别函数
?举例：设在三维空间中一个类别分类问题拟采用
二次曲面。如采用广义线性方程求解，试求其广
义样本向量与广义权向量的表达式，及其维数。
Fisher准则的描述：用投影后数据的统计性质—
均值和离散度的函数作为判别优劣的标准。
1220;02w S S S ??
=+=??
??
Fisher准则最佳投影
3. 感知准则函数
对于任何一个增广权向量a 求解增广权向量的算法收敛到解区的边界。
批量样本修正法与单样本修正法
单样本修正法：样本集视为不
断重复出现的序列，逐个样本
批量样本修正法：样本成批或
41
第四章判别分析 简述欧几里得距离与马氏距离的区别和联系。 答：设p维欧几里得空间中的两点X= 和Y=。则欧几里得距离为 。欧几里得距离的局限有①在多元数据分析中，其度量不合理。②会受到实际问题中量纲的影响。 设X,Y是来自均值向量为，协方差为 的总体G中的p维样本。则马氏距离为D(X,Y)= 。当 即单位阵时，
D(X,Y)==即欧几里得距离。 因此，在一定程度上，欧几里得距离是马氏距离的特殊情况，马氏距离是欧几里得距离的推广。 试述判别分析的实质。 答：判别分析就是希望利用已经测得的变量数据，找出一种判别函数，使得这一函数具有某种最优性质，能把属于不同类别的样本点尽可能地区别开来。设R1，R2，…，Rk是p维空间R p的k个子集，如果 它们互不相交，且它们的和集为，则称为的一个划分。判别分析问题实质上就是在某种意义上，以最优的性质对p维空间 构造一个“划分”，这个“划分”就构成了一个判别规则。 简述距离判别法的基本思想和方法。 答：距离判别问题分为①两个总体的距离判别问题和②多个总体的判别问题。其基本思想都是分别计算样本与各个总体的距离（马氏距离），将距离近的判别为一类。
①两个总体的距离判别问题 设有协方差矩阵∑相等的两个总体G 1和G 2，其均值分别是 1 和 2， 对于一个新的样品X ，要判断它来自哪个总体。计算新样品X 到两个总体的马氏距离D 2（X ，G 1）和D 2（X ，G 2），则 X ，D 2（X ，G 1）D 2（X ，G 2） X ，D 2（X ，G 1）> D 2（X ，G 2， 具体分析， 2212(,)(,) D G D G -X X 111122111111 111222********* ()()()() 2(2)2()-----------''=-----''''''=-+--+'''=-+-X μΣX μX μΣX μX ΣX X ΣμμΣμX ΣX X ΣμμΣμX ΣμμμΣμμΣμ11211212112122()()()2() 22()2() ---''=-++-' +? ?=--- ??? ''=--=--X ΣμμμμΣμμμμX ΣμμX μααX μ 记()()W '=-X αX μ 则判别规则为 X ，W(X)
第四章判别分析 4.1 简述欧几里得距离与马氏距离的区别和联系。 答：设p维欧几里得空间中的两点X=和Y=。则欧几里得距离为 。欧几里得距离的局限有①在多元数据分析中，其度量不合理。②会受到实际问题中量纲的影响。 设X,Y是来自均值向量为，协方差为 的总体G中的p维样本。则马氏距离为D(X,Y)= 。当 即单位阵时， D(X,Y)==即欧几里得距离。 因此，在一定程度上，欧几里得距离是马氏距离的特殊情况，马氏距离是欧几里得距离的推广。 4.2 试述判别分析的实质。
答：判别分析就是希望利用已经测得的变量数据，找出一种判别函数，使得这一函数具有某种最优性质，能把属于不同类别的样本点尽可能地区别开来。设R1，R2，…，Rk 是p 维空 间R p 的k 个子集，如果它们互不相交，且它们的和集为，则称为的一 个划分。判别分析问题实质上就是在某种意义上，以最优的性质对p 维空间构造一个“划 分”，这个“划分”就构成了一个判别规则。 4.3 简述距离判别法的基本思想和方法。 答：距离判别问题分为①两个总体的距离判别问题和②多个总体的判别问题。其基本思想都是分别计算样本与各个总体的距离（马氏距离），将距离近的判别为一类。 ①两个总体的距离判别问题 设有协方差矩阵∑相等的两个总体G 1和G 2，其均值分别是μ1和μ 2，对于一个新的样品X ， 要判断它来自哪个总体。计算新样品X 到两个总体的马氏距离D 2（X ，G 1）和D 2 （X ，G 2），则 X ，D 2 （X ，G 1） D 2（X ，G 2） X ，D 2（X ，G 1）> D 2 （X ，G 2， 具体分析， 2212(,)(,) D G D G -X X 111122111111 111222********* ()()()() 2(2)2()-----------''=-----''''''=-+--+'''=-+-X μΣX μX μΣX μX ΣX X ΣμμΣμX ΣX X ΣμμΣμX ΣμμμΣμμΣμ11211212112122()()()2() 22()2() ---''=-++-' +? ?=--- ?? ?''=--=--X ΣμμμμΣμμμμX ΣμμX μααX μ 记()()W '=-X αX μ 则判别规则为
基于Fisher准则线性分类器设计 专业：电子信息工程 学生：子龙 学号：201316040117
一、实验类型 设计型：线性分类器设计（Fisher 准则） 二、实验目的 本实验旨在让同学进一步了解分类器的设计概念，能够根据自己的设计对线性分类器有更深刻地认识，理解Fisher 准则方法确定最佳线性分界面方法的原理，以及Lagrande 乘子求解的原理。 三、实验条件 matlab 软件 四、实验原理 线性判别函数的一般形式可表示成 0)(w X W X g T += 其中 ????? ??=d x x X Λ1?????? ? ??=d w w w W Λ21 根据Fisher 选择投影方向W 的原则，即使原样本向量在该方向上的投影能兼顾类间分布尽可能分开，类样本投影尽可能密集的要求，用以评价投影方向W 的函数为： 2 2 2122 1~~)~~()(S S m m W J F +-= )(211 *m m S W W -=- 上面的公式是使用Fisher 准则求最佳法线向量的解，该式比较重要。另外，该式这种
形式的运算，我们称为线性变换，其中21m m -式一个向量，1 -W S 是W S 的逆矩阵，如21m m -是d 维，W S 和1-W S 都是d ×d 维，得到的* W 也是一个d 维的向量。 向量* W 就是使Fisher 准则函数)(W J F 达极大值的解，也就是按Fisher 准则将d 维X 空间投影到一维Y 空间的最佳投影方向，该向量* W 的各分量值是对原d 维特征向量求加权和的权值。 以上讨论了线性判别函数加权向量W 的确定方法，并讨论了使Fisher 准则函数极大的d 维向量* W 的计算方法，但是判别函数中的另一项0W 尚未确定，一般可采用以下几种方法确定0W 如 2 ~~2 10m m W +-= 或者 m N N m N m N W ~~~2 12 2110=++- = 或当1)(ωp 与2)(ωp 已知时可用 []??????-+-+=2)(/)(ln 2 ~~212 1210N N p p m m W ωω …… 当W 0确定之后，则可按以下规则分类， 2 010ωω∈→->∈→->X w X W X w X W T T 使用Fisher 准则方法确定最佳线性分界面的方法是一个著名的方法，尽管提出该方法的时间比较早，仍见有人使用。 五、实验容 已知有两类数据1ω和2ω二者的概率已知1)(ωp =0.6，2)(ωp =0.4。 1ω中数据点的坐标对应一一如下：
线性判别函数 5.1引言 在第三章中我们假设概率密度函数的参数形式已知,于是可以使用训练样本来估计概率密度函数的参数值.在本章中,我们将直接假定判别函数的参数形式已知,而用训练的方法来估计判别函数的参数值.我们将介绍求解判别函数的各种算法,其中一部分基于统计方法,而另一些不是.这里都不要求知道有关的概率密度函数的确切的(参数)形式,从这种意义上来说,它们都属于非参数化的方法. 在这一章中,我们将关注以下形式的判别函数:它们或者是X的各个分量的线性函数,或者是关于以X为自变量的某些函数的线性函数.线性判别函数具有许多优良的特性,因而便于进行分析.就像我们在第二章看到的一样,如果内在的概率密度函数恰当的话,那么采用线性判别函数是最优的,比如通过适当的选择特征提取方法,可以使得各个高斯函数具有相等的协方差矩阵.即使它们不是最优的,我们也愿意牺牲一些分类准确率,以换取处理简便的优点.线性判别函数的计算是相当容易的,另外,当信息比较缺乏时,线性分类器对处于最初的.尝试阶段的分类器来说也是很有吸引力的选择.它们所展示的一些非常重要的原理在第6章的神经网络中将得到更充分的应用. 寻找线性差别函数的问题将被形式为极小化准则函数的问题.以分类为目的的准则函数可以是样本风险,或者是训练误差,即对训练样本集进行分类所引起的平均损失.但在这里我们必须强调的是:尽管这个准则是很有吸引力的,但它却有很多的问题.我们的目标是能够对新的样本进行分类,但一个小的训练误差并不能保证测试误差同样的小-------这是一个吸引人而又非常微妙的问题,我们将在第9章中进一步论述这个问题.这里我们将看到,准确的计算极小风险判别函数通常是困难的,因此我们将考查一些有关的更易于分析的准则函数. 我们的注意力将在很大程度上放在收敛性用各种应用于极小化准则函数的梯度下降法的计算复杂度上,它们当中一些方法的是很相似的,这使得清晰地保持它们之间的不同变得困难,因此,我们在后面的章节里会作出总结. 5.2线性判别函数的判定面 一个判别函数是指X的各个分量的线性组合而成的函数 g(x)=w’x+w0 (1) 这里W是权向量,w0被称为阈值权或偏置.和我们在第二章所看到的一样,一般情况下有C个这样的判别函数,分别对应C类的一类.我们在后面将讨论这样的情况,但首先考虑中人两个类别的简单情况. 5.2.1两类情况 对具有式(1)形式的判别函数的一个两类线性分类器来说,要求实现以下判定规则:如果G(x)>0则判定w1,如果g(x)<0,那么x可以被随意归到任意一类,但是在本章我们将它们归为未定义的.图5-1给出了一个典型的系统实现结构,是第二章所讨论的典型的模式识别系统结构的一个例子. 图5-1一个简单线性分类器,有d个输入的单元,每个对应一个输入向量在各维上的分量值.每个输入特征值xi被乘以它对应的权wi, 输出单元为这些乘积的和∑wixi.因此这d个输入单元都是线性的,产生的是它对应的特征的值.惟一的一个偏差单元总是产生常数 1.0.如果w’x+w0>0的话,输出单元输出a+1,反之为a-1
第三章 判别函数分类器 经过特征抽取之后，一个模式可以用n 维特征空间中的一个点X 来表示，当特征选择适当时，可以使同一类模式的特征点在特征空间中某个子区域内分布，另一类模式的特征点在另一子区域分布（例如苹果和橙子的问题）。这样，我们就可以用空间中的一些超曲面将特征空间划分为一些互不重叠的子区域，使不同模式的类别在不同的子区域中。这些超曲面称为判别界面，可以用一个方程来表示：()0d =X ，其中的()d X 是一个从n 维空间到一维空间的映射，称为是判别函数(Discriminant Function)。 在所有的函数形式中，线性函数是一种最简单的形式，下面我们就从线性判别函数入手来研究判别函数分类器。 3.0 预备知识 在介绍线性判别函数之前，先来帮助大家复习一下有关于矢量和矩阵的知识。 1. 矢量 这里的矢量X 可以看作是N 维欧氏空间中的一个点，用一个列矢量表示： 12N x x x ??????=???????? X 2. 矩阵 有的时候矩阵可以看作是由若干个矢量构成的： 12T T T M ??????=???????? X X A X A 是一个M N ?的矩阵，其中的T i X 称为是矩阵的行矢量。 3. 矩阵的秩 矩阵所有行向量中的最大无关组个数称为行秩，矩阵所有列向量中的最大无关组个数称为列秩。一个矩阵的行秩等于列秩，称为矩阵的秩。 4. 转置 列矢量W 的转置T W 为一个行矢量，N M ?的矩阵A 的转置T A 为一个M N ?的矩 阵。 5. 矢量和矩阵的乘法 设W 和X 为N 维列矢量，A 为一个N M ?的矩阵。则：
1) 1 N T i i i w x ==∑W X ，是一个数值，称为W 与X 的内积； 2) 11121212221 2 N N T N N N N w x w x w x w x w x w x w x w x w x ?? ??? ?=?? ?? ????WX ，是一个N N ?的矩阵； 3) 1121 1N i i i N i i T i N i iN i w a w a w a ===?? ?????? ??=???????? ???? ∑∑∑W A ，是一个N 维的列矢量 6. 正交 设W 和X 为N 维列矢量，如果W 和X 的内积等于零，0T =W X ，则称W 和X 正交，也称W 垂直于X 。 7. 逆矩阵 设A 为一个N N ?的方阵，A 的逆阵用1 -A 表示，满足1 1--==AA A A I ，I 为单位 阵。一个矩阵的逆阵存在条件是，首先是一个方阵，其次是一个满秩矩阵，即矩阵的秩为N 。 8. 矩阵的特征值和特征向量 设A 为一个N N ?的方阵，如果存在一个数λ和一个N 维的非零列矢量ξ，使得： λ=A ξξ成立，则称λ为A 的特征值，ξ为A 属于λ的特征向量。 一般来说一个矩阵应该有N 个特征值（可能相等），对应有N 个特征向量。 9. 矩阵的迹和行列式值 设A 为一个N N ?的方阵，A 的迹为主对角线元素之和：()1 N ij i tr a ==∑A ；A 的行列 式值表示为()det A 。 如果矩阵A 有N 个特征值12,,,N λλλ ，则有()1 N i i tr λ==∑A ，1 det()N i i λ==∏A 。 10. 矩阵微分 1) 矩阵对数值变量微分 如果矩阵()() ()ij M N t a t ?=A 的每一个元素)(t a ij 是变量t 的可微函数，则称) (t A 可微：
实验容使用FISHER线性判别来对树叶进行分类指导老师_王旭初_____ 一．实验目的 利用FISHER线性判别函数来对桃树叶子和芒果树叶子进行分类，将这两者若干片树叶进行一定特点分类，做出函数图，使得我们容易分析这两者之间的异同。 二．数据获取方式 实验过程中将会使用到FISHER线性判别函数法，MATLAB实验仿真程序。通过实验MATLAB 程序来设计一个FISHER线性判别分类器，将实验前收集到的两种树叶的若干片叶子的数据输入分类器，运行后得出一个分类仿真图形，从而可以得出其叶子间的异同点。 三．实验原理 Fisher线性判别分析的基本思想：通过寻找一个投影方向（线性变换，线性组合），将高维问题降低到一维问题来解决，并且要求变换后的一维数据具有如下性质：同类样本尽可能聚集在一起，不同类的样本尽可能地远。 Fisher线性判别分析，就是通过给定的训练数据，确定投影方向W和阈值y0，即确定线性判别函数，然后根据这个线性判别函数，对测试数据进行测试，得到测试数据的类
别。 线性判别函数的一般形式可表示成 0)(w X W X g T += 其中 ????? ??=d x x X 1 ?????? ? ??=d w w w W 21 根据Fisher 选择投影方向W 的原则，即使原样本向量在该方向上的投影能兼顾类间分布尽可能分开，类样本投影尽可能密集的要求，用以评价投影方向W 的函数为： 2 2 2122 1~~)~~()(S S m m W J F +-= )(211 *m m S W W -=- 上面的公式是使用Fisher 准则求最佳法线向量的解，该式比较重要。另外， 该式这种形式的运算，我们称为线性变换，其中21m m -式一个向量，1 -W S 是W S 的逆矩阵，如21m m -是d 维，W S 和1-W S 都是d ×d 维，得到的*W 也是一个d 维的向量。 向量*W 就是使Fisher 准则函数)(W J F 达极大值的解，也就是按Fisher 准则将d 维X 空间投影到一维Y 空间的最佳投影方向，该向量*W 的各分量值是对原d 维特征向量求加权和的权值。