当前位置：文档之家 › 作业二 基于Fisher准则线性分类器设计

作业二 基于Fisher准则线性分类器设计

  • 格式：doc
  • 大小：80.00 KB
  • 文档页数：6

作业二 Fisher 线性判别分类器一 实验目的本实验旨在让同学进一步了解分类器的设计概念，能够根据自己的设计对线性分类器有更深刻地认识，理解Fisher 准则方法确定最佳线性分界面方法的原理，以及Lagrande 乘子求解的原理。

二 实验条件Matlab 软件三 实验原理线性判别函数的一般形式可表示成0)(w X W X g T+= 其中⎪⎪⎪⎭⎫⎝⎛=d x x X Λ1 ⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=d w w w W Λ21根据Fisher 选择投影方向W 的原则，即使原样本向量在该方向上的投影能兼顾类间分布尽可能分开，类内样本投影尽可能密集的要求，用以评价投影方向W 的函数为：2221221~~)~~()(S S m m W J F +-= )(211*m m S W W -=-上面的公式是使用Fisher 准则求最佳法线向量的解，该式比较重要。

另外，该式这种形式的运算，我们称为线性变换，其中21m m -式一个向量，1-W S 是W S 的逆矩阵，如21m m -是d 维，W S 和1-W S 都是d ×d 维，得到的*W 也是一个d 维的向量。

向量*W 就是使Fisher 准则函数)(W J F 达极大值的解，也就是按Fisher 准则将d 维X 空间投影到一维Y 空间的最佳投影方向，该向量*W 的各分量值是对原d 维特征向量求加权和的权值。

以上讨论了线性判别函数加权向量W 的确定方法，并讨论了使Fisher 准则函数极大的d 维向量*W 的计算方法，但是判别函数中的另一项0W 尚未确定，一般可采用以下几种方法确定0W 如2~~210m m W +-= 或者 m N N m N m N W ~~~2122110=++-= 或当1)(ωp 与2)(ωp 已知时可用[]⎥⎦⎤⎢⎣⎡-+-+=2)(/)(ln 2~~2121210N N p p m m W ωω当W 0确定之后，则可按以下规则分类，2010ωω∈→-<∈→->X w X W X w X W TT四 实验程序及结果分析%w1中数据点的坐标x1 =[0.2331 1.5207 0.6499 0.7757 1.0524 1.1974 0.2908 0.2518 0.6682 0.5622 0.9023 0.1333 -0.5431 0.9407 -0.2126 0.0507 -0.0810 0.7315 0.3345 1.0650 -0.0247 0.1043 0.3122 0.6655 0.5838 1.1653 1.2653 0.8137 -0.3399 0.5152 0.7226 -0.2015 0.4070 -0.1717 -1.0573 -0.2099]; x2 =[2.3385 2.1946 1.6730 1.6365 1.7844 2.0155 2.0681 2.1213 2.4797 1.5118 1.9692 1.8340 1.8704 2.2948 1.7714 2.3939 1.5648 1.9329 2.2027 2.4568 1.7523 1.6991 2.4883 1.7259 2.0466 2.0226 2.3757 1.7987 2.0828 2.0798 1.9449 2.3801 2.2373 2.1614 1.9235 2.2604]; x3 =[0.5338 0.8514 1.0831 0.4164 1.1176 0.5536 0.6071 0.4439 0.4928 0.5901 1.0927 1.0756 1.0072 0.4272 0.4353 0.9869 0.4841 1.0992 1.0299 0.7127 1.0124 0.4576 0.8544 1.1275 0.7705 0.4129 1.0085 0.7676 0.8418 0.87840.9751 0.7840 0.4158 1.0315 0.7533 0.9548]; %将x1、x2、x3变为行向量 x1=x1(:);x2=x2(:);x3=x3(:); %计算第一类的样本均值向量m1m1(1)=mean(x1);m1(2)=mean(x2);m1(3)=mean(x3);%计算第一类样本类内离散度矩阵S1S1=zeros(3,3);for i=1:36S1=S1+[-m1(1)+x1(i) -m1(2)+x2(i) -m1(3)+x3(i)]'*[-m1(1)+x1(i) -m1(2)+x2(i) -m1(3)+x3(i)];end%w2的数据点坐标x4 =[1.4010 1.2301 2.0814 1.1655 1.3740 1.18291.7632 1.97392.4152 2.5890 2.8472 1.95391.2500 1.2864 1.26142.0071 2.1831 1.79091.3322 1.1466 1.7087 1.59202.9353 1.46642.9313 1.8349 1.8340 2.5096 2.7198 2.31482.0353 2.6030 1.2327 2.1465 1.5673 2.9414];x5 =[1.0298 0.9611 0.9154 1.4901 0.8200 0.93991.1405 1.0678 0.8050 1.2889 1.4601 1.43340.7091 1.2942 1.3744 0.9387 1.2266 1.18330.8798 0.5592 0.5150 0.9983 0.9120 0.71261.2833 1.1029 1.2680 0.7140 1.2446 1.33921.1808 0.5503 1.4708 1.1435 0.7679 1.1288];x6 =[0.6210 1.3656 0.5498 0.6708 0.8932 1.43420.9508 0.7324 0.5784 1.4943 1.0915 0.76441.2159 1.3049 1.1408 0.9398 0.6197 0.66031.3928 1.4084 0.6909 0.8400 0.5381 1.37290.7731 0.7319 1.3439 0.8142 0.9586 0.73790.7548 0.7393 0.6739 0.8651 1.3699 1.1458];x4=x4(:);x5=x5(:);x6=x6(:);%计算第二类的样本均值向量m2m2(1)=mean(x4);m2(2)=mean(x5);m2(3)=mean(x6);%计算第二类样本类内离散度矩阵S2S2=zeros(3,3);for i=1:36S2=S2+[-m2(1)+x4(i) -m2(2)+x5(i) -m2(3)+x6(i)]'*[-m2(1)+x4(i) -m2(2)+x5(i) -m2(3)+x6(i)];end%总类内离散度矩阵SwSw=zeros(3,3);Sw=S1+S2;%样本类间离散度矩阵SbSb=zeros(3,3);Sb=(m1-m2)'*(m1-m2);%最优解WW=Sw^-1*(m1-m2)'%将W变为单位向量以方便计算投影W=W/sqrt(sum(W.^2));%计算一维Y空间中的各类样本均值M1及M2for i=1:36y(i)=W'*[x1(i) x2(i) x3(i)]';endM1=mean(y)for i=1:36y(i)=W'*[x4(i) x5(i) x6(i)]';endM2=mean(y)%利用当P(w1)与P(w2)已知时的公式计算W0p1=0.6;p2=0.4;W0=-(M1+M2)/2+(log(p2/p1))/(36+36-2);%计算将样本投影到最佳方向上以后的新坐标X1=[x1*W(1)+x2*W(2)+x3*W(3)]';X2=[x4*W(1)+x5*W(2)+x6*W(3)]';%得到投影长度XX1=[W(1)*X1;W(2)*X1;W(3)*X1];XX2=[W(1)*X2;W(2)*X2;W(3)*X2];%得到新坐标%绘制样本点figure(1)plot3(x1,x2,x3,'r*') %第一类hold onplot3(x4,x5,x6,'bp') %第二类legend('第一类点','第二类点')title('Fisher线性判别曲线')W1=5*W;%画出最佳方向line([-W1(1),W1(1)],[-W1(2),W1(2)],[-W1(3),W1(3)],'color','b');%判别已给点的分类a1=[1,1.5,0.6]';a2=[1.2,1.0,0.55]';a3=[2.0,0.9,0.68]';a4=[1.2,1.5,0.89]';a5=[0. 23,2.33,1.43]';A=[a1 a2 a3 a4 a5]n=size(A,2);%下面代码在改变样本时都不必修改%绘制待测数据投影到最佳方向上的点for k=1:nA1=A(:,k)'*W;A11=W*A1;%得到待测数据投影y=W'*A(:,k)+W0;%计算后与0相比以判断类别，大于0为第一类，小于0为第二类 if y>0plot3(A(1,k),A(2,k),A(3,k),'go'); %点为"rp"对应第一类plot3(A11(1),A11(2),A11(3),'go'); %投影为"r+"对应go类elseplot3(A(1,k),A(2,k),A(3,k),'m+'); %点为"bh"对应m+类plot3(A11(1),A11(2),A11(3),'m+'); %投影为"b*"对应m+类endend%画出最佳方向line([-W1(1),W1(1)],[-W1(2),W1(2)],[-W1(3),W1(3)],'color','k');view([-37.5,30]);axis([-2,3,-1,3,-0.5,1.5]);grid onhold off实验结果和数据：首先根据求出最佳投影方向，然后按照此方向，将待测数据进行投影。

合集下载

Fisher准则线性分类器设计

Fisher准则线性分类器设计

F i s h e r准则线性分类器设计内部编号：（YUUT-TBBY-MMUT-URRUY-UOOY-DBUYI-0128）一 、基于F i s h e r 准则线性分类器设计1、 实验内容： 已知有两类数据1ω和2ω二者的概率已知1)(ωp =，2)(ωp =。

1ω中数据点的坐标对应一一如下：数据：x =y =z =2ω数据点的对应的三维坐标为x2 =y2 =z2 =数据的样本点分布如下图：1)请把数据作为样本，根据Fisher选择投影方向W的原则，使原样本向量在该方向上的投影能兼顾类间分布尽可能分开，类内样本投影尽可能密集的要求，求出评价投影方向W的函数，并在图形表示出来。

取极大值的*w。

用matlab完并在实验报告中表示出来，并求使)J(wF成Fisher线性分类器的设计，程序的语句要求有注释。

2)根据上述的结果并判断（1，，），，，，，，，，，（，，），属于哪个类别，并画出数据分类相应的结果图，要求画出其在W上的投影。

3)回答如下问题，分析一下W的比例因子对于Fisher判别函数没有影响的原因。

2、实验代码x1 =[];x2 =[];x3 =[];%将x1、x2、x3变为行向量x1=x1(:);x2=x2(:);x3=x3(:);%计算第一类的样本均值向量m1m1(1)=mean(x1);m1(2)=mean(x2);m1(3)=mean(x3);%计算第一类样本类内离散度矩阵S1S1=zeros(3,3);for i=1:36S1=S1+[-m1(1)+x1(i) -m1(2)+x2(i) -m1(3)+x3(i)]'*[-m1(1)+x1(i) -m1(2)+x2(i) -m1(3)+x3(i)];end%w2的数据点坐标x4 =[];x5 =[];x6 =[];x4=x4(:);x5=x5(:);x6=x6(:);%计算第二类的样本均值向量m2m2(1)=mean(x4);m2(2)=mean(x5);m2(3)=mean(x6);%计算第二类样本类内离散度矩阵S2S2=zeros(3,3);for i=1:36S2=S2+[-m2(1)+x4(i) -m2(2)+x5(i) -m2(3)+x6(i)]'*[-m2(1)+x4(i) -m2(2)+x5(i) -m2(3)+x6(i)];end%总类内离散度矩阵SwSw=zeros(3,3);Sw=S1+S2;%样本类间离散度矩阵SbSb=zeros(3,3);Sb=(m1-m2)'*(m1-m2);%最优解WW=Sw^-1*(m1-m2)'%将W变为单位向量以方便计算投影W=W/sqrt(sum(W.^2));%计算一维Y空间中的各类样本均值M1及M2for i=1:36y(i)=W'*[x1(i) x2(i) x3(i)]';endM1=mean(y);for i=1:36y(i)=W'*[x4(i) x5(i) x6(i)]';endM2=mean(y);%利用当P(w1)与P(w2)已知时的公式计算W0p1=;p2=;W0=-(M1+M2)/2+(log(p2/p1))/(36+36-2);%计算将样本投影到最佳方向上以后的新坐标X1=[x1*W(1)+x2*W(2)+x3*W(3)]';X2=[x4*W(1)+x5*W(2)+x6*W(3)]'; %得到投影长度XX1=[W(1)*X1;W(2)*X1;W(3)*X1];XX2=[W(1)*X2;W(2)*X2;W(3)*X2]; %得到新坐标%绘制样本点figure(1);plot3(x1,x2,x3,'r*'); %第一类hold onplot3(x4,x5,x6,'gp') ; %第二类legend('第一类点','第二类点');title('Fisher线性判别曲线');W1=5*W;%画出最佳方向line([-W1(1),W1(1)],[-W1(2),W1(2)],[-W1(3),W1(3)],'color','g'); %判别已给点的分类a1=[1,,]';a2=[,,]';a3=[,,]';a4=[,,]';a5=[,,]';A=[a1 a2 a3 a4 a5];n=size(A,2);%下面代码在改变样本时可不修改%绘制待测数据投影到最佳方向上的点for k=1:nA1=A(:,k)'*W;A11=W*A1;%得到待测数据投影y=W'*A(:,k)+W0; %计算后与0相比以判断类别，大于0为第一类，小于0为第二类if y>0plot3(A(1,k),A(2,k),A(3,k),'ro'); %点为"rp"对应第一类plot3(A11(1),A11(2),A11(3),'ro'); %投影为"r+"对应ro类elseplot3(A(1,k),A(2,k),A(3,k),'ch'); %点为"bh"对应ch类plot3(A11(1),A11(2),A11(3),'ch'); %投影为"b*"对应ch类endend%画出最佳方向line([-W1(1),W1(1)],[-W1(2),W1(2)],[-W1(3),W1(3)],'color','m');view([,30]);axis([-2,3,-1,3,,]);grid onhold off3、实验结果根据求出最佳投影方向，然后按照此方向，将待测数据进行投影。

基于Fisher的线性判别回归分类算法

基于Fisher的线性判别回归分类算法


＝ ｒ ａ ｇ ｎ ￣ ｎ 『 Ｉ 一 ｙ ＝ １ … ２． ． ， Ⅳ
＝
（ ３ ）
（ ４ ）
Ｈ／ ｙ ， ｉ ＝１ ， ２ ， ． ． ． ， Ｎ
其 中， 为 Ｙ 在第 ｉ 类 子 空 间上 的投影 ， 由类投 影 矩 阵 ＝ Ｔ ） 得 到 。这 里 应 注意 类 投影 矩 阵是 一个 对称 幂 等矩 阵 。 线 性 回归 的 目的是 找 到 源 向量 和 投 影 向量 间 的最小距离 ， 若源 向量是类ｉ 的子空问， 预测 向量 ． 就是 最 接 近 源 向量 的向量 。计算 源 向量 和 预测 响 应 向量之 间 的欧 氏距离 即 可确认 类别 身份 ｉ ， 即：
类的特征 子空 间； 求得 各训练 图像与测试 图像 阎的欧氏距 离， 最后 用Ｋ一 近邻 分类器完成人 脸识别。在Ａ１ Ｋ Ａ ￣ 脸数据库上 的
实验 结果表 明 ， 相 比其他 回归分类算法 ， 算 法取得 了更好 的识 别效果。
关键词 ： 人脸识别 ； Ｆ ｉ ｓ ｈ ｅ ｒ 准则 ； 线性判 别； 线 性 回 归分 类 ； Ｋ一 近 邻 分 类 器
中图分类 号 ：Ｔ Ｐ ３ ９ １
文献标志码 ： Ａ
文章编号 ： １ ６ ７ ３ — ２ ９ ２ ８ （ ２ ０ １ ５ ） ０ ２ － ０ ０ ５ ９ － ０ ３
Ｏ引言
练阶段 ， 第ｉ 类用向量空间 表示 ， 称为每个对象的
预测器 。
人脸识别系统［ １ ， ２ １ 常使用人脸图像来识别特定 身份 ， 已被 广泛 应 用 于 生物 特 征 认证 之 中 ， 有 视 频 监控 和访 问控 制等 。已有 的 ＾ 睑识别 方法基本 上都 是从静态图像或者视频图像中进行识别 ， 主要有主 成分分析 （ Ｐ ｉ ｒ ｎ ｃ ｉ ｐ ａ ｌ Ｃ ｏ ｍｐ ｏ ｎ ｅ ｎ ｔ Ａ ｎ ａ ｌ ｙ ｓ ｉ ｓ ， Ｐ Ｃ Ａ ） ｔ ３ １ 、 独 立成分分析（ Ｉ ｎ ｄ ｅ ｐ ｅ ｎ ｄ ｅ ｎ ｔ Ｃ ｏ ｍ ｐ ｏ ｎ ｅ ｎ ｔ Ａ ｎ ａ ｌ ｙ ｓ ｉ ｓ 。 Ｉ Ｃ Ａ ｆ ￣ 和线 性判别 分析（ Ｌ ｉ ｎ ｅ ａ ｒ Ｄ ｉ ｓ ｃ ｒ ｉ ｍ ｉ ｎ ａ ｎ ｔ Ａ ｎ ａ ｌ ｙ ｓ ｉ ｓ ， Ｌ Ｄ Ａ ） ｔ ， 这些方法都试 图使用 降维技术来找到一个 低 维子空 间 ， 从而实现有效人脸识别 。文献［ ６ ］ 提 出 了一 种 线 性 回归 分 类 算 法 （ Ｌ ｉ ｎ ｅ ａ ｒ Ｒ ｅ ｇ ｒ ｅ ｓ ｓ ｉ ｏ ｎ Ｃ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｃ ａ ｔ ｉ ｏ ｎ ， Ｌ Ｒ Ｃ ） ， 假 设 指 定 的 人 脸 图像 类 属 于 个线性子空间 ， 利用最小二乘法估算 回归系数 ， 由原 向量 和 投影 向量 间 的最 小 距 离决 定 最 终 判别 值， 而未将类 间信 息考虑进去 。而且 Ｌ Ｒ Ｃ 算法执 行前使 用 Ｐ Ｃ Ａ最大化总 （ 类 内和类间 ） 散列矩阵 ， 不 能保 证 Ｌ Ｒ Ｃ的 良好性 能 。 本 文 提 出 了一 种 基 于 Ｆ ｉ ｓ ｈ ｅ ｒ 准 则 的线 性 判 别 回归 分 类 （ Ｌ ｉ ｎ ｅ ａ ｒ Ｄ ｉ ｓ ｃ ｒ ｉ ｍｉ ｎ ａ ｎ ｔ Ｒ ｅ ｒｅ ｇ ｓ ｓ ｉ ｏ ｎ Ｃ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｃ ａ ． ｔ ｉ ｏ ｎ ｂ ａ ｓ ｅ ｄ ｏ ｎ Ｆ ｉ ｓ ｈ ｅ ｒ Ｃ ｉ ｒ ｔ ｅ ｉ ｒ ｏ ｎ ， Ｆ Ｃ － Ｌ Ｄ ＲＣ ） 算法 ， 以期 提 高线 性 回归 分类 用于 人脸 分类 的鲁棒性 。 １ 线 性 回 归分类 假设有 自 第ｉ 个类的ｐ Ｉ 爪 训练 图像ｉ ＝ １ ， ２ ， ． ． ． ， Ｎ， 若将图像投影到人脸空间上 ， 用矩阵 表示所有来
FISHER分类

FISHER分类

Fisher 线性判别分类器成员姓名： 学号：莫文敏 201111921217 赵越 201111921229 顾瑞煌 201111921104一、实验目的1.实现基于FISHER 分类的算法程序；2.能够根据自己的设计加深对FISHER 分类的认识；3.掌握FISHER 分类的原理、特点。

二、实验设备1.手提电脑2.MATLAB三、FISHER 算法原理线性判别函数的一般形式可表示成0)(w X W X g T +=其中⎪⎪⎪⎭⎫ ⎝⎛=d x x X 1 ⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=d w w w W 21但是，在应用统计方法解决模式识别的问题时，经常会遇到“维数风暴”的问题，因此压缩特征空间的维数在此时十分重要，FISHER 方法实际上是涉及维数压缩的问题。

把多为特征空间的点投影到一条直线上，就能把特征空间压缩成一维，这在数学上是很容易做到的。

但是在高维空间里很容易一分开的样品，把它们投射到任意一条直线上，有可能不同类别的样品就混在一起，无法区分了，如图5-16（a ）所示，投影1x 或2x 轴无法区分。

若把直线绕原点转动一下，就有可能找到一个方向，样品投射到这个方向的直线上，各类样品就能很好地分开，如图5-16（b ）所示。

因此直线方向的选择是很重要的。

一般来说总能找到一个最好的方向，使样品投射到这个方向的直线上很容易分开。

如何找到这个最好的直线方向以及如何实现向最好方向投影的变换，这正是FISHER 算法要解决的基本问题，这个投影变换正是我们寻求的解向量*W 。

样品训练集以及待测样品的特征总数目为n ，为找到最佳投影方向，需要计算出各类样品的均值、样品类内离散度矩阵i S 和总类间矩阵w S 、样品类间离散度矩阵b S ，根据FISHER 准则找到最佳投影向量，将训练集内所有样品进行投影，投影到一维Y 空间，由于Y 空间是一维的，则需要求出Y 空间的划分边界点，找到边界点后，就可以对待测样品进行一维Y 空间的投影，判断它的投影点与分界点的关系将其归类。

基于Fisher的分类器设计

基于Fisher的分类器设计


7
8 9 10 11 12
2
3 4 1 3 3
2
3 4 1 3 3
13
14 15 16 17 18
1
2 4 2 4 3
1
2 4 2 4 2
19
20 21 22 23 24
4
2 2 3 3 1
4
2 3 3 3 1
25
26 27 28 29 30
1
4 1 3 3 3
1
4 1 3 3 3
结果分析：从表中可以看出有2个分类结果是错的，正确率为93.3%。
T
0 1
y y , x
0
2
算法实现
◆ 流程图
算法实现
◆ 样本均值



clear,close all; N=29; %N为训练样本总个数 X = [1495.18 1957.44 3498.02 %X为训练样本 1125.17 1594.39 2937.73 1269.07 1910.72 2701.97 …… ……] m1=mean(X(1:11,:)); %求得第一类样本均值 m2=mean(X(12:29,:)); %求得第二类样本均值


y0
Fisher投影原理
Fisher分类器设计
样本在d维特征空间的一些描述量 (1)各类样本均值 m 1 m i 1,2 x N (2)样本类内离散度矩阵 S 与总类内离散度矩阵 S
i
i X i i
i
w
S ( X m )( X m )
i X wi i i
T
基于Fisher的分类器设计
主 单 讲：周润景 教授 位：电子信息工程学院