线性分类器的分类原理

一、实验意义及目的掌握Fisher分类原理，能够利用Matlab编程实现Fisher线性分类器设计，熟悉基于Matlab算法处理函数，并能够利用算法解决简单问题。

二、算法原理Fisher准则基本原理：找到一个最合适的投影周，使两类样本在该轴上投影之间的距离尽可能远，而每一类样本的投影尽可能紧凑，从而使分类效果为最佳。

内容：（1）尝试编写matlab程序，用Fisher线性判别方法对三维数据求最优方向w的通用函数（2）对下面表1-1样本数据中的类别w1和w2计算最优方向w（3）画出最优方向w 的直线，并标记出投影后的点在直线上的位置（4）选择决策边界，实现新样本xx1=（-0.7，0.58，0.089）,xx2=（0.047，-0.4，1.04）的分类三、实验内容（1）尝试编写matlab程序，用Fisher线性判别方法对三维数据求最优方向w的通用函数程序清单：clcclear all%10*3样本数据w1=[-0.4,0.58,0.089;-0.31,0.27,-0.04;-0.38,0.055,-0.035;-0.15,0.53,0.011;-0.35,.47,0.034;0.17,0.69,0.1;-0.011,0.55,-0.18;-0.27,0.61,0.12;-0.065,0.49,0.0012;-0.12,0.054,-0.063];w2=[0.83,1.6,-0.014;1.1,1.6,0.48;-0.44,-0.41,0.32;0.047,-0.45,1.4;0.28,0.35,3.1;-0.39,-0.48,0.11;0.34,-0.079,0.14;-0.3,-0.22,2.2;1.1,1.2,-0.46;0.18,-0.11,-0.49];W1=w1';%转置下方便后面求s1W2=w2';m1=mean(w1);%对w1每一列取平均值结果为1*3矩阵m2=mean(w2);%对w1每一列取平均值结果为1*3矩阵S1=zeros(3);%有三个特征所以大小为3S2=zeros(3);for i=1:10%1到样本数量ns1=(W1(:,i)-m1)*(W1(:,i)-m1)';s2=(W2(:,i)-m2)*(W2(:,i)-m2)';S1=S1+s1;S2=S2+s2;endsw=S1+S2;w_new=transpose(inv(sw)*(m1'-m2'));%这里m1m2是行要转置下3*3 X 3*1 =3*1 这里提前转置了下跟老师ppt解法公式其实一样%绘制拟合结果数据画图用y1=w_new*W1y2=w_new*W2;m1_new=w_new*m1';%求各样本均值也就是上面y1的均值m2_new=w_new*m2';w0=(m1_new+m2_new)/2%取阈值%分类判断x=[-0.7 0.0470.58 -0.40.089 1.04 ];m=0; n=0;result1=[]; result2=[];for i=1:2%对待观测数据进行投影计算y(i)=w_new*x(:,i);if y(i)>w0m=m+1;result1(:,m)=x(:,i);elsen=n+1;result2(:,n)=x(:,i);endend%结果显示display('属于第一类的点')result1display('属于第二类的点')result2figure(1)scatter3(w1(1,:),w1(2,:),w1(3,:),'+r'),hold onscatter3(w2(1,:),w2(2,:),w2(3,:),'sg'),hold onscatter3(result1(1,:),result1(2,:),result1(3,:),'k'),hold onscatter3(result2(1,:),result2(2,:),result2(3,:),'bd')title('样本点及实验点的空间分布图')legend('样本点w1','样本点w2','属于第一类的实验点','属于第二类的实验点')figure(2)title('样本拟合结果')scatter3(y1*w_new(1),y1*w_new(2),y1*w_new(3),'b'),hold onscatter3(y2*w_new(1),y2*w_new(2),y2*w_new(3),'sr')（2）对下面表1-1样本数据中的类别w1和w2计算最优方向w（3）画出最优方向w 的直线，并标记出投影后的点在直线上的位置最优方向w 的直线投影后的位置（4）选择决策边界，实现新样本xx1=（-0.7，0.58，0.089）,xx2=（0.047，-0.4，1.04）的分类决策边界取法：分类结果：四、实验感想通过这次实验，我学会了fisher线性判别相关的分类方法，对数据分类有了初步的认识，尽管在过程中有不少中间量不会算，通过查阅网络知识以及模式识别专业课ppt等课件帮助，我最终完成了实验，为今后继续深入学习打下良好基础。

第二章统计模式识别(一)(几何分类法)目录统计分类的基本思想模板匹配法及其数学描述模式的相似性度量及距离分类法几何分类法(线性可分时)几何分类法(线性不可分时)小结1.模式与模式识别––统计分类的基本思想b公设一：可描述性存在一个有代表性的样本集可供使用，以便获得一个问题范围。

公设二：可分性一个“简单”模式，具有表征其类别的类属性特征。

{(),,()}i kf fω=⊂ΩLX X公设三：备注：公设三中的特征是模式分类和识别统计分类的基本思想d公设四：特征独立性一个“复杂”模式具有简单的组成部分，它们之间存在确定的关系。

模式被分解成这些组成部分，且它们有一个确定的而不是任意的结构。

公设五：模式相似性如果两个模式的特征或其简单的组成部分仅有微小差别，则称两个模式是相似的。

–1–8讲义：模式识别导论第二章：统计模式识别（一）统计分类的基本思想g线性判别分类的基本方法–将样本的各类特征向量定位于特征空间后设法找出分界线(n=2时)或分界面(n>2时)。

–把特征空间分割成若干区域，每个区域对应于一个类别–对于一个未知类别的模式落在那个区域，就被分到那个类别中。

注意：12(,,,)T n X x x x =L 特征维数增加，分类的复杂度提高；样本的类别增多，分类的复杂度也提高。

目录2. 模板匹配法及其数学描述模板匹配法(Template Matching)是一种最原始、最基本的方法，它是一种统计识别的方法。

如果模板与样品上的绝大多数单元相匹配，则称“匹配的好”，反之称“匹配不好”，并取匹配最好的作为识别结果。

模板匹配的几种形式光学模板匹配：电子模板匹配(模拟灰度)：电子模板匹配(数字灰度)：参考书上的内容模板匹配的实现以文字识别为例，将每一个字建立一个模板P ，对一未知模式X ，逐个与模板匹配求出最小距离，然后进行识别即可，详细过程如下：1x 2x模板匹配的实现(续)1. 计算：K 为字符库中的字数。

线性判别分析（LDA）说明：本⽂为个⼈随笔记录，⽬的在于简单了解LDA的原理，为后⾯详细分析打下基础。

⼀、LDA的原理LDA的全称是Linear Discriminant Analysis（线性判别分析），是⼀种supervised learning。

LDA的原理：将带上标签的数据（点），通过投影的⽅法，投影到维度更低的空间中，使得投影后的点，会形成按类别区分，⼀簇⼀簇的情况，相同类别的点，将会在投影后的空间中更接近。

因为LDA是⼀种线性分类器。

对于K-分类的⼀个分类问题，会有K个线性函数：当满⾜条件：对于所有的j，都有Yk > Yj,的时候，我们就说x属于类别k。

上式实际上就是⼀种投影，是将⼀个⾼维的点投影到⼀条⾼维的直线上，LDA最求的⽬标是，给出⼀个标注了类别的数据集，投影到了⼀条直线之后，能够使得点尽量的按类别区分开，当k=2即⼆分类问题的时候，如下图所⽰：上图提供了两种⽅式，哪⼀种投影⽅式更好呢？从图上可以直观的看出右边的⽐左边的投影后分类的效果好，因此右边的投影⽅式是⼀种更好地降维⽅式。

LDA分类的⼀个⽬标是使得不同类别之间的距离越远越好，同⼀类别之中的距离越近越好。

⼆、LDA算法流程输⼊：数据集 D = {(x1, y1), (x1, y1), ... ,(x m, y m)}，任意样本x i为n维向量，y i∈{C1, C2, ... , Ck}，共k个类别。

现在要将其降维到d维；输出：降维后的数据集D'。

（1）计算类内散度矩阵 S B;（2）计算类间散度矩阵 S W;（3）将 S B和 S W代⼊上⾯公式计算得到特征值λ和特征向量 w，取前⾯⼏个最⼤的特征值向量λ'与特征向量相乘得到降维转换矩阵λ'w;（4）将原来的数据与转换矩阵相乘得到降维后的数据 (λ'w)T x ;三、LDA优缺点分析LDA算法既可以⽤来降维，⼜可以⽤来分类，但是⽬前来说，主要还是⽤于降维。

线性分类器算法原理及应用随着人工智能技术的发展，机器学习已成为各行各业的热门话题，许多人也开始关注和了解各种机器学习算法。

其中，线性分类器算法是一种应用较为广泛的算法，本文将为大家介绍它的原理及应用。

一、线性分类器算法的基础知识1.1 算法简介线性分类器算法是一种常见的机器学习算法，主要用于二分类问题（即将数据分为两类）。

它的基本原理是利用线性函数将数据进行分类，其中具体的分类依据是判断某个数据点是否在计算后大于或小于一个阈值。

1.2 基本公式在线性分类器算法中，一个线性函数的基本公式如下所示：Y = b + w1X1 + w2X2 + … + wnXn其中，Y表示样本的类别，b表示偏置项，w1~wn表示权值，X1~Xn表示输入数据的特征值。

当Y大于某个阈值时该样本被归为一类，小于则归为另一类。

1.3 适用场景线性分类器算法适用于多种分类问题，如判断一封邮件是否为垃圾邮件、一个人是否会违约等。

它的应用非常广泛，并且准确率较高。

二、线性分类器算法的实现步骤2.1 数据处理在使用线性分类器算法前，我们需要对数据进行预处理。

首先，需要清洗数据，去除异常值和缺失值等。

然后，对数据进行标准化处理，将数据归一化，避免数据范围的差异性对结果的影响。

2.2 模型训练训练模型是线性分类器算法的核心步骤。

在训练模型前，我们需要将数据集分为训练集和测试集，以验证模型的准确率。

训练模型的过程就是不断调整权值和偏置项，根据损失函数来确定误差，并利用优化算法进行调整。

常见的优化算法包括随机梯度下降法和牛顿法等。

2.3 模型评估模型评估是判断模型是否准确的重要步骤。

在评估模型时，我们需要将测试集输入模型中，通过预测值与实际值的比较来确定模型的准确率。

模型的评估应基于多个指标，如精度、召回率、F1值等。

通过综合考虑这些指标来评估模型的准确性。

三、线性分类器算法应用案例3.1 垃圾邮件分类垃圾邮件是我们在日常生活和工作中难以避免的问题。

《模式识别》课程实验线性分类器设计实验一、实验目的：1、掌握Fisher 线性分类器设计方法；2、掌握感知准则函数分类器设计方法。

二、实验内容：1、对下列两种情况，求采用Fisher 判决准则时的投影向量和分类界面，并做图。

12{(2,0),(2,2),(2,4),(3,3)}{(0,3),(2,2),(1,1),(1,2),(3,1)}T T T T T T T T T ωω⎧=⎪⎨=-----⎪⎩ 12{(1,1),(2,0),(2,1),(0,2),(1,3)}{(1,2),(0,0),(1,0),(1,1),(0,2)}T T T T T T T T T T ωω⎧=⎪⎨=-----⎪⎩ 2、对下面的两类分类问题，采用感知准则函数，利用迭代修正求权向量的方法求两类的线性判决函数及线性识别界面，并画出识别界面将训练样本区分的结果图。

12{(1,1),(2,0),(2,1),(0,2),(1,3)}{(1,2),(0,0),(1,0),(1,1),(0,2)}T T T T T T T T T T ωω⎧=⎪⎨=-----⎪⎩ 三、实验原理：（1）Fisher 判决准则投影方向：*112()w w S μμ-=-（2）感知准则函数：()()kT p z Z J v v z ==-∑当k Z为空时，即()0J v ，*v即为所求p四、解题思路:1、fisher线性判决器：A.用mean函数求两类样本的均值B.求两类样本的均值的类内离散矩阵SiC.利用类内离散矩阵求总类内离散矩阵SwD.求最佳投影方向WoE.定义阈值，并求得分界面2、感知准则函数分类器：A.获得增广样本向量和初始增广权向量B.对样本进行规范化处理C.获得解区，并用权向量迭代修正错分样本集，得到最终解区五、实验结果：1、fisher线性判决分类器：条件：取pw1=pw2=0.5,阈值系数为0.5A．第一种情况B.第二种情况2、感知准则函数判决：条件：取步长row为1判决结果：六、结果分析：1、fisher线性判决器中，调整阈值系数时，分界面会随之平行上下移动，通过调整阈值系数的大小，就能比较合理的得到分界面。