2二维线性鉴别分析(2DLDA)

基于双向2 DLDA与 LDA相结合的 SAR目标识别算法杨佐龙;王德功;胡朝军;尹辉;岳剑飞【期刊名称】《计算机应用与软件》【年(卷),期】2014(000)011【摘要】线性判决分析（ LDA）用于图像特征提取时，存在着损失二维空间结构信息、计算复杂度大的缺点。

二维线性判决分析（2DLDA）弥补了LDA的缺点，但2DLDA仅消除了图像各列间的相关性，所提取的图像特征维数仍然较大。

为解决上述问题，采用双向2DLDA与LDA相结合的特征提取算法对图像的行和列同时进行压缩，减少特征矩阵维数，降低计算量。

实验结果表明，所提出的SAR （ Synthetic Aperture Radar）图像目标识别方法有效地降低了图像数据维数，提高了识别率，并克服了方位角变化对识别结果的影响。

%Linear discriminant analysis ( LDA) has the disadvantages of information losses in regard to two-dimensional spatial structure and high computational complexity when applying to image feature extraction.Two-dimensional linear discriminant analysis (2DLDA) makes up the flaws of LDA.However, it only eliminates the pertinence between the columns of image, while the number of features extracted is still large.In order to solve the problems, we adopt a new feature extraction algorithm to compress the columns and rows of image simultaneously, which combines the bidirectional 2DLDA with LDA, thus reduces the number of feature matrix dimensions and decreases the calculation amount.Experimental results show that the SAR images recognition method presented in this paper effectively reducesimage dimensions numberand raises recognition rate, it also overcomes the impact on recognition result brought by the variation of target azimuth.【总页数】5页(P279-282,317)【作者】杨佐龙;王德功;胡朝军;尹辉;岳剑飞【作者单位】空军航空大学吉林长春 130022;空军航空大学吉林长春 130022;解放军94916部队江苏南京 210022;空军航空大学吉林长春 130022;解放军66347部队河北保定 071000【正文语种】中文【中图分类】TN957.52;TP391【相关文献】1.一种基于重采样双向2DLDA融合的人脸识别算法 [J], 李文辉;姜园媛;王莹;傅博2.一种用于SAR目标特征提取的I2DLDA方法 [J], 刘振;姜晖3.2DPCA+2DLDA和改进的LPP相结合的人脸识别算法 [J], 李球球;杨恢先;奉俊鹏;蔡勇勇;翟云龙4.两向2DLDA与SVM相结合的SAR图像识别 [J], 杨佐龙;王德功;胡朝军;王新超5.基于局部二元模式和重采样双向2DLDA的人脸识别算法 [J], 苏立明;王莹;姜园媛;李文辉因版权原因，仅展示原文概要，查看原文内容请购买。

类别的原始数据，现在要求将数据从二维降维到一维。直接投影
到x1轴或者x2轴，不同类别之间 会有重复，导致分类效果下降。
右图映射到的直线就是用LDA方法计算得到的，可以看到，红色类
别和绿色类别在映射之后之间的距离是最大的，而且每个类别内
部点的离散程度是最小的（或者说聚集程度是最大的）。
5
2021/3/3
6
2021/3/3
LDA
要说明白LDA，首先得弄明白线性分类器(Linear Classifier)
：因为LDA是一种线性分类器。对于K-分类的一个分类问题，
会有K个线性函数：
权向量（weight vector） 法向量（normal vector）
阈值（threshold） 偏置（bias）
当满足条件：对于所有的j，都有Yk > Yj,的时候，我们就说x 属于类别k。对于每一个分类，都有一个公式去算一个分值， 在所有的公式得到的分值中，找一个最大的，就是所属的分类 。
12
2021/3/3
么么么么方面 Sds绝对是假的
LDA
我们定义一个投影前的各类别分散程度的矩阵，这个矩阵看起 来有一点麻烦，其实意思是，如果某一个分类的输入点集Di里 面的点距离这个分类的中心店mi越近，则Si里面元素的值就越 小，如果分类的点都紧紧地围绕着mi，则Si里面的元素值越更 接近0.
7
2021/3/3
LDA
上式实际上就是一种投影，是将一个高维的点投影到一条高维 的直线上，LDA最求的目标是，给出一个标注了类别的数据集， 投影到了一条直线之后，能够使得点尽量的按类别区分开，当 k=2即二分类问题的时候，如下图所示：
红色的方形的点为0类的原始点、蓝色的方形点为1类的原始点，经过 原点的那条线就是投影的直线，从图上可以清楚的看到，红色的点和 蓝色的点被原点明显的分开了，这个数据只是随便画的，如果在高维 8的情况下，看起来会更好一点。下面我来推导一下二分类LDA问题的2021公/3/3 式：

线性判别分析
线性判别分析(linear discriminant analysis，LDA)是对费舍尔的线性鉴别方法的归纳，这种方法使用统计学，模式识别和机器学习方法，试图找到两类物体或事件的特征的一个线性组合，以能够特征化或区分它们。

所得的组合可用来作为一个线性分类器，或者，更常见的是，为后续的分类做降维处理。

之前我们讨论的PCA、ICA也好，对样本数据来言，可以是没有类别标签y的。

回想我们做回归时，如果特征太多，那么会产生不相关特征引入、过度拟合等问题。

我们可以使用PCA来降维，但PCA没有将类别标签考虑进去，属于无监督的。

比如回到上次提出的文档中含有“learn”和“study”的问题，使用PCA后，也许可以将这两个特征合并为一个，降了维度。

但假设我们的类别标签y是判断这篇文章的topic是不是有关学习方面的。

那么这两个特征对y几乎没什么影响，完全可以去除。

Fisher提出LDA距今已近七十年，仍然是降维和模式分类领域应用中最为广泛采用而且极为有效的方法之一，其典型应用包括人脸检测、人脸识别、基于视觉飞行的地平线检测、目标跟踪和检测、信用卡欺诈检测和图像检索、语音识别等。

线性判别分析（LinearDiscriminantAnalysis，LDA）⼀、LDA的基本思想线性判别式分析(Linear Discriminant Analysis, LDA)，也叫做Fisher线性判别(Fisher Linear Discriminant ,FLD)，是模式识别的经典算法，它是在1996年由Belhumeur引⼊模式识别和⼈⼯智能领域的。

线性鉴别分析的基本思想是将⾼维的模式样本投影到最佳鉴别⽮量空间，以达到抽取分类信息和压缩特征空间维数的效果，投影后保证模式样本在新的⼦空间有最⼤的类间距离和最⼩的类内距离，即模式在该空间中有最佳的可分离性。

如下图所⽰，根据肤⾊和⿐⼦⾼低将⼈分为⽩⼈和⿊⼈，样本中⽩⼈的⿐⼦⾼低和⽪肤颜⾊主要集中A组区域，⿊⼈的⿐⼦⾼低和⽪肤颜⾊主要集中在B组区域，很显然A组合B组在空间上明显分离的，将A组和B组上的点都投影到直线L上，分别落在直线L的不同区域，这样就线性的将⿊⼈和⽩⼈分开了。

⼀旦有未知样本需要区分，只需将⽪肤颜⾊和⿐⼦⾼低代⼊直线L的⽅程，即可判断出未知样本的所属的分类。

因此，LDA的关键步骤是选择合适的投影⽅向，即建⽴合适的线性判别函数（⾮线性不是本⽂的重点）。

⼆、LDA的计算过程1、代数表⽰的计算过程设已知两个总体A和B，在A、B两总体分别提出m个特征，然后从A、B两总体中分别抽取出、个样本，得到A、B两总体的样本数据如下：和假设存在这样的线性函数（投影平⾯），可以将A、B两类样本投影到该平⾯上，使得A、B两样本在该直线上的投影满⾜以下两点：（1）两类样本的中⼼距离最远；（2）同⼀样本内的所有投影距离最近。

我们将该线性函数表达如下：将A总体的第个样本点投影到平⾯上得到投影点，即A总体的样本在平⾯投影的重⼼为其中同理可以得到B在平⾯上的投影点以及B总体样本在平⾯投影的重⼼为其中按照Fisher的思想，不同总体A、B的投影点应尽量分开，⽤数学表达式表⽰为，⽽同⼀总体的投影点的距离应尽可能的⼩，⽤数学表达式表⽰为，，合并得到求从⽽使得得到最⼤值，分别对进⾏求导即可，详细步骤不表。

2二维线性鉴别分析（2DLDA）2 二维线性鉴别分析（2DLDA ）2．1 实验原理由上面的公式计算w G 和b G ，类似于经典的Fisher 准则，二维图像直接投影的广义Fisher 准则定义如下：()T b T w X G X J X X G X= 一般情况下w G 可逆，也就是根据1w b G G -计算本征值、本征向量，取最大的d 个本征值对应的本征向量作为二维投影的向量组。

需要特别指出的是，尽管b G 和w G 都是对称矩阵，但1w b G G -不一定是对称矩阵。

所以各投影轴之间关于w G 及t G 共轭正交，而不是正交。

本实验为简单起见，使用的为欧式距离。

2.2 实验过程读取训练样本——〉求样本均值——〉求类内散布矩阵——〉特征值分解——〉对实验样本分类——〉计算分类正确率2.3 实验结果分析本实验中的类别数为40，每类的样本数为10，训练数为5，检测数为5。

实验的结果正确率为72%，结果正确率偏低。

2.4 matlab 代码clear all;t0=clock;class_num = 40;class_sample = 10;train_num = 5;test_num = 5;scale = 1;allsamples=[];%所有训练图像gnd=[];k=1;path = ['C:\Documents and Settings\dongyan\桌面\模式识别\ORL\ORL\ORL'];for i=1:class_numfor j =1:train_numname =[path num2str(10*i+j-10,'%.3d') '.BMP' ];[a,map]=imread(name,'bmp');a = imresize(a,scale);a=double(a);ImageSize=size(a);height=ImageSize(1);width=ImageSize(2);A=reshape(a,1,ImageSize(1)*ImageSize(2));allsamples=[allsamples;A];gnd(k)=i;k=k+1;end;end;trainData=allsamples;sampleMean=mean(allsamples);%求所有图片的均值[nSmp,nFea] = size(trainData);classLabel = unique(gnd);nClass = length(classLabel);classmean=zeros(nClass,height*width);%求每类的均值for i=1:nClassindex = find(gnd==classLabel(i));classmean(i,:)=mean(trainData(index, :));endGb=0;Amean=reshape(sampleMean,height,width);%求类间散布矩阵Gbfor i=1:nClassAimean=reshape(classmean(i,:),height,width);Gb=Gb+(Aimean-Amean)'*(Aimean-Amean);endGw=0;%求类内散布矩阵for i=1:nClassfor j=train_num*(i-1)+1:train_num*ig=reshape((trainData(j,:)-classmean(i,:)),height,width);Gw=Gw+g'*g;endendinvGw=inv(Gw);%求（Gw-1）*GbU=invGw*Gb;[eigvu eigvet]=eig(U);%求特征值与特征向量d=diag(eigvu);[d1 index]=sort(d);cols=size(eigvet,2);for i=1:colsvsort(:,i) = eigvet(:, index(cols-i+1) ); % vsort 是一个M*col阶矩阵，保存的是按降序排列的特征向量,每一列构成一个特征向量dsort(i) = d( index(cols-i+1) ); % dsort 保存的是按降序排列的特征值，是一维行向量end %完成降序排列for i=1:8X(:,i)=vsort(:,i);%X表示投影轴endaccu=0;%做测试，记录命中率for i=1:class_numfor j =train_num+1:class_samplename =[path num2str(10*i+j-10,'%.3d') '.BMP' ];Image = double(imread(name));Image = imresize(Image,scale);testdata1=Image*X;for k=1:class_num*train_numjuli(k)=norm(testdata1-reshape(trainData(k,:),height,width)*X);%计算图片与训练样本之间的距离，如果距离最小，认为测试图片与训练图片属于同一类end;[r t]=min(juli);if fix((t-1)/train_num)==(i-1)accu=accu+1;endend;end;accu=accu/(class_num*test_num);accutime1 = etime(clock,t0)。

线性判别分析（LDA）说明：本⽂为个⼈随笔记录，⽬的在于简单了解LDA的原理，为后⾯详细分析打下基础。

⼀、LDA的原理LDA的全称是Linear Discriminant Analysis（线性判别分析），是⼀种supervised learning。

LDA的原理：将带上标签的数据（点），通过投影的⽅法，投影到维度更低的空间中，使得投影后的点，会形成按类别区分，⼀簇⼀簇的情况，相同类别的点，将会在投影后的空间中更接近。

因为LDA是⼀种线性分类器。

对于K-分类的⼀个分类问题，会有K个线性函数：当满⾜条件：对于所有的j，都有Yk > Yj,的时候，我们就说x属于类别k。

上式实际上就是⼀种投影，是将⼀个⾼维的点投影到⼀条⾼维的直线上，LDA最求的⽬标是，给出⼀个标注了类别的数据集，投影到了⼀条直线之后，能够使得点尽量的按类别区分开，当k=2即⼆分类问题的时候，如下图所⽰：上图提供了两种⽅式，哪⼀种投影⽅式更好呢？从图上可以直观的看出右边的⽐左边的投影后分类的效果好，因此右边的投影⽅式是⼀种更好地降维⽅式。

LDA分类的⼀个⽬标是使得不同类别之间的距离越远越好，同⼀类别之中的距离越近越好。

⼆、LDA算法流程输⼊：数据集 D = {(x1, y1), (x1, y1), ... ,(x m, y m)}，任意样本x i为n维向量，y i∈{C1, C2, ... , Ck}，共k个类别。

现在要将其降维到d维；输出：降维后的数据集D'。

（1）计算类内散度矩阵 S B;（2）计算类间散度矩阵 S W;（3）将 S B和 S W代⼊上⾯公式计算得到特征值λ和特征向量 w，取前⾯⼏个最⼤的特征值向量λ'与特征向量相乘得到降维转换矩阵λ'w;（4）将原来的数据与转换矩阵相乘得到降维后的数据 (λ'w)T x ;三、LDA优缺点分析LDA算法既可以⽤来降维，⼜可以⽤来分类，但是⽬前来说，主要还是⽤于降维。

２ Ｌ Ａ￣ Ｄ Ｄ ２ 法 。黄 修武等 人 于代数 理论和模 糊数学提 出一种 基于 基 隶 属函数的图像特征提 取方 法 ，并用于人脸识别 ，取得了较好的识别 率 。本文 结合隶 属函 数 ，提 出一种基 于 图像 隶属度 的分块 ２ Ｌ Ａ Ｄ Ｄ 人 脸 图像特 征提取和识别方法 。
时Ｌ ＤＡ不 一定具 有最 佳鉴 别性能 。因此 在小 样本情 况下 ，如何 抽取
然 后计算测试样本对每一类所有子块 的隶 属度 ，从大到小依次排 列为： （ 【 （， Ｑ １ ） （… ・ ２ ） ， （ ），分类原则是取每幅 人脸 图 ｘ ） 像 中隶 属度最 大的ｘ 个子 块 ：
人脸 识别 的研究 具有 巨大 的理论 意义和 应用 价值 ，它对 图象处 理 、模式识别 、计算机 视觉等领域的发展具有 巨大的推动作用 ，同时 在 生物特征认证 、视频 监控 、安全等各个领域也 有着非常广泛 的应用
ｌ
：
－ ｔ
… ‘ … ‘
ｌ｝ｌ ｌ － Ｂ ｚ Ｂ ｊ ２
Ｑ … ‘ ５）
ＬＡ Ｄ 人脸识 别方法仅适 用于类 内散布矩阵 的情 形 ， 实际应用 中 但 存在 着大量的典型的小样本 问题 ，类 内散布矩阵经常是 奇异的 。这是
因为 待识别的图像矢量 的维 数一般较高 ，而在实 际问题 中难以找到或 根本 不可能找到足够 多的训练 样本来保证类 内散布矩 阵的可逆性 ，这
技 术 创 新
缸 科 技 ２ １年第９ ０ ２ 期
一
种 基 于图像隶 属度 的分块２ ＤＡ ＤＬ 人脸识别 方法
苏 长 明
信息 科学与技术 学院 成 都学院 ６ ０ ０ 成 都 １１６
摘 要 有效地提取特 征和设计好 的分 类方法是人脸识 别的关键 ，本 文结合隶属度 函数提 出一种基 于图像 分块 的二维线性判别分 析识 别方 法。首先对人脸样本 图像等量划分 为若 干个子模 块 ，再直接对子模 块图像 矩阵进行二 维线性判 别分析提 取特征 ，得到子模块 低维特征 矩阵 ，最后算 出测试 图像 子模块相对 于训 练类对应子模块的 隶属度 ，选取几个隶属度最 大的于模块进 行权值叠加 ，被测试 图 像 最 终 归属 于 叠加 结 果 最 大 的 一 类 。 该 方 法 既 克服 了 小样 本 问题 又 具 有 更 人 性 化 的 分 类 设 计 。在 ＯＲＬ Ｆ ＲＥ －－ 数 据 库 上 的 实验 结 和 Ｅ Ｔ＆脸 果表 明，提 出的方法不仅 运算量小而且识别率也 明显优 于其 它方法。 关键词 二维线性判 别分析 人脸识 别 特征提取 隶属度

融合2DDCT、2DPCA和2DLDA的人脸识别方法廖正湘;陈元枝;李强【摘要】二维主分量分析(2DPCA)是人脸识别中的一种非常有效的特征提取方法.二维线性判别(2DLDA)方法具有很好的分类效果.在研究这两种理论的基础上提出一种基于2DDCT(二维离散余弦变换)与2DPCA+ 2DLDA相结合的人脸识别方法,并在0RL人脸库上分别对单一的方法与相融合的方法进行识别比较研究.实验结果表明,提出的方法不仅提高了识别率,而且减少了训练与分类时间.%Two-dimensional principal component analysis (2DPCA) is a very effective feature extraction method in face recognition; two-dimensional linear discriminant (2DLDA) method has very good classification results. In this paper, based on the study of these two theories, we propose a new face recognition method which is on the basis of integrating the two-dimensional discrete cosine transform (2DDCT) with 2DPCA and 2DLDA, and utilising the ORL database we carry out respectively the comparative study on recognitions with each single method and the integrated method. Experimental results show that the integrated method proposed in the paper improves the recognition rate, and it also reduces the training and classification time as well.【期刊名称】《计算机应用与软件》【年(卷),期】2012(029)009【总页数】4页(P237-239,288)【关键词】二维主分量分析;二维线性判别分析;特征提取;离散余弦变换【作者】廖正湘;陈元枝;李强【作者单位】桂林电子科技大学电子工程与自动化学院广西桂林541004;桂林电子科技大学电子工程与自动化学院广西桂林541004;桂林电子科技大学电子工程与自动化学院广西桂林541004【正文语种】中文【中图分类】TP391.410 引言人脸识别技术在身认证、视频监控等安防领域得到了广泛的应用，是生物特征识别系统中研究中的热门话题之一。

基本思想
线性判别分析的基本思想是将高维的模式样本投 影到最佳鉴别矢量空间，以达到抽取分类信息和 压缩特征空间维数的效果。投影后保证模式样本 在新的子空间有最大的类间距离和最小的类内距 离，即模式在该空间中有最佳的可分离性。因此， 它是一种有效的特征抽取方法。使用这种方法能 够使投影后模式样本的类间散布矩阵最大，并且 同时类内散布矩阵最小。
基本思想
主成分分析所要做的就是设法将原来众多具 有一定相关性的变量，重新组合为一组新的 相互无关的综合变量来代替原来变量。通常， 数学上的处理方法就是将原来的变量做线性 组合，作为新的综合变量，但是这种组合如 果不加以限制，则可以有很多，应该如何选 择呢？
基本思想
如果将选取的第一个线性组合即第一个综合变量记为F1 ，自然希望它尽可能多地反 映原来变量的信息，这里“信息”用方差来测量，即希望Var(F1)越大，表示F1包 含的信息越多。因此在所有的线性组合中所选取的F1应该是方差最大的，故称F1为 第一主成分。如果第一主成分不足以代表原来p 个变量的信息，再考虑选取F2即第 二个线性组合，为了有效地反映原来信息,F1已有的信息就不需要再出现在F2中， 用数学语言表达就是要求Cov(F1 ,F2)=0，称F2为第二主成分，依此类推可以构造 出第三、四…第p 个主成分。
例子
举一个例子，假设我们对一张100*100像素的 图片做人脸识别，每个像素是一个特征，那 么会有10000个特征，而对应的类别标签y仅 仅是0，1值，1代表是人脸。这么多特征不仅 训练复杂，而且不必要特征对结果会带来不 可预知的影响，但我们想得到降维后的一些 最佳特征（与y关系最密切的），怎么办呢？
下面给出一个例子，说明LDA的目标：
可以看到两个类别，一个绿色类别，一个红色类 别。左图是两个类别的原始数据，现在要求将数 据从二维降维到一维。直接投影到x1轴或者x2轴， 不同类别之间 会有重复，导致分类效果下降。右 图映射到的直线就是用LDA方法计算得到的，可以 看到，红色类别和绿色类别在映射之后之间的距 离是最大的，而且每个类别内 部点的离散程度是 最小的（或者说聚集程度是最大的）。

判别分析模型研究及应用判别分析模型是一种统计分析方法，用于解决分类问题。

其主要目标是通过对已知分类的样本进行学习，得出一个分类函数，然后通过应用这个分类函数对未知样本进行分类。

判别分析模型在许多领域中都得到广泛的应用，例如医学诊断、金融风险评估、文本分类等。

判别分析模型主要包括线性判别分析（Linear Discriminant Analysis，简称LDA）和二次判别分析（Quadratic Discriminant Analysis，简称QDA）两种。

LDA 假设样本的特征在每个类别中的分布服从正态分布，且各个类别的协方差矩阵相同。

LDA通过计算每个类别的均值向量和协方差矩阵，然后基于贝叶斯决策理论计算后验概率，从而得到分类函数。

QDA则放松了协方差矩阵相同的假设，允许每个类别有不同的协方差矩阵。

判别分析模型的研究主要围绕以下几个方面展开。

首先，模型的建立和求解是研究的重点之一。

在模型建立过程中，需要根据实际问题选择适当的判别准则和优化方法，以提高模型的分类性能。

其次，特征选择和降维也是研究的热点。

由于判别分析模型的性能受样本维度的影响，因此特征选择和降维可以提高模型的准确性和效率。

另外，与其他机器学习方法的集成也是一个重要的研究方向。

判别分析模型与支持向量机、神经网络等机器学习方法相结合，可以提高分类性能，拓展模型的应用范围。

判别分析模型在实际应用中具有广泛的应用价值。

一方面，它可以用于医学诊断，帮助医生识别疾病并制定治疗方案。

例如，通过对病人的病历、症状和检测结果进行分析，可以建立一个判别分析模型，用于区分正常人和疾病人群。

另一方面，判别分析模型也可以用于金融风险评估。

通过对客户的个人信息、信用记录和财务状况进行分析，可以建立一个判别分析模型，用于预测客户是否有违约的风险。

此外，判别分析模型还可以用于文本分类。

通过对文本的词频、词义和句法等进行分析，可以建立一个判别分析模型，用于将文本分类到不同的主题或类别。

基于二维局部保持鉴别分析的特征提取算法
卢官明;左加阔
【期刊名称】《南京邮电大学学报（自然科学版）》
【年(卷),期】2014(034)005
【摘要】提出了一种二维局部保持鉴别分析(Two-dimensional Locality Preserving Discriminant Analysis,2D-LPDA)特征提取算法.该算法直接对图像矩阵进行运算而不需要将矩阵转化为向量后进行运算,较好地保持了图像相邻像素之间的空间结构关系;在LPP算法的基础上,利用训练样本的类别信息计算二维类间散度矩阵和二维类内散度矩阵,并在2D-LPDA的目标函数中引入最大间距准则(Maximum Margin Criterion,MMC),从而求得具有良好鉴别能力的投影向量,同时还避免了小样本情况下矩阵的奇异性问题.通过在ORL人脸图像库上的人脸识别和新生儿面部图像库上的疼痛表情识别实验,验证了所提出的算法的有效性.
【总页数】8页(P1-8)
【作者】卢官明;左加阔
【作者单位】南京邮电大学通信与信息工程学院,江苏南京210003;台湾大学电机资讯学院,台湾台北10617;东南大学水声信号处理教育部重点实验室,江苏南京210096
【正文语种】中文
【中图分类】TN911.73;TP391.41
【相关文献】
1.人脸识别中基于熵的局部保持特征提取算法 [J], 刘金莲;王洪春
2.基于二维判别局部排列的特征提取算法 [J], 张向群;张旭
3.基于分块二维局部保持鉴别分析的二级人脸识别方法 [J], 赵春晖;陈才扣
4.基于改进局部保持映射的图像特征提取算法 [J], 刘靖
5.分块二维局部保持鉴别分析在人脸识别中的应用 [J], 赵春晖;陈才扣
因版权原因，仅展示原文概要，查看原文内容请购买。

Statistics and Application 统计学与应用, 2020, 9(1), 47-52Published Online February 2020 in Hans. /journal/sahttps:///10.12677/sa.2020.91006Dimension Reduction Comparison between PCA and LDALihong BaoYunnan University of Finance and Economics, Kunming YunnanReceived: Dec. 27th, 2019; accepted: Jan. 12th, 2020; published: Jan. 19th, 2020AbstractPrincipal Component Analysis (PCA) and Linear Discriminant Analysis (LDA) are commonly used in machine learning. In this paper, we extend PCA and LDA to 2DPCA and 2DLDA, 2DPCA and 2DLDA are directly to reduce the dimension on the original matrix data structure, overcoming the problem of the curse of dimensionality. Empirical research suggests that 2DLDA is a better dimen-sionality reduction classification method than 2DPCA compared with the effect of dimension re-duction and the error rate of classification.KeywordsPCA, LDA, Matrix Data主成分分析与线性判别分析降维比较保丽红云南财经大学，云南昆明收稿日期：2019年12月27日；录用日期：2020年1月12日；发布日期：2020年1月19日摘要主成分分析(PCA)和线性判别分析(LDA)是机器学习领域中常用的降维方法。

6. LDA vs PCA
LDA用于降维，和PCA有很多相同，也有很多不同的地方，因此值得好好的比较一下两者的降维异同点。 首先我们看看相同点： 1）两者均可以对数据进行降维。 2）两者在降维时均使用了矩阵特征分解的思想。 3）两者都假设数据符合高斯分布。 我们接着看看不同点： 1）LDA是有监督的降维方法，而PCA是无监督的降维方法 2）LDA降维最多降到类别数k-1的维数，而PCA没有这个限制。 3）LDA除了可以用于降维，还可以用于分类。 4）LDA选择分类性能最好的投影方向，而PCA选择样本点投影具有最大方差的方向。 这点可以从下图形象的看出，在某些数据分布下LDA比PCA降维较优。
当然，某些某些数据分布下PCA比LDA降维较优，如下图所示
7. LDA算法小结
LDA算法既可以用来降维，又可以用来分类，但是目前来说，主要还是用于降维。在我们进行图像识别图像识别相关的数据分析 时，LDA是一个有力的工具。下面总结下LDA算法的优缺点。
LDA算法的主要优点有： 1）在降维过程中可以使用类别的先验知识经验，而像PCA这样的无监督学习则无法使用类别先验知识。 2）LDA在样本分类信息依赖均值而不是方差的时候，比PCA之类的算法较优。 LDA算法的主要缺点有： 1）LDA不适合对非高斯分布样本进行降维，PCA也有这个问题。 2）LDA降维最多降到类别数k-1的维数，如果我们降维的维度大于k-1，则不能使用LDA。当然目前有一些LDA的进化版算法可以 绕过这个问题。
Σj Σj=∑x∈Xj(x−µj)(x−µj)T(j=0,1)
由于是两类数据，因此我们只需要将数据投影到一条直线上即可。假设我们的投影直线是向量w
argmax
wJ(w)=||wTµ0−wTµ1||22wTΣ0w+wTΣ1w=wT(µ0−µ1)(µ0−µ1)TwwT(Σ0+Σ1)w

判别分析方法汇总判别分析（Discriminant Analysis）是一种常用的统计分析方法，用于解决分类问题。

它是一种监督学习的方法，通过构建一个或多个线性或非线性函数来将待分类样本划分到已知类别的情况下。

判别分析方法广泛应用于模式识别、图像处理、数据挖掘、医学诊断等领域。

判别分析方法可以分为线性判别分析（Linear Discriminant Analysis, LDA）和非线性判别分析（Nonlinear Discriminant Analysis, NDA）两大类。

下面我们将介绍一些常见的判别分析方法。

1. 线性判别分析（LDA）：LDA是判别分析方法中最常见的一种。

LDA假设每个类别的样本来自于多元正态分布，通过计算两个类别之间的Fisher判别值，构建一个线性函数，将待分类样本进行分类。

LDA的优点是计算简单、可解释性强，但它的缺点是对于非线性问题无法处理。

2. 二次判别分析（Quadratic Discriminant Analysis, QDA）：QDA是LDA的一种扩展，它通过假设每个类别的样本来自于多元正态分布，但允许不同类别之间的协方差矩阵是不一样的。

这样，QDA可以处理协方差矩阵不同的情况，相比于LDA更加灵活，但计算复杂度较高。

3. 朴素贝叶斯分类器（Naive Bayes Classifier）：朴素贝叶斯分类器是一种基于贝叶斯定理的分类方法。

它假设每个类别的样本属性之间是相互独立的，通过计算后验概率，选择具有最大概率的类别作为待分类样本的类别。

朴素贝叶斯分类器计算简单、速度快，但它对于属性之间有依赖关系的问题效果较差。

4. 支持向量机（Support Vector Machine, SVM）：SVM是一种常用的判别分析方法，通过构建一个超平面，将不同类别的样本进行分类。

SVM的优点是能够处理非线性问题，且能够得到全局最优解。

但SVM计算复杂度较高，对于数据量较大的情况会有一定的挑战。

二维线性判别分析摘要线性判别分析（LDA）是一个常用的进行特征提取和降维的方法。

在许多涉及到高维数据，如人脸识别和图像检索的应用中被广泛使用。

经典的LDA方法固有的限制就是所谓的奇异性问题，即当所有的散列矩阵是奇异的时，它就不再适用了。

比较有名的解决奇异性问题的方法是在使用LDA方法之前先用主成分分析（PCA）对数据进行降维。

这个方法就叫做PCA+LDA，在人脸识别领域被广泛应用。

然而，由于涉及到散列矩阵的特征值分解，这个方法在时间和空间上都需要很高的成本。

在本文中，我们提出了一种新的LDA算法，叫做2D-LDA，即二维线性判别分析方法。

2D-LDA方法彻底解决了奇异性问题，并且具有很高的效率。

2D-LDA和经典LDA之间主要的区别在于数据表示模型。

经典LDA采用矢量表示数据，而2D-LDA使用矩阵表示数据。

我们对2D-LDA+LDA，即如何结合2D-LDA和经典LDA，在经典LDA之前使用2D-LDA进一步降维的问题进行了研究。

将本文提出的算法应用于人脸识别，并与PCA+LDA进行了比较。

实验表明：2D-LDA+LDA的方法识别更精确，并且效率更高。

1概述线性判别分析[2][4]是一个著名的特征提取和降维的方法。

已经被广泛应用于人脸识别[1]、图像检索[6]、微列阵数据分类[3]等应用中。

经典的LDA算法就是将数据投影到低维的向量空间，使类间距离和类内距离的比值最大化，从而得到最佳的分类效果。

最佳的投影方向可以通过散列矩阵的特征值分解计算得到。

经典LDA算法的一个限制是其目标函数的散列矩阵必须是奇异的。

对于许多应用了，如人脸识别，所有散列矩阵的问题都可以是奇异的，因为其数据都是高维的，并且通常矩阵的尺寸超过了数据点的额数目。

这就是所谓的“欠采样或奇异性问题[5]”。

近年来，许多用于解决这种高维、欠采样问题的方法被提出，包括伪逆LDA、PCA+LDA和正则LDA。

在文献[5]中可以了解更多细节。

机器学习：线性判别式分析（LDA）1.概述线性判别式分析（Linear Discriminant Analysis），简称为LDA。

也称为Fisher线性判别（Fisher Linear Discriminant，FLD），是模式识别的经典算法，在1996年由Belhumeur引⼊模式识别和⼈⼯智能领域。

基本思想是将⾼维的模式样本投影到最佳鉴别⽮量空间，以达到抽取分类信息和压缩特征空间维数的效果，投影后保证模式样本在新的⼦空间有最⼤的类间距离和最⼩的类内距离，即模式在该空间中有最佳的可分离性。

LDA与PCA都是常⽤的降维技术。

PCA主要是从特征的协⽅差⾓度，去找到⽐较好的投影⽅式。

LDA更多的是考虑了标注，即希望投影后不同类别之间数据点的距离更⼤，同⼀类别的数据点更紧凑。

但是LDA有两个假设:1.样本数据服从正态分布，2.各类得协⽅差相等。

虽然这些在实际中不⼀定满⾜，但是LDA被证明是⾮常有效的降维⽅法，其线性模型对于噪⾳的鲁棒性效果⽐较好，不容易过拟合。

2.图解说明(图⽚来⾃⽹络)可以看到两个类别，⼀个绿⾊类别，⼀个红⾊类别。

左图是两个类别的原始数据，现在要求将数据从⼆维降维到⼀维。

直接投影到x1轴或者x2轴，不同类别之间会有重复，导致分类效果下降。

右图映射到的直线就是⽤LDA⽅法计算得到的，可以看到，红⾊类别和绿⾊类别在映射之后之间的距离是最⼤的，⽽且每个类别内部点的离散程度是最⼩的（或者说聚集程度是最⼤的）。

3.图解LAD与PCA的区别(图⽚来⾃⽹络）两个类别，class1的点都是圆圈，class2的点都是⼗字。

图中有两条直线，斜率在1左右的这条直线是PCA选择的映射直线，斜率在 -1左右的这条直线是LDA选择的映射直线。

其余不在这两条直线上的点是原始数据点。

可以看到由于LDA考虑了“类别”这个信息（即标注），映射后，可以很好的将class1和class2的点区分开。

D与PCA的对⽐(1)PCA⽆需样本标签,属于⽆监督学习降维;LDA需要样本标签,属于有监督学习降维。

LDA
我们分类的目标是找到一个最优化的W，使得类别内的点距离 越近越好（集中），类别间的点越远越好。
分母表示每一个类别内的方差之和，方差越大表示一个类别内 的点越分散，分子为两个类别各自的中心点的距离的平方，我 们最大化J(w)就可以求出最优的w
LDA
定义：
（1）样本类内离散度矩阵Si和总类内离散度矩阵 S
70.4
8.25
69.1
9.03
71.9
8.48
70.5
9.42
73.5
8.85
72.2
经典Fisher线性判别分析方法
LDA
LDA
LDA
Sw奇异问题的解决方法： ● R-LDA ● PCA+LDA ● N-LDA ● D-LDA
R-LDA
由于Sw总是半正定的，为了使之正定，可以将另外一个正 定的对角矩阵与之相加，以两者之和代替Sw，即是：
线性判别分析（LDA）
基本思想
线性判别分析的基本思想是将高维的模式样本投影到最佳鉴 别矢量空间，即把高维空间中的数据点投影到一条直线上去，将 多维降为一维。并且要求投影后各样本的类间散布距离最大，同 时类内散布距离最小。
LDA 二分类问题公式推导
假设A和B为分类明确的两类症状。在总体A中观察了P例， 在总体B中观察了q例，每一例记录了n个指标，分别记为 x1,x2,…,xn。令y是n个指标的一个线性函数，即
D-LDA
D-LDA的基本思想从某种意义上来说和上述N-LDA思想相同，DLDA将SB的零空间null(SB )剔除，从剩余的非零空间range(SB )内寻找 使得此空间内数据集类内散布矩阵Sw′达到最小值得投影方向，选择此 投影方向为D-LDA所要寻求的最优投影方向。