Fisher判别分析原理详解

LDA线性判别分析LDA（Linear Discriminant Analysis），也被称为Fisher线性判别分析，是一种经典的统计模型和机器学习算法，常用于降维和模式识别任务。

LDA的目标是寻找一个线性变换，将高维数据投影到一个低维子空间上，使得在该子空间上的投影具有最优的数据分离性能。

换句话说，LDA希望找到投影方式，使得不同类别的数据在低维子空间上的投影显著分离，并且同一类别内部的数据尽可能地紧密聚集。

LDA的基本思想是通过计算类间离散度矩阵和类内离散度矩阵来得到最佳的投影方向。

类间离散度矩阵度量的是不同类别数据分布之间的差异，而类内离散度矩阵度量的是同一类别内部数据之间的差异。

LDA目标函数可以表示为J(w)=w^T*Sw*w/(w^T*Sb*w)，其中w是投影方向，Sw为类内离散度矩阵，Sb为类间离散度矩阵。

在实际应用中，我们需要先计算类内离散度矩阵Sw和类间离散度矩阵Sb，然后通过求解J(w)的最大值来得到最佳的投影方向w。

通常情况下，可以通过特征值分解或者广义特征值分解来求解最优的投影方向。

LDA的应用非常广泛，特别是在模式识别和计算机视觉领域。

它可以用于人脸识别、手写数字识别、垃圾邮件过滤等任务。

LDA的优点是在高维数据集中可以找到最优的投影方向，具有很好的数据分离性能。

而且LDA不需要事先假设数据分布的形式，适用于各种分布情况。

然而，LDA也存在一些限制。

首先，LDA假设数据满足多元正态分布，如果数据违反了该假设，那么LDA的判别性能可能会下降。

其次，LDA投影到的低维子空间的维度最多等于类别数减一，这可能导致信息丢失。

此外，当类别样本数量不平衡时，LDA的效果可能会受到影响。

为了克服LDA的局限性，人们提出了一些改进的方法。

例如，局部判别分析（Local Discriminant Analysis）可以在局部区域内构建LDA模型，适用于非线性可分的数据。

深度学习的发展也为LDA的改进提供了新的思路和方法，如稀疏表示LDA和核LDA等。

【线性判别】Fisher线性判别（转）今天读paper遇到了Fisher线性判别的变体，所以来学习⼀下，所以到时候⼀定要把PRMl刷⼀遍呀在前⽂《贝叶斯决策理论》中已经提到，很多情况下，准确地估计概率密度模型并⾮易事，在特征空间维数较⾼和样本数量较少的情况下尤为如此。

实际上，模式识别的⽬的是在特征空间中设法找到两类（或多类）的分类⾯，估计概率密度函数并不是我们的⽬的。

前⽂已经提到，正态分布情况下，贝叶斯决策的最优分类⾯是线性的或者是⼆次函数形式的，本⽂则着重讨论线性情况下的⼀类判别准则——Fisher判别准则。

为了避免陷⼊复杂的概率的计算，我们直接估计判别函数式中的参数（因为我们已经知道判别函数式是线性的）。

⾸先我们来回顾⼀下线性判别函数的基本概念：应⽤统计⽅法解决模式识别问题时，⼀再碰到的问题之⼀就是维数问题。

在低维空间⾥解析上或计算上⾏得通的⽅法，在⾼维空间⾥往往⾏不通。

因此，降低维数有时就会成为处理实际问题的关键。

问题描述：如何根据实际情况找到⼀条最好的、最易于分类的投影线，这就是Fisher判别⽅法所要解决的基本问题。

考虑把d维空间的样本投影到⼀条直线上，形成⼀维空间，即把维数压缩到⼀维。

然⽽，即使样本在d维空间⾥形成若⼲紧凑的互相分得开的集群，当把它们投影到⼀条直线上时，也可能会是⼏类样本混在⼀起⽽变得⽆法识别。

但是，在⼀般情况下，总可以找到某个⽅向，使在这个⽅向的直线上，样本的投影能分得开。

下图可能会更加直观⼀点：从d维空间到⼀维空间的⼀般数学变换⽅法：假设有⼀集合Г包含N个d维样本x1, x2, …, xN，其中N1个属于ω1类的样本记为⼦集Г1， N2个属于ω2类的样本记为⼦集Г2 。

若对xn的分量做线性组合可得标量：yn = wTxn, n=1,2,…,N这样便得到N个⼀维样本yn组成的集合，并可分为两个⼦集Г1’和Г2’ 。

实际上，w的值是⽆关紧要的，它仅是yn乘上⼀个⽐例因⼦，重要的是选择w的⽅向。

费歇尔判别法费歇尔判别法（Fisher's Discriminant Analysis）是一种统计学中的方法，用于寻找两个或多个分类变量中最能有效区分它们的线性组合。

这种方法最初是由英国统计学家罗纳德·费歇尔（Ronald A. Fisher）在1936年所提出。

费歇尔判别法的目标是通过将数据投影到低维空间来确定样本类别之间最明显的分离平面。

这个方法假设所有数据员来自正态分布，这使得它的结果具有很高的概率。

此外，这种方法特别适用于小样本数据，在这种情况下，其它多变量方法往往受到数据不足或对角线矩阵估计的影响。

费歇尔判别法通过将多维数据投影到一维空间上，找到最能表示数据差异的线性变量。

具体步骤如下：1. 定义问题在进行费歇尔判别分析之前，首先需要定义问题。

这个问题可以是不同的变量之间的分类问题，或者是同一变量在不同条件下的分类问题。

例如，可以通过费歇尔判别分析找到两个组的区别，这两个组的特征可以用来预测其他类似两个组。

2. 构造分类变量在对数据进行投影之前，需要将分类变量定义为正态分布。

这种变量通常为两个或更多个。

3. 计算均值和方差计算每个分类变量的均值和方差，以用于后面的投影计算。

4. 计算类内离散度矩阵类内离散度矩阵是指每个类别内所有点与该类别均值之间的距离的累加和。

这个矩阵用来衡量类的内部分散程度，通常使用矩阵的矩阵乘法来进行计算。

5. 计算类间离散度矩阵类间离散度矩阵是指不同类别均值之间的距离的累加和。

这个矩阵用来衡量类别之间的分散程度，也通常使用矩阵的矩阵乘法来进行计算。

6. 计算特征值和特征向量计算类内离散度矩阵和类间离散度矩阵的特征值和特— 1 —征向量。

这些值可以使用线性代数中的方法计算。

一般来说，特征向量是正交（perpendicular）的。

7. 选取最大特征值从计算出的特征值中找到最大特征值，找到最大特征值所对应的特征向量。

这个特征向量就是数据的主要方向，也被称为“判别变量”。

基于主成分分析与Fisher判别分析法的矿井突水水源识别方法一、概述矿井突水作为矿山生产过程中的一大安全隐患，其准确识别对于预防突水事故、保障矿山安全生产具有重要意义。

传统的矿井突水水源识别方法往往依赖于经验判断和单一的水质指标分析，这些方法不仅效率低下，而且识别准确率难以保证。

开发一种高效、准确的矿井突水水源识别方法成为当前矿山安全领域亟待解决的问题。

主成分分析（PCA）和Fisher判别分析法是两种常用的数据处理和模式识别方法，它们在不同的领域中都得到了广泛的应用。

PCA通过降维的方式将多个指标转化为少数几个综合指标，这些综合指标能够反映原来指标的大部分信息，且相互独立，避免了信息的重叠。

而Fisher判别分析法则是一种线性分类器，通过求解最优的权向量和阈值，将样本投影到一条直线上，然后选择一个阈值将两类分开。

这两种方法的结合，可以实现对矿井突水水源的高效、准确识别。

本文将详细介绍基于主成分分析与Fisher判别分析法的矿井突水水源识别方法。

通过PCA对矿井突水水源的多项指标进行降维处理，提取出主要的综合指标。

利用Fisher判别分析法对这些综合指标进行分类判别，从而实现对矿井突水水源的准确识别。

通过实例验证和对比分析，证明该方法的可行性和优越性，为矿山安全生产提供有力的技术支持。

1. 矿井突水问题的严重性及其对矿井安全生产的影响矿井突水问题一直是采矿行业面临的一项重大挑战，其严重性不容忽视。

突水事件往往伴随着大量的地下水涌入矿山坑道，使得施工条件变得极为复杂，采矿成本大幅上升。

更为严重的是，突水不仅影响正常的采矿生产，甚至可能导致淹井事故的发生，给矿山工程和人员安全带来严重威胁。

在突水事故发生时，大量水流的涌入使得井巷和矿山设备遭受淹没，进而造成人员伤亡和财产损失。

突水事件还会对采矿生产造成直接影响，导致产量减少，甚至使部分矿区因无法继续开采而报废，给矿山的经济效益和资源利用带来巨大损失。

fisher分割法比率什么是fisher分割法？Fisher分割法，也被称为Fisher判别分析（Fisher's Discriminant Analysis），是一种经典的统计学习方法，用于在多个类别的样本中进行分类。

它基于称为Fisher判别准则的理论，通过最大化类别之间的间隔和最小化类别内部的方差，实现对样本进行有效的分类。

步骤一：收集并准备数据首先，我们需要收集并准备用于训练和测试的数据。

这些数据应包含一些已知的类别标签，以便我们可以在分类过程中评估模型的准确性。

步骤二：计算类别的均值向量在Fisher分割法中，我们需要计算每个类别的均值向量。

均值向量描述了每个类别的中心位置。

通过计算每个类别中样本的平均值，我们可以得到均值向量。

步骤三：计算类别内离散度矩阵离散度矩阵用于描述类别内部的差异程度。

我们需要计算每个类别的离散度矩阵，并将它们加权求和。

离散度矩阵可以通过计算每个样本与其类别均值之间的差异矩阵，并对其进行累积来获得。

步骤四：计算类别间离散度矩阵除了类别内离散度矩阵之外，我们还需要计算类别间的离散度矩阵。

这个矩阵描述了不同类别之间的差异程度。

它可以通过计算不同类别均值之间的差异矩阵，并对其进行加权求和来得到。

步骤五：计算投影矩阵为了有效地将样本投影到低维空间中，我们需要计算投影矩阵。

投影矩阵是通过计算类别内离散度矩阵的逆矩阵与类别间离散度矩阵的乘积而得到的。

步骤六：选择最佳阈值最后，我们需要选择一个最佳的阈值，以便将样本投影到低维空间中，并根据阈值进行分类。

选择最佳阈值的方法有很多，常见的方法是使用最大化类别间距离和最小化类别内方差的准则。

总结：Fisher分割法是一种经典的统计学习方法，用于对多个类别的样本进行分类。

它通过最大化类别之间的间隔和最小化类别内部的方差来实现分类。

该方法包括数据收集和准备、计算类别的均值向量、计算类别内离散度矩阵、计算类别间离散度矩阵、计算投影矩阵和选择最佳阈值等步骤。

fisher得分法
Fisher得分法又称为Fisher线性判别分析法，是一种用于多元分类和数据降维的统计分析方法。

它是由英国统计学家R.A. Fisher于1936年提出的，用于解决二分类问题和多分类问题。

Fisher得分法的核心思想是要找到一个投影方向，使得经过此方向投影后，不同类别之间的距离尽量大，同类之间的距离尽量小。

这个方向可以用一个向量表示，称为Fisher判别向量或Fisher判别式。

Fisher得分法的具体步骤如下：
1. 计算每个类别的均值向量和协方差矩阵；
2. 计算总体的均值向量和总体协方差矩阵；
3. 求出Fisher判别向量，使得通过该向量进行投影后，不同类别之间的距离尽量大，同类之间的距离尽量小；
4. 根据Fisher判别向量，将样本进行投影，得到一维数据；
5. 根据投影得到的一维数据，进行分类。

在实际应用中，Fisher得分法经常被用于图像识别、模式识别、信号处理、数据降维等领域。

它的优点是能够最大程度地保留原始数据的信息，同时可以实现较好的分类效果。

但是，在统计样本数量较少时，Fisher得分法的效果可能会受到限制。