判别分析

判别分析(discriminant analysis)什么是判别分析判别分析产生于20世纪30年代，是利用已知类别的样本建立判别模型，为未知类别的样本判别的一种统计方法。

近年来，判别分析在自然科学、社会学及经济管理学科中都有广泛的应用。

判别分析的特点是根据已掌握的、历史上每个类别的若干样本的数据信息，总结出客观事物分类的规律性，建立判别公式和判别准则。

当遇到新的样本点时，只要根据总结出来的判别公式和判别准则，就能判别该样本点所属的类别。

判别分析按照判别的组数来区分，可以分为两组判别分析和多组判别分析。

判别分析的方法判别分析(Discriminatory Analysis)的任务是根据已掌握的１批分类明确的样品，建立较好的判别函数，使产生错判的事例最少，进而对给定的1个新样品，判断它来自哪个总体。

根据资料的性质，分为定性资料的判别分析和定量资料的判别分析；采用不同的判别准则，又有费歇、贝叶斯、距离等判别方法。

费歇（FISHER）判别思想是投影，使多维问题简化为一维问题来处理。

选择一个适当的投影轴,使所有的样品点都投影到这个轴上得到一个投影值。

对这个投影轴的方向的要求是：使每一类内的投影值所形成的类内离差尽可能小，而不同类间的投影值所形成的类间离差尽可能大。

贝叶斯（BAYES）判别思想是根据先验概率求出后验概率，并依据后验概率分布作出统计推断。

所谓先验概率,就是用概率来描述人们事先对所研究的对象的认识的程度；所谓后验概率，就是根据具体资料、先验概率、特定的判别规则所计算出来的概率。

它是对先验概率修正后的结果。

距离判别思想是根据各样品与各母体之间的距离远近作出判别。

即根据资料建立关于各母体的距离判别函数式，将各样品数据逐一代入计算，得出各样品与各母体之间的距离值，判样品属于距离值最小的那个母体。

例：世界经济统计研究(1995年)人文指数反映国家综合水平人文发展指数是联合国开发计划署于1990年5月发表的第一份《人类发展报告》中公布的。

统计学中的判别分析判别分析是统计学中一种常见的分析方法，旨在通过将样本数据归类到一个或多个已知的类别中，来识别和描述不同类别之间的差异。

它在很多领域中都有广泛的应用，例如医学、市场调研、金融等。

本文将介绍判别分析的基本原理、常见的判别分析方法以及其在实际应用中的一些例子。

一、判别分析的原理判别分析的目标是构建一个判别函数，通过输入变量的值来判别或预测样本所属的类别。

它的核心思想是通过最大化类别间的差异和最小化类别内部的差异，来建立一个有效的分类模型。

判别分析的基本原理可以用以下步骤来描述：1. 收集样本数据，包括已知类别的样本和它们的属性值。

2. 对每个样本计算各个属性的平均值和方差。

3. 计算类别内部散布矩阵和类别间散布矩阵。

4. 根据散布矩阵计算特征值和特征向量。

5. 选择最具判别能力的特征值和特征向量作为判别函数的基础。

二、判别分析的方法判别分析有多种方法可以选择，常见的包括线性判别分析（Linear Discriminant Analysis，简称LDA）和二次判别分析（Quadratic Discriminant Analysis，简称QDA）。

1. 线性判别分析（LDA）线性判别分析假设每个类别的样本数据满足多元正态分布，并且各个类别的协方差矩阵相等。

它通过计算最佳投影方向，将多维属性值降低到一维或两维来实现分类。

LDA在分类问题中被广泛应用，并且在特征选择和降维方面也有一定的效果。

2. 二次判别分析（QDA）二次判别分析不同于LDA，它允许每个类别具有不同的协方差矩阵。

QDA通常适用于样本数据的协方差矩阵不相等或不满足多元正态分布的情况。

与LDA相比，QDA在处理非线性问题时可能更有优势。

三、判别分析的应用实例判别分析在多个领域中都有广泛的应用，下面列举了一些实际的例子。

1. 医学领域在医学中，判别分析可以帮助诊断疾病或判断病情。

例如，可以利用病人的临床数据（如血压、血糖等指标）进行判别分析，来预测是否患有某种疾病，或者判断疾病的严重程度。

统计学中的判别分析方法统计学是一门研究数据收集、分析和解释的学科，可以帮助我们更好地理解和利用数据。

判别分析是统计学中一种重要的方法，它可以用于解决分类问题和区分不同的群组。

本文将介绍判别分析的基本概念、应用场景以及常见的判别分析方法。

一、判别分析的基本概念判别分析（Discriminant Analysis）是一种用于确定某个变量（被称为判别变量）对于将不同个体或样本分组的有效性的方法。

在判别分析中，我们希望通过已有的数据集，找到一种线性或非线性的方式将不同类别的样本区分开来。

判别分析通常用于以下几个方面：1. 分类问题：当我们面对一个具有多个类别的问题时，判别分析可以帮助我们将样本分到不同的类别中。

2. 数据降维：判别分析可以将高维度的数据降低到较低维度，从而使数据更加易于理解和处理。

3. 特征选择：通过判别分析，我们可以确定哪些特征（自变量）对于区分不同类别的样本最具有判别性。

二、判别分析的应用场景判别分析在实际生活和各个领域中都有广泛的应用，下面列举几个常见的应用场景。

1. 医学诊断：判别分析可以通过分析病人的生理指标（如血压、心率等）来帮助确定病人是否患有某种疾病。

2. 金融风险评估：通过判别分析，可以将客户分为高风险和低风险群体，从而帮助金融机构评估和管理风险。

3. 文本分类：在自然语言处理领域，判别分析可以通过分析文本的特征来将文本分为不同类别，如情感分类、垃圾邮件分类等。

4. 面部识别：判别分析可以通过分析不同人脸特征的差异性来进行人脸识别，应用广泛于安防领域和人工智能领域。

三、常见的判别分析方法在统计学中，有多种判别分析方法可供选择，下面介绍两种常见的方法。

1. 线性判别分析（Linear Discriminant Analysis，简称LDA）：线性判别分析是一种常见且广泛使用的判别分析方法。

它通过将样本投影到低维空间来最大化类间的离散度，并最小化类内的离散度。

LDA假设不同类别的样本具有相同的协方差矩阵。

判别分析判别分析是用以判别个体所属群体的一种统计方法。

最常用的判别方法：距离判别法、Bayes 判别法、Fisher 判别法。

1、距离判别法最为直观，其想法简单自然，就是计算新样品x 到各组的距离，然后将该样品判为离它距离最近的那一组。

定义：设组π的均值为μ，协方差矩阵为∑，x 是一个样品(样本)，称()()μμπ-∑'-=-x x x d 1),(为x 到总体π的马氏距离或统计距离。

判别准则：不妨假设有k 组，记为k ππ...1，，均值分别为k μμ...1，，协方差矩阵分别为k ∑∑...,1，，若),(min ),(212i ki l x d x d ππ≤≤=，则判断x 来自第l 组。

注1：若k ∑==∑...1，上述准则可以化简，如果不确定是否相等，可两种情况都试试，那种规则误判概率小选哪种。

注2：实际中k μμ...1，以及k ∑∑...,1，均未知，用估计量代替。

2、Bayes 判别法(1)最大后验概率准则设有k 个组k ππ...1，，且组i π的概率密度为()x f i ，样品x 来自组i π的先验概率为,,...,1,k i p i =且.11=∑=ki i p 利用Bayes 理论，x 属于i π的后验概率(即当样品x 已知时，它属于i π的先验概率)为()().,...,2,1,)(1k i x f p x f p x P k j j j i i i ==∑=π最大后验概率法是采用如下的判别规则：()x P x P x l ji l l πππ≤≤=∈1max )(,若. (2)最小平均误判代价准则()()()()∑∑≠=≤≤≠==∈ki j j j j k i j k l j j j l j i c x f p j l c x f p x 111m i n ,若π，其中)(j i c 表示将来自j π的x 判为i π的代价。

例：设有321,,πππ三个组，欲判别某样品0x 属于何组，已知()()().4.2,63.0,10.0,30.0,65.0,05.0030201321======x f x f x f p p p 计算：()()004.04.230.063.065.010.005.010.005.0)(1111=⨯+⨯+⨯⨯==∑=k j j j x f p x f p x P π ()361.02=x P π()635.03=x P π假定误判代价矩阵为95.4110063.065.020010.005.0:305.36504.230.01010.005.0:239.51604.230.02063.065.0:1=⨯⨯+⨯⨯==⨯⨯+⨯⨯==⨯⨯+⨯⨯=l l l 3、Fisher 判别基本思想：先对原始数据进行降维，然后对新数据使用距离判别法进行判别。

判别分析导言判别分析是统计学中一种常用的数据分析方法，用于区分不同群体或类别之间的差异。

它通过寻找最佳的分类边界，帮助我们预测或判定未知样本的分类。

判别分析常用于模式识别、数据挖掘、生物学、医学等领域。

本文将介绍判别分析的基本概念、应用领域和算法。

一、判别分析的基本概念判别分析旨在通过构造合适的判别函数，将不同群体或类别的样本区分开来。

判别函数的建立是判别分析的核心任务，而判别函数的类型通常根据问题的特点来选择。

常见的判别函数有线性判别函数、二次判别函数、贝叶斯判别函数等。

判别分析的目标是使得样本在不同类别的判别函数值有较大差异。

二、判别分析的应用领域1. 模式识别判别分析在模式识别中的应用非常广泛。

通过判别分析，我们可以建立能够识别不同模式的模型。

例如，在人脸识别任务中，我们可以使用判别分析来建立一个分类器，能够将不同人脸的图像正确分类。

2. 数据挖掘在数据挖掘领域，判别分析可以帮助我们发现变量之间的关系，并进行预测。

通过对已有数据进行判别分析，我们可以预测未知样本的分类。

例如，在市场营销中，通过对消费者进行判别分析，我们可以预测消费者的购买行为，从而制定更精准的营销策略。

3. 生物学和医学判别分析在生物学和医学领域中也有广泛的应用。

例如，在癌症诊断中，通过对患者的临床数据进行判别分析，我们可以建立一个分类器，能够判断该患者是否患有癌症。

三、判别分析的算法判别分析的算法根据问题的特点和要求选择。

下面介绍两种常见的判别分析算法：1. 线性判别分析（LDA）线性判别分析是一种常见且简单的判别分析算法。

它的核心思想是通过将高维数据映射到低维空间中，使得不同类别的样本在投影空间中有较大的差异。

在LDA算法中，我们需要计算类内散度矩阵和类间散度矩阵，并求解其特征值和特征向量，从而确定投影向量。

2. 二次判别分析（QDA）二次判别分析是一种更为复杂的判别分析算法。

它假设不同类别的样本的协方差矩阵不相等，即每个类别内部的变化程度不同。

第六章判别分析§6.1 什么是判别分析判别分析是判别样品所属类型的一种统计方法，其应用之广可与回归分析媲美。

在生产、科研和日常生活中经常需要根据观测到的数据资料，对所研究的对象进行分类。

例如在经济学中，根据人均国民收入、人均工农业产值、人均消费水平等多种指标来判定一个国家的经济发展程度所属类型；在市场预测中，根据以往调查所得的种种指标，判别下季度产品是畅销、平常或滞销；在地质勘探中，根据岩石标本的多种特性来判别地层的地质年代，由采样分析出的多种成份来判别此地是有矿或无矿，是铜矿或铁矿等；在油田开发中，根据钻井的电测或化验数据，判别是否遇到油层、水层、干层或油水混合层；在农林害虫预报中，根据以往的虫情、多种气象因子来判别一个月后的虫情是大发生、中发生或正常；在体育运动中，判别某游泳运动员的“苗子”是适合练蛙泳、仰泳、还是自由泳等；在医疗诊断中，根据某人多种体验指标（如体温、血压、白血球等）来判别此人是有病还是无病。

总之，在实际问题中需要判别的问题几乎到处可见。

判别分析与聚类分析不同。

判别分析是在已知研究对象分成若干类型（或组别）并已取得各种类型的一批已知样品的观测数据，在此基础上根据某些准则建立判别式，然后对未知类型的样品进行判别分类。

对于聚类分析来说，一批给定样品要划分的类型事先并不知道，正需要通过聚类分析来给以确定类型的。

正因为如此，判别分析和聚类分析往往联合起来使用，例如判别分析是要求先知道各类总体情况才能判断新样品的归类，当总体分类不清楚时，可先用聚类分析对原来的一批样品进行分类，然后再用判别分析建立判别式以对新样品进行判别。

判别分析内容很丰富，方法很多。

判别分析按判别的组数来区分，有两组判别分析和多组判别分析；按区分不同总体的所用的数学模型来分，有线性判别和非线性判别；按判别时所处理的变量方法不同，有逐步判别和序贯判别等。

判别分析可以从不同角度提出的问题，因此有不同的判别准则，如马氏距离最小准则、Fisher准则、平均损失最小准则、最小平方准则、最大似然准则、最大概率准则等等，按判别准则的不同又提出多种判别方法。

判别分析是在分类确定的条件下，根据某一研究对象的各种特征值判别其类型归属问题的一种多元统计分析方法。

这个分类是根据经验和专业得出的，是已知的。

判别分析的目的十分明确：已知事物有n种类型，当得到一个新的样品数据，根据判别函数最终得出该样本归属于哪一类，因此建立最佳判别函数和判别规则就是判别分析的主要工作。

判别分析的因变量是分类变量，也就是已知的分类，自变量就是研究对象的各种特征，可以是任何尺度的变量(分类变量需要设为哑变量)。

根据判别中的组数，可以分为两组判别分析和多组判别分析；根据判别函数的形式，可以分为线性判别和非线性判别；根据判别式处理变量的方法不同，可以分为逐步判别、序贯判别等；根据判别准则不同，可以分为距离判别、Fisher判别、Bayes判别法等。

一、判别分析的基本原理设有k个总体G1，G2，G3...Gk，希望建立一个准则，使得对给定的任意一个样品x，通过这个准则就能判断它来自哪个总体，这个准则在某种意义下是最优的，如错判率最小或错判损失最小等。

判别分析的基本模型就是判别函数，判别函数的一般形式为Y为判别值X为自变量，也就是反映对象特征的变量a为变量系数，也就是判别系数，不同的判别方法会计算出不同的判别系数二、判别分析的基本步骤1.确定研究问题2.检查适用条件3.选择判别方法，建立判别模型4.验证判别模型5.应用判别模型三、判别分析的假设条件1.确定的分类至少是两个或两个以上2.各总体间存在显著差异，如各总体不存在显著差异则无法判别或误判几率很大。

2.变量间相互独立，不存在多重共线性3.各组变量的方差齐性，协方差矩阵相等4.自变量服从多元正态分布以上条件很难满足，但是判别分析比较稳健，轻度违反对结果并无太大影响。

三、常用判别分析方法1.距离判别属于最简单的判别方法，适用于自变量均为连续变量的情况，基本思想是：首先根据已知分类数据分别计算各类的质心(各类的均值)，判断的准则是对任意一个未知样品，如果它与某个质心距离最近，则认为它来自这个质心代表的分类。