第四讲判别分析

判别分析导言判别分析是统计学中一种常用的数据分析方法，用于区分不同群体或类别之间的差异。

它通过寻找最佳的分类边界，帮助我们预测或判定未知样本的分类。

判别分析常用于模式识别、数据挖掘、生物学、医学等领域。

本文将介绍判别分析的基本概念、应用领域和算法。

一、判别分析的基本概念判别分析旨在通过构造合适的判别函数，将不同群体或类别的样本区分开来。

判别函数的建立是判别分析的核心任务，而判别函数的类型通常根据问题的特点来选择。

常见的判别函数有线性判别函数、二次判别函数、贝叶斯判别函数等。

判别分析的目标是使得样本在不同类别的判别函数值有较大差异。

二、判别分析的应用领域1. 模式识别判别分析在模式识别中的应用非常广泛。

通过判别分析，我们可以建立能够识别不同模式的模型。

例如，在人脸识别任务中，我们可以使用判别分析来建立一个分类器，能够将不同人脸的图像正确分类。

2. 数据挖掘在数据挖掘领域，判别分析可以帮助我们发现变量之间的关系，并进行预测。

通过对已有数据进行判别分析，我们可以预测未知样本的分类。

例如，在市场营销中，通过对消费者进行判别分析，我们可以预测消费者的购买行为，从而制定更精准的营销策略。

3. 生物学和医学判别分析在生物学和医学领域中也有广泛的应用。

例如，在癌症诊断中，通过对患者的临床数据进行判别分析，我们可以建立一个分类器，能够判断该患者是否患有癌症。

三、判别分析的算法判别分析的算法根据问题的特点和要求选择。

下面介绍两种常见的判别分析算法：1. 线性判别分析（LDA）线性判别分析是一种常见且简单的判别分析算法。

它的核心思想是通过将高维数据映射到低维空间中，使得不同类别的样本在投影空间中有较大的差异。

在LDA算法中，我们需要计算类内散度矩阵和类间散度矩阵，并求解其特征值和特征向量，从而确定投影向量。

2. 二次判别分析（QDA）二次判别分析是一种更为复杂的判别分析算法。

它假设不同类别的样本的协方差矩阵不相等，即每个类别内部的变化程度不同。

判别分析1.判别分析的适用条件(1)自变量和因变量间的关系符合线性假设。

(2)因变量的取值是独立的，且必须是事先就己经确定。

(3)自变量服从多元正态分布。

(4)所有自变量在各组间方差齐，协方差矩阵也相等。

(5)自变量间不存在多重共线性。

2.违背条件时的处理方法(1)当样本的多元正态分布假设不能满足的时候采取的措施和方法如下:<>如果数据的超平面是若干分段结构的话，采用分段判别分析。

<>如果数据满足方差和协方差的齐次性可以采用距离判别分析、经典判别分析、贝叶斯判别分析中的任何一种，因为此时三者是等价的，建议使用经典判别分析。

<>如果数据不满足方差和协方差的齐次性，则采用经典判别分析、非参数判别分析、距离判别分析，这些方法无此适用条件。

<>进行变量变换。

(2)方差和协方差的齐次性不能满足的时候可以采取的措施如下:<>增加样本，这有时可以使其影响减小。

<>慎重的进行变量变换。

<>采用经典判别分析、非参数判别分析、距离判别分析，这些方法无此适用条件。

<>在合乎总体实际情况的前提下，保证各个分组的样本量一样，判别分析中分组之间样本量一样可以带来以下几个好处:使得结果与方差齐次性假设不会偏离得太大;F检验时第二类错误(实际上为虚假的条件下正确的拒绝了原假设的概率)得到减小;使得均值更加容易比较和检验。

<>要是样本服从多元正态分布，采用二次判别，但是应该注意到二次判别分析没有计算判错率和统计检验的公式。

(3)存在多重共线性时可以采取的措施如下:<>增加样本量。

<>使用逐步判别分析。

<>采用岭判别分析。

<>对自变量进行主成分分析，用因子代替自变量进行判别分析。

<>通过相关矩阵结合实际的理论知识删去某些产生共线性的自变量。

显然，上述措施和线性回归中对共线性的处理方式是非常类似的。

判别分析判别分析是一种统计学方法，用于区分并分析不同组别之间的差异性。

它被广泛应用于各个领域，如医学、社会科学、运营管理等，以提供有关数据背后潜在关系的洞察。

判别分析的主要目标是通过输入变量对观测结果进行分类。

输入变量也被称为预测变量或自变量，而观测结果则被称为响应变量或因变量。

判别分析试图确定一组输入变量，这些变量在不同组别之间具有最大的差异性，并能够最好地将观测结果分类。

判别分析的基本原理是将观测结果（例如两个或多个不同的组别）映射到一个或多个输入变量的函数空间。

这个函数空间可以是线性的，也可以是非线性的。

通过对函数空间进行合理的选择和优化，判别分析能够实现对不同组别之间差异性的最大化。

判别分析的常见方法包括线性判别分析（LDA）、二元判别分析（BDA）和多元判别分析（MDA）。

线性判别分析试图找到一个线性函数，将不同组别之间的距离最大化，并将观测结果正确地分类。

而二元判别分析和多元判别分析则扩展了线性判别分析的范围，使其适用于更复杂的多类别问题。

判别分析在实践中有许多应用。

例如，在医学领域，判别分析可以用于将患者分为不同的疾病组别，以便更好地进行诊断和治疗。

在社会科学领域，判别分析可以帮助研究人员了解不同人群之间的差异，并对这些差异进行解释。

在运营管理领域，判别分析可以用于预测客户行为、市场细分等。

判别分析有其局限性和假设前提。

例如，判别分析假设输入变量是独立分布的，并且对方差具有相同的协方差矩阵。

此外，判别分析对异常值敏感，对于噪声和离群值的处理需要额外的注意。

总之，判别分析是一种强大的统计学方法，可用于识别和解释不同组别之间的差异性。

它在科学研究、医学诊断、市场调研等领域具有广泛的应用前景。

虽然判别分析有其限制和假设前提，但通过合理的数据处理和解释，可以充分利用判别分析的优势，提供有关数据背后潜在关系的深刻洞察。

判别分析判别分析（discriminant analysis）是一种分类技术。

它通过一个已知类别的“训练样本”来建立判别准则，并通过预测变量来为未知类别的数据进行分类。

判别分析的方法大体上有三类，即Fisher判别（线性判别）、Bayes判别和距离判别。

Fisher判别思想是投影降维，使多维问题简化为一维问题来处理。

选择一个适当的投影轴，使所有的样品点都投影到这个轴上得到一个投影值。

对这个投影轴的方向的要求是：使每一组内的投影值所形成的组内离差尽可能小，而不同组间的投影值所形成的类间离差尽可能大。

Bayes判别思想是根据先验概率求出后验概率，并依据后验概率分布作出统计推断。

距离判别思想是根据已知分类的数据计算各类别的重心，对未知分类的数据，计算它与各类重心的距离，与某个重心距离最近则归于该类。

接下来将通过例题展示不同的判别方法。

例1：在某市场抽取20种牌子的电视机中，5种畅销，8种平销，另外7种滞销。

按电视质量评分、功能评分和销售价格三项指标衡量，销售状态：1为畅销，2为平销，3为滞销。

数据集：d6.3> X=read.table("clipboard",header=T) #读取数据存入X中> plot(X$Q, X$C); #做横坐标为Q，纵坐标为C的散点图> text(X$Q, X$C, X$G,adj=-0.8,cex=0.75) #在上一句的散点图中为每个点加文本；Q,C,G表示依据Q和C加上G的文本名字；adj为调整文字与点距离的选项，+为向左，-为向右；cex为调整文字的大小；>plot(X$Q, X$P);text(X$Q, X$P, X$G,adj=-0.8,cex=0.75) #同上> plot(X$C, X$P);text(X$C, X$P, X$G,adj=-0.8,cex=0.75) #同上1.线性判别（等方差）R中线性判别和贝叶斯判别的函数为lda()。

判别分析discriminant analysis什么是判别分析)某些昆虫的性别只有通过解剖才能够判别)但雄性和雌性昆虫在若干体表度量上有些综合的差异。

人们就根据已知雌雄的昆虫体表度量（这些用作度量的变量亦称为预测变量）得到一个标准，并以此标准来判别其他未知性别的昆虫。

)这样虽非100%准确的判别至少大部分是对的，而且用不着杀生。

这就是判别分析判别分析利用已知类别的样本培训模型，为未知样本判类的一种统计方法。

它产生于本世纪30年代。

近年来，在自然科学、社会学及经济管理学科中都有广泛的应用。

判别分析的特点是根据已掌握的、历史上每个类别的若干样本的数据信息，总结出客观事物分类的规律性，建立判别公式和判别准则。

然后，当遇到新的样本点时，只要根据总结出来的判别公式和判别准则，就能判别该样本点所属的类别。

判别分析与聚类的区别)判别分析和聚类分析都是分类.)在聚类分析中，人们一般事先并不知道应该分成几类及哪几类，全根据数据确定。

)但在判别分析中，至少有一个已经明确知道类别的“训练样本”，并利用该样本来建立判别准则，并通过预测变量来为未知类别的观测值进行判别了。

)可以先聚类以得知类型,再进行判别.判别分析的前提假设)多元正态分布¾才可以精确计算显著性检验和分组归属的概率)各组案例的协方差阵相等¾这样就可以简单方便地计算判别函数并进行显著性检验)各组间均值有显著差异)不存在病态矩阵问题¾即每一个判别变量不能是其他变量的线性组合，变量间无高度相关无多重共线性问题)可通过判别前的描述统计量来分析判别分析的方法)距离判别法)典型判别(Fisher判别)法)逐步判别法)贝叶斯判别法（略）1. 根据距离判别的思想)示例数据有4个用来建立判别标准(或判别函数)的(预测)变量,另一个(group)是类别)每一个企业的打分在这4个变量所构成的4维空间中是一个点。

这个数据在4维空间有39个点已知其类别，可以用这些求得每个类型的中心。