用判别分析建立判别函数

统计学中的判别分析判别分析是统计学中一种常见的分析方法，旨在通过将样本数据归类到一个或多个已知的类别中，来识别和描述不同类别之间的差异。

它在很多领域中都有广泛的应用，例如医学、市场调研、金融等。

本文将介绍判别分析的基本原理、常见的判别分析方法以及其在实际应用中的一些例子。

一、判别分析的原理判别分析的目标是构建一个判别函数，通过输入变量的值来判别或预测样本所属的类别。

它的核心思想是通过最大化类别间的差异和最小化类别内部的差异，来建立一个有效的分类模型。

判别分析的基本原理可以用以下步骤来描述：1. 收集样本数据，包括已知类别的样本和它们的属性值。

2. 对每个样本计算各个属性的平均值和方差。

3. 计算类别内部散布矩阵和类别间散布矩阵。

4. 根据散布矩阵计算特征值和特征向量。

5. 选择最具判别能力的特征值和特征向量作为判别函数的基础。

二、判别分析的方法判别分析有多种方法可以选择，常见的包括线性判别分析（Linear Discriminant Analysis，简称LDA）和二次判别分析（Quadratic Discriminant Analysis，简称QDA）。

1. 线性判别分析（LDA）线性判别分析假设每个类别的样本数据满足多元正态分布，并且各个类别的协方差矩阵相等。

它通过计算最佳投影方向，将多维属性值降低到一维或两维来实现分类。

LDA在分类问题中被广泛应用，并且在特征选择和降维方面也有一定的效果。

2. 二次判别分析（QDA）二次判别分析不同于LDA，它允许每个类别具有不同的协方差矩阵。

QDA通常适用于样本数据的协方差矩阵不相等或不满足多元正态分布的情况。

与LDA相比，QDA在处理非线性问题时可能更有优势。

三、判别分析的应用实例判别分析在多个领域中都有广泛的应用，下面列举了一些实际的例子。

1. 医学领域在医学中，判别分析可以帮助诊断疾病或判断病情。

例如，可以利用病人的临床数据（如血压、血糖等指标）进行判别分析，来预测是否患有某种疾病，或者判断疾病的严重程度。

第二章2.1.试表达多元联合分布和边际分布之间的关系。

解：多元联合分布讨论多个随机变量联合到一起的概率分布状况，12(,,)p X X X X '=的联合分布密度函数是一个p 维的函数，而边际分布讨论是12(,,)p X X X X '=的子向量的概率分布，其概率密度函数的维数小于p 。

2.2设二维随机向量12()X X '服从二元正态分布，写出其联合分布。

解：设12()X X '的均值向量为()12μμ'=μ，协方差矩阵为21122212σσσσ⎛⎫ ⎪⎝⎭，则其联合分布密度函数为1/21222112112222122121()exp ()()2f σσσσσσσσ--⎧⎫⎛⎫⎛⎫⎪⎪'=---⎨⎬ ⎪⎪⎝⎭⎝⎭⎪⎪⎩⎭x x μx μ。

2.3已知随机向量12()X X '的联合密度函数为121212222[()()()()2()()](,)()()d c x a b a x c x a x c f x x b a d c --+-----=-- 其中1a x b ≤≤，2c x d ≤≤。

求〔1〕随机变量1X 和2X 的边缘密度函数、均值和方差； 〔2〕随机变量1X 和2X 的协方差和相关系数； 〔3〕判断1X 和2X 是否相互独立。

〔1〕解：随机变量1X 和2X 的边缘密度函数、均值和方差；112121222[()()()()2()()]()()()dx cd c x a b a x c x a x c f x dx b a d c --+-----=--⎰12212222222()()2[()()2()()]()()()()ddcc d c x a x b a x c x a x c dx b a d c b a d c -------=+----⎰12122222()()2[()2()]()()()()dd cc d c x a x b a t x a t dt b a d c b a d c ------=+----⎰2212122222()()[()2()]1()()()()d cdcd c x a x b a t x a t b a d c b a d c b a------=+=----- 所以由于1X 服从均匀分布，则均值为2b a +，方差为()212b a -。

判别分析判别分析又称“分辨法”，是在分类确定的条件下，根据某一研究对象的各种特征值判别其类型归属问题的一种多变量统计分析方法。

其基本原理是按照一定的判别准则，建立一个或多个判别函数，用研究对象的大量资料确定判别函数中的待定系数，并计算判别指标。

据此即可确定某一样本属于何类。

1：距离判别的判别准则和判别函数：设总体A 和B 的均值向量分别为1μ和2μ，协方差阵分别为1∑和2∑，今给一个样本x 要判断x 来自哪一个总体。

若协方差相同，即1212μμ∑∑∑≠==，计算x 到总体A 和B 的Mahalanobis 距离(,)d x A 和(,)d x B ，Mahalanobis 的计算有以下定义：定义5.1 设x 是从均值为μ，协方差为∑的总体A 中抽取的样本，则总体A 内两点x 与y 的Mahalanobis 距离（简称马氏距离）定义为：(,)d x y =定义样本x 与总体A 的Mahalanobis 距离为：(,)d x A =然后进行比较，若(,)(,)d x A d x B ≤，则判定x 属于A ;否则判定x 来自B 。

由此得到如下判别准则：,(,)(,),(,)(,)A d x A d x B x B d x A d x B ≤⎧∈⎨≥⎩令T 112()()()w x x μ∑μμ-=-- 称()w x 为两总体距离的判别函数，由此判别准则变为,()0,,()0.A w x x B w x ≥⎧∈⎨≤⎩在实际计算中，总体的均值和协方差阵都是未知的，由此总体的均值与协方差需要用样本的均值和协方差来代替，设1(1)(1)(1)12,,,nx x x ⋅⋅⋅是来自总体A 的1n 个样本点，2(2)(2)(2)12,,,n x x x ⋅⋅⋅是来自总体B 的2n 个样本,则样本的均值和协方差为 11ˆ,1,2in ii i j j iux x i n ====∑2()()()()T1211121211ˆ=()()()22in i i i i j ji j x x x x S S n n n n ==∑---++-+-∑∑ 其中()()()()T 1()(),1,2in i i i i i j j j S x x x x i ==--=∑对于待测样本x ，其判别函数定义为T 1(1)(2)ˆˆˆˆ()()()wx x x x x ∑-=-- 其中(1)(2)ˆˆˆ2x x x +=其判别准则为ˆ,()0,ˆ,()0.A wx x B wx ≥⎧∈⎨≤⎩ 2：若协方差不同，即1212μμ∑∑≠≠，对于样本x ，在方差不同的情况下，判别函数为 T -1T -1222111ˆˆ()()()()()W x x x x x μ∑μμ∑μ=----- 在实际计算中，总体的均值和协方差阵都是未知的，由此总体的均值与协方差需要用样本的均值和协方差来代替。

判别分析Discriminant analysis 概念判断样品所属类别的一种多元统计分析方法，根据一批分类明确的样品资料在若干判别指标上的观测值，建立一个关于指标的判别函数和判别法则，使得按此法则来判断这批样品归属类别的正确率达到最高，进而对给定的新样品判断其所属的类别总体。

步骤（1）收集训练样本在定义类别时，单个类内的样本个数不能太少;组的个数不应大于判别变量的个数。

（2）建立判别函数Y b0b1 X1b2 X2bp XP（3）估计判别函数判别准则a：组重心间的距离作为组间差异的标准(两组/方差相近）判别准则b：组间离差平方和/组内离差平方和(即判别函数已解释平方和/未解释平方和)（4）检验判别函数检验判别准则（判别准则的最大值）λ=已解释离差平方和/未解释离差平方和Wilks'Lambda，“反向”评价指标=1/(1+λ),未解释离差平方和/总离差平方和（5）检验判别变量可利用Wilks'Lambda对每个判别变量单独检验其判别能力。

对于显著性检验，可使用F检验代替卡方检验。

（6）将新元素分类分类距离判别法又称最近邻方法基本思想样品和哪个总体距离最近（重心），就判它属哪个总体考虑常涉及多个变量间有相关性且量纲不同--马氏距离适用条件分布无特定的要求，适用于任意分布的资料分类两类总体的判别（协方差矩阵相等/不相等）多类总体的判别判别效果一般要求错判率小于0.1或0.2才有应用的价值。

错判率的估计有训练样本(回代考核)和新样本(前瞻考核)两种方法。

Fisher判别又称典则判别基本思想基本思想是投影，即将k组p维数据投影到某一个方向，使得投影后组与组之间尽可能地分开.借鉴方差分析的思想，即要求投影点的类间离差与类内离差之比最大适用条件分布无特定的要求，适用于任意分布的资料核心步骤计算组间离差阵B和组内离差阵E求特征根和特征向量特征值Eigenvalue：组间平方和与组内平方和之比值；典则相关系数：是组间平方和与总平方和之比的平方根；变换式。

判别分析的基本思想总结判别分析（Discriminant Analysis）是一种经典的统计方法，主要用于分类。

其基本思想是根据已有的分类信息，通过建立一个判别函数，将不同类别的样本区分开来。

判别分析在模式识别、数据挖掘、生物统计学等领域都有广泛的应用。

判别分析的第一步是选择判别变量，也就是用来区分不同类别的特征。

判别变量可以是连续的，也可以是离散的。

在选择判别变量时，通常需要考虑两个因素：一是判别变量之间的相关性应尽可能小，二是判别变量之间与分类变量之间的相关性应尽可能大。

这两个因素可以通过相关系数矩阵和组间平均相关矩阵来进行评估。

判别分析的第二步是建立判别函数。

判别函数是一个数学模型，通过对判别变量进行线性组合，将不同类别的样本进行判断。

一般情况下，判别函数采用线性判别函数形式，即对判别变量进行加权求和。

对于二分类问题，判别函数可以表示为：D(x) = a0 + a1*x1 + a2*x2 + ... + am*xm其中，D(x)表示判别函数的输出值，x1, x2, ..., xm表示判别变量的取值，a0, a1, a2, ..., am表示判别函数的系数。

对于多分类问题，判别函数可以有多个（k个），每个判别函数都对应一个类别。

判别分析的第三步是确定判别函数的系数。

系数的确定可以通过最小化分类错误率来进行，也可以通过最大化类别间的距离来进行。

最小化分类错误率是一种常见的方法，即使得每个样本点的判别函数值与其真实类别之间的差距最小。

最大化类别间的距离是另一种方法，即使得不同类别之间的平均判别函数值差距最大。

判别分析的第四步是对新样本进行分类。

对于新样本，根据判别函数的取值，可以判断其属于哪个类别。

判别函数的取值越大，说明该样本属于该类别的可能性越大；判别函数的取值越小，说明该样本属于其他类别的可能性越大。

判别分析的优点是模型简单、计算效率高。

由于判别分析是一个线性模型，不需要复杂的计算过程和大量的参数估计。

根据已知分类数目、是否筛选变量和变量间是否共线性，判别分析可分为以下三类：多类别判别分析 不筛选变量逐步判别分析 它通过筛选变量，舍弃包含信息量少的变量，将能充分揭示各类之间判别的变量引入判别函数典则判别分析 对变量的共线性进行典则分析，从而寻求能最佳概括各类之间的差异变量判别分析的目的是要建立一个判别函数式。

建立判别函数式的法则主要有Fisher 判别准则和Bayes 判别准则，它们都是从“距离”这个概念出发建立判别函数式的，只不过定义距离的方法不同而已。

理论和实践都证明，Fisher 判别准则和Bayes 判别准则的效果是等价的。

Bayes 判别模型（一般模型）：一个有p 个变量的样本可以看做是p 维空间R 中的一个点，一组样本可以看作是R 中由若干个点组成的区域。

分析中，把R 空间划分成互不相交的t 个区域，且每个样本只能归属于其中一个区域，由此建立判别函数。

一个区域就代表样本的一类。

对于一个待判样本12(,,,)p X x x x =，根据判别函数找出它属于t 个区域中哪个区域的概率最大，就判别它属于概率大的那个区域所代表的类。

对于一个样本12(,,,)p X x x x =，假设来自各类的先验概率相等，则X 来自第j 类的后验概率的Bayes 公式为：1()()()j j k t tt q p x P j x q p x ==∑ （1）式中：()j p x 为第j 类p 个变量的多元正态分布密度，j q 为第j 类的先验概率，它也用已知样本的概率代替，即jj n q n = j ＝1，2，…，k式中：j n 为第j 类样本数，n 为样本总体。

（1） 式可转化为：22exp[0.5()]()exp[0.5()]j jkD x P j x SUM D x -=-∑ （2） 式中：2()D x 为广义平方（马氏）距离；2()j D x 为X 到第j 类的马氏距离。

X 的第j 类马氏距离为：212()(,)()j D x g X j g X =+式中：112(,)()()ln ;()2ln j j j j j g X j X X COV X X C OV g j q -=--+=-式中，X 是观测向量；X j 是j 类观测向量的均值；COV j 是j 类协方差的矩阵；1j COV -是j 类协方差矩阵的逆矩阵；j C OV 是j 类协方差矩阵的行列式。

第三次个人赛论文姓名代码：5化验检查诊断问题摘要本文针对化验检查诊断问题做了深入的研究，根据已经确诊的肾炎病人和正常人的化验结果各指标数据的分析，得知该问题是一类基于表明事物特点的变量值和它们所属的类，对未知所属类别的事物进行归类的问题。

对此，本文建立了判别函数模型对本问题进行讨论求解。

对于问题（1），本文采用Fisher判别法，通过SPSS分析已经确诊为肾炎病人和正常人的各指标数据，将人员认为两组（1肾炎患者，2正常人），以所有化验指标为自变量，建立典则判别函数方程，并用回代验证和交叉验证两种方法对判别函数进行了验证，两种验证方法得到的判对率分别为93.3%和91.7%，其中误判只发生在原本是正常人的身上。

对于问题（2），在问题（1）所建立的典则判别函数方程的基础上，代入待确诊的30名就诊人员各项指标的化验结果，求出判别得分和到两组投影质心的马氏距离，以距离最小为判据，计算出应在各组的概率，进而判断出他（她）们是否患有肾炎（见表2）。

对于问题（3），本文采用逐步判别法对已确诊为肾炎病人和正常人的各项指标数据进行分析，同样将人员认为两组（1肾炎患者，2正常人），逐个引入指标，分析各指标对判别结果的影响是否显著，同时剔除一些已经引入的不必要的指标，直到判别函数中没有不重要的指标自为止，最后得出影响人们患肾炎的主要因素是人体内Cu，Fe，Ca 含量，并以这三个指标为自变量建立新的判别函数方程，检验得其判对率为91.7%，误判也只发生在原本是正常人的身上。

对于问题（4），在问题（3）所建立的判别函数方程的基础上，代入待确诊的30名就诊人员各项指标的化验数据，求出判别得分和到各组质心的马氏距离，以距离最小为判据，计算出应在各组的概率，进而判断出他（她）们是否患有肾炎（见表3）。

最后，对模型的优缺点作了评价，并进行了简单的推广。

关键词： Fisher判别法；逐步判别法；马氏距离；肾炎诊断一、问题的提出和重述1.1问题的提出人们到医院就诊时，通常要化验一些指标来协助医生的诊断。

实验六判别分析（综合性实验 4学时）1、目的要求：熟练掌握判别分析的基本步骤，对给出的样本建立判别函数，进行判别分析。

2、实验内容：使用指定的数据按实验教材完成相关的操作。

3、主要仪器设备：计算机。

练习：1、为研究舒张期血压和血浆胆固醇对冠心病的作用，某医师测定了50—59岁冠心病人15例和正常人16例的舒张压和胆固醇指标，结果如下表所示。

试做判别分析，建立判别函数以便在临床中用于筛选在临床中用于筛选冠心病人。

操作步骤：Step1：读取数据文件。

其中，变量名“舒张压”、“胆固醇”代表两项指标值。

病人资料和正常人资料合并一同输入，定义变量名为“组别”的变量用于区分冠心病人资料和正常人资料，即冠心病人资料的“组别”值均为1，正常人资料的“组别”值均为2.Step2:选择“Analysis” →“Classify” →“Discriminant”命令，在“Discriminant Analysis”对话框中，选择“组别”变量进入“Grouping Variable”文本框；单击“Define Range”按钮，在“Minimum”文本框中输入1，在“Maximum”文本框中输入2，单击“Continue”按钮，返回主对话框。

Step3：选择变量“舒张压”和“胆固醇”移动到“Independents”列表框中，本例选择“Enterindependents together”判别方式作为判别分析的方法。

Step4：单击“Statistics”按钮，在“Descriptive”选项中选择“Mean”；在“Function Coefficients”选择“Unstandardized”。

单击“Continue”按钮，返回主对话框。

Step5：单击“Classify”按钮，在“Plot”选项组中选择“Combined-groups”选项，在“Display”选项组中选择“Casewise result”和“Summmary table”选项；单击“Continue”按钮，返回主对话框。