第六章 判别分析
§6.1 什么是判别分析
判别分析是判别样品所属类型的一种统计方法，其应用之广可与回归分析媲美。 在生产、科研和日常生活中经常需要根据观测到的数据资料，对所研究的对象进行分类。例如在经济学中，根据人均国民收入、人均工农业产值、人均消费水平等多种指标来判定一个国家的经济发展程度所属类型；在市场预测中，根据以往调查所得的种种指标，判别下季度产品是畅销、平常或滞销；在地质勘探中，根据岩石标本的多种特性来判别地层的地质年代，由采样分析出的多种成份来判别此地是有矿或无矿，是铜矿或铁矿等；在油田开发中，根据钻井的电测或化验数据，判别是否遇到油层、水层、干层或油水混合层；在农林害虫预报中，根据以往的虫情、多种气象因子来判别一个月后的虫情是大发生、中发生或正常； 在体育运动中，判别某游泳运动员的“苗子”是适合练蛙泳、仰泳、还是自由泳等；在医疗诊断中，根据某人多种体验指标（如体温、血压、白血球等）来判别此人是有病还是无病。总之，在实际问题中需要判别的问题几乎到处可见。
判别分析与聚类分析不同。判别分析是在已知研究对象分成若干类型（或组别）并已取得各种类型的一批已知样品的观测数据，在此基础上根据某些准则建立判别式，然后对未知类型的样品进行判别分类。对于聚类分析来说，一批给定样品要划分的类型事先并不知道，正需要通过聚类分析来给以确定类型的。
正因为如此，判别分析和聚类分析往往联合起来使用，例如判别分析是要求先知道各类总体情况才能判断新样品的归类，当总体分类不清楚时，可先用聚类分析对原来的一批样品进行分类，然后再用判别分析建立判别式以对新样品进行判别。
判别分析内容很丰富，方法很多。判别分析按判别的组数来区分，有两组判别分析和多组判别分析；按区分不同总体的所用的数学模型来分，有线性判别和非线性判别；按判别时所处理的变量方法不同，有逐步判别和序贯判别等。判别分析可以从不同角度提出的问题，因此有不同的判别准则，如马氏距离最小准则、Fisher 准则、平均损失最小准则、最小平方准则、最大似然准则、最大概率准则等等，按判别准则的不同又提出多种判别方法。本章仅介绍四种常用的判别方法即距离判别法、Fisher 判别法、Bayes 判别法和逐步判别法。
§6.2 距离判别法
基本思想：首先根据已知分类的数据，分别计算各类的重心即分组（类）的均值，判别准则是对任给的一次观测，若它与第i 类的重心距离最近，就认为它来自第i 类。
距离判别法，对各类（或总体）的分布，并无特定的要求。 1 两个总体的距离判别法
设有两个总体（或称两类）G 1、G 2，从第一个总体中抽取n 1个样品，从第二个总体中抽取n 2个样品，每个样品测量p 个指标如下页表。
今任取一个样品，实测指标值为),,(1'=p x x X ，问X 应判归为哪一类？
首先计算X 到G 1、G 2总体的距离，分别记为),(1G X D 和),(2G X D ，按距离最近准则
判别归类，则可写成：
??
?
??=>∈<∈)
,(),( ,),(),(,),(),(,21212211G X D G X D G X D G X D G X G X D G X D G X 当待判当当 G 1总体： G 2总体：
记2,1,),,()
()
(1)
(='=i x x X
i p i i
如果距离定义采用欧氏距离，则可计算出
1(,)D X G ==2(,)D X G ==
然后比较),(1G X D 和),(2G X D 大小，按距离最近准则判别归类。
由于马氏距离在多元统计分析中经常用到，这里针对马氏距离对上述准则做较详细的讨论。
设)1(μ、)2(μ，)1(∑、)2(∑分别为G 1、G 2的均值向量和协方差矩阵。如果距离定义采用马氏距离即
2,1)()()(),()(1)()(2=-∑'-=-i X X G X D i i i i μμ
这时判别准则可分以下两种情况给出： （1）当∑=∑=∑)2()1(时
考察),(22G X D 及),(12G X D 的差，就有：
)2(1)2()2(1112222),(),(μμμ-'--∑+∑'-∑'=-X X X X G X D G X D
]2[)1(1)1()1(11μμμ-'--∑+∑'-∑'-X X X
)()()(2)2()1(1)2()1()2()1(1μμμμμμ-∑'+--∑'=--X
)()(212)2()1(1)2()1(μμμμ-∑'
??
????+-=-X 令)(2
1)2()
1(μμμ+=
)()()()2()1(1μμμ-∑'-=-X X W
则判别准则可写成：
?
????==<<∈>>∈),(),(D 0)(
,),(),(D 0)(,),(),(D 0)(,122212
22212221G X D G X X W G X D G X X W G X G X D G X X W G X 即当待判即当即当 当
)
2()1(,,μμ∑已知时，令
),,()(1)2()1(1'
?-∑=-p a a a μμ则
????
??
?????
?--=-'='-=p p p x x a a X a a X X W μμμμ ),,()()()(1
11
)()(111p p p x a x a μμ-++-=
显然，W (X )是p x x ,,1 的线性函数，称W (X )为线性判别函数，a 为判别系数。
当)2()1(,,μμ∑未知时，可通过样本来估计。设)
()(2)(1,,,i n
i i i
X X X 来自G i 的样本，i =1,2。 ∑
===1
1)
1()1(1)
1(1
?n i i X X n μ ∑
===2
1
)
2()2(2
)
2(1?n i i X
X n μ
)(2
1
?2121S S n n +-+=∑
其中 ∑='--=
i
n t i i t i i t i X X X X
S 1
)()()()())((
)(2
1)2()
1(X X X +=
线性判别函数为：
)(?)()()2()1(1X X X X X W -∑
'-=- 当p =1时，若两个总体的分布分别为),(2
1σμN 和),(22σμN ，判别函数
)(1)2()(21221μμσ
μμ-??? ??
+-=X X W ，不妨设21μμ<，这时W(X)的符号取决于μ>X 或
μ
到的准则是颇为合理的。但从下图又可以看出，用这个判别法有时也会得出错判。如X 来
自G 1，但却落入D 2，被判为属G 2，错判的概率为图中阴影的面积，记为)1/2(P ，类似有
)2/1(P ，显然)1/2(P =)2/1(P =??
?
??-Φ-σμμ2121。
当两总体靠得很近（即|21μμ-|小）
，则无论用何种办法，错判概率都很大，这时作判别分
析是没有意义的。因此只有当两个总体的均值有显著差异时，作判别分析才有意义。
（2）当)2()1(∑≠∑时
按距离最近准则，类似地有：
??
?
??=>∈<∈)
,(),( ,),(),(,
),(),(,
21212211G X D G X D G X D G X D G X G X D G X D G X 当待判当当 仍然用),(),()(1222G X D G X D X W -=
)()()()2(1)2()2(μμ-∑'-=-X X )()()()1(1)1()1(μμ-∑'---X X
作为判别函数，它是X 的二次函数。
2 多个总体的距离判别法
类似两个总体的讨论推广到多个总体。
设有k 个总体G 1, …, G k ，它们的均值和协方差阵分别为k i i i ,,1,,)()( =∑μ，从每个总体G i 中抽取n i 个样品，i =1,…,k ，每个样品测p 个指标。今任取一个样品，实测指标值为
),,(1'=p x x X ，问X 应判归为哪一类？
G 1总体： … G k 总体：
记向量k i x x x X p i ,,1 ),,,(21)( ='=
（1）当∑=∑-=∑)()1(k 时
此时k ,1,i )()(),()(1)(2 =-∑'-=-i i i X X G X D μμ判别函数为：
)],(),([2
1
)(22i j ij G X D G X D X W -=
()
k ,1,j i, )(21)()(1)()( =-∑'
??
?
???+-=-j i j i X μμμμ
相应的判别准则为：
????
?=≠>∈0
)(W ,,0)(W ,ij ij X i
j X G X i 若有某一个待判对一切当 当)1()1(,,μμ ，∑未知时可用其估计量代替，设从G i 中抽取的样本为
k i X X i n i i
,,1,,,)()(1
=，则)(?i μ
，∑?的估计分别为 ∑====i
n a i a
i
i i k i X
n X
1
)()
()
(,,11? μ
课程：SAS判别分析 部门：创新业务部-徐宝莲 时间：2015/1/16 内容概要： 1、判别分析的简单介绍 2、一般判别分析——PROC DISCRIM 3、典型判别分析——PROC CANDISC 4、逐步判别分析——PROC STEPDISC 1、判别分析的简单介绍 判别分析是一种应用性很强的统计方法。它通常是根据已有的数据资料，来建立一种判别方法，然后再来判断一个新的样品归属哪一类。 判别分析的SAS过程所处理的数据集要求具有一个分类变量和若干个数值型变量。SAS 中进行判别分析的具体目标可以分为以下三条： 建立判别函数，以便用来判别某一新的观测值的所属类别； 寻找一组数值型变量的线性组合，使得其能够很好地反映各类别之间的差别； 筛选出某些能反映类别间差别的变量。 2、一般判别分析——PROC DISCRIM 2.1距离判别法 距离判别法是通过计算距离函数来进行判别，即样品与哪个总体之间的距离最近，则判
断它属于哪个总体。如何衡量样品与总体间的这种抽象的距离？我们一般利用马氏距离来描述。 对于两总体的情形，设和是两个P维总体，样品X到的距离为,样品X 到的距离为，则我们按照下面的准则对样本X进行判别归类： 1)若,则判定X属于； 2)若,则判定X属于； 3)若，则X有待于进一步判定。 2.2Bayes判别法 Bayes判别法是基于Bayes统计的思想，即假定事先对所研究的对象有一定的了解，并通过先验概率分布来进行描述，当抽取样本后，用样本来修正先验概率分布，并得到后验概率分布，然后根据后验概率分布进行各种统计推断。 Bayes判别法首先计算给定样品属于各个总体的条件概率，然后比较这些概率值的大小，将样品判归于条件概率最大的总体。 PROC DISCRIM DATA=数据集名<选项>； CLASS变量名列表； PRIORS概率值； BY 分组变量名； RUN; 语句说明：1）PROC DISCRIM 语句用来调用DISCRIM 过程。 DATA：此选项用于指定输入的“训练数据集”，即已知类别的若干样品所组成的数据集，一般的数据集和特殊类型的数据集均可以; TESTDATA：指定用于进行判别分析的检验数据集。
第六章 判别分析 §6.1 什么是判别分析 判别分析是判别样品所属类型的一种统计方法，其应用之广可与回归分析媲美。 在生产、科研和日常生活中经常需要根据观测到的数据资料，对所研究的对象进行分类。例如在经济学中，根据人均国民收入、人均工农业产值、人均消费水平等多种指标来判定一个国家的经济发展程度所属类型；在市场预测中，根据以往调查所得的种种指标，判别下季度产品是畅销、平常或滞销；在地质勘探中，根据岩石标本的多种特性来判别地层的地质年代，由采样分析出的多种成份来判别此地是有矿或无矿，是铜矿或铁矿等；在油田开发中，根据钻井的电测或化验数据，判别是否遇到油层、水层、干层或油水混合层；在农林害虫预报中，根据以往的虫情、多种气象因子来判别一个月后的虫情是大发生、中发生或正常； 在体育运动中，判别某游泳运动员的“苗子”是适合练蛙泳、仰泳、还是自由泳等；在医疗诊断中，根据某人多种体验指标（如体温、血压、白血球等）来判别此人是有病还是无病。总之，在实际问题中需要判别的问题几乎到处可见。 判别分析与聚类分析不同。判别分析是在已知研究对象分成若干类型（或组别）并已取得各种类型的一批已知样品的观测数据，在此基础上根据某些准则建立判别式，然后对未知类型的样品进行判别分类。对于聚类分析来说，一批给定样品要划分的类型事先并不知道，正需要通过聚类分析来给以确定类型的。 正因为如此，判别分析和聚类分析往往联合起来使用，例如判别分析是要求先知道各类总体情况才能判断新样品的归类，当总体分类不清楚时，可先用聚类分析对原来的一批样品进行分类，然后再用判别分析建立判别式以对新样品进行判别。 判别分析内容很丰富，方法很多。判别分析按判别的组数来区分，有两组判别分析和多组判别分析；按区分不同总体的所用的数学模型来分，有线性判别和非线性判别；按判别时所处理的变量方法不同，有逐步判别和序贯判别等。判别分析可以从不同角度提出的问题，因此有不同的判别准则，如马氏距离最小准则、Fisher 准则、平均损失最小准则、最小平方准则、最大似然准则、最大概率准则等等，按判别准则的不同又提出多种判别方法。本章仅介绍四种常用的判别方法即距离判别法、Fisher 判别法、Bayes 判别法和逐步判别法。 §6.2 距离判别法 基本思想：首先根据已知分类的数据，分别计算各类的重心即分组（类）的均值，判别准则是对任给的一次观测，若它与第i 类的重心距离最近，就认为它来自第i 类。 距离判别法，对各类（或总体）的分布，并无特定的要求。 1 两个总体的距离判别法 设有两个总体（或称两类）G 1、G 2，从第一个总体中抽取n 1个样品，从第二个总体中抽取n 2个样品，每个样品测量p 个指标如下页表。 今任取一个样品，实测指标值为),,(1'=p x x X ，问X 应判归为哪一类？ 首先计算X 到G 1、G 2总体的距离，分别记为),(1G X D 和),(2G X D ，按距离最近准则
Bayes 判别分析及应用 班级：计算B101姓名：孔维文 学号201009014119 指导老师：谭立云教授 【摘 要】判别分析是根据所研究个体的某些指标的观测值来推断该个体所属类型的一种统计方 法，在社会生产和科学研究上应用十分广泛。在判别分析之前，我们往往已对各总体有一定了解，样品的先验概率也对其预测起到一定作用，因此进行判别时应考虑到各个总体出现的先验概率；由于在实际问题中，样品错判后会造成一定损失，故判别时还要考虑到预报的先验概率及错判造成的损失，Bayes 判别就具有这些优点；然而当样品容量大时计算较复杂，故而常借助统计软件来实现。本文着重于Bayes 判别分析的应用以及SPSS 的实现。 【关键词 】 判别分析 Bayes 判别 Spss 实现 判别函数 判别准则 Class: calculation B101 name: KongWeiWen registration number 201009014119 Teacher: TanLiYun professor .【Abstract 】Discriminant analysis is based on the study of certain indicators of individual observations to infer that the individual belongs as a type of statistical methods in social production and scientific research is widely used. In discriminant analysis, we often have a certain understanding of the overall sample of the a priori probability of its prediction play a role, it should be taken into account to determine the overall emergence of various prior probability; because of practical problems, samples will result in some loss of miscarriage of justice, so identification must be considered when the prior probability and wrongly predicted loss, Bayes discriminant to have these advantages; However, when the sample is large computing capacity of more complex, often using statistical software Guer to achieve. This article focuses on the application of Bayes discriminant analysis, and implementation of SPSS. 【Key words 】 Discriminant analysis; Bayes discriminant; Spss achieve; Discriminant function; Criteria; 1.1.1 判别分析的概念 在科学研究中，经常会遇到这样的问题：某研究对象以某种方式（如先前的结果或经验）已划分成若干类型，而每一种类型都是用一些指标T p X X X X ),,(21 来表征的，即不同类型的X 的观测值在某种意义上有一定的差异。当得到一个新样品（或
多个总体距离判别法 及其应用 课程名： 年级： 专业： 姓名： 学号：
目录 一、摘要 (1) 二、引言 (1) 三、原理 (1) 3.1定义 (1) 3.2思想 (1) 3.3判别分析过程 (1) 四、具体应用 (3) 4.1判别分析在医学上的应用 (3) 4.2距离判别法在居民生活水平方面的应用 (9) 4.3判别分析软件的使用 (12) 五、参考文献 (14) 六、附录 (15)
一、 摘要 近年来随着信息化社会的进行，数据分析对我们来说日趋重要，为了对数据的分类进行判别，本文介绍了数据分类判别的一种方法：距离判别法。本文从多个总体距离判别法理论出发并结合例题详细介绍了多个总体距离判别法的在医学领域以及居民生活水平方面的应用，同时也简单介绍了spss 软件一般判别法的具体操作。 关键词： 距离判别法 判别分析 一般判别分析 二、 引言 随着科技的发展，判别分析在经济，医学等很多领域以及气候分类，农业区划，土地类型划分等有着重要的应用， 本文从多个总体距离判别分析理论出发，介绍了多个总体距离判别法在医学以及人民生活方面的应用，并介绍了spss 一般判别分析的应用。 三、 原理 3.1 定义 距离判别法：距离判别分析方法是判别样品所属类别的一应用性很强的多因素决方法，其中包括两个样本总体距离判别法，多个样本距离判别法。 多个总体距离判别法：多个总体距离判别法是距离判别法的一种，是两个总体距离判别法的推广，具有多个总体，将待测样本归为多个样本中的一类。 3.2 思想 计算待测样本与各总体之间的距离，将待测样本归为与其距离最进的一类。 3.3 判别分析过程 对于k 个总体k 21G G G ?， ，，假设其均值分别为：k 21u u u ，，，?，协方差阵
两类正态分布模式的贝叶斯判别 硕633 3106036072 赵杜娟 一.实验目的 1．理解贝叶斯判别原则，编写两类正态分布模式的贝叶斯分类程序； 2．了解正态分布模式的贝叶斯分类判别函数； 3．通过实验，统计贝叶斯判别的正确率。 二.实验原理 （1）贝叶斯判别原则 对于两类模式集的分类，就是要确定x 是属于1ω类还是2ω类，这要看x 来自1ω类的概率大还是来自2ω类的概率大，根据概率的判别规则，可以得到： 如果)|()|(21x P x P ωω> 则 1ω∈x 如果)|()|(21x P x P ωω< 则 2ω∈x （1.1） 利用贝叶斯定理，可得 ) () ()|()|(x p P x p x P i i i ωωω= 式中，)|(i x p ω亦称似然函数。把该式代入（1.1）式，判别规则可表示为： )()|()()|(2211ωωωωP x p P x p > 则 1ω∈x )()|()()|(2211ωωωωP x p P x p < 则 2ω∈x 或写成： ) () ()|()|()(122112ωωωωP P x p x p x l > = 则 1ω∈x ) () ()|()|()(122112ωωωωP P x p x p x l < = 则 2ω∈x （1.2） 这里，12l 称为似然比，2112)()(θωω=P P 称为似然比的判决阈值。该式称为贝 叶斯判别。
（2）正态分布模式的贝叶斯分类器判别原理 具有M 种模式类别的多变量正态分布的概率密度函数为： )]()(2 1 exp[) 2(1)|(12 1 2 i i T i i n i m x C m x C x P ---= -πω 2,1=i （1.3） 式中，x 是n 维列向量； i m 是n 维均值向量； i C 是n n ?协方差矩阵；i C 为矩 阵i C 的行列式。且有 {}i i m E x =； ()() { }T i i i i m x m x E C --=；{}i E x 表示对类 别属于i ω的模式作数学期望运算。 可见，均值向量i m 由n 个分量组成，协方差矩阵i C 由于其对称性故其独立元素只有 2)1(+n n 个，所以多元正态密度函数完全由2 ) 1(++n n n 个独立元素所确定。取自一个正态总体的样本模式的分布是聚集于一个集群之内，其中心决定于均值向量，而其分布形状决定于其协方差矩阵，分布的等密度点的轨迹为超椭圆，椭圆的主轴与协方差矩阵的本征向量的方向一致，主轴的长度与相应的协方差矩阵的本征值成正比。 类别的判别函数可表示为：)()|()(i i i P x P x d ωω= 对于正态密度函数，可对判别函数取自然对数，即： )(ln )]|(ln[)(i i i P x P x d ωω+= 将（1.3）代入上式，简化后可以得到： {})()(2 1 ln 21)(ln )(1i i T i i i i m x C m x C P x d ----=-ω 这是正态分布模式的贝叶斯判别函数。显然，上式表明)(x d i 是超二次曲面，所以对于两类正态分布模式的贝叶斯分类器，两个模式类别之间用一个二次判别界面分开，就可以求得最优的分类效果。 对于两类问题，判别界面方程为：()()120d x d x -= 即：)()|(11ωωP x P 0)()|(22=-ωωP x P 判别条件为： 如果0)()(21>-x d x d ， 则1ω∈x 如果0)()(21≤-x d x d ， 则2ω∈x
判别分析（Discriminant Analysis） 一、概述： 判别问题又称识别问题，或者归类问题。 判别分析是由Pearson于1921年提出，1936年由Fisher首先提出根据不同类别所提取的特征变量来定量的建立待判样品归属于哪一个已知类别的数学模型。 根据对训练样本的观测值建立判别函数，借助判别函数式判断未知类别的个体。 所谓训练样本由已知明确类别的个体组成，并且都完整准确地测量个体的有关的判别变量。 训练样本的要求：类别明确，测量指标完整准确。一般样本含量不宜过小，但不能为追求样本含量而牺牲类别的准确，如果类别不可靠、测量值不准确，即使样本含量再大，任何统计方法语法弥补这一缺陷。 判别分析的类别很多，常用的有：适用于定性指标或计数资料的有最大似然法、训练迭代法；适用于定量指标或计量资料的有：Fisher二类判别、Bayers多类判别以及逐步判别。半定量指标界于二者之间，可根据不同情况分别采用以上方法。 类别（有的称之为总体，但应与population的区别）的含义——具有相同属性或者特征指标的个体（有的人称之为样品）的集合。如何来表征相同属性、相同的特征指标呢？ 同一类别的个体之间距离小，不同总体的样本之间距离大。 距离是一个原则性的定义，只要满足对称性、非负性和三角不等式的函数就可以称为距 绝对距离 马氏距离：（Manhattan distance） 设有两个个体（点）X与Y（假定为一维数据，即在数轴上）是来自均数为μ，协方差阵为∑的总体（类别）A的两个个体（点），则个体X与Y的马氏距离为 （，）X与总体（类别）A的距离D X Y= （，） 为D X A= 明考斯基距离（Minkowski distance）:明科夫斯基距离 欧几里德距离（欧氏距离） 二、Fisher两类判别 一、训练样本的测量值 A类训练样本
1. 办公室新来了一个雇员小王，小王是好人还是 坏人大家都在猜测。按人们主观意识，一个人是好人或坏人的概率均为0.5。坏人总是要做坏事，好人总是做好事，偶尔也会做一件坏事，一般好人做好事的概率为0.9，坏人做好事的概率为0.2，一天，小王做了一件好事，小王是好人的概率有多大，你现在把小王判为何种人。 解：A ：小王是个好人 a ：小王做好事 B ：小王是个坏人 B ：小王做坏事 ()(/)(/)()(/)()(/)P A P a A P A a P A P a A P B P a B = +0.5*0.9 0.820.5*0.90.5*0.2==+ ()(/)0.5*0.2 (/)()(/)()(/)0.5*0.90.5*0.2 P B P a B P B b P A P a A P B P a B = =++=0.18 0.82>0.18 所以小王是个好人、 2. 设 m = 1,k = 2 ，X 1 ~ N (0,1) ，X 2 ~ N (3,2 2 ) ，试就C(2 | 1) = 1，C(1 | 2) = 1，且不考虑先验概率的情况下判别样品
2，1 属于哪个总体，并求出 R = (R1, R2 ) 。 解： 2222 121/821 ()()/}1,2 21(2)(20)}0.05421(2)(23)/4}0.176 2i i i P x x i P P μσ--= --== --===--== 由于1(2)P <2(2)P ，所以2属于2π 21/2 121/221(1)(10)}0.242 21(1)(13)/4}0.120 2P P --= --===--== 1(1)P >2(1)P ，所以1属于1π 由 1()P x 22211 }()(3)/4}22x P x x -==-- 即221 exp{}2x -=21exp{(69)}8 x x --+ 2211 ln 2(69)28 x x x -=--+ 解得 1 x =1.42 2 x =-3.14.所以 R=([-3.41,1.42],(-∞,-3.41)U(1.42,+∞)). 3.已知1π，2π的先验分布分别为1q =3 5,2q =25 ,C(2|1)=1，C(1|2)=1，且 11,01()2,120,x x f P x x x <≤??==-<≤???其他 22 (1)/4,13()(5)/4,350,x x f P x x x -<≤?? ==-<≤??? 其他 使判别1x = 95 ，2x =2所属总体。 解：1p (9/5)=2-9/5=1/5 1p (2)=2-2=0 2p (9/5)=(9/5-1)/4=1/5
例：人文与发展指数是联合国开发计划署于1990年5月发表的第一份《人类发展报告》中公布的。该报告建议，目前对人文发展的衡量指标应当以人生的三大要素为重点。衡量人生的三大要素的指标分别为：实际人均GDP指数、出生时的预期寿命指数、受教育程度指数（由成人识字率指数和综合总人学率指数按2/3、1/3的权重加权而得），将一生三个指数合成为一个指数就是人文发展指数。今从2007年世界各国人文发展指数（2005年）的排序中，选取高发展水平、中等发展水平和低发展水平国家各6个作为三组样品，另选四个国家作为待判样品，资料如下表所示。试用判别分析过程对以下数据资料进行判别分析，并据此对待选的四个国家进行判别归类。
data develop; input type gdp life rate zhrate@@; cards; 1 41890 77.9 99.5 93.3 1 29461 79.1 99. 2 88 1 23381 78.9 96 99 1 29663 79.4 92.5 87.3 1 28529 80.3 98.4 90.6 1 22029 77.9 99 96 2 6000 77.7 99.8 87.6 2 9060 71.9 97. 3 76.8 2 8402 71.7 88.6 87.5 2 8677 69.6 92.6 71.2 2 5137 71 92.6 81.1 2 8407 71.4 87.4 68.7 3 1550 62.6 48.6 58.1 3 1128 46.5 69.1 56.2 3 2299 49.8 67.9 62.3 3 2370 64.6 49.9 40 3 3071 73.7 90.3 63.9 3 3843 69.7 90. 4 68.2 . 31267 82.3 99 85.9 . 3452 63.7 61 63.8 . 6757 72.5 90.9 69.1 . 11110 50.8 82.4 77 ; proc discrim simple wcov distance list;/*simple:要求技术各类样品的简单描述统计量；选项WCOV要求计算类内协方差阵；选项DISTANCE要求计算马氏距离；选项LIST要求输出重复替换归类结果。由于没有给出方法选项，所以系统按缺省时的正态分布进行有关参数的估计和归类。*/ class type; var gdp life rate zhrate; run; proc discrim pool=test slpool=0.05list; /*simple: */ class type; priors'1'=0.3'2'=0.4'3'=0.3 ; run; proc discrim method=npar k=2list; /*simple: */ class type; run; proc candisc out=result ncan=2; /*simple: */
判别分析的基本原理
判别分析的基本原理和模型 一、判别分析概述 （一）什么是判别分析 判别分析是多元统计中用于判别样品所属类型的一种统计分析方法，是一种在已知研究对象用某种方法已经分成若干类的情况下，确定新的样品属于哪一类的多元统计分析方法。 判别分析方法处理问题时，通常要给出用来衡量新样品与各已知组别的接近程度的指标，即判别函数，同时也指定一种判别准则，借以判定新样品的归属。所谓判别准则是用于衡量新样品与各已知组别接近程度的理论依据和方法准则。常用的有，距离准则、Fisher 准则、贝叶斯准则等。判别准则可以是统计性的，如决定新样品所属类别时用到数理统计的显著性检验，也可以是确定性的，如决定样品归属时，只考虑判别函数值的大小。判别函数是指基于一定的判别准则计算出的用于衡量新样品与各已知组别接近程度的函数式或描述指标。 （二）判别分析的种类 按照判别组数划分有两组判别分析和多组判别分析；按照区分不同总体的所用数学模型来分有线性判别分析和非线性判别分析；按照处理变量的方法不同有逐步判别、序贯判别等；按照判别准则来分有距离准则、费舍准则与贝叶斯判别准则。 二、判别分析方法 （一）距离判别法 １．基本思想：首先根据已知分类的数据，分别计算各类的重心，即分组（类）均值，距离判别准则是对于任给一新样品的观测值，若它与第i 类的重心距离最近，就认为它来自第i 类。因此，距离判别法又称为最邻近方法（nearest neighbor method ）。距离判别法对各类总体的分布没有特定的要求，适用于任意分布的资料。 ２．两组距离判别 两组距离判别的基本原理。设有两组总体B A G G 和，相应抽出样品个数为21,n n ， n n n =+)(21，每个样品观测p 个指标得观测数据如下，
§5.2Bayes 判别 1. Bayes 判别的基本思想 假设已知对象的先验概率和“先验条件概率”, 而后得到后验概率, 由后验概率作出判别. 2. 两个总体的Bayes 判别 (1) 基本推导 设概率密度为1()f x 和2()f x 的p 维总体12,G G 出现的先验概率为
1122(),()p P G p P G ==(121p p +=) 先验概率的取法: (i) 121 2 p p == , (ii) 12 121212 ,n n p p n n n n ==++, 一个判别法 = 一个划分=12(,)R R =R 1212,,p R R R R =?=?=?R 距离判别中
112212{|(,)(,)} {|(,)(,)} R d G d G R d G d G =≤=>x x x x x x 判别R 下的误判情况讨论 2 1(2|1,)()d R P f =?R x x , 或 1 2(1|2,)()d R P f =?R x x 代价分别记为 (2|1),(1|2),(1|1)0,(2|2)0c c c c ==,
在得新x 后, 后验概率为 1111122() (|)()()p f P G p f p f = +x x x x 2221122() (|)()() p f P G p f p f = +x x x x (i) 当(1|2)(2|1)c c c ==时, 最优划分是 112212{:(|)(|)} {:(|)(|))} R P G P G R P G P G =≥?? =
spss进行判别分析步骤1．Discriminant Analysis判别分析主对话框 图1-1 Discriminant Analysis 主对话框
（1）选择分类变量及其范围 在主对话框中左面的矩形框中选择表明已知的观测量所属类别的变量(一定是离散变量)， 按上面的一个向右的箭头按钮，使该变量名移到右面的Grouping Variable 框中。 此时矩形框下面的Define Range 按钮加亮，按该按钮屏幕显示一个小对话框如图1-2 所示，供指定该分类变量的数值范围。 图1-2 Define Range 对话框 在Minimum 框中输入该分类变量的最小值在Maximum 框中输入该分类变量的最大值。按Continue 按钮返回主对话框。 (2)指定判别分析的自变量 图1-3 展开Selection Variable 对话框的主对话框 在主对话框的左面的变量表中选择表明观测量特征的变量，按下面箭头按钮。
把选中的变量移到Independents 矩形框中，作为参与判别分析的变量。（3）选择观测量 图1-4 Set Value 子对话框 如果希望使用一部分观测量进行判别函数的推导而且有一个变量的某个值可以作为这些观测量的标识， 则用Select 功能进行选择，操作方法是单击Select 按钮展开Selection Variable。选择框如图1-3 所示。 并从变量列表框中选择变量移入该框中再单击Selection Variable 选择框右侧的Value按钮， 展开Set Value(子对话框)对话框，如图1-4 所示，键入标识参与分析的观测量所具有的该变量值， 一般均使用数据文件中的所有合法观测量此步骤可以省略。 （4）选择分析方法
距离判别 一、实验目的和要求 掌握距离判别分析的理论与方法、模型的建立与误差率估计；掌握利用判别分析的SAS 过程解决有关实际问题. 实验要求:编写程序，结果分析． 实验容： 要求:1题必做,2,3,4题可选1-2题 1.写出几种距离公式,两总体距离判别准则; 一．几种距离公式： 1． 欧氏距离 2 121] )([),(jk ik p k j i x x d -=∑=x x 2． 绝对距离 ∑=-=p k jk ik j i x x d 1 ),(x x 3． Minkowski 距离 m p k m jk ik j i x x d 11 ]||[),(∑=-=x x 其中1≥m ．Minkowski 距离又称m L 距离，2L 距离即欧氏距离，1L 距离即绝对距离． 4． Chebyshev 距离 jk ik p k j i x x d -=≤≤1m ax ),(x x Chebyshev 距离是Minkowski 距离当+∞→m 时的极限． 以上距离与各变量的量纲有关．为消除量纲的影响，可对数据进行标准化，然后用标准化数据计算距离．标准化数据即 p k n i s x x x k k ik ik ,...,2,1;,...,2,1,* ==-= 其中∑∑==--==n i n i k ik k ik k x x n s x n x 11 22 )(11,1. 5． 方差加权距离 2 112 2 ])([),(∑ =-=p k k jk ik j i s x x d x x 易证，标准化数据* ik x 的欧氏距离既是方差加权距离． 6． 马氏距离
2 11 )]()),(j i T j i j i d x x S x [(x x x --=- 其中S 是由样品n x x x ,...,,21算得的样本协方差矩阵： ∑=---=n i T i i n 1 ))((11x x x x S ， 其中.11 ∑==n i i n x x 令nxn ij j i ij d D d d )(),,(==x x 形成n 个样品n x x x ,...,,21两两之间的距离矩阵 ? ???? ???????=0002 1 221 112 n n n n d d d d d d D 其中ij d =ji d 二．两个总体的距离判别准则 1．距离判别准则 21,G G 为两个p 维已知总体，均值向量21,μμ, 协方差矩阵21,ΣΣ， T p x x x ),,,(21 =x 为待判样品，距离判别准则为 ?? ?>∈≤∈) ()(, ) ()(,121221G x,G x,G x G x,G x,G x d d d d 若若 (5.1) 说明：马氏距离思想——极大似然思想 一般p 维总体,),(~),,(~2211ΣμΣμp p N G N G ,协方差矩阵同为Σ,概率密度为 ??????-∑--∑ =-)()(21exp )2(11112 12 1μx μx T p f π ? ?????-∑--∑ = -)()(21exp )2(12122 12 2μx μx T p f π 则 )()(21G x,G x,d d ≤ ?)()()()(212111μx μx μx μx -∑-≤-∑---T T )()(21x x f f ≥? 距离判别准则转化为 ??? ???? <∈≥∈1)()(,1)()(,21221x x G x x x G x 1f f f f 若若 与似然比准则一致． 2．ΣΣΣ==21情形
典型判别分析与贝叶斯判别的区别 1.原理不同 典型判别是根据方差分析思想，进行投影，将原来一个维度空间的自变量组合投影到另一维度空间，寻找一个由原始变量组成的线性函数使得组间差异和组内差异的比值最大化。根据样本点计算判别函数，计算判别函数到各类中心的欧式距离，取距离最小的类别。 贝叶斯判别是是利用已知的先验概率去推证将要发生的后验概率，就是计算每个样本的后验概率及其判错率，用最大后验概率来划分样本的分类并使得期望损失达到最小 2.前提条件不同 典型判别不考虑样本的具体分布，只求组间差异和组内差异的比值最大化 贝叶斯判别从样本的多元分布出发，充分利用多元正态分布的概率密度提供的信息计算后验概率，因此需要样本数据服从多元正态分布，方差齐性等。 3.产生的判别函数不同 典型判别根据K类最多产生K-1个判别函数 贝叶斯判别根据K类最多可产生K个判别函数 先验概率在判别分析中的作用 1.所谓先验概率，就是用概率来描述人们事先对所研究的对象的认识的程度，是根据以往经验和分析得到的概率。所谓后验概率，就是根据具体资料、先验概率、特定的判别规则所计算出来的概率。它是对先验概率修正后的结果，它是更接近于实际情况的概率估计。贝叶斯（BAYES）判别思想是根据先验概率求出后验概率，并依据后验概率分布作出统计推断 2.样品的先验概率对预测有一定的作用，反应样本分布的总体趋向性。被判断的个案应该属于先验概率最大总体的概率应该高一些，贝叶斯考虑了先验概率的影响提高判别的敏感度，同时利用先验概率可以求出后验概率（基于平均损失函数）和误判率，从而进行判别分析，充分利用数据的概率密度分布，判别效率高。样品归于概率大的类别。 3.这样使误判平均损失最小。既考虑到不同总体出现机会的差异、各错误判断造成损失的不同，又充分尊重了每个总体的分布状态 判别准则的评价 刀切法：基本思想是每次剔除训练样本中的一个样本，利用其余容量的训练样本建立判别函数，再用所建立的判别函数对删除的那个样本做判别，对训练样本中的每个样品重复上述步骤，已其误判的比例作为误判概率的估计。 判别分析结果 Eigenvalues a First 2 canonical discriminant functions were used in the analysis. 1．判别函数的特征根，方差百分比，累计方差百分比
判别分析实例汇总
例：人文与发展指数是联合国开发计划署于1990年5月发表的第一份《人类发展报告》中公布的。该报告建议，目前对人文发展的衡量指标应当以人生的三大要素为重点。衡量人生的三大要素的指标分别为：实际人均GDP指数、出生时的预期寿命指数、受教育程度指数（由成人识字率指数和综合总人学率指数按2/3、1/3的权重加权而得），将一生三个指数合成为一个指数就是人文发展指数。今从2007年世界各国人文发展指数（2005年）的排序中，选取高发展水平、中等发展水平和低发展水平国家各6个作为三组样品，另选四个国家作为待判样品，资料如下表所示。试用判别分析过程对以下数据资料进行判别分析，并据此对待选的四个国家进行判别归类。
data develop; input type gdp life rate zhrate@@; cards; 1 41890 77.9 99.5 93.3 1 29461 79.1 99. 2 88 1 23381 78.9 96 99 1 29663 79.4 92.5 87.3 1 28529 80.3 98.4 90.6 1 22029 77.9 99 96 2 6000 77.7 99.8 87.6 2 9060 71.9 97. 3 76.8 2 8402 71.7 88.6 87.5 2 8677 69.6 92.6 71.2 2 5137 71 92.6 81.1 2 8407 71.4 87.4 68.7 3 1550 62.6 48.6 58.1 3 1128 46.5 69.1 56.2
3 2299 49.8 67.9 62.3 3 2370 64.6 49.9 40 3 3071 73.7 90.3 63.9 3 3843 69.7 90. 4 68.2 . 31267 82.3 99 85.9 . 3452 63.7 61 63.8 . 6757 72.5 90.9 69.1 . 11110 50.8 82.4 77 ; proc discrim simple wcov distance list;/*simple:要求技术各类样品的简单描述统计量；选项WCOV要求计算类内协方差阵；选项DISTANCE要求计算马氏距离；选项LIST要求输出重复替换归类结果。由于没有给出方法选项，所以系统按缺省时的正态分布进行有关参数的估计和归类。*/ class type; var gdp life rate zhrate; run; proc discrim pool=test slpool=0.05list; /*simple: */ class type; priors'1'=0.3'2'=0.4'3'=0.3 ; run; proc discrim method=npar k=2list; /*simple: */ class type; run; proc candisc out=result ncan=2; /*simple: */ class type; var gdp life rate zhrate; run; proc gplot data=reult; plot can1*can2=type; run; proc discrim data=result distance list; class type; var can1 can2; run; 表1 已知样本分类水平信息
判别分析 1.判别分析的适用条件 (1)自变量和因变量间的关系符合线性假设。 (2)因变量的取值是独立的，且必须是事先就己经确定。 (3)自变量服从多元正态分布。 (4)所有自变量在各组间方差齐，协方差矩阵也相等。 (5)自变量间不存在多重共线性。 2.违背条件时的处理方法 (1)当样本的多元正态分布假设不能满足的时候采取的措施和方法如下: <>如果数据的超平面是若干分段结构的话，采用分段判别分析。 <>如果数据满足方差和协方差的齐次性可以采用距离判别分析、经典判别分析、贝叶斯判别分析中的任何一种，因为此时三者是等价的，建议使用经典判别分析。 <>如果数据不满足方差和协方差的齐次性，则采用经典判别分析、非参数判别分析、距离判别分析，这些方法无此适用条件。 <>进行变量变换。 (2)方差和协方差的齐次性不能满足的时候可以采取的措施如下: <>增加样本，这有时可以使其影响减小。 <>慎重的进行变量变换。 <>采用经典判别分析、非参数判别分析、距离判别分析，这些方法无此适用条件。 <>在合乎总体实际情况的前提下，保证各个分组的样本量一样，判别分析中分组之间样本量一样可以带来以下几个好处:使得结果与方差齐次性假设不会偏离得太大;F检验时第 二类错误(实际上为虚假的条件下正确的拒绝了原假设的概率)得到减小;使得均值更加容易比较和检验。 <>要是样本服从多元正态分布，采用二次判别，但是应该注意到二次判别分析没有计算判错率和统计检验的公式。 (3)存在多重共线性时可以采取的措施如下: <>增加样本量。 <>使用逐步判别分析。 <>采用岭判别分析。 <>对自变量进行主成分分析，用因子代替自变量进行判别分析。 <>通过相关矩阵结合实际的理论知识删去某些产生共线性的自变量。显然，上述措施和线性回归中对共线性的处理方式是非常类似的。 (4)当线性假设被违反的时候可以采取的措施如下: <>采用二次判别分析。 <>K最近邻判别分析或核密度判别分析两种非参数判别分析。 <>离散型判别分析或混合型判别分析。 3．典型判别分析的基本原理 试图找到一个由原始自变量组成的线性函数使得组间差异和组内差异的比值最大化。所谓Fisher判别法，就是一种先投影的方法。考虑只有两个（预测）变量的判别分析问题。假定这里只有两类。数据中的每个观测值是二维空间的一个点。见图（下一张幻灯片）。这里只有两种已知类型的训练样本。其中一类有38个点（用“o”表示），另一类有44个点（用“*”表示）。按照原来的变量（横坐标和纵坐标），很难将这两种点分开。于是就寻找一个方向，也就是图上的虚线方向，沿着这个方向朝和这个虚线垂直的一条直线进行投影会使得这两类分得最清楚。可以看出，如果向其他方向投影，判别效果不会比这个好。有了投影之后，
贝叶斯判别、费希尔判别法的计算机 操作及结果分析 一、实验内容、目标及要求 （一）实验内容 选取140家上市公司作为样本，其中70家为由于“财务状况异常”而被交易所对其股票实行特别处理（Special Treatment，简称ST）的公司，另外70家为财务正常的公司。为了研究上市公司发生财务困境的可能性，以“是否被ST”为分组变量，选择资产负债率、总资产周转率和总资产利润率几个财务指标作为判别分析变量，这三个指标分别从上市公司的偿债能力、资产管理能力和获利能力三个不同的角度反映了企业的财务状况。（二）实验目标 贝叶斯判别、费希尔判别法的计算机操作及结果分析。 （三）实验要求 要求学生能熟练应用计算机软件进行判别分析并对结果进行分析，培养实际应用能力。 二、实验准备 （一）运行环境说明 电脑操作系统为Windows XP及以上版本，所需软件为SPSS 16.0。
（二）基础数据设置说明 将数据正确导入SPSS，设置相应的变量值。 三、实验基本操作流程及说明 （一）系统界面及说明 同实验一。 （二）操作步骤 1. 选择菜单项Analyze→Classify→Discriminate，打开Discriminate Analysis对话框，如图4-1。将分组变量st移入Grouping Variable列表框中，将自变量x1－x3选入Independents列表框中。 选择Enter independents together单选按钮，即使用所有自变量进行判别分析。若选择了Use stepwise method单选按钮，则可以根据不同自变量对判别贡献的大小进行变量筛选，此时，对话框下方的Method按钮被激活，可以通过点击该按钮设置变量筛选的方法及变量筛选的标准。 图4-1 Discriminate Analysis对话框
前言 判别分析（discriminant analysis）是多元统计分析中较为成熟的一种分类方法，它的核心思想是“分类与判断”，即根据已知类别的样本所提供的信息，总结出分类的规律性，并建立好判别公式和判别准则，在此基础上，新的样本点将按照此准则判断其所属类型。例如，根据一年甚至更长时间的每天的湿度差及压差，我们可以建立一个用于判别是否会下雨的模型，当我们获取到某一天（建立模型以外的数据）的湿度差及压差后，使用已建立好的模型，就可以得出这一天是否会下雨的判断。 根据判别的组数来区分，判别分析可以分为两组判别和多组判别。接下来，我们将学习三种常见的判别分析方法，分别是： ?距离判别 ?Bayes判别 ?Fisher判别 一、距离判别基本理论 假设存在两个总体和，另有为一个维的样本值，计算得到该样本到两个总体的距离和,如果大于，则认为样本属于总体，反之样本则属于总体；若等于，则该样本待判。这就是距离判别法的基本思想。
在距离判别法中，最核心的问题在于距离的计算，一般情况下我们最常用的是欧式距离，但由于该方法在计算多个总体之间的距离时并不考虑方差的影响，而马氏距离不受指标量纲及指标间相关性的影响，弥补了欧式距离在这方面的缺点，其计算公式如下： ，为总体之间的协方差矩阵 二、距离判别的R实现（训练样本） 首先我们导入数据 # 读取SAS数据 > library(sas7bdat) > data1 <- read.sas7bdat('disl01.sas7bdat') # 截取所需列数据，用于计算马氏距离 > testdata <- data1[2:5] > head(testdata,3) X1 X2 X3 X4 1 -0.45 -0.41 1.09 0.45 2 -0.56 -0.31 1.51 0.16 3 0.06 0.02 1.01 0.40 # 计算列均值 > colM <- colMeans(testdata) > colM