数学建模-判别分析共29页文档

0.03 0.09
0.068 0.18
0.22
0.039
0.084 0.066 0.029 0.32
0.012 0.041
0.085 0.076 0.019 0.3
0.01
0.04
0.064 0.072 0.02
0.25
0.028 0.038
0.054 0.065 0.022 0.28
0.021 0.04
距离判别法：首先根据已知分类的数据，分别计算各 类的重心，计算新个体到每类的距离，确定最短的距 离（欧氏距离、马氏距离）。 Fisher判别法：利用已知类别个体的指标构造判别 式（同类差别较小、不同类差别较大），按照判别 式的值判断新个体的类别。 Bayes判别法：计算新给样品属于各总体的条件概率， 比较概率的大小，然后将新样品判归为来自概率最 大的总体。
数学建模与数学实验
第15讲 判别分析
后勤工程学院数学教研室
实验目的
1.了解判别分析的基本内容。 2.掌握用数学软件求解判别问题。
实验内容
1.判别问题引例及基本理论。 2.用数学软件求解判别问题。 3.应用实例 4.实验作业。
一、判别分析概述
判别分析是根据观测到的某些指标对所研究的 对象进行分类的一种多元统计分析方法。
5
35 1 9 1 34 5.00 0.40 1.30
6
37 1 1 3 24 15.10 1.80 1.82
7
29 1 13 1 42 7.40 1.46 1.65
’linear’
即各组的先验分布均为协方差矩阵相同的 p 元正态分布，此时由
‘quadratic’ ‘mahalanobis’
样本得出协方差矩阵的联合估计 二次判别分类，假定各组的先验分布均为 p 元正态分布，但

P (π i | x ) = pi f i ( x )
∑ p f (x)
i =1 i i
k
, i = 1, 2,⋯, k
最大后验概率准则是采用如下的判别规则：
x ∈ π l , 若P (π l | x ) = max P (π i | x )
1≤i ≤ k
二、最小平均误判代价准则
（5.3.13）式的一些特殊情形
第五章 判别分析
§5.1 §5.2 §5.3 §5.4 引言 距离判别 贝叶斯判别 费希尔判别
§5.2 距离判别
一、两组距离判别 二、多组距离判别
一、两组距离判别
设组 π 1 和 π 2的均值分别为 µ1 和 µ 2 ，协差阵分别 为Σ1 和 Σ 2 ( Σ1 , Σ 2 > 0) ， x 是一个新样品( p 维)， 现欲判断它来自哪一组。 1. Σ1 = Σ 2 = Σ 时的判别 2. Σ1 ≠ Σ 2 时的判别
它是 x 的二次函数，相应的判别规则为
x ∈ π 1 , 若W ( x ) ≤ 0 x ∈ π 2 , 若W ( x ) > 0
二、多组距离判别
§5.3 贝叶斯判别
一、最大后验概率准则 二、最小平均误 Nhomakorabea代价准则
一、最大后验概率准则
设有 k 个组 π 1 , π 2 ,⋯, π k ，且组 π i 的概率密度为 fi ( x )， 样品来自组 π i 的先验概率为 pi , i = 1, 2,⋯, k ，满 足 p1 + p2 + ⋯ + pk = 1。则 x 属于 π i 的后验概率为
ˆ ( 2 |1) = n ( 2 |1) , P (1| 2 ) = n (1| 2 ) ˆ P n1 n2

类别 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2
.38 .19 .32 .31 .12 -.02 .22 .17 .15 -.10 .14 .14 -.33 .48 .56 .20 .47 .17 .58 .04 2019/5/8 -.06
.11 .05 .07 .05 .05 .02 .08 .07 .05 -1.01 -.03 .07 -.09 .09 .11 .08 .14 .04 .04 .01 -.06
（与两个总体类似，书101－102页）
d 2 (y,Gi ) (y i ) 1(y i )

y1y

2y
1 i

i1i
y'1 y 2(y1i 0.5i1i)
2019/5/8
江西理工大学理学院
令
fi ( y)

(y
待判， 如d 2 ( y,G1) d 2 ( y,G2 )
d 2 (y,G2 ) d 2 (y,G1) (y 2 )21(y 2 ) (y 1)11(y 1)
2019/5/8
江西理工大学理学院
（二）多总体的距离判别法
1、协方差阵相等
设有个K总体，分别有均值向量ui(i=1,2,…,k)和协 方差阵Σi= Σ，又设Y是一个待判样品。则Y与各 总体的距离为（即判别函数）：
2019/5/8
总负债率 -.45 -.56 .06 -.07 -.10 -.14 -.23 .07 .01 -.28 .15 .37 -.08 .05 .01 .12 -.28 .51 .08
2019/5/8
收益性指标 -.41 -.31 .02 -.09 -.09 -.07 -.30 .02 .00 -.23 .05 .11 -.08 .03 .00 .11 -.27 .10 .02

data rainfall; input year x1-x4 species; cards; 1951 0.58 82.0 44.0 40.6 1 1952 0.40 83.0 18.0 43.0 2 1953 0.55 85.0 36.0 30.7 2 1954 0.40 85.0 36.0 40.7 2 1955 0.48 88.0 49.0 43.0 2 1956 0.41 82.0 35.0 78.6 3 1957 0.65 80.0 29.0 33.2 1 1958 0.45 82.0 32.0 33.1 3 1959 0.39 81.0 27.0 46.5 3 1960 0.34 85.0 28.0 41.7 3 1961 0.42 84.0 38.0 20.4 3 1962 0.52 86.0 38.0 0.2 1 1963 0.46 88.0 25.0 56.7 2 1964 0.48 83.0 46.0 13.6 1 1965 0.53 84.0 41.0 32.3 1 1966 0.65 81.0 31.0 28.9 1 1967 0.66 83.0 38.0 46.6 1 1968 0.53 80.0 42.0 93.1 3 1969 0.56 85.0 18.0 16.3 3 1970 0.45 83.0 37.0 23.9 3 1971 0.34 80.0 42.0 26.3 3 1972 0.41 79.0 38.0 40.8 3 1973 0.53 83.0 23.0 61.3 3 1974 0.48 84.0 19.0 23.2 2 1975 0.30 85.0 27.0 17.5 2 1976 0.42 81.0 21.0 52.2 . 1977 0.52 81.0 38.0 45.8 . 1978 0.36 82.0 34.0 34.9 . 1979 0.43 84.0 34.0 60.5 . ; proc discrim out=wu list; class species; var x1-x4; id year; run; proc discrim out=wu simple wcov distance list; class species; var x1-x4; id year; run;

备注

在计算时，各种点间距离和类间距离的选 择是通过统计软件的选项实现的。不同的 选择的结果会不同，但一般不会差太多。

另外还有一些和距离相反但起同样作用的 概念，比如相似性等，两点越相似度越大， 就相当于距离越短。
相似性的度量 (样本点间距离的计算方法)
Euclidean距离 Squared Euclidean距离
1、点间距离的计算方法主要有: 欧氏距离(Euclidean distance) 平方欧氏距离(Squared Euclidean distance) Block距离(Block distance) Chebychev距离(Chebychev distance) 马氏距离(Minkovski distance) 最常用的是平方欧氏距离
样品聚类：
对观测量(Case)进行聚类（不同的目的选 用不同的指标作为分类的依据，如选拔运动员 与分课外活动小组）。
变量聚类：
找出彼此独立且有代表性的自变量，而又 不丢失大部分信息。在生产活动中不乏有变量 聚类的实例，如：衣服号码（身长、胸围、裤 长、腰围）、鞋的号码。变量聚类使批量生产 成为可能。
2 G8 1 G6 1.5 G7 3.5 G9
第三部分 聚类分析的SPSS过程

在AnalyzeClassify下：
1、快速聚类（K-Means Cluster）： 观测量 快速聚类分析过程。 2、分层聚类（Hierarchical Cluster）：分层 聚类（进行观测量聚类和变量聚类的过程。
类和类之间的距离
由一个点组成的类是最基本的类；如 果每一类都由一个点组成，那么点间的距 离就是类间距离。但是如果某一类包含不 止一个点，那么就要确定类间距离。 类间距离是基于点间距离定义的：比如两 类之间最近点之间的距离可以作为这两类 之间的距离，也可以用两类中最远点之间 的距离作为这两类之间的距离；当然也可 以用各类的中心之间的距离来作为类间距 离。

判别分析
多变量统计分析方法
01 简介
03 判别函数
目录
02 基本思想 04 建立方法
05 判别方法
07 应用
目录
06 验证方法
基本信息
判别分析又称“分辨法”，是在分类确定的条件下，根据某一研究对象的各种特征值判别其类型归属问题的 一种多变量统计分析方法。
其基本原理是按照一定的判别准则，建立一个或多个判别函数，用研究对象的大量资料确定判别函数中的待 定系数，并计算判别指标。据此即可确定某一样本属于何类。
3）Fisher判别：亦称典则判别，是根据线性Fisher函数值进行判别，通常用于梁祝判别问题，使用此准则 要求各组变量的均值有显著性差异。该方法的基本思想是投影，即将原来在R维空间的自变量组合投影到维度较低 的D维空间去，然后在D维空间中再进行分类。投影的原则是使得每一类的差异尽可能小，而不同类间投影的离差 尽可能大。Fisher判别的优势在于对分布、方差等都没有任何限制，应用范围比较广。
判别方法
判别方法
判别方法是确定待判样品归属于哪一组的方法，可分为参数法和非参数法，也可以根据资料的性质分为定性 资料的判别分析和定量资料的判别分析。此处给出的分类主要是根据采用的判别准则分出几种常用方法。除最大 似然法外，其余几种均适用于连续性资料。
1）最大似然法：用于自变量均为分类变量的情况，该方法建立在独立事件概率乘法定理的基础上，根据训 练样品信息求得自变量各种组合情况下样品被封为任何一类的概率。当新样品进入是，则计算它被分到每一类中 去的条件概率（似然值），概率最大的那一类就是最终评定的归类。
基本思想
基本思想
根据判别中的组数，可以分为两组判别分析和多组判别分析； 根据判别函数的形式，可以分为线性判别和非线性判别； 根据判别式处理变量的方法不同，可以分为逐步判别、序贯判别等； 根据判别标准不同，可以分为距离判别、Fisher判别、Bayes判别法等。

Unstandardized coefficients
Function 1
.035 3.283 .037 -.007 .068 -.023 -.385 -3.166
2 .005 .567 .041 .012 .048 .044 -.159
-4.384
根据这两个函数，从任何一个观测值（每个观测值都有 7个变量值）都可以算出两个数。把这两个数目当成该 观测值的坐标，这样数据中的150个观测值就是二维平 面上的150个点。它们的点图在下面图中。
Disc.sav例子
利用SPSS软件的逐步判别法淘汰了不显著的流动 资金比例(cp)，还剩下七个变量is，se，sa，prr， ms ， msr ， cs ， 得 到 两 个 典 则 判 别 函 数 （Canonical Discriminant Function Coefficients）：
0.035IS+3.283SE+0.037SA-0.007PRR+0.068MS-0.023MSR-0.385CS-3.166 0.005IS+0.567SE+0.041SA+0.012PRR+0.048MS+0.044MSR-0.159CS-4.384
Disc.sav数据
根据距离的判别（不用投影）
Disc.sav数据有8个用来建立判别标准(或判别函 数)的（预测）变量，另一个（group）是类别。 因此每一个企业的打分在这8个变量所构成的8维 空间中是一个点。这个数据有90个点， 由于已经知道所有点的类别了，所以可以求得每 个类型的中心。这样只要定义了如何计算距离， 就可以得到任何给定的点（企业）到这三个中心 的三个距离。 显然，最简单的办法就是离哪个中心距离最近， 就属于哪一类。通常使用的距离是所谓的 Mahalanobis距离。用来比较到各个中心距离的 数学函数称为判别函数(discriminant function).这 种根据远近判别的方法，原理简单，直观易懂。

对另外20个未标明类别 的DNA序列进行分类 对182个自然DNA 序列进行分类
如果将每个DNA序列都看作样本，那么 该问题就进一步提炼成一个纯粹的数学
问题：设有两个总体（类） 和 ， G1 G2 其分布特征（来自各个总体的样本）已 知，对给定的新品 ，我们需要判 X 断其属于哪个总体（类）。 对于上面的数学问题，可以用很多成 熟的方法来解决，例如：
2
和 d ( X , G2 ) ： 2 2 如果 d ( X , G1 ) d ( X , G2 ) 则判定 X G1 ； 2 2 反之，如果 d ( X , G1 ) d ( X , G2 ) 则判定 X G2 ： 即 2 2
X G1 , if:d ( X , G1 ) d ( X , G2 ) ……（1） 2 2 X G2 , if:d ( X , G1 ) d ( X , G2 )
判 别 分 析 方 法
1.距离判别 2.贝叶斯（Bayes）判别 3.费希尔（Fisher）判别 4.判别分析模型的 显著性检验
3.1 距离判别
距离判别的基本思想：样品 X 离哪个总体的距离最近，就判断 X 属于哪个总体。 这里的“距离”是通常意义下的 距离（欧几里得距离：在 m 维欧几里 得空间 R 中，两点X ( x , x ,, x ) T 1 2 m 与 ( y , y ,, y )T Y 1 2 m 的欧几里得距离，也就 是通常我们所说的距离为 d 2 ( X , Y ) ( X 1 Y1 ) 2 ( X 2 Y2 ) 2 ( X m Ym ) 2 ）吗？ 带着这个疑问，我们来考虑这样 一个问题 ：
, G2 设有两个正态总体G1和， Y ~ N ( 2 ,9 2 ) X ~ N ( 1 , 2 ) 现在有一个新的样品位于 A 处（参见图1）

第二节 Bayes判别分析
(一).
Bayes准则
设有定义明确的g个总体π 1,π 2,…,π g, 分别为 X1,X2,…,Xp的多元正态分布。对于任何一个个体, 若已 知p个变量的观察值,要求判断该个体最可能属于哪一个 总体。 如果我们制订了一个判别分类规则, 难免会发生错 分现象。把实属第i类的个体错分到第j类的概率记为 P(j｜i),这种错分造成的损失记为C(j｜i)。 Bayes判别 准则就是平均损失最小的准则。按照这个准则去找一种 判别分类的规则,就是Bayes判别。
X1 X11A X21A „„ Xn11A X1A
„„ „„ „„ „„ „„ „„
Xm X1mA X2mA „„ Xn1mA XmA
编号 1 2 „„ n2 均值
X1 „ „„ „„ „„
Xm X1mB X2mB „„ Xn2mB XmB
令欲建立一个判别函数
Y（B） 7.0300 6.7616 6.8505 7.0413 7.2244 7.0880 6.7346 7.3152 7.2522
76.38
79.14
81.15
7.0331
判别分析步骤


1、确定判别指标（X1，X2和X3） 2、收集数据，得到训练样本 3、根据实测资料(训练样本)用判别分析方法可 建立判别函数 4、考核该判别函数是否有实用价值（回顾性 考核，前瞻性考核），其符合率达到要求则可 应用于实践。 5、实际应用未知类别样品的判别归类。
第二步 解此方程组，得C1 =0.007440、C2=0.032412、 C3=0.048055 故判别函数为 Y＝0.007440 X1+0.032412X2+0.048055 X3