数理统计11判别分析

1 2
证明
因为
D 2 ( X , G2 ) D 2 ( X , G1 ) ( X 2 )T V 1 ( X 2 ) ( X 1 )T V 1 ( X 1 )
X V X 2 X V 2 2 V 2
T 1 T 1 T 1
X V X 2 X V 1 V 1 1
设有 m 个总体 G1 , G2 ,, Gm，其概率密度分
别为 f1 ( x ), f 2 ( x ),, f m ( x ), 且是互不相同的。
进一步假设已知 m 个总体各自发生的概率为
q1 , q2 ,, qm , 这个已知的概率称为先验概率，
可以由经验给出，也可由收集到的历史资料
确定。 定义损失函数 C ( j / i )， 表示将本来属
于 Gi 的样品错判为属于G j 所造成的损失， 规 定 C ( i / i ) 0. 显然应有
C ( j / i ) 0, i , j 1,2,, m
用损失矩阵表示，即
C11 C12 C 21 C 22 C C m1 C m 2
C1m 其中 C 2 m C ii C ( i / i ) 0, Cij C ( j / i ), i , j 1 , 2 , , m . C mm
的均值和协方差阵分别为 和V (V 0), 称
( X Y )T V 1 ( X Y )
为 X 与 Y之间的马氏距离，记为 D( X ,Y )，
称
D( X , G ) ( X ) V ( X )
T 1
为 X 与总体 G 的马氏距离.
可以证明马氏距离 D( X ,Y ) 满足距离的三条 基本公理： （1）非负性： D( X ,Y ) 0, 且当且仅当 X Y 时， D( X ,Y ) 0; （2）自反性： D( X ,Y ) D(Y , X ); （3）三角不等式：对任意三个点 X ,Y 及 Z 有
第九章
判别分析与聚类分析
一、距离判别 二、Bayes判别 三、Fisher判别
四、聚类分析简介
判别分析
判别分析是数据挖掘、机器学习、模式 识别等应用领域的重要理论基础。 模式识别包括语音辨识、手写体辨识、 图像识别、指纹识别等先进技术。
例 对10位应聘者做智能检验。3项指标X，Y和 Z分别表示数学推理能力，空间想象能力和语言
过判别规则 进行判别所造成的总平均损失为 R m g ( R ) qi r ( i , R )
qi C ( j / i ) P ( j / i , R)
qi C i Pi ( R )T
i 1
i 1 m原理是：寻求使平均损失（风险）
同样, 当总体的参数未知时，应先利 用来自 m个总体的相互独立的样本给出所有未
知参数的估计，再利用上述判别法进行判别。 对同协方差阵的情形，可以由 m个样本给
ˆ 出 V 的估计 V 1 ni m i 1
m
Si , i 1
m
具体判别过程
不再赘述。
二、Bayes判别
（一） Bayes判别的基本概念
1
Y1 ,Y2 ,,Yn 是来自总体G2的样本， 且两样本相
2
互独立，则样本平均值
1 n ˆ1 X X k n1 k 1
1
1 n ˆ 2 Y Yk n2 k 1
2
分别是总体均值 1 和2 的一致最小方差无偏估 计。 这样 的估计可取为
ˆ
ˆ1 ˆ2
R1 x : W ( x ) d R2 x : W ( x ) d 其中 W ( x ) ( x )T V 1 ( 1 2 ),
m
f i ( x )dx , i 1,, m R
i
注意这里的积分是 p重积分。 因此有
Pij ( R) 1, i 1,2,, m . j 1
这样在判别规则 R下， 错判来自总体 Gi 的个 体所造成的平均损失为
r ( i , R)
C ( j / i ) P ( j / i , R) j 1, j i
R1 x : C12q1 f1 ( x ) C 21q2 f 2 ( x ) R2 x : C12q1 f1 ( x ) C 21q2 f 2 ( x )
在实际使用Bayes判别法时，并不需要求出 集合 R1 , 而只要将需判别的样品 X 代入
C12q1 f1 ( x ) C21q2 f 2 ( x )
理解能力。其得分如下，选择合适的统计方法对
应聘者进行分类 —— 聚类分析。
应聘者 X Y 1 2 3 4 5 6 7 8 9 10
28
29
18
23
11
22
21
23
26
29
20
23
16
22
14
23
24
29
22
27
Z
28
18
16
22
26
22
22
24
24
24
对某应聘者的得分，排定他属于哪一类 —— 判 别分析。
T 1 T 1 T 1
2 X V ( 1 2 ) 2 V 2 V 1 1
T 1 T 1 T 1
2 X TV 1 ( 1 2 ) ( 1 2 )T V 1 ( 1 2 ) 2( X ) V ( 1 2 )
T 1
1 2 1
n 1 1 T ˆ V2 S2 (Yk Y )(Yk Y ) n2 1 n2 1 k 1 将这些估计值代入上述判别法即可进行判别。
2
通常，为了初略了解所建立的判别方法的
误判率，需进行回报判别，即对已给的两个样 本逐个进行判别，可以计算出回报误判率。若
回报的误判率较大，则说明所建立的判别规则
P ( j / i , R) 或 Pij ( R )， 即
Pij ( R) P ( j / i , R)
i , j 1,2,, m, i j .
f i ( x )dx , R
j
这时 P ( i / i , R) 表示正确判别的概率，即
Pii ( R) P ( i / i , R)
达到最小的规则
R ( R1 , R2 ,, Rm ),
这个判别规则称为Bayes判别法。
（二） 两个总体的判别 定理2 设有两个总体 G1 , G2 , 其密度函数分
别为 f1 ( x ), f 2 ( x ), 两个总体的先验概率为q1 , q2 , 损失函数矩阵为 C . 则Bayes判别法 R ( R1 , R2 ) 具有如下形式
2
V 的估计为
ˆ V 1 ( S1 S 2 ) n1 n2 2
其中 S1 ( X k X )( X k X )
n1
T
S2 (Yk Y )(Yk Y )
k 1
k 1 n2
T
故当参数均未知时，判别函数为
ˆ) W (X ) a (X
T
其中判别系数为
令 W ( X ) ( X )T V 1 ( 1 2 ) a T ( X ), 有 D 2 ( X , G2 ) D 2 ( X , G1 ) 2W ( X ), 所以当 W ( X ) 0时，判定 X G1；否则判定
X G2 .
由于函数
W (X ) a (X )
所有的 Vi 0 。 当这些参数都已知时，计算
D ( X , Gi ) ( X i ) Vi ( X i ), i 1,, m
2 T 1
若存在某个 k 使得
D ( X , Gk ) min{ D ( X , Gi )}
2 2 1 i m
成立，则判别 X Gk。
若该不等式成立，则判定 X G1 ; 否则，判定
X G2 .
如果总体 G1和G2 分别服从协方差阵相同的 正态分布 N p ( 1 ,V )和N p ( 2 ,V )， 则Bayes判别 法有更简便的形式，依定理形式给出如下。
定理3
设总体 G1和G2 分别服从协方差阵相
同的正态分布 N p ( 1 ,V )和N p ( 2 ,V )，且V 0. 则当参数 1 , 2及V 均已知时， Bayes判别法
2 2
当 D 2 ( X , G1 ) D 2 ( X , G2 ) 时， X G2 . 其中 D 2 ( X , G1 ) ( X 1 )T V11 ( X 1 )
D 2 ( X , G2 ) ( X 2 )T V21 ( X 2 )
当参数 1 , 2 ,V1及V2未知时， 需用来自两个 总体的相互独立的样本来估计这些参数，即 1 n 1 n ˆ1 X X k ˆ 2 Y Yk n1 k 1 n2 k 1 n 1 1 T ˆ1 V S1 ( X X )( X X ) k k n1 1 n1 1 k 1
ˆ 1 ( a V ˆ1 ˆ2 )
注：距离判别法不必知道总体的分布。
2、两总体协差阵不等的情形： 设两个总体 G1和G2 的协方差阵为V1和 V2， 且 V1 V2 , 所有的参数均已知，这时就直接用样 品到总体的马氏距离来判别，即判别规则为 当 D ( X , G1 ) D ( X , G2 ) 时， X G1 ;
m j 1 m
m
C ( j / i ) P ( j / i , R) C ij Pij ( R) C i Pi ( R)T
其中 C i 表示损失矩阵的第 i 行元素， 而 Pi ( R) 表示矩阵 P ( R) ( Pij ( R)) 的第 i 行元素。