Bayes基本思想与判别分析

bayes判别法Bayes判别法Bayes判别法是一种基于贝叶斯定理的分类方法，它通过计算样本在各个类别下的后验概率来进行分类。

Bayes判别法在模式识别、机器学习和统计学等领域中得到了广泛应用。

一、贝叶斯定理贝叶斯定理是概率论中的一个重要定理，它描述了在已知某些条件下，某个事件发生的概率。

假设A和B是两个事件，P(A)和P(B)分别表示它们各自发生的概率，则有：P(A|B)=P(B|A)×P(A)/P(B)其中，P(A|B)表示在事件B发生的条件下事件A发生的概率，称为后验概率；P(B|A)表示在事件A发生的条件下事件B发生的概率，称为似然函数；P(A)和P(B)分别表示事件A和事件B独立发生的概率。

二、Bayes判别法原理Bayes判别法是一种基于贝叶斯定理的分类方法。

假设有n个样本，每个样本可以被分为k类。

对于一个新样本x，我们需要将其归入其中一类。

Bayes判别法采用后验概率最大化准则进行分类，即将x归为后验概率最大的那一类。

具体地，对于一个新样本x，我们需要计算其在每个类别下的后验概率P(ci|x)，然后将x归为后验概率最大的那一类。

其中，ci表示第i类。

根据贝叶斯定理，我们可以将P(ci|x)表示为：P(ci|x)=P(x|ci)×P(ci)/P(x)其中，P(x|ci)表示在第i类下样本x出现的概率，称为类条件概率；P(ci)表示第i类出现的概率，称为先验概率；P(x)表示样本x出现的概率。

由于对于一个新样本来说，其出现的概率是相同的，因此可以忽略分母部分。

因此，我们只需要比较每个类别下的P(x|ci)×P(ci)，并选择最大值所对应的类别作为分类结果。

三、Bayes判别法实现Bayes判别法可以通过训练样本来估计先验概率和类条件概率。

具体地，在训练阶段中，我们需要统计每个类别下每个特征取值出现的次数，并计算相应的先验概率和类条件概率。

具体地：1. 先验概率先验概率指在没有任何信息或者证据的情况下，每个类别出现的概率。

判别分析判别分析是用以判别个体所属群体的一种统计方法。

最常用的判别方法：距离判别法、Bayes 判别法、Fisher 判别法。

1、距离判别法最为直观，其想法简单自然，就是计算新样品x 到各组的距离，然后将该样品判为离它距离最近的那一组。

定义：设组π的均值为μ，协方差矩阵为∑，x 是一个样品(样本)，称()()μμπ-∑'-=-x x x d 1),(为x 到总体π的马氏距离或统计距离。

判别准则：不妨假设有k 组，记为k ππ...1，，均值分别为k μμ...1，，协方差矩阵分别为k ∑∑...,1，，若),(min ),(212i ki l x d x d ππ≤≤=，则判断x 来自第l 组。

注1：若k ∑==∑...1，上述准则可以化简，如果不确定是否相等，可两种情况都试试，那种规则误判概率小选哪种。

注2：实际中k μμ...1，以及k ∑∑...,1，均未知，用估计量代替。

2、Bayes 判别法(1)最大后验概率准则设有k 个组k ππ...1，，且组i π的概率密度为()x f i ，样品x 来自组i π的先验概率为,,...,1,k i p i =且.11=∑=ki i p 利用Bayes 理论，x 属于i π的后验概率(即当样品x 已知时，它属于i π的先验概率)为()().,...,2,1,)(1k i x f p x f p x P k j j j i i i ==∑=π最大后验概率法是采用如下的判别规则：()x P x P x l ji l l πππ≤≤=∈1max )(,若. (2)最小平均误判代价准则()()()()∑∑≠=≤≤≠==∈ki j j j j k i j k l j j j l j i c x f p j l c x f p x 111m i n ,若π，其中)(j i c 表示将来自j π的x 判为i π的代价。

例：设有321,,πππ三个组，欲判别某样品0x 属于何组，已知()()().4.2,63.0,10.0,30.0,65.0,05.0030201321======x f x f x f p p p 计算：()()004.04.230.063.065.010.005.010.005.0)(1111=⨯+⨯+⨯⨯==∑=k j j j x f p x f p x P π ()361.02=x P π()635.03=x P π假定误判代价矩阵为95.4110063.065.020010.005.0:305.36504.230.01010.005.0:239.51604.230.02063.065.0:1=⨯⨯+⨯⨯==⨯⨯+⨯⨯==⨯⨯+⨯⨯=l l l 3、Fisher 判别基本思想：先对原始数据进行降维，然后对新数据使用距离判别法进行判别。

实验十一Bayes判别实验目的和要求掌握Bayes判别分析的理论与方法、模型的建立与误差率估计；掌握利用判别分析的SAS过程解决有关实际问题.实验要求:编写程序，结果分析．实验内容：5.4 5.5 选一题data examp5_4。

input group $ x1-x7 @@。

cards。

G1 6.6 39 1.0 6.0 6 0.12 20G1 6.6 39 1.0 6.0 12 0.12 20G1 6.1 47 1.0 6.0 6 0.08 12G1 6.1 47 1.0 6.0 12 0.08 12G1 8.4 32 2.0 7.5 19 0.35 75G1 7.2 6 1.0 7.0 28 0.30 30G1 8.4 113 3.5 6.0 18 0.15 75G1 7.5 52 1.0 6.0 12 0.16 40G1 7.5 52 3.5 7.5 6 0.16 40G1 8.3 113 0.0 7.5 35 0.12 180G1 7.8 172 1.0 3.5 14 0.21 45G1 7.8 172 1.5 3.0 15 0.21 45G2 8.4 32 2.0 9.0 10 0.35 75 G2 8.4 32 2.5 4.0 10 0.35 75 G2 6.3 11 4.5 7.5 3 0.20 15 G2 7.0 8 4.5 4.5 9 0.25 30 G2 7.0 8 6.0 7.5 4 0.25 30 G2 7.0 8 1.5 6.0 1 0.25 30 G2 8.3 161 1.5 4.0 4 0.08 70 G2 8.3 161 0.5 2.5 1 0.08 70 G2 7.2 6 3.5 4.0 12 0.30 30 G2 7.2 6 1.0 3.0 3 0.30 30 G2 7.2 6 1.0 6.0 5 0.30 30 G2 5.5 6 2.5 3.0 7 0.18 18 G2 8.4 113 3.5 4.5 6 0.15 75 G2 8.4 113 3.5 4.5 8 0.15 75 G2 7.5 52 1.0 6.0 6 0.16 40 G2 7.5 52 1.0 7.5 8 0.16 40 G2 8.3 97 0.0 6.0 5 0.15 180 G2 8.3 97 2.5 6.0 5 0.15 180 G2 8.3 89 0.0 6.0 10 0.16 180 G2 8.3 56 1.5 6.0 13 0.25 180 G2 7.8 172 1.0 3.5 6 0.21 45run。

§5.2Bayes 判别1. Bayes 判别的基本思想假设已知对象的先验概率和“先验条件概率”, 而后得到后验概率, 由后验概率作出判别.2. 两个总体的Bayes 判别 (1) 基本推导设概率密度为1()f x 和2()f x 的p 维总体12,G G 出现的先验概率为1122(),()p P G p P G ==(121p p +=)先验概率的取法: (i) 1212p p ==, (ii) 12121212,n n p p n n n n ==++,一个判别法 = 一个划分=12(,)R R =R1212,,p R R R R =⋃=⋂=∅R距离判别中112212{|(,)(,)}{|(,)(,)}R d G d G R d G d G =≤=>x x x x x x判别R 下的误判情况讨论21(2|1,)()d R P f =⎰R x x ,或12(1|2,)()d R P f =⎰R x x代价分别记为(2|1),(1|2),(1|1)0,(2|2)0c c c c ==, 在得新x 后, 后验概率为1111122()(|)()()p f P G p f p f =+x x x x2221122()(|)()()p f P G p f p f =+x x x x(i) 当(1|2)(2|1)c c c ==时, 最优划分是112212{:(|)(|)}{:(|)(|))}R P G P G R P G P G =≥⎧⎨=<⎩x x x x x x 两个总体的Bayes 的判别准则112212,(|)(|),(|)(|)G if P G P G G if P G P G ∈≥⎧⎨∈<⎩x x x x x x 此时, 有最小的误判概率*12(2|1,)(1|2,)p p P p P =+R R .因为21*1122()d ()d R R p p f p f =+⎰⎰x x x x111122(1()d )()d R R p f p f =-+⎰⎰x x x x()112211()()d R p p f p f =+-⎰x x x只有取12211{:()()}R p f p f =≤x x x 时, 才有最小. (ii) 当(1|2)(2|1)c c ≠时对1G 的误判平均损失: (1,)(2|1)(2|1,)l c P R =R , 对2G 的误判平均损失:(2,)(1|2)(1|2,)l c P R =R , 对整个误判的平均损失:12(1,)(2,)L p l p l =+R R12(2|1)(2|1,)(1|2)(1|2,)c p P R c p P R =⋅⋅+⋅⋅可证使L 最小的最优划分是1112221122{:(2|1)()(1|2)()}{:(2|1)()(1|2)()}R c p f c p f R c p f c p f =≥⎧⎨=<⎩x x x x x x 或112212{:(2|1)(|)(1|2)(|)}{:(2|1)(|)(1|2)(|))}R c P G c P G R c P G c P G =≥⎧⎨=<⎩x x x x x x 当12p p =时, 有112212{:(2|1)()(1|2)()}{:(2|1)()(1|2)()}R c f c f R c f c f =≥⎧⎨=<⎩x x x x x x 当12p p =, 且时(1|2)(2|1)c c c ==, 有 112212{:()()}{:()()}R f f R f f =≥⎧⎨=<⎩x x x x x x 相当于经典统计学中的似然比准则判别.(2) 两个正态总体的Bayes 判别 1) 12==ΣΣΣ的判别112212,()(),()()G if W W G if W W ∈≥⎧⎨∈<⎩x x x x x x 其中111222(),()T TW b W b ++x a x x a x ,及 111111111,2ln TT T b p --+-a μΣμΣμ122122221,2ln T T T b p --+-a μΣμΣμ 实用中, 用样本均值和样本协方差阵代.替.当1212p p ==时, 与距离判别等价. 如用后验概率来判别(或其估计), 则有112212,(|)(|),(|)(|)G if P G P G G if P G P G ∈≥⎧⎨∈≥⎩x x x x x x .1) 12≠ΣΣ的判别与距离判别的区别为广义平方距离函数21111111()()()ln 2ln((2|1))T d c p -=--+-x x μΣx μΣ,21222222()()()ln 2ln((1|2))T d c p -=--+-x x μΣx μΣ推导过程略.当 “三同”时, 与距离判别一样.(3) 误判概率的计算在12==ΣΣΣ下, 作简要讨论. 用广义距离2221()()d d -x x 可导出划分12{:()}{:()}R W d R W d =≥⎧⎨=≥⎩x x x x (^_^) 其中112()()()T W -=--x μμΣx μ, 21(1|2)ln (2|1)c p d c p =, 两个总体1G 与2G 的马氏平方距离可记为11212()()T λ-=--μμΣμμ经导, 对(^_^)的划分, 其误判率为*121p p p ΦΦ⎛⎫=+- ⎪⎝⎭ 随λ大而小.实用中, 用(1)(2)1(1)(2)ˆ()()T λ-=--x x S x x 代λ.当121/2p p ==时, 有*2112211ˆ2n n p n n ⎛⎫=+ ⎪⎝⎭当12,p p 按容量比例选取时, 即12121212,n n p p n n n n ==++ 有 *122112ˆn n p n n +=+ 误判率的回代估计.例5.3 预报春旱. 两个预报因子的观察值12,X X , 假设误报损失相同, 先验概率按比例. 由下表数据进行两总体的Bayes 判别.解 16/140.4286p ==, 28/140.5714p ==. 调用proc discrim 得12ln || 1.8053,ln || 3.6783S S =-=-(1)(2)25.31622.025,2.416 1.187x x ⎡⎤⎡⎤==--⎢⎥⎢⎥⎣⎦⎣⎦122.2130.6570.2730.063,0.6570.2690.0630.106S S --⎡⎤⎡⎤==--⎢⎥⎢⎥⎣⎦⎣⎦ 广义平方距离为(1,2j =)2()1()()()()ln 2ln j T j j jj j d p -=--+-x x x S x x S 后验概率为222ˆˆ0.5()0.5()1ˆ(|)e e j k d d j k P G --==∑x x x ,(1,2j =).回代判别结果如下略,误判率=0;若用交叉确认法, 则应按下式计算2()1()()()()()()()()ln 2ln j j j T j j x x x x j d p -=--+-x x x S x x S 逐个剔除, 交叉判别.有一错(10号被判错), 交叉确认估计*ˆ1/140.0714c p ==3. 多个总体的Bayes 判别(1) 一般讨论设概率密度为1~()k f x 的p 维总体1~k G 出现的先验概率为1~1~()k k p P G =, (11kj j p ==∑)先验概率的取法: (i) 1~1k p k =, 或(ii) 1~1~12k k k n p n n n =++,一个判别法= 一个划分=12{(,,,)}k R R R =R 判别准则 1,,kp j i j j R R R i j ==⋃=⋂=∅≠R判别R 下的误判情况讨论(|,)()d ,ji R P j i f j i =≠⎰R x x ,(1~)j k = 代价记为一个损失矩阵()(|)k k c j i ⨯(约定(|)0,1~c i i i k ==)常取(|)1,c j i i j =≠. 来自i G 判为其他总体的概率是(|,)j iP j i ≠∑R误判的概率*1(|,)ki i j i p p P j i =≠⎛⎫= ⎪⎝⎭∑∑R 使其最小, 得最优划分.当(|)c j i 不全相等时,将来自i G 判为其他总体的平均损失率1(|,)(|)ki j l P j i c j i ==∑R误判的平均损失率111(|,)(|)k kk i i i i i j L p l p P j i c j i ===⎛⎫== ⎪⎝⎭∑∑∑R应使其最小的划分R .进一步的讨论1) 当(|)1,c j i i j =≠时,因1(|,)1kj P j i R ==∑, 故(|,)1(|,)j iP j i P i i ≠=-∑R R从而有()()*111(|,)1()d ik ki R i i p P i i f ===-=-∑∑⎰R x x11()d iki R i f ==-∑⎰x x当1{:()max ()},1~i i i j j j kp f p f i k ≤≤===R x x x 时,12(,,,)k R R R =R 是使*p 最小的最优划分.又由Bayes 公式, 当出现样品x 时, 总体i G 的后验概率1~()(|)()i i i j jj kp f P G p f ==∑x x x故最优划分为1{:(|)max (|)}i i j j kR P G P G ≤≤==x x x , (1~i k =)当有多个时, 任选一个.2) 当(|),c j i i j ≠不全相等时,111(|,)(|)kkk i i i i i j L p l p P j i c j i ===⎛⎫== ⎪⎝⎭∑∑∑R11(|)()d jkk i i j i p c j i f ==⎛⎫= ⎪⎝⎭∑∑⎰R x x11(|)()d jkki i j i p c j i f ==⎛⎫= ⎪⎝⎭∑∑⎰R x x11()(|)()()d jkj iiki j j h x p c j i f h ==⎛⎫ ⎪⎝⎭∑∑⎰R x x x取划分为1{:()min ()},1~j j i i i kh p f j k ≤≤===R x x x可使L 达到最小. 若记1(|)(|)(|),1~kj i i H G c j i P G j k ===∑x x(当出现x 后,被判为来自j G 后验平均损失, 则有1{:(|)min (|)},1~j j i i kH G H G j k ≤≤===R x x x若有多个, 则任判一个.(2) 多个正态总体的Bayes 判别1) 对1,(|)0,i jc j i i j≠⎧=⎨=⎩的情况(i) 当12k ====ΣΣΣΣ时,设~(,)j p j G N μΣ(1~)j k =线性判别函数为()T j j j W b +x a x ,其中111,2ln j T T T j j jj j b p --+-a μΣμΣμ广义平方函数21()()()2ln T j j j j d p -=---x x μΣx μ,1~j k =后验概率22ˆˆ0.5()0.5()1(|)ee jk kd d j k P G --==∑x x x这时最优划分1{:()max ()}j j i i kR W W ≤≤==x x x1{:(|)max (|)}j i i kP G P G ≤≤==x x x (1~j k =)实用中, 用样本均值和样本协方差阵代替.(ii) 1~k Σ不全相等时, 设~(,)j p j j G N μΣ(1~)j k = 则有21()()()ln 2ln T j j j j j j d p -=--+-x x μΣx μΣ后验概率22ˆˆ0.5()0.5()1(|)ee jk kd d j k P G --==∑x x x ,(1~)j k =这时最优划分1{:(|)max (|)}j j i i kR P G P G ≤≤==x x x (1~j k =)实用中, 用2ˆ()j d x ,ˆ(|)jP G x 代替.2) 一般损失情况 计算(|),1~i P G j k =x 及1(|)(|)(|),1~kj i i H G c j i P G j k ===∑x x最优划分为1{:(|)min (|)},1~j j i i kH G H G j k ≤≤===R x x x例5.4 某学院招生时, 有两个参考指标1X : 平均学分指数; 2X 管理能力考试成绩;申请者分为3类: 1G 录取; 2G 不录取; 3G 待定. 近期有85位记录.(部分资料) 假定1) 各总体~正态分布;2) 先验概率按比例;3) 误判损失相同讨论在(i) 协方差阵相同; (ii) 协方差不全相同时; Bayes判别分析, 并给出误判率的回判法和交叉确认法估计值.若有一新申请者的资料13.12x=和2497x=, 在两种情况下各被判入哪类?解(i) 调用proc discrim过程, 得(部分)和**ˆˆ7/850.0824,8/850.094r c p p ====关于新样本0(3.12,497)T x =的后验概率10(|)0.2401P G x =, 20(|)0.0004,P G x =30(|)0.7578P G x =,故应该待定.(ii) 协方差不全相等时, 有和**ˆˆ3/850.03534/850.0471r c p p ====关于新样本0(3.12,497)T x =的后验概率10(|)0.5983P G x =, 20(|)0.0032,P G x =30(|)0.3985P G x =,当属1G 类(录取).总结前述内容均利用了所给定的全部p 个指标变量, 但并非指标变量越多, 判别效果就越好, 相反, 有时可能影响判别分析效果．因此，如回归分析一样，在判别分析中仍存在指标变量的选取问题，称为逐步判别法．限于本书特点，在此不再详述．有兴趣者可参见如[3]中第6章等．另外sA5系统的Proc stepdisc过程(参见[6])可用于逐步判别分析.。

§5.2Bayes 判别1. Bayes 判别的基本思想假设已知对象的先验概率和“先验条件概率”, 而后得到后验概率, 由后验概率作出判别.2. 两个总体的Bayes 判别 (1) 基本推导设概率密度为1()f x 和2()f x 的p 维总体12,G G 出现的先验概率为1122(),()p P G p P G ==(121p p +=)先验概率的取法: (i) 1212p p ==, (ii) 12121212,n n p p n n n n ==++,一个判别法 = 一个划分=12(,)R R =R1212,,p R R R R =⋃=⋂=∅R距离判别中112212{|(,)(,)}{|(,)(,)}R d G d G R d G d G =≤=>x x x x x x判别R 下的误判情况讨论21(2|1,)()d R P f =⎰R x x ,或12(1|2,)()d R P f =⎰R x x代价分别记为(2|1),(1|2),(1|1)0,(2|2)0c c c c ==, 在得新x 后, 后验概率为1111122()(|)()()p f P G p f p f =+x x x x2221122()(|)()()p f P G p f p f =+x x x x(i) 当(1|2)(2|1)c c c ==时, 最优划分是112212{:(|)(|)}{:(|)(|))}R P G P G R P G P G =≥⎧⎨=<⎩x x x x x x 两个总体的Bayes 的判别准则112212,(|)(|),(|)(|)G if P G P G G if P G P G ∈≥⎧⎨∈<⎩x x x x x x 此时, 有最小的误判概率*12(2|1,)(1|2,)p p P p P =+R R .因为21*1122()d ()d R R p p f p f =+⎰⎰x x x x111122(1()d )()d R R p f p f =-+⎰⎰x x x x()112211()()d R p p f p f =+-⎰x x x只有取12211{:()()}R p f p f =≤x x x 时, 才有最小. (ii) 当(1|2)(2|1)c c ≠时对1G 的误判平均损失: (1,)(2|1)(2|1,)l c P R =R , 对2G 的误判平均损失:(2,)(1|2)(1|2,)l c P R =R , 对整个误判的平均损失:12(1,)(2,)L p l p l =+R R12(2|1)(2|1,)(1|2)(1|2,)c p P R c p P R =⋅⋅+⋅⋅可证使L 最小的最优划分是1112221122{:(2|1)()(1|2)()}{:(2|1)()(1|2)()}R c p f c p f R c p f c p f =≥⎧⎨=<⎩x x x x x x 或112212{:(2|1)(|)(1|2)(|)}{:(2|1)(|)(1|2)(|))}R c P G c P G R c P G c P G =≥⎧⎨=<⎩x x x x x x 当12p p =时, 有112212{:(2|1)()(1|2)()}{:(2|1)()(1|2)()}R c f c f R c f c f =≥⎧⎨=<⎩x x x x x x 当12p p =, 且时(1|2)(2|1)c c c ==, 有 112212{:()()}{:()()}R f f R f f =≥⎧⎨=<⎩x x x x x x相当于经典统计学中的似然比准则判别. (2) 两个正态总体的Bayes 判别 1) 12==ΣΣΣ的判别112212,()(),()()G if W W G if W W ∈≥⎧⎨∈<⎩x x x x x x 其中111222(),()T TW b W b ++x a x x a x ,及 111111111,2ln TT T b p --+-a μΣμΣμ122122221,2ln T T T b p --+-a μΣμΣμ 实用中, 用样本均值和样本协方差阵代.替.当1212p p ==时, 与距离判别等价. 如用后验概率来判别(或其估计), 则有112212,(|)(|),(|)(|)G if P G P G G if P G P G ∈≥⎧⎨∈≥⎩x x x x x x .1) 12≠ΣΣ的判别与距离判别的区别为广义平方距离函数21111111()()()ln 2ln((2|1))T d c p -=--+-x x μΣx μΣ,21222222()()()ln 2ln((1|2))T d c p -=--+-x x μΣx μΣ推导过程略.当 “三同”时, 与距离判别一样.(3) 误判概率的计算在12==ΣΣΣ下, 作简要讨论. 用广义距离2221()()d d -x x 可导出划分12{:()}{:()}R W d R W d =≥⎧⎨=≥⎩x x x x (^_^) 其中112()()()T W -=--x μμΣx μ, 21(1|2)ln (2|1)c p d c p =, 两个总体1G 与2G 的马氏平方距离可记为11212()()T λ-=--μμΣμμ经导, 对(^_^)的划分, 其误判率为*121p p p ΦΦ⎛⎫=+- ⎪⎝⎭ 随λ大而小.实用中, 用(1)(2)1(1)(2)ˆ()()T λ-=--x x S x x 代λ.当121/2p p ==时, 有*2112211ˆ2n n p n n ⎛⎫=+ ⎪⎝⎭当12,p p 按容量比例选取时, 即12121212,n n p p n n n n ==++ 有 *122112ˆn n p n n +=+ 误判率的回代估计.例5.3 预报春旱. 两个预报因子的观察值12,X X , 假设误报损失相同, 先验概率按比例. 由下表数据进行两总体的Bayes 判别.解 16/140.4286p ==, 28/140.5714p ==. 调用proc discrim 得12ln || 1.8053,ln || 3.6783S S =-=- (1)(2)25.31622.025,2.416 1.187x x ⎡⎤⎡⎤==--⎢⎥⎢⎥⎣⎦⎣⎦ 122.2130.6570.2730.063,0.6570.2690.0630.106S S --⎡⎤⎡⎤==--⎢⎥⎢⎥⎣⎦⎣⎦ 广义平方距离为(1,2j =)2()1()()()()ln 2ln j T j j j j j d p -=--+-x x xS x x S 后验概率为222ˆˆ0.5()0.5()1ˆ(|)e e j k d d j k P G --==∑x x x ,(1,2j =).回代判别结果如下略,误判率=0;若用交叉确认法, 则应按下式计算2()1()()()()()()()()ln 2ln j j j T j j x x x x j d p -=--+-x x x S x x S 逐个剔除, 交叉判别.有一错(10号被判错), 交叉确认估计*ˆ1/140.0714c p ==3. 多个总体的Bayes 判别(1) 一般讨论设概率密度为1~()k f x 的p 维总体1~k G 出现的先验概率为1~1~()k k p P G =, (11kj j p ==∑)先验概率的取法:(i) 1~1k p k =, 或(ii) 1~1~12k k k n p n n n =++,一个判别法= 一个划分=12{(,,,)}k R R R =R 判别准则 1,,kp j i j j R R R i j ==⋃=⋂=∅≠R判别R 下的误判情况讨论(|,)()d ,j i R P j i f j i =≠⎰R x x ,(1~)j k = 代价记为一个损失矩阵()(|)k k c j i ⨯(约定(|)0,1~c i i i k ==)常取(|)1,c j i i j =≠. 来自i G 判为其他总体的概率是(|,)j iP j i ≠∑R 误判的概率*1(|,)ki i j i p p P j i =≠⎛⎫= ⎪⎝⎭∑∑R 使其最小, 得最优划分.当(|)c j i 不全相等时, 将来自i G 判为其他总体的平均损失率1(|,)(|)ki j l P j i c j i ==∑R误判的平均损失率111(|,)(|)kkk i i i i i j L p l p P j i c j i ===⎛⎫== ⎪⎝⎭∑∑∑R应使其最小的划分R .进一步的讨论1) 当(|)1,c j i i j =≠时,因1(|,)1kj P j i R ==∑, 故(|,)1(|,)j iP j i P i i ≠=-∑R R从而有()()*111(|,)1()d ik ki R i i p P i i f ===-=-∑∑⎰R x x11()d iki R i f ==-∑⎰x x当1{:()max ()},1~i i i j j j kp f p f i k ≤≤===R x x x 时,12(,,,)k R R R =R 是使*p 最小的最优划分.又由Bayes 公式, 当出现样品x 时, 总体i G 的后验概率1~()(|)()i i i j jj kp f P G p f ==∑x x x故最优划分为1{:(|)max (|)}i i j j kR P G P G ≤≤==x x x , (1~i k =)当有多个时, 任选一个.2) 当(|),c j i i j ≠不全相等时,111(|,)(|)kkk i i i i i j L p l p P j i c j i ===⎛⎫== ⎪⎝⎭∑∑∑R11(|)()d jkk i i j i p c j i f ==⎛⎫= ⎪⎝⎭∑∑⎰R x x11(|)()d jkki i j i p c j i f ==⎛⎫= ⎪⎝⎭∑∑⎰R x x11()(|)()()d jkj iiki j j h x p c j i f h ==⎛⎫ ⎪⎝⎭∑∑⎰R x x x 取划分为1{:()min ()},1~j j i i i kh p f j k ≤≤===R x x x可使L 达到最小. 若记1(|)(|)(|),1~kj i i H G c j i P G j k ===∑x x(当出现x 后,被判为来自j G 后验平均损失, 则有1{:(|)min (|)},1~j j i i kH G H G j k ≤≤===R x x x若有多个, 则任判一个. (2) 多个正态总体的Bayes 判别1) 对1,(|)0,i jc j i i j ≠⎧=⎨=⎩的情况(i) 当12k ====ΣΣΣΣ时,设~(,)j p j G N μΣ(1~)j k =线性判别函数为()T j j j W b +x a x ,其中111,2ln j T T T j j jj j b p --+-a μΣμΣμ 广义平方函数21()()()2ln T j j j j d p -=---x x μΣx μ,1~j k = 后验概率22ˆˆ0.5()0.5()1(|)ee jk kd d j k P G --==∑x x x这时最优划分1{:()max ()}j j i i kR W W ≤≤==x x x1{:(|)max (|)}j i i kP G P G ≤≤==x x x (1~j k =)实用中, 用样本均值和样本协方差阵代替.(ii) 1~k Σ不全相等时, 设~(,)j p j j G N μΣ(1~)j k = 则有21()()()ln 2ln T j j j j j j d p -=--+-x x μΣx μΣ后验概率22ˆˆ0.5()0.5()1(|)ee jk kd d j k P G --==∑x x x ,(1~)j k =这时最优划分1{:(|)max (|)}j j i i kR P G P G ≤≤==x x x (1~j k =)实用中, 用2ˆ()j d x ,ˆ(|)j P G x 代替. 2) 一般损失情况 计算(|),1~i P G j k =x 及1(|)(|)(|),1~kj i i H G c j i P G j k ===∑x x最优划分为1{:(|)min (|)},1~j j i i kH G H G j k ≤≤===R x x x例5.4 某学院招生时, 有两个参考指标1X : 平均学分指数; 2X 管理能力考试成绩;申请者分为3类: 1G 录取; 2G 不录取; 3G 待定. 近期有85位记录.(部分资料)假定1) 各总体~正态分布;2) 先验概率按比例;3) 误判损失相同讨论在(i) 协方差阵相同; (ii) 协方差不全相同时; Bayes判别分析, 并给出误判率的回判法和交叉确认法估计值.若有一新申请者的资料13.12x=和2497x=, 在两种情况下各被判入哪类?解(i) 调用proc discrim过程, 得(部分)和**ˆˆ7/850.0824,8/850.094r c p p ==== 关于新样本0(3.12,497)T x =的后验概率10(|)0.2401P G x =, 20(|)0.0004,P G x =30(|)0.7578P G x =,故应该待定.(ii) 协方差不全相等时, 有和**ˆˆ3/850.03534/850.0471r c p p ==== 关于新样本0(3.12,497)T x =的后验概率 10(|)0.5983P G x =, 20(|)0.0032,P G x =30(|)0.3985P G x =,G类(录取).当属1总结前述内容均利用了所给定的全部p个指标变量, 但并非指标变量越多, 判别效果就越好, 相反, 有时可能影响判别分析效果．因此，如回归分析一样，在判别分析中仍存在指标变量的选取问题，称为逐步判别法．限于本书特点，在此不再详述．有兴趣者可参见如[3]中第6章等．另外sA5系统的Proc stepdisc过程(参见[6])可用于逐步判别分析.。

研究与探讨贝叶斯(B ayes)判别分析理论在安全评价中的应用雷兢　沈斐敏(福州大学环境与资源学院　福州350002) 摘　要　论述了多元统计分析方法中的贝叶斯判别分析方法在安全评价中的应用。

通过对原始数据的分析建立起反映被评价对象安全状况的综合指标函数模型,从而简化后续同类评价目标工作量。

关键词　贝叶斯判别分析　安全评价　模型Application of B ayes Discriminant Analysis in S afety Evalu ationLei Jing Shen Feim in(Institute o f Environment and Resources ,Fuzhou Univer sity Fuzhou 350002)Abstract The paper expounds the application of Bayes discrim inant analysis in safety evaluation.Based on analysis of the original datum ,a m odel of evaluation function that reflects safety condition of evaluated object is constructed s o as to sim plify the process of the same evaluat 2ed target.K eyw ords bayes discrim inant analysis safety evaluation m odel 安全是人类生存和发展的最基本的需要之一,它伴随着人类的诞生而产生,存在于人类的所有活动中,随着科学技术的迅猛发展,人民生活水平及安全意识的提高和中国加入WT O ,人们对安全越来越重视,安全在国家的政治、经济、文化生活中已成为必不可少的角色。

实验六判别分析（综合性实验 4学时）1、目的要求：熟练掌握判别分析的基本步骤，对给出的样本建立判别函数，进行判别分析。

2、实验内容：使用指定的数据按实验教材完成相关的操作。

3、主要仪器设备：计算机。

练习：1、为研究舒张期血压和血浆胆固醇对冠心病的作用，某医师测定了50—59岁冠心病人15例和正常人16例的舒张压和胆固醇指标，结果如下表所示。

试做判别分析，建立判别函数以便在临床中用于筛选在临床中用于筛选冠心病人。

操作步骤：Step1：读取数据文件。

其中，变量名“舒张压”、“胆固醇”代表两项指标值。

病人资料和正常人资料合并一同输入，定义变量名为“组别”的变量用于区分冠心病人资料和正常人资料，即冠心病人资料的“组别”值均为1，正常人资料的“组别”值均为2.Step2:选择“Analysis” →“Classify” →“Discriminant”命令，在“Discriminant Analysis”对话框中，选择“组别”变量进入“Grouping Variable”文本框；单击“Define Range”按钮，在“Minimum”文本框中输入1，在“Maximum”文本框中输入2，单击“Continue”按钮，返回主对话框。

Step3：选择变量“舒张压”和“胆固醇”移动到“Independents”列表框中，本例选择“Enterindependents together”判别方式作为判别分析的方法。

Step4：单击“Statistics”按钮，在“Descriptive”选项中选择“Mean”；在“Function Coefficients”选择“Unstandardized”。

单击“Continue”按钮，返回主对话框。

Step5：单击“Classify”按钮，在“Plot”选项组中选择“Combined-groups”选项，在“Display”选项组中选择“Casewise result”和“Summmary table”选项；单击“Continue”按钮，返回主对话框。

贝叶斯判别法一、引言贝叶斯判别法（Bayesian Discriminant Analysis）是一种基于贝叶斯定理的统计学习方法。

它的核心思想是利用样本数据来估计各个类别的先验概率和条件概率密度函数，然后根据贝叶斯定理计算后验概率，从而实现分类。

二、基本原理1. 贝叶斯定理贝叶斯定理是统计学中一个重要的公式，它描述了在已知先验概率的情况下，如何根据新的观测数据来更新对事件发生概率的估计。

具体地说，设A和B是两个事件，则：P(A|B) = P(B|A) * P(A) / P(B)其中P(A|B)表示在已知事件B发生的前提下，事件A发生的条件概率；P(B|A)表示在已知事件A发生的前提下，事件B发生的条件概率；P(A)和P(B)分别为事件A和事件B的先验概率。

2. 贝叶斯判别法贝叶斯判别法是一种基于贝叶斯定理进行分类的方法。

假设有K个类别C1,C2,...,CK，每个类别Ci对应一个条件概率密度函数f(x|Ci)，其中x为样本特征向量。

给定一个新的样本x，我们需要将其归为某个类别中。

根据贝叶斯定理，可以计算出后验概率P(Ci|x)，即在已知样本特征向量x的前提下，该样本属于类别Ci的概率。

具体地说：P(Ci|x) = P(x|Ci) * P(Ci) / P(x)其中P(x|Ci)表示在已知类别Ci的前提下，样本特征向量x的条件概率密度函数；P(Ci)表示类别Ci的先验概率；P(x)表示样本特征向量x的边缘概率密度函数。

根据贝叶斯判别法，将新样本x归为后验概率最大的那个类别中，即：argmax(P(Ci|x)) = argmax(P(x|Ci)*P(Ci))三、分类器构建1. 参数估计贝叶斯判别法需要估计各个类别的先验概率和条件概率密度函数。

其中先验概率可以通过训练集中各个类别出现次数占总数比例来估计。

而条件概率密度函数则需要根据训练集中各个类别对应的样本特征向量来进行估计。

常见的条件概率密度函数包括高斯分布、多项式分布和伯努利分布等。

第三节Bayes判别本节内容贝叶斯公式最大后验概率准则最小平均误判代价准则Bayes判别的基本方法案例分析距离判别法的缺点第一，把总体等同看待，没有考虑到总体会以1不同的概率出现，认为判别方法与总体各自出现的概率的大小无关。

2第二，判别方法与错判之后所造成的损失无关，没有考虑误判之后所造成的损失差异。

贝叶斯（Bayes）公式贝叶斯统计的基本思想：假定对研究的对象已有一定的认识，常用先验概率分布来描述这种认识，然后我们取得一个样本，用样本来修正已有的认识（先验概率分布），得到后验概率分布，各种统计推断都通过后验概率分布进行，将贝叶斯思想用于判别分析，就得到贝叶斯判别。

某公司新入职雇员小王，小王是好员工还是坏员工大家都在猜测。

按人们先验的主观猜测，新人是好员工或坏员工的概率均为0.5。

坏员工总是无法按时完成工作，偶尔也可以顺利完成；好员工一般都能按时完成任务，但偶尔也会出现工作失误：一般好员工按时完成工作的概率为0.9，坏员工按时完成工作的概率为0.2。

近日，小王按时完成了一项工作任务，请问小王此时是好员工的概率有多大?“先验概率”是一种权重（比例），所谓“先验”，是指我们在抽样以前，就已经知道的 ；贝叶斯判别需要研究的“后验概率”，就是当样本X 已知时，它属于G i 的概率。

()i P G ()i P G X 由此，使用“最大后验概率准则”得到的贝叶斯判别规则为：1,()max ()≤≤∈=l l i i kX G P G X P G X 如果最大后验概率准则没有涉及误判的代价，因此，在各种误判代价明显不同的场合，该准则就失效了。

设有k 个总体 ，其各自的分布密度函数 互不相同，假设k 个总体各自出现的概率分别为 （先验概率）， ， 。

假设若将本来属于G i 总体的样品错判到总体G j 时造成的损失为， 。

在这样的情形下，对于新的样品X 判断其来自哪个总体。

问题12,,,k G G G ⋅⋅⋅()()()12,,,k f X f X f X ⋅⋅⋅12,,,k q q q ⋅⋅⋅0≥i q 11ki i q ==∑(|)C j i , 1.2,,=⋅⋅⋅i j k显然 、，对于任意的 成立。

实验十一 Bayes 判别实验目的和要求掌握Bayes 判别分析的理论与方法、模型的建立与误差率估计；掌握利用判别分析的SAS 过程解决有关实际问题.实验要求:编写程序，结果分析．实验内容：1、2题必做，第2-4题可选一题1. 写出两总体Bayes 判别的划分、准则,误判率估计;两总体的Bayes 判别准则为⎩⎨⎧<=∈∈≥=∈∈)}()2|1()()1|2(:{,)}()2|1()()1|2(:{,221122221111x x x x x x x x x x f p c f p c R G f p c f p c R G 如如误判概率的频率估计---回代法和交叉确认法*p ),2|1(),1|2(21R R P p P p +=212112221212112211*ˆn n n n n n n n n n n n n n p++=⋅++⋅+=≈ 回代法估计 21*21*12*ˆn n n n pp c++=≈* 交叉确认法估计2.写出两总体正态分布的Bayes 判别准则，给出样品；两个正态总体的Bayes 判别212221212||)2()},(21exp{)}()(21exp{||)2(1)(j p j j j T j j p j G d f Σx μx Σμx Σx ππ-=---=- )}()(21||ln )2ln(2)(ln 1j j j j j p f μx Σμx Σx -----=-π =)(2x j d )()(1j j T j μx Σμx ---)|(ln 2-ln 2-||ln j i c p j j Σ+---广义平方距离2,1,)(2exp()(2exp()(21exp()|(22212=-+--=j d d d G P j j x x x x ----后验概率最优划分 ⎩⎨⎧>=≤=)}()(:{)}()(:{2221222211x x x x x x d d R d d R两正态总体一般判别准则⎩⎨⎧><∈≤≥∈)()()|()|(,)()()|()|(,22212122221211x x x x x x x x x x d d G P G P G d d G P G P G 或当或当3.书上5.4、5.5选一题 5.4 (1) 结果如下：data examp5_4;input group $ x1-x7 @@; cards ;G1 6.6 39 1.0 6.0 6 0.12 20 G1 6.6 39 1.0 6.0 12 0.12 20 G1 6.1 47 1.0 6.0 6 0.08 12 G1 6.1 47 1.0 6.0 12 0.08 12 G1 8.4 32 2.0 7.5 19 0.35 75 G1 7.2 6 1.0 7.0 28 0.30 30 G1 8.4 113 3.5 6.0 18 0.15 75 G1 7.5 52 1.0 6.0 12 0.16 40 G1 7.5 52 3.5 7.5 6 0.16 40 G1 8.3 113 0.0 7.5 35 0.12 180 G1 7.8 172 1.0 3.5 14 0.21 45 G1 7.8 172 1.5 3.0 15 0.21 45 G2 8.4 32 1.0 5.0 4 0.35 75 G2 8.4 32 2.0 9.0 10 0.35 75 G2 8.4 32 2.5 4.0 10 0.35 75 G2 6.3 11 4.5 7.5 3 0.20 15 G2 7.0 8 4.5 4.5 9 0.25 30 G2 7.0 8 6.0 7.5 4 0.25 30 G2 7.0 8 1.5 6.0 1 0.25 30 G2 8.3 161 1.5 4.0 4 0.08 70 G2 8.3 161 0.5 2.5 1 0.08 70 G2 7.2 6 3.5 4.0 12 0.30 30 G2 7.2 6 1.0 3.0 3 0.30 30 G2 7.2 6 1.0 6.0 5 0.30 30 G2 5.5 6 2.5 3.0 7 0.18 18 G2 8.4 113 3.5 4.5 6 0.15 75 G2 8.4 113 3.5 4.5 8 0.15 75 G2 7.5 52 1.0 6.0 6 0.16 40 G2 7.5 52 1.0 7.5 8 0.16 40G2 8.3 97 0.0 6.0 5 0.15 180G2 8.3 97 2.5 6.0 5 0.15 180G2 8.3 89 0.0 6.0 10 0.16 180G2 8.3 56 1.5 6.0 13 0.25 180G2 7.8 172 1.0 3.5 6 0.21 45G2 7.8 233 1.0 4.5 6 0.18 45;run;proc discrim data=examp5_4 wcov outstat=aa method=normal pool=no list crosslist;class group;priors proportional; /* 总体的先验概率与各总体的训练样本容量成比例 */ run;proc print data=aa; /* 数据集aa中有各总体的均值向量、标准差、相关系数等*/ run;结果如下：计算广义平方距离函数和后验概率2,1,))(ˆ5.0exp(/))(ˆ5.0exp()|(ˆ2122=--=∑=j d d G P k kj j x x x由此可见，误判率的回代估计为0ˆ* r p ．误判率的交叉确认法估计交叉确认法的广义平方距离函数及后验概率计算公式2,1,ln 2||ln (()(~)()()1()()(2=-+--=-j p d j x j x x j x j jj S )x x )S x x x2,1,))(ˆ5.0exp(/))(ˆ5.0exp()|(ˆ2122=--=∑=j d d G P k kj j x x x交叉确认法分类小结4.针对波士顿房价问题(1) 利用Bayes 判别对住房状况做判别分析，并给出5、100、400号样品判别结果。