贝叶斯决策理论-模式识别课程作业

模式识别专业：电子信息工程班级：电信****班学号：********** 姓名：艾依河里的鱼一、贝叶斯决策（一）贝叶斯决策理论 1.最小错误率贝叶斯决策器在模式识别领域，贝叶斯决策通常利用一些决策规则来判定样本的类别。

最常见的决策规则有最大后验概率决策和最小风险决策等。

设共有K 个类别，各类别用符号k c ()K k ,,2,1 =代表。

假设k c 类出现的先验概率()k P c以及类条件概率密度()|k P c x 是已知的，那么应该把x 划分到哪一类才合适呢？若采用最大后验概率决策规则，首先计算x 属于k c 类的后验概率()()()()()()()()1||||k k k k k Kk k k P c P c P c P c P c P P c P c ===∑x x x x x然后将x 判决为属于kc ~类，其中()1arg max |kk Kk P c ≤≤=x若采用最小风险决策，则首先计算将x 判决为k c 类所带来的风险(),k R c x ，再将x 判决为属于kc ~类，其中()min ,kkk R c =x可以证明在采用0-1损失函数的前提下，两种决策规则是等价的。

贝叶斯决策器在先验概率()k P c 以及类条件概率密度()|k P c x 已知的前提下，利用上述贝叶斯决策规则确定分类面。

贝叶斯决策器得到的分类面是最优的，它是最优分类器。

但贝叶斯决策器在确定分类面前需要预知()k P c 与()|k P c x ，这在实际运用中往往不可能，因为()|k P c x 一般是未知的。

因此贝叶斯决策器只是一个理论上的分类器，常用作衡量其它分类器性能的标尺。

最小风险贝叶斯决策可按下列步骤进行： (1)在已知)(i P ω，)(i X P ω，i=1,…，c 及给出待识别的X 的情况下，根据贝叶斯公式计算出后验概率：∑==cj iii i i P X P P X P X P 1)()()()()(ωωωωω j=1,…，x(2)利用计算出的后验概率及决策表，按下面的公式计算出采取i a ,i=1,…，a 的条件风险∑==cj j j i i X P a X a R 1)(),()(ωωλ,i=1,2,…,a(3)对(2)中得到的a 个条件风险值)(X a R i ,i=1,…，a 进行比较，找出使其条件风险最小的决策k a ，即()()1,min k i i aR a x R a x ==则k a 就是最小风险贝叶斯决策。

1. 假设在某个局部地区细胞识别中正常和异常两类的先验概率分别为: = 0.9 正常状态：P = 0. 异常状态：P 现有一待识别细胞，其观察值为 ，从类条件概率密度曲线上分别查得 P = 0. ，P = 0.4 按照最小错误率原则，试对该细胞 进行分类。 【解】 最小错误率原则下的贝叶斯决策需要比较后验概率 P 后验概率大的那一类 P P P = P P 由于分母部分相同，只需要比较分子部分即可 P P = 0. 0.9 = 0. P P = 0.4 0. = 0.04 P P P 由于 P ，因此将细胞 = P P P 和P
其中是一个 似然函数
维的向量，Σ是一个
维的对称矩阵
对上式取对数，并去掉常数项−
log
之后，得到对数似然函数为
(1) 参数 的最大似然估计 由矩阵代数理论知，对于实对称矩阵 ，有 于是可得 = 成立
令
= 0，解得
(2) 参数Σ的最大似然估计 相关公式：
关于以上公式的详细讨论，请参考 多元正态分布.pdf 13.5 节 对 Σ 稍作变形
令
Σ−
= 0，解得
，将未知样本预测为
预测为
= = 0， = ， =t 2. 如果： 请按照最小风险贝叶斯决策对上题的待识别细胞进行分类。 【解】 最小风险贝叶斯决策需要比较条件平均风险 和 ，将未知样本预测为条件平均风险 小的那一类 P P P P = 0 0. 0.9 t 0.4 0. = 0. 4 = P P P P = 0. 0.9 0 0.4 0. = 0. = 由于 ，因此将细胞 预测为 3. 多维正态分布的最大似然估计推导。 【解】 数据集 = ， ∈ 多维正态分布的参数化表达形式为

−1 2 1

1
3
n ∑ t2 i =C λ i=1 i
显然，此为一超椭球面的方程，主轴长度由{λi , i = 1, · · · , n}决定，方向由变 换矩阵A，也就是Σ的特征向量决定。 2.19 假定x和m是两个随机变量，并在给定m时，x的条件密度为
1 1 p(x|m) = (2π )− 2 σ −1 exp{− (x − m)2 /σ 2 } 2
c ∑ j =1 c ∫ ∑ j =1 Rj
P (x ∈ Rj |ωj )p(ωj ) =
p(x|ωj )p(ωj )dx
又因为p(e) = 1 − p(c)，所以 min p(e) ⇒ max p(c) ⇒ max
c ∫ ∑ j =1 Rj
p(x|ωj )p(ωj )dx
由上式可得到判决准则：若p(x|ωi )p(ωi ) > p(x|ωj )p(ωj ), ∀j ̸= i，则x ∈ ωi 等价于若p(ωi |x) > p(ωj |x), ∀j ̸= i，则x ∈ ωi 。 2.6 对两类问题，证明最小风险贝叶斯决策规则可表示为 ω1 p(x|ω1 ) (λ12 − λ22 )P (ω2 ) 若 ≷ 则x ∈ p(x|ω2 ) (λ21 − λ11 )P (ω1 ) ω2 证明： R(α1 |x) = λ11 p(ω1 |x) + λ12 p(ω2 |x)R(α2 |x) = λ21 p(ω1 |x) + λ22 p(ω2 |x) 若R(α1 |x) < R(α2 |x)，则x ∈ ω1 , 代入即得所求结果。 2.9 写出两类和多类情况下最小风险贝叶斯决策判别函数和决策面方程。 解：两类情况下判别函数为：g (x) = R(α1 |x)−R(α2 |x)，决策面方程为：g (x) = 0； 多 类 情 况 下 定 义 一 组 判 别 函 数gi (x) = R(αi |x), i = 1, · · · , c， 如 果 对 所 有 的j ̸= i， 有 ：gi (x) < gj (x)， 则x ∈ ωi ， 其 中 第i类 和 第j 类 之 间 的 决 策 面 为：gi (x) − gj (x) = 0。 ∑c 当然，将R(αi |x) = j =1 λ(αi , ωj )P (ωj |x), i = 1, · · · , a代入亦可。 2.15 证明多元正态分布的等密度点轨迹是一个超椭球面，且其主轴方向由Σ的特征 向量决定，轴长度由Σ的特征值决定。

=α
∏ p( x | μ ) p( μ )
i =1 i
N
=α
∏
i =1
N
⎡ 1 ⎢ exp ⎢ − 2πσ ⎢ ⎣
( xi − μ )
2σ
2
2
⎤ ⎡ 1 ⎥ ⎢ ⎥ • 2πσ exp ⎢ − 0 ⎥ ⎢ ⎦ ⎣
( μ − μ0 ) ⎤⎥ ⎥ 2σ ⎥ 0 ⎦
2 2
= α exp ⎢ − [⎜
''
⎡ 1 ⎛ N ⎛ 1 1 ⎞ 2 μ + − 2 ⎟ ⎜ 2 2 σ 02 ⎟ 2 ⎜ ⎢ ⎝σ σ ⎝ ⎠ ⎣
2 1 N +C ( x − μ ) ∑ 2 i =1 i
似然函数 μ 求导
∂L( μ ) N = ∑ x -N μ =0 i ∂μ i =1
∧
所以 μ 的最大似然估计： μ =
1 N
∑ xi
i =1
N
贝叶斯估计： p（ μ |X）=
p( X | μ ) p( μ )
∫ p( X | μ ) p(μ )du
2 σn =
σ 02σ 2 2 Nσ 0 +σ 2
其中， mN =
1 N
∑x ，μ
i =1 i
N
n
就是贝叶斯估计。
7 略
得证。 3、使用最小最大损失判决规则的错分概率是最小吗？为什么？
答：不是最小的。首先要明确当我们谈到最小最大损失判决规则时，先验概率是未知的， 而先验概率的变化会导致错分概率变化， 故错分概率也是一个变量。 使用最小最大损 失判决规则的目的就是保证在先验概率任意变化导致错分概率变化时， 错分概率的最 坏（即最大）情况在所有判决规则中是最好的（即最小）。 4、 若 λ11 = λ22 =0， λ12 = λ21 ，证明此时最小最大决策面是来自两类的错误率相等。 证明：最小最大决策面满足 （ λ11 - λ22 ）+（ λ21 - λ11 ） 容易得到

第一章 绪论1.什么是模式？具体事物所具有的信息。

模式所指的不是事物本身，而是我们从事物中获得的___信息__。

2.模式识别的定义？让计算机来判断事物。

3.模式识别系统主要由哪些部分组成？数据获取—预处理—特征提取与选择—分类器设计/ 分类决策。

第二章 贝叶斯决策理论1.最小错误率贝叶斯决策过程？ 答：已知先验概率，类条件概率。

利用贝叶斯公式得到后验概率。

根据后验概率大小进行决策分析。

2.最小错误率贝叶斯分类器设计过程？答：根据训练数据求出先验概率类条件概率分布 利用贝叶斯公式得到后验概率如果输入待测样本X ，计算X 的后验概率根据后验概率大小进行分类决策分析。

3.最小错误率贝叶斯决策规则有哪几种常用的表示形式？ 答：4.贝叶斯决策为什么称为最小错误率贝叶斯决策？答：最小错误率Bayes 决策使得每个观测值下的条件错误率最小因而保证了（平均）错误率 最小。

Bayes 决策是最优决策：即，能使决策错误率最小。

5.贝叶斯决策是由先验概率和（类条件概率）概率，推导（后验概率）概率，然后利用这个概率进行决策。

6.利用乘法法则和全概率公式证明贝叶斯公式答：∑====mj Aj p Aj B p B p A p A B p B p B A p AB p 1)()|()()()|()()|()(所以推出贝叶斯公式7.朴素贝叶斯方法的条件独立假设是（P(x| ωi) =P(x1, x2, …, xn | ωi)⎩⎨⎧∈>=<211221_,)(/)(_)|()|()(w w x w p w p w x p w x p x l 则如果∑==21)()|()()|()|(j j j i i i w P w x P w P w x P x w P 2,1),(=i w P i 2,1),|(=i w x p i ∑==21)()|()()|()|(j j j i i i w P w x P w P w x P x w P ∑===Mj j j i i i i i A P A B P A P A B P B P A P A B P B A P 1)()|()()|()()()|()|(= P(x1| ωi) P(x2| ωi)… P(xn| ωi)）8.怎样利用朴素贝叶斯方法获得各个属性的类条件概率分布？答：假设各属性独立，P(x| ωi) =P(x1, x2, …, xn | ωi) = P(x1| ωi) P(x2| ωi)… P(xn| ωi) 后验概率：P(ωi|x) = P(ωi) P(x1| ωi) P(x2| ωi)… P(xn| ωi)类别清晰的直接分类算，如果是数据连续的，假设属性服从正态分布，算出每个类的均值方差，最后得到类条件概率分布。

1.①：贝叶斯风险最小决策规则)|(min arg ix i R α 其中 ∑==ci ij x R 1j i x)| P()|(ωλα ②：最小错误率决策规则)|(ax arg ix i P m ω ③：引入拒识后的最小损失决策规则分类规则和拒识规则（c+1为拒识）:⎪⎩⎪⎨⎧+>=otherwisec x i R ，1s r -1x)|i P( if x),|i P( max arg )|(min arg i i λλωωα 2：①类概率密度函数())]-x ()-x (21exp[||21)|x (1212di μμωi i T i i P -∑-∑=π ②最小错误率决策判别函数a. 类协方差矩阵不等)(ln |i|ln 2121-i21-x x )(i 1i01i 1i i0t i i i ωμμωμωP w W w W x x g i T i i T +∑-∑=∑=∑=++=---b. 类协方差矩阵相等 )(ln 21-x )(i 1i01i i0i i ωμμωμωP w w x g i T i i t +∑=∑=+=--③协方差矩阵奇异时的解决方案1. 换其他方法估计参数2. 采用其他分布3. ①)1(2)())((2)(exp{)1(21),(222212221212121222222121ρσσμσμμσρσμσρσσπ--+--+--=y y x x x x p对上式在区间对),(+∞-∞x1进行积分可得：}2)(exp{21)(p 2121211σμπσ--=x x X 求得： )1(2)/)(-(exp{)1(21)()2,1()1|2(222211222221ρσσμρσμρπσ-----==x y x p x x p x x p x 其中2112σσσρ= ②如果21σσ==1 )1(2))(-(exp{)1(21)()2,1()1|2(221221ρμρμρπ-----==x y x p x x p x x p x 其中12σρ=4.①ZAC 白化的作用是去除样本特征值各维度之间的相关性，并且尽可能的接近原始数据 ②下面我结合自己的理解，使用最大方差理论对去相关矩阵进行分析和推导，理解不完善之处望老师指正没有经过处理的特征是存在相关性的，比如图像的相邻像素之间就存在很大的相关性，为了去掉这些相关性，可以把特征向量投影在一些正交的直线上得到新的特征向量，这些正交的直线都通过中心（均值），以这些直线的方向向量为列向量组成的矩阵就称为去相关矩阵。

作业一：设以下模式类别具有正态概率密度函数： ω1：{(0 0)T , (2 0)T , (2 2)T , (0 2)T }ω2：{(4 4)T , (6 4)T , (6 6)T , (4 6)T }（1）设P(ω1)= P(ω2)=1/2，求这两类模式之间的贝叶斯判别界面的方程式。

（2）绘出判别界面。

答案：（1）模式的均值向量m i 和协方差矩阵C i 可用下式估计：2,111==∑=i x N m i N j ij i i2,1))((11=--=∑=i m x m x N C i N j Ti ij i ij i i 其中N i 为类别ωi 中模式的数目，x ij 代表在第i 个类别中的第j 个模式。

由上式可求出：T m )11(1= T m )55(2= ⎪⎪⎭⎫ ⎝⎛===1 00 121C C C ，⎪⎪⎭⎫⎝⎛=-1 00 11C 设P(ω1)=P(ω2)=1/2，因C 1=C 2，则判别界面为：24442121)()()(2121211112121=+--=+--=----x x m C m m C m x C m m x d x d T T T（2）作业二：编写两类正态分布模式的贝叶斯分类程序。

程序代码：#include<iostream>usingnamespace std;void inverse_matrix(int T,double b[5][5]){double a[5][5];for(int i=0;i<T;i++)for(int j=0;j<(2*T);j++){ if (j<T)a[i][j]=b[i][j];elseif (j==T+i)a[i][j]=1.0;elsea[i][j]=0.0;}for(int i=0;i<T;i++){for(int k=0;k<T;k++){if(k!=i){double t=a[k][i]/a[i][i];for(int j=0;j<(2*T);j++){double x=a[i][j]*t;a[k][j]=a[k][j]-x;}}}}for(int i=0;i<T;i++){double t=a[i][i];for(int j=0;j<(2*T);j++)a[i][j]=a[i][j]/t;}for(int i=0;i<T;i++)for(int j=0;j<T;j++)b[i][j]=a[i][j+T];}void get_matrix(int T,double result[5][5],double a[5]) {for(int i=0;i<T;i++){for(int j=0;j<T;j++){result[i][j]=a[i]*a[j];}}}void matrix_min(int T,double a[5][5],int bb){for(int i=0;i<T;i++){for(int j=0;j<T;j++)a[i][j]=a[i][j]/bb;}}void getX(int T,double res[5],double a[5],double C[5][5]) {for(int i=0;i<T;i++)double sum=0.0;for(int j=0;j<T;j++)sum+=a[j]*C[j][i];res[i]=sum;}}int main(){int T;int w1_num,w2_num;double w1[10][5],w2[10][5],m1[5]={0},m2[5]={0},C1[5][5]={0},C2[5][5]={0};cin>>T>>w1_num>>w2_num;for(int i=0;i<w1_num;i++){for(int j=0;j<T;j++){cin>>w1[i][j];m1[j]+=w1[i][j];}}for(int i=0;i<w2_num;i++){for(int j=0;j<T;j++){cin>>w2[i][j];m2[j]+=w2[i][j];}}for(int i=0;i<w1_num;i++)m1[i]=m1[i]/w1_num;for(int i=0;i<w2_num;i++)m2[i]=m2[i]/w2_num;for(int i=0;i<w1_num;i++){double res[5][5],a[5];for(int j=0;j<T;j++)a[j]=w1[i][j]-m1[j];get_matrix(T,res,a);for(int j=0;j<T;j++){for(int k=0;k<T;k++)C1[j][k]+=res[j][k];}matrix_min(T,C1,w1_num);for(int i=0;i<w2_num;i++){double res[5][5],a[5];for(int j=0;j<T;j++)a[j]=w2[i][j]-m2[j];get_matrix(T,res,a);for(int j=0;j<T;j++){for(int k=0;k<T;k++)C2[j][k]+=res[j][k];}}matrix_min(T,C2,w2_num);inverse_matrix(T,C1);inverse_matrix(T,C2);double XX[5]={0},C_C1[5]={0},C_C2[5]={0};double m1_m2[5];for(int i=0;i<T;i++){m1_m2[i]=m1[i]-m2[i];}getX(T,XX,m1_m2,C1);getX(T,C_C1,m1,C1);getX(T,C_C2,m2,C1);double resultC=0.0;for(int i=0;i<T;i++)resultC-=C_C1[i]*C_C1[i];for(int i=0;i<T;i++)resultC+=C_C2[i]*C_C2[i];resultC=resultC/2;cout<<"判别函数为："<<endl;cout<<"d1(x)-d2(x)=";for(int i=0;i<T;i++)cout<<XX[i]<<"x"<<i+1;if(resultC>0)cout<<"+"<<resultC<<endl;elseif(resultC<0)cout<<resultC<<endl;return 0;}运行截图：。

• 2.10 随机变量l(x)定义为l(x) = p(x|w1) ，l(x)又称为似然比，试证明 p(x|w2)
– (1) E{ln(x)|w1} = E{ln+1(x)|w2} – (2) E{l(x)|w2} = 1 – (3) E{l(x)|w1} − E2{l(x)|w2} = var{l(x)|w2}（教材中题目有问题） 证∫ 明ln+：1p对(x于|w(12))，dxE={ln∫(x()∫p(|wp(x(1x|}w|w=1)2))∫n)+nl1nd(xx)所p(x以|w∫，1)Ed{xln=(x∫)|w(1p(}p(x(=x|w|Ew1)2{))ln)n+n+11d(xx)又|wE2}{ln+1(x)|w2} = 对于(2)，E{l(x)|w2} = l(x)p(x|w2)dx = p(x|w1)dx = 1
对于(3)，E{l(x)|w1} − E2{l(x)|w2} = E{l2(x)|w2} − E2{l(x)|w2} = var{l(x)|w2}
• 2.11 xj(j = 1, 2, ..., n)为n个独立随机变量，有E[xj|wi] = ijη，var[xj|wi] = i2j2σ2，计 算在λ11 = λ22 = 0 及λ12 = λ21 = 1的情况下，由贝叶斯决策引起的错误率。（中心极限 定理）
R2
R1
容易得到
∫
∫
p(x|w2)dx = p(x|w1)dx
R1
R2
所以此时最小最大决策面使得P1(e) = P2(e)
• 2.8 对于同一个决策规则判别函数可定义成不同形式，从而有不同的决策面方程，指出 决策区域是不变的。
3
模式识别(第二版)习题解答

《模式识别》习题
二、Bayes 决策理论
1. 医生要根据病人血液中白细胞的浓度来判断病人是否患血液病。

根据医学知识和以往的经验，医生知道：一般人群中，患病的人数比例为0.5%。

患者白细胞的浓度服从均值2000，标准差1000的正态分布；健康人白细胞的浓度服从均值7000，标准差3000的正态分布。

如果一个人的白细胞浓度是3100，请问：
(1) 医生该做出怎样的判断？
(2) 假设没病被判为有病，可能引起的损失为1；有病被判为无病，
可能引起的损失为100，医生又该做出怎样的判断？最小风险Bayes 的决策阈值为多少？
2．设一个一维的两类问题，条件密度为以下柯西分布：
()211|,1,21i i p x i b x a b ωπ=⋅=-⎛⎫+ ⎪⎝⎭
（1）设()()12P P ωω=，证明如果()12/2x a a =+，则()()12||P x P x ωω=，也就是说，不管b 为多少，最小误差判决边界是两个分布的峰值之间的中点。

（2）解释当x →-∞及x →+∞时()1|P x ω和()2|P x ω将如何。

（3）如设类别的先验概率相等，证明最小误差概率为：
()12111tan ||22a a P e b π--=-
（4）上述()
P e的最大值是多少？在什么条件下可以达到此值？试说明原因。

模式识别大作业一．K均值聚类（必做，40分）1.K均值聚类的基本思想以及K均值聚类过程的流程图；2.利用K均值聚类对Iris数据进行分类，已知类别总数为3。

给出具体的C语言代码，并加注释。

例如，对于每一个子函数，标注其主要作用，及其所用参数的意义，对程序中定义的一些主要变量，标注其意义；3.给出函数调用关系图，并分析算法的时间复杂度；4.给出程序运行结果，包括分类结果（只要给出相对应的数据的编号即可）以及循环迭代的次数；5.分析K均值聚类的优缺点。

二．贝叶斯分类（必做，40分）1.什么是贝叶斯分类器，其分类的基本思想是什么；2.两类情况下，贝叶斯分类器的判别函数是什么，如何计算得到其判别函数；3.在Matlab下，利用mvnrnd()函数随机生成60个二维样本，分别属于两个类别（一类30个样本点），将这些样本描绘在二维坐标系下，注意特征值取值控制在（-5，5）范围以内；4.用样本的第一个特征作为分类依据将这60个样本进行分类，统计正确分类的百分比，并在二维坐标系下将正确分类的样本点与错误分类的样本点用不同标志（正确分类的样本点用“O”，错误分类的样本点用“X”）画出来；5.用样本的第二个特征作为分类依据将这60个样本再进行分类，统计正确分类的百分比，并在二维坐标系下将正确分类的样本点与错误分类的样本点用不同标志画出来；6.用样本的两个特征作为分类依据将这60个样本进行分类，统计正确分类的百分比，并在二维坐标系下将正确分类的样本点与错误分类的样本点用不同标志画出来；7.分析上述实验的结果。

8.60个随即样本是如何产生的的；给出上述三种情况下的两类均值、方差、协方差矩阵以及判别函数；三．特征选择（选作，15分）1.经过K均值聚类后，Iris数据被分作3类。

从这三类中各选择10个样本点；2.通过特征选择将选出的30个样本点从4维降低为3维，并将它们在三维的坐标系中画出（用Excell）；3.在三维的特征空间下，利用这30个样本点设计贝叶斯分类器，然后对这30个样本点利用贝叶斯分类器进行判别分类，给出分类的正确率，分析实验结果，并说明特征选择的依据；。

5. 有一个二维空间的两类问题，每类均服从 有一个二维空间的两类问题， 正态分布，且有相同的协方差矩阵： 正态分布，且有相同的协方差矩阵： (0 0)T µ1 = 1.1 0.3
∑= 0.3 1.9 其均值向量分别是：µ = (3 3)T 其均值向量分别是： 2 根据贝叶斯分类器确定样本 (1.0 2.2)T 属于
3.设一维两类模式服从正态分布，其中： 设一维两类模式服从正态分布，其中： 设一维两类模式服从正态分布
µ1 = 0, σ 1 = 2, µ 2 = 2, σ 2 = 2
令两类先验概率 P(ω1 ) = P(ω2 ) 损失函数， 取0－1损失函数，试计算判决分界点，并 － 损失函数 试计算判决分界点， 绘出它们的概率密度函数；试确定样本-3,绘出它们的概率密度函数；试确定样本 2,1,3,5各属于那一类 各属于那一类
55 x1 + 68 x2 + 32 x3 + 16 x4 + 26 x5 + 10 = 0
试求出其权向量与样本向量点积的表达式 wT x = 0 中的 与x 中的w与
2.设在三维空间中的一个类别分类问题拟采 设在三维空间中的一个类别分类问题拟采 用二次曲面，如果要采用线性方程求解， 用二次曲面，如果要采用线性方程求解， 试问其广义样本向量与广义权向量的表达 式。
第四章
1.给定如下 个6维样本： 给定如下5个 维样本 维样本： 给定如下
x1 : (0 1 3 1 3 4 ) x3 : (1 0 0 0 1 1) x5 : (0 0 1 0 1
T T
x4 : (2 1 0 2 2 1)
x2 : (3 3 3 1 2 1)
T T
)T 0
试用最大最小距离聚类算法进行聚类分析。 试用最大最小距离聚类算法进行聚类分析。

深圳大学研究生课程：模式识别理论与方法课程作业实验报告实验名称：Bayes Classifier实验编号：proj02-01姓名：汪长泉学号：2100130303规定提交日期：2010年10月20日实际提交日期：2010年10月20日摘要：在深入掌握多维高斯分布性质，贝叶斯分类的基础上，用计算机编程实现一个分类两类模式样本的贝叶斯分类器。

用matlab编程，并分析了实验结果，得出贝叶斯分类的一般结论。

1. 贝叶斯分类器贝叶斯分类器的分类原理是通过某对象的先验概率，利用贝叶斯公式计算出其后验概率，即该对象属于某一类的概率，选择具有最大后验概率的类作为该对象所属的类。

1.1 两类情况两类情况是多类情况的基础，多类情况往往是用多个两类情况解决的。

① 用i ω,i =1, 2表示样本x （一般用列向量表示）所属的类别。

② 假设先验概率()P ω1,()P ω2已知。

(这个假设是合理的，因为如果先验概率未知，可以从训练特征向量中估算出来，即如果N 是训练样本总数，其中有,N N 12个样本分别属于2,1ωω，则相应的先验概率：()/P N N ω≈11,2()/P N N ω≈2)③ 假设（类）条件概率密度函数(|),i p ωx i =1，2已知，用来描述每一类中特征向量的分布情况。

如果类条件概率密度函数未知，则可以从可用的训练数据中估计出来。

1.2贝叶斯判别方法贝叶斯分类规则描述为：如果2(|)(|)P ωP ω>1x x ,则x ∈1ω如果2(|)(|)P ωP ω<1x x ,则x ∈2ω （2-1-1） 贝叶斯分类规则就是看x ∈ω1的可能性大，还是x ∈2ω的可能性大。

(|)i P ωx ，i =1,2解释为当样本x 出现时，后验概率(|)P ω1x 和(|)P ω2x 的大小从而判别为属于1ω或属于2ω类。

1.3三种概率的关系――――贝叶斯公式()()(|)=()i i i p |P P p ωωωx x x （2-1-3）其中，()p x 是x 的概率密度函数（全概率密度），它等于所有可能的类概率密度函数乘以相应的先验概率之和。

• 2.5
1. 对c类情况推广最小错误率率贝叶斯决策规则； 2. 指出此时使错误率最小等价于后验概率最大，即P (wi|x) > P (wj|x) 对一切j ̸= i
成立时，x ∈ wi。
2
模式识别(第二版)习题解答
解：对于c类情况，最小错误率贝叶斯决策规则为： 如果 P (wi|x) = max P (wj|x)，则x ∈ wi。利用贝叶斯定理可以将其写成先验概率和
(2) Σ为半正定矩阵所以r(a, b) = (a − b)T Σ−1(a − b) ≥ 0，只有当a = b时，才有r(a, b) = 0。
(3) Σ−1可对角化，Σ−1 = P ΛP T


h11 h12 · · · h1d
• 2.17 若将Σ−1矩阵写为：Σ−1 = h...12
h22 ...
P (w1) P (w2)
= 0。所以判别规则为当(x−u1)T (x−u1) > (x−u2)T (x−u2)则x ∈ w1,反
之则s ∈ w2。即将x判给离它最近的ui的那个类。
[
• 2.24 在习题2.23中若Σ1 ̸= Σ2，Σ1 =
1
1
2
策规则。
1]
2
1
，Σ2
=
[ 1
−
1 2
−
1 2
] ，写出负对数似然比决
1
6
模式识别(第二版)习题解答
解：
h(x) = − ln [l(x)]
= − ln p(x|w1) + ln p(x|w2)
=
1 2 (x1
−
u1)T
Σ−1 1(x1
−
u1)
−
1 2 (x2

2
= min p (ω1 x ) , p (ω2 x ) max p (ω1 x ) , p (ω2 x )
= p ω1 x p ω2 x
(
) (
)
所以， p ω1 x p ω2 x 能过给出误差率的下界。 d) 因为：
(
) (
)
pβ ( error ) = ∫ β p (ω1 x ) p ( ω2 x ) p ( x ) dx
α 4
∫
Hale Waihona Puke +∞p ( x ) dx <
显而易见： pα ( error ) < p ( error ) ，因此当 α < 2 时，无法得到误差率的上界。 c) 因为：
p ( error x ) ≥ p ( error x ) − p ( error x ) = p ( error x ) 1 − p ( error x )
i =1 ωi ≠ωmax
∑ P (ω x ) p ( x ) d x
i
c
= ∫ 1 − P (ωmax x ) p ( x ) dx = 1 − ∫ P (ωmax x ) p ( x ) dx
d) 续上式：
(
)
P ( error ) = 1 − ∫ P (ωmax x ) p ( x ) dx ≤ 1− ∫ 1 1 c −1 p ( x ) dx = 1 − = c c c
n t
′ ′ ′ Σ′ = ∑ ( x′ k − μ )( x k − μ )
k =1 n
= ∑ Tt ( x 0 k − μ )( x 0 k − μ ) T
t k =1
n t = Tt ∑ ( x 0 k − μ )( x 0 k − μ ) T k =1 = T t ΣT

模式识别理论与方法
课程作业实验报告
实验名称：Generating Pattern Classes
实验编号：Proj02-01
规定提交日期：2012年3月30日
实际提交日期：2012年3月24日
摘要：
在熟悉贝叶斯分类器基本原理基础上，通过对比分类特征向量维数差异而导致分类正确率发生的变化，验证了“增加特征向量维数，可以改善分类结果”。

对于类数的先验概率已知、且无须考虑代价函数的情况，贝叶斯分类器相当简单：“跟谁亲近些，就归属哪一类”。

技术论述：
1，贝叶斯分类器基本原理：多数占优，错误率最小，风险最低
在两类中，当先验概率相等时，贝叶斯分类器可以简化如下：
2，增加有效分类特征分量，可以有助于改善分类效果
实验结果讨论：
从实验的过程和结果来看，进一步熟悉了贝叶斯分类器的原理和使用，基本达到了预期目的。

实验结果：
图1 原始数据
图2 按第1 个特征分量分类结果
图3 按第2 个特征分量分类结果
图4 综合两个特征分量分类结果附录：（程序清单，参见压缩包）
%在Matlab 版本2009a 下运行通过。

1、 在图像识别中，假定有灌木和坦克2种类型，它们的先验概率分别是0.7和0.3，损失函数如下表所示。

其中，类型w 1和w 2分别表示灌木和坦克，判决a 1=w 1，a 2=w 2。

现在做了2次实验，获得2个样本的类概率密度如下：5.02.0)|(1=ωx P 3.06.0)|(2=ωx P（1）试用最小错误率贝叶斯准则判决2个样本各属于哪一类？坦克、灌木。

（2）试用最小风险决策规则判决2个样本各属于哪一类？灌木、灌木。

答：（1）最小错误率贝叶斯准则，决策为坦克第一个样本：2121221111)|()|(5625.04375.01)|(1)|(4375.032143.0*6.07.0*2.07.0*2.0)()|()()|()|(ωωωωωωωωωω∈⇒>=-=-===+==∑=x x P x P x P x P P x p P x p x P j j j ，决策为灌木第二个样本：1121221111)|()|(449205.0795.01)|(1)|(795.044353.0*3.07.0*5.07.0*5.0)()|()()|()|(ωωωωωωωωωω∈⇒<==-≈-=≈=+==∑=x x P x P x P x P P x p P x p x P j jj（2）最小风险决策规则，决策为灌木第一个样本1212221212122212111211122211211)|()|(3175.25625.0*0.14375.0*4)|()|()|()|(35375.15625.0*24375.0*5.0)|()|()|()|(0.1425.0ωωλωλωλωλωλωλλλλλ∈⇒<=+=+===+=+======∑∑==x x a R x a R x P x P x P x a R x P x P x P x a R j j j j j j，决策为灌木第二个样本12122212121222121112111)|()|(385.3205.0*0.1795.0*4)|()|()|()|(8075.0205.0*2795.0*5.0)|()|()|()|(ωωλωλωλωλωλωλ∈⇒<=+=+===+=+==∑∑==x x a R x a R x P x P x P x a R x P x P x P x a R j j j j j j2、 给出二维样本数据(-1,1),(2,2),(1,-1),(-2,-2)，试用K-L 变换作一维数据压缩。

模式识别练习（1）主题：1．“基于最小错误率的贝叶斯决策”模式识别练习2．“基于最小风险的贝叶斯决策”模式识别练习3．基于“主成分分析”的贝叶斯决策模式识别练习已知训练样本集由“”、“”组成：={(0,0),(0,1),(1,0)};={(4,4),(4,5),(5,4),(5,5)}，而测试样本集为C={(2,2),(2.2,2.2),(3,3)}。

（1）利用“基于最小错误率的贝叶斯决策”判别测试集为C中的样本的归类；（2）利用“基于最小风险的贝叶斯决策”判别测试集为C中的样本的归类；（3）在进行“主成分分析”的基础上，采用90%的主成分完成前面的（1）、（2），比较结果的异同。

模式识别练习（2）主题：很多情况下，希望样本维数（特征数）越少越好，降维是解决问题的一个有效的方法。

主成分分析希望得到较少的特征数，而Fisher准则方法则将维数直接降到1维。

一、已知训练样本集由“”、“”组成：={(0,0),(0,1),(1,0)};={(4,4),(4,5),(5,4),(5,5)}，而测试样本集为C={(i,i)|i=0:0.005:5}。

分别利用基于最小错误率的贝叶斯决策、基于最小风险的贝叶斯决策、仅使用第一主成分、使用Fisher准则等四种方法（自编函数文件或用书上的函数文件）计算出测试集C中线段(0,0)-(5,5)的临界点；要求：将计算结果自动写入数据文件中二、已知训练样本集为教材上的10类手写数字集。

分别利用基于最小错误率的贝叶斯决策、基于最小风险的贝叶斯决策、仅使用第一主成分、使用Fisher准则等四种方法，统计出各大类的错误率和计算机cpu的计算时间，采用的测试集C依旧是10类手写数字集（虽然分类已知，但用不同的方法实际判别时可能有误判情况！）要求：使用书上的函数文件，并将计算结果自动写入数据文件中模式识别练习（3）一、已知训练样本集由“”、“”组成：={(0,0),(0,1),(1,0)}；={(4,4),(4,5),(5,4),(5,5)}，而测试样本集为C={(i,i)|i=0:0.01:5}。