第二章：贝叶斯决策理论 主要考点：
1. 最小错误率贝叶斯分类器；
2. 最小风险贝叶斯分类器；
3. 多元正态分布时的最小错误率贝叶斯分类器。 典型例题：Ｐ４５，２.２３，２.２４。
例题1：在一个一维模式两类分类问题中，设12()1/3,()2/3p p ωω==，两类的类概率密度分别为
2212(/)(1)),(/)(1))p x x p x x ωω=
-+=
--
1）求最小错误率贝叶斯分类器的阈值。
2）设损失为0310L ⎛⎫
= ⎪⎝⎭
，求最小风险贝叶斯分类器的阈值。
解：由于p(w1)=1/3, p(w2)=2/3，则最小错误率贝叶斯分类器的阈值
θ=p(w2)/p(w1)=2
其相应的决策规则为：
,)
1()
2()2/()1/(w p w p w x p w x p >< 则21{w w x ∈
2>< 即 1
2ln 2
4ln 24w x x w x ⎧<-
⎪⎪∈⎨⎪>-
⎪⎩ （2） 当L=
0310
时，122221113,01,0λλλλ====
从而最小风险贝叶斯决策规则的阈值为：
1222221111()()(30)*1/3
.3/2()()(10)*2/3
p w p w λλλλλ--=
==--
判决规则为：
12(/)
(/)
p x w p x w λ><,则21{w w x ∈
23/2==>exp(4)3/2x -= 12ln(3/2)
4
ln(3/2)4w x x w x ⎧<-
⎪⎪∈⎨⎪>-
⎪⎩
例２ｐ45,2.23
解：这里两类协方差矩阵相等。
负对数似然比判别规则为
1112
22(/)()
ln
ln 0(/)()x p x p x p x p ωωωωωω∈<⎧--=⇒⎨
∈>⎩ ()()()()1
1
111/2
112221/2
11
1122112211exp(()())(/)2||2ln ln
11(/)exp(()())2||2[()()(1
1())()]/2
1111exp ,222020T i i i i n
T T T T i
x x p x p x x x x x x x x x p x x x x x x μμωπωμμπωμμπμμμμ------⎡⎤
=
---⎢∑--∑-∑-=---∑-∑=-∑---∑
-+⎛⎫=+-- ⎪-⎝⎭⎥⎣⎦
∑∑=I.故
()1111202021x x x x -⎛⎫
-- ⎪
-⎝⎭
=
例３2.24 解：
()
()()112111
211111/2
11122221/2
2
21112/34/32/34/311
exp(()())(1
1()exp ,22/)2||2ln ln
11(/)exp(()())2||2[()(T T T i i i i n
T i
x x p x p x p x x x x x x x μμωπωμμπμωμμπ------⎛⎫⎛⎫∑∑ ⎪ ⎪-⎝⎭⎝⎭
--∑-∑-=--⎡⎤
=
---⎢⎥-∑-∑=-⎣⎦
∑-∑∑
4/3-2/34/32/3=,=故
()()1121221122
)()()]/211111120112020202/34/32/34/381
ln
2
13/4
ln
234433/T x x x x x x x x x x x x x μμμ---∑-++-⎛⎫⎛⎫⎛⎫⎛⎫=+----+ ⎪ ⎪ ⎪ ⎪---⎝⎭⎝
⎭⎝⎭⎝⎭=-∑∑
4/3-2/34/32/3
例４：假设两类二维正态分布参数如下，试给出负对数似然比判别规则。
12121210.5()(),(1,2),(0,1),0.51T
T
p p ωωμμ⎡⎤
==-=∑=∑=⎢⎥⎣⎦
解：负对数似然比判别规则为
1112
22(/)()
ln ln (/)()x p x p x p x p ωωωωωω∈<⎧-⇒⎨
∈>⎩'1111'1222'1
'1
1122'1
'1
'
1
1122
211211
exp(()())
(/)2||2ln ln
11(/)exp(()())2||2[()()()()]/2
()2
224
x x p x p x x x x x x x x x x μμωπωμμπμμμμμμμμμμ---------∑-∑-=---∑-∑=-∑---∑-∑
-+
=-∑
=-+∑
所以，决策规则为：121
2
20x x x x ωω∈<
⎧⇒⎨
∈-+>⎩
实验一：贝叶斯分类器设计
3）设计基于最小错误率的贝叶斯分类器； 4）计算测试样本的错误率 5）分析实验结果
上机步骤：第一步：生成各种随机数 d1=1+sqrt(4)*randn(1,300); % d2=2+sqrt(6)*randn(1,300);
train_data1=[d1;d2]; %合成一个二维正态分布的训练样本，类别为１; d3=5+sqrt(5)*randn(1,200); d4=3+sqrt(1)*randn(1,200);
train_data2=[d3;d4]; ％生成一个二维正态分布的训练样本，类别为２； d5=4+sqrt(2)*randn(1,200);
