模式识别_清华答案

j =1,...,c
先验概率和类条件概率相联系的形式，即 如果p(x|wi )P (wi ) = max p(x|wj )P (wj )，则x ∈ wi 。
j =1,...,c
• 2.6 对两类问题，证明最小风险贝叶斯决策规则可表示为，若 p(x|w1 ) (λ12 − λ22 )P (w2 ) > , p(x|w2 ) (λ21 − λ11 )P (w1 ) 则x ∈ w1 ，反之则属于w2 。 解 ：计算条件风险
第二章 贝叶斯决策理论
• 2.11 xj (j = 1, 2, ..., n)为n个独立随机变量，有E [xj |wi ] = ijη ，var[xj |wi ] = i2 j 2 σ 2 ，计算在λ11 = λ22 = 0 及λ12 = λ21 = 1的情况下，由贝叶斯决策引 起的错误率。（中心极限定理） 解 ： 在0 − 1损失下，最小风险贝叶斯决策与最小错误率贝叶斯决策等 价。 • 2.12 写出离散形式的贝叶斯公式。 解： P (wi |x) = P (x|wi )P (x) P (x|wi )P (wi )
– II –
第一章 绪论
第一章
略
绪论
–1–
第二章 贝叶斯决策理论
第二章
示？
贝叶斯决策理论
• 2.1 如果只知道各类的先验概率，最小错误率贝叶斯决策规则应如何表 解 ： 设一个有C 类，每一类的先验概率为P (wi )，i = 1, ..., C 。此时最小错 误率贝叶斯决策规则为：如果i∗ = max P (wi )，则x ∈ wi 。
2
R(α1 |x) =
j =1
λ1j P (wj |x)
= λ11 P (w1 |x) + λ12 P (w2 |x)
2
R(α2 |x) =
j =1
λ2j P (wj |x)
= λ21 P (w1 |x) + λ22 P (w2 |x) 如果R(α1 |x) < R(α2 |x)，则x ∈ w1 。 λ11 P (w1 |x) + λ12 P (w2 |x) < λ21 P (w1 |x) + λ22 P (w2 |x) (λ21 − λ11 )P (w1 |x) > (λ12 − λ22 )P (w2 |x) (λ21 − λ11 )P (w1 )p(x|w1 ) > (λ12 − λ22 )P (w2 )p(x|w2 ) (λ12 − λ22 )P (w2 ) p(x|w1 ) > p(x|w2 ) (λ21 − λ11 )P (w1 )
i
• 2.2 利用概率论中的乘法定理和全概率公式证明贝叶斯公式（教材中下面 的公式有错误） P (wi |x) = 证明： P (wi |x) = P (wi , x) p(x) p(x|wi )P (wi ) = p(x) p(x|wi )P (wi ) . p(x)
• 2.3 证明：在两类情况下P (wi |x) + P (w2 |x) = 1。 证明： P (w1 |x) + P (w2 |x) = P (w1 , x) P (w2 , x) + p(x) p(x) P (w1 , x) + P (w2 , x) = p(x) p(x) = p(x)
明M ahalanobis距离平方为
d d
γ =
i=1 j =1
2
hij (xi − ui )(xj − uj )
证明： h11 h12 · · · h1d
h12 h22 · · · h2d γ 2 = (x − u)T . (x − u) . . . . . . . . . . . h1d h2d · · · hdd
2
–6–
第二章 贝叶斯决策理论
证明： p(m|x) = p(x|m)p(m) p(x) p(x|m)p(m) = p(x|m)p(m)dm = =
−1 2 (2π ) 2 σ −1 exp − 1 exp − 1 (x − m)2 /σ 2 (2π ) 2 σm (m − m0 )2 /σm 2 2 −1 exp − 1 (m − m )2 /σ 2 (2π ) 2 σ −1 exp − 1 (x − m)2 /σ 2 (2π ) 2 σm 0 m dm 2 2
=1 • 2.4 分别写出在以下两种情况 1. P (x|w1 ) = P (x|w2 ) 2. P (w1 ) = P (w2 ) 下的最小错误率贝叶斯决策规则。 解 ： 当P (x|w1 ) = P (x|w2 )时，如果P (w1 ) > P (w2 )，则x ∈ w1 ，否则x ∈ w2 。
– (1) E {ln (x)|w1 } = E {ln+1 (x)|w2 } – (2) E {l(x)|w2 } = 1 – (3) E {l(x)|w1 } − E 2 {l(x)|w2 } = var{l(x)|w2 }（教材中题目有问题） 证 明 ： 对 于(1)，E {ln (x)|w1 } = 又E {ln+1 (x)|w2 } = ln (x)p(x|w1 )dx = = (p(x|w1 ))n+1 dx (p(x|w2 ))n (p(x|w1 ))n+1 dx 所 (p(x|w2 ))n
模式识别
（习题解答）
目 录
目 录
第一章 绪论 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 第二章 贝叶斯决策理论 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 2
j =1,...,c
为j ∗ = max p(x|wj )P (wj )， 则x ∈ wj ∗ 。 考 虑 两 类 问 题 的 分 类 决 策 面
j =1,...,c
为：P (w1 |x) = P (w2 |x)，与p(x|w1 )P (w1 ) = p(x|w2 )P (w2 )是相同的。 • 2.9 写出两类和多类情况下最小风险贝叶斯决策判别函数和决策面方程。 • 2.10 随机变量l(x)定义为l(x) = p(x|w1 ) ，l(x)又称为似然比，试证明 p(x|w2 )
d d
=
i=1 j =1
hij (xi − ui )(xj − uj )
• 2.18 分 别 对 于d = 2, d = 3证 明 对 应 与Mahalanobis距 离γ 的 超 椭 球 体 积 是V = Vd |Σ| 2 γ d • 2.19 假定x和m是两个随机变量，并设在给定m时，x的条件密度为
1 1 1 1
(σ 3 + σm ) 2 (2π ) 2 σσm
1
1
2 1 σ 2 + σm exp − 2 2 σ 2 σm
σ 2 x + m0 σ 2 m− m 2 2 σ + σm
2
• 2.20 对Σi = σ 2 I 的特殊情况，证明 – (1) 若P (wi ) = P (wj )，则超平面靠近先验概率较小的类； – (2) 在甚么情况下，先验概率对超平面的位置影响不大。 1 (ui + uj )，则对于先验 2 概率较小的类属于它的区域会减少，所以超平面经过的点会靠近先验概率 证 明 ： (1)当P (wi ) = P (wj )时，超平面经过x0 = 较小的类。（可以这样理解，具体证明也很简单） (2)？不知道这是什么问题，先验概率不管在什么时候都很重要！ • 2.21 对Σi = Σ的特殊情况，指出在先验概率不等时，决策面沿ui 点与uj 点 连线向先验概率小的方向移动。 证 明： 同上面一题解释一样。 • 2.24 似然比决策准则为：若 • 2.23 二维正态分布，u1 = (−1, 0)T , u2 = (1, 0)T , Σ1 = Σ2 = I, P (w1 ) = P (w2 )。试写出对数似然比决策规则。 解： h(x) = − ln [l(x)] = − ln p(x|w1 ) + ln p(x|w2 ) 1 1 |Σ1 | 1 1 T −1 ln = (x1 − u1 )T Σ− 1 (x1 − u1 ) − (x2 − u2 ) Σ2 (x2 − u2 ) + 2 2 2 |Σ2 | 1 = (x − u1 )T (x − u1 ) − (x − u2 )T (x − u2 ) 2
c j =1
• 2.13 把连续情况的最小错误率贝叶斯决策推广到离散情况，并写出其判别 函数。 • 2.14 写出离散情况条件风险R(ai |x)的定义，并指出其决策规则。 解：
c
R(ai |x) =
j =1 c
λij P (wj |x) λij p(x|wj )P (wj )////omit the same part p(x)
–3–
第二章 贝叶斯决策理论
所以，如果
p(x|w1 ) (λ12 − λ22 )P (w2 ) > ，则x ∈ w1 。反之则x ∈ w2 。 p(x|w2 ) (λ21 − λ11 )P (w1 )
• 2.7 若λ11 = λ22 = 0, λ12 = λ21 ，证明此时最小最大决策面是来自两类的错 误率相等。 解 ： 最小最大决策时满足 (λ11 − λ22 ) + (λ21 − λ11 )
第三章 概率密度函数的估计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 第四章 线性判别函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13