贝叶斯决策理论课件(PPT 90张)

试销，能使该企业新产品开发决策取得较 好的经济效益；若试销费用不超过2.99万元， 则不应进行试销。
❖若试销结果是该产品需求量大或一般，则 应该选择方案a1，即引进大型设备；
❖若调查结果是该产品需求量小，则应该选 择方案a3，即引进小型设备。
§5.2 贝叶斯决策信息的价值
从前面的分析看出，利用补充信息来修正 先验概率，可以使决策的准确度提高，从 而提高决策的科学性和效益性。因此，信 息本身是有价值的—能带来收益。
则：
E (a1)=1.1（万元），E (a2)=0
记验前分析的最大期望收益值为E1，有：
E1＝max{E (a1)，E (a2)} =1.1
因此验前分析后的决策为：生产该新产品。
即：
aopt＝ a1
E1为不作市场调查的期望收益。
2、预验分析：由全概率公式
n
pHi p(Hi / j ) p( j )
但获得的情报越多，花费也更多。
因此有一个获取补充信息是否有利的问题： 收益与成本的比较。
问题：如何衡量信息的价值？
§5.2 贝叶斯决策信息的价值
5.2.1 完全信息的价值（EVPI） 完全情报：指能够提供状态变量真实情况的
补充信息。即在获得补充情报后就完全消除 了风险情况，风险决策就转化为确定型决策。 1.完全信息值
有关的概率公式
则离对散任情一况随机事件H，有全概率公式：
设 足pH有 ：完备n事p件(H组/｛ θj )j｝ p（(j=j )1 , 2 , … ( p, (n）j )， 满0) j 1
有关的概率公式
贝叶斯公式：
p i / H
p(H
/i ) p(i )
p(H )
p(H /i ) p(i )

对这三种概率的定义，相互关系要搞得清清 楚楚
Bayes公式正是体现这三者关系的式子，要 透彻掌握。
2.1引言
统计决策理论
是模式分类问题的基本理论之一
贝叶斯决策理论
是统计决策理论中的一个基本方法
物理对象的描述
在特征空间中讨论分类问题
假设一个待识别的物理对象用其d个属性观
察值描述，称之为d个特征，记为x = [x1, x2, …, xd]T
识别的目的是要依据该X向量将细胞划分为 正常细胞或者异常细胞。
这里我们用ω１表示是正常细胞，而ω２则 属于异常细胞。
基于最小错误率的贝叶斯决策
先验概率
P(ω1)和P(ω2) 含义: 每种细胞占全部细胞的比例 P(ω1)+P(ω2)=1 一般情况下正常细胞占比例大，即
P(ω1)>P(ω2)
基于最小错误率的贝叶斯决策
贝叶斯公式
先验概率，后验概率，概率密度函数之间关 系
根据先验概率和概率密度函数可以计算出后 验概率
基于最小错误率的贝叶斯决策
问题
为什么先验概率和类条件概率密度函数可以 作为已知？
而后验概率需要通过计算获得？
基于最小错误率的贝叶斯决策
为什么后验概率要利用Bayes公式从先验 概率和类条件概率密度函数计算获得 ？
如果我们把作出w1决策的所有观测值区域 称为R1，则在R1区内的每个x值，条件错误 概率为p(w2|x)。
另一个区R2中的x,条件错误概率为p(w1|x)。
基于最小错误率的贝叶斯决策
最小错误率贝叶斯准则使得错误率最小 证明:
因此平均错误率P(e)可表示成
基于最小错误率的贝叶斯决策
最小错误率贝叶斯准则使得错误率最小 证明:

45、法律的制定是为了保证每一个人 自由发 挥自己 的才能 ，而不 是为了 束缚他 的才能 。—— 罗伯斯 庇尔
谢谢
11、越是没有本领的就越加自命不凡。——邓拓 12、越是无能的人，越喜欢挑剔别人的错儿。——爱尔兰 13、知人者智，自知者明。胜人者有力，自胜者强。——老子 14、意志坚强的人能把世界放在手中像泥块一样任意揉捏。——歌德 15、最具挑战性的挑战莫过于（精选）
41、实际上，我们想要的不是针对犯 罪的法 律，而 是针对 疯狂的 法律。 ——马 克·吐温 42、法律的力量应当跟随着公民，就 像影子 跟随着 身体一 样。— —贝卡 利亚 43、法律和制度必须跟上人类思想进 步。— —杰弗 逊 44、人类受制于法律，法律受制于情 理。— —托·富 勒

• 解答
• 已知
• 计算
• 由于 得癌症
，根据贝叶斯决策规则，该病人没有
如何确定概率？
• 应用贝叶斯决策规则，需已知如下概率
p(x | i ) P(i )
• 对于某个具体问题，常常需要通过实验统计相对 频率，或者利用概率密度估计技术来确定如上概 率
例子
• 问题：
• 在某大学校园内，根据轿车车身高度判断其价格是否超 过5万美元？
• 对任意给定的特征x，如果判决规则 选择的的行动
能够最小化条件风险
，那么总风险将最小化
• 贝叶斯决策规则：对所有i=1,2,…,a，计算条件风险
，选择行动 使得条件风险
最小化
贝叶斯决策得到的最小总风险被称为贝叶斯风险，表示为R*
两类分类问题
• 行动
• ：判决为类别 • ：判决为类别
• 损失
•
• 条件风险
• 先来看两类情况
• 条件误差概率
• 平均误差概率
• 在贝叶斯决策中，对每一个x，P(error | x)都能被最小 化，因此P(error)被最小化。
贝叶斯决策的最优性
• 对问题作如下泛化：
• 允许多类情况； • 允许其他行为而不仅仅是判定类别； • 引入更一般的损失函数来替代误差概率。
• 损失函数
贝叶斯决策的特例
• 特例1
• 均匀先验概率：
• 决策仅仅依赖于 p(x | i )
从样本中观察到 x的情况下，
如果 P(x | j ) P(x | i ),i j， 则预测该模式为 j
贝叶斯决策的特例
• 特例2
• 相同的类条件概率密度函数：
• 决策仅仅依赖于先验概率
如果 P( j ) P(i ),i j ，则预测模式为 j

(2-4)
类似地, 可得特征变量为多维时的结果
P(i | x) p(x | i ) P(i ) p ( x)
(2-5)
第2章 贝叶斯决策理论
根据式(2-5), 可以得到几种最大后验概率判决准则的等
价形式:
(1) 若 p(x | j ) P( j ) i{max,m} p(x | i ) P( i ) ，则x∈ωj; 1, 2 ,
量。
第2章 贝叶斯决策理论
3. 判别函数法 把分类问题对应为Rd空间上的多元函数, 通常称为判别
函数(或称判决函数)gi(x), i=1, 2, „, m。 对于任给未知
类别的样本x, 计算各类判别函数的值gi(x), i=1, 2, „, m, 将样
本x判属有极大(或极小)函数值的那一类。 到底应取极大值
0
由Bayes公式可知
第2章 贝叶斯决策理论
P i | X ( x , x ) P X ( x , x ) | i P(i ) P X (x , x )
x
P (i )
=
x x
p( y | )dy
第2章 贝叶斯决策理论
如果不考虑拒识, 此时,
R R
i i 1
m
d
, 那么, 正确分类包
括m种情形, 样本x来自类ωi, 特征向量x∈Ri(i=1, 2, …, m); 错
误分类包括m(m－1)种情形, 样本x来自类ωi, 但特征向量 x∈Rj(i=1, 2, …, m; j=1, 2, …, m; j≠i)。 因此, 平均正确概 率Pc为
第2章 贝叶斯决策理论
如果P(ω1|x)>P(ω2|x), 则判决x属于ω1;

02 先验概率与似然函数
先验概率
先验概率
在贝叶斯决策分析中，先验概率是指根据历史数据或其他 信息，对某个事件或状态发生的可能性进行的估计。
确定先验概率的方法
确定先验概率的方法包括主观概率法、历史数据法、专家 评估法等。这些方法根据不同的情况和数据来源，对事件 或状态的可能性进行评估。
先验概率的特点
降维与特征选择
通过贝叶斯方法进行特征选择和降维，提高机器 学习模型的性能。
贝叶斯决策分析在金融风险管理中的应用
风险评估
利用贝叶斯方法评估金融风险，如市场风险、信用风险等。
信贷风险评估
通过构建贝叶斯网络模型，对信贷申请人的风险进行评估。
投资组合优化
利用贝叶斯方法优化投资组合，实现风险与收益的平衡。
贝叶斯决策分析在医疗诊断中的应用
率。
后验概率的应用场景
01
02
03
04
后验概率在决策分析中有着广 泛的应用，尤其是在处理不确 定性和主观概率的情况下。
在预测模型中，后验概率可以 用于预测未来的事件或结果。
在分类问题中，后验概率可以 用于确定某个样本属于某个类
别的概率。
在机器学习中，后验概率可以 用于确定某个模型或算法的准
确性和可靠性。
赖关系。
贝叶斯网络构建
根据领域知识和数据，构建贝叶 斯网络结构，确定节点和有向边
。
贝叶斯网络推理
利用贝叶斯网络进行概率推理， 计算特定条件下某变量的概率值
。
贝叶斯决策分析在机器学习中的应用
分类问题
利用贝叶斯分类器对数据进行分类，如朴素贝叶 斯分类器。
聚类问题
将贝叶斯方法应用于聚类分析，如高斯混合模型 。

R1
[21P(1) p(x|1) 22P(2 ) p(x|2 )]dx
R2
2021/3/8
31
P1 P(1); P2 P(2 )
I11 p(x|1)dx; I12 p(x|2 )dx
R1
R1
I21 p(x|1)dx; I22 p(x|2 )dx
R2
R2
R P111I11 P212I12 P121I21 P222I22
我们希望 P变2 化时，最大可能 的损失R最小，则
R P b 0, Rmin a
b=0是平行于横轴的直线
对应于曲线最大值
结论：
在不精确知道 P或2 P变2 动情况时，为使最大的可能损失 最小，应该选择最小损失R取最大值时的 来P设2 计分类 器，此时相对其他 在P最2 优设计下的R要大。但当 P2 在(0,1)发生变化时，其相应的最大损失为最小。
12
2021/3/8
23
多类情况
若c个类，lij (x)
p(x | i ) ,i, p(x | j )
j
1,2,...c,i
j
若lij (x) ij , j i, j 1,2,...c,则x i
其中
ij
[(i | j ) ( j [( j | i ) (i
| j )]P( j ) , | i )]P(i )
若取0-1损失函数，则
R P(1) p(x | 1)dx P(2 ) p(x | 2 )dx
2021/3/8
18
最小风险贝叶斯决策规则：
若R(
j
|
x)
min
i 1,...,a
R(i
|
x),则＝
j
算法步骤：

i
即选择P(ω1|x)，P(ω2|x)中最大值对应的类作 为决策结果
该决策使得在观测值x下的条件错误率P(e|x) 最小。 Bayes决策理论是最优的
6
后验概率P (ωi| x)的计算
最小错误率 决策
Bayes公式： 假设已知先验概率P(ωi)和观测 值的类条件概率密度p(x|ωi)，i=1,2
i
x 2
决策结果
28
最小风险决策的一般性
最小风险 决策
基于最小错误率的Bayes决策可作为最 小风险Bayes决策的一种特殊情形。
只需要定义损失为：
i, j 1 (i, j) i, j 1, 2, , N
(i,
j)
1 0
i j i j
决策正确时，损失为0 决策错误时，损失为1
29
2.2.3 在限定一类错误率条件下使另一 类错误率为最小的两类别决策
模式识别与神经网络
内容目录
第二章 贝叶斯决策理论
2.1 引言
2.2 基于判别函数的分类器设计
2.3 基于最小错误率的Bayes决策
2.4 基于最小风险的Bayes决策
2.5 正态分布的最小错误率Bayes决策
2.6 讨论
2.1 引言
信号空间
数据获取
预处理
特征提取 与选择
特征空间
分类决策
分类器 设计
对数域中计算，变乘为加：
最小错误率 决策
ln p(x |i)P(i) ln p(x |i) ln P(i)
判别函数中与类别i无关的项，对
于类别的决策没有影响，可以忽略
9
Bayes最小错误率决策例解
最小错误率 决策
两类细胞识别问题：正常(ω1)和异常(ω2) 根据已有知识和经验，两类的先验概率为：

如果使得 > 对于一切的 ≠ 均成
立，则将x归于 类。
几种常见的决策规则
判别函数
相对应于贝叶斯决策的判别函数
(1) = |
(2) = (│ )( )
(3) = ln + ln ( )
= , =
= , =
几种常见的决策规则
基于最小风险的贝叶斯决策
利用贝叶斯公式，分别计算后验概率
(│ )( )
=
σ= (│ )( )
. ∗ .
=
= .
. ∗ . + . 4 ∗ . 1
且对应于各类别的 i 出现的先验概率 P(i )
及类条件概率密度 p ( x | i )已知
如果在特征空间已经观察到某一个向量x, 应
该把x分到哪一类？
引言
基本符号与定义
例：医生要根据病人血液中白细胞的浓度来
判断病人是否患血液病。（两分类问题）
根据以往医生的经验知道：
患病的人，白细胞的浓度与正常人不同
正态分布函数定义及性质
概率密度函数应满足下面关系：
≥ 0 −∞ < < +∞
+∞
න
−∞
() = 1
正态分布时的统计决策
正态分布函数定义及性质
多元正态分布

1
−1
−1
=
exp{
(
−
)
Σ ( − )}
/2
1/2
2
(2) |Σ|
其中
= [ , , … , ] 是d维列向量，
= [ , , … , ] 是d维均值向量，

第二章 贝叶斯决策理论
➢ 如果将一个“－“样品错分为”＋“类所造成的损失要比将” ＋“分成”－“类严重。
➢ 偏向使对”－“类样品的错分类进一步减少，可以使总的损 失最小，那么B直线就可能比A直线更适合作为分界线。
12
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
➢ 分类器参数的选择或者学习过程得到的结果取决于 设计者选择什么样的准则函数。
概率密度函数 P(X | 1) 是正常药品的属性分布，概率密度函数
P(X | 2 ) 是异常药品的属性分布。
24
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
在工程上的许多问题中，统计数据往往满足正态分 布规律。
正态分布简单，分析简单，参量少，是一种适宜 的数学模型。
如果采用正态密度函数作为类条件概率密度的函数 形式，则函数内的参数（如期望和方差）是未知的， 那么问题就变成了如何利用大量样品对这些参数进行 估计。
➢ 不同准则函数的最优解对应不同的学习结果，得到 性能不同的分类器。
13
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
➢ 错分类往往难以避免，这种可能性可用 P(i | X ) 表 示。
➢ 如何做出合理的判决就是Bayes决策所要讨论的问题。
➢ 其中最有代表性的是:
基于错误率的Bayes决策 基于最小风险的Bayes决策
05
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
例：某制药厂生产的药品检验识别 目的：说明Bayes决策所要解决的问题！！
06
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
如图4-1所示，正常药品“＋“，异常药品”-”。 识别的目的是要依据X向量将药品划分为两类。

这就要通过科学试验、调查、统计分析等方法获 得较为准确的补充倍息，以修正先验概率，并据以确 定各个方案的期望损益值，拟定出可供选择的决策方 案，协助决策者作出正确的决策。
一般来说，利用贝叶斯定理求出后验概率，据以 进行决策的方法，称为贝叶斯决策方法。
第四章 贝叶斯决策分析
4.1 4.2 4.3 4.4 4.5 4.6 4.7 4.8 先验分布 贝叶斯定理与后验分析 决策法则 风险函数、贝叶斯风险和贝叶斯原则 反序分析 完全信息价值与最佳样本容量 关于贝叶斯决策的典型案例分析 贝叶斯决策方法的优缺点
4.3.1 预先后验分析
例3：有两类盒子。甲类盒子只有一个，其中装有80 个红球，20个白球；乙类盒子共三个，每个盒子均装 有20个红球，80个白球。这四个盒子外表一样，内容 不知。今从中任取一盒，请你猜它是哪类的。如果猜 中，付你1元钱；如果未猜中，不付你钱。那么，你怎 样猜法? 如果从这个盒子中任意抽取N个球(回置地)，让你 观察，你如何根据这N个球的性质来选择自己的行动?
这个公式告诉我们，在已知P Ai 和P B / Ai 的条件下， 可以计算出P Ai / B 。这就是逆概公式，即贝叶斯定理。 P B / Ai 为条件概率， 在逆概公式中， P Ai 称为先验概率分布，
P A1 P B / A1 P A1 / B P A1 P B / A1 P A2 P B / A2 P A3 P B / A3 即为后验概率分布。
4.2.3 后验分析
决策者为了对决策问题的自然状态有更多的了解 而进行统计调查，我们称通过调查而获得的信息为补 充信息，利用贝叶斯定理将补充倍息和先验分布结合 起来，便产生了一种综合信息，即为后验分布。 可见，利用补充信息决策的关键，就是由先验分 布产生后验分布，这一过程叫做后验分析。后验分析 可用来作出较为正确的决策。

• P(ωi)=P(ωj)时决策面方程
WT(X－X1)＝0
第32页/共55页
W＝μi-μj W＝μi-μj
正态分布概率模型下的最小错误率贝叶斯决策
一维特征
第33页/共55页
正态分布概率模型下的最小错误率贝叶斯决策
二维特征
第34页/共55页
正态分布概率模型下的最小错误率贝叶斯决策
三维特征
第35页/共55页
第14页/共55页
二维向量的协方差矩阵
第15页/共55页
多元正态分布
• 协方差矩阵 • 协方差矩阵并不只对正态分布有用 • 特性: 协方差矩阵是一个对称矩阵 • 特性: 协方差矩是正定的
第16页/共55页
多元正态分布的性质
• (1)参数μ与Σ对分布具有决定性
• 与单变量相似，记作p(X)～N(μ，Σ)
The action of a linear transformation on the feature space will convert an arbitrary normal distribution into another normal distribution.
第20页/共55页
正态分布概率模型下的最小错误率贝叶斯决策
第46页/共55页
正态分布概率模型下的最小错误率贝叶斯决策
• 最小距离分类器与线性分类器
• 两者都是线性分类器 • 最小距离分类器是线性分类器的一个特例 • 最小距离分类器在正态分布情况下，是按超球体分布以及先验概率相
等的前提下，才体现最小错误率的 • 只有在一定条件下，最小距离分类器同时又是最小错误率分类器 • 最小距离分类器的概念是分类器中是最常用的，因为它体现了基于最
• 前者是一个椭圆，而后者则是圆