贝叶斯网络简介.共36页

贝叶斯网络（Ⅰ）本章正式介绍不确定推理的贝叶斯网络，也叫概率网络或者信度网络。

在很多应用领域中贝叶斯网络都是一个强大的工具。

1 贝叶斯网络的定义1.1贝叶斯网络的定义贝叶斯网络是由网络节点和连接网络节点的带方向的边构成的有向无环图，或者说是一种数据结构。

网络中的每个节点都表示一个变量，并且每个变量对应一个条件概率表，整个贝叶斯网络和其中的变量的条件概率表将变量的联合概率分布进行分解表示。

所以贝叶斯网络用于表示变量之间的依赖关系，并为联合概率分布提供了一种简明的规范。

其详细描述如下：1）其所有网络节点构成一个随机变量集。

变量可以是离散的或连续的。

2）其连接网络节点的是有向边或箭头。

如果存在从节点X指向Y的有向边，则称X是Y 的一个父节点。

3）其每个节点V i都有一个条件概率分布P(V i|Parents(V i))，量化其父节点对该节点的影响，就是给出在父节点的条件下当前节点各种状态的出现概率。

4）图中不存在有向环，因此是一个有向无环图，简写为DAG;1.2贝叶斯网络的一些例子例1 汽车诊断的部分贝叶斯网络图1：对汽车不能启动进行诊断的贝叶斯网络（先验概率）当任何变量的状态已知时，可将其作为证据输入，并对网络概率进行更新图2：输入证据汽车启动=false(100%)的贝叶斯网络进行概率更新（后验概率）图2在已知汽车不能正常工作的情况下，可以看出导致该结果的最大可能原因是火花塞（spark plugs=ok(45%), battery voltage=strong(80%)）。

图3输入证据汽车启动=false(100%) 前灯=off(100%)的网络概率更新（后验概率） 图3是在输入证据汽车启动=false (100%)的基础上一个好的诊断系统可能推荐测试车前灯，如果车前灯不能正常工作，前灯=off (100%)也作为证据输入，并对网络进行更新，battery voltage=none(53%),火花塞电压=ok=62.6，可以推断是电池电压不正常。

23
例4：计算已知X光检查呈阳性(+PX)的情况下，患脑瘤(+BT)概率。
P(HO|PT) PT=TRUE PT=FALSE TRUE 0.7 0 FALSE 0.3 1
宴会(PT)
P(PT) P(BT) TRUE 0.2 0.001 FALSE 0.8 0.999
喝醉(HO)
P(SA|HO) HO=TRUE HO=FALSE TRUE 0.8 0.1 FALSE 0.2 0.9
4.2叶斯网络的诊断算法
25
例5：计算已知头疼(+HA)的情况下，患脑瘤(+BT)概率。
P(HO|PT) PT=TRUE PT=FALSE TRUE 0.7 0 FALSE 0.3 1
宴会(PT)
P(PT) P(BT) TRUE 0.2 0.001 FALSE 0.8 0.999
喝醉(HO)
P(SA|HO) HO=TRUE HO=FALSE TRUE 0.8 0.1 FALSE 0.2 0.9
脑瘤(BT)
P(PX|BT) BT=TRUE BT=FALSE TRUE 0.98 0.01 FALSE 0.02 0.99
头疼(HA)
酒精味(SA)
P(HA|HO,PT) TRUE FALSE
X射线(PX)
HO=FALSE BT=TRUE BT=FALSE 0.9 0.02 0.1 0.98
HO=TURE BT=TRUE BT=FALSE 0.99 0.7 0.01 0.3
管理建模
杜元伟 博士/副教授
duyuanwei@
贝叶斯网络
2
贝叶斯……这个生性孤僻，哲学气味重于数 学气味的学术怪杰，以其一篇遗作的思想重 大地影响了两个世纪以后的统计学术界，顶 住了统计学的半边天。 ——陈希孺 院士

•BDe函数取做网络结构同数据集的联合概率分布的对数形式： （5.11）
其中P(D|G)称边际似然函数。 •定义一个随机变量Sh表示网络结构对应的状态，并赋予先验概率分布 P(Sh)。对任意样本D，计算后验概率分布有
其中P(D)是一个与结构无关的正规化常数，P(D|Sh)是边界似然。
(40-21)
贝叶斯网络学习
(40-9)
贝叶斯网络中的独立关系
•利用变量间的条件独立关系可以将联合概率分布分解成多个复杂度较低的 概率分布，从而降低模型复杂度，提高推理效率。
•例如：由链规则可以把联合概率分布P(A, B, E, J, M)改写为：
独立参数：1+2+4+8+16=31
– E与B相互独立，
即P(E|B)=P(E)
(40-2)
引言
• 贝叶斯网络将图论和统计学相结合，用于表达随机变量之间 复杂的概率不确定性，发现数据间的潜在关系。
• 优点： (1)知识表示形式更加直观。 (2) 对于问题域的建模，当条件或行为等发生变化时，不需要
修正模型。 (3)以图形化表示随机变量间的联合概率，处理不确定性信息。 (4)没有确定的输入或输出结点，结点之间相互影响，可以用于
•推论5.5 在一个贝叶斯网中，给定变量X的马尔可夫覆盖时，则X条件独立 于网络中所有其它变量。
•推论5.6 在一个贝叶斯网中，给定变量X的父节点Pa(X)，则X条件独立于 它的所有非后代节点。
(40-14)
贝叶斯网络中的独立关系
(三)因果影响独立(causal independence)
因果影响独立指的是多个原因独立地影响同一个结果。
•两类评分标准：
① 基于编码理论
– 最小描述长度(Minimum Description Length，MDL) – 贝叶斯信息标准(Bayesian Information Criterion，BIC)

意结点到B中任意结点的路径，若要求A，B条件独 立，则需要所有的路径都被阻断(blocked)，即满足 下列两个前提之一：
A和B的“head-to-tail型”和“tail-to-tail型”路径都通过C； A和B的“head-to-head型”路径不通过C以及C的子孙；
32
有向分离的举例
每个结点在给定其直接前驱时，条件独立于其非后继。
稍后详细解释此结论
18
一个简单的贝叶斯网络
19
全连接贝叶斯网络
每一对结点之间都有边连接
20
一个“正常”的贝叶斯网络
有些边缺失 直观上：
x1和x2独立 x6和x7在x4给定的条件下独立
x1,x2,…x7的联合分布：
21
BN(G, Θ) G:有向无环图 G的结点：随机变量 G的边：结点间的有向依赖 Θ：所有条件概率分布的参数集合 结点X的条件概率：P(X|parent(X))
思考：需要多少参数才能确定上述网络呢？ 每个结点所需参数的个数：结点的parent数目是M，结点和 parent的可取值数目都是K：KM*(K-1) 为什么？ 考察结点的parent对该结点形成了多少种情况（条件分布）
贝叶斯网络(Bayesian Network)，又称有向无环图模 型(directed acyclic graphical model)，是一种概率图 模型，借由有向无环图(Directed Acyclic Graphs, DAG)中得知一组随机变量{X1,X2...Xn}及其n组条 件概率分布(Conditional Probability Distributions, CPD)的性质。
Gas和Radio是独立的吗？给定Battery呢？ Ignition呢？Starts呢？Moves呢？(答：IIIDD)

• 函数节点不是联合树的一部分
18

总结 • • • • 贝叶斯网络的定义 贝叶斯网络的规范和结构 概率推理和证据 条件独立和解释
19

更多信息请关注/网站
20

• 反复应用基本原理，我们可以让变量(X1, X2, . . . , Xn)排序 并计算P(X1, . . . , Xn) = P(X1)P(X2 | X1)P(X3 | X1, X2) ···P(Xn | X1, . . . , Xn−1).
9

链式法则
• 设(X1, X2, . . . , Xn)为一个拓扑排序G
– 即pa(Xi ) {X1, . . . , Xi−1} 8i
• d分离域：
Xi ⊥ nd(Xi ) | pa(Xi ) pa(X) and nd(X)为父类，并且X没有子类，相互独立。
– 这就是贝叶斯网络的马卡洛夫性质。
• 可得U的联合分布律为：
下面对于不确定度的一种数学解释为
3

模型设定
贝叶斯网格N = (G,P)包含： • 定性部分，即DAG结构G=(V,E) • 定性部分，即条件概率分布P = {P(child | parents)} 下图为一个有关于条件概率分布的模型图
4

• 求P(A)如
• 包含了160次乘法，32次加法，以及总共有32个数字
• 提高推断的效率关键是找到一个好的求和顺序（也叫做减 法顺序）
16

广义分配律
• 代数中的分配律为： a ∗ b + a ∗ c = a ∗ (b + c) • 在概率潜力上的广义分配律里有：
• 我们最常看到分配律的公式化为：
• GDL被用来寻找如下等式：

计算已知参加晚会的情况下，第二天早晨呼吸有 酒精味的概率。
P(+SA)=P(+HO)P(+SA|+HO)+P(-HO)P(+SA|-HO)
计算已知参加晚会的情况下，头疼发生的概率。
2019/10/19
数据仓库与数据挖掘
15
7.4.2 贝叶斯网络的预测算法
输入：给定贝叶斯网络B（包括网络结构m个节点以及某些节点间的连线、原因 节点到中间节点的条件概率或联合条件概率），给定若干个原因节点发生与 否的事实向量F（或者称为证据向量）；给定待预测的某个节点t。
2019/10/19
数据仓库与数据挖掘
11
7.3.3 贝叶斯网络的3个主要议题
贝叶斯网络预测：从起因推测一个结果的理论， 也称为由顶向下的推理。目的是由原因推导出结 果。
贝叶斯网络诊断：从结果推测一个起因的推理， 也称为由底至上的推理。目的是在已知结果时， 找出产生该结果的原因。
贝叶斯网络学习：由先验的贝叶斯网络得到后验 贝叶斯网络的过程。
13
7.4.1 概率和条件概率数据
P(PT)
P(BT)
P(HO|PT)
PT=True
True False
0.200 0.800
0.001 0.999
True False
0.700 0.300
PT=False 0
1.000
左表给出了事件发生的概率：PT发生 的概率是0.2，不发生的概率是0.8
右表给出了事件发生的条件概率：PT 发生时，HO发生的概率是0.7
概率分布，并把节点n标记为已处理； （5）重复步骤（2）-（4）共m次。此时，节点t的概率分布就是它的发生/不发

等。
评分函数
定义一个评分函数来评估网络结构的优劣，常用的评分函数包 括BIC（贝叶斯信息准则）和AIC（赤池信息准则）等。
参数学习优化
1 2
参数学习
基于已知的网络结构和数据集，学习网络中各节 点的条件概率分布，使得网络能够最好地拟合数 据集。
最大似然估计
使用最大似然估计方法来估计节点的条件概率分 布，即寻找使得似然函数最大的参数值。
案例三
异常检测：使用贝叶斯网络检测金融市场中的异常交易行为。
06
贝叶斯网络展望
当前研究热点
概率图模型研究
贝叶斯网络作为概率图模型的一种，其研究涉及到对概率图 模型基本理论的研究，包括对概率、图、模型等基本概念的 理解和运用。
深度学习与贝叶斯网络的结合
随着深度学习技术的发展，如何将深度学习技术与贝叶斯网 络相结合，发挥各自的优势，是当前研究的热点问题。
未来发展方向
可解释性机器学习
随着人工智能技术的广泛应用，人们对机器学习模型的可解释性要求越来越高 。贝叶斯网络作为一种概率模型，具有天然的可解释性优势，未来可以在这方 面进行更深入的研究。
大规模贝叶斯网络
随着数据规模的增大，如何构建和处理大规模贝叶斯网络成为未来的一个重要 研究方向。
技术挑战与展望
联合概率
两个或多个事件同时发生的概率。联合概率 的计算公式为 P(A∩B)=P(A|B)⋅P(B)+P(B|A)⋅P(A)。
条件独立性
01
条件独立的概念
在给定某个条件时，两个事件之 间相互独立，即一个事件的发生 不影响另一个事件的发生。
02
条件独立性的应用
03
条件独立性的判断
在贝叶斯网络中，条件独立性用 于简化概率计算，降低模型复杂 度。

参数学习的常用算法
常用的参数学习方法包括最大似然估计、贝叶斯估计和期望最大化算法等。这些算法可以帮助我们从数据中学习 到最佳的参数设置，使得贝叶斯网络能够最好地拟合概率推理是贝叶斯信念网络的核心，它基于概率理论来描述不 确定性。
02
概率推理的目标是计算给定证据下某个假设的概率，或者计算
06
贝叶斯网络的发展趋势与 未来展望
深度学习与贝叶斯网络的结合
深度学习在特征提取上的 优势
贝叶斯网络在处理复杂、高维数据时，可以 借助深度学习强大的特征提取能力，提高模 型对数据的理解和表达能力。
贝叶斯网络的概率解释能力
贝叶斯网络具有清晰的概率解释，可以为深度学习 模型提供可解释性强的推理框架，帮助理解模型预 测结果。
参数可解释性
通过可视化技术、解释性算法等方法，可以进一步解释贝叶斯网络 中参数的意义和影响，提高模型的可信度和用户接受度。
感谢您的观看
THANKS
联合优化与模型融合
未来研究可以探索深度学习与贝叶斯网络在 结构、参数和优化方法上的联合优化，实现 两者的优势互补。
大数据处理与贝叶斯网络
大数据处理的需求
随着大数据时代的到来，如何高 效处理、分析和挖掘大规模数据 成为关键问题。贝叶斯网络在大 数据处理中具有广阔的应用前景 。
并行计算与分布式
实现
针对大规模数据，可以采用分布 式计算框架，如Hadoop、Spark 等，对贝叶斯网络进行并行化处 理，提高推理和学习的效率。
在贝叶斯网络中，变量间的关系通过 条件独立性来表达。确定条件独立性 有助于简化网络结构，提高推理效率 。
构建有向无环图
根据条件独立性评估结果，可以构建 一个有向无环图来表示贝叶斯网络的 结构。这个图将各个变量连接起来， 反映了它们之间的依赖关系。

05
贝叶斯网络的应用案例
Chapter
分类问题
总结词
贝叶斯网络在分类问题中具有广泛的应用，能够有 效地处理各种数据类型，包括连续和离散数据。
详细描述
通过构建分类模型，贝叶斯网络可以用于解决诸如 垃圾邮件过滤、疾病诊断、信用评分等问题。这些 问题的共同特点是，需要根据已知的特征对未知的 目标进行分类或标签。贝叶斯网络通过概率推理和 概率更新来优化分类效果，提高分类准确性和鲁棒 性。
特点
03
04
05
表达直观：贝叶斯网络 以图形化的方式表达概 率模型，易于理解。
概率完整：贝叶斯网络 包含了所有需要的概率 信息，可以用于推断和 决策。
灵活性强：可以添加、 删除节点和边，适应不 同的应用场景。
贝叶斯网络的应用场景
01
02
03
分类问题
贝叶斯网络可以用于分类 问题，如垃圾邮件识别、 疾病诊断等。
对于大规模的数据集，贝叶斯网络的推理可能变得非常复杂和计算量大。
02
贝叶斯网络的基本概念
Chapter
条件概率
条件概率是指在一个事件B发生的条件下，另一个事件A发生的概率。通 常表示为P(A|B)。
条件概率是贝叶斯网络中的一个基本概念，用于描述事件之间的条件关 系。
在贝叶斯网络中，条件概率被用于计算给定一组证据下，某个变量取某 个值的概率。
06
贝叶斯网络的未来发展与挑战
Chapter
理论完善与拓展
理论完善
随着贝叶斯网络在各个领域的广泛应用，针对其理论的深入 研究和完善显得尤为重要。这包括对贝叶斯网络结构的优化 、推断算法的改进以及概率图模型的深入研究等。
拓展应用领域
贝叶斯网络在各个领域都有广泛的应用，如医疗、金融、推 荐系统等。未来可以进一步拓展其应用范围，探索其在更多 领域的应用潜力。

Bayesian Learning (Bayes Nets)
•
13
Conditional Independence
• • • •
We say that X is conditionally independent of Y given Z if the probability distribution governing X is independent of the value of Y given a value for Z. i.e., (xi,yj,zk) P(X=xi|Y=yj,Z=zk)=P(X=xi|Z=zk) or, P(X|Y,Z)=P(X|Z) This definition can be extended to sets of variables as well: we say that the set of variables X1…Xl is
•
apply. The Naï ve Bayes Classifier uses the conditional independence assumption to defray these costs. However, in many cases, such an assumption is overly restrictive. Bayesian belief networks provide an intermediate approach which allows stating conditional independence assumptions that apply to subsets of the variable.
First guess The money
11
A
Stick or swap?

2.贝叶斯网络贝叶斯网络(Bayesian network)，又称信念网络(Belief Network)，或有向无环图模型(directed acyclic graphical model)，是一种概率图模型，于1985年由Judea Pearl 首先提出。

它是一种模拟人类推理过程中因果关系的不确定性处理模型，其网络拓朴结构是一个有向无环图(DAG)。

贝叶斯网络的有向无环图中的节点{}12,,,n X X X 表示随机变量，它们可以是可观察到的变量，或隐变量、未知参数等。

认为有因果关系（或非条件独立）的变量或命题则用箭头来连接。

若两个节点间以一个单箭头连接在一起，表示其中一个节点是“因(parents)”，另一个是“果(children)”，两节点就会产生一个条件概率值。

连接两个节点的箭头代表此两个随机变量是具有因果关系，或非条件独立。

例如，假设节点E 直接影响到节点H ，即E→H ，则用从E 指向H 的箭头建立结点E 到结点H 的有向弧(E,H)，权值(即连接强度)用条件概率P(H|E)来表示，如下图所示：简言之，把某个研究系统中涉及的随机变量，根据是否条件独立绘制在一个有向图中，就形成了贝叶斯网络。

其主要用来描述随机变量之间的条件依赖，用圈表示随机变量(random variables)，用箭头表示条件依赖(conditional dependencies)。

令G = (I,E)表示一个有向无环图(DAG)，其中I 代表图形中所有的节点的集合，而E 代表有向连接线段的集合，且令X = (X i )，i ∈ I 为其有向无环图中的某一节点i 所代表的随机变量，若节点X 的联合概率可以表示成：()()()i pa i i Ip x p x x ∈=∏则称X 为相对于一有向无环图G 的贝叶斯网络，其中，()pa i 表示节点i 之“因”，或称()pa i 是i 的parents （父母）。

此外，对于任意的随机变量，其联合概率可由各自的局部条件概率分布相乘而得出：()()()()111211,,,,K K K p x x p x x x p x x p x -=下图所示，便是一个简单的贝叶斯网络：因为a 导致b ，a 和b 导致c ，所以有:()()()(),,,p a b c p c a b p b a p a =2.1贝叶斯网络的3种结构形式:给定如下图所示的一个贝叶斯网络：（1） x 1, x 2 , …,x 7的联合分布为:()()()()()()()()1234567123412351364745,,,,,,,,,,p x x x x x x x p x p x p x p x x x x p x x x p x x p x x x =（2）x 1和x 2独立（对应head-to-head ）；（3）x 6和x 7在x 4给定的条件下独立（对应tail-to-tail ）根据上图，第（1）点可能很容易理解，但第（2）、（3）点中所述的条件独立是啥意思呢？其实第（2）、（3）点是贝叶斯网络中3种结构形式中的其中二种。

我们来算一算：假设学校里面人的总数是 U 个。 60% 的男生都穿长裤，于是我们得到了 U * P(Boy) * P(Pants|Boy) 个穿长裤的（男生）（其中 P(Boy) 是男生 的概率 = 60%，这里可以简单的理解为男生的比例； P(Pants|Boy) 是条件概率，即在 Boy 这个条件下穿长裤 的概率是多大，这里是 100% ，因为所有男生都穿长裤）。 40% 的女生里面又有一半（50%）是穿长裤的，于是我 们又得到了 U * P(Girl) * P(Pants|Girl) 个穿长裤的（女 生）。加起来一共是 U * P(Boy) * P(Pants|Boy) + U * P(Girl) * P(Pants|Girl) 个穿长裤的，其中有 U * P(Girl) * P(Pants|Girl) 个女生。两者一比就是你要求的答案。 下面我们把这个答案形式化一下：我们要求的是 P(Girl|Pants) （穿长裤的人里面有多少女生），我们计算 的结果是 U * P(Girl) * P(Pants|Girl) / [U * P(Boy) * P(Pants|Boy) + U * P(Girl) * P(Pants|Girl)] 。容易发现这 里校园内人的总数是无关的，可以消去。于是得到 P(Girl|Pants) = P(Girl) * P(Pants|Girl) / [P(Boy) * P(Pants|Boy) + P(Girl) * P(Pants|Girl)]
在日常生活中，人们往往进行常识推理，而这种推理 通常是不准确的。例如，你看见一个头发潮湿的人走进来， 你可能会认为外面下雨了，那你也许错了；如果你在公园 里看到一男一女带着一个小孩，你可能会认为他们是一家 人，你可能也犯了错误。在工程中，我们也同样需要进行 科学合理的推理。但是，工程实际中的问题一般都比较复 杂，而且存在着许多不确定性因素。这就给准确推理带来 了很大的困难。很早以前，不确定性推理就是人工智能的 一个重要研究领域。尽管许多人工智能领域的研究人员引 入其它非概率原理，但是他们也认为在常识推理的基础上 构建和使用概率方法也是可能的。为了提高推理的准确性， 人们引入了概率理论。最早由Judea Pearl于1988年提出 的贝叶斯网络(Bayesian Network)实质上就是一种基于概 率的不确定性推理网络。它是用来表示变量集合连接概率 的图形模型，提供了一种表示因果信息的方法。当时主要 用于处理人工智能中的不确定性信息。随后它逐步成为了 处理不确定性信息技术的主流，并且在计算机智能科学、 工业控制、医疗诊断等领域的许多智能化系统中得到了重 要的应用。

贝氏网络维基百科，自由的百科全书（重定向自贝叶斯网络）贝氏网络(Bayesian network)，又称信任网络(belief network)或是有向非循环图形模型(directed acyclic graphical model)，是一种机率图型模型，借由有向非循环图形(directed acyclic graphs, or DAGs )中得知一组随机变量{}及其n组条件机率分配(conditional probability distributions, or CPDs)的性质。

举例而言，贝氏网络可用来表示疾病和其相关症状间的机率关系；倘若已知某种症状下，贝氏网络就可用来计算各种可能罹患疾病之发生机率。

一般而言，贝氏网络的有向非循环图形中的节点表示随机变量，它们可以是可观察到的变量，抑或是潜在变量、未知参数等。

连接两个节点的箭头代表此两个随机变量是具有因果关系或是非条件独立的；而节点中变量间若没有箭头相互连接一起的情况就称其随机变量彼此间为条件独立。

若两个节点间以一个单箭头连接在一起，表示其中一个节点是“因(parents)”，另一个是“果(descendants or children)”，两节点就会产生一个条件机率值。

比方说,我们以表示第i个节点，而的“因”以表示，的“果”以表示；图一就是一种典型的贝氏网络结构图，依照先前的定义，我们就可以轻易的从图一可以得知：，以及大部分的情况下，贝氏网络适用在节点的性质是属于离散型的情况下，且依照此条件机率写出条件机率表(conditional probability table, or CPT)，此条件机率表的每一列(row)列出所有可能发生的，每一行(column)列出所有可能发生的，且任一行的机率总和必为1。

写出条件机率表后就很容易将事情给条理化，且轻易地得知此贝氏网络结构图中各节点间之因果关系；但是条件机率表也有其缺点：若是节点是由很多的“因”所造成的“果”，如此条件机率表就会变得在计算上既复杂又使用不便。

这两个例子都是从原因推理结果的。还有许多从结果反推原因的例子 。例如，如果父母早晨闻到他们的女儿呼出的气体中有酒精味，那么她 昨晚参加晚会的概率有多大?等等。
为了系统地解决上面的各类问题，需要先掌握一定的概率基础知识。
4
2019/8/21
7．2贝叶斯概率基础
贝叶斯概率是贝叶斯网络运行的理论基础。就贝叶斯概率而 言，其原理和应用都比较简单。但贝叶斯概率理论经历了长时间 的波折才被逐渐认可，直到20世纪60年代，贝叶斯概率理论才被 广泛接受并大量应用。下面将从基本的条件概率公式和全概率公 式入手介绍贝叶斯概率。
7．2．1 先验概率、后验概率和条件概率
下面介绍贝叶斯概率中用到的有关概率论的基本概念。
(1)先验概率。先验概率是指根据历史的资料或主观判断所确 定的各种事件发生的概率，该概率没有经过实验证实，属于检验 前的概率。
(2)后验概率。后验概率一般是指通过贝叶斯公式，结合调查 等方式获取了新的附加信息，对先验概率修正后得到的更符合实 际的概率。
第7章 贝叶斯网络
2019/8/21
1
贝 叶 斯 网 络 是 20 世 纪 80 年 代 发 展 起 来 的 ， 最 早 由 Judea Pearl于1986年提出，多用于专家系统，成为表示 不确定性知识和推理问题的流行方法。
贝叶斯网络最早起源于贝叶斯统计分析，它是概率理 论和图论相结合的产物。
本章通过引例讨论贝叶斯网络需要解决的问题；介绍 贝叶斯概率基础；对贝叶斯网络进行概述；讲解贝叶斯 网络的预测、诊断和训练算法。
2
2019/8/21
7.l 引例
先看一个关于概率推理的例子。图7．1中有6个结点：参加晚 会(party，PT)、 宿醉(hangover，HO)、患脑瘤(brain tumor， BT)、头疼(headache，HA)、有酒精味(smell alcohol，SA)和X射 线检查呈阳性(posxray，PX)。可以把图7．1想象成为这样一个场 景：一个中学生回家后，其父母猜测她参加了晚会，并且喝了酒； 第二天这个学生感到头疼，她的父母带她到医院做头部的X光检查 ……

0＜P(A)＜1
2013-8-5 史忠植 高级人工智能 12
6.2 贝叶斯概率基础
定义6.2 古典概率 我们设一种次试验有且仅有 有限的N个可能结果，即N个基本事件，而A事件包 含着K个可能结果，则称K/N为事件A的概率，记为 P(A)。即
P(A)＝K/N 定义6.3 几何概率 假设Ω是几何型随机试验的 基本事件空间，F是Ω中一切可测集的集合，则对于 F中的任意事件A的概率P(A)为A与Ω的体积之比，即 P(A)＝V(A)/V(Ω)
P(A+B)＝P(A)＋P(B)－P(AB)
2013-8-5 史忠植 高级人工智能 15
6.2 贝叶斯概率基础
设A、B为两个不相 容(互斥)非零事件，则其乘积的概率等于A和B
概率的乘积，即
P(AB)＝P(A)P(B) 或 P(AB)＝P(B) P(A)
定理6.2 乘法定理
设A、B为两个任意的非零事件，则其乘 积的概率等于A(或B)的概率与在A(或B)出现 的条件下B(或A)出现的条件概率的乘积。
p ( | x )
( ) p ( x | )
p( x)

( ) p ( x | ) ( ) p( x | )d
(6.1)
8
π(θ) 是θ的先验分布
2013-8-5 史忠植 高级人工智能
6.1 概
6.1.2 贝叶斯方法的基本观点
述
贝叶斯方法对未知参数向量估计的一般过程为：
史忠植 高级人工智能 6
2013-8-5
6.1 概
述
6.1.2 贝叶斯方法的基本观点 贝叶斯分析方法的特点是用概率去表示所有形式 的不确定性，学习或其它形式的推理都用概率规 则来实现。