当前位置：文档之家 › 人工智能贝叶斯网络精品PPT课件

人工智能贝叶斯网络精品PPT课件

  • 格式：ppt
  • 大小：1.43 MB
  • 文档页数：32

下载文档原格式

  / 32

合集下载

Bayesiannetwork贝叶斯网络精品PPT课件

Bayesiannetwork贝叶斯网络精品PPT课件

Parameter Learning
• In order to fully specify the Bayesian network and thus fully represent the joint probability distribution, it is necessary to specify for each node X the probability distribution for X conditional upon X's parents
prior possibility P(Y) ( rankings, recent history of their performance)
Introduction
• First half is over • The outcome of the first period may be
treated as a random variable X, the óbserved evidence' that influence your prediction of the final value of Y.
• Prior confidence --------belief • Process--------belief propagation dynamics
causal relationships
statistical dependence between
Bayesian Networks
• DAG: Directed Acyclic Graph • CPT: Conditioanl Probability Tables
• P(Y|X)= PX |YPY Hale Waihona Puke XIntroduction

高级人工智能贝叶斯公式PPT课件

高级人工智能贝叶斯公式PPT课件

P(D|T,L,B)
Dyspnoea
T L B D=0 D=1 0 0 0 0.1 0.9 0 0 1 0.7 0.3 0 1 0 0.8 0.2 0 1 1 0.9 0.1
...
P(A, S, T, L, B, C, D) = P(A) P(S) P(T|A) P(L|S) P(B|S) P(C|T,L) P(D|T,L,B)
贝叶斯方法正在以其独特的不确定性知识 表达形式、丰富的概率表达能力、综合先 验知识的增量学习特性等成为当前数据挖 掘众多方法中最为引人注目的焦点之一。
2020/9/29
史忠植 高级人工智能
3
贝叶斯网络是什么
贝叶斯（Reverend Thomas Bayes 1702-1761） 学派奠基性的工作是贝叶斯的论文“关于几率性 问题求解的评论”。或许是他自己感觉到它的学 说还有不完善的地方，这一论文在他生前并没有 发表，而是在他死后，由他的朋友发表的。著名 的数学家拉普拉斯（Laplace P. S.）用贝叶斯的 方法导出了重要的“相继律”，贝叶斯的方法和 理论逐渐被人理解和重视起来。但由于当时贝叶 斯方法在理论和实际应用中还存在很多不完善的 地方，因而在十九世纪并未被普遍接受。
2020/9/29
史忠植 高级人工智能
6
贝叶斯网络的应用领域
辅助智能决策 数据融合 模式识别 医疗诊断 文本理解 数据挖掘
2020/9/29
史忠植 高级人工智能
7
统计概率
统计概率:若在大量重复试验中，事件A发生的频 率稳定地接近于一个固定的常数p，它表明事件A 出现的可能性大小，则称此常数p为事件A发生的 概率，记为P(A), 即
P(A·B)＝P(A)·P(B|A) 或 P(A·B)＝P(B)·P(A|B)

第7章贝叶斯网络.ppt

第7章贝叶斯网络.ppt

计算已知参加晚会的情况下，第二天早晨呼吸有 酒精味的概率。
P(+SA)=P(+HO)P(+SA|+HO)+P(-HO)P(+SA|-HO)
计算已知参加晚会的情况下，头疼发生的概率。
2019/10/19
数据仓库与数据挖掘
15
7.4.2 贝叶斯网络的预测算法
输入：给定贝叶斯网络B（包括网络结构m个节点以及某些节点间的连线、原因 节点到中间节点的条件概率或联合条件概率），给定若干个原因节点发生与 否的事实向量F（或者称为证据向量）；给定待预测的某个节点t。
2019/10/19
数据仓库与数据挖掘
11
7.3.3 贝叶斯网络的3个主要议题
贝叶斯网络预测：从起因推测一个结果的理论， 也称为由顶向下的推理。目的是由原因推导出结 果。
贝叶斯网络诊断：从结果推测一个起因的推理， 也称为由底至上的推理。目的是在已知结果时， 找出产生该结果的原因。
贝叶斯网络学习：由先验的贝叶斯网络得到后验 贝叶斯网络的过程。
13
7.4.1 概率和条件概率数据
P(PT)
P(BT)
P(HO|PT)
PT=True
True False
0.200 0.800
0.001 0.999
True False
0.700 0.300
PT=False 0
1.000
左表给出了事件发生的概率：PT发生 的概率是0.2，不发生的概率是0.8
右表给出了事件发生的条件概率：PT 发生时，HO发生的概率是0.7
概率分布，并把节点n标记为已处理； （5）重复步骤（2）-（4）共m次。此时，节点t的概率分布就是它的发生/不发

贝叶斯网络全解课件

贝叶斯网络全解课件
等。
评分函数
定义一个评分函数来评估网络结构的优劣，常用的评分函数包 括BIC（贝叶斯信息准则）和AIC（赤池信息准则）等。
参数学习优化
1 2
参数学习
基于已知的网络结构和数据集，学习网络中各节 点的条件概率分布，使得网络能够最好地拟合数 据集。
最大似然估计
使用最大似然估计方法来估计节点的条件概率分 布，即寻找使得似然函数最大的参数值。
案例三
异常检测：使用贝叶斯网络检测金融市场中的异常交易行为。
06
贝叶斯网络展望
当前研究热点
概率图模型研究
贝叶斯网络作为概率图模型的一种，其研究涉及到对概率图 模型基本理论的研究，包括对概率、图、模型等基本概念的 理解和运用。
深度学习与贝叶斯网络的结合
随着深度学习技术的发展，如何将深度学习技术与贝叶斯网 络相结合，发挥各自的优势，是当前研究的热点问题。
未来发展方向
可解释性机器学习
随着人工智能技术的广泛应用，人们对机器学习模型的可解释性要求越来越高 。贝叶斯网络作为一种概率模型，具有天然的可解释性优势，未来可以在这方 面进行更深入的研究。
大规模贝叶斯网络
随着数据规模的增大，如何构建和处理大规模贝叶斯网络成为未来的一个重要 研究方向。
技术挑战与展望
联合概率
两个或多个事件同时发生的概率。联合概率 的计算公式为 P(A∩B)=P(A|B)⋅P(B)+P(B|A)⋅P(A)。
条件独立性
01
条件独立的概念
在给定某个条件时，两个事件之 间相互独立，即一个事件的发生 不影响另一个事件的发生。
02
条件独立性的应用
03
条件独立性的判断
在贝叶斯网络中，条件独立性用 于简化概率计算，降低模型复杂 度。

AI-05-15-贝叶斯网络-----人工智能课程--浙江大学研究生PPT课件

AI-05-15-贝叶斯网络-----人工智能课程--浙江大学研究生PPT课件
（C） 0.50
工作压力 大（W）
U P(W)
t 0.90 f 0.05
学校政策 （U）
C P(U) t 0.95 f 0.01
身体状况 差（B）
U P(B) t 0.30 f 0.01
W B P(A)
过劳死 （D）
t t 0.335 t f 0.30
f t 0.05
-
f f 0.00
26
已知：一个事件e = {学校政策U = true, and 工作压力大 = true}，
-
28
多连通网络及其CPT： P(C) 0.50 Cloudy
C P(S) t 0.10 f 0.50
Sprinkler
Rain
C P(R) t 0.80 f 0.20
Wet Grass
S R P(W) t t 0.99 t f 0.90 f t 0.90 f f 0.00
-
29
等价的联合树及其CPT：
A. 贝叶斯网络的由来 B. 贝叶斯网络的定义 C. 贝叶斯网络的别名 D. 独立和条件独立 E. 贝叶斯网络示例
-
3
A. 贝叶斯网络的由来
全联合概率计算复杂性十分巨大
朴素贝叶斯太过简单
现实需要一种自然、有效的方式来捕捉 和推理——不确定性知识
变量之间的独立性和条件独立性可大大 减少为了定义全联合概率分布所需的概 率数目
“因果模型”比“诊断模型”需要更少的数 据，且这些数据也更容易得到
-
12
贝叶斯网络中的条件独立关系：
给定父节点，一个节点与它的非后代节点是 条件独立的
给定一个节点的父节点、子节点以及子节点 的父节点——马尔可夫覆盖(Markov blanket)， 这个节点和网络中的所有其它节点是条件独 立的

第8章贝叶斯网导论【本科研究生通用机器学习课程精品PPT系列】

第8章贝叶斯网导论【本科研究生通用机器学习课程精品PPT系列】

Burglary 独立假设2
独立假设2 Earthquake
Alarm
Alarm
JohnCalls
MaryCalls
1.5解决方案
•合并独立假设1和独立假设2，可得：P(John| Burglary, Earthquake, Alarm)=P(John| Alarm)
合并独立假设1和2
Burglary
P(E e) P( X ) 是 X 的先验分布， P(X | E e) 是 X 的后验分布， P(E e | X ) 称为 X 的似然函数。 P(E e) 是一个归一化常数
后验分布正比于先验分布和似然函数的乘积。
1.3几个重要原理
链规则(chain rule)
利用变量间条件独立性
1.3不确定性推理与联合概率分布
n n 9.1E-1
1.3不确定性推理与联合概率分布
从联合概率分布 P(Burglary,Earthquake, Alarm,John,Mary)出发，先计算边缘分布
P(Burglary, Mary)
P(Burglary, Earthquake, Alarm, John, Mary)
Earthquake, Alarm,John
0.000115
0.61
P(Burglary y, Mary y) P(Burglary n, Mary y) 0.000115 0.000075
1.4存在的问题
直接使用联合分布进行不确定性推理的困难很明显，即它的复杂度
极高。上图中有 5 个二值随机变量，整个联合分布包含25 1 31 个独
n n 2.8E-4 n
n
y
n n 2.9E-5
y
n

人工智能贝叶斯网络.ppt

人工智能贝叶斯网络.ppt

• Directed Acyclic Graph (DAG)
– Nodes are random variables – Edges indicate causal influences
Burglary
Earthquake
Alarm
JohnCalls
MaryCalls
3
Conditional Probability Tables
– Bayesian Networks: Directed acyclic graphs that indicate causal structure.
– Markov Networks: Undirected graphs that capture general dependencies.
2
Bayesian Networks
JohnCalls
MaryCalls
However, this ignores the prior probability of John calling.
12
Bayes Net Inference
• Example: Given that John calls, what is the probability that there is a Burglary?
7
Independencies in Bayes Nets
• If removing a subset of nodes S from the network renders nodes Xi and Xj disconnected, then Xi and Xj are independent given S, i.e. P(Xi | Xj, S) = P(Xi | S)

贝叶斯网络简介PPT课件

贝叶斯网络简介PPT课件

而在贝叶斯网络中，由于存在前述性质，任意随 机变量组合的联合条件概率分布被化简成
其中Parents表示xi的直接前驱节点的联合，概率 值可以从相应条件概率表中查到。
.
6
例子
P(C, S,R,W) = P(C)P(S|C)P(R|S,C)P(W|S,R,C) chain rule
= P(C)P(S|C)P(R|C)P(W|S,R,C) since
= P(C)P(S|C)P(R|C)P.(W|S,R) since
7
贝叶斯网络的构造及训练
1、确定随机变量间的拓扑关系，形成DAG 。这一步通常需要领域专家完成，而想要 建立一个好的拓扑结构，通常需要不断迭 代和改进才可以。
2、训练贝叶斯网络。这一步也就是要完成 条件概率表的构造，如果每个随机变量的 值都是可以直接观察的，方法类似于朴素 贝叶斯分类。但是通常贝叶斯网络的中存 在隐藏变量节点，那么训练方法就是比较 复杂。
4、将收敛结果作为推. 断值。
9

贝叶斯网络应用
医疗诊断，
工业，
金融分析，
计算机（微软Windows,Office），
模式识别：分类，语义理解
军事（目标识别，多目标跟踪，战争身份识别
等），
生态学，
生物信息学（贝叶斯网络在基因连锁分析中应
用），
编码学，
分类聚类，
时序数据和动态模型 .
• 用概率论处理不确定性的主要优点是保 证推理结果的正确性。
.
2
几个重要原理
• 链规则(chain rule)
P ( X 1 , X 2 ,X . n ) . P ( . X 1 ) , P ( X 2 |X 1 ) P ( X .n | . X 1 , . X 2 ,X . n ) ..,

贝叶斯信念网络汇总课件

贝叶斯信念网络汇总课件
参数学习的常用算法
常用的参数学习方法包括最大似然估计、贝叶斯估计和期望最大化算法等。这些算法可以帮助我们从数据中学习 到最佳的参数设置，使得贝叶斯网络能够最好地拟合概率推理是贝叶斯信念网络的核心，它基于概率理论来描述不 确定性。
02
概率推理的目标是计算给定证据下某个假设的概率，或者计算
06
贝叶斯网络的发展趋势与 未来展望
深度学习与贝叶斯网络的结合
深度学习在特征提取上的 优势
贝叶斯网络在处理复杂、高维数据时，可以 借助深度学习强大的特征提取能力，提高模 型对数据的理解和表达能力。
贝叶斯网络的概率解释能力
贝叶斯网络具有清晰的概率解释，可以为深度学习 模型提供可解释性强的推理框架，帮助理解模型预 测结果。
参数可解释性
通过可视化技术、解释性算法等方法，可以进一步解释贝叶斯网络 中参数的意义和影响，提高模型的可信度和用户接受度。
感谢您的观看
THANKS
联合优化与模型融合
未来研究可以探索深度学习与贝叶斯网络在 结构、参数和优化方法上的联合优化，实现 两者的优势互补。
大数据处理与贝叶斯网络
大数据处理的需求
随着大数据时代的到来，如何高 效处理、分析和挖掘大规模数据 成为关键问题。贝叶斯网络在大 数据处理中具有广阔的应用前景 。
并行计算与分布式
实现
针对大规模数据，可以采用分布 式计算框架，如Hadoop、Spark 等，对贝叶斯网络进行并行化处 理，提高推理和学习的效率。
在贝叶斯网络中，变量间的关系通过 条件独立性来表达。确定条件独立性 有助于简化网络结构，提高推理效率 。
构建有向无环图
根据条件独立性评估结果，可以构建 一个有向无环图来表示贝叶斯网络的 结构。这个图将各个变量连接起来， 反映了它们之间的依赖关系。

chap20用贝叶斯网学习和动作人工智能课程上海交大精品PPT课件

chap20用贝叶斯网学习和动作人工智能课程上海交大精品PPT课件

Computation of Ex[U2] (1/2)
The environment is Markovian by this network structure. Ex[U2|E0 = 0, A0 = R, S1 = 1, A1 = R] Ex[U2|E0 = 0, A0 = R, S1 = 1, A1 = L]
p(E 2|E 00,A 0R ,S11,A 1R )
E U1 p s(E in2|gE 0t h0e,A 0poR l,yS1 t re1,eA 1 aR lg,E o1)rp i(tE h1m|E 00,A 0R ,S11,A 1R )
p(E 2|A 1R ,E 1)p(E 1|E 00,A 0R ,S11)
20.2 概率推理与动作
20.2.2 一个扩展的例子
– E: a state variable {-2, -1, 0, 1, 2} – Each location has a utility U. – E0 = 0 – Ai: the action at the i-th time step {L, R}
E1
•With this probability, the Ex[U2] given A1=R can be calculated. • Similarly, Ex[U2] given A1=L can be calculated. •Then the action that yields the larger value is selected.
E 1
Computation of Ex[U2] (2/2)
p(E1|E00,A0R,S11)kp (S11|E00,A0R,E1)p(E1|E00,A0R) kp (S11|E1)p(E1|E00,A0R)

人工智能09贝叶斯网络(PPT57页)

人工智能09贝叶斯网络(PPT57页)

k
18
Global semantics（全局语义）
The full joint distribution is defined as the product of the local conditional distributions: 全联合概率分布可以表示为贝叶斯网络中 的条件概率分布的乘积
19
– Is X independent of Z given Y?
22
Common Cause共同原因
• 另一个基础的形态: two effects of the same cause – Are X and Z independent? – Are X and Z independent given Y?
opportunities.
“某事发生的概率是0.1” 意味着0.1是在无穷 多样本的极限
条件下能够被观察到的比例
但是，在许多情景下不可能进行重复试
验
2
Probability概率
Probability is a rigorous formalism for uncertain knowledge
概率是对不确定知识一种严密的形式化方法
6
什么是图模型？
概率分布的图表示 – 概率论和图论的结合
• Also called 概率图模型 • They augment analysis instead of using pure
algebra（代数）
7
What is a Graph?
• Consists of nodes (also called vertices) and links (also called edges or arcs)
32Βιβλιοθήκη 因果关系?• 当贝叶斯网络反映真正的因果模式时: – Often simpler (nodes have fewer parents) – Often easier to think about – Often easier to elicit from experts（专家）

人工智能原理与应用课件_Bayes

人工智能原理与应用课件_Bayes

Background
• There are two methodologies:
a) Model a classification rule directly
Examples: k-NN, linear classifier, SVM, neural nets, ..
b) Model the probability of class memberships given input data or Make a probabilistic model of data within each class
representative? Are there a lot of data?).
3
Background
• Based on the taxonomy, we can see different the essence of learning models (classifiers) more clearly.
• In many cases, all hypothesis have the same probability P(hi)=P(hj), so we need to find the maximum P(D|h) which is the likelihood of data D given h.
• Discriminative Model: A discriminative classifier tries to model by just
depending on the observed data. It makes fewer assumptions on the
distributions but depends heavily on the quality of the data (Is it

人工智能 贝叶斯网络33页PPT

人工智能 贝叶斯网络33页PPT
人工智能 贝叶斯网络
31、园日涉以成趣，门虽设而常关。 32、鼓腹无所思。朝起暮归眠。 33、倾壶绝余沥，窥灶不见烟。
34、春秋满四泽，夏云多奇峰，秋月 扬明辉 ，冬岭 秀孤松 。 35、丈夫志四海，我愿不知老。
41、学问是异常珍贵的东西，从任何源泉吸 收都不可耻。——阿卜·日·法拉兹
42、只有在人群中间，才能认识自 己。——德国
43、重复别人所说的话，只需要教育； 而要挑战别人所说的话，则需要头脑。—— 玛丽·佩蒂博恩·普尔
44、卓越的人一大优点是：在不利与艰 难的遭遇里百折不饶。——贝多芬
45、自己的饭量自己知道。——苏联
Hale Waihona Puke

贝叶斯网络PPT课件

贝叶斯网络PPT课件
15
2019/8/21
3．贝叶斯网络学习 贝叶斯网络学习是指由先验的贝叶斯网络得到后验的贝叶斯网络的过程。
先验贝叶斯网络是根据用户的先验知识构造的贝叶斯网络，后验贝叶斯网络 是把先验贝叶斯网络和数据相结合而得到的贝叶斯网络。
贝叶斯网络学习的实质是用现有数据对先验知识的修正。贝叶斯网络能 够持续学习．上次学习得到的后验贝叶斯网络变成下一次学习的先验贝叶斯 网络，每一次学习前用户都可以对先验贝叶斯网络进行调整，使得新的贝叶 斯网络更能体现数据中蕴涵的知识。贝叶斯网络的学习关系如图7．2所示。
(2)具有良好的可理解性和逻辑性，这是神经元网络无法比拟的，神经 元网络从输入层输入影响因素信息，经隐含层处理后传人输出层，是黑匣子 似的预测和评估，而贝叶斯网络是白匣子。
(3)专家知识和试验数据的有效结合相辅相成，忽略次要联系而突出主 要矛盾，可以有效避免过学习。
(4)贝叶斯网络以概率推理为基础，推理结果说服力强，而且相对贝叶 斯方法来说，贝叶斯网络对先验概率的要求大大降低。贝叶斯网络通过实践 积累可以随时进行学习来改进网络结构和参数，提高预测诊断能力，并且基 于网络的概率推理算法，贝叶斯网络接受了新信息后立即更新网络中的概率 信息。
图7．1 基于结点间概率关系的推理
3
2019/8/21
通过长期的观察，或者从别人那里了解，这个中学生的父母知道他 们的女儿参加晚会的概率。通过长时间的数据积累，他们也知道他们的 女儿参加晚会后宿醉的概率。因此，结点party和结点hangover之间有 一条连线。同样，有明显的因果关系或相关关系的结点之间都有一条连 线，并且连线从原因结点出发，指向结果结点。
12
2019/8/21
7.l 引例
先看一个关于概率推理的例子。图7．1中有6个结点：参加晚 会(party，PT)、 宿醉(hangover，HO)、患脑瘤(brain tumor， BT)、头疼(headache，HA)、有酒精味(smell alcohol，SA)和X射 线检查呈阳性(posxray，PX)。可以把图7．1想象成为这样一个场 景：一个中学生回家后，其父母猜测她参加了晚会，并且喝了酒； 第二天这个学生感到头疼，她的父母带她到医院做头部的X光检查 ……

贝叶斯信念网络汇总课件

贝叶斯信念网络汇总课件
朴素贝叶斯分类器是基于独立性假设的，即特征之间相互 独立。而贝叶斯信念网络则考虑了特征之间的依赖关系， 能够更好地建模数据分布。
朴素贝叶斯分类器在特征选择上较为简单，通常只考虑特 征是否出现。而贝叶斯信念网络则可以考虑到特征的多个 状态及其概率，提供更丰富的特征信息。
朴素贝叶斯分类器在处理连续型特征时存在困难，而贝叶 斯信念网络则可以很好地处理连续型特征。
与决策树和神经网络的比较
决策树和神经网络是基于数据的全局结构进行分类的 ，而贝叶斯信念网络则基于数据的局部概率分布进行
分类，具有更好的局部细节捕捉能力。
决策树和神经网络通常需要大量的数据才能获得较好 的效果，而贝叶斯信念网络在小样本数据下也能表现
良好。
决策树和神经网络在处理高维数据时容易过拟合，而 贝叶斯信念网络则能够有效地处理高维数据。
与隐马尔可夫模型和卡尔曼滤波器的比较
隐马尔可夫模型和卡尔曼滤波器主要用于时间序列分析，而贝叶斯信念网络则可以用于各种概率分布 的建模。
隐马尔可夫模型和卡尔曼滤波器在处理非线性问题时存在困难，而贝叶斯信念网络则能够很好地处理非 线性问题。
隐马尔可夫模型和卡尔曼滤波器通常用于短期预测，而贝叶斯信念网络则可以用于长期预测和复杂系统 模拟。
可解释性与透明度
随着人工智能技术的广泛应用，模型 的解释性与透明度越来越受到关注。
未来研究可以进一步探索如何提高贝 叶斯信念网络的解释性和透明度，使 其更好地应用于实际问题和决策支持 系统。
贝叶斯信念网络可以通过概率和因果 关系的建模来提供一定的解释性和透 明度。
THANKS。
02
常用的参数学习方法包括最大似 然估计和贝叶斯估计。
最大似然估计基于训练数据估计 参数，使得数据出现的概率最大 。
  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• No realistic amount of training data is sufficient to estimate so many parameters.
• If a blanket assumption of conditional independence is made, efficient training and inference is possible, but such a strong assumption is rarely warranted.

Independencies in Bayes Nets
• If removing a subset of nodes S from the network renders nodes Xi and Xj disconnected, then Xi and Xj are independent given S, i.e. P(Xi | Xj, S) = P(Xi | S)
• Each node has a conditional probability table (CPT) that gives the probability of each of its values given every possible combination of values for its parents (conditioning case).
• Graphical models use directed or undirected graphs over a set of random variables to explicitly specify variable dependencies and allow for less restrictive independence assumptions while limiting the number of parameters that must be estimated.
– Roots (sources) of the DAG that have no parents are given prior probabilities.
P(B)
.001
Burglary
P(E)
Earthquake .002
Alarm
B E P(A) T T .95 T F .94 F T .29 F F .001
– Bayesian Networks: Directed acyclic graphs that indicate causal structure.
– Markov Networks: Undirected graphs that capture general dependencies.
2
Bayesian Networks
• Directed Acyclic Graph (DAG)
– Nodes are random variables – Edges indicate causal influences
Burglary
Earthquake
Alarm
JohnCalls
MaryCalls
3
Conditional Probability Tables
• Therefore an inefficient approach to inference is:
– 1) Compute the joint distribution using this equation. – 2) Compute any desired conditional probability using
• However, this is too strict a criteria for conditional independence since two nodes will still be considered independent if their simply exists some variable that depends on both.
Artificial Intelligence: Bayesian Networks
1
Graphical Models
• If no assumption of independence is made, then an exponential number of parameters must be estimated for sound probabilistic inference.
the joint distribution.
6
Naïve Bayes as a Bayes Net
• Naïve Bayes is a simple Bayes Net
Y
… X1
X2
Xn
• Priors P(Y) and conditionals P(Xi|Y) for Naïve Bayes provide CPTs for the network.
• Number of parameters in the CPT for a node is exponential in the number of parents (fan-in).
5
Joint Distributions for Bayes Nets
• A Bayesian Network implicitly defines a joint distribution.
n
P(x1,x2,.x.n.) P(xi|Par(eXin))ts i1
• Example
P (J M A B E )
P ( J |A ) P ( M |A ) P ( A | B E ) P ( B ) P ( E )
0 .9 0 .7 0 .0 0 .91 9 0 .99 9 0 .08 006
A P(J) T .90 F .05
JohnCalls
MaryCalls
A P(M) T .70 F .01
4
CPT Comments
• Probability of false not given since rows must add to 1.
• Example requires 10 parameters rather than 25–1 = 31 for specifying the full joint distribution.