3．5贝叶斯网络
贝叶斯网络是一系列变量的联合概率分布的图形表示。
一般包含两个部分，一个就是贝叶斯网络结构图，这是一个有向无环图（DAG），其中图中的每个节点代表相应的变量，节点之间的连接关系代表了贝叶斯网络的条件独立语义。另一部分，就是节点和节点之间的条件概率表（CPT），也就是一系列的概率值。如果一个贝叶斯网络提供了足够的条件概率值，足以计算任何给定的联合概率，我们就称，它是可计算的，即可推理的。
3.5.1贝叶斯网络基础
首先从一个具体的实例（医疗诊断的例子）来说明贝叶斯网络的构造。
假设：
命题S(moker)：该患者是一个吸烟者
命题C(oal Miner)：该患者是一个煤矿矿井工人
命题L(ung Cancer)：他患了肺癌
命题E(mphysema)：他患了肺气肿
命题S对命题L和命题E有因果影响，而C对E也有因果影响。
命题之间的关系可以描绘成如右图所示的因果关系网。
因此，贝叶斯网有时也叫因果网，因为可以将连接结点的弧认为是表达了直接的因果关系。
图3-5贝叶斯网络的实例
tp3_5_swf.htm
图中表达了贝叶斯网的两个要素：其一为贝叶斯网的结构，也就是各节点的继承关系，其二就是条件概率表CPT。若一个贝叶斯网可计算，则这两个条件缺一不可。
贝叶斯网由一个有向无环图（DAG）及描述顶点之间的概率表组成。其中每个顶点对应一个随机变量。这个图表达了分布的一系列有条件独立属性：在给定了父亲节点的状态后，每个变量与它在图中的非继承节点在概率上是独立的。该图抓住了概率分布的定性结构，并被开发来做高效推理和决策。
贝叶斯网络能表示任意概率分布的同时，它们为这些能用简单结构表示的分布提供了可计算优势。
假设对于顶点x i，其双亲节点集为P ai，每个变量x i的条件概率P(x i|P ai)。则顶点集合X={x1,x2,…,x n}的联合概率分布可如下计算：
双亲结点。该结点得上一代结点。
该等式暗示了早先给定的图结构有条件独立语义。它说明贝叶斯网络所表示的联合分布作为一些单独的局部交互作用模型
的结果具有因式分解的表示形式。
从贝叶斯网的实例图中，我们不仅看到一个表示因果关系的结点图，还看到了贝叶斯网中的每个变量的条件概率表（CPT）。因此一个完整的随机变量集合的概率的完整说明不仅包含这些
变量的贝叶斯网，还包含网中变量的条件概率表。
图例中的联合概率密度：
P(S,C,L,E)=P(E|S,C)*P(L|S)*P(C)*P(S)
推导过程：P(S,C,L,E)=P(E|S,C,L)*P(L|S,C)*P(C|S)*P(S)（贝叶斯定理）
＝P(E|S,C)*P(L|S)*P(C)*P(S)
即：P(E|S,C,L)＝P(E|S,C),E与L无关
P(L|S,C)=P(L|S)L与C无关
P(C|S)=P(C)C与S无关
以上三条等式的正确性，可以从贝叶斯网的条件独立属性推出：每个变量与它在图中的非继承节点在概率上是独立的。
相比原始的数学公式：
P(S,C,L,E)=P(E|S,C,L)*P(L|S,C)*P(C|S)*P(S)
推导过程：
由贝叶斯定理，P(S,C,L,E)=P(E|S,C,L)*P(S,C,L)
再由贝叶斯定理P(S,C,L)=P(L|S,C)*P(S,C)
同样，P(S,C)=P(C|S)*P(S)
以上几个等式相乘即得原式。
显然，简化后的公式更加简单明了，计算复杂度低很多。如果原贝叶斯网中的条件独立语义数量较多，这种减少更加明显。
贝叶斯网络是一系列变量的联合概率分布的图形表示。这种表示法最早被用来对专家的不确定知识编码，今天它们在现代专家系统、诊断引擎和决策支持系统中发挥了关键作用。贝叶斯网络的一个被经常提起的优点是它们具有形式的概率语义并且能作为存在于人类头脑中的知识结构的自然映像。这有助于知识在概率分布方面的编码和解释，使基于概率的推理和最佳决策成为可能。
3.5.2贝叶斯网的推理模式
在贝叶斯网中有三种重要的推理模式，因果推理（由上向下推理），诊断推理（自底向上推理）和辩解。
3．5．2．1因果推理
让我们通过概述的实例来说明因果推理得过程。给定患者是一个吸烟者（S），计算他患肺气肿（E）的概率P(E|S)。S称作推理的证据，E叫询问结点。
首先，我们寻找E的另一个父结点（C），并进行概率扩展P(E|S)=P(E,C|S)+P(E,~C|S);
即，吸烟的人得肺气肿的概率为吸烟得肺气肿又是矿工的人的概率与吸烟得肺气肿不是矿工的人的概率之和，也就是全概率
公式。
然后利用Bayes定理：
P(E|S)=P(E|C,S)*P(C|S)+P(E|~C,S)*P(~C|S);
公式解释：P(E,C|S)＝P(E,C,S)/P(S)
＝P(E|C,S)*P(C,S)/P(S)(贝叶斯定理)
＝P(E|C,S)*P(C|S)(反向利用贝叶斯定理)
同理可以得出P(E,~C|S)的推导过程。
需要寻找该表达式的双亲结点的条件概率，重新表达联合概率（指P(E,C|S)，P(E,~C|S)）。
在图中，C和S并没有双亲关系，符合条件独立条件：
P(C|S)=P(C),
P(~C|S)=P(~C),
由此可得：
P(E|S)=P(E|S,C)*P(C)+P(E|~C,S)*P(~C)
如果采用概述中的例题数据，则有P(E|S)＝0.9*0.3+0.3*(1-0.3)=0.48
从这个例子中，不难得出这种推理的主要操作：
1）按照给定证据的V和它的所有双亲的联合概率，重新表达给定证据的询问结点的所求条件概率。
2）回到以所有双亲为条件的概率，重新表达这个联合概率。
3）直到所有的概率值可从CPT表中得到，推理完成。
3．5．2．2诊断推理
同样以概述中的例题为例，我们计算"不得肺气肿的不是矿工"的概率P(~C|~E),即在贝叶斯网中，从一个子结点计算父结点的条件概率。也即从结果推测一个起因，这类推理叫做诊断推理。使用Bayes公式就可以把这种推理转换成因果推理。
P(~C|~E)＝P(~E|~C)*P(~C)/P(~E)，
从因果推理可知
P(~E|~C)=P(~E,S|~C)+P(~E,~S|~C)
=P(~E|S,~C)*P(S)+P(~E|~S,~C)*P(~S)
=(1-0.3)*0.4+(1-0.10)*(1-0.4)=0.82;
由此得：
P(~C|~E)＝P(~E|~C)*P(~C)/P(~E)(贝叶斯公式)
＝0.82*(1-0.3)/P(~E)
＝0.574/P(~E)
同样的，
P(C|~E)＝P(~E|C)*P(C)/P(~E)
＝0.34*0.3/P(~E)
＝0.102/P(~E)
由于全概率公式：
P(~C|~E)+P(C|~E)＝1
代入可得
P(~E)=0.676
所以，P(~C|~E)＝0.849
这种推理方式主要利用Bayes规则转换成因果推理。
3．5．2．3辩解
如果我们的证据仅仅是～E（不是肺气肿），象上述那样，我们可以计算～C患者不是煤矿工人的概率。但是如果也给定～S（患者不是吸烟者），那么～C也应该变得不确定。这种情况下，我们说～S解释～E，使～C变得不确定。这类推理使用嵌入在一个诊断推理中的因果推理。
作为思考题，读者可以沿着这个思路计算上式。在这个过程中，贝叶斯规则的使用，是辩解过程中一个重要的步骤。
3.5.3D分离
在本节最开始的贝叶斯网图中，有三个这样的结点：S，L，E。从直观来说，L的知识（结果）会影响S的知识（起因），S 会影响E的知识（另一个结果）。因此，在计算推理时必须考虑的相关因素非常多，大大影响了算法的计算复杂度，甚至可能影响算法的可实现性。但是如果给定原因S，L并不能告诉我们有关E的更多事情。即对于S，L和E是相对独立的，那么在计算S和L的关系时就不用过多地考虑E，将会大大减少计算复杂度。
这种情况下，我们称S能D分离L和E。D分离是一种寻找条件独立的有效方法。
如下图，对于给定的结点集ε，如果对贝叶斯网中的结点V i 和V j之间的每个无向路径，在路径上有某个结点V b，如果有属性：
1）V b在ε中，且路径上的两条弧都以V b为尾（即弧在V b 处开始（出发））
2）V b在ε中，路径上的一条弧以V b为头，一条以V b为尾3）V b和它的任何后继都不在ε中，路径上的两条弧都以V b 为头（即弧在V b处结束）
则称V i和V j被V b结点阻塞。
结论：如果V i和V j被证据集合ε中的任意结点阻塞，则称V i和V j是被ε集合D分离，结点V i和V j条件独立于给定的证据集合ε，即
P(V i|V j,ε)＝P(V i|ε)
P(V j|V i,ε)＝P(V j|ε)
表示为：I(V i,V j|ε)或I(V j,V i|ε)
无向路径：DAG图是有向图，所以其中的路径也应该是有向路径，这里所指的无向路径是不考虑DAG图中的方向性时的路径。
条件独立：如具有以上三个属性之一，就说结点V i和V j条件独立于给定的结点集ε。
阻塞：给定证据集合ε，当上述条件中的任何一个满足时，就说V b阻塞相应的那条路径。
D分离：如果V i和V j之间所有的路径被阻塞，就叫证据集合ε可以D分离V i和V j
注意：在论及路径时，是不考虑方向的；在论及"头"和"尾"时，则必须考虑弧的方向。"头"的含义是箭头方向（有向弧）的终止点，"尾"的含义是箭头方向（有向弧）的起始点。
图3-6通过阻塞结点的条件独立
t3-7_swf.htm
这一分析过程从上图中可以直观的看出来。
D分离的概念也可应用于集合。给定证据集合ε，如果集合εi中所有结点和集合εj中的所有结点之间的每条无向路径被阻塞，则称εi和εj被ε集合D分离。
回到最开始的医疗诊断实例：为简单起见，选择证据集合ε为单个结点集合。
对于给定的结点S，结点E阻塞了结点C和结点L之间的路径，因此C和L是条件独立的，有I（C，L|S）成立。
而对于给定结点E，S和L之间找不到阻塞结点。因此，S 和L不是条件独立的。
即使使用了D分离，一般地讲，在贝叶斯网中，概率推理仍是NP难题。然而，有些简化能在一个叫Polytree的重要网络分
类中使用。一个Polytree网是一个DAG，在该DAG的任意两个结点间，顺着弧的每一个方向只有一条路径。如图就是一个典型的Polytree。
图3-7Polytree
t3-7_swf.htm
D分离的实质就是寻找贝叶斯网中的条件独立语义，以简化推理计算。
总结
本节就Bayes网络的基本问题进行了阐述，着重点在推理计算上。其本质就是通过各种方法寻找网络中的条件独立性，达到减少计算量和复杂性的目的。这些都只是粗浅的描述，进一步的学习，请参考相应的参考书的"Polytree的概率推理"和"Bayes网的学习和动作"等章节，其中有很详细的阐述。
【贝叶斯网参考书】Artificial Intelligence a new synthesis,Nils J.Nilsson
贝叶斯网络 贝叶斯网络是一系列变量的联合概率分布的图形表示。 一般包含两个部分，一个就是贝叶斯网络结构图，这是一个有向无环图（DAG），其中图中的每个节点代表相应的变量，节点之间的连接关系代表了贝叶斯网络的条件独立语义。另一部分，就是节点和节点之间的条件概率表（CPT），也就是一系列的概率值。如果一个贝叶斯网络提供了足够的条件概率值，足以计算任何给定的联合概率，我们就称，它是可计算的，即可推理的。 3.5.1 贝叶斯网络基础 首先从一个具体的实例（医疗诊断的例子）来说明贝叶斯网络的构造。 假设： 命题S(moker)：该患者是一个吸烟者 命题C(oal Miner)：该患者是一个煤矿矿井工人 命题L(ung Cancer)：他患了肺癌 命题E(mphysema)：他患了肺气肿 命题S对命题L和命题E有因果影响，而C对E也有因果影响。 命题之间的关系可以描绘成如右图所示的因果关系网。 因此，贝叶斯网有时也叫因果网，因为可以将连接结点的弧认为是表达了直接的因果关系。 图3-5 贝叶斯网络的实例 图中表达了贝叶斯网的两个要素：其一为贝叶斯网的结构，也就是各节点的继承关系，其二就是条件概率表CPT。若一个贝叶斯网可计算，则这两个条件缺一不可。 贝叶斯网由一个有向无环图（DAG）及描述顶点之间的概率表组成。其中每个顶点对应一个随机变量。这个图表达了分布的一系列有条件独立属性：在给定了父亲节点的状态后，每个变量与它在图中的非继承节点在概率上是独立的。该图抓住了概率分布的定性结构，并被开发来做高效推理和决策。 贝叶斯网络能表示任意概率分布的同时，它们为这些能用简单结构表示的分布提供了可计算优势。 假设对于顶点xi，其双亲节点集为Pai，每个变量xi的条件概率P(xi|Pai)。则顶点集合X={x1,x2,…,xn}的联合概率分布可如下计算： 。 双亲结点。该结点得上一代结点。
确定性与不确定性推理主要方法 1.确定性推理：推理时所用的知识与证据都是确定的，推出的结论也是确定的，其真值或者为真或者为假。 2.不确定性推理：从不确定性的初始证据出发，通过运用不确定性的知识，最终推出具有一定程度的不确定性但却是合理或者近乎合理的结论的思维过程。 3.演绎推理：如：人都是会死的（大前提） 李四是人（小前提） 所有李四会死（结论） 4.归纳推理：从个别到一般：如：检测全部产品合格，因此该厂产品合格； 检测个别产品合格，该厂产品合格。 5.默认推理：知识不完全的情况下假设某些条件已经具备所进行的推理； 如：制作鱼缸，想到鱼要呼吸，鱼缸不能加盖。 6.不确定性推理中的基本问题： ①不确定性的表示与量度： 1)知识不确定性的表示 2)证据不确定性的表示 3)不确定性的量度 ②不确定性匹配算法及阈值的选择 1)不确定性匹配算法：用来计算匹配双方相似程度的算法。 2)阈值：用来指出相似的“限度”。 ③组合证据不确定性的算法 最大最小方法、Hamacher方法、概率方法、有界方法、Einstein方 法等。 ④不确定性的传递算法 1)在每一步推理中，如何把证据及知识的不确定性传递给结论。 2)在多步推理中，如何把初始证据的不确定性传递给最终结论。 ⑤结论不确定性的合成 6.可信度方法：在确定性理论的基础上，结合概率论等提出的一种不确定性推
理方法。其优点是：直观、简单，且效果好。 可信度：根据经验对一个事物或现象为真的相信程度。可信度带有较大的主观性和经验性，其准确性难以把握。C－F模型：基于可信度表示的不确定性推理的基本方法。 CF（H，E）的取值范围: [-1,1]。 若由于相应证据的出现增加结论 H 为真的可信度，则 CF（H，E）> 0，证据的出现越是支持 H 为真，就使CF（H，E) 的值越大。 反之，CF（H，E）< 0，证据的出现越是支持 H 为假，CF（H，E）的值就越小。若证据的出现与否与 H 无关，则 CF（H，E）= 0。 证据E的可信度取值范围：[-1，1] 。 对于初始证据，若所有观察S能肯定它为真，则CF(E)= 1。 若肯定它为假，则 CF(E) = –1。 若以某种程度为真，则 0 < CF(E) < 1。 若以某种程度为假，则－1 < CF(E) < 0 。 若未获得任何相关的观察，则 CF(E) = 0。 静态强度CF（H，E）：知识的强度，即当 E 所对应 的证据为真时对 H 的影响程度。 动态强度 CF（E）：证据 E 当前的不确定性程度。 C－F模型中的不确定性推理：从不确定的初始证据出发，通过运用相关的不确定性知识，最终推出结论并求出结论的可信度值。 模糊逻辑给集合中每一个元素赋予一个介于0和1之间的实数，描述其属于一个集合的强度，该实数称为元素属于一个集合的隶属度。集合中所有元素的隶属度全体构成集合的隶属函数。 模糊知识表示 人类思维判断的基本形式： 如果（条件）→则（结论）
贝叶斯网络 一.简介 贝叶斯网络又称信度网络，是Bayes方法的扩展，目前不确定知识表达和推理领域最有效的理论模型之一。从1988年由Pearl提出后，已知成为近几年来研究的热点.。一个贝叶斯网络是一个有向无环图(Directed Acyclic Graph,DAG),由代表变量节点及连接这些节点有向边构成。节点代表随机变量，节点间的有向边代表了节点间的互相关系(由父节点指向其后代节点)，用条件概率进行表达关系强度，没有父节点的用先验概率进行信息表达。节点变量可以是任何问题的抽象，如：测试值，观测现象，意见征询等。适用于表达和分析不确定性和概率性的事件，应用于有条件地依赖多种控制因素的决策，可以从不完全、不精确或不确定的知识或信息中做出推理。 二. 贝叶斯网络建造 贝叶斯网络的建造是一个复杂的任务，需要知识工程师和领域专家的参与。在实际中可能是反复交叉进行而不断完善的。面向设备故障诊断应用的贝叶斯网络的建造所需要的信息来自多种渠道，如设备手册，生产过程，测试过程，维修资料以及专家经验等。首先将设备故障分为各个相互独立且完全包含的类别（各故障类别至少应该具有可以区分的界限），然后对各个故障类别分别建造贝叶斯网络模型，需要注意的是诊断模型只在发生故障时启动，因此无需对设备正常状态建模。通常设备故障由一个或几个原因造成的，这些原因又可能由一个或几个更低层次的原因造成。建立起网络的节点关系后，还需要进行概率估计。具体方法是假设在某故障原
因出现的情况下，估计该故障原因的各个节点的条件概率，这种局部化概率估计的方法可以大大提高效率。 三. 贝叶斯网络有如下特性 1. 贝叶斯网络本身是一种不定性因果关联模型。贝叶斯网络与其他决策模型不同，它本身是将多元知识图解可视化的一种概率知识表达与推理模型，更为贴切地蕴含了网络节点变量之间的因果关系及条件相关关系。 2. 贝叶斯网络具有强大的不确定性问题处理能力。贝叶斯网络用条件概率表达各个信息要素之间的相关关系，能在有限的，不完整的，不确定的信息条件下进行学习和推理。 3. 贝叶斯网络能有效地进行多源信息表达与融合。贝叶斯网络可将故障诊断与维修决策相关的各种信息纳入网络结构中，按节点的方式统一进行处理，能有效地按信息的相关关系进行融合。 目前对于贝叶斯网络推理研究中提出了多种近似推理算法，主要分为两大类：基于仿真方法和基于搜索的方法。在故障诊断领域里就我们水电仿真而言，往往故障概率很小，所以一般采用搜索推理算法较适合。就一个实例而言，首先要分析使用那种算法模型： a.)如果该实例节点信度网络是简单的有向图结构，它的节点数目少的情况下，采用贝叶斯网络的精确推理，它包含多树传播算法，团树传播算法，图约减算法，针对实例事件进行选择恰当的算法； b.)如果是该实例所画出节点图形结构复杂且节点数目多，我们可采用近似推理算法去研究，具体实施起来最好能把复杂庞大的网络进行化简，然后在与精确推理相结合来考虑。
人工智能不确定性推理部分参考答案
不确定性推理部分参考答案 1．设有如下一组推理规则: r1: IF E1 THEN E2 (0.6) r2: IF E2 AND E3 THEN E4 (0.7) r3: IF E4 THEN H (0.8) r4: IF E5 THEN H (0.9) 且已知CF(E1)=0.5, CF(E3)=0.6, CF(E5)=0.7。求CF(H)=? 解：(1) 先由r1求CF(E2) CF(E2)=0.6 × max{0,CF(E1)} =0.6 × max{0,0.5}=0.3 (2) 再由r2求CF(E4) CF(E4)=0.7 × max{0, min{CF(E2 ), CF(E3 )}} =0.7 × max{0, min{0.3, 0.6}}=0.21 (3) 再由r3求CF1(H) CF1(H)= 0.8 × max{0,CF(E4)} =0.8 × max{0, 0.21)}=0.168 (4) 再由r4求CF2(H) CF2(H)= 0.9 ×max{0,CF(E5)} =0.9 ×max{0, 0.7)}=0.63 (5) 最后对CF1(H )和CF2(H)进行合成，求出CF(H) CF(H)= CF1(H)+CF2(H)+ CF1(H) × CF2(H) =0.692
2 设有如下推理规则 r1: IF E1 THEN (2, 0.00001) H1 r2: IF E2 THEN (100, 0.0001) H1 r3: IF E3 THEN (200, 0.001) H2 r4: IF H1 THEN (50, 0.1) H2 且已知P(E1)= P(E2)= P(H3)=0.6, P(H1)=0.091, P(H2)=0.01, 又由用户告知： P(E1| S1)=0.84, P(E2|S2)=0.68, P(E3|S3)=0.36 请用主观Bayes方法求P(H2|S1, S2, S3)=? 解：(1) 由r1计算O(H1| S1) 先把H1的先验概率更新为在E1下的后验概率P(H1| E1) P(H1| E1)=(LS1× P(H1)) / ((LS1-1) × P(H1)+1) =(2 × 0.091) / ((2 -1) × 0.091 +1) =0.16682 由于P(E1|S1)=0.84 > P(E1)，使用P(H | S)公式的后半部分，得到在当前观察S1下的后验概率P(H1| S1)和后验几率O(H1| S1) P(H1| S1) = P(H1) + ((P(H1| E1) – P(H1)) / (1 - P(E1))) × (P(E1| S1) – P(E1)) = 0.091 + (0.16682 –0.091) / (1 – 0.6)) × (0.84 – 0.6) =0.091 + 0.18955 × 0.24 = 0.136492 O(H1| S1) = P(H1| S1) / (1 - P(H1| S1)) = 0.15807 (2) 由r2计算O(H1| S2) 先把H1的先验概率更新为在E2下的后验概率P(H1| E2) P(H1| E2)=(LS2×P(H1)) / ((LS2-1) × P(H1)+1)
第6章不确定性推理部分参考答案 6.8 设有如下一组推理规则: r1: IF E1THEN E2 (0.6) r2: IF E2AND E3THEN E4 (0.7) r3: IF E4THEN H (0.8) r4: IF E5THEN H (0.9) 且已知CF(E1)=0.5, CF(E3)=0.6, CF(E5)=0.7。求CF(H)=? 解：(1) 先由r1求CF(E2) CF(E2)=0.6 × max{0,CF(E1)} =0.6 × max{0,0.5}=0.3 (2) 再由r2求CF(E4) CF(E4)=0.7 × max{0, min{CF(E2 ), CF(E3 )}} =0.7 × max{0, min{0.3, 0.6}}=0.21 (3) 再由r3求CF1(H) CF1(H)= 0.8 × max{0,CF(E4)} =0.8 × max{0, 0.21)}=0.168 (4) 再由r4求CF2(H) CF2(H)= 0.9 ×max{0,CF(E5)} =0.9 ×max{0, 0.7)}=0.63 (5) 最后对CF1(H )和CF2(H)进行合成，求出CF(H) CF(H)= CF1(H)+CF2(H)+ CF1(H) × CF2(H) =0.692 6.10 设有如下推理规则 r1: IF E1THEN (2, 0.00001) H1 r2: IF E2THEN (100, 0.0001) H1 r3: IF E3THEN (200, 0.001) H2 r4: IF H1THEN (50, 0.1) H2 且已知P(E1)= P(E2)= P(H3)=0.6, P(H1)=0.091, P(H2)=0.01, 又由用户告知： P(E1| S1)=0.84, P(E2|S2)=0.68, P(E3|S3)=0.36 请用主观Bayes方法求P(H2|S1, S2, S3)=? 解：(1) 由r1计算O(H1| S1) 先把H1的先验概率更新为在E1下的后验概率P(H1| E1) P(H1| E1)=(LS1× P(H1)) / ((LS1-1) × P(H1)+1) =(2 × 0.091) / ((2 -1) × 0.091 +1) =0.16682 由于P(E1|S1)=0.84 > P(E1)，使用P(H | S)公式的后半部分，得到在当前观察S1下的后验概率P(H1| S1)和后验几率O(H1| S1)
贝叶斯网络建造 贝叶斯网络的建造是一个复杂的任务，需要知识工程师和领域专家的参与。在实际中可能是反复交叉进行而不断完善的。面向设备故障诊断应用的贝叶斯网络的建造所需要的信息来自多种渠道，如设备手册，生产过程，测试过程，维修资料以及专家经验等。首先将设备故障分为各个相互独立且完全包含的类别（各故障类别至少应该具有可以区分的界限），然后对各个故障类别分别建造贝叶斯网络模型，需要注意的是诊断模型只在发生故障时启动，因此无需对设备正常状态建模。通常设备故障由一个或几个原因造成的，这些原因又可能由一个或几个更低层次的原因造成。建立起网络的节点关系后，还需要进行概率估计。具体方法是假设在某故障原因出现的情况下，估计该故障原因的各个节点的条件概率，这种局部化概率估计的方法可以大大提高效率。 贝叶斯网络训练 使用贝叶斯网络必须知道各个状态之间相关的概率。得到这些参数的过程叫做训练。和训练马尔可夫模型一样，训练贝叶斯网络要用一些已知的数据。比如在训练上面的网络，需要知道一些心血管疾病和吸烟、家族病史等有关的情况。相比马尔可夫链，贝叶斯网络的训练比较复杂，从理论上讲，它是一个NP-complete 问题，也就是说，对于现在的计算机是不可计算的。但是，对于某些应用，这个训练过程可以简化，并在计算上实现。 贝叶斯网络具有如下特性：
1。贝叶斯网络本身是一种不定性因果关联模型。贝叶斯网络与其他决策模型不同，它本身是将多元知识图解可视化的一种概率知识表达与推理模型，更为贴切地蕴含了网络节点变量之间的因果关系及条件相关关系。 2。贝叶斯网络具有强大的不确定性问题处理能力。贝叶斯网络用条件概率表达各个信息要素之间的相关关系，能在有限的，不完整的，不确定的信息条件下进行学习和推理。 3。贝叶斯网络能有效地进行多源信息表达与融合。贝叶斯网络可将故障诊断与维修决策相关的各种信息纳入网络结构中，按节点的方式统一进行处理，能有效地按信息的相关关系进行融合。 目前对于贝叶斯网络推理研究中提出了多种近似推理算法，主要分为两大类：基于仿真方法和基于搜索的方法。在故障诊断领域里就我们水电仿真而言，往往故障概率很小，所以一般采用搜索推理算法较适合。就一个实例而言，首先要分析使用那种算法模型： a.)如果该实例节点信度网络是简单的有向图结构，它的节点数目少的情况下，采用贝叶斯网络的精确推理，它包含多树传播算法，团树传播算法，图约减算法，针对实例事件进行选择恰当的算法； b.)如果是该实例所画出节点图形结构复杂且节点数目多，我们可采用近似推理算法去研究，具体实施起来最好能把复杂庞大的网络进行化简，然后在与精确推理相结合来考虑。 在日常生活中，人们往往进行常识推理，而这种推理通常是不准确的。例如，你看见一个头发潮湿的人走进来，你可能会认为外面下雨了，那你也许错了；如果你在公园里看到一男一女带着一个小孩，你可能会认为他们是一家人，你可能也犯了错误。在工程中，我们也同样需要进行科学合理的推理。但是，工程实际中的问题一般都比较复杂，而且存在着许多不确定性因素。这就给准确推理带来了很大的困难。很早以前，不确定性推理就是人工智能的一个重要研究领域。尽管许多人工智能领域的研究人员引入其它非概率原理，但是他们也认为在常识推理的基础上构建和使用概率方法也是可能的。为了提高推理的准确性，人们引入了概率理论。最早由Judea Pearl于1988年提出的贝叶斯网络(Bayesian Network)实质上就是一种基于概率的不确定性推理网络。它是用来表示变量集合连接概率的图形模型，提供了一种表示因果信息的方法。当时主要用于处理人工智能中的不确定性信息。随后它逐步成为了处理不确定性信息技术的主流，并且在计算机智能科学、工业控制、医疗诊断等领域的许多智能化系统中得到了重要的应用。 贝叶斯理论是处理不确定性信息的重要工具。作为一种基于概率的不确定性推理方法，贝叶斯网络在处理不确定信息的智能化系统中已得到了重要的应用，已成功地用于
比较简单的贝叶斯网络总结
贝叶斯网络 贝叶斯网络是一系列变量的联合概率分布的图形表示。 一般包含两个部分，一个就是贝叶斯网络结构图，这是一个有向无环图（DAG），其中图中的每个节点代表相应的变量，节点之间的连接关系代表了贝叶斯网络的条件独立语义。另一部分，就是节点和节点之间的条件概率表（CPT），也就是一系列的概率值。如果一个贝叶斯网络提供了足够的条件概率值，足以计算任何给定的联合概率，我们就称，它是可计算的，即可推理的。 3.5.1 贝叶斯网络基础 首先从一个具体的实例（医疗诊断的例子）来说明贝叶斯网络的构造。 假设： 命题S(moker)：该患者是一个吸烟者 命题C(oal Miner)：该患者是一个煤矿矿井工人 命题L(ung Cancer)：他患了肺癌 命题E(mphysema)：他患了肺气肿
这两个条件缺一不可。 贝叶斯网由一个有向无环图（DAG）及描述顶点之间的概率表组成。其中每个顶点对应一个随机变量。这个图表达了分布的一系列有条件独立属性：在给定了父亲节点的状态后，每个变量与它在图中的非继承节点在概率上是独立的。该图抓住了概率分布的定性结构，并被开发来做高效推理和决策。 贝叶斯网络能表示任意概率分布的同时，它们为这些能用简单结构表示的分布提供了可计算优势。 假设对于顶点xi，其双亲节点集为Pai，每个变量xi的条件概率P(xi|Pai)。则顶点集合X={x1,x2,…,xn}的联合概率分布可如下计算： 。 双亲结点。该结点得上一代结点。 该等式暗示了早先给定的图结构有条件独立语义。它说明贝叶斯网络所表示的联合分布作为一些单独的局部交互作用模型的结果具有因式分解的表示形式。
3.3主观Bayes方法 R.O.Duda等人于1976年提出了一种不确定性推理模型。在这个模型中，他们称推理方法为主观Bayes方法，并成功的将这种方法应用于地矿勘探系统PROSPECTOR中。在这种方法中，引入了两个数值（LS，LN），前者体现规则成立的充分性，后者则表现了规则成立的必要性，这种表示既考虑了事件A的出现对其结果B的支持，又考虑了A的不出现对B的影响。 在上一节的CF方法中，CF（A）<0.2就认为规则不可使用，实际上是忽视了A不出现的影响，而主观Bayes方法则考虑了A 不出现的影响。 t3-B方法_swf.htm Bayes定理： 设事件A1，A2，A3，…，An中任意两个事件都不相容，则对任何事件B有下式成立： 该定理就叫Bayes定理，上式称为Bayes公式。 全概率公式： 可写成： 这是Bayes定理的另一种形式。
Bayes定理给出了一种用先验概率P（B|A），求后验概率P （A|B）的方法。例如用B代表发烧，A代表感冒，显然，求发烧的人中有多少人是感冒了的概率P（A|B）要比求因感冒而发烧的概率P（B|A）困难得多。 3.3.1规则的不确定性 为了描述规则的不确定性，引入不确定性描述因子LS,LN：对规则A→B的不确定性度量f（B，A）以因子（LS，LN）来描述： 表示A真时对B的影响，即规则成立的充分性 表示A假时对B的影响，即规则成立的必要性 实际应用中概率值不可能求出，所以采用的都是专家给定的LS,LN值。从LS，LN的数学公式不难看出，LS表征的是A的发生对B发生的影响程度，而LN表征的是A的不发生对B发生的影响程度。 几率函数O(X)： 即，表示证据X的出现概率和不出现的概率之比，显然O(X)是P(X)的增函数，且有： P(X)＝0，O(X)＝0
不确定性推理部分参考答案 1．设有如下一组推理规则: r1: IF E1THEN E2 (0.6) r2: IF E2AND E3THEN E4 (0.7) r3: IF E4THEN H (0.8) r4: IF E5THEN H (0.9) 且已知CF(E1)=0.5, CF(E3)=0.6, CF(E5)=0.7。求CF(H)=? 解：(1) 先由r1求CF(E2) CF(E2)=0.6 × max{0,CF(E1)} =0.6 × max{0,0.5}=0.3 (2) 再由r2求CF(E4) CF(E4)=0.7 × max{0, min{CF(E2 ), CF(E3 )}} =0.7 × max{0, min{0.3, 0.6}}=0.21 (3) 再由r3求CF1(H) CF1(H)= 0.8 × max{0,CF(E4)} =0.8 × max{0, 0.21)}=0.168 (4) 再由r4求CF2(H) CF2(H)= 0.9 ×max{0,CF(E5)} =0.9 ×max{0, 0.7)}=0.63 (5) 最后对CF1(H )和CF2(H)进行合成，求出CF(H) CF(H)= CF1(H)+CF2(H)+ CF1(H) × CF2(H) =0.692 2 设有如下推理规则 r1: IF E1THEN (2, 0.00001) H1 r2: IF E2THEN (100, 0.0001) H1 r3: IF E3THEN (200, 0.001) H2 r4: IF H1THEN (50, 0.1) H2 且已知P(E1)= P(E2)= P(H3)=0.6, P(H1)=0.091, P(H2)=0.01, 又由用户告知： P(E1| S1)=0.84, P(E2|S2)=0.68, P(E3|S3)=0.36 请用主观Bayes方法求P(H2|S1, S2, S3)=? 解：(1) 由r1计算O(H1| S1) 先把H1的先验概率更新为在E1下的后验概率P(H1| E1) P(H1| E1)=(LS1× P(H1)) / ((LS1-1) × P(H1)+1) =(2 × 0.091) / ((2 -1) × 0.091 +1) =0.16682 由于P(E1|S1)=0.84 > P(E1)，使用P(H | S)公式的后半部分，得到在当前观察S1下的后验概率P(H1| S1)和后验几率O(H1| S1) P(H1| S1) = P(H1) + ((P(H1| E1) – P(H1)) / (1 - P(E1))) × (P(E1| S1) – P(E1))
3．5贝叶斯网络 贝叶斯网络是一系列变量的联合概率分布的图形表示。 一般包含两个部分，一个就是贝叶斯网络结构图，这是一个有向无环图（DAG），其中图中的每个节点代表相应的变量，节点之间的连接关系代表了贝叶斯网络的条件独立语义。另一部分，就是节点和节点之间的条件概率表（CPT），也就是一系列的概率值。如果一个贝叶斯网络提供了足够的条件概率值，足以计算任何给定的联合概率，我们就称，它是可计算的，即可推理的。 3.5.1贝叶斯网络基础 首先从一个具体的实例（医疗诊断的例子）来说明贝叶斯网络的构造。 假设： 命题S(moker)：该患者是一个吸烟者 命题C(oal Miner)：该患者是一个煤矿矿井工人 命题L(ung Cancer)：他患了肺癌 命题E(mphysema)：他患了肺气肿 命题S对命题L和命题E有因果影响，而C对E也有因果影响。 命题之间的关系可以描绘成如右图所示的因果关系网。
因此，贝叶斯网有时也叫因果网，因为可以将连接结点的弧认为是表达了直接的因果关系。 图3-5贝叶斯网络的实例 tp3_5_swf.htm 图中表达了贝叶斯网的两个要素：其一为贝叶斯网的结构，也就是各节点的继承关系，其二就是条件概率表CPT。若一个贝叶斯网可计算，则这两个条件缺一不可。 贝叶斯网由一个有向无环图（DAG）及描述顶点之间的概率表组成。其中每个顶点对应一个随机变量。这个图表达了分布的一系列有条件独立属性：在给定了父亲节点的状态后，每个变量与它在图中的非继承节点在概率上是独立的。该图抓住了概率分布的定性结构，并被开发来做高效推理和决策。 贝叶斯网络能表示任意概率分布的同时，它们为这些能用简单结构表示的分布提供了可计算优势。 假设对于顶点x i，其双亲节点集为P ai，每个变量x i的条件概率P(x i|P ai)。则顶点集合X={x1,x2,…,x n}的联合概率分布可如下计算： 双亲结点。该结点得上一代结点。 该等式暗示了早先给定的图结构有条件独立语义。它说明贝叶斯网络所表示的联合分布作为一些单独的局部交互作用模型
黄友平 构建一个指定领域的贝叶斯网络包括三个任务： ①标识影响该领域的变量及其它们的可能值； ②标识变量间的依赖关系，并以图形化的方式表示出来； ③学习变量间的分布参数，获得局部概率分布表。 实际上建立一个贝叶斯网络往往是上述三个过程迭代地、反复地交互过程。 一般情况下，有三种不同的方式来构造贝叶斯网：①由领域专家确定贝叶 斯网的变量（有时也成为影响因子）节点，然后通过专家的知识来确定贝叶斯网络的结构，并指定它的分布参数。这种方式构造的贝叶斯网完全在专家的指导下进行，由于人类获得知识的有限性，导致构建的网络与实践中积累下的数据具有很大的偏差；②由领域专家确定贝叶斯网络的节点，通过大量的训练数据，来学习贝叶斯网的结构和参数。这种方式完全是一种数据驱动的方法，具有很强的适应性。而且随着人工智能、数据挖掘和机器学习的不断发展，使得这种方法成为可能。如何从数据中学习贝叶斯网的结构和参数，已经成为贝叶斯网络研究的热点。③由领域专家确定贝叶斯网络的节点，通过专家的知识来指定网络的结构，而通过机器学习的方法从数据中学习网络的参数。这种方式实际上是前两种方式的折中，当领域中变量之间的关系较明显的情况下，这种方法能大大提高学习的效率。 在由领域专家确定贝叶斯网络的节点后，构造贝叶斯 网的主要任务就是学习它的结构和参数。 为使贝叶斯网作为知识模型是可用的， 在学习过程中致力于寻找一种最简单的网络结构是非常必要的，这种简单的结构模型称之为稀疏网络，它含有最少可能的参数及最少可能的依赖关系。 Bayesian 网是联合概率分布的简化表示形式，可以计算变量空间的任意概 率值。当变量数目很大时，运用联合概率分布进行计算通常是不可行的，概率数目是变量数目的指数幂，计算量难以承受。Bayesian 网利用独立因果影响关系解决了这个难题。Bayesian 网中三种独立关系：条件独立、上下文独立及因果影响独立。三种独立关系旨在把联合概率分布分解成更小的因式，从而达到节省存储空间、简化知识获取和领域建模过程、降低推理过程中计算复杂性的目的，因此可以说独立关系是Bayesian 网的灵魂。 贝叶斯网络结构的方法分成两类： 基于评分的方法（Based on scoring）和 基于条件独立性的方法（Based on Conditional independence）。 。基于评分的方法把贝叶斯网络看成是含有属性之
不确定性推理 摘要：对3种最常用的不确定性推理方法进行了分析和评述:概率推理、D-S证据推理和模糊推理。分别针对不同类型的不确定性。概率推理针对的是"事件发生与否不确定"这样的不确定性。D-S证据推理针对的是"分不清"或"不知道"这样的不确定性。模糊推理则是针对概念内涵或外延不清晰这样的不确定性。概率推理的理论体系是严密的,但其推理结果有赖可信的先验概率和条件概率。D-S证据推理是不可信的,但在一定条件下可以转化为概率推理问题来处理。模糊推理是一种很有发展潜力的推理方法，主要问题是推理规则需要具体设计，且设计好坏决定推理结果。 关键词：不确定性推理概率推理 D-S证据论模糊推理 引言 近年来，不确定性推理技术引起了人们的重视。这一方面是由于现实问题中普遍含有种种的不确定性，因此对不确定性推理技术有很大的需求。另一方面也在于不断出现的不确定性推理技术出现了一些问题，引起了人们的热议。 本文对三种应用最为广泛的不确定性推理技术进行了分析和评述。它们是：概率推理、D-S证据推理和模糊推理。它们分别具有处理不同类型的不确定性的能力。概率推理处理的是“事件发生与否不确定”这样的不确定性；D-S证据推理处理的是含有“分不清”或“不知道”信息这样的不确定性；模糊推理则是针对概念内涵或外延不清晰这样的不确定性。这些不确定性在实际的推理问题中是非常普遍的，因此这３种推理技术都有广泛的应用。 然而，这些推理技术在实际中的应用效果相差很大。有的得出的推理结果非常合理，用推理结果去执行任务的效果也非常好。也有的效果很差，推理结果怪异，完全背离人的直觉。应用效果差的原因可能是所用推理技术本身的缺陷，也可能是应用者对所用技术了解掌握不够。 无论如何，都非常有必要对这些不确定性推理技术进行一番对比分
3.3 主观Bayes方法 R.O.Duda等人于1976年提出了一种不确定性推理模型。在这个模型中，他们称推理方法为主观Bayes方法，并成功的将这种方法应用于地矿勘探系统PROSPECTOR中。在这种方法中，引入了两个数值（LS，LN），前者体现规则成立的充分性，后者则表现了规则成立的必要性，这种表示既考虑了事件A的出现对其结果B的支持，又考虑了A的不出现对B的影响。 在上一节的CF方法中，CF（A）<0.2就认为规则不可使用，实际上是忽视了A不出现的影响，而主观Bayes方法则考虑了A 不出现的影响。 t3-B方法_swf.htm Bayes定理： 设事件A1，A2 ，A3 ，…，An中任意两个事件都不相容，则对任何事件B有下式成立： 该定理就叫Bayes定理，上式称为Bayes公式。
全概率公式： 可写成： 这是Bayes定理的另一种形式。 Bayes定理给出了一种用先验概率P（B|A），求后验概率P （A|B）的方法。例如用B代表发烧，A代表感冒，显然，求发烧的人中有多少人是感冒了的概率P（A|B）要比求因感冒而发烧的概率P（B|A）困难得多。 3.3.1 规则的不确定性 为了描述规则的不确定性，引入不确定性描述因子LS, LN：对规则A→B的不确定性度量f（B，A）以因子（LS，LN）来描述：
表示A真时对B的影响，即规则成立的充分性 表示A假时对B的影响，即规则成立的必要性 实际应用中概率值不可能求出，所以采用的都是专家给定的LS, LN值。从LS，LN的数学公式不难看出，LS表征的是A的发生对B发生的影响程度，而LN表征的是A的不发生对B发生的影响程度。 几率函数O(X)：
不确定性推理 1/4/2004 ● 对每个模型需要把握的重点： （1） 知识不确定性的表示方法 （2） 证据不确定性的表示方法 （3） 组合证据不确定性的计算方法 （4） 不确定性的传递算法，亦即如何由证据的不确定性以及知识的不确定性求出结论的 不确定性 （5） 结论不确定性的合成算法，即如果有多条知识推出相同的结论，应该怎样计算出最 终的结论不确定性 ● 学过的模型： 一． 概率方法 二． 主观Bayes 方法 ◆ 实质：根据证据E 的概率P(E)以及LS ，LN 的值，将H 的先验概率P(H)更新为后验概率P(H/E)。其中，LS ，LN ，P(H)都由领域专家给出，P(E)则是由用户的具体观察得到的。 ◆ 模型： （1） 知识不确定性的表示：使用充分性量度LS 和必要性量度LN ，并且这两者都是由领 域专家给出的（P163） （2） 证据不确定的表示：用概率P(E/S)来表示，其中S 表示一次观察，E 为证据。一般 的该值是根据用户给出的可信度C(E/S)计算出来的，具体计算方法参见课本P163-164 （3） 组合证据不确定性的计算：极大极小法（P164） （4） 不确定性的传递算法：引入几率函数来辅助推理过程。几率函数定义为： ()()1() P x x P x Θ=- 根据知识对应的证据的确定性不同分成三种情况，即 1）证据肯定存在的情况： (/)()H E LS H Θ=?Θ 或 ()()(/)(1)()11()LS P H LS H P H E LS P H LS H ??Θ==-?++?Θ 2）证据肯定不存在的情况： (/)()H E LN H Θ?=?Θ 或