2.1贝叶斯定理
贝叶斯定理是关于随机事件A和B的条件概率的一则定理。
贝叶斯定理公式：P(A|B)=P(B|A)*P(A)/P(B) （2.1.1）
上面的公式也可变形为：P(B|A)=P(A|B)*P(B)/P(A) （2.1.2）
这里，P(A|B)是在B发生的情况下A发生的可能性。
在贝叶斯定理中，每个名词定义如下：
P(A)是A的先验概率。之所以称为"先验"是因为它不考虑任何B方面的因素。
P(A|B)是已知B发生后A的条件概率，也由于得自B的取值而被称作A的后验概率。
P(B|A)是已知A发生后B的条件概率，也由于得自A的取值而被称作B的后验概率。
P(B)是B的先验概率。
2.2贝叶斯估计
2.2.1 贝叶斯估计的基本原理。
A．贝叶斯估计的4个步骤
?假设
?将待估计的参数看作符合某种先验概率分布的随机变量
?估计方式
?通过观察样本，将先验概率密度通过贝叶斯规则转化为后验概率密度。
B．概率密度估计的两种基本方法
方法1：参数估计(parametric methods)
根据对问题的一般性的认识，假设随机变量服从
某种分布，分布函数的参数通过训练数据来估计。
如：ML 估计，Bayesian估计。
方法2：非参数估计(nonparametric methods)：
不用模型，而只利用训练数据本身对概率密度做
估计。
C．贝叶斯估计应用及其框图
贝叶斯估计应用在很多领域，在概率、数理统计学中以贝叶斯姓氏命名的有贝叶斯公式、贝叶斯风险、贝叶斯决策函数、贝叶斯决策规则、贝叶斯估计量、贝叶斯方法、贝叶斯统计等等.
贝叶斯统计学派把任意一个未知参数都看成随机变量，应用一个概率分布去描述它的未知状况，该分布称为先验分布。
图 2.1 贝叶斯估计应用框图
D．贝叶斯估计的公式
概率论中贝叶斯公式为
（2.1.3）
这里，p (x) 目标状态x的先验概率分布；p (z|x) 给定x情况下测量值z的似然函数；
p (x|z) 给定测量值z情况下x的后验概率分布；p(z) 是边缘分布，也叫规则化常量。
由于式（2.1.3）中的分母对所有测量值z都是一个常数，做如下逼近：
（2.1.4）
根据决策理论,由于状态不能直接观察,只能观察另外一个与X（下面也用θ表示）有联系的随机变量Z 来获得后验信息。Z与X的联系愈紧密愈好,然后利用对Z的观察结果修正对后验概率的估计。由于观察Z还受到其他随机因素的影响, 因此对于给定的X是一随机变量, 似然函数P ( Z |X )即为Z的条件密度函数——对预测因子Z的联合分布。
对于计算后验概率,似然函数是最为关键的。为此,首先需要确定Z的函数形式。为了使X 能够观察, 最合适的模型是多元线性模型。当然,预测函数并不是惟一的。当然, 可以利用过去的历史数据, 用线性回归或核估计的方法估计出Z的概率分布函数,并构建似然函数
P(Z |X )。当然, 可以利用过去的历史数据, 用线性回归或核估计的方法估计出X的概率分布函数,并构建似然函数P(Z |X )。
（2.1.4）
因为Z 的值不满足概率的形式,但其大小与概率具有内在联系, Z值越小,发生的概率越大, 两者之间可以证明满足线性关系。因此,似然函数均值为f (X) , 这里f (X ) = aX + k, 并且a 和k 的值可以经过回归得到。因此,可推出后验概率p (x|z)同样服从正态分布, 即p (x|z)～N (μ1，σ12) （2.1.5）
这里
（2.1.6）
（2.1.7）
后验分布p (x|z)综合了总体P( Z |X ) 、样本Z和先验分布P( X )中有关X的信息, 为了寻找财务困境概率X的估计值X ,需要从后验分布p (x|z)中提取信息。最常见的方法有3种:后验分布的均值, 后验分布的中位数及使后验密度达到最大的X。在这里, 3 种方法的结果一样。
观测到样本Z 1, Z 2 ,?, Z n后,若σ2、τ2、a、k 已知,
（2.1.8）
为完全分统计量,此时,
（2.1.9）
由式（2.1.5）可以推出
（2.1.10）
E．两种贝叶斯估计
其一是最大似然（ML）估计：
根据每一类的训练样本估计每一类的类条件概率密度。
（2.1.11）
其二是Bayesian估计：
同样根据每一类的训练样本估计每一类的类条件概率密度。但不再把参数θ看成是一个未知的确定变量，而是看成未知的随机变量。通过对第i类样本的观察，使概率密度分布
转化为后验概率再求贝叶斯估计。
ML估计与Bayesian估计比较如下：
ML估计特点：
1）参数为未知确定变量；
2）没有利用参数先验信息；
3）估计的概率模型与假设；
4）可理解性好；
5）计算简单。
Bayesian估计特点：
1）参数为未知随机变量；
2）利用参数的先验信息；
3）估计的概率模型相比于假设模型会发生变化；
4）可理解性差；
5）计算复杂。
ML估计与贝叶斯估计有什么关系如下：
?ML估计通常比贝叶斯估计简单；
?ML估计给出参数的值，而贝叶斯估计给出所有可能的参数值的分布；
?当可用数据很多以至于减轻了先验知识的作用时，贝叶斯估计可以退化为ML估计。
F . 求贝叶斯估计的方法（平方误差损失下）
贝叶斯估计的方法分为如下四个步骤。
在高斯分布的假设下（用Word重新写），上述贝叶斯估计的方法简化为：
贝叶斯估计应用举例：
1）对定位应用，定位或者跟踪的目标是从一系列的测量值中对目标做出一个较好的估计。2）财务困境概率贝叶斯估计
通过财务困境概率估计模型建立一套企业财务风险预测系统,具有降低企业经营风险、投资风险以及防范金融危机的重要意义。利用贝叶斯分析方法建立的概率估计模型,
可以较好地解决这个问题,提高预测的针对性和准确性。
3）时序模型的变点贝叶斯估计在钢材价格分析中的应用（待查的硕士论文）
参考文献
曹祥.贝叶斯参数估计[EB/OL]. https://www.doczj.com/doc/192680591.html,/people/xgeng/files/under/S04_ab.pdf
贝叶斯定理 (重定向自后验概率) 贝叶斯定理（Bayes theorem），是概率论中的一个结果，它跟随机变量的条件概率以及边缘概率分布有关。在有些关于概率的解说中，贝叶斯定理(贝叶斯更新）能够告知我们如何利用新证据修改已有的看法。 通常，事件A在事件B(发生)的条件下的概率，与事件B在事件A的条件下的概率是不一样的；然而，这两者是有确定的关系,贝叶斯定理就是这种关系的陈述。 作为一个规范的原理，贝叶斯定理对于所有概率的解释是有效的；然而，频率主义者和贝叶斯主义者对于在应用中，概率如何被赋值，有着不同的看法：频率主义者根据随机事件发生的频率，或者总体样本里面的个数来赋值概率；贝叶斯主义者要根据未知的命题来赋值概率。一个结果就是，贝叶斯主义者有更多的机会使用贝叶斯定理。本文深度讨论了这些争论。 贝叶斯定理的陈述 贝叶斯定理是关于随机事件A和B的条件概率和边缘概率的一则定理。
其中P(A|B)是在B发生的情况下A发生的可能性。 在贝叶斯定理中，每个名词都有约定俗成的名称： 按这些术语，Bayes定理可表述为： 后验概率= (相似度* 先验概率)/标准化常量 也就是说，后验概率与先验概率和相似度的乘积成正比。 另外，比例P(B|A)/P(B)也有时被称作标准相似度（standardised likelihood），Bayes定理可表述为： 后验概率= 标准相似度* 先验概率 从条件概率推导贝叶斯定理 根据条件概率的定义 . 在事件B发生的条件下事件A发生的概率是
同样地, 在事件A发生的条件下事件B发生的概率 整理与合并这两个方程式, 我们可以找到 这个引理有时称作概率乘法规则.上式两边同除以P(B), 若P(B)是非零的, 我们可以得到贝叶斯定理: 二中择一的形式 贝叶斯定理通常可以再写成下面的形式： 在更一般化的情况，假设{A i}是事件集合里的部份集合，对于任意的A i，贝叶斯定理可用下式表示：
贝叶斯决策模型及实例分析 一、贝叶斯决策的概念 贝叶斯决策，是先利用科学试验修正自然状态发生的概率，在采用期望效用最大等准则来确定最优方案的决策方法。 风险型决策是根据历史资料或主观判断所确定的各种自然状态概率（称为先验概率），然后采用期望效用最大等准则来确定最优决策方案。这种决策方法具有较大的风险，因为根据历史资料或主观判断所确定的各种自然状态概率没有经过试验验证。为了降低决策风险，可通过科学试验（如市场调查、统计分析等）等方法获得更多关于自然状态发生概率的信息，以进一步确定或修正自然状态发生的概率；然后在利用期望效用最大等准则来确定最优决策方案，这种先利用科学试验修正自然状态发生的概率，在采用期望效用最大等准则来确定最优方案的决策方法称为贝叶斯决策方法。 二、贝叶斯决策模型的定义 贝叶斯决策应具有如下容 贝叶斯决策模型中的组成部分： ) ( ,θ θP S A a及 ∈ ∈。概率分布S P∈ θ θ) (表示决策 者在观察试验结果前对自然θ发生可能的估计。这一概率称为先验分布。 一个可能的试验集合E，E e∈，无情报试验e0通常包括在集合E之。 一个试验结果Z取决于试验e的选择以Z0表示的结果只能是无情报试验e0的结果。 概率分布P(Z/e,θ)，Z z∈表示在自然状态θ的条件下，进行e试验后发生z结果
的概率。这一概率分布称为似然分布。 c 以及定义在后果集合C的效用函数u(e,Z,a,θ)。 一个可能的后果集合C，C 每一后果c=c(e,z,a,θ)取决于e,z,a和θ。.故用u(c)形成一个复合函数u{(e,z,a,θ)}，并可写成u(e,z,a,θ)。 三、贝叶斯决策的常用方法 3.1层次分析法(AHP) 在社会、经济和科学管理领域中，人们所面临的常常是由相互关联，相互制约的众多因素组成的复杂问题时，需要把所研究的问题层次化。所谓层次化就是根据所研究问题的性质和要达到的目标，将问题分解为不同的组成因素，并按照各因素之间的相互关联影响和隶属关系将所有因素按若干层次聚集组合，形成一个多层次的分析结构模型。 3.1.1层次分析模型 最高层：表示解决问题的目的，即层次分析要达到的目标。 中间层：表示为实现目标所涉及的因素，准则和策略等中间层可分为若干子层，如准则层，约束层和策略层等。 最低层：表示事项目标而供选择的各种措施，方案和政策等。 3.1.2层次分析法的基本步骤 (l) 建立层次结构模型 在深入分析研究的问题后，将问题中所包括的因素分为不同层次，如目标层、指标层和措施层等并画出层次结构图表示层次的递阶结构和相邻两层因素的从属关系。 (2) 构造判断矩阵 判断矩阵元素的值表示人们对各因素关于目标的相对重要性的认识。在相邻的两个层次中，高层次为目标，低层次为因素。 (3) 层次单排序及其一致性检验 判断矩阵的特征向量W经过归一化后即为各因素关于目标的相对重要性的排序权值。利用判断矩阵的最大特征根，可求CI和CR值，当CR<0.1时，认为层次单排序的结果有满意的一致性；否则，需要调整判断矩阵的各元素的取值。 (4) 层次总排序 计算某一层次各因素相对上一层次所有因素的相对重要性的排序权值称为层次总排序。由于层次总排序过程是从最高层到最低层逐层进行的，而最高层是总目标，所以，层次总排序也是计算某一层次各因素相对最高层（总目标）的相对重要性的排序权值。 设上一层次A包含m个因素A1,A2,…,A m其层次总排序的权值分别为a1,a2,…,a m；下一层次B包含n个因素B1,B2,…,B n，它们对于因素A j(j=1,2,…,m)的层次单排序权值分别为：b1j,b2j,…,b nj（当B k与A j无联系时，b kj=0），则B层次总排序权值可按下表计算。 层次总排序权值计算表
贝叶斯公式应用案例 贝叶斯公式的定义是： 若事件B1 ,B2 , …,Bn 是样本空间Ψ的一个划分, P(B i)>0 (i =1 ,2 , …, n ),A 是任一事件且P(A)>0 , 则有 P(B|A)= P(B j )P(A| B j ) / P(A) (j =1 ,2 , …, n ) 其中, P(A)可由全概率公式得到.即 n P(A)=∑P(B i)P(A|B i) i =1 在我们平时工作中，对于贝叶斯公式的实际运用在零件质量检测中有所体现。 假设某零件的次品率为0.1%，而现有的检测手段灵敏度为95%（即发现零件确实为次品的概率为95%），将好零件误判为次品零件的概率为1%。此时假如对零件进行随机抽样检查，检测结果显示该零件为次品。对我们来说，我们所要求的实际有用的检测结果，应当是仪器在检测次品后显示该零件为次品的几率。 现在让我们用贝叶斯公式分析一下该情况。 假设，A=【检查为次品】，B=【零件为次品】，即我们需要求得的概率为P(B|A) 则实际次品的概率P(B)=0.1%, 已知零件为次品的前提下显示该零件为次品的概率P(A|B)= 95%, P(B)=1-0.001=0.999 所以，P(A)=0.001X0.95+0.999X0.01=0.01094 P(B|A)=P(B)P(A|B)/P(A)=0.1%*95%/0.01094=0.0868 即仪器实际辨别出该次品并且实际显示该零件为次品的概率仅为8.68%。 这个数字看来非常荒谬且不切合实际，因为这样的结果告诉我们现有对于次品零件的检测手段极其不靠谱，误判的概率极大。 仔细分析，主要原因是由于实际零件的次品率很低，即实际送来的零件中绝大部分都是没有质量问题的，也就是说，1000个零件中，只有1个零件是次品，但是在检测中我们可以看到，仪器显示这1000个零件中存在着10.94个次品（1000*0.01094），结果相差了10倍。所以，这就告诉我们，在实际生产制造过程中，当一个零件被检测出是次品后，必须要通过再一次的复检，才能大概率确定该零件为次品。 假设，两次检测的准确率相同，令 A=【零件为次品】B=【第一次检测为次品】C=【第二次检测为次品】 则为了确定零件为次品，我们所需要的是P(A|BC)
浅谈贝叶斯方法 随着MCMC（马尔可夫链蒙特卡尔理论Markov chain Monte Carlo）的深入研究，贝叶斯（T.Bayes(1702~1761)）统计已成为当今国际统计科学研究的热点。翻阅近几年国内外统计学方面的杂志，特别是美国统计学会的JASA(Journal of the American Statistical Association) 、英国皇家学会的统计杂志JRSS（Journal of the Royal Statistical Society）[1]等，几乎每期都有“贝叶斯统计”的论文。贝叶斯统计的应用范围很广，如计算机科学中的“统计模式识别”、勘探专家所采用的概率推理、计量经济中的贝叶斯推断、经济理论中的贝叶斯模型等。托马斯·贝叶斯在18世纪上半叶群雄争霸的欧洲学术界可谓是个重要人物，他首先将归纳推理法应用于概率论，并创立了贝叶斯统计理论，对于统计决策函数、统计推理、统计估算等作出了贡献。贝叶斯所采用的许多概率术语被沿用至今。他的两篇遗作于逝世前4个月，寄给好友普莱斯（R.Price,1723~1791）分别于1764年、1765年刊于英国皇家学会的《哲学学报》。正是在第一篇题为“机会学说中的一个问题的解”（An essay towards solving a problem in the doctrine of chance）的论文中，贝叶斯创立了逆概率思想。统计学家巴纳德赞誉其为“科学史上最著名的论文之一”。 一、第一部分中给出了7个定义。 定义1 给定事件组，若其中一个事件发生，而其他事件不发生，则称这些事件互不相容。 定义2若两个事件不能同时发生，且每次试验必有一个发生，则称这些事件相互对立。
2.1贝叶斯定理 贝叶斯定理是关于随机事件A和B的条件概率的一则定理。 贝叶斯定理公式：P(A|B)=P(B|A)*P(A)/P(B) （2.1.1） 上面的公式也可变形为：P(B|A)=P(A|B)*P(B)/P(A) （2.1.2） 这里，P(A|B)是在B发生的情况下A发生的可能性。 在贝叶斯定理中，每个名词定义如下： P(A)是A的先验概率。之所以称为"先验"是因为它不考虑任何B方面的因素。 P(A|B)是已知B发生后A的条件概率，也由于得自B的取值而被称作A的后验概率。 P(B|A)是已知A发生后B的条件概率，也由于得自A的取值而被称作B的后验概率。 P(B)是B的先验概率。 2.2贝叶斯估计 2.2.1 贝叶斯估计的基本原理。 A．贝叶斯估计的4个步骤 ?假设 ?将待估计的参数看作符合某种先验概率分布的随机变量 ?估计方式 ?通过观察样本，将先验概率密度通过贝叶斯规则转化为后验概率密度。 B．概率密度估计的两种基本方法 方法1：参数估计(parametric methods) 根据对问题的一般性的认识，假设随机变量服从 某种分布，分布函数的参数通过训练数据来估计。 如：ML 估计，Bayesian估计。 方法2：非参数估计(nonparametric methods)： 不用模型，而只利用训练数据本身对概率密度做 估计。 C．贝叶斯估计应用及其框图 贝叶斯估计应用在很多领域，在概率、数理统计学中以贝叶斯姓氏命名的有贝叶斯公式、贝叶斯风险、贝叶斯决策函数、贝叶斯决策规则、贝叶斯估计量、贝叶斯方法、贝叶斯统计等等. 贝叶斯统计学派把任意一个未知参数都看成随机变量，应用一个概率分布去描述它的未知状况，该分布称为先验分布。 图 2.1 贝叶斯估计应用框图
例：某工程项目按合同应在三个月内完工，其施工费用与工程完工期有关。假定天气是影响能否按期完工的决定因素，如果天气好，工程能按时完工，获利5万元；如果天气不好，不能按时完工，施工单位将被罚款1万元；若不施工就要付出窝工费2千元。根据过去的经验，在计划实施工期天气好的可能性为30%。为了更好地掌握天气情况，可以申请气象中心进行天气预报，并提供同一时期天气预报资料，但需要支付资料费800元。从提供的资料中可知，气象中心对好天气预报准确性为80%，对坏天气预报准确性为90%。问如何进行决策。 解：采用贝叶斯决策方法。 (1)先验分析 根据已有资料做出决策损益表。 根据期望值准则选择施工方案有利，相应最大期望收益值EMV*（先）=0.8 （2）预验分析 完全信息的最大期望收益值：EPPI=0.3×5+0.7×（-0.2）
=1.36（万元） 完全信息价值： EVPI=EPPI- EMV*（先）=1.36-0.8=0.56（万元） 即，完全信息价值大于信息成本，请气象中心进行预报是合算的。 （3）后验分析 ①补充信息：气象中心将提供预报此时期内两种天气状态x 1(好天气)、x 2(坏天气)将会出现哪一种状态。 从气象中心提供的同期天气资料可得知条件概率： 天气好且预报天气也好的概率 P （x 1/θ1）=0.8 天气好而预报天气不好的概率 P （x 2/θ1）=0.2 天气坏而预报天气好的概率 P （x 1/θ2）=0.1 天气坏且预报天气也坏的概率 P （x 2/θ2）=0.9 ②计算后验概率分布：根据全概率公式和贝叶斯公式，计算后验概率。 预报天气好的概率 1111212()()(/)()(/)P x P P x P P x θθθθ=+ =0.31 预报天气坏的概率 2121222()()(/)()(/)P x P P x P P x θθθθ=+ =0.69 预报天气好且天气实际也好的概率：
贝叶斯定理及应用 中央民族大学 孙媛
一贝叶斯定理 一、贝叶斯定理 贝叶斯定理（Bayes‘ theorem）由英国数学家托马斯贝叶斯（Thomas Bayes） ·Thomas Bayes 在1763年发表的一篇论文中，首先提出了这个定理。用来描述两个条件概率之间的这个定理 关系，比如P(A|B) 和P(B|A)。
一、贝叶斯定理 一贝叶斯定理 所谓的贝叶斯定理源于他生前为解决一个“逆概”问题写的一篇文章，而这篇文章是在他死后才由他的一位朋友发表出来的。 在贝叶斯写这篇文章之前，人们已经能够计算“正向概率”，如假设袋子里面有N 个白球，M 个黑球，你伸手进去摸一如“假设袋子里面有N个白球M个黑球你伸手进去摸一把，摸出黑球的概率是多大”。而一个自然而然的问题是反过来：“如果我们事先并不知道袋子里面黑白球的比例，而是闭着眼睛摸出一个（或好几个）球，观察这些取出来的球的颜色之后，那么我们可以就此对袋子里面的黑白球的比例作出什么样的推测。这个问题，就是所谓的逆向概率问题。 样的推测”。这个问题就是所谓的逆向概率问题。
一、贝叶斯定理 一贝叶斯定理 ←实际上就是计算"条件概率"的公式。 p y， ←所谓"条件概率"（Conditional probability），就是指在事件B发生的情况下，事件A发生的概率，用P(A|B)来表示。 的先验概率之所以称为先验是因为它不考虑任何←P(A)是A的先验概率，之所以称为先验是因为它不考虑任何B 的因素。 ←P(A|B)是在B发生时A发生的条件概率，称作A的后验概率。←P(B)是B的先验概率。 ←P(B|A)是在A发生时B发生的条件概率，称作B的后验概率。
一、贝叶斯决策(Bayes decision theory) 【例】某企业设计出一种新产品，有两种方案可供选择：—是进行批量生产，二是出售专利。这种新产品投放市场，估计有3种可能：畅销、中等、滞销，这3种情况发生的可能性依次估计为：0.2，0.5和0.3。方案在各种情况下的利润及期望利润如下表。 企业可以以1000元的成本委托专业市场调查机构调查该产品销售前景。若实际市场状况为畅销，则调查结果为畅销、中等和滞销的概率分别为0.9、0.06和0.04；若实际市场状况为中等，则调查结果为畅销、中等和滞销的概率分别为0.05、0.9和0.05；若实际市场状况为滞销，则调查结果为畅销、中等和滞销的概率分别为0.04、0.06和0.9。问：企业是否委托专业市场调查机构进行调查？ 解： 1.验前分析： 记方案d1为批量生产，方案d2为出售专利 E(d1)=0.2*80+0.5*20+0.3*(-5)=24.5(万元) E(d2)=40*0.2+7*0.5+1*0.3=11.8(万元) 记验前分析的最大期望收益为E1，则E1=max{E(d1),E(d2)}=24.5(万元) 因此验前分析后的决策为：批量生产 E1不作市场调查的期望收益 2.预验分析： （1）设调查机构调查的结果畅销、中等、滞销分别用H1、H2、H3表示 由全概率公式 P(H1)=0.9*0.2+0.06*0.5+0.04*0.3=0.232 P(H2)=0.05*0.2+0.9*0.5+0.05*0.3=0.475 P(H3)=0.04*0.2+0.06*0.5+0.9*0.3=0.308 （2）由贝叶斯公式有 P(?1|H1)=0.9*0.2/0.232=0.776 P(?2|H1)=0.06*0.5/0.232=0.129 P(?3|H1)=0.04*0.3/0.232=0.052 P(?1|H2)=0.05*0.2/0.475=0.021 P(?2|H2)=0.9*0.5/0.475=0.947 P(?3|H2)=0.05*0.3/0.475=0.032 P(?1|H3)=0.04*0.2/0.308=0.026 P(?2|H3)=0.06*0.5/0.308=0.097 P(?3|H3)=0.9*0.3/0.308=0.877 （3）用后验分布代替先验分布，计算各方案的期望收益值 a)当市场调查结果为畅销时 E(d1|H1)=80* P(?1|H1)+20* P(?2|H1)+(-5)* P(?3|H1)
浅谈贝叶斯公式及其应用 摘要 贝叶斯公式是概率论中很重要的公式，在概率论的计算中起到很重要的作用。本文通过对贝叶斯公式进行分析研究，同时也探讨贝叶斯公式在医学、市场预测、信号估计、概率推理以及工厂产品检查等方面的一些实例，阐述了贝叶斯公式在医学、市场、信号估计、推理以及产品检查中的应用。为了解决更多的实际问题，我们对贝叶斯公式进行了推广，举例说明了推广后的公式在实际应用中所适用的概型比原来的公式更广。从而使我们更好地了解到贝叶斯公式存在于我们生活的各个方面、贝叶斯公式在我们的日常生活中非常重要。 关键词：贝叶斯公式应用概率推广
第一章引言 贝叶斯公式是概率论中重要的公式，主要用于计算比较复杂事件的概率,它实质上是加法公式和乘法公式的综合运用。贝叶斯公式出现于17世纪，从发现到现在，已经深入到科学与社会的许多个方面。它是在观察到事件B已发生的条件下，寻找导致B发生的每个原因的概率.贝叶斯公式在实际中生活中有广泛的应用，它可以帮助人们确定某结果（事件B）发生的最可能原因。 目前，社会在飞速发展，市场竞争日趋激烈，决策者必须综合考察已往的信息及现状从而作出综合判断，决策概率分析越来越显示其重要性。其中贝叶斯公式主要用于处理先验概率与后验概率，是进行决策的重要工具。 贝叶斯公式可以用来解决医学、市场预测、信号估计、概率推理以及产品检查等一系列不确定的问题。本文首先分析了贝叶斯公式的概念，再用贝叶斯公式来解决实际中的一些问题。然后将贝叶斯公式推广，举例说明推广后的贝叶斯公式在实际应用中所适用的概型。
第二章 叶斯公式的定义及其应用 2.1贝叶斯公式的定义 给出了事件B 随着两两互斥的事件12,,...,n A A A 中某一个出现而出现的概率。如果反 过来知道事件B 已出现，但不知道它由于12,,...,n A A A 中那一个事件出现而与之同时出现， 这样，便产生了在事件B 已经出现出现的条件下，求事件(1,2,...)i A i n =出现的条件概率的问题，解决这类问题有如下公式： 2.1.1定义 设12,...,n B B B 为Ω 的一个分割，即12,...,n B B B 互不相容，且 1n i i B ==Ω，如果 P( A ) > 0 ，()0i P B = (1,2,...,)i n = ,则1()(/) (/),1,2,...,()(/)i i i n j j j P B P A B P B A i n P B P A B ===∑。 证明 由条件概率的定义（所谓条件概率，它是指在某事件B 发生的条件下，求另一事件A 的概率，记为(/)P A B ） ()(/)() i i P AB P B A P A = 对上式的分子用乘法公式、分母用全概率公式, ()()(/)i i i P AB P B P A B = 1()()(/)n i i j P A P B P A B ==∑ 1()(/) (/),1,2,...,()(/)i i i n j j j P B P A B P B A i n P B P A B ===∑ 结论的证。
对贝叶斯定理及其在信号处理中的应用的理解 信号估计中的贝叶斯方法是对贝叶斯定理的应用，要理解贝叶斯估计首先要理解贝叶斯定理。 一、 贝叶斯定理： 1. 贝叶斯定理的简单推导过程 贝叶斯定理就是条件概率公式(贝叶斯公式)，所谓条件概率就是在事件A 发生的条件下事件B 发生的概率，常用(/)P B A 表示。一般情况下(/)P B A 与 (/)P A B 是不相等的。容易得到: (/)P B A = ()()P A B P A ,(/)P A B =() () P A B P B 所以 (/)P B A ()P A =(/)P A B ()P B , 对上式变形得贝叶斯公式： (/) P A B =(/)() () P B A P A P B （1） 若',A A 为样本空间的一个划分，可得全概率公式： ()P B =''(/)()(/)()P B A P A P B A P A + 所以（1）式可以改写为： '' (/)() (/)(/)()(/)() P B A P A P A B P B A P A P B A P A = + （2） 如果12n A A A ，，...,为样本空间的一个划分，由（2）式可得条件概率(/)j P A B 1 (/)() (/)(/)() j j j n i i i P B A P A P A B P B A P A == ∑ （3） （3）式就是当样本空间的划分为n 时的贝叶斯公式即贝叶斯定理。我们把其中的()(1,...)i P A i n =称为先验概率，即在B 事件发生之前我们对i A 事件概率的一个判断。(/)j P A B 称为后验概率，即在B 事件发生之后我们对i A 事件概率的重新评估。 2. 贝叶斯公式的事件形式
比较简单的贝叶斯网络总结
贝叶斯网络 贝叶斯网络是一系列变量的联合概率分布的图形表示。 一般包含两个部分，一个就是贝叶斯网络结构图，这是一个有向无环图（DAG），其中图中的每个节点代表相应的变量，节点之间的连接关系代表了贝叶斯网络的条件独立语义。另一部分，就是节点和节点之间的条件概率表（CPT），也就是一系列的概率值。如果一个贝叶斯网络提供了足够的条件概率值，足以计算任何给定的联合概率，我们就称，它是可计算的，即可推理的。 3.5.1 贝叶斯网络基础 首先从一个具体的实例（医疗诊断的例子）来说明贝叶斯网络的构造。 假设： 命题S(moker)：该患者是一个吸烟者 命题C(oal Miner)：该患者是一个煤矿矿井工人 命题L(ung Cancer)：他患了肺癌 命题E(mphysema)：他患了肺气肿
这两个条件缺一不可。 贝叶斯网由一个有向无环图（DAG）及描述顶点之间的概率表组成。其中每个顶点对应一个随机变量。这个图表达了分布的一系列有条件独立属性：在给定了父亲节点的状态后，每个变量与它在图中的非继承节点在概率上是独立的。该图抓住了概率分布的定性结构，并被开发来做高效推理和决策。 贝叶斯网络能表示任意概率分布的同时，它们为这些能用简单结构表示的分布提供了可计算优势。 假设对于顶点xi，其双亲节点集为Pai，每个变量xi的条件概率P(xi|Pai)。则顶点集合X={x1,x2,…,xn}的联合概率分布可如下计算： 。 双亲结点。该结点得上一代结点。 该等式暗示了早先给定的图结构有条件独立语义。它说明贝叶斯网络所表示的联合分布作为一些单独的局部交互作用模型的结果具有因式分解的表示形式。
作者：阮一峰 日期： 2011年8月25日 一年前的这个时候，我正在翻译Paul Graham的《黑客与画家》。那本书的第八章，写了一个非常具体的技术问题----如何使用贝叶斯推断过滤垃圾邮件（英文版）。 我没完全看懂那一章。当时是硬着头皮，按照字面意思把它译出来的。虽然译文质量还可以，但是心里很不舒服，下决心一定要搞懂它。 一年过去了，我读了一些概率论文献，逐渐发现贝叶斯推断并不难。原理的部分相当容易理解，不需要用到高等数学。 下面就是我的学习笔记。需要声明的是，我并不是这方面的专家，数学其实是我的弱项。欢迎大家提出宝贵意见，让我们共同学习和提高。 ===================================== 贝叶斯推断及其互联网应用 作者：阮一峰
一、什么是贝叶斯推断 贝叶斯推断（Bayesian inference）是一种统计学方法，用来估计统计量的某种性质。 它是贝叶斯定理（Bayes' theorem）的应用。英国数学家托马斯·贝叶斯（Thomas Bayes）在1763年发表的一篇论文中，首先提出了这个定理。
贝叶斯推断与其他统计学推断方法截然不同。它建立在主观判断的基础上，也就是说，你可以不需要客观证据，先估计一个值，然后根据实际结果不断修正。正是因为它的主观性太强，曾经遭到许多统计学家的诟病。 贝叶斯推断需要大量的计算，因此历史上很长一段时间，无法得到广泛应用。只有计算机诞生以后，它才获得真正的重视。人们发现，许多统计量是无法事先进行客观判断的，而互联网时代出现的大型数据集，再加上高速运算能力，为验证这些统计量提供了方便，也为应用贝叶斯推断创造了条件，它的威力正在日益显现。 二、贝叶斯定理 要理解贝叶斯推断，必须先理解贝叶斯定理。后者实际上就是计算"条件概率"的公式。
第五章 贝叶斯统计 葛鹏飞 1、贝叶斯统计学回顾 定理1：贝叶斯定理的形式如下： 它让我们能够通过后验概率，在观测到D 之后估计w 的不确定性。 贝叶斯定理右侧的量)(ωD p 由观测数据集D 来估计，可以被看成参数向量w 的函数，被称为似然函数（likelihood function ）。它表达了在不同的参数向量w 下，观测数据出现的可能性的大小。在观察到数据之前，我们对参数的一些假设，通过先验分布)(ωp 体现。 给定似然函数的定义，贝叶斯定理按照自然语言如下： 2、几个问题的引入 观察贝叶斯定理，在将贝叶斯方法用到统计问题以及更进一步的机器学习问题中，很直观的我们有以下问题需要考虑： （1）似然函数的选择； （2）先验分布的选择； （3）在确定似然函数和先验分布之后，得到后验分布，如何根据后验分布做出统计推断以及决策； （4）如何评价我们的前三步的选择。 之后我们将逐步解决以上四个问题。 3、似然函数的选择 前面的章节中，已经介绍过过拟合和欠拟合的概念：复杂的模型会导致过拟合，而简单的模型又会有欠拟合的忧虑。在贝叶斯方法中同样如此，似然函数包含着我们对数据D 所了解的全部信息，合理的选择似然函数的形式，将直接影响模型的好坏，将这个问题称作贝叶斯模型选择。
假设我们想比较L 个模型}{M i ，其中i=1，...，L 。 给定一训数据集D ，由贝叶斯定理，我们有模型的后验分布： 先验分布让我们能够表达不同模型之间的优先级，假设我们对任意一个模型都没有偏爱,我们发现关于模型分布正比于模型的似然函数，因此最大化后验分布等价于最大化似然函数。由此，我们引入模型证据的概念，或者称作边缘似然函数。下面给出相应定义： 定义2：（模型证据的定义） 使用模型证据的概念，我们就可以进行贝叶斯模型选择，其中的合理性，有以下的近似结论： 最大化模型证据的结果将使得我们选择一个复杂度适中的模型。 关于这点将给出近似的证明，为便于理解，我们使用到如下两图：
贝叶斯决策练习 某石油公司拟在一片估计含油的荒地上钻井。如果钻井，费用为150万，若出油的概率为0.55，收入为800万元；若无油的概率为0.45，此时的收入为0。该公司也可以转让开采权，转让费为160万元，但公司可以不担任何风险。为了避免45％的无油风险，公司考虑通过地震试验来获取更多的信息，地震试验费用需要20万元。已知有油的情况下，地震试验显示油气好的概率为0.8，显示油气不好的概率为0.2；在无油条件下，地震显示油气好的概率为0.15，而显示油气不好的概率为0.85。又当试验表明油气好时，出让开采权的费用将增至400万元，试验表明油气不好时，出让开采权费用降至100万元，问该公司应该如何决策，使其期望收益值为最大。
解：该公司面临两个阶段的决策：第一阶段为要不要做地震试验，第二阶段为在做地震试验条件下，当油气显示分别为好与不好时，是采取钻井策略还是出让开采权。 若用A 1表示有油，A 2表示无油；用B 1表示地震试验显示油气好，B 2表示地震试验显示油气不好。由题意可知： 1211211222()0.55 ()0.45 (|)0.8 (|)0.2(|)0.15 (|)0.85 P A P A P B A P B A P B A P B A ====== 由贝叶斯公式计算得到： 11111111212()(|)0.440.44(|)0.867()(|)()(|)0.440.06750.5075 P A P B A P A B P A P B A P A P B A = ===++ 同理，有： 2112220.0675(|)0.1330.5075 0.11(|)0.2230.4925 0.3825(|)0.7770.4925P A B P A B P A B = ===== 该问题对应的决策树图 采用逆序的方法，先计算事件点②③④的期望值： 事件点 期望值 ② 800×0.867＋0×0.133＝693.6（万元） ③ 800×0.223＋0×0.777＝178.4（万元） ④ 800×0.55＋0×0.45＝440（万元） 在决策点2，按max[(693.6-150)，400]＝543.6万元，故选择钻井，删除出让开采权策略； 在决策点3，按max[(178.4-150)，100]＝100万元，故选择出让开采权，删除钻井策略； 在决策点4，按max[(440-150)，160]＝290万元，故选择钻井策略。 在事件点①处期望值为：543.6×0.5075＋100×0.4925＝325.13万元 最后在决策点1，按max[(325.13-20)，290]＝305.13万元，故选择进行地震试验方案。 故为了使该公司的期望收入为最大的决策是：先进行地震试验，当试验结果为油气显示好时，选择钻井；而油气显示不好时，选择出让开采权，该策略下期望收入为305.13万元。
贝叶斯公式的应用 张利娟 摘要：贝叶斯公式是概率论中重要的公式，在实际中有广泛的应用。本文结合全概率公式，就公共生活中有关传染病防治和测谎仪是否真的能测谎两个问题，说明了它们的用法。并给出相关的意见。 关键词：全概率公式；贝叶斯公式；应用 引言 一个随试验的样本空间都可以找到有限个或可列个基本事件构成一个分割，任一复合事件都可以由这几类基本事件组合而成。例如：有一个袋子，装有白球、黑球和红球，取出两个球，则“取出两球颜色相同”这一事件，可由“取出两个白球”，“取出两个黑球”，“取出两个红球”复合而成。对这类问题从概率上表达时发生可能性之间关系的公式就是全概率公式，与其互逆的即为贝叶斯公式。1.全概率与贝叶斯公式 若事件B1，B2，…，Bn是样本空间Ω的一个划分，P（Bi）> （i= 1、2、3、…n），A是任一事件且P（A）> 0，则有 其中, P(A) 可由全概公式得到。即 我们主要应用公式的简单情形, 即对任意两个事件A 和B, 根据贝叶斯公式有其中 事件B的概率通常是根据以往的数据分析得到的，对我们而言，所求的P(A|B)通常更有用。 2 . 贝叶斯公式的应用 资料显示, 某项艾滋病血液检测的灵敏度(即真有病的人检查为阳性)
为95%, 而对没有得病的人这种检测的准确率( 即没有病的人检查为阴性) 为99%. 美国是一个艾滋病比较流行的国家, 估计大约有千分之一的人患有这种病。为了能有效地控制、减缓艾滋病的传播, 几年前有人建议对申请新婚登记的新婚夫妇进行这种血液检查。该计划提出后, 征询专家意见, 遭到专家的强烈反对, 计划没有被通过。 现在我们用贝叶斯公式分析专家为何反对通过这项计划。 设A = { 检查为阳性} , B = { 一个人患有艾滋病} . 根据文中叙述可知, 由全概率公式 P(A)=0.001×0.95+0.999×0.01= 0.01094. 由贝叶斯公式 也就是说, 被检测患有艾滋病而此人确实患有该病的概率大约为0.087。这个结果使人难以接受, 好像与实际不符。从资料显示来看, 这种检测的精确性似乎很高。因此，一般人可能猜测，如果一个人检测为阳性, 他患有艾滋病的可能性很大。如果通过这项计划, 势必给申请登记的新婚夫妇带来不必要的恐慌。因为约有91. 3%的人并没有患艾滋病。为什么会出现与直觉如此相悖的结果呢? 这是因为人们忽略了一些基础信息, 就是患有艾滋病的概率很低, 仅为千分之一。因此，在检测出呈阳性的人中大部分是没有患艾滋病的。 但是, 我们也应该注意到, 这项检测还是为我们提供了一些新的信息. 计 算结果表明, 一个检测结果呈阳性的人患有艾滋病的概率从最初的0. 001 增加到了0. 087, 这是原来患有艾滋病概率的87倍.进一步的计算, 我们得到一个检查呈阴性而患有艾滋病的概率为 因此, 通过这项检测, 检查呈阴性的人大可放宽心, 他患有艾滋病的概率 已从千分之一降低到十万分之六。
1.什么叫贝叶斯决策？如何进行贝叶斯决策？ 风险型决策方法是根据预测各种事件可能发生的先验概率，然后再采用期望值标准或最大可能性标准来选择最佳决策方案。这样的决策具有一定的风险性，因为先验概率是根据历史资料或主观判断所确定的概率，未经试验证实，为了减少这种风险，需要较准确的掌握和估计这些先验概率。这就要通过科学实验，调查，统计分析等方法获得较为准确的情报信息，以修正先验概率，并据以确定各方案的期望损益值，拟订可供选择的决策方案，协助决策者做出正确的决策。一般来说，利用贝叶斯定理要求得后验概率，据以进行决策的方法称为贝叶斯决策方法。贝叶斯决策方法步骤： (1)进行预后验分析，决定是否值得搜集补充资料以及从补充资料中可能得到的结果和如何决定最优对策。 (2)收集补充资料，取得条件概率，包括历史概率和逻辑概率，对历史概率要加以检验，辨明其是否适合计算后验概率。 (3)用概率的乘法定理计算联合概率，用概率的加法定理计算边际概率，用贝叶斯定理计算后验概率。 (4)用后验概率进行决策分析。 2.如何进行预后验分析和后验分析？ 预后验分析是后验概率决策分析的一种特殊形式的演算，这里的特殊形式是指用一套概率对多种行动策略组合进行多次计算，从中择优。 预后验分析有两种形式，一是扩大型，预后验分析，这实际上是一种反推决策树分析，二是常规型预后验分析，这实际上是一种正向分析，用表格形式进行。扩大型分析要解决的问题是搜集追加信息对决策者有多大的价值，如果试验应采取
什么行动策略，常规型分析要解决的问题是，如果试验应采取什么行动策略，但是这两种分析方法所得出的结论是一致的。 根据预后验分析，如果认为采集信息和进行调查研究是值得的，那么就应该决定去做这项工作。一旦取得了新的信息，决策者就结合这些新信息进行分析，计算各种方案的期望损益值，选择最佳的行动方案，结合运用这些信息并修正先验概率，称为后验分析，这正是发挥贝叶斯决策理论威力的地方。 3.什么是先验分析？ 先验分析就是决策者要详细列出各种自然状态及其概率，各种备选行动方案与自然状态的损益值，并根据这些信息对备选方案作出抉择的决策过程，当时间，人力和财力不允许搜集更完备的信息时，决策者往往用这类方法进行决策，在贝叶斯决策中，先验分析是进行更深入分析的必要条件。 4.贝叶斯决策有哪些优点？哪些局限？ 贝叶斯决策的优点表现在以下几个方面： (1)如果说在第14章中大多用的是不完善的信息或主观概率的话，那么贝叶斯决策则提供了一个进一步研究的科学方法，也就是说，它能对信息的价值或是否需要采集新的信息作出科学判断。 (2)它能对调查结果的可能性加以数量化的评价，而不是像一般的决策方法那样对调查结果，或者是完全相信，或者是完全不相信。 (3)如果说任何调查结果都不可能是完全准确的，而先验知识或主观概率也不是完全可以相信的，那么贝叶斯决策则巧妙的将这两种信息有机的结合起来了。(4)它可以在决策过程中，根据具体情况不断的使用，使决策逐步完善和更加科学。贝叶斯决策方法也有其局限性，主要表现在以下几个方面：
贝叶斯定理有条件概率和全概率组成： 条件概率 如果两个事件A 和B 不是互相独立的，并且知道事件B 中的一个事件已经发生，我们就能得到关于P(A)的信息。这反映为A 在B 中的条件概率，记为P(A︱B) ： 无条件概率P(A)通常称为先验概率，而条件概率通常称为后验概率。 注意：条件可以在任何一个中发生： 贝叶斯定理 假设样本空间S 被分成一个含有n 个互斥事件的集合，每个事件称为S 的一个划分： 考虑S 中的一个任意事件B,如下图所示： 事件B 可以写成由n 个不相交（互斥）事件BA1，,BA2,..., BA n 组成，记为： 这隐含了全概率定理： 用全概率定理和条件概率的定义可以得到贝叶斯定理： 例子： 考虑一个由10 个水样组成的集合。3 个水样已被污染。定义事件如下： P(C)=0.3（基于10 个样本中有3 个被污染）
假设样本分析技术不完美。通过校准检验： P（D︱C）=0.9 成功检测出 P（D︱C’）=0.4 错误警报 贝斯定理（用C 代替A1，用C’代替A2，用D 代替B）： 贝叶斯定理用于投资决策分析是在已知相关项目B的资料，而缺乏论证项目A的直接资料时， 通过对B项目的有关状态及发生概率分析推导A项目的状态及发生概率。 如果我们用数学语言描绘，即当已知事件Bi的概率P（Bi）和事件Bi已发生条件下事件A的概率P（A│Bi）， 则可运用贝叶斯定理计算出在事件A发生条件下事件Bi的概率P（Bi│A）。 按贝叶斯定理进行投资决策的基本步骤是： 1 列出在已知项目B条件下项目A的发生概率，即将P（A│B）转换为P（B│A）； 2 绘制树型图； 3 求各状态结点的期望收益值，并将结果填入树型图； 4 根据对树型图的分析，进行投资项目决策； 搜索巨人Google和Autonomy，一家出售信息恢复工具的公司，都使用了贝叶斯定理（Bayesian principles）为数据搜索提供近似的（但是技术上不确切）结果。 研究人员还使用贝叶斯模型来判断症状和疾病之间的相互关系，创建个人机器人，开发能够根据数据和经验来决定行动的人工智能设备。 贝叶斯定理是机器学习的核心。 question1：如果袋子里有M个白球，N个黑球，则伸手拿到黑球的概率是多大？ question2：如果我们事先不知道袋子里黑球和白球的个数，而是闭着眼睛摸出一个（或几个）球，观察这些取出来的球的颜色后，来判断黑白球的比例。 具体地说，我们需要做两件事情： 1. 算出各种不同猜测的可能性大小。 2. 算出最靠谱的猜测是什么。 第一个就是计算特定猜测的后验概率，对于连续的猜测空间则是计算猜测的概率密度函数。第二个则是所谓的模型比较，模型比较如果不考虑先验概率的话就是最大似然方法。
贝叶斯公式的应用 一、综述 在日常生活中，我们会遇到许多由因求果的问题，也会遇到许多由果溯因的问题。比如某种传染疾病已经出现．寻找传染源；机械发生了故障，寻找故障源就是典型的南果溯因问题等。在一定条件下，这类由果溯因问题可通过贝叶斯公式来求解。以下从几个的例子来说明贝叶斯公式的应用。 文【1】主要应用贝叶斯公式的简单情形，从“疾病诊断”，“说谎了吗”，“企业资质评判”，“诉讼”四个方面讨论其具体应用。文【2】用市场预测的实例，介绍了贝叶斯公式在市场预测中的应用。贝叶斯市场预测能对信息的价值是否需要采集新的信息做出科学的判断。文【3】、文【4】介绍贝叶斯过滤技术的工作原理及技术原理，讨论了邮件过滤模块，通过分析研究该模块中垃圾邮件关键词的统计概率分布，提出了基于贝叶斯概率模型的邮件过滤算法，并对该算法的合理性和复杂度进行了分析。可以根据垃圾邮件内容的特征，建立贝叶斯概率模型，计算出一封邮件是垃圾邮件的概率，从而判断其是否为垃圾邮件。文【5】基于贝叶斯公式中概率统计的重要性与在日常生活中应用的广泛性，概述了贝叶斯统计的基本思想及其与其他统计学派的争论，并对作为贝叶斯统计基石的贝叶斯公式进行了归纳。 二、内容 1.疾病诊断. 资料显示, 某项艾滋病血液检测的灵敏度( 即真有病的人检查为阳性) 为95%, 而对没有得病的人，种检测的准确率( 即没有病的人检查为阴性) 为99%. 美国是一个艾滋病比较流行的国家, 估计大约有千分之一的人患有这种病. 为了能有效地控制、减缓艾滋病的传播, 几年前有人建议对申请新婚登记的新婚夫妇进行这种血液检查. 该计划提出后, 征询专家意见, 遭到专家的强烈反对, 计划没有被通过. 我们用贝叶斯公式分析专家为何反对通过这项计划. 设A= {检查为阳性}, B = { 一个人患有艾滋病}。据文中叙述可知： ()0.001,(|)0.95,()10.0010.999,(|)10.990.01 P B P A B P B P A B ===-==-= 由公式：()()(|)()((|) P A P B P A B P B P A B =+ 得：()0.001*0.950.999*0.010.01094 P A=+= 由公式： ()(|) (|) () P A P A B P A B P A =得： 0.001*0.95 (|)0.087 0.01094 P B A=≈ 也就是说, 被检测患有艾滋病而此人确实患有该病的概率大约为0. 087. 这个结果使人难以接受, 好像与实际不符. 从资料显示来看, 这种检测的精确性似乎很高. 因此, 一般人可能猜测, 如果一个人检测为阳性, 他患有艾滋病的可
1、问题表述： []T l x x x x ,...,,21=是一个用特征向量表示的位置样本， M ωωω,...,,21是预先已知的M 个类，则形成了M 个条件。概率)(x P i ω(后验概率)，表示i x ω∈的概率。用概率最大来进行分类是一种无意义的选择，必须采用Bayes 规则和实验数据进行后验概率密度函数的计算和分类。 2、全概率公式和贝叶斯准则 ),...2,1(M i A i =是M 个事件，设每个事件发生的概率为)(i A P ，则有∑==M i i A p 1 1)(； 任意事件B 的概率为： ∑== M i i i A P A B P B P 1 )()|()( （1-1） 其中)|(i A B P 是条件i A 在B 的条件概率。据此有定义： ) (),()|(A P A B P A B P = （1-2） 为A 下B 的全条件概率，其中),(A B P 是两个事件A 、B 的联合概率。式（1-1）就是著名的全概率公式。 由全概率公式（1-1）可以得到全条件概率： ) (),()|(B P B A P B A P = （1-3） 因为),(),(A B P B A P =，则由（1-2）、（1-3）式可以导出著名的Bayes 准则： )()|()()|(B P B A P A P A B P = （1-4） 将Bayes 准则扩展到随机变量、随机向量： ) ()|()()|()()|()()|(x p x y p y p y x p x p x A P A P A x p ==随机向量： 随机变量： ∑ == M i i i A P A x p x p 1 )()|()(全概率： 3、贝叶斯决策的原理： 首先假定一个具有两个类21ωω、的情况，贝叶斯分类规则可以描述为：