1、问题表述：
[]T l x x x x ,...,,21=是一个用特征向量表示的位置样本，
M ωωω,...,,21是预先已知的M 个类，则形成了M 个条件。概率)(x P i ω(后验概率)，表示i x ω∈的概率。用概率最大来进行分类是一种无意义的选择，必须采用Bayes 规则和实验数据进行后验概率密度函数的计算和分类。
2、全概率公式和贝叶斯准则
),...2,1(M i A i =是M 个事件，设每个事件发生的概率为)(i A P ，则有∑==M
i i A p 11)(；
任意事件B 的概率为：
∑==M
i i
i A P A B P B P 1)()|()( （1-1） 其中)|(i A B P 是条件i A 在B 的条件概率。据此有定义：
)
(),()|(A P A B P A B P = （1-2） 为A 下B 的全条件概率，其中),(A B P 是两个事件A 、B 的联合概率。式（1-1）就是著名的全概率公式。
由全概率公式（1-1）可以得到全条件概率：
)
(),()|(B P B A P B A P = （1-3） 因为),(),(A B P B A P =，则由（1-2）、（1-3）式可以导出著名的Bayes 准则：
)()|()()|(B P B A P A P A B P = （1-4） 将Bayes 准则扩展到随机变量、随机向量：
)
()|()()|()
()|()()|(x p x y p y p y x p x p x A P A P A x p ==随机向量：随机变量：
∑==M i i i A P A x p x p 1)()|()(全概率：
3、贝叶斯决策的原理：
首先假定一个具有两个类21ωω、的情况，贝叶斯分类规则可以描述为：
2121
21)|()|()
|()|(ωωωωωω∈>∈>x then x P x P if x then x P x P if
（1-5）
由（1-4）式，上述规则可以等价的表示为不等式：
)()|()()|(2211ωωωωP x p P x p >< （1-6） 若先验概率相等，即2/1)()(21==ωωP P ，则可表示为：
)|()|(21ωωx p x p >< （1-7）
贝叶斯决策过程的步骤为：
（1）进行预后验分析，决定是否值得搜集补充资料以及从补充资料可能得到的结果和如何决定最优对策。
（2）搜集补充资料，取得条件概率，包括历史概率和逻辑概率，对历史概率要加以检验，辨明其是否适合计算后验概率。
（3）用概率的乘法定理计算联合概率，用概率的加法定理计算边际概率,用贝叶斯定理计算后验概率。
（4）用后验概率进行决策分析。
4、例题：
为了提高某产品的质量，企业决策人考虑增加投资来改进生产设备，预计需投资90万元。但从投资效果看，下属部门有两种意见：一是认为改进设备后高质量产品可占90%；二是认为改进设备后高质量产品可占70%。根据经验决策人认为第一种意见可信度有40%，第二种意见可信度有60%。为慎重起见，决策人先做了个小规模试验：试制了5个产品，结果全是高质量产品。问现在决策人对两种意见的可信程度有没有变化？
分析：此问题中，决策人根据经验对两种意见的看法属于先验信息，在决策人试验之后，就需要利用贝叶斯公式，结合试验结果进行后验分析了。 解：首先计算得到：
595.0)9.0()/(51==θA P
168.0)7.0()/(52==θA P
)()/()()/()(2211θθθθP A P P A P A P •+•=
然后用贝叶斯公式计算)/(1θA P 和)/(2θA P 的后验概率，
)(/)()/()/(111A P P A P A P θθθ•=
337
.06.0168.04.0590.0=⨯+⨯=0.236/0.337=0.700,
=
)(/)()/()/(222A P P A P A P θθθ•=
可以看到，试验后决策人对两种意见的可信程度变为了0.7和0.3，所以现在决策人对两种意见的可信程度变化了。这就是贝叶斯决策的后验概率。
=0.101/0.337=0.300
