由英国数学家贝叶斯(ThomasBayes1702-1761)发展，用来描述两个条件概率之间的关系，比如P(A|B)和P(B|A)。按照乘法法则，可以立刻导出：P(A∩B)=P(A)*P(B|A)=P(B)*P(A|B)。如上公式也可变形为：P(B|A)=P(A|B)*P(B)/P(A)。
要理解贝叶斯推断，必须先理解贝叶斯定理。后者实际上就是计算"条件概率"的公式。
所谓"条件概率"（Conditionalprobability），就是指在事件B发生的情况下，事件A发生的概率，用P(A|B)来表示。
根据文氏图，可以很清楚地看到在事件B发生的情况下，事件A发生的概率就是P(A∩B)除以P(B)。
因此，
同理可得，
所以，
即
这就是条件概率的计算公式。
对条件概率公式进行变形，可以得到如下形式：
我们把P(A)称为"先验概率"（Priorprobability），即在B事件发生之前，我们对A事件概率的一个判断。P(A|B)称为"后验概率"（Posteriorprobability），即在B事件发生之后，我们对A事件概率的重新评估。P(B|A)/P(B)称为"可能性函数"（Likelyhood），这是一个调整因子，使得预估概率更接近真实概率。
所以，条件概率可以理解成下面的式子：
后验概率 ＝ 先验概率ｘ调整因子
这就是贝叶斯推断的含义。我们先预估一个"先验概率"，然后加入实验结果，看这个实验到底是增强还是削弱了"先验概率"，由此得到更接近事实的"后验概率"。 在这里，如果"可能性函数"P(B|A)/P(B)>1，意味着"先验概率"被增强，事件A的发生的可能性变大；如果"可能性函数"=1，意味着B事件无助于判断事件A的可能性；如果"可能性函数"<1，意味着"先验概率"被削弱，事件A的可能性变小。
一座别墅在过去的20年里一共发生过2次被盗，别墅的主人有一条狗，狗平均每周晚上叫3次，在盗贼入侵时狗叫的概率被估计为0.9，问题是：在狗叫的时候发生入侵的概率是多少？
让人着迷的贝叶斯公式
如果说在数学中有什么方法即让人怀疑又让人迷恋，那么贝叶斯方法一定是一个典型。这个曾经被视为“民科”的方法竟然在今天的多个领域大行其道，不禁让人感慨它的神奇之处。一种方法竟然能写成一本书，必然有其牛逼之处。
我们先来读一句英语：The girl saw the boy with a telescope.
这句话你怎么翻译呢？平常人肯定会说：那个女孩拿望远镜看见了那个男孩（即你对这个句子背后的实际语法结构的猜测是：The girl
saw-with-a-telescope the boy ）。然而，仔细一想，你会发现这个句子完全可以解释成：那个女孩看见了那个拿着望远镜的男孩（即：The girl saw the-boy-with-a-telescope ）。那为什么平常生活中我们每个人都能够迅速地对这种二义性进行消解呢？这背后到底隐藏着什么样的思维法则？我们留到后面解释。
贝叶斯思想的产生
长久以来，人们对一件事情发生或不发生的概率，只有固定的0和1，即要么发生，要么不发生，从来不会去考虑某件事情发生的概率有多大，不发生的概率又是多大。而且概率虽然未知，但最起码是一个确定的值。
比如如果问那时的人们一个问题：“有一个袋子，里面装着若干个白球和黑球，请问从袋子中取得白球的概率是多少？”他们会想都不用想，会立马告诉你，取出白球的概率就是1/2，要么取到白球，要么取不到白球，即θ只能有一个值，而且不论你取了多少次，取得白球的概率θ始终都是1/2，即不随观察结果X的变化而变化。
这种频率派的观点长期统治着人们的观念，直到后来一个名叫Thomas Bayes的人物出现。 Thomas Bayes
贝叶斯(约1701-1761) Thomas Bayes，英国数学家。约1701年出生于伦敦，做过神甫。1742年成为英国皇家学会 会员。1761年4月7日逝世。贝叶斯在数学方面主要研究概率论。他首先将归纳推理
Matlab中的贝叶斯推断方法解析
概述：
贝叶斯推断是一种常用的概率统计方法，它基于贝叶斯定理，通过观测数据来推断参数的后验概率分布。在Matlab中，有多种方法可以进行贝叶斯推断，包括蒙特卡洛方法、变分贝叶斯方法和马尔科夫链蒙特卡洛方法等。本文将介绍这些方法的原理和应用，并分析它们的优缺点。
一、蒙特卡洛方法：
蒙特卡洛方法是贝叶斯推断中最常用的方法之一。它通过随机采样来估计参数的后验概率分布。在Matlab中，可以使用MCMC算法来实现蒙特卡洛采样。MCMC算法基于马尔科夫链的随机漫步性质，通过在参数空间中进行随机抽样，从而逐步收敛到后验概率分布。
蒙特卡洛方法的优点是易于实现和理解，可以处理复杂模型和高维参数空间。然而，由于采样过程的不确定性，蒙特卡洛方法通常需要较长的计算时间和较大的计算资源。另外，由于采样过程是随机的，结果具有一定的随机性，需要进行多次独立采样来提高结果的稳定性。
二、变分贝叶斯方法：
变分贝叶斯方法是一种结合概率统计和优化理论的推断方法。它通过近似参数的后验分布，使用变分推断来直接计算近似后验分布。在Matlab中，可以使用VB（Variational Bayesian）工具箱来实现变分贝叶斯方法。
变分贝叶斯方法的优点是计算速度快，可以处理大规模数据和复杂模型，同时结果可以得到较好的收敛性。然而，由于采用近似方法，变分贝叶斯方法可能会引入一定的近似误差，导致结果的不精确性。此外，变分贝叶斯方法对先验分布和近似分布的选择比较敏感，需要进行适当的调参。 三、马尔科夫链蒙特卡洛方法：
马尔科夫链蒙特卡洛方法是一种结合马尔科夫链与蒙特卡洛采样的推断方法。它通过构造马尔科夫链来生成随机样本，从而估计参数的后验分布。在Matlab中，可以使用MCMC工具箱来实现马尔科夫链蒙特卡洛方法。
马尔科夫链蒙特卡洛方法的优点是可以得到精确的后验分布估计，同时可以处理复杂模型和高维参数空间。然而，与蒙特卡洛方法相同，马尔科夫链蒙特卡洛方法仍然需要较长的计算时间和较大的计算资源。此外，马尔科夫链的构造需要一定的经验和技巧，需要选择适当的转移矩阵和步长。
Bayes法
概述
Bayes法，也称为贝叶斯法或贝叶斯统计学，是以英国数学家Thomas Bayes命名的一种统计学方法。Bayes法基于贝叶斯定理，通过利用相关先验概率和观测数据的条件概率，推断出后验概率分布。Bayes法在各个领域都有广泛的应用，包括机器学习、人工智能、自然语言处理等。
贝叶斯定理
贝叶斯定理是Bayes法的核心基础。贝叶斯定理是一种用于更新概率估计的公式，它表达了在观测到新信息后如何更新先验概率。贝叶斯定理的数学表达如下：
P(A|B) = P(B|A) * P(A) / P(B)
其中，P(A|B)表示在B发生的条件下A发生的概率，P(B|A)表示在A发生的条件下B发生的概率，P(A)和P(B)分别表示A和B的先验概率。
贝叶斯分类器
贝叶斯分类器是Bayes法在机器学习领域的一个重要应用。贝叶斯分类器基于贝叶斯定理，通过计算给定特征条件下每个类别的后验概率，来预测未知实例的类别。贝叶斯分类器在文本分类、垃圾邮件过滤、情感分析等任务中有广泛的应用。
贝叶斯分类器的基本原理是先计算每个类别的先验概率，然后计算给定特征条件下每个类别的似然概率，最后通过贝叶斯定理计算后验概率，选择具有最高后验概率的类别作为预测结果。贝叶斯分类器在计算后验概率时，通常假设特征之间是独立的，这称为朴素贝叶斯分类器。
贝叶斯网络
贝叶斯网络是一种用于建模不同变量之间条件依赖关系的图模型。贝叶斯网络由有向无环图表示，其中节点表示变量，边表示变量之间的依赖关系。贝叶斯网络可以用于推断变量之间的概率分布，根据已知的变量值，推断未知变量的概率分布。 贝叶斯网络常用于处理不确定性的推理问题，包括诊断、预测、决策等。贝叶斯网络还可用于发现变量之间的因果关系和生成概率模型。贝叶斯网络在医学诊断、图像处理、金融风险分析等领域有广泛的应用。
贝叶斯优化
贝叶斯优化是一种优化算法，用于解决黑盒函数的最优化问题。贝叶斯优化通过不断探索和利用函数在搜索空间中的信息，逐步优化目标函数的值。贝叶斯优化适用于目标函数计算成本高、梯度信息难以获得或噪声干扰较大的情况。
