10贝叶斯估计共轭先验分布
第五章贝叶斯统计 5.1 简介 到目前为止，我们已经知道了大量的不同的概率模型，并且我们前面已经讨论了如何用它们去拟合数据等等。前面我们讨论了如何利用各种先验知识，计算MAP参数来估计θ=argmax p(θ|D)。同样的，对于某种特定的请况，我们讨论了如何计算后验的全概率p(θ|D)和后验的预测概率密度p(x|D)。当然在以后的章节我们会讨论一般请况下的算法。 5.2 总结后验分布 后验分布总结关于未知变量θ的一切数值。在这一部分，我们讨论简单的数，这些数是可以通过一个概率分布得到的，比如通过一个后验概率分布得到的数。与全面联接相比，这些统计汇总常常是比较容易理解和可视化。 5.2.1最大后验估计 通过计算后验的均值、中值、或者模型可以轻松地得到未知参数的点估计。在5.7节，我们将讨 论如何利用决策理论从这些模型中做出选择。典型的后验概率均值或者中值是估计真实值的恰当选择，并且后验边缘分布向量最适合离散数值。然而，由于简化了优化问题，算法更加高效，后验概率模型，又名最大后验概率估计成为最受欢迎的模型。另外，通过对先验知识的取对数来正 则化后，最大后验概率可能被非贝叶斯方法解释（详情参考6.5节）。 最大后验概率估计模型在计算方面该方法虽然很诱人，但是他有很多缺点，下面简答介绍一下。在这一章我们将更加全面的学习贝叶斯方法。 图5.1（a）由双峰演示得到的非典型分布的双峰分布，其中瘦高蓝色竖线代表均值，因为他接近 大概率，所以对分布有个比较好的概括。(b)由伽马绘图演示生成偏态分布，它与均值模型完全不同。 5.2.1.1 无法衡量不确定性 最大后验估计的最大的缺点是对后验分布的均值或者中值的任何点估计都不能够提供一个不确定性的衡量方法。在许多应用中，知道给定估计值的置信度非常重要。我们在5.22节将讨论给出后验估计置信度的衡量方法。 5.2.1.2 深耕最大后验估计可能产生过拟合
第一章 先验分布与后验分布 1.1 解：令120.1,0.2θθ== 设A 为从产品中随机取出8个，有2个不合格，则 2 2618()0.10.90.1488P A C θ== 22628()0.20.80.2936P A C θ== 从而有 1111122()() ()0.4582()()()() P A A P A P A θπθπθθπθθπθ==+ 2221122()() ()0.5418()()()() P A A P A P A θπθπθθπθθπθ= =+ 1.2 解：令121, 1.5λλ== 设X 为一卷磁带上的缺陷数，则()X P λ ∴3(3)3! e P X λ λλ-== 1122(3)(3)()(3)()0.0998P X P X P X λπλλπλ∴===+== 从而有 111222(3)() (3)0.2457 (3)(3)() (3)0.7543 (3) P X X P X P X X P X λπλπλλπλπλ========== 1.3 解：设A 为从产品中随机取出8个，有3个不合格，则 33 58()(1)P A C θθθ=- （1） 由题意知 ()1,01πθθ=<< 从而有 351 ()() ()504(1),01()()P A A P A d θπθπθθθθθπθθ = =-<
1 (),102010πθθ= << 11.611.51()0.0110 m x d θ==? 从而有 ()()()10,11.511.6() P x x m x θπθπθθ==<< 1.6 证明：设随机变量()X P λ ，λ的先验分布为(,)Ga αβ，其中,αβ为已知，则 (),0 ! x e P x x λ λλλ-= > 1(),0 () e ααβλ βπλλλα--=>Γ 因此 11(1) ()()()x x x P x e e e λαβλαβλπλλπλλλλ---+--+∝?∝= 所以 (,1) x G a x λαβ++ 1.7 解：（1）由题意可知 ()1,01πθθ=<< 因此 1 2 2()12(1)x x m x d x θθ =?=-? 因此 2()()1(),1 ()1P x x x x m x x θπθπθθθ==<<- （2） 由题意可知 1 22 2()36x m x d x θθθ=?=? 因此 ()() ()1,01 () P x x m x θπθπθθ= =<< 1.8 解：设A 为100个产品中3个不合格，则 3 397100()(1)P A C θθθ=- 由题意可知 199(202) ()(1),01(200) πθθθθΓ= -≤≤Γ 因此 3971994296()()()(1)(1)(1)A P A πθθπθθθθθθθ∝?∝--=- 由上可知 (5,297)A Be θ
先验概率、后验概率及全概率公式、贝叶斯公式2011-11-15 16:04:24| 分类：数理统计|举报|字号订阅 先验概率与后验概率 事情还没有发生,要求这件事情发生的可能性的大小,是先验概率. 事情已经发生,要求这件事情发生的原因是由某个因素引起的可能性的大小,是后验概率. 一、先验概率是指根据以往经验和分析得到的概率，如全概率公式，它往往作为“由因求果”问题中的“因”出现。后验概率是指在得到“结果”的信息后重新修正的概率，如贝叶斯公式中的，是“执果寻因”问题中的“因”。先验概率与后验概率有不可分割的联系，后验概率的计算要以先验概率为基础。 二、A prior probability is a marginal probability, interpreted as a description of what is known about a variable in the absence of some evidence. The posterior probability is then the conditional probability of the variable taking the evidence into account. The posterior probability is computed from the prior and the likelihood function via Bayes' theorem. 三、先验概率与后验概率通俗释义 事情有N种发生的可能，我们不能控制结果的发生，或者影响结果的机理是我们不知道或是太复杂超过我们的运算能力。新发一个物种，到底是猫,还是小老虎呢（朱道元的经典例子）？是由于我们的无知才不能确定判断。 先验概率 ( Prior probability) 先验概率是在缺乏某个事实的情况下描述一个变量；而后验概率是在考虑了一个事实之后的条件概率。先验概率通常是经验丰富的专家的纯主观的估计。比如在法国大选中女候选罗雅尔的支持率 p,在进行民意调查之前, 可以先验概率来表达这个不确定性。
先验概率与后验概率的区别（老迷惑了） 此为Bayesian先生，敬仰吧，同志们！ 先验（A priori；又译：先天）在拉丁文中指“来自先前的东西”，或稍稍引申指“在经验之前”。近代西方传统中，认为先验指无需经验或先于经验获得的知识。它通常与后验知识相比较，后验意指“在经验之后”，需要经验。这一区分来自于中世纪逻辑所区分的两种论证，从原因到结果的论证称为“先验的”，而从结果到原因的论证称为“后验的”。 先验概率是指根据以往经验和分析得到的概率，如全概率公式 中的，它往往作为“由因求果”问题中的“因”出现。后验概 率是指在得到“结果”的信息后重新修正的概率，是“执果寻因”问题中的“因” 。后验概率是基于新的信息，修正原来的先验 概率后所获得的更接近实际情况的概率估计。先验概率和后验概
率是相对的。如果以后还有新的信息引入，更新了现在所谓的后验概率，得到了新的概率值，那么这个新的概率值被称为后验概率。 先验概率的分类： 利用过去历史资料计算得到的先验概率，称为客观先验概率；当历史资料无从取得或资料不完全时，凭人们的主观经验来判断而得到的先验概率，称为主观先验概率。 后验概率是指通过调查或其它方式获取新的附加信息，利用贝叶斯公式对先验概率进行修正，而后得到的概率。 先验概率和后验概率的区别： 先验概率不是根据有关自然状态的全部资料测定的，而只是利用现有的材料(主要是历史资料)计算的；后验概率使用了有关自然状态更加全面的资料，既有先验概率资料，也有补充资料； 先验概率的计算比较简单，没有使用贝叶斯公式；而后验概率的计算，要使用贝叶斯公式，而且在利用样本资料计算逻辑概率时，还要使用理论概率分布，需要更多的数理统计知识。
第三章先验分布的确定 3.1 主观概率 3.1.1概率的公理化定义 定义：设Ω为一个样本空间，F 为Ω的某些子集组成的一个事件域，如果对任一事件A ∈F ，定义在F 上一个实值函数P(A)满足下列条件： (1)非负性公理：对于每一事件A ，有P(A)≥0； (2)正则性(规范性)公理：P(Ω)=1； (3)可列可加性(完全可加性)公理：设A 1，A 2，…是互不相容的事件，即对于i≠j ，A i A j =?，i ，j=1，2，…，则有 11()()i i i i P A P A ∞∞ ===∑U 则称P （A ）为事件A 的概率(Probability)，称三元素(Ω，F ，P)为概率空间(Probability space)。 概率是定义在σ-域F 上的一个非负的、正则的、可列可加的集函数。 3.1.2主观概率 在经典统计中，概率是用三条公理定义的：1）非负性；2）正则性；3）可加性。概率确定方法有两种：1）古典方法；2）频率方法。 实际中大量使用的是频率方法，所以经典统计的研究对象是能大量重复的随机现象，不是这类随机现象就不能用频率的方法去确定其有关事件的概率。这无疑把统计学的应用和研究领域缩小了[1]。在经典统计中有一种习惯，对所得到的概率都要给出频率解释，这在有些场所是难于做出的。譬如，天气预报：“明天下雨的概率是0.8”。 贝叶斯统计中要使用先验信息，而先验信息主要是指经验和历史资料。因此如何用人们的经验和过去的历史资料确定概率和先验分布是贝叶斯学派要研究
的问题。 贝叶斯学派是完全同意概率的公理化定义，但认为概率也是可以用经验确定。这是与人们的实践活动一致。这就可以使不能重复或不能大量重复的随机现象也可谈及概率。同时也使人们积累的丰富经验得以概括和应用。 贝叶斯学派认为：一个事件的概率是人们根据经验对该事件发生可能性所给出个人信念。这样给出的概率称为主观概率。下面举几个例子：一个企业家认为“一项新产品在未来市场上畅销”的概率是0.8，这里的0.8是根据他自己多年的经验和当时一些市场信息综合而成的个人信念。 一位医生要对一位病人动手术，他认为成功的概率是0.9，这是他根据手术的难易程度和自己的手术经验而对“手术成功”所给出的把握程度。 这样的例子在我们生活，生产和经济活动中也是常遇见的，他们观察的主观概率绝不是随意的，而是要求当事人对所考察的事件有较透彻的了解和丰富的经验，甚至是这一行的专家。并能对周围信息和历史信息进行仔细分析，在这个基础上确定的主观概率就能符合实际。所以应把主观概率与主观臆造，瞎说一通区别开来。 主观概率要受到实践检验，要符合概率的三条公理，通过实践检验和公理验证，人们会接受其精华，去其糟粕。 主观概率是频率方法和经典方法的一种补充，有了主观概率至少使人们在频率观点不适用时也能谈论概率，使用概率和统计方法。 主观概率并不反对用频率方法确定概率，但也要看到它的局限性。 3.1.3 确定主观概率的方法 （1）用对立事件的比较来确定主观概率（最简单的方法） 例3.1 一位出版商要知道一本新书畅销（事件A）的概率是多少，以决定是否与作者签订出版合同。他在了解这本新书的内容后，根据他自己多年出书的经验认为该书畅销的可能性较大，畅销（A）比畅销（A）的可能性要高出一倍，即 P A=，即 +=，可以推得()2/3 P A P A P A P A ()2() =，由此根据概率的性质()()1
第二章主观概率和先验分布 Subjective Probability and Prior Distribution 本章主要参考文献：60，52，上帝怎样掷骰子 §2-1 基本概念 一、概率（probability） 1. 频率 f n(A)==N a/N P (A)==lim f n(A)…古典概率的定义 n 2. Laplace在《概率的理论分析》(1812)中的定义 P(A)==k/N 式中，k为A所含基本事件数， N为基本事件总数 适用条件 1.基本事件有限 2.每个基本事件等可能 3.公理化定义 E是随机试验,S是E的样本空间,对E的每一事件A,对应有确定实数P(A),若满足: ①非负性：0≤P(A)≤1 ②规范性：P(S)=1 ③可列可加性：对两两不相容事件A k (k=1,2…) (A i∩A j=φ) P(∪A k)=∑P(A k) 则称P(A)为事件A发生的概率
二、主观概率(subjective probability, likelihood) 1. 为什么引入主观概率 。有的自然状态无法重复试验 如：明天是否下雨 新产品销路如何 明年国民经济增长率如何 能否考上博士生 。试验费用过于昂贵、代价过大 例：洲导弹命中率 战争中对敌方下一步行动的估计 2.主观概率定义：合理的信念的测度 某人对特定事件会发生的可能的度量。 即他相信(认为)事件将会发生的可能性大小的程度。 这种相信的程度是一种信念，是主观的，但又是根据经验、各方而后知识，对客观情况的了解进行分析、推理、综合判断而设定(Assignment)的，与主观臆测不同。 例：考博士生、掷硬币、抛图钉 三、概率的数学定义 对非空集Ω，元素ω，即Ω=｛ω｝，F是Ω的子集A所构成的σ-域(即Ω∈F； 若A∈F则A∈F； 若A i∈F i=1,2,…则∪A i∈F) 若P(A)是定在F上的实值集函数，它满足 ①非负性P(A)≥0 ②规范性P(Ω)=1
此为先生，敬仰吧，同志们！ 先验（；又译：先天）在拉丁文中指“来自先前地东西”，或稍稍引申指“在经验之前”.近代西方传统中，认为先验指无需经验或先于经验获得地知识.它通常与后验知识相比较，后验意指“在经验之后”，需要经验.这一区分来自于中世纪逻辑所区分地两种论证，从原因到结果地论证称为“先验地”，而从结果到原因地论证称为“后验地”.文档来自于网络搜索 先验概率是指根据以往经验和分析得到地概率，如全概率公式中地，它往往作为“由因求果”问题中地“因”出现.后验概率是指在得到“结果”地信息后重新修正地概率，是“执果寻因”问题中地“因” .后验概率是基于新地信息，修正原来地先验概率后所获得地更接近实际情况地概率估计.先验概率和后验概率是相对地.如果以后还有新地信息引入，更新了现在所谓地后验概率，得到了新地概率值，那么这个新地概率值被称为后验概率.文档来自于网络搜索 先验概率地分类： 利用过去历史资料计算得到地先验概率，称为客观先验概率； 当历史资料无从取得或资料不完全时，凭人们地主观经验来判断而得到地先验概率，称为主观先验概率. 后验概率是指通过调查或其它方式获取新地附加信息，利用贝叶斯公式对先验概率进行修正，而后得到地概率.文档来自于网络搜索 先验概率和后验概率地区别： 先验概率不是根据有关自然状态地全部资料测定地，而只是利用现有地材料(主要是历史资料)计算地；后验概率使用了有关自然状态更加全面地资料，既有先验概率资料，也有补充资料；文档来自于网络搜索 先验概率地计算比较简单，没有使用贝叶斯公式；而后验概率地计算，要使用贝叶斯公式，而且在利用样本资料计算逻辑概率时，还要使用理论概率分布，需要更多地数理统计知识.文档来自于网络搜索 先验概率与后验概率 "概率就是无知, 而不是事务本身是随机地". 事情有种发生地可能,我们不能控制结果地发生,或者影响结果地机理是我们不知道或是太复杂超过我们地运算能力. 新发一个物种, 到底是猫,还是小老虎
贝叶斯决策模型及实例分析 一、贝叶斯决策的概念 贝叶斯决策，是先利用科学试验修正自然状态发生的概率，在采用期望效用最大等准则来确定最优方案的决策方法。 风险型决策是根据历史资料或主观判断所确定的各种自然状态概率（称为先验概率），然后采用期望效用最大等准则来确定最优决策方案。这种决策方法具有较大的风险，因为根据历史资料或主观判断所确定的各种自然状态概率没有经过试验验证。为了降低决策风险，可通过科学试验（如市场调查、统计分析等）等方法获得更多关于自然状态发生概率的信息，以进一步确定或修正自然状态发生的概率；然后在利用期望效用最大等准则来确定最优决策方案，这种先利用科学试验修正自然状态发生的概率，在采用期望效用最大等准则来确定最优方案的决策方法称为贝叶斯决策方法。 二、贝叶斯决策模型的定义 贝叶斯决策应具有如下内容 贝叶斯决策模型中的组成部分： ) ( ,θ θP S A a及 ∈ ∈。概率分布S P∈ θ θ) (表示决策者在观察试验 结果前对自然θ发生可能的估计。这一概率称为先验分布。 一个可能的试验集合E，E e∈，无情报试验e0通常包括在集合E之内。 一个试验结果Z取决于试验e的选择以Z0表示的结果只能是无情报试验e0的结果。 概率分布P(Z/e,θ)，Z z∈表示在自然状态θ的条件下，进行e试验后发生z结果的概率。这一概率分布称为似然分布。 一个可能的后果集合C，C c∈以及定义在后果集合C的效用函数u(e,Z,a,θ)。
每一后果c=c(e,z,a,θ)取决于e,z,a和θ。.故用u(c)形成一个复合函数u{(e,z,a,θ)}，并可写成u(e,z,a,θ)。 三、贝叶斯决策的常用方法 3.1层次分析法(AHP) 在社会、经济和科学管理领域中，人们所面临的常常是由相互关联，相互制约的众多因素组成的复杂问题时，需要把所研究的问题层次化。所谓层次化就是根据所研究问题的性质和要达到的目标，将问题分解为不同的组成因素，并按照各因素之间的相互关联影响和隶属关系将所有因素按若干层次聚集组合，形成一个多层次的分析结构模型。 3.1.1层次分析模型 最高层：表示解决问题的目的，即层次分析要达到的目标。 中间层：表示为实现目标所涉及的因素，准则和策略等中间层可分为若干子层，如准则层，约束层和策略层等。 最低层：表示事项目标而供选择的各种措施，方案和政策等。 3.1.2层次分析法的基本步骤 (l) 建立层次结构模型 在深入分析研究的问题后，将问题中所包括的因素分为不同层次，如目标层、指标层和措施层等并画出层次结构图表示层次的递阶结构和相邻两层因素的从属关系。 (2) 构造判断矩阵 判断矩阵元素的值表示人们对各因素关于目标的相对重要性的认识。在相邻的两个层次中，高层次为目标，低层次为因素。 (3) 层次单排序及其一致性检验 判断矩阵的特征向量W经过归一化后即为各因素关于目标的相对重要性的排序权值。利用判断矩阵的最大特征根，可求CI和CR值，当CR<0.1时，认为层次单排序的结果有满意的一致性；否则，需要调整判断矩阵的各元素的取值。 (4) 层次总排序 计算某一层次各因素相对上一层次所有因素的相对重要性的排序权值称为层次总排序。由于层次总排序过程是从最高层到最低层逐层进行的，而最高层是总目标，所以，层次总排序也是计算某一层次各因素相对最高层（总目标）的相对重要性的排序权值。 设上一层次A包含m个因素A1,A2,…,A m其层次总排序的权值分别为a1,a2,…,a m；下一层次B包含n 个因素B1,B2,…,B n，它们对于因素A j(j=1,2,…,m)的层次单排序权值分别为： b1j,b2j,…,b nj（当B k与A j无联系时，b kj=0），则B层次总排序权值可按下表计算。 层次总排序权值计算表
第一章先验分布和后验分布 统计学有两个主要学派，频率学派与贝叶斯学派。频率学派的观点：统计推断是根据样本信息对总体分布或总体的特征数进行推断，这里用到两种信息：总体信息和样本信息；贝叶斯学派的观点：除了上述两种信息以外，统计推断还应该使用第三种信息：先验信息。贝叶斯统计就是利用先验信息、总体信息和样本信息进行相应的统计推断。 1.1三种信息 （1）总体信息：总体分布或所属分布族提供给我们的信息 （2）样本信息：从总体抽取的样本提供给我们的信息 （3）先验信息：在抽样之前有关统计推断的一些信息 1.2贝叶斯公式 一、贝叶斯公式的三种形式 (一）贝叶斯公式的事件形式 假定k A A ,,1 是互不相容的事件，它们之和i k i A 1= 包含事件B ，即i k i A B 1=? 则有：∑==k i i i i i i A B P A P A B P A P B A P 1)()() ()()(（二）贝叶斯公式的密度函数形式 1.贝叶斯学派的一些具体思想 假设I ：随机变量X 有一个密度函数);(θx p ，其中θ是一个参数，不同的θ对应不同的密度函数，故从贝叶斯观点看，);(θx p 是在给定θ后的一个条件密度函数，因此记为)(θx p 更恰当一些。在贝叶斯统计中记为)(θx p 它表示在随机变量θ给定某个值时，总体指标X 的条件分布。这个条件密度能提供我们的有关的θ信息就是总体信息。 假设II ：当给定θ后，从总体)(θx p 中随机抽取一个样本X1，…，Xn ，该
样本中含有θ的有关信息。这种信息就是样本信息。 假设III ：从贝叶斯观点来看，未知参数θ是一个随机变量。而描述这个随机变量的分布可从先验信息中归纳出来，这个分布称为先验分布，其密度函数用)(θπ表示。 2.先验分布 定义1：将总体中的未知参数Θ∈θ看成一取值于Θ的随机变量，它有一概率分布，记为)(θπ，称为参数θ的先验分布。 3.后验分布 （1）从贝叶斯观点看，样本x =(1x ,…,n x )的产生要分两步进行。首先设想从先验分布)(θπ产生一个样本θ'，这一步是“老天爷”做的，人们是看不到的，故用“设想”二字。第二部是从总体分布p (x |θ')产生一个样本x =(1x ,…,n x ),这个样本是具体的，人们能看到的，此样本x 发生的概率是与如下联合密度函数成正比。 ∏='='n i i x p x p 1) ()(θθ这个联合密度函数是综合了总体信息和样本信息，常称为似然函数，记为)(θ'L 。频率学派和贝叶斯学派都承认似然函数，两派认为：在有了样本观察值x =(1x ,…,n x )后，总体和样本中所含θ的信息都被包含在似然函数)(θ'L 之中，可在使用似然函数作统计推断时，两派之间还是有差异的。 （2）由于θ'是设想出来的，它仍然是未知的，它是按先验分布)(θπ而产生的，要把先验信息进行综合，不能只考虑θ'，而应对θ的一切可能加以考虑。故要用)(θπ参与进一步综合。这样一来，样本x 和参数θ的联合分布 π θθ)(),(x p x h =把三种可用的信息都综合进去了。 （3）我们的任务是要求未知数θ做出统计推断。在没有样本信息时，人们
幻灯片67 其步骤如下： （1）写出样本的对数似然函数 ∑∏===??? ???=n i i n i i x p x p x l 1 1) |(ln )|(ln )|(θθθ （2）求样本的信息阵 p j i l E I j i x ,...,2,1,, )(2|=??? ????????-=θθθθ 2 |2(),x l I E θ θθ???=-????? 在单参数(p=1)场合, (3)Θ的无信息先验密度为 2 /1)] ([det )(θθπI = 1/2 ()[()] I πθθ= 在单参数(p=1)场合, 幻灯片68 2122(,,...,)(,),(,). n X x x x N Jeffreys μσθμσ==设是来自正态分布的一组样本试求的先验
2211 :()ln[] 2i x n i l x e μ σθπσ--==∑写出样本的对数似然函数 2 2 1 11 (,)ln(2)ln ().22n i i l n x μσπσμσ=?=-- -∑ 2222 2222() ()0:(,);20()()l l n E E Fisher I n l l E E μμσσμσσμσσ?????? -- ? ????? ?==?? ?????- - ?? ??? ???? ?其信息阵 42),(det -=?σσμn I 22,(,):(,)2.Jeffreys n μσπμσσσ--=∝所以的先验为 幻灯片69 2 2 1 1 :,(),:()1; ,()2,();,(,); n I I n σμπμσ μσσπσσμσπμσσ---= ∝=∝∝注当已知当已知当和独立 幻灯片70 例3.22 关于成功概率的无信息先验分布至今已有4种 π1(θ)=1 ——正常 π2(θ)=θ-1(1-θ)-1 ——不正常 π3(θ)=θ-1/2(1-θ)-1/2 ——正则化后可成为正常 π4(θ)=θθ(1-θ)(1-θ) ——正则化后可成为正常
实验一 贝叶斯分类仿真实验 1． 引言 贝叶斯定理用数学家Thoms Bayes 命名的，他是18世纪概率论和决策论的早期研究者。贝叶斯决策理论是主观贝叶斯派归纳理论的重要组成部分。 贝叶斯决策就是在不完全情报下，对部分未知的状态用主观概率估计，然后用贝叶斯公式对发生概率进行修正，最后再利用期望值和修正概率做出最优决策。 1.1 贝叶斯决策基本思想 贝叶斯决策理论方法是统计模型决策中的一个基本方法，其基本思想： ★已知类条件概率密度参数表达式和先验概率； ★利用贝叶斯公式转换成后验概率； ★根据后验概率大小进行决策分类。 1.2 贝叶斯公式 设H1，H2，……，H M 为样本空间S 的一个划分，如果以P(Hj)表示事件Hi 发生的概率，且P(Hj)>0(j=1，2，…，n)。对于任一事件X,P(X)>0，则贝叶斯公式如下： P(Hj|X)=P(X|Hj)P(Hj)/ ∑=M j 1Hj)P(Hj)|P(X 2． 基于最小错误率贝的叶斯决策 2.1 对于贝叶斯公式的深入理解 对于引言中贝叶斯的公式，可能大家对P(H|X)与P(X|H)的区别是什么等问题存在疑问，下面我们就来深入理解该公式,X 是一个元组，假设其中可以分成M 类，M 的先验概率是P(H)，而P(X|H)则被我们看成是概率密度函数对于待归类的样品，贝叶斯可以计算出属于M 类中各个类的概率大小，看X 属于那个类的可能性大，就把他归属为那一类。 ★先验概率 针对M 个出现的可能性而言的，不考虑任何其他的条件。例如，有统计资料表明出产产品总数为N ，其中合格品为N1，不合格品为N2，P(H1)=N1/N ，P(H2)=N2/N 。我们可以看到，这两者都可以事先计算出来。但是如果我们只有先验概率是不够的，假设我们生产的产品是N1多于N2，那么我们得到的概率就是合格的可能性大于不合格的可能性，故我们只能把所有的产品都判断为合格，因为合格的概率大一些，但这样的结果并没有让我们把不合格的产品分离出来，这就表明我们仅从先验概率来进行分类识别是不够的，我们还需要更多的初始信息。于是我们引进了类条件概率密度。 ★类条件概率密度
英国学者T.贝叶斯1763年在《论有关机遇问题的求解》中提出一种归纳推理的理论，后被一些统计学者发展为一种系统的统计推断方法，称为贝叶斯方法。贝叶斯的基本观点：1.认为未知参数是一个随机变量，而非常量。2.在得到样本以前，用一个先验分布来刻画关于未知参数的信息。3. 贝叶斯的方法是用数据，也就是样本，来调整先验分布，得到一个后验分布。4.任何统计问题都应由后验分布出发。 统计推断中主要有三种信息，一是总体信息，即总体分布或总体所属分布族给我们的信息；二是样本信息，即总体中抽取的样本给我们提供的信息；三是先验信息，即抽样之前有关统计问题的一些信息。贝叶斯学派和经典学派的不同在于对统计推断的三种信息使用的不同，基于前两种信息的统计推断称为经典统计学，它的基本观点是把数据看成是来自具有一定分布的总体，所研究的对象是这个总体而不局限于数据本身。基于以上三种信息进行的统计推断被称为贝叶斯统计学。它与经典统计学的主要差别在于是否利用先验信息，在使用样本信息上也是有差异的。 贝叶斯学派的最基本的观点是：任何一个未知量θ都可看作一个随机变量，应用一个概率分布去描述对θ的未知状况。这个概率分布是在抽样前就有的关于θ的先验信息的概率陈述。因为任一未知量都有不确定性，而在表述不确定性程度时，概率与概率分布是最好的语言。这个概率分布就被称为先验分布。贝叶斯学派认为先验分布不必有客观的依据，它可以部分地或完全地基于主观信念。这个是经典学
派与贝叶斯学派争论的一个焦点，经典学派认为经典统计学是用大量重复试验的频率来确定概率、是“客观”的，因此符合科学的要求，而认为贝叶斯统计是“主观的”，因而只对个人做决策有用。这是当前对贝叶斯统计的主要批评。贝叶斯学派认为引入主观概率及由此确定的先验分布至少把概率与统计的研究与应用范围扩大到了不能大量重复的随机现象中来。其次，主观概率的确定不是随意的，而是要求当事人对所考察的事件有较透彻的了解和丰富的经验，甚至是这一行的专家，在这个基础上确定的主观概率就能符合实际。 若仅仅研究先验分布贝叶斯统计也就没大意思了，与先验分布对应的还有后验分布。我们先来看一下后验分布的定义，在样本x 给定下θ的条件分布被称为θ的后验分布。我们分析一下这句话，首先可以明白后验分布是一个条件分布，怎样的条件分布呢，在样本x 给定的条件下的条件分布，看来仍然是需要样本，在贝叶斯统计中的样本又是什么样子的呢？从贝叶斯观点看，样本),(1n x x x =的产生主要分两步。首先设想从先验分布()θπ产生一个样本θ'，这一步是“老天爷”做的，人们是看不见得，故用“设想”二字。第二步是从总体分布()θ'x p 产生一个样本),(1n x x x =，这个样本是具体的，人们能看的到的，此时样本x 发生的概率与如下联合密度函数成正比 ()()θθ'∏='=i n i x p x p 1 这个联合密度函数综合了总体信息与样本信息，常被称为似然函数，及为()θ'L .由于θ'是设想出来的，他仍然是未知的，它是按先验分布()θπ而产生的，要把先验分布进行综合，不能只考虑θ'，而应对
贝叶斯经典例子 我发现他有其他女人内衣，他出轨的可能性有多大？ 2015-03-17 07:57 大数据文摘原创文章，如要转载，务必后台留言申请。 如果在男友的衣柜中发现了其他女人的内衣，你一定认为这个没良心的家伙出轨了，对不起你了，瞬间，你已经想出来N种对策——马上跳楼？不，我先去砍了他！哦，不！我得先砍了她再砍了他！不，我还是... 小编已经不敢再想了，太血腥了... 庆幸吧，你看到了这篇文章！ 在你决定采取动作之前，请务必完整阅读，其实男友出轨的概率并没有你想象的那么高！ 这个问题，老先生早就给出了答案 我们在计算一个事件发生的概率时需要考虑其他事件的信息则需要用到的概念。如果事件B的发生要以事件A的发生为前提，则 当然我们还可以用其他方法来计算条件概率。事件“B与A”与事件“A与B”是相同的，而又有 所以可得： 这便是由数学家托马斯×贝叶斯（Thomas Bayes）提出的著名（也称为贝叶斯定理）。这位18世纪英国教士留下的不起眼的公式给整个科学界和统计学界都带来了深远的影响。因为如果直接计算P(B|A)非常简单，但是想要反向计算P(A|B)就不是那么容易了。贝叶斯法则使得这种计算易如反掌。贝叶斯法则还有更加复杂的变形，现在常见的电子邮件垃圾过滤器与互联网里都用到了它。 分析男友出轨概率 不论你相信与否，对于这样的问题，贝叶斯定理总能给出答案——假如你知道（或者有意愿预估）下列三个量： 第一，你需要预测出自己伴侣在出轨的情况下，这件内衣出现的概率。（P(x｜B)）
这里一定要注意不能因为你手上拿了一件合格产品，就说是100％，实际上这个概率是要根据以下这个公式（即全概率公式）计算出来的：
抛出一枚硬币，硬币落地，现在我不知道结果如何，问是 还是反？ 答案有三个：A 正面朝上、B 反面朝上、C 正面朝上反面朝上的概率各占1/2 哪个正确？ 经典统计学里面正确答案能是A或者B，只有在贝叶斯统计学里面答案C是才是被允许的 一次实验的结果在经典统计学里面被叫做样本点，是确定的。 那么为什么在贝叶斯统计学里面第三个的答案的说法是正确的呢？关键在于贝叶斯学派关于随机变量的定义：任何一个未知量*都可以看做一个随机变量。 这也是贝叶斯学派最基本的观点，只要是未知的量都可以看做随机变量。 仅仅从这一个简单的例子就已经可以看到经典统计学派与贝叶斯统计学派的争议来了，其实两个学派在一些问题上的争论是相当深刻而激烈的，当然也有相同相通之处，在这里就不便展开详细的讨论了。就我本人还是比较倾向于贝叶斯学派的。 我们在回到上面的问题，看答案C正面朝上反面朝上的概率各占1/2，仔细想想这句话，实际上我们已经给出了未知量（本次实验结果）一个概率分布的描述。要么正面朝上要么反面朝上，概率各占1/2，这个概率分布被叫做先验分布。先验分布是指根据先验信息所给出的随机变量的分布，这里的先验信息是指在抽样之前有关统计问
题的一些信息。那么先验分布与经典统计学里面的概率分布有什么区别呢？在所要满足的条件上，如……是一致的，主要区别在与概率分布得到的途径上。经典统计学里概率及其分布的确定来自大量重复实验，与频率密切相关，由大数定律、中心极限定理这些基本定理做为理论基石而得来。特别强调的是经典统计学的概率分布包含了所有样 ，即所有可能的实验结果都要被包含进去。这是与贝叶斯统计学里的先验分布不同的地方，贝叶斯统计学的先验概率分布来自于过去的经验,这里之所以加上”过去的“三个字并且对其强调，是想告诉大家先验分布只考虑已出现的样本点，不是所有的样本点。并且可以由经验而来不必做大量的重复实验。在这一点上克服了经典统计学的一些局限性，使得我们的研究深入到那些不适宜或不能大量重复的随机现象中来。当然这也使先验分布带有的主观性色彩。关于这一点也是一个经典统计学与贝叶斯统计学的一个争议点，有很多深入的问题正在探讨中。在这里我们就不讨论了。 若仅仅研究先验分布贝叶斯估计也就没大意思了，与先验分布对应的还有后验分布。我们先来看一下后验分布的定义，在样本x 给定下θ的条件分布被称为θ的后验分布。我们分析一下这句话，首先可以明白后验分布是一个条件分布，怎样的条件分布呢，在样本x 给定的条件下的条件分布，看来仍然是需要样本，在贝叶斯统计中的样本又是什么样子的呢？从贝叶斯观点看，样本),(1n x x x =的产生主要分两步。首先设想从先验分布()θπ产生一个样本θ'，这一步是“老天爷” 做的，人们是看不见得，故用“设想”二字。第二步是从总体分布()θ'x p
一、什么是贝叶斯推断 贝叶斯推断（Bayesian inference）是一种统计学方法，用来估计统计量的某种性质。 它是贝叶斯定理（Bayes' theorem）的应用。英国数学家托马斯·贝叶斯（Thomas Bayes）在1763年发表的一篇论文中，首先提出了这个定理。 贝叶斯推断与其他统计学推断方法截然不同。它建立在主观判断的基础上，也就是说，你可以不需要客观证据，先估计一个值，然后根据实际结果不断修正。正是因为它的主观性太强，曾经遭到许多统计学家的诟病。 贝叶斯推断需要大量的计算，因此历史上很长一段时间，无法得到广泛应用。只有计算机诞生以后，它才获得真正的重视。人们发现，许多统计量是无法事先进行客观判断的，而互联网时代出现的大型数据集，再加上高速运算能力，为验证
这些统计量提供了方便，也为应用贝叶斯推断创造了条件，它的威力正在日益显现。 二、贝叶斯定理 要理解贝叶斯推断，必须先理解贝叶斯定理。后者实际上就是计算"条件概率"的公式。 所谓"条件概率"（Conditional probability），就是指在事件B发生的情况下，事件A发生的概率，用P(A|B)来表示。 根据文氏图，可以很清楚地看到在事件B发生的情况下，事件A发生的概率就是P(A∩B)除以P(B)。 因此，
同理可得， 所以， 即 这就是条件概率的计算公式。 三、全概率公式 由于后面要用到，所以除了条件概率以外，这里还要推导全概率公式。假定样本空间S，是两个事件A与A'的和。
上图中，红色部分是事件A，绿色部分是事件A'，它们共同构成了样本空间S。在这种情况下，事件B可以划分成两个部分。 即 在上一节的推导当中，我们已知
先验概率、后验概率与似然估计 本文假设大家都知道什么叫条件概率了（P(A|B)表示在B事件发生的情况下，A事件发生的概率）。 先验概率和后验概率 教科书上的解释总是太绕了。其实举个例子大家就明白这两个东西了。 假设我们出门堵车的可能因素有两个（就是假设而已，别当真）：车辆太多和交通事故。堵车的概率就是先验概率。 那么如果我们出门之前我们听到新闻说今天路上出了个交通事故，那么我们想算一下堵车的概率，这个就叫做条件概率。也就是P(堵车|交通事故)。这是有因求果。 如果我们已经出了门，然后遇到了堵车，那么我们想算一下堵车时由交通事故引起的概率有多大， 那这个就叫做后验概率（也是条件概率，但是通常习惯这么说）。也就是P(交通事故|堵车)。这是有果求因。 下面的定义摘自百度百科： 先验概率是指根据以往经验和分析得到的概率,如全概率公式,它往往作为"由因求果"问题中的"因"出现. 后验概率是指依据得到"结果"信息所计算出的最有可能是那种事件发生,如贝叶斯公式中的,是"执果寻因"问题中的"因". 那么这两个概念有什么用呢？ 最大似然估计 我们来看一个例子。 有一天，有个病人到医院看病。他告诉医生说自己头痛，然后医生根据自己的经验判断出他是感冒了，然后给他开了些药回去吃。 有人肯定要问了，这个例子看起来跟我们要讲的最大似然估计有啥关系啊。 关系可大了，事实上医生在不知不觉中就用到了最大似然估计（虽然有点牵强，但大家就勉为其难地接受吧^_^）。 怎么说呢？ 大家知道，头痛的原因有很多种啊，比如感冒，中风，脑溢血...（脑残>_<这个我可不知道会不会头痛，还有那些看到难题就头痛的病人也不在讨论范围啊！）。 那么医生凭什么说那个病人就是感冒呢？哦，医生说这是我从医多年的经验啊。 咱们从概率的角度来研究一下这个问题。 其实医生的大脑是这么工作的， 他计算了一下 P(感冒|头痛)（头痛由感冒引起的概率，下面类似） P(中风|头痛) P(脑溢血|头痛) ... 然后这个计算机大脑发现，P(感冒|头痛)是最大的，因此就认为呢，病人是感冒了。看到了吗？这个就叫最大似然估计（Maximum likelihood estimation，MLE）。 咱们再思考一下，P(感冒|头痛)，P(中风|头痛)，P(脑溢血|头痛)是先验概率还是后验概率呢？ 没错，就是后验概率。看到了吧，后验概率可以用来看病（只要你算得出来，呵呵）。 事实上，后验概率起了这样一个用途，根据一些发生的事实（通常是坏的结果），分析结果产生的最可能的原因，然后才能有针对性地去解决问题。
为了更好的理解后验分布我们来看一个例子 例1：为提高某产品的质量，公司经理考虑增加投资来改进生产设备，预计需投资90万元，但从投资效果上看下属两个部门有两种意见： 1θ：改进生产设备后，高质量产品可占90% 2θ：改进生产设备后，高质量产品可占70% 经理当然希望1θ发生，但根据两部门过去意见被采纳的情况，经理认 为40%第一个部门是可信度的，60%第二个部门是可信度，即随机变量投资结果过θ 的先验分布列为：()%401=θπ；()%602=θπ 这是经理的主管意见，经理不想仅用过去的经验来决策此事，想慎重一些，通过小规模实验，观察其结果后再定。为此做了一项实验，实验结果（记为A ）如下： A ：试制五个产品，全是高质量产品。 经理很高兴，希望通过这次结果来修正他原来对1θ和2θ的看法。下面 我们分别来求一下1θ和2θ的后验概率。 如今已有了()1θπ和()2θπ.还需要条件概率()1θA P 和()2θA P ,这可根据二项分布算的， ()590.09.051==θA P ；()168.07.052==θA P 由全概率公式可算的()()()()()337.02211=+=θπθθπθA P A P A P 最后由后验分布公式可求得： ()()()()7.0337.0/236.0/111===A P A P A θπθθπ ()()()()3.0337.0/01.1.0/222===A P A P A θπθθπ 这表明，纪理根据实验A 的信息调整了自己对投资结果的看法，把
对1θ和2θ的信任度由0.4,和0.6分别调整到了0.7和0.3。后者综合了 经理的主观概率和实验结果而获得，要比主观概率更具有吸引力，更贴近当前实际。当然经过实验A 后经理对投资改进质量的兴趣更大了，但如果为了进一步保险起见可以把这次得到的后验分布列再一次作为先验分布在做实验验证，结果将更贴近实际。 从上面这个例子中我们初步体验到了后验的求法，同时也能够看到贝叶斯统计的实用性。贝叶斯统计应用最做的是在决策方面，决策就是对一件事做出决定，它与统计推断的区别在于是否涉及到后果。统计推断依统计理论而进行，很少考虑到推断结果被使用时所带来的利润或造成的损失，这在决策中恰恰是不能忽略的。度量利损得失的尺度就是收益函数与损失函数，把收益函数和损失函数加入到贝叶斯推断就形成了贝叶斯决策论。 在这里首先明确几个概念 状态集{}θ=Θ，其中θ表示自然界（或社会）可能出现的一种状态，所有可能的状态的集合组成状态集。 行动集{}a =A ，其中每一个元素表示人对自然界可能采取的一个行动。 损失函数 ，在一个决策问题中假设状态集为{}θ=Θ，行动集为{}a =A ，定义在A ?Θ上的二元函数()a L ,θ称为损失函数，假如它能表示在自然界（或社会）处于状态θ，而人们采取行动a 对人们引起的（经济的）损失。 决策函数：在给定的贝叶斯决策问题中，从样本空间
介绍利用贝叶斯统计的一个实践案例 为了大家可以对贝叶斯算法有更多的了解，人工智能头条为大家整理过一篇关于贝叶斯算法的文章。今天将为大家介绍利用贝叶斯统计的一个实践案例。通项目实践达到学以致用的目的，相信大家对贝叶斯统计的理解和掌握都可以更深入，提炼出更精炼的内容。 ▌前言 我来自越南，在新加坡上高中，目前在美国上大学。我经常听到身边的人取笑我看起来很“娇小”，我应该怎样做运动，去健身房增重，然后才能有“更好的体格”... ...然而我对这些评论却是怀疑的，对于身高1.69米（5’6）和体重58kg（127lb）的人来说，我有接近完美的BMI 指数（20.3）。 后来我明白他们没有在谈论BMI，他们强调的是体型。 想想看，他们的出发点是好的：资料显示越南男性的平均身高与体重是1米62和58kg，鉴于我身高高出了平均值，但体重与越南男性平均体重却相同，我可能会“看起来”更瘦一些。“看起来”圈起来划重点。如果体重相同，但是身高更高，那看起来更苗条更修长，这是一件逻辑很简单的事。而我在考虑这是一个值得进一步探究的科学问题。 那么问题来了，在身高1米69的越南男性中，我的体型有多瘦小？ 我们需要一种方法论的方法来研究这个主题，一个好方法是尽可能多地找到越南男子身高和体重的数据，看看我的数据处于哪个位置。 ▌越南人口概况 在网上搜索后，我找到了一份包含超过10,000名越南人的人口统计信息调查研究数据。我将样本量范围缩小到18-29岁年龄段的男性。这使我有383名年龄在18-29岁左右的越南男性的样本，对于接下来的分析来说已经是足够的了。 首先画出人口重量直方图，看看我在越南男性中哪个位置。