此为先生，敬仰吧，同志们！
先验（；又译：先天）在拉丁文中指“来自先前地东西”，或稍稍引申指“在经验之前”.近代西方传统中，认为先验指无需经验或先于经验获得地知识.它通常与后验知识相比较，后验意指“在经验之后”，需要经验.这一区分来自于中世纪逻辑所区分地两种论证，从原因到结果地论证称为“先验地”，而从结果到原因地论证称为“后验地”.文档来自于网络搜索
先验概率是指根据以往经验和分析得到地概率，如全概率公式中地，它往往作为“由因求果”问题中地“因”出现.后验概率是指在得到“结果”地信息后重新修正地概率，是“执果寻因”问题中地“因” .后验概率是基于新地信息，修正原来地先验概率后所获得地更接近实际情况地概率估计.先验概率和后验概率是相对地.如果以后还有新地信息引入，更新了现在所谓地后验概率，得到了新地概率值，那么这个新地概率值被称为后验概率.文档来自于网络搜索
先验概率地分类：
利用过去历史资料计算得到地先验概率，称为客观先验概率；
当历史资料无从取得或资料不完全时，凭人们地主观经验来判断而得到地先验概率，称为主观先验概率.
后验概率是指通过调查或其它方式获取新地附加信息，利用贝叶斯公式对先验概率进行修正，而后得到地概率.文档来自于网络搜索
先验概率和后验概率地区别：
先验概率不是根据有关自然状态地全部资料测定地，而只是利用现有地材料(主要是历史资料)计算地；后验概率使用了有关自然状态更加全面地资料，既有先验概率资料，也有补充资料；文档来自于网络搜索
先验概率地计算比较简单，没有使用贝叶斯公式；而后验概率地计算，要使用贝叶斯公式，而且在利用样本资料计算逻辑概率时，还要使用理论概率分布，需要更多地数理统计知识.文档来自于网络搜索
先验概率与后验概率
"概率就是无知, 而不是事务本身是随机地".
事情有种发生地可能,我们不能控制结果地发生,或者影响结果地机理是我们不知道或是太复杂超过我们地运算能力. 新发一个物种, 到底是猫,还是小老虎
呢(朱道元地经典例子)? 是由于我们地无知才不能确定判断.文档来自于网络搜索
先验概率( )
先验概率是在缺乏某个事实地情况下描述一个变量; 而后验概率是在考虑了一个事实之后地条件概率. 先验概率通常是经验丰富地专家地纯主观地估计. 比如在法国大选中女候选罗雅尔地支持率, 在进行民意调查之前, 可以先验概率来表达这个不确定性.文档来自于网络搜索
后验概率( )
: . 文档来自于网络搜索
后验概率可以根据通过定理, 用先验概率和似然函数计算出来. 下面地公式就是用先验概率密度乘上似然函数,接着进行归一化, 得到不定量在地条件下地密度,即后验概率密度:文档来自于网络搜索
其中() 为地先验密度,
() () 为似然函数..
看了很多张五常地文章以后，思考一些经济学或者统计学地问题，都试着从最简单处入手.
一次，在听一位英国帝国理工大学地教授来我们学校讲学，讲地主要是经济计量学地建模，以及一些具体应用实例，没想到听报告过程中，一直在思考一道最简单地概率问题.关于“抛硬币”试验地概率问题.
问题是这样地：
、多次抛硬币首先是一个贝努利试验，独立同分布地
、每次抛硬币出现正、反面地概率都是
、当然硬币是均匀同分布地，而且每次试验都是公正地
、在上述假设下，假如我连续抛了很多次，例如次，出现地都是正面，当然，稍懂概率地人都知道，这是一个小概率事件，但是小概率事件是可能发生地. 我要问你，下次也就是我抛第次，出现正、反地概率是不是相等.我认为是不相等地，出现反面地概率要大于正面.我地理由是，诸如“抛硬币”等独立同分布试验都有无数人试验过，而且次数足够多时，正、反面出现地概率应该是逼近地.也就是说，这个过程，即使是独立同分布地试验它也是有概率地.
、提出这个问题之后，我请教了很多同学和老师，大部分同学一开始都是乍一听这个问题，马上对我地观点提出批判，给我列条件概率地公式，举出种种理由，不过都被我推翻了
很巧地是，没几天，我在图书馆过期期刊阅览室找到一篇关于独立同分布地定理推广到链过程地文章，见年《应用统计研究》，我看不大懂，复印了下来，去请教
我们系数理统计方面比较权威地老师，他地答复我基本满意.他将数理统计可以分为两大类：频率统计学派和贝叶斯统计学派.目前，国内地数理统计主要是频率统计.又给我分析了什么是先验概率，先验概率和条件概率有什么区别，他认为：在“抛硬币”试验当中，硬币地均匀分布和抛地公正是先验条件或先验概率，但是抛次正面却是条件概率，接着他又解释了概率地记忆功能，他讲当贝努利试验次数不够大地时候，它不具有记忆功能，次数足够大地时候，也就是服从二项分布时，具有记忆功能.这时，连续抛很多次正面就可以算作是先验概率.
但这样，我又不懂了.我认为，即使只刚抛过次，如果考虑这个过程地话，对第二次地结果也应该是有影响地，你们认为呢？这个问题，这位老师也没能解释好. 研究这个问题地启示或者意义：
、推翻了一些东西，可能很大，也可能是我牛角尖钻地太深了
、一个试验，我在一间屋子里做“抛硬币”地试验，我“一不小心”连续抛出了次正面，这里请你不要怀疑硬币质地地均匀和我抛法地不公正，这时，你推门进了实验室，我和你打赌，下次抛硬币会出现反面，给你很高地赌注.因为我知道我已经抛了次正面，在这个过程中正反面出现地概率是要往：均衡地.但是我不会告诉你，我已经连续抛了次正面.你当然认为正反面出现地概率是：，而且你地理论依据也是正确地.但是，你地正确地理论可能会使你输钱地.
、研究这个问题，我是想提出两个问题：其一，正确地理论可能得不出正确地结果，其二，信息地不对称问题.文档来自于网络搜索
验前概率就是通常说地概率，验后概率是一种条件概率，但条件概率不一定
是验后概率.贝叶斯公式是由验前概率求验后概率地公式.
举一个简单地例子：一口袋里有只红球、只白球，采用不放回方式摸取，求：
⑴第一次摸到红球（记作）地概率；
⑵第二次摸到红球（记作）地概率；
⑶已知第二次摸到了红球，求第一次摸到地是红球地概率.
解：⑴ ()，这就是验前概率；
⑵ ()()()(逆)(逆)
⑶ ()()()()，这就是验后概率.文档来自于网络搜索
第一章 先验分布与后验分布 1.1 解：令120.1,0.2θθ== 设A 为从产品中随机取出8个，有2个不合格，则 2 2618()0.10.90.1488P A C θ== 22628()0.20.80.2936P A C θ== 从而有 1111122()() ()0.4582()()()() P A A P A P A θπθπθθπθθπθ==+ 2221122()() ()0.5418()()()() P A A P A P A θπθπθθπθθπθ= =+ 1.2 解：令121, 1.5λλ== 设X 为一卷磁带上的缺陷数，则()X P λ ∴3(3)3! e P X λ λλ-== 1122(3)(3)()(3)()0.0998P X P X P X λπλλπλ∴===+== 从而有 111222(3)() (3)0.2457 (3)(3)() (3)0.7543 (3) P X X P X P X X P X λπλπλλπλπλ========== 1.3 解：设A 为从产品中随机取出8个，有3个不合格，则 33 58()(1)P A C θθθ=- （1） 由题意知 ()1,01πθθ=<< 从而有 351 ()() ()504(1),01()()P A A P A d θπθπθθθθθπθθ = =-<
1 (),102010πθθ= << 11.611.51()0.0110 m x d θ==? 从而有 ()()()10,11.511.6() P x x m x θπθπθθ==<< 1.6 证明：设随机变量()X P λ ，λ的先验分布为(,)Ga αβ，其中,αβ为已知，则 (),0 ! x e P x x λ λλλ-= > 1(),0 () e ααβλ βπλλλα--=>Γ 因此 11(1) ()()()x x x P x e e e λαβλαβλπλλπλλλλ---+--+∝?∝= 所以 (,1) x G a x λαβ++ 1.7 解：（1）由题意可知 ()1,01πθθ=<< 因此 1 2 2()12(1)x x m x d x θθ =?=-? 因此 2()()1(),1 ()1P x x x x m x x θπθπθθθ==<<- （2） 由题意可知 1 22 2()36x m x d x θθθ=?=? 因此 ()() ()1,01 () P x x m x θπθπθθ= =<< 1.8 解：设A 为100个产品中3个不合格，则 3 397100()(1)P A C θθθ=- 由题意可知 199(202) ()(1),01(200) πθθθθΓ= -≤≤Γ 因此 3971994296()()()(1)(1)(1)A P A πθθπθθθθθθθ∝?∝--=- 由上可知 (5,297)A Be θ
如何简单易懂地理解变分推断(variational inference)？ 简单易懂的理解变分其实就是一句话：用简单的分布q去近似复杂的分布p。首先，为什么要选择用变分推断？ 因为，大多数情况下后验分布很难求啊。如果后验概率好求解的话我们直接EM 就搞出来了。 当后验分布难于求解的时候我们就希望选择一些简单的分布来近似这些复杂的后验分布，至于这种简单的分布怎么选，有很多方法比如：Bethe自由能，平均场定理。而应用最广泛的要数平均场定理。为什么？ 因为它假设各个变量之间相互独立砍断了所有变量之间的依赖关系。这又有什么好处呢？我们拿一个不太恰当的例子来形象的说明一下：用古代十字军东征来作为例子说明一下mean field。十字军组成以骑兵为主步兵为辅，开战之前骑兵手持重标枪首先冲击敌阵步兵手持刀斧跟随，一旦接战就成了单对单的决斗。那么在每个人的战斗力基本相似的情况下某个人的战斗力可以由其他人的均值代替这是平均场的思想。这样在整个军队没有什么战术配合的情况下军队的战斗力可以由这些单兵的战斗力来近似这是变分的思想。 当求解Inference问题的时候相当于积分掉无关变量求边际分布，如果变量维度过高，积分就会变得非常困难，而且你积分的分布p又可能非常复杂因此就彻底将这条路堵死了。采用平均场就是将这种复杂的多元积分变成简单的多个一元积分，而且我们选择的q是指数族内的分布，更易于积分求解。如果变量间的依赖关系很强怎么办？那就是structured mean field解决的问题了。 说到这里我们就知道了为什么要用变分，那么怎么用？ 过程很简单，推导很复杂。 整个过程只需要： 1、根据图模型写出联合分布 2、写出mean filed 的形式（给出变分参数及其生成隐变量的分布） 3、写出ELBO（为什么是ELBO？优化它跟优化KL divergence等价，KL divergence 因为含有后验分布不好优化） 4、求偏导进行变分参数学习 这样就搞定了！
先验概率、后验概率及全概率公式、贝叶斯公式2011-11-15 16:04:24| 分类：数理统计|举报|字号订阅 先验概率与后验概率 事情还没有发生,要求这件事情发生的可能性的大小,是先验概率. 事情已经发生,要求这件事情发生的原因是由某个因素引起的可能性的大小,是后验概率. 一、先验概率是指根据以往经验和分析得到的概率，如全概率公式，它往往作为“由因求果”问题中的“因”出现。后验概率是指在得到“结果”的信息后重新修正的概率，如贝叶斯公式中的，是“执果寻因”问题中的“因”。先验概率与后验概率有不可分割的联系，后验概率的计算要以先验概率为基础。 二、A prior probability is a marginal probability, interpreted as a description of what is known about a variable in the absence of some evidence. The posterior probability is then the conditional probability of the variable taking the evidence into account. The posterior probability is computed from the prior and the likelihood function via Bayes' theorem. 三、先验概率与后验概率通俗释义 事情有N种发生的可能，我们不能控制结果的发生，或者影响结果的机理是我们不知道或是太复杂超过我们的运算能力。新发一个物种，到底是猫,还是小老虎呢（朱道元的经典例子）？是由于我们的无知才不能确定判断。 先验概率 ( Prior probability) 先验概率是在缺乏某个事实的情况下描述一个变量；而后验概率是在考虑了一个事实之后的条件概率。先验概率通常是经验丰富的专家的纯主观的估计。比如在法国大选中女候选罗雅尔的支持率 p,在进行民意调查之前, 可以先验概率来表达这个不确定性。
先验概率与后验概率的区别（老迷惑了） 此为Bayesian先生，敬仰吧，同志们！ 先验（A priori；又译：先天）在拉丁文中指“来自先前的东西”，或稍稍引申指“在经验之前”。近代西方传统中，认为先验指无需经验或先于经验获得的知识。它通常与后验知识相比较，后验意指“在经验之后”，需要经验。这一区分来自于中世纪逻辑所区分的两种论证，从原因到结果的论证称为“先验的”，而从结果到原因的论证称为“后验的”。 先验概率是指根据以往经验和分析得到的概率，如全概率公式 中的，它往往作为“由因求果”问题中的“因”出现。后验概 率是指在得到“结果”的信息后重新修正的概率，是“执果寻因”问题中的“因” 。后验概率是基于新的信息，修正原来的先验 概率后所获得的更接近实际情况的概率估计。先验概率和后验概
率是相对的。如果以后还有新的信息引入，更新了现在所谓的后验概率，得到了新的概率值，那么这个新的概率值被称为后验概率。 先验概率的分类： 利用过去历史资料计算得到的先验概率，称为客观先验概率；当历史资料无从取得或资料不完全时，凭人们的主观经验来判断而得到的先验概率，称为主观先验概率。 后验概率是指通过调查或其它方式获取新的附加信息，利用贝叶斯公式对先验概率进行修正，而后得到的概率。 先验概率和后验概率的区别： 先验概率不是根据有关自然状态的全部资料测定的，而只是利用现有的材料(主要是历史资料)计算的；后验概率使用了有关自然状态更加全面的资料，既有先验概率资料，也有补充资料； 先验概率的计算比较简单，没有使用贝叶斯公式；而后验概率的计算，要使用贝叶斯公式，而且在利用样本资料计算逻辑概率时，还要使用理论概率分布，需要更多的数理统计知识。
最大似然估计： 最大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。简单而言，假设我们要统计全国人口的身高，首先假设这个身高服从服从正态分布，但是该分布的均值与方差未知。我们没有人力与物力去统计全国每个人的身高，但是可以通过采样，获取部分人的身高，然后通过最大似然估计来获取上述假设中的正态分布的均值与方差。 最大似然估计中采样需满足一个很重要的假设，就是所有的采样都是独立同分布的。下面我们具体描述一下最大似然估计： 首先，假设为独立同分布的采样，θ为模型参数,f为我们所使用的模型，遵循我们上述的独立同分布假设。参数为θ的模型f产生上述采样可表示为 回到上面的“模型已定，参数未知”的说法，此时，我们已知的为，未知为θ，故似然定义为: 在实际应用中常用的是两边取对数，得到公式如下： 其中称为对数似然，而称为平均对数似然。而我们平时所称的最大似然为最大的对数平均似然，即：
举个别人博客中的例子，假如有一个罐子，里面有黑白两种颜色的球，数目多少不知，两种颜色的比例也不知。我们想知道罐中白球和黑球的比例，但我们不能把罐中的球全部拿出来数。现在我们可以每次任意从已经摇匀的罐中拿一个球出来，记录球的颜色，然后把拿出来的球再放回罐中。这个过程可以重复，我们可以用记录的球的颜色来估计罐中黑白球的比例。假如在前面的一百次重复记录中，有七十次是白球，请问罐中白球所占的比例最有可能是多少？很多人马上就有答案了：70%。而其后的理论支撑是什么呢？ 我们假设罐中白球的比例是p，那么黑球的比例就是1-p。因为每抽一个球出来，在记录颜色之后，我们把抽出的球放回了罐中并摇匀，所以每次抽出来的球的颜色服从同一独立分布。这里我们把一次抽出来球的颜色称为一次抽样。题目中在一百次抽样中，七十次是白球的概率是P(Data | M)，这里Data是所有的数据，M是所给出的模型，表示每次抽出来的球是白色的概率为p。如果第一抽样的结果记为x1，第二抽样的结果记为x2... 那么Data = (x1,x2,…,x100)。这样， P(Data | M) = P(x1,x2,…,x100|M) = P(x1|M)P(x2|M)…P(x100|M) = p^70(1-p)^30. 那么p在取什么值的时候，P(Data |M)的值最大呢？将p^70(1-p)^30对p求导，并其等于零。 70p^69(1-p)^30-p^70*30(1-p)^29=0。 解方程可以得到p=0.7。 在边界点p=0,1，P(Data|M)=0。所以当p=0.7时，P(Data|M)的值最大。这和我们常识中按抽样中的比例来计算的结果是一样的。 假如我们有一组连续变量的采样值（x1,x2,…,xn），我们知道这组数据服从正态分布，标准差已知。请问这个正态分布的期望值为多少时，产生这个已有数据的概率最大？ P(Data | M) = ？
第二章主观概率和先验分布 Subjective Probability and Prior Distribution 本章主要参考文献：60，52，上帝怎样掷骰子 §2-1 基本概念 一、概率（probability） 1. 频率 f n(A)==N a/N P (A)==lim f n(A)…古典概率的定义 n 2. Laplace在《概率的理论分析》(1812)中的定义 P(A)==k/N 式中，k为A所含基本事件数， N为基本事件总数 适用条件 1.基本事件有限 2.每个基本事件等可能 3.公理化定义 E是随机试验,S是E的样本空间,对E的每一事件A,对应有确定实数P(A),若满足: ①非负性：0≤P(A)≤1 ②规范性：P(S)=1 ③可列可加性：对两两不相容事件A k (k=1,2…) (A i∩A j=φ) P(∪A k)=∑P(A k) 则称P(A)为事件A发生的概率
二、主观概率(subjective probability, likelihood) 1. 为什么引入主观概率 。有的自然状态无法重复试验 如：明天是否下雨 新产品销路如何 明年国民经济增长率如何 能否考上博士生 。试验费用过于昂贵、代价过大 例：洲导弹命中率 战争中对敌方下一步行动的估计 2.主观概率定义：合理的信念的测度 某人对特定事件会发生的可能的度量。 即他相信(认为)事件将会发生的可能性大小的程度。 这种相信的程度是一种信念，是主观的，但又是根据经验、各方而后知识，对客观情况的了解进行分析、推理、综合判断而设定(Assignment)的，与主观臆测不同。 例：考博士生、掷硬币、抛图钉 三、概率的数学定义 对非空集Ω，元素ω，即Ω=｛ω｝，F是Ω的子集A所构成的σ-域(即Ω∈F； 若A∈F则A∈F； 若A i∈F i=1,2,…则∪A i∈F) 若P(A)是定在F上的实值集函数，它满足 ①非负性P(A)≥0 ②规范性P(Ω)=1
此为先生，敬仰吧，同志们！ 先验（；又译：先天）在拉丁文中指“来自先前地东西”，或稍稍引申指“在经验之前”.近代西方传统中，认为先验指无需经验或先于经验获得地知识.它通常与后验知识相比较，后验意指“在经验之后”，需要经验.这一区分来自于中世纪逻辑所区分地两种论证，从原因到结果地论证称为“先验地”，而从结果到原因地论证称为“后验地”.文档来自于网络搜索 先验概率是指根据以往经验和分析得到地概率，如全概率公式中地，它往往作为“由因求果”问题中地“因”出现.后验概率是指在得到“结果”地信息后重新修正地概率，是“执果寻因”问题中地“因” .后验概率是基于新地信息，修正原来地先验概率后所获得地更接近实际情况地概率估计.先验概率和后验概率是相对地.如果以后还有新地信息引入，更新了现在所谓地后验概率，得到了新地概率值，那么这个新地概率值被称为后验概率.文档来自于网络搜索 先验概率地分类： 利用过去历史资料计算得到地先验概率，称为客观先验概率； 当历史资料无从取得或资料不完全时，凭人们地主观经验来判断而得到地先验概率，称为主观先验概率. 后验概率是指通过调查或其它方式获取新地附加信息，利用贝叶斯公式对先验概率进行修正，而后得到地概率.文档来自于网络搜索 先验概率和后验概率地区别： 先验概率不是根据有关自然状态地全部资料测定地，而只是利用现有地材料(主要是历史资料)计算地；后验概率使用了有关自然状态更加全面地资料，既有先验概率资料，也有补充资料；文档来自于网络搜索 先验概率地计算比较简单，没有使用贝叶斯公式；而后验概率地计算，要使用贝叶斯公式，而且在利用样本资料计算逻辑概率时，还要使用理论概率分布，需要更多地数理统计知识.文档来自于网络搜索 先验概率与后验概率 "概率就是无知, 而不是事务本身是随机地". 事情有种发生地可能,我们不能控制结果地发生,或者影响结果地机理是我们不知道或是太复杂超过我们地运算能力. 新发一个物种, 到底是猫,还是小老虎
第三章先验分布的确定 3.1 主观概率 3.1.1概率的公理化定义 定义：设Ω为一个样本空间，F 为Ω的某些子集组成的一个事件域，如果对任一事件A ∈F ，定义在F 上一个实值函数P(A)满足下列条件： (1)非负性公理：对于每一事件A ，有P(A)≥0； (2)正则性(规范性)公理：P(Ω)=1； (3)可列可加性(完全可加性)公理：设A 1，A 2，…是互不相容的事件，即对于i≠j ，A i A j =?，i ，j=1，2，…，则有 11()()i i i i P A P A ∞∞ ===∑U 则称P （A ）为事件A 的概率(Probability)，称三元素(Ω，F ，P)为概率空间(Probability space)。 概率是定义在σ-域F 上的一个非负的、正则的、可列可加的集函数。 3.1.2主观概率 在经典统计中，概率是用三条公理定义的：1）非负性；2）正则性；3）可加性。概率确定方法有两种：1）古典方法；2）频率方法。 实际中大量使用的是频率方法，所以经典统计的研究对象是能大量重复的随机现象，不是这类随机现象就不能用频率的方法去确定其有关事件的概率。这无疑把统计学的应用和研究领域缩小了[1]。在经典统计中有一种习惯，对所得到的概率都要给出频率解释，这在有些场所是难于做出的。譬如，天气预报：“明天下雨的概率是0.8”。 贝叶斯统计中要使用先验信息，而先验信息主要是指经验和历史资料。因此如何用人们的经验和过去的历史资料确定概率和先验分布是贝叶斯学派要研究
的问题。 贝叶斯学派是完全同意概率的公理化定义，但认为概率也是可以用经验确定。这是与人们的实践活动一致。这就可以使不能重复或不能大量重复的随机现象也可谈及概率。同时也使人们积累的丰富经验得以概括和应用。 贝叶斯学派认为：一个事件的概率是人们根据经验对该事件发生可能性所给出个人信念。这样给出的概率称为主观概率。下面举几个例子：一个企业家认为“一项新产品在未来市场上畅销”的概率是0.8，这里的0.8是根据他自己多年的经验和当时一些市场信息综合而成的个人信念。 一位医生要对一位病人动手术，他认为成功的概率是0.9，这是他根据手术的难易程度和自己的手术经验而对“手术成功”所给出的把握程度。 这样的例子在我们生活，生产和经济活动中也是常遇见的，他们观察的主观概率绝不是随意的，而是要求当事人对所考察的事件有较透彻的了解和丰富的经验，甚至是这一行的专家。并能对周围信息和历史信息进行仔细分析，在这个基础上确定的主观概率就能符合实际。所以应把主观概率与主观臆造，瞎说一通区别开来。 主观概率要受到实践检验，要符合概率的三条公理，通过实践检验和公理验证，人们会接受其精华，去其糟粕。 主观概率是频率方法和经典方法的一种补充，有了主观概率至少使人们在频率观点不适用时也能谈论概率，使用概率和统计方法。 主观概率并不反对用频率方法确定概率，但也要看到它的局限性。 3.1.3 确定主观概率的方法 （1）用对立事件的比较来确定主观概率（最简单的方法） 例3.1 一位出版商要知道一本新书畅销（事件A）的概率是多少，以决定是否与作者签订出版合同。他在了解这本新书的内容后，根据他自己多年出书的经验认为该书畅销的可能性较大，畅销（A）比畅销（A）的可能性要高出一倍，即 P A=，即 +=，可以推得()2/3 P A P A P A P A ()2() =，由此根据概率的性质()()1
案例：基于后验概率的决策（贝叶斯公式） 背景：1948年，美国科学家香农发表了著名的论文《通信的数学理论》。世界上第一个给通信系统建立了数学模型。他认为通信系统由以下几个基本要素组成：信源、信道、编码、译码和干扰源。 信源指产生信息的来源。信道指传递信息的通道。将噪声统一为干扰源。编码是从消息到信号的函数，而译码是从信号到消息的函数。 因为信源发出什么消息是随机的，所以信源发出的消息可用随机变量来表示，于是可以用随机变量的分布律来描述信源。 信道由三个因素构成：输入信号，输出信号，以及输入信号与输出信号间的统计联系转移概律。转移概率一般用转移概率矩阵表示。 当信源发出某个消息后，由编码转变为信号，信号通过信道，因为信道中存在干扰，所以进入信道的是某个信号，从信道出来的可能不再是这个信号。那么自然我们要问，当接收到一个信号后，进入信道的信号是什么？ 建模：有一个通信系统，假设信源发射0、1两个状态信号（我们将编码过程省略），其中发0的概率为0.55，发1的概率为0.45。无论信源发送的是什么，接收端可能接收到的是0，1，或“不清”。它的转移概率矩阵为： ?? ????1.085.005.005.005.09.0当接收到一个“1”的信号时，我们该判断信源发出的是什么信号？ 分析: 利用贝叶斯公式求解， 设事件A 表示信源发出“0”的信号，A 表示信源发出“1”的信号，B 表示接收到一个“1”的信号。当发生后，分别计算事件B A 与事件A 的概率。 由贝叶斯公式： 067.0) |()()|()()|()()|(=+=B P P A B P A P A B P A P B A P 933.0|()()|()()|()()|(=+=B P P A B P A P A B P A P B A P 因为)|()|(B A P B A P <，即接收到信号“1”后，信源发出的是“0”的可能性比信源发出的是“1”的可能性小得多，所以我们应该判断信源发出的信号是“1”。 结论：可以利用后验概率的大小进行决策。
为了更好的理解后验分布我们来看一个例子 例1：为提高某产品的质量，公司经理考虑增加投资来改进生产设备，预计需投资90万元，但从投资效果上看下属两个部门有两种意见： 1θ：改进生产设备后，高质量产品可占90% 2θ：改进生产设备后，高质量产品可占70% 经理当然希望1θ发生，但根据两部门过去意见被采纳的情况，经理认 为40%第一个部门是可信度的，60%第二个部门是可信度，即随机变量投资结果过θ 的先验分布列为：()%401=θπ；()%602=θπ 这是经理的主管意见，经理不想仅用过去的经验来决策此事，想慎重一些，通过小规模实验，观察其结果后再定。为此做了一项实验，实验结果（记为A ）如下： A ：试制五个产品，全是高质量产品。 经理很高兴，希望通过这次结果来修正他原来对1θ和2θ的看法。下面 我们分别来求一下1θ和2θ的后验概率。 如今已有了()1θπ和()2θπ.还需要条件概率()1θA P 和()2θA P ,这可根据二项分布算的， ()590.09.051==θA P ；()168.07.052==θA P 由全概率公式可算的()()()()()337.02211=+=θπθθπθA P A P A P 最后由后验分布公式可求得： ()()()()7.0337.0/236.0/111===A P A P A θπθθπ ()()()()3.0337.0/01.1.0/222===A P A P A θπθθπ 这表明，纪理根据实验A 的信息调整了自己对投资结果的看法，把
对1θ和2θ的信任度由0.4,和0.6分别调整到了0.7和0.3。后者综合了 经理的主观概率和实验结果而获得，要比主观概率更具有吸引力，更贴近当前实际。当然经过实验A 后经理对投资改进质量的兴趣更大了，但如果为了进一步保险起见可以把这次得到的后验分布列再一次作为先验分布在做实验验证，结果将更贴近实际。 从上面这个例子中我们初步体验到了后验的求法，同时也能够看到贝叶斯统计的实用性。贝叶斯统计应用最做的是在决策方面，决策就是对一件事做出决定，它与统计推断的区别在于是否涉及到后果。统计推断依统计理论而进行，很少考虑到推断结果被使用时所带来的利润或造成的损失，这在决策中恰恰是不能忽略的。度量利损得失的尺度就是收益函数与损失函数，把收益函数和损失函数加入到贝叶斯推断就形成了贝叶斯决策论。 在这里首先明确几个概念 状态集{}θ=Θ，其中θ表示自然界（或社会）可能出现的一种状态，所有可能的状态的集合组成状态集。 行动集{}a =A ，其中每一个元素表示人对自然界可能采取的一个行动。 损失函数 ，在一个决策问题中假设状态集为{}θ=Θ，行动集为{}a =A ，定义在A ?Θ上的二元函数()a L ,θ称为损失函数，假如它能表示在自然界（或社会）处于状态θ，而人们采取行动a 对人们引起的（经济的）损失。 决策函数：在给定的贝叶斯决策问题中，从样本空间
先验概率、后验概率与似然估计 本文假设大家都知道什么叫条件概率了（P(A|B)表示在B事件发生的情况下，A事件发生的概率）。 先验概率和后验概率 教科书上的解释总是太绕了。其实举个例子大家就明白这两个东西了。 假设我们出门堵车的可能因素有两个（就是假设而已，别当真）：车辆太多和交通事故。堵车的概率就是先验概率。 那么如果我们出门之前我们听到新闻说今天路上出了个交通事故，那么我们想算一下堵车的概率，这个就叫做条件概率。也就是P(堵车|交通事故)。这是有因求果。 如果我们已经出了门，然后遇到了堵车，那么我们想算一下堵车时由交通事故引起的概率有多大， 那这个就叫做后验概率（也是条件概率，但是通常习惯这么说）。也就是P(交通事故|堵车)。这是有果求因。 下面的定义摘自百度百科： 先验概率是指根据以往经验和分析得到的概率,如全概率公式,它往往作为"由因求果"问题中的"因"出现. 后验概率是指依据得到"结果"信息所计算出的最有可能是那种事件发生,如贝叶斯公式中的,是"执果寻因"问题中的"因". 那么这两个概念有什么用呢？ 最大似然估计 我们来看一个例子。 有一天，有个病人到医院看病。他告诉医生说自己头痛，然后医生根据自己的经验判断出他是感冒了，然后给他开了些药回去吃。 有人肯定要问了，这个例子看起来跟我们要讲的最大似然估计有啥关系啊。 关系可大了，事实上医生在不知不觉中就用到了最大似然估计（虽然有点牵强，但大家就勉为其难地接受吧^_^）。 怎么说呢？ 大家知道，头痛的原因有很多种啊，比如感冒，中风，脑溢血...（脑残>_<这个我可不知道会不会头痛，还有那些看到难题就头痛的病人也不在讨论范围啊！）。 那么医生凭什么说那个病人就是感冒呢？哦，医生说这是我从医多年的经验啊。 咱们从概率的角度来研究一下这个问题。 其实医生的大脑是这么工作的， 他计算了一下 P(感冒|头痛)（头痛由感冒引起的概率，下面类似） P(中风|头痛) P(脑溢血|头痛) ... 然后这个计算机大脑发现，P(感冒|头痛)是最大的，因此就认为呢，病人是感冒了。看到了吗？这个就叫最大似然估计（Maximum likelihood estimation，MLE）。 咱们再思考一下，P(感冒|头痛)，P(中风|头痛)，P(脑溢血|头痛)是先验概率还是后验概率呢？ 没错，就是后验概率。看到了吧，后验概率可以用来看病（只要你算得出来，呵呵）。 事实上，后验概率起了这样一个用途，根据一些发生的事实（通常是坏的结果），分析结果产生的最可能的原因，然后才能有针对性地去解决问题。
后验概率 在贝叶斯统计中，一个随机事件或者一个不确定事件的后验概率是在考虑和给出相关证据或数据后所得到的条件概率。 在一个通信系统中,在收到某个消息之后,接收端所了解到的该消息发送的概率 称为后验概率. 先验概率与后验概率有不可分割的联系,后验概率的计算要 以先验概率为基础. 实例 假设一个学校裡有60％男生和40%女生。女生穿裤子的人数和穿裙子的人数相等，所有男生穿裤子。一个人在远处随机看到了一个穿裤子的学生。那么这个学生是女生的概率是多少？ 使用贝叶斯定理，事件A是看到女生，事件B是看到一个穿裤子的学生。我们所要计算的是P(A|B)。 P(A)是忽略其它因素，看到女生的概率，在这里是40% P(A')是忽略其它因素，看到不是女生（即看到男生）的概率，在这里是60% P(B|A)是女生穿裤子的概率，在这里是50% P(B|A')是男生穿裤子的概率，在这里是100% P(B)是忽略其它因素，学生穿裤子的概率，P(B) = P(B|A)P(A) + P(B|A')P(A')，在这里是0.5×0.4 + 1×0.6 = 0.8. 根据贝叶斯定理，我们计算出后验概率P(A|B) 先验概率 先验概率是指根据以往经验和分析得到的概率,如全概率公式,它往往作为"由因求果"问题中的"因"出现.
先验概率的分类 利用过去历史资料计算得到的先验概率，称为客观先验概率； 当历史资料无从取得或资料不完全时，凭人们的主观经验来判断而得到的先验概率，称为主观先验概率。 先验概率的条件 先验概率是通过古典概率模型加以定义的，故又称为古典概率。古典概率模型要求满足两个条件：(1)试验的所有可能结果是有限的;(2)每一种可能结果出现的可能性(概率)相等。若所有可能结果的总数为n，随机事件A包括m个可能结果。 编辑本段先验概率与后验概率的区别 先验概率不是根据有关自然状态的全部资料测定的，而只是利用现有的材料(主要是历史资料)计算的；后验概率使用了有关自然状态更加全面的资料，既有先验概率资料，也有补充资料； 先验概率的计算比较简单，没有使用贝叶斯公式；而后验概率的计算，要使用贝叶斯公式，而且在利用样本资料计算逻辑概率时，还要使用理论概率分布，需要更多的数理统计知识。 先验概率是指根据以往经验和分析得到的概率,如全概率公式,它往往作为”由因求果”问题中的”因”出现. 例子: 你来到一个山洞,这个山洞里可能有熊也可能没有熊, 记你觉得山洞有熊的为事件Y. 然后,你也许听到山洞里传来熊的吼声, 记听到熊吼声为事件X. 你一开始认为山洞有熊的概率是P(Y); 听到熊的吼声之后,你认为有熊的概率是P(Y|X). 很明显,在这个例子里面P(Y|X)>P(Y), P(Y)就是先验概率,P(Y|X)是后验概率. 1.贝叶斯法则 机器学习的任务：在给定训练数据D时，确定假设空间H中的最佳假设。 最佳假设：一种方法是把它定义为在给定数据D以及H中不同假设的先验概率的有关知识下的最可能假设。贝叶斯理论提供了一种计算假设概率的方法，基于假设的先验概率、给定假设下观察到不同数据的概率以及观察到的数据本身。
1.贝叶斯法则 机器学习的任务：在给定训练数据D时，确定假设空间H中的最佳假设。 最佳假设：一种方法是把它定义为在给定数据D以及H中不同假设的先验概率的有关知识下的最可能假设。贝叶斯理论提供了一种计算假设概率的方法，基于假设的先验概率、给定假设下观察到不同数据的概率以及观察到的数据本身。 2.先验概率和后验概率 用P(h)表示在没有训练数据前假设h拥有的初始概率。P(h)被称为h 的先验概率。先验概率反映了关于h是一正确假设的机会的背景知识如果没有这一先验知识，可以简单地将每一候选假设赋予相同的先验概率。类似地，P(D)表示训练数据D的先验概率，P(D|h)表示假设h 成立时D的概率。机器学习中，我们关心的是P(h|D)，即给定D时h 的成立的概率，称为h的后验概率。 3.贝叶斯公式 贝叶斯公式提供了从先验概率P(h)、P(D)和P(D|h)计算后验概率P(h|D)
的方法 p(h|D)=P(D|H)*P(H)/P(D) P(h|D)随着P(h)和P(D|h)的增长而增长，随着P(D)的增长而减少，即如果D独立于h时被观察到的可能性越大，那么D对h的支持度越小。 4.极大后验假设 学习器在候选假设集合H中寻找给定数据D时可能性最大的假设h，h被称为极大后验假设（MAP）确定MAP的方法是用贝叶斯公式计算每个候选假设的后验概率，计算式如下: h_map=argmax P(h|D)=argmax (P(D|h)*P(h))/P(D)=argmax P(D|h)*p(h) (h属于集合H) 最后一步，去掉了P(D)，因为它是不依赖于h的常量。 5.极大似然假设 在某些情况下，可假定H中每个假设有相同的先验概率，这样式子