Latent dirichlet allocation note By: Zhou Li (smzlkimi@https://www.doczj.com/doc/f62824519.html,) Blog: https://www.doczj.com/doc/f62824519.html, Code&Doc: https://www.doczj.com/doc/f62824519.html,/p/lsa-lda/ July 31, 2009 1 基础知识：贝叶斯统计 假设有两个箱子，每个箱子装了8个球，A箱子3个红球5个白球，B箱子6个红球2个白球。如果问从A箱子摸出一个红球的概率，那么答案是3/8，如果问从B箱子摸出一个白球的概率，那么为2/8。这样的正向推理很简单。但是如果问摸出一个红球，它是从A箱子中摸出的概率是多少，这又如何求呢？贝叶斯方法正是用来求这种”逆”概率。 P(X,Y)表示X,Y的联合概率，有如下公式P(X,Y)=P(Y|X)P(X)，由于P(X,Y)=P(Y,X)，于是我们得到P(Y|X)P(X)=P(X|Y)P(Y)，将左边P(X)移到右边得到： 这就是贝叶斯公式，其中P(Y|X)称为后验分布，P(X)称为先验分布，P(X|Y)称为似然函数。贝叶斯问题的详细描述可以参考Pattern Recognition and Machine Learning[1].该书第一章对 贝叶斯方法做了详细的解释。 下面讨论一个概率问题，一对夫妇有两个孩子，已知其中一个是男孩，问另一个也是男孩的概率？ 令A=另一个也是男孩B=已知其中一个是男孩 由贝叶斯：P(A|B) = P(B|A)P(A)/P(B) 其中P(B|A) = 1 ，因为另一个也是男孩，表示两个都是男孩。 P(A) = 0.25 即如果有两个孩子，两个都是男孩的概率0.25 P(B) = 0.75 即如果有两个孩子，那么其中一个是男孩的概率为0.75 因此P(A|B) = 1*0.25/0.75=1/3 1.1 基础知识：Dirichlet distribution 假设我们在和一个不老实的人玩掷骰子游戏。按常理我们觉得骰子每一面出现的几率都是 1/6，但是掷骰子的人连续掷出6，这让我们觉得骰子被做了手脚，而这个骰子出现6的几率更高。而我们又不确定这个骰子出现6的概率到底是多少，所以我们猜测有50%的概率是：6出现的概率2/7，其它各面1/7；有25%的概率是：6出现的概率3/8，其它各面1/8；还有25%的概率是：每个面出现的概率都为1/6，也就是那个人没有作弊，走运而已。用图表表示如下：
上海电力学院 选修课大型作业 课程名称：机电系统可靠性与安全性设计报告名称：串并联可靠性模型的应用及举例院系：能源与机械工程学院 专业年级：动力机械140101 学生姓名：潘广德 学号：14101055 任课教师：张建平教授 2015年4月28日
浅谈串并联可靠性模型的应用并举例 摘要 详细阐述了机械可靠性工程中串并联可靠性模型的应用，并详细的举例说明。系统可靠性与组成单元的数量、单元可靠性以及单元之间的相互联接关系有关。以便于可靠性检测，首先讨论了各单元在系统中的相互关系。在可靠性工程中，常用可靠性系统逻辑图表示系统各单元之间的功能可靠性关系。在可靠性预测中串并联的应用及其广泛。必须指出，这里所说的组件相互关系主要是指功能关系，而不是组件之间的结构装配关系。 关键词：机械可靠性串联并联混联应用举例 0前言 学技术的发展，产品质量的含义也在不断的扩充。以前产品的质量主要是指产品的性能，即产品出厂时的性能质量，而现在产品的质量已不仅仅局限于产品的性能这一指标。目前，产品质量的定义是：满足使用要求所具备的特性，即适用性。这表明产品的质量首先是指产品的某种特性，这种特性反应这用户的某种需求。概括起来，产品质量特性包括：性能、可靠性、经济性和安全性四个方面。性能是产品的技术指标，是出厂时产品应具有的质量属性，显然能出厂的产品就赢具备性能指标；可靠性是产品出厂后所表现出来的一种质量特性，是产品性能的延伸和扩展；经济性是在确定的性能和可靠性水平下的总成本，包括购置成本和使用成本两部分；安全性则是产品在流通和使用过程中保证安全的程度。在上述产品特性所包含的四个方面中，可靠性占主导地位。性能差，产品实际上是废品；性能好，也并不能保证产品可靠性水平高。反之，可靠性水平高的产品在使用中不但能保证其性能实现，而且故障发生的次数少，维修费用及因故障造成的损失也少，安全性也随之提高。由此可见，产品的可靠性是产品质量的核心，是生产厂家和广大用户所努力追求的目标。 1串联系统可靠性模型的工作原理 如果一个系统中的单元中只要有一个失效该系统就失效，则这种系统成为串联系统。或者说，只有当所有单元都正常工作时，系统才能正常工作的系统称为串联系统。 设系统正常工作时间（寿命）这一随机变量为t，则在串联系统中，要使系统能正常工作运行，就必须要求每一个单元都能正常工作，且要求每一单元的正常工作时间都大于系统正常工作时间t。假设各个单元的失效时间是相互独立的，按照概率的乘法定理和可靠性定
第一章 先验分布与后验分布 1.1 解：令120.1,0.2θθ== 设A 为从产品中随机取出8个，有2个不合格，则 2 2618()0.10.90.1488P A C θ== 22628()0.20.80.2936P A C θ== 从而有 1111122()() ()0.4582()()()() P A A P A P A θπθπθθπθθπθ==+ 2221122()() ()0.5418()()()() P A A P A P A θπθπθθπθθπθ= =+ 1.2 解：令121, 1.5λλ== 设X 为一卷磁带上的缺陷数，则()X P λ ∴3(3)3! e P X λ λλ-== 1122(3)(3)()(3)()0.0998P X P X P X λπλλπλ∴===+== 从而有 111222(3)() (3)0.2457 (3)(3)() (3)0.7543 (3) P X X P X P X X P X λπλπλλπλπλ========== 1.3 解：设A 为从产品中随机取出8个，有3个不合格，则 33 58()(1)P A C θθθ=- （1） 由题意知 ()1,01πθθ=<< 从而有 351 ()() ()504(1),01()()P A A P A d θπθπθθθθθπθθ = =-<
1 (),102010πθθ= << 11.611.51()0.0110 m x d θ==? 从而有 ()()()10,11.511.6() P x x m x θπθπθθ==<< 1.6 证明：设随机变量()X P λ ，λ的先验分布为(,)Ga αβ，其中,αβ为已知，则 (),0 ! x e P x x λ λλλ-= > 1(),0 () e ααβλ βπλλλα--=>Γ 因此 11(1) ()()()x x x P x e e e λαβλαβλπλλπλλλλ---+--+∝?∝= 所以 (,1) x G a x λαβ++ 1.7 解：（1）由题意可知 ()1,01πθθ=<< 因此 1 2 2()12(1)x x m x d x θθ =?=-? 因此 2()()1(),1 ()1P x x x x m x x θπθπθθθ==<<- （2） 由题意可知 1 22 2()36x m x d x θθθ=?=? 因此 ()() ()1,01 () P x x m x θπθπθθ= =<< 1.8 解：设A 为100个产品中3个不合格，则 3 397100()(1)P A C θθθ=- 由题意可知 199(202) ()(1),01(200) πθθθθΓ= -≤≤Γ 因此 3971994296()()()(1)(1)(1)A P A πθθπθθθθθθθ∝?∝--=- 由上可知 (5,297)A Be θ
系统可靠性建模与预计某型欠压保护电路的建模
一．课程设计目标 1．复习可靠性建模和预计的理论方法； 2．基本掌握工程实例可靠性建模和预计过程； 3．明白任务可靠性建模与任务之间的相关性； 二．课程设计内容 1.课程设计原理： 某型电源的欠压保护电路 图1 欠压保护电路 电路原理： a.当该型电源电压正常时，系统电源电压信号Vi较高，二极管P2截止，VB > VC，运放Y输出为高电平，晶体管T导通，继电器J吸合，V0为低电平； b.当该型电源电压欠压时，系统电源电压信号Vi较低，相应的二极管P2导通，将B点电位箝位，VB< VC，运放Y输出为低电平，晶体管T截止，继电器J释放，V0为高电平。 该型电源正常时，输出V0为低电平，继电器J吸合； 电源欠压时，输出V0为高电平，继电器J释放，引起整机跳闸。 2.课程设计内容： a.建立欠压保护电路的基本可靠性框图。
b.针对误动故障和拒动故障，任选一种情况作为任务故障进行分析，建立欠压保护电路的任务可靠性框图。 c.预计欠压保护电路的MTBF。 d.根据建立的任务可靠性框图预计欠压保护电路的MTBCF。 条件说明: 以电路图中的元器件作为基本单元（方框）建立基本可靠性框图。 以电路图中的元器件及其特定故障模式作为基本单元（方框）建立任务可靠性框图 三．课程设计 1.建立基本可靠性框图 基本可靠性框图：用以估计产品及其组成单元故障引起的维修及保障要求的可靠性模型。系统中任一单元（包括储备单元）发生故障后，都需要维修或更换，都会产生维修及保障要求，故而也可把它看作度量使用费用的一种模型。基本可靠性模型是一个全串联模型，即使存在冗余单元，也按串联处理。 由此可得欠压保护电路的基本可靠性框图如图所示： 图2 基本可靠性框图 2.建立任务可靠性框图 任务可靠性框图：用以估计产品在执行任务过程中完成规定功能的程度，描述完
【最新整理，下载后即可编辑】 软件可靠性模型综述 可靠性是衡量所有软件系统最重要的特征之一。不可靠的软件会让用户付出更多的时间和金钱, 也会使开发人员名誉扫地。IEEE 把软件可靠性定义为在规定条件下, 在规定时间内, 软件不发生失效的概率。该概率是软件输入和系统输出的函数, 也是软件中存在故障的函数, 输入将确定是否会遇到所存在的故障。 软件可靠性模型，对于软件可靠性的评估起着核心作用，从而对软件质量的保证有着重要的意义。一般说来，一个好的软件可靠性模型可以增加关于开发项目的效率，并对了解软件开发过程提供了一个共同的工作基础，同时也增加了管理的透明度。因此，对于如今发展迅速的软件产业，在开发项目中应用一个好的软件可靠性模型作出必要的预测，花费极少的项目资源产生好的效益，对于企业的发展有一定的意义。 1软件失效过程 1.1软件失效的定义及机理 当软件发生失效时，说明该软件不可靠，发生的失效数越多，发生失效的时间间隔越短，则该软件越不可靠。软件失效的机理如下图所示：
1）软件错误（Software error）：指在开发人员在软件开发过程中出现的失误，疏忽和错误，包括启动错、输入范围错、算法错和边界错等。 2）软件缺陷（Software defect）：指代码中存在能引起软件故障的编码，软件缺陷是静态存在的，只要不修改程序就一直留在程序当中。如不正确的功能需求，遗漏的性能需求等。 3）软件故障（Software fault）：指软件在运行期间发生的一种不可接受的内部状态，是软件缺陷被激活后的动态表现形式。 4）软件失效（Software failure）：指程序的运行偏离了需求，软件执行遇到软件中缺陷可能导致软件的失效。如死机、错误的输出结果、没有在规定的时间内响应等。 从软件可靠性的定义可以知道，软件可靠性是用概率度量的，那么软件失效的发生是一个随机的过程。在使用一个程序时，在其他条件保持一致的前提下，有时候相同的输入数据会得到不同的输出结果。因此，在实际运行软件时，何时遇到程序中的缺陷导致软件失效呈现出随机性和不稳定性。 所有的软件失效都是由于软件中的故障引起的，而软件故障是一种人为的错误，是软件缺陷在不断的测试和使用后才表现出来的，如果这些故障不能得到及时有效的处理，便不可避免的会
LDA(主题模型)算法 &&概念： 首先引入主题模型(Topic Model)。何谓“主题”呢？望文生义就知道是什么意思了，就是诸如一篇文章、一段话、一个句子所表达的中心思想。不过从统计模型的角度来说，我们是用一个特定的词频分布来刻画主题的，并认为一篇文章、一段话、一个句子是从一个概率模型中生成的。 LDA可以用来识别大规模文档集（document collection）或语料库（corpus）中潜藏的主题信息。它采用了词袋（bag of words）的方法，这种方法将每一篇文档视为一个词频向量，从而将文本信息转化为易于建模的数字信息。 LDA(Latent Dirichlet Allocation)是一种文档主题生成模型，也称为一个三层贝叶斯概率模型，包含词、主题和文档三层结构。所谓生 注：每一篇文档代表了一些主题所构成的一个概率分布，而每一个主题又代表了很多单词所构成的一个概率分布。 备注： 流程（概率分布）：→→ 许多（单）词某些主题一篇文档 /**解释：LDA生成过程 *对于语料库中的每篇文档，LDA定义了如下生成过程(generativeprocess): *1.对每一篇文档，从主题分布中抽取一个主题; *2.从上述被抽到的主题所对应的单词分布中抽取一个单词; *3.重复上述过程直至遍历文档中的每一个单词。 **/ 把各个主题z在文档d中出现的概率分布称之为主题分布，且是一个多项分布。把各个词语w在主题z下出现的概率分布称之为词分布，这个词分布也是一个多项分布。
&&深入学习： 理解LDA，可以分为下述5个步骤： 1.一个函数：gamma函数 2.四个分布：二项分布、多项分布、beta分布、Dirichlet分布 3.一个概念和一个理念：共轭先验和贝叶斯框架 4.两个模型：pLSA、LDA（在本文第4 部分阐述） 5.一个采样：Gibbs采样 本文便按照上述5个步骤来阐述，希望读者看完本文后，能对LDA有个尽量清晰完整的了解。同时，本文基于邹博讲LDA的PPT、rickjin的LDA数学八卦及其它参考资料写就，可以定义为一篇学习笔记或课程笔记，当然，后续不断加入了很多自己的理解。若有任何问题，欢迎随时于本文评论下指出，thanks。 1 gamma函数 整体把握LDA 关于LDA有两种含义，一种是线性判别分析（Linear Discriminant Analysis），一种是概率主题模型：隐含狄利克雷分布（Latent Dirichlet Allocation，简称LDA），本文讲后者（前者会在后面的博客中阐述）。 另外，我先简单说下LDA的整体思想，不然我怕你看了半天，铺了太长的前奏，却依然因没见到LDA的影子而显得“心浮气躁”，导致不想再继续看下去。所以，先给你吃一颗定心丸，明白整体框架后，咱们再一步步抽丝剥茧，展开来论述。 按照wiki上的介绍，LDA由Blei, David M.、Ng, Andrew Y.、Jordan于2003年提出，是一种主题模型，它可以将文档集中每篇文档的主题以概率分布的形式给出，从而通过分析一些文档抽取出它们的主题（分布）出来后，便可以根据主题（分布）进行主题聚类或文本分类。同时，它是一种典型的词袋模型，即一篇文档是由一组词构成，词与词之间没有先后顺序的关系。此外，一篇文档可以包含多个主题，文档中每一个词都由其中的一个主题生成。 LDA的这三位作者在原始论文中给了一个简单的例子。比如假设事先给定了这几个主题：Arts、Budgets、Children、Education，然后通过学习的方式，获取每个主题Topic对应的词语。如下图所示：
软件可靠性模型综述 可靠性是衡量所有软件系统最重要的特征之一。不可靠的软件会让用户付出更多的时间和金钱, 也会使开发人员名誉扫地。IEEE 把软件可靠性定义为在规定条件下, 在规定时间, 软件不发生失效的概率。该概率是软件输入和系统输出的函数, 也是软件中存在故障的函数, 输入将确定是否会遇到所存在的故障。 软件可靠性模型，对于软件可靠性的评估起着核心作用，从而对软件质量的保证有着重要的意义。一般说来，一个好的软件可靠性模型可以增加关于开发项目的效率，并对了解软件开发过程提供了一个共同的工作基础，同时也增加了管理的透明度。因此，对于如今发展迅速的软件产业，在开发项目中应用一个好的软件可靠性模型作出必要的预测，花费极少的项目资源产生好的效益，对于企业的发展有一定的意义。 1软件失效过程 1.1软件失效的定义及机理 当软件发生失效时，说明该软件不可靠，发生的失效数越多，发生失效的时间间隔越短，则该软件越不可靠。软件失效的机理如下图所示： 1）软件错误（Software error）：指在开发人员在软件开发过程中出现的失误，疏忽和错误，包括启动错、输入围错、算法错和边界错等。 2）软件缺陷（Software defect）：指代码中存在能引起软件故障的编码，软件缺陷是静态存在的，只要不修改程序就一直留在程序当中。如不正确的功能需求，遗漏的性能需求等。3）软件故障（Software fault）：指软件在运行期间发生的一种不可接受的部状态，是软件缺陷被激活后的动态表现形式。 4）软件失效（Software failure）：指程序的运行偏离了需求，软件执行遇到软件中缺陷可能导致软件的失效。如死机、错误的输出结果、没有在规定的时间响应等。
1先验分布服从伽马-逆伽马分布 1：取形状参数先验分布为伽马分布： )exp() (),(~)(1 bm m a b b a Ga m a a -= -Γπ， 其中a 为形状参数，b 为尺度参数。 2:尺度参数的先验分布为逆伽马分布： ??? ? ??- ??? ? ??=+ηη ηπv u v v u IGa u u exp 1 )(),(~)(1 Γ， 其中u 为形状参数，v 为尺度参数。 则两参数的联合验前分布为： ??? ? ??- ???? ??? -= ?=+-ηηηπv u v bm m a b v u IGa b a Ga m u u a a exp 1)()exp() (),(),(),(1 1 ΓΓ )(?Γ为伽马函数： dx e x a x a -∞+-? = 1 )(Γ 0>a 2 超参数确定方法 上面给出的先验分布中，除了两参数数都取无信息先验分布，其它先验分布都含有未知的超参数。超参数可以根据经验专家给出，但是更多的时候要利用先验数据确定。通常利用先验矩可以确定超参数。这时，首先要获得参数θ(对于Weibull 而言，就是m 和η）的样本，然后才能去估计参数的样本矩。然而，已知的先验数据与参数的样本并没有明显的对应关系。在工程应用中，常用自助法（Bootstrap ）获得参数的样本。自助法的核心是利用自助样本（或称为再生样本）来估计未知概率测度的某种统计量的统计特性。设),,(21n t t t T ???=是得到的一组数控系统无故障工作时间样本。通过其运用自助法便可获得m 和η的样本。具体步骤如下： 1）对),,(21n t t t T ???=进行有放回抽样，可得到自助样本； 2）利用自助样本),,(* *2*1*n t t t T ???=进行最大似然估计，得到m ?，η?； 3）重复上述两个步骤N 次，得到估计参数样本)}?,?(,),?,?(),?,?{(2211N N m m m ηηη???； 4）利用得到的估计参数样本即可求未知参数m ,η的期望和方差。 通过得到的N 组参数样本，分别计算其期望与方差，可以得到验前分布的超参数。当假设先验分布为二元正态时： ∑ == N i i m m N 1 ?1μ，∑ ==N i i N 1 ?1ημη，∑=--= N i m i m m N 1 2 2 ?1 1）（μσ，
先验概率、后验概率及全概率公式、贝叶斯公式2011-11-15 16:04:24| 分类：数理统计|举报|字号订阅 先验概率与后验概率 事情还没有发生,要求这件事情发生的可能性的大小,是先验概率. 事情已经发生,要求这件事情发生的原因是由某个因素引起的可能性的大小,是后验概率. 一、先验概率是指根据以往经验和分析得到的概率，如全概率公式，它往往作为“由因求果”问题中的“因”出现。后验概率是指在得到“结果”的信息后重新修正的概率，如贝叶斯公式中的，是“执果寻因”问题中的“因”。先验概率与后验概率有不可分割的联系，后验概率的计算要以先验概率为基础。 二、A prior probability is a marginal probability, interpreted as a description of what is known about a variable in the absence of some evidence. The posterior probability is then the conditional probability of the variable taking the evidence into account. The posterior probability is computed from the prior and the likelihood function via Bayes' theorem. 三、先验概率与后验概率通俗释义 事情有N种发生的可能，我们不能控制结果的发生，或者影响结果的机理是我们不知道或是太复杂超过我们的运算能力。新发一个物种，到底是猫,还是小老虎呢（朱道元的经典例子）？是由于我们的无知才不能确定判断。 先验概率 ( Prior probability) 先验概率是在缺乏某个事实的情况下描述一个变量；而后验概率是在考虑了一个事实之后的条件概率。先验概率通常是经验丰富的专家的纯主观的估计。比如在法国大选中女候选罗雅尔的支持率 p,在进行民意调查之前, 可以先验概率来表达这个不确定性。
软件可靠性建模 1模型概述 1.1软件可靠性的定义 1983年美国IEEE计算机学会对“软件可靠性”作出了明确定义，此后该定义被美国标准化研究所接受为国家标准，1989年我国也接受该定义为国家标准。该定义包括两方面的含义： （1）在规定的条件下，在规定的时间内，软件不引起系统失效的概率； （2）在规定的时间周期内，在所述条件下程序执行所要求的功能的能力； 其中的概率是系统输入和系统使用的函数，也是软件中存在的故障的函数，系统输入将确定是否会遇到已存在的故障（如果故障存在的话）。 软件失效的根本原因在于程序中存在着缺陷和错误，软件失效的产生与软件本身特性、人为因素、软件工程管理都密切相关。影响软件可靠性的主要因素有软件自身特性、人为因素、软件工程管理等，这些因素具体还可分为环境因素、软件是否严密、软件复杂程度、软件是否易于用户理解、软件测试、软件的排错与纠正以及软件可靠性工程技术研究水平与应用能力等诸多方面。 1.2软件可靠性建模思想 建立软件可靠性模型旨在根据软件可靠性相关测试数据，运用统计方法得出软件可靠性的预测值或估计值，下图给出了软件可靠性建模的基本思想。
图软件可靠性建模基本思想 从图中可以看出软件失效总体来说随着故障的检出和排除而逐渐降低，在任意给定的时间，能够观测到软件失效的历史。软件可靠性建模的目标如下：（1）预测软件系统达到预期目标所还需要的资源开销及测试时间；（2）预测测试结束后系统的期望可靠性。1.3软件可靠性建模基本问题 软件可靠性建模需要考虑以下基本问题： （1）模型建立 模型建立指的是怎样去建立软件可靠性模型。一方面是考虑模型建立的角度，例如从时间域角度、数据域角度、将软件失效时刻作为建模对象，还可以将一定时间内软件故障数作为建模对象；另一方面是考虑运用的数学语言，例如概率语言。 （2）模型比较 在软件可靠性模型分类的基础上，对不同的模型分析比较，并对模型的有效性、适用性、简洁性等进行综合权衡，从而确定出模型的适用范围。 （3）模型应用 软件可靠性模型的应用需要从以下两方面考虑：一是给定了软件的开发计划，如何选择适当的模型；二是给定了软件可靠性模型，如何指导软件可靠性工程实践。 软件系统的失效历史可以通过对测试得到的失效数据分析获得，而实际情况中，人们最为关注的是软件未来的失效趋势。软件可靠性模型基本都是建立在一定的假设基础之上，所以，即使花费了大量的时间和精力对软件的可靠性进行预计，也只是一种预测，这
先验概率与后验概率的区别（老迷惑了） 此为Bayesian先生，敬仰吧，同志们！ 先验（A priori；又译：先天）在拉丁文中指“来自先前的东西”，或稍稍引申指“在经验之前”。近代西方传统中，认为先验指无需经验或先于经验获得的知识。它通常与后验知识相比较，后验意指“在经验之后”，需要经验。这一区分来自于中世纪逻辑所区分的两种论证，从原因到结果的论证称为“先验的”，而从结果到原因的论证称为“后验的”。 先验概率是指根据以往经验和分析得到的概率，如全概率公式 中的，它往往作为“由因求果”问题中的“因”出现。后验概 率是指在得到“结果”的信息后重新修正的概率，是“执果寻因”问题中的“因” 。后验概率是基于新的信息，修正原来的先验 概率后所获得的更接近实际情况的概率估计。先验概率和后验概
率是相对的。如果以后还有新的信息引入，更新了现在所谓的后验概率，得到了新的概率值，那么这个新的概率值被称为后验概率。 先验概率的分类： 利用过去历史资料计算得到的先验概率，称为客观先验概率；当历史资料无从取得或资料不完全时，凭人们的主观经验来判断而得到的先验概率，称为主观先验概率。 后验概率是指通过调查或其它方式获取新的附加信息，利用贝叶斯公式对先验概率进行修正，而后得到的概率。 先验概率和后验概率的区别： 先验概率不是根据有关自然状态的全部资料测定的，而只是利用现有的材料(主要是历史资料)计算的；后验概率使用了有关自然状态更加全面的资料，既有先验概率资料，也有补充资料； 先验概率的计算比较简单，没有使用贝叶斯公式；而后验概率的计算，要使用贝叶斯公式，而且在利用样本资料计算逻辑概率时，还要使用理论概率分布，需要更多的数理统计知识。
第二章主观概率和先验分布 Subjective Probability and Prior Distribution 本章主要参考文献：60，52，上帝怎样掷骰子 §2-1 基本概念 一、概率（probability） 1. 频率 f n(A)==N a/N P (A)==lim f n(A)…古典概率的定义 n 2. Laplace在《概率的理论分析》(1812)中的定义 P(A)==k/N 式中，k为A所含基本事件数， N为基本事件总数 适用条件 1.基本事件有限 2.每个基本事件等可能 3.公理化定义 E是随机试验,S是E的样本空间,对E的每一事件A,对应有确定实数P(A),若满足: ①非负性：0≤P(A)≤1 ②规范性：P(S)=1 ③可列可加性：对两两不相容事件A k (k=1,2…) (A i∩A j=φ) P(∪A k)=∑P(A k) 则称P(A)为事件A发生的概率
二、主观概率(subjective probability, likelihood) 1. 为什么引入主观概率 。有的自然状态无法重复试验 如：明天是否下雨 新产品销路如何 明年国民经济增长率如何 能否考上博士生 。试验费用过于昂贵、代价过大 例：洲导弹命中率 战争中对敌方下一步行动的估计 2.主观概率定义：合理的信念的测度 某人对特定事件会发生的可能的度量。 即他相信(认为)事件将会发生的可能性大小的程度。 这种相信的程度是一种信念，是主观的，但又是根据经验、各方而后知识，对客观情况的了解进行分析、推理、综合判断而设定(Assignment)的，与主观臆测不同。 例：考博士生、掷硬币、抛图钉 三、概率的数学定义 对非空集Ω，元素ω，即Ω=｛ω｝，F是Ω的子集A所构成的σ-域(即Ω∈F； 若A∈F则A∈F； 若A i∈F i=1,2,…则∪A i∈F) 若P(A)是定在F上的实值集函数，它满足 ①非负性P(A)≥0 ②规范性P(Ω)=1
2009-12-30 Latent Dirichlet Allocation - [paper] 版权声明：转载时请以超链接形式标明文章原始出处和作者信息及本声明 https://www.doczj.com/doc/f62824519.html,/logs/55583713.html zz 自https://www.doczj.com/doc/f62824519.html,/wForum/boardcon.php?bid=298&id=2530&ftype=6 发信人: hmily821224 (笨笨猫), 信区: PR_AI 标题: [导读]文本处理、图像标注中的一篇重要论文Latent Dirichlet Allocation 发信站: 北邮人论坛 (Tue Jul 1 21:56:16 2008), 站内 [论文导读][教程][介绍]文本处理、图像标注中的一篇重要论文Latent Dirichlet Allocation 原文信息 Latent Dirichlet Allocation David.M.Blei Andrew.Y.Ng Michael.I.Jordan JMLR2003 （可google到） 原文的主要内容
有两种方法设计分类器： 1. discriminative model，就是由样本直接设计判别函数，例如SVM； 2. generative model，就是先从样本恢复概率模型——例如我们熟悉的参数方法：混合高斯模型GMM;非参数方法Parzen窗。然后再充分挖掘模型，用以分类。例如Bayes最大后验概率准则；或者将模型中的参数当作提取的特征（参数一般都比较少，所以这么做实际上是在降维），在这些新特征上设计分类器（例如又用SVM）。 恢复的模型可生成新的样本，所以得名generative。 原文就是讲了一种建立generative model的方法，用于文本处理。 对文本（document）中各单词（word）的出现频率（简称词频）建立概率模型通常是文本处理的第一步。 开始讨论前，先做如下约定： - 仅考虑文本的词频，而不考虑单词在文本中出现的先后顺序及其约束关系 - 文本中的单词来自大小为|V|的词汇表。例 如： V = {FILM, MUSIC, TAX, MILLION, STUDENT, TEACHER, SCHOOL}. |V| = 7 - 每篇文本有N个单词 - 文本来自k个主题（topic）。例如: T = {Arts, Budgets, Education}. k = 3 一种简单直观的词频概率模型——unigram model（原文Figure 3(a)）这样描述某一文本中单词的“发生方式”： For each of the N words w_n: Choose a word w_n ～ p(w); 其中，w是离散随机变量，在词汇表V中取|V|个离散的值。p(w)是w的分布，可由训练样本通过机器学习或其它方法获得。这个模型就是每个单词的词频，没有考虑文本的主题，过于简单。于是我们引出考虑了文本主题的模型—— Mixture of unigram(原文中Figure 3(b)). 它这样描述某一文本中单词的“发生方式”：
此为先生，敬仰吧，同志们！ 先验（；又译：先天）在拉丁文中指“来自先前地东西”，或稍稍引申指“在经验之前”.近代西方传统中，认为先验指无需经验或先于经验获得地知识.它通常与后验知识相比较，后验意指“在经验之后”，需要经验.这一区分来自于中世纪逻辑所区分地两种论证，从原因到结果地论证称为“先验地”，而从结果到原因地论证称为“后验地”.文档来自于网络搜索 先验概率是指根据以往经验和分析得到地概率，如全概率公式中地，它往往作为“由因求果”问题中地“因”出现.后验概率是指在得到“结果”地信息后重新修正地概率，是“执果寻因”问题中地“因” .后验概率是基于新地信息，修正原来地先验概率后所获得地更接近实际情况地概率估计.先验概率和后验概率是相对地.如果以后还有新地信息引入，更新了现在所谓地后验概率，得到了新地概率值，那么这个新地概率值被称为后验概率.文档来自于网络搜索 先验概率地分类： 利用过去历史资料计算得到地先验概率，称为客观先验概率； 当历史资料无从取得或资料不完全时，凭人们地主观经验来判断而得到地先验概率，称为主观先验概率. 后验概率是指通过调查或其它方式获取新地附加信息，利用贝叶斯公式对先验概率进行修正，而后得到地概率.文档来自于网络搜索 先验概率和后验概率地区别： 先验概率不是根据有关自然状态地全部资料测定地，而只是利用现有地材料(主要是历史资料)计算地；后验概率使用了有关自然状态更加全面地资料，既有先验概率资料，也有补充资料；文档来自于网络搜索 先验概率地计算比较简单，没有使用贝叶斯公式；而后验概率地计算，要使用贝叶斯公式，而且在利用样本资料计算逻辑概率时，还要使用理论概率分布，需要更多地数理统计知识.文档来自于网络搜索 先验概率与后验概率 "概率就是无知, 而不是事务本身是随机地". 事情有种发生地可能,我们不能控制结果地发生,或者影响结果地机理是我们不知道或是太复杂超过我们地运算能力. 新发一个物种, 到底是猫,还是小老虎
基于狄利克雷DirichletProcesses聚类的协同过滤推荐算法代码实现（输出聚类计算 过程，分布图展示） 聚类(Clustering)就是将数据对象分组成为多个类或者簇(Cluster)，它的目标是：在同一个簇中的对象之间具有较高的相似度，而不同簇中的对象差别较大。所以，在很多应用中，一个簇中的数据对象可以被作为一个整体来对待，从而减少计算量或者提高计算质量。 一、DirichletProcesses聚类算法实现原理 狄利克雷聚类（Dirichlet Processes Clustering）是一种基于概率分布模型的聚类算法。 首先我们先简要介绍一下基于概率分布模型的聚类算法（后面简称基于模型的聚类算法）的原理：首先需要定义一个分布模型，简单的例如：圆形，三角形等，复杂的例如正则分布，泊松分布等；然后按照模型对数据进行分类，将不同的对象加入一个模型，模型会增长或者收缩；每一轮过后需要对模型的各个参数进行重新计算，同时估计对象属于这个模型的概率。所以说，基于模型的聚类算法的核心是定义模型，对于一个聚类问题，模型定义的优劣直接影响了聚类的结果，下面给出一个简单的例子，假设我们的问题是将一些二维的点分成三组，在图中用不同的颜色表示，图 A 是采用圆形模型的聚类结果，图 B 是采用三角形模型的聚类结果。可以看出，圆形模型是一个正确的选择，而三
角形模型的结果既有遗漏又有误判，是一个错误的选择。 狄利克雷聚类算法是按照如下过程工作的：首先，我们有一组待聚类的对象和一个分布模型。使用 ModelDistribution 生成各种模型。初始状态，我们有一个空的模型，然后尝试将对象加入模型中，然后一步一步计算各个对象属于各个模型的概率。 本文主要是java语言实现，1000个点（本文是二维向量，也可以是多维，实现原理和程序一样），程序运行过程中会输出每一次遍历点的簇中心，和簇中包含的点，并将最终结果通过插件在html中显示。 二、DirichletProcesses聚类算法实现部分步骤 将本地文件读取到点集合中：
第三章先验分布的确定 3.1 主观概率 3.1.1概率的公理化定义 定义：设Ω为一个样本空间，F 为Ω的某些子集组成的一个事件域，如果对任一事件A ∈F ，定义在F 上一个实值函数P(A)满足下列条件： (1)非负性公理：对于每一事件A ，有P(A)≥0； (2)正则性(规范性)公理：P(Ω)=1； (3)可列可加性(完全可加性)公理：设A 1，A 2，…是互不相容的事件，即对于i≠j ，A i A j =?，i ，j=1，2，…，则有 11()()i i i i P A P A ∞∞ ===∑U 则称P （A ）为事件A 的概率(Probability)，称三元素(Ω，F ，P)为概率空间(Probability space)。 概率是定义在σ-域F 上的一个非负的、正则的、可列可加的集函数。 3.1.2主观概率 在经典统计中，概率是用三条公理定义的：1）非负性；2）正则性；3）可加性。概率确定方法有两种：1）古典方法；2）频率方法。 实际中大量使用的是频率方法，所以经典统计的研究对象是能大量重复的随机现象，不是这类随机现象就不能用频率的方法去确定其有关事件的概率。这无疑把统计学的应用和研究领域缩小了[1]。在经典统计中有一种习惯，对所得到的概率都要给出频率解释，这在有些场所是难于做出的。譬如，天气预报：“明天下雨的概率是0.8”。 贝叶斯统计中要使用先验信息，而先验信息主要是指经验和历史资料。因此如何用人们的经验和过去的历史资料确定概率和先验分布是贝叶斯学派要研究
的问题。 贝叶斯学派是完全同意概率的公理化定义，但认为概率也是可以用经验确定。这是与人们的实践活动一致。这就可以使不能重复或不能大量重复的随机现象也可谈及概率。同时也使人们积累的丰富经验得以概括和应用。 贝叶斯学派认为：一个事件的概率是人们根据经验对该事件发生可能性所给出个人信念。这样给出的概率称为主观概率。下面举几个例子：一个企业家认为“一项新产品在未来市场上畅销”的概率是0.8，这里的0.8是根据他自己多年的经验和当时一些市场信息综合而成的个人信念。 一位医生要对一位病人动手术，他认为成功的概率是0.9，这是他根据手术的难易程度和自己的手术经验而对“手术成功”所给出的把握程度。 这样的例子在我们生活，生产和经济活动中也是常遇见的，他们观察的主观概率绝不是随意的，而是要求当事人对所考察的事件有较透彻的了解和丰富的经验，甚至是这一行的专家。并能对周围信息和历史信息进行仔细分析，在这个基础上确定的主观概率就能符合实际。所以应把主观概率与主观臆造，瞎说一通区别开来。 主观概率要受到实践检验，要符合概率的三条公理，通过实践检验和公理验证，人们会接受其精华，去其糟粕。 主观概率是频率方法和经典方法的一种补充，有了主观概率至少使人们在频率观点不适用时也能谈论概率，使用概率和统计方法。 主观概率并不反对用频率方法确定概率，但也要看到它的局限性。 3.1.3 确定主观概率的方法 （1）用对立事件的比较来确定主观概率（最简单的方法） 例3.1 一位出版商要知道一本新书畅销（事件A）的概率是多少，以决定是否与作者签订出版合同。他在了解这本新书的内容后，根据他自己多年出书的经验认为该书畅销的可能性较大，畅销（A）比畅销（A）的可能性要高出一倍，即 P A=，即 +=，可以推得()2/3 P A P A P A P A ()2() =，由此根据概率的性质()()1
尹晶杰：软件可靠性模型的算法分析与评价 139 软件可靠性模型算法分析与评价 尹晶杰 摘要：本文首先对三个经典的软件可靠性模型(J-M 、G-O 、S-W)进行参数计算的数值算法设计，在此基础上通过可靠性数学关系得到失效间隔时间的密度函数、分布函数、可靠性函数以及失效率函数。其次，分别采用未确知模型、J-M 模型、G-O 模型、S-W 模型针对具体实例的失效时间进行预测评估，并对各模型的可靠性评估曲线进行描绘。第三，利用Delphi 开发软件设计并开发完成了一个简易的软件可靠性评估工具。该工具嵌入了包括未确知模型在内的四个软件可靠性模型（J-M 模型、G-O 模型、S-W 模型），能够输出模型评估结果和评估曲线，并具有计算各模型评价准则值（KS 值、PL 值、模型噪声）和绘制用于模型评价的PLR 图、-u 结构图、 -y 结构图的功能。 关键词：软件可靠性；软件可靠性模型 Abstract: Here originally in the paper, model in three software reliability model (J-M, G-O , S-W ) at first ask the parameter algorithm to be designed , draw the parameter of each model, receive invalid density function of spacing interval , distribute function , reliability function and software failure rate function through dependability mathematics relation on this basis.Secondly, on the basis of the above function, including software reliability based on unascertained theory model , J-M model , G-O model , S-W model predict the assessment to the failure time of the concrete instance separately, design through Delphi one simple interface describe to every reliability assessment curve of model.Moreover , utilize Delphi to designed and development a simple software reliability estimation tool. This tool inlayed three traditional software reliability models: J-M model, G-O model, S-W model and the new model put forward in this paper. It is not only can exports the estimation results but also can provides assessment curve , including calculating every model appraise criterion value (KS value , PL value , model noise ) and PLR chart that is used to model comparison, u-plot and the y- plot. Keywords: Software reliability Software reliability model 1. 基本概念 1.1 软件可靠性的定义 关于软件可靠性的确切含义，学术界有过长期的争论，经过长期的争论和研究，1983年美国IEEE 计算机学会对 “软件可靠性”一次正式做出如下定义： (1) 在规定条件下，在规定的时间内，软件不引起系统失效的概率，该概率是系统输入和系统使用的函数，也是软件中存在的错误的函数；系统输入将确定是否会遇到已存在的错误（如果错误存在的话）； (2) 在规定的时间周期内，在所述条件下程序执行所要求的功能的能力。 1.2 软件可靠性参数 下面对几个主要的软件可靠性参数进行介绍： (1) 可靠度 软件可靠度R 是指软件在规定的条件下、规定的时间段内完成预定的功能的概率。或者说是软件在规定时间内无失效发生的概率。 用随机变数ξ表示从软件运行开始到系统失效所经历的时间，用)(t F ξ表示ξ的分布函数，用t 表示任意给定的时刻，用)(t R ξ表示软件在t 时刻的可靠度，则数学公式如下： {})(1)(t F t P t R r ξξξ-=>= (1-1) (2) 失效率