【关键字】设计、方法、条件、动力、增长、计划、问题、系统、网络、理想、要素、工程、项目、重点、检验、分析、规划、管理、优化、中心 数学建模常用模型方法总结 无约束优化 线性规划连续优化 非线性规划 整数规划离散优化 组合优化 数学规划模型多目标规划 目标规划 动态规划从其他角度分类 网络规划 多层规划等… 运筹学模型 （优化模型） 图论模型存 储论模型排 队论模型博 弈论模型 可靠性理论模型等… 运筹学应用重点:①市场销售②生产计划③库存管理④运输问题⑤财政和会计⑥人事管理⑦设备维修、更新和可靠度、项目选择和评价⑧工程的最佳化设计⑨计算器和讯息系统⑩城市管理 优化模型四要素：①目标函数②决策变量③约束条件 ④求解方法(MATLAB--通用软件LINGO--专业软件) 聚类分析、 主成分分析 因子分析 多元分析模型判别分析 典型相关性分析 对应分析 多维标度法 概率论与数理统计模型 假设检验模型 相关分析 回归分析 方差分析 贝叶斯统计模型 时间序列分析模型 决策树 逻辑回归
传染病模型马尔萨斯人口预测模型微分方程模型人口预 测控制模型 经济增长模型Logistic 人口预测模型 战争模型等等。。 灰色预测模型 回归分析预测模型 预测分析模型差分方程模型 马尔可夫预测模型 时间序列模型 插值拟合模型 神经网络模型 系统动力学模型(SD) 模糊综合评判法模型 数据包络分析 综合评价与决策方法灰色关联度 主成分分析 秩和比综合评价法 理想解读法等 旅行商(TSP)问题模型 背包问题模型车辆路 径问题模型 物流中心选址问题模型 经典NP问题模型路径规划问题模型 着色图问题模型多目 标优化问题模型 车间生产调度问题模型 最优树问题模型二次分 配问题模型 模拟退火算法(SA) 遗传算法(GA) 智能算法 蚁群算法(ACA) (启发式) 常用算法模型神经网络算法 蒙特卡罗算法元 胞自动机算法穷 举搜索算法小波 分析算法 确定性数学模型 三类数学模型随机性数学模型 模糊性数学模型
软件学报ISSN 1000-9825, CODEN RUXUEW E-mail: jos@https://www.doczj.com/doc/a22137857.html, Journal of Software,2013,24(11):2476?2497 [doi: 10.3724/SP.J.1001.2013.04486] https://www.doczj.com/doc/a22137857.html, +86-10-62562563 ?中国科学院软件研究所版权所有. Tel/Fax: ? 概率图模型研究进展综述 张宏毅1,2, 王立威1,2, 陈瑜希1,2 1(机器感知与智能教育部重点实验室(北京大学),北京 100871) 2(北京大学信息科学技术学院智能科学系,北京 100871) 通讯作者: 张宏毅, E-mail: hongyi.zhang.pku@https://www.doczj.com/doc/a22137857.html, 摘要: 概率图模型作为一类有力的工具,能够简洁地表示复杂的概率分布,有效地(近似)计算边缘分布和条件分 布,方便地学习概率模型中的参数和超参数.因此,它作为一种处理不确定性的形式化方法,被广泛应用于需要进行 自动的概率推理的场合,例如计算机视觉、自然语言处理.回顾了有关概率图模型的表示、推理和学习的基本概念 和主要结果,并详细介绍了这些方法在两种重要的概率模型中的应用.还回顾了在加速经典近似推理算法方面的新 进展.最后讨论了相关方向的研究前景. 关键词: 概率图模型;概率推理;机器学习 中图法分类号: TP181文献标识码: A 中文引用格式: 张宏毅,王立威,陈瑜希.概率图模型研究进展综述.软件学报,2013,24(11):2476?2497.https://www.doczj.com/doc/a22137857.html,/ 1000-9825/4486.htm 英文引用格式: Zhang HY, Wang LW, Chen YX. Research progress of probabilistic graphical models: A survey. Ruan Jian Xue Bao/Journal of Software, 2013,24(11):2476?2497 (in Chinese).https://www.doczj.com/doc/a22137857.html,/1000-9825/4486.htm Research Progress of Probabilistic Graphical Models: A Survey ZHANG Hong-Yi1,2, WANG Li-Wei1,2, CHEN Yu-Xi1,2 1(Key Laboratory of Machine Perception (Peking University), Ministry of Education, Beijing 100871, China) 2(Department of Machine Intelligence, School of Electronics Engineering and Computer Science, Peking University, Beijing 100871, China) Corresponding author: ZHANG Hong-Yi, E-mail: hongyi.zhang.pku@https://www.doczj.com/doc/a22137857.html, Abstract: Probabilistic graphical models are powerful tools for compactly representing complex probability distributions, efficiently computing (approximate) marginal and conditional distributions, and conveniently learning parameters and hyperparameters in probabilistic models. As a result, they have been widely used in applications that require some sort of automated probabilistic reasoning, such as computer vision and natural language processing, as a formal approach to deal with uncertainty. This paper surveys the basic concepts and key results of representation, inference and learning in probabilistic graphical models, and demonstrates their uses in two important probabilistic models. It also reviews some recent advances in speeding up classic approximate inference algorithms, followed by a discussion of promising research directions. Key words: probabilistic graphical model; probabilistic reasoning; machine learning 我们工作和生活中的许多问题都需要通过推理来解决.通过推理,我们综合已有的信息,对我们感兴趣的未 知量做出估计,或者决定采取某种行动.例如,程序员通过观察程序在测试中的输出判断程序是否有错误以及需 要进一步调试的代码位置,医生通过患者的自我报告、患者体征、医学检测结果和流行病爆发的状态判断患者 可能罹患的疾病.一直以来,计算机科学都在努力将推理自动化,例如,编写能够自动对程序进行测试并且诊断 ?基金项目: 国家自然科学基金(61222307, 61075003) 收稿时间:2013-07-17; 修改时间: 2013-08-02; 定稿时间: 2013-08-27
数学专题复习 一个很有趣的条件概率问题：三扇门问题 昨天看一片电影《玩转21点》，片中有一个很趣的概率问题。 片中涉及的那个车和羊的问题也被称作蒙提霍尔问题（Monty Hall Problem）或三门问题，是一个源自博弈论的数学游戏问题，大致出自美国的电视游戏节目 “Let's Make a Deal”。问题的名字来自该节目的主持人蒙提·霍尔（Monty Hall）。 这个游戏的玩法是：参赛者会看见三扇关闭了的门，其中一扇的后面有一辆汽车，选中后面有车的那扇门就可以赢得该汽车，而另外两扇门后面则各藏有一只山羊。当参赛者选定了一扇门，但未去开启它的时候，节目主持人会开启剩下两扇门的其中一扇，露出其中一只山羊。主持人其后会问参赛者要不要换另一扇仍然关上的门。 明确的限制条件如下： 参赛者在三扇门中挑选一扇。他并不知道内里有什么。 主持人知道每扇门后面有什么。 主持人必须开启剩下的其中一扇门，并且必须提供换门的机会。 主持人永远都会挑一扇有山羊的门。 如果参赛者挑了一扇有山羊的门，主持人必须挑另一扇有山羊的门。 如果参赛者挑了一扇有汽车的门，主持人随机在另外两扇门中挑一扇有山羊的门。 参赛者会被问是否保持他的原来选择，还是转而选择剩下的那一道门。 请问如果是你，你会做哪种选择，哪个选择得到车的概率会更大呢？ 讨论： ?当参赛者转向另一扇门而不是继续维持原先的选择时，赢得汽车的机会将会加倍。 解释如下： 有三种可能的情况，全部都有相等的可能性(1/3)︰ 参赛者挑山羊一号，主持人挑山羊二号。转换将赢得汽车。 参赛者挑山羊二号，主持人挑山羊一号。转换将赢得汽车。 参赛者挑汽车，主持人挑两头山羊的任何一头。转换将失败。 在头两种情况，参赛者可以通过转换选择而赢得汽车。第三种情况是唯一一种参赛者通过保持原来选择而赢的情况。因为三种情况中有两种是通过转换选择而赢的，所以通过转换选择而赢的概率是2/3。 ?历史上这个问题刚被提出的时候却引起了相当大的争议。这个问题源自美国电视娱乐节目Let’s Make a Deal，内容如前所述。作为吉尼斯世界纪录中智商最高的人，Savant在Parade Magazine对这一问题的解答是应该换，因为换了之后有2/3的概率赢得车，不换的话概率只有1/3。她的这一解答引来了大量读者信件，认为这个答案太荒唐了。因为直觉告诉人们：如果被打开的门后什么都没有，这个信息会改变剩余的两种选择的概率，哪一种都只能是1/2。持有这种观点的大约有十分之一是来自数学或科学研究机构，有的人甚至有博士学位。还有大批报纸专栏作家也加入了声讨
新资本协议中违约概率模型的研究与应用 Research and Application of PD Model in New Basel Capi tal Accord 武剑王健内容摘要：巴塞尔新资本协议实施在即，新资本协议与往常版本的重大突破在于它倡导使用内部评级法（IRB）以加强风险监管的敏感性。而客户违约概率（PD）的准确计算正是内部评级法的核心内容。本文就详尽介绍了违约概率的概念、定义，计算违约概率的进展过程；并重点研究分析了一些较为成熟的违约概率计算模型和数学统计方法，并结合建行违约概率计算的应用提出一
些经验之谈，同时对国内商业银行客户违约概率研究的进展提出了建设性的意见。 关键词：内部评级法违约概率违约数据 背景 巴塞尔新资本协议立即于2003年底正式公布，并拟于200 6年在各成员国实施。新资本协议首次提出了涵盖“三大支柱”（资本充足率、市场监管和市场纪律）的监管框架，进一步充实了金融风险监管的内容和方式，这将对业以后进展产生重大和深远的阻碍。新资本协议的核心内容是内部评级法（IRB法），同意治理水平高的银行采纳IRB法计算资本充足率，从而将资本充足率与银行信用风险的大小紧密结合起来。能够讲，满足资本监管的IRB法代表了巴塞尔委员会认可的并希望商业银行，特不是大银行今后广泛采纳的内部评级体系。IRB法代表了信用风险治理技术进展的大方向。在新协议的推动下，许多国家的银行都在积极开发IRB法，力争在2006年达标。银监会也差不多明确指出，各家商业银行应该尽早着手收集内部评级体系所需的各项必要信息，为今后采纳定量分析方法监测、治理信用风险做好基础性工作。在一段时刻之后，如银行条件具备，银监会将考虑使用
. 条件概率例题 山东省莱芜市第一中学 刘志 例1 一个家庭中有两个小孩，已知其中有一个是女孩，则这时另一个小孩是男孩的概率为（假定一个小孩是男孩还是女孩是等可能的）（ ） 一个家庭中有两个小孩只有4种可能：{男，男}，{男，女}，{女，男}，{女，女}． 记事件A 为“其中一个是女孩”，事件B 为“另一个是男孩”，则A={（男，女），（女，男），（女，女）}，B={（男，女），（女，男），（男，男）}，AB={（男，女），（女，男）}． 解法1：可知P(A)= 43 ，P(AB)=4 2 或P(AB)= 21212112=??C 于是P （B|A ）=324321 ) ()(==A P AB P 解法2：事件A 包括{（男，女），（女，男），（女，女）}，即n(A)=3 事件AB 包括{（男，女），（女，男）}．即n(AB)=2 所以P （B|A ）=3 2)()(=A n AB n 例2 一个家庭中有两个小孩，已知其中有一个是男孩，则这时另一个小孩是男孩的概率为（假定一个小孩是男孩还是女孩是等可能的）（ ） 一个家庭中有两个小孩只有4种可能：{男，男}，{男，女}，{女，男}，{女，女}． 记事件A 为“其中一个是男孩”，事件B 为“另一个也是男孩”，则A={（男，女），（女，男），（男，男）}，B={（男，女），（女，男），（男，男）}，AB={（男，男）}． 解法1：可知P(A)= 43，P(AB)= 4 1，或P(AB)=412121=?
. P （B|A ）= 314 341 ) ()(==A P AB P 解法2：事件A 包括{（男，男），（男，女），（女，男）}，即n(A)=3 事件AB 包括{（男，男）}．即n(AB)=1 所以P （B|A ）=3 1)()(=A n AB n 例3 2011?福建模拟）某科考试中，从甲、乙两个班级各抽取10名同学的成绩进行统计分析，两班成绩的茎叶图如图所示，成绩不小于90分为及格． 问：从两班10名同学中各抽取一人，已知有人及格，求乙班同学不及格的概率； 甲班有4人及格，乙班有5人及格．事件“从两班10名同学中各抽取一人，已知有人及格”记作A ， 事件“从两班10名同学中各抽取一人，乙班同学不及格”记作B ，利用条件概率计算公式即可求得结论； 解法1：10 7103121531)1051)(1041(1)(1)(=-=?-=-- -=-=A P A P P AB P =)((有人及格乙班不及格) =P (甲班及格乙班不及格)=5 110020105104==? 则P (B |A )＝7 210751 )()(==A P AB P 解法2：甲班=[4人及格，6人不及格] 乙班=[5人及格，5人不及格] =)(AB n n(有人及格乙班不及格)=n(甲班及格乙班不及格)=201514 =C C n A n =)((甲班及格乙班不及格+甲班不及格乙班及格+甲班及格乙班及格)=151415161514 C C C C C C ++ =20+30+20=70 所以)()()|(A n AB n A B P =7020=7 2=
最大似然估计学习总结(概率论大作业)
最大似然估计学习总结 航天学院探测制导与控制技术杨若眉1110420123 摘要：最大似然估计是一种统计方法，它用来求一个样本集的相关概率密度函数的参数。最大似然法明确地使用概率模型，其目标是寻找能够以较高概率产生观察数据的系统发生树。最大似然法是一类完全基于统计的系统发生树重建方法的代表。 关键词：最大似然估计；离散；连续；概率密度最大似然估计是一种统计方法，它用来求一个样本集的相关概率密度函数的参数。这个方法最早是遗传学家以及统计学家罗纳德·费雪爵士在1912年至1922年间开始使用的。 “似然”是对likelihood 的一种较为贴近文言文的翻译，“似然”用现代的中文来说即“可能性”。故而，若称之为“最大可能性估计”则更加通俗易懂。最大似然法明确地使用概率模型，其目标是寻找能够以较高概率产生观察数据的系统发生树。最大似然法是一类完全基于统计的系统发生树重建方法的代表。该方法在每组序列比对中考虑了每个核苷酸替换的概率。
最大似然法是要解决这样一个问题：给定一组数据和一个参数待定的模型，如何确定模型的参数，使得这个确定参数后的模型在所有模型中产生已知数据的概率最大。通俗一点讲，就是在什么情况下最有可能发生已知的事件。举个例子，假如有一个罐子，里面有黑白两种颜色的球，数目多少不知，两种颜色的比例也不知。我们想知道罐中白球和黑球的比例，但我们不能把罐中的球全部拿出来数。现在我们可以每次任意从已经摇匀的罐中拿一个球出来，记录球的颜色，然后把拿出来的球再放回罐中。这个过程可以重复，我们可以用记录的球的颜色来估计罐中黑白球的比例。假如在前面的一百次重复记录中，有七十次是白球，请问罐中白球所占的比例最有可能是多少？ 我想很多人立马有答案：70%。这个答案是正确的。可是为什么呢？（常识嘛！这还要问？！）其实，在很多常识的背后，都有相应的理论支持。在上面的问题中，就有最大似然法的支持例如，转换出现的概率大约是颠换的三倍。在一个三条序列的比对中，如果发现其中有一列为一个C，一个T和一个G，我们有理由认为，C和T所
第88炼 含有条件概率的随机变量问题 一、基础知识： 1、条件概率：事件B 在事件A 已经发生的情况下，发生的概率称为B 在A 条件下的条件概率，记为|B A 2、条件概率的计算方法： （1）按照条件概率的计算公式：()()() |P AB P B A P A = （2）考虑事件A 发生后，题目产生了如何的变化，并写出事件B 在这种情况下的概率 例如：5张奖券中有一张有奖，甲，乙，丙三人先后抽取，且抽完后不放回，已知甲没有中奖，则乙中奖的概率： 按照（1）的方法：设事件A 为“甲没中奖”，事件B 为“乙中奖”，则所求事件为|B A ，按照公式，分别计算()(),P AB P A ，利用古典概型可得：()2 541 5 P AB A = =，()45P A =，所以()() ()1 |4 P AB P B A P A = = 按照（2）的方法：考虑甲已经抽完了，且没有中奖，此时还有4张奖券，1张有奖。那么轮到乙抽时，乙抽中的概率即为 1 4 3、含条件概率的乘法公式：设事件,A B ，则,A B 同时发生的概率()()()|P AB P A P B A =? ，此时()|P B A 通常用方案（2）进行计算 4、处理此类问题要注意以下几点： （1）要分析好几个事件间的先后顺序，以及先发生的事件对后面事件的概率产生如何的影响（即后面的事件算的是条件概率） （2）根据随机变量的不同取值，事件发生的过程会有所不同，要注意区别 （3）若随机变量取到某个值时，情况较为复杂，不利于正面分析，则可以考虑先求出其它取值时的概率，然后用间接法解决。 二、典型例题： 例1：袋中有大小相同的三个球，编号分别为1,2,3，从袋中每次取出一个球，若取到的球
条件概率（conditional probability）就是事件A在另外一个事件B已经发生条件下的发生概率。条件概率表示为P（A|B），读作“在B条件下A的概率”。 联合概率表示两个事件共同发生的概率。A与B的联合概率表示为或者或者。 边缘概率是某个事件发生的概率。边缘概率是这样得到的：在联合概率中，把最终结果中不需要的那些事件合并成其事件的全概率而消失（对离散随机变量用求和得全概率，对连续随机变量用积分得全概率）。这称为边缘化（marginalization）。A的边缘概率表示为P（A），B的边缘概率表示为P（B）。 需要注意的是，在这些定义中A与B之间不一定有因果或者时间序列关系。A可能会先于B发生，也可能相反，也可能二者同时发生。A可能会导致B的发生，也可能相反，也可能二者之间根本就没有因果关系。 例如考虑一些可能是新的信息的概率条件性可以通过贝叶斯定理实现。 换句话说，如果A与B是相互独立的，那么A在B这个前提下的条件概率就是A自身的概率；同样，B在A的前提下的条件概率就是B自身的概率。 考虑概率空间Ω(S, σ(S))，其中σ(S)是集S上的σ代数，Ω上对应于随机变量X的概率测度（可以理解为概率分布）为PX；又A ∈σ(S)，PX(A)≥0（这里可以理解为事件A，A不是零测集）。则?E∈σ(S)，可以定义集函数PX|A如下： PX|A(E)=PX(A∩E)/PX(E)。 易知PX|A也是Ω上的概率测度，此测度称为X在A下的条件测度（条件概率分布）。
独立性：设A，B∈σ(S)，称A，B在概率测度P下为相互独立的，若P(A∩E)=P(A)P(E)。 若想分辨某些个体是否有重大疾病，以便早期治疗，我们可能会对一大群人进行检验。虽然其益处明显可见，但同时，检验行为有一个地方引起争议，就是有检出假阳性的结果的可能：若有个未得疾病的人，却在初检时被误检为得病，他可能会感到苦恼烦闷，一直持续到更详细的检测显示他并未得病为止。而且就算在告知他其实是健康的人后，也可能因此对他的人生有负面影响。
概率计算方法总结 在新课标实施以来，中考数学试题中加大了统计与概率部分的考查，体现了“学以致用”这一理念. 计算简单事件发生的概率是重点，现对概率计算方法阐述如下: 一.公式法 P(随机事件)= 的结果数 随机事件所有可能出现果数 随机事件可能出现的结.其中P(必然事件)=1,P （不可能事 件）=0；0 概率图模型介绍与计算 01 简单介绍 概率图模型是图论和概率论结合的产物，它的开创者是鼎鼎大名的Judea Pearl,我十分喜欢概率图模型这个工具，它是一个很有力的多变量而且变量关系可视化的建模工具，主要包括两个大方向：无向图模型和有向图模型。无向图模型又称马氏网络，它的应用很多，有典型的基于马尔科夫随机场的图像处理，图像分割，立体匹配等，也有和机器学习结合求取模型参数的结构化学习方法。严格的说他们都是在求后验概率:p(y|x)，即给定数据判定每种标签y的概率，最后选取最大的后验概率最大的标签作为预测结果。这个过程也称概率推理(probabilistic inference）。而有向图的应用也很广，有向图又称贝叶斯网络(bayes networks),说到贝叶斯就足以可以预见这个模型的应用范围咯，比如医疗诊断，绝大多数的机器学习等。但是它也有一些争议的地方，说到这就回到贝叶斯派和频率派几百年的争议这个大话题上去了，因为贝叶斯派假设了一些先验概率，而频率派认为这个先验有点主观，频率派认为模型的参数是客观存在的，假设先验分布就有点武断，用贝叶斯模型预测的结果就有点“水分”，不适用于比较严格的领域，比如精密制造，法律行业等。好吧，如果不遵循贝叶斯观点，前面讲的所有机器学习模型都可以dismiss咯，我们就通过大量数据统计先验来弥补这点“缺陷”吧。无向图和有向图的例子如（图一）所示： 图一(a)无向图（隐马尔科夫）(b)有向图 概率图模型吸取了图论和概率二者的长处，图论在许多计算领域中扮演着重要角色，比如组合优化，统计物理，经济等。图的每个节点都可看成一个变量，每个变量有N个状态（取值范围），节点之间的边表示变量之间的关系，它除了 二、计算题 1.从1, 2, 3,…, 15中,甲、乙两人各任取一数(不重复),已知甲取到的数是5的倍数,求甲数大于乙数的概率. 解.设事件A表示“甲取到的数比乙大”, 设事件B表示“甲取到的数是5的倍数”. 则显然所要求的概率为P(A|B). 根据公式 而P(B)=3/15=1/5 , , ∴P(A|B)=9/14. 2. 掷三颗骰子,已知所得三个数都不一样,求含有1点的概率. 解.设事件A表示“掷出含有1的点数”, 设事件B表示“掷出的三个点数都不一样”. 则显然所要求的概率为P(A|B). 根据公式 , , ∴P(A|B)=1/2. 3.袋中有一个白球和一个黑球,一次次地从袋中摸球,如果取出白球,则除把白球放回外再加进一个白球,直至取出黑球为止,求取了N次都没有取1解.设事件A i表示“第i次取到白球”. (i=1,2,…,N) 则根据题意P(A1)=1/2 , P(A2|A1)=2/3, 到黑球的概率. 由乘法公式可知: P(A1A2)=P(A2|A1)P(A1)=1/3. 而P(A3|A1A2)=3/4 , P(A1A2A3)=P(A3|A1A2)P(A1A2)=1/ 4 . 由数学归纳法可以知道 P(A1A2… A N)=1/(N+1). 4. 甲袋中有5只白球, 7 只红球;乙袋中有4只白球, 2只红球.从两个袋子中任取一袋, 然后从所取到的袋子中任取一球,求取到的球是白球的概率. 解.设事件A表示“取到的是甲袋”, 则表示“取到的是乙袋”, 事件B表示“最后取到的是白球”. 根据题意: P(B|A)=5/12 , , P(A)=1/2. ∴ . 5.有甲、乙两袋,甲袋中有3只白球,2只黑球;乙袋中有4只白球,4只黑球.现从甲袋中任取2个球放入乙袋,然后再从乙袋中任取一球,求此球为白球的概率. 解.设事件A i表示“从甲袋取的2个球中有i 个白球”,其中i=0,1,2 . 事件B表示“从乙袋中取到的是白球”. 显然A0, A1, A2构成一完备事件组,且根据题意 如何用不确定性解决模型问题 随着深度神经网络功能越来越强大，它们的结构也越来越复杂。这些复杂结构也带来了新的问题，即模型的可解释性。 想创建稳定、不易受对抗样本攻击的模型，可解释性是很重要的。另外，为新的研究领域设计模型也是一项富有挑战的工作，如果能了解模型在做什么，可以对这一过程有所帮助。过去几年，为了对模型的可解释性加以研究，研究者们提出了多种方法，包括： LIME：通过局部线性近似值计算解释模型的预测 Activation Maximization：一种能了解那种输入模式可以生成最大的模型回应的方法 特征可视化 在低维解释空间中嵌入一个DNN图层 从认知心理学中借鉴方法 不确定性估计法——本文关注的重点 在我们开始研究如何用不确定性解决模型问题、解释模型之前，首先让我们了解一下为什么不确定性如此重要。 你为什么应该关注不确定性？ 一个重要的例子就是高风险的应用，假设你正在创建一个模型，可以帮助医生判断病人的严重程度。在这种情况下，我们不应该仅仅关心模型的精确度，更要关注模型对其预测结果有多大程度的肯定。如果不确定性太高，医生需要谨慎决策。 自动驾驶汽车是另外一个有趣的例子。如果模型不确定是否有行人在马路上，我们可以利用这一信息让车子减速，或者发出警报让驾驶员手动操作。 不确定性还可以在缺乏数据样本的情况下帮助我们。如果模型不是在与样本相似的数据上训练的，它可能无法输出想要的结果。谷歌照片曾经将黑种人错误地认成了大猩猩，就是由于这个原因，种类单一的训练集可能导致令人尴尬的结果。 不确定性的最大用途，也是本文的主要目的，就是为模型排除错误。首先，让我们了解一下不确定性都有哪几种不同类型。 概率初步知识点和题型 【知识梳理】 1．生活中的随机事件分为确定事件和不确定事件，确定事件又分为必然事件和不可能事件，其中， ①必然事件发生的概率为1，即P(必然事件)=1； ②不可能事件发生的概率为0,即P（不可能事件）=0； ③如果A为不确定事件，那么0 3．概率应用： 通过设计简单的概率模型，在不确定的情境中做出合理的决策；概率与实际生活联系密切，通过理解什么是游戏对双方公平，用概率的语言说明游戏的公平性，并能按要求设计游戏的概率模型，以及结合具体实际问题，体会概率与统计之间的关系，可以解决一些实际问题。 【练习】 随机事件与概率： 一. 选择题 1. 下列事件必然发生的是（） A. 一个普通正方体骰子掷三次和为19 B. 一副洗好的扑克牌任抽一张为奇数。 C. 今天下雨。 D. 一个不透明的袋子里装有4个红球，2个白球，从中任取3个球，其中至少有2球同色。 2. 甲袋中装着1个红球9个白球，乙袋中装着9个红球1个白球，两个口袋中的球都已搅匀。想从两个口袋中摸出一个红球，那么选哪一个口袋成功的机会较大？（） A. 甲袋 B. 乙袋 C. 两个都一样 D. 两个都不行 3. 下列事件中，属于确定事件的是（） A. 发射运载火箭成功 B. 2008年，中国女足取得冠军 C. 闪电、雷声出现时，先看到闪电，后听到雷声 D. 掷骰子时，点数“6”朝上 4. 下列事件中，属于不确定的事件的是（） A. 英文字母共28个 B. 某人连续两次购买两张彩票，均中头奖 C. 掷两个正四面体骰子（每面分别标有数字1，2，3，4）接触地面的数字和为9 D. 哈尔滨的冬天会下雪 5. 下列事件中属于不可能的事件是（） A. 军训时某同学打靶击中靶心 B. 对于有理数x，∣x∣≤0 C. 一年中有365天 D. 你将来长到4米高 6、一个袋子中放有红球、绿球若干个，黄球5个，如果袋子中任意摸出黄球的概率为0.25， 那么袋子中共有球的个数为（） A. 15 B. 18 C. 20 D. 25 用列举法求概率： 填空题： 条件概率 一、选择题 1．下列式子成立的是( ) A．P(A|B)＝P(B|A) B．0 12．从1～100这100个整数中，任取一数，已知取出的一数是不大于50的数，则它是2或3的倍数的概率为________． 三、解答题 13．把一枚硬币任意掷两次，事件A＝“第一次出现正面”，事件B＝“第二次出现正面”，求P(B|A)． 14．盒中有25个球，其中10个白的、5个黄的、10个黑的，从盒子中任意取出一个球，已知它不是黑球，试求它是黄球的概率． 15．1号箱中有2个白球和4个红球，2号箱中有5个白球和3个红球，现随机地从1号箱中取出一球放入2号箱，然后从2号箱随机取出一球，问： (1)从1号箱中取出的是红球的条件下，从2号箱取出红球的概率是多少 (2)从2号箱取出红球的概率是多少 16．某校高三(1)班有学生40人，其中共青团员15人．全班分成4个小组，第一组有学生10人，共青团员4人．从该班任选一个作学生代表． (1)求选到的是第一组的学生的概率； (2)已知选到的是共青团员，求他是第一组学生的概率． 条件概率 示例：就是事件A在另外一个事件B已经发生条件下的发生概率。条件概率表示为P(A|B)，读作“在B条件下A的概率”。 若只有两个事件A，B，那么，P(A|B) = P(AB)/P(B)。 条件概率示例：就是事件A在另外一个事件B已经发生条件下的发生概率。条件概率表示为P(A|B)，读作“在B条件下A的概率”。 联合概率：表示两个事件共同发生的概率。A与B的联合概率表示为P(AB) 或者P(A,B),或者P（A∩B）。 边缘概率：是某个事件发生的概率，而与其它事件无关。边缘概率是这样得到的：在联合概率中，把最终结果中不需要的那些事件合并成其事件的全概率而消失（对离散随机变量用求和得全概率，对连续随机变量用积分得全概率）。这称为边缘化（marginalization）。A的边缘概率表示为P(A)，B的边缘概率表示为P(B)。 需要注意的是，在这些定义中A与B之间不一定有因果或者时间顺序关系。A可能会先于B发生，也可能相反，也可能二者同时发生。A可能会导致B的发生，也可能相反，也可能二者之间根本就没有因果关系。条件概率公式例如考虑一些可能是新的信息的概率条件性可以通过贝叶斯定理实现。 定理1 设A，B 是两个事件，且A不是不可能事件，则称 为在事件A发生的条件下，事件B发生的条件概率。一般地，，且它满足以下三条件： （1）非负性；（2）规范性；（3）可列可加性。 定理2 设E 为随机试验，Ω为样本空间，A，B 为任意两个事件，设P(A)>0，称 为在“事件A 发生”的条件下事件B 的条件概率。 上述乘法公式可推广到任意有穷多个事件时的情况。 设A1，A2，…An为任意n 个事件（n≥2）且P（A1A2…An-1）>0，则P（A1A2…An）=P（A1）P（A2|A1）…P（An|A1A2…An-1）定理3(全概率公式1) 设B1，B2，…Bn是一组事件,若（1）BiBj≠j，i≠j，i，j=1，2，…，n;（2）B1∪B2∪…∪Bn=Ω则称B1，B2，…Bn样本空间Ω的一个部分，或称为样本空间Ω的一个完备事件组。 定理4(全概率公式2) 设事件组B1，B2是样本空间Ω的一个划分，且P（Bi）>0（i=1，2，…n），则对任一事件B，有 1、高斯分布 高斯分布是最常见的分布，我现在觉得高斯分布中最难的就是，如何说服别人，你假设某个分布是高斯，是有依据的，而不是一个所谓的“经验假设”。 高斯分布的概率密度函数为： 各种各样的心理学测试分数、各种各样的无力现象、测量误差等都被发现近似地服从正态分布。尽管这些现象的根本原因经常是未知的，但是理论上可以证明如果把许多小作用加起来看做一个变量，那么这个变量服从正态分布。 由正态分布还可以到处一些常见的分布： 2、伯努利分布（又称：两点分布，0-1分布） 均值为p，方差为p(1-p). 这是为纪念瑞士科学家伯努利而命名的，猜测应该与伯努利本人没有太大关系吧，哈哈。 3、二项分布 进行独立的n次伯努利实验得到。均值为np，方差为np(1-p)。 与高斯分布的关系：当n足够大时，且p不接近于0或1，则二项分布近似为高斯分布，且n越大越近似。 4、多项分布 与二项分布对应，每次独立事件会出现3个及3个以上可能值。 二项分布和多项分布的概率值都可以经过计算多项式（x1+x2）^n 和多项式 (x1+x2+...+xm)^n的通项得到，对于二项分布，此时的x1=p，x2=1-p。 5、泊松分布 参考资料： https://www.doczj.com/doc/a22137857.html,/wiki/%E6%B3%8A%E6%9D%BE%E5%88%86%E5%B8%83 泊松分布适合于描述单位时间内随机事件发生的次数的概率分布。如某一服务设施在一定时间内受到的服务请求的次数，电话交换机接到呼叫的次数、汽车站台的候客人数、机器出现的故障数、自然灾害发生的次数、DNA序列的变异数、放射性原子核的衰变数等等。 概率质量函数为：（区分概率质量函数和概率密度函数，概率质量函数-离散，是概率值；概率密度-连续，不是概率值） 2.2.1 条件概率练习题 1．已知P(B|A)=103,P(A)=5 1,则P(AB)=( ) A ．21 B.23 C ．32 D.50 3 2．由“0”、“1” 组成的三位数码组中，若用A 表示“第二位数字为0”的事件，用B 表示“第一位数字为0”的事件，则P(A|B)=（ ） A.21 B.31 C.41 D.8 1 3．某地区气象台统计，该地区下雨的概率是154，刮三级以上风的概率为15 2，既刮风又 下雨的概率为10 1，则在下雨天里，刮风的概率为（ ） A.2258 B.21 C.83 D.4 3 4．袋中有5个球，3个白球，2个黑球，现每次取一个，无放回地抽取两次，第二次 * 抽到白球的概率为（ ） A.53 B.43 C.21 D. 10 3 5．6位同学参加百米短跑初赛，赛场有6条跑道，则已知甲同学排在第一跑道，乙同 学排在第二跑道的概率（ ） A.52 B.51 C.92 D. 7 3 6．一个袋中有9张标有1,2,3，…，9的票，从中依次取两张，则在第一张是奇数的 条件下第二张也是奇数的概率（ ） A.52 B.51 C.21 D. 7 3 7.福娃是2008年北京第二十九届奥运会的吉祥物，每组福娃都由“贝贝”“晶晶” “欢欢”“迎迎”和“妮妮”这五个福娃组成，甲、乙两人随机地从一组五个福娃中选 ( 取一个留作纪念。按甲先选乙再选的顺序不放回的选择，则在他俩选择的福娃中“贝贝” 和“晶晶”一只也没有被选中的概率是（ ） A.101 B.53 C.103 D.5 2 8．任意向（0,1）区间上投掷一个点，用x 表示该点的坐标，则 ={x|0 统计模型的“不确定性”问题与倾向值方法 统计模型的“不确定性”问题与倾向值方法统计模型的“不确定性”问题与倾向值方法胡安宁摘要：量化社会学研究往往基于特定的统计模型展开。近十几年来日益流行的倾向值方法也不例外，其在实施过程中需要同时拟合估计倾向值得分的“倾向值模型”与估计因果关系的“结果模型”。然而，无论是其模型形式还是系数估计，统计模型本身都具有不可忽视的“不确定性”问题。本研究在倾向值分析方法的框架下，系统梳理和阐释了模型形式不确定性与模型系数不确定性 的内涵及其处理方法。通过分析“蒙特卡洛模拟”数据与经验调查数据，本文展示了在使用倾向值方法进行因果估计的过程中，研究者如何通过“贝叶斯平均法”进行多个备选倾向值模型的选择，以及如何通过联合估计解决倾向值模型与估计模型中的系数不确定性问题。本文的研究也表明，在考虑倾向值估计过程的不确定性之后，结果模型中对于因果关系的估计呈现更小的置信区间和更高的统计效率。关键词：模型形式不确定性模型系数不确定性贝叶斯平均倾向值方法统计效率实质上，所有的模型都是错的，只是一些有用而已。(Essentially，all models are wrong，but some are useful.) ——乔治·鲍克斯(George E. P. Box)，诺尔曼·德雷珀(Norman R. Draper) 一、导言大量的社会学量化研究是 基于特定的统计模型展开的(Raftery，2001)。通过这些统 计模型，研究者能够确认变量之间的概率关系，并依据统计推论(statistical inference)的基本原则将此关系由随机样本 推广至研究总体。这一量化研究范式随着近十几年来各种因果推论模型(causal model)的开发与推广，展现出越来越强 的影响力(Morgan，2014)。在这些因果推论模型中，“倾向值方法”(propensity score method)因其方便、易操作得到国内外很多社会学研究者的青睐(Rosenbaum and Rubin，1983；Rubin，1997；胡安宁，2012；Imbens and Rubin, 2015)。从本质上讲，基于统计模型估计出的变量间关系代表的是一种概率关系而非决定性关系，对于这一点，目前社会学量化研究还没有给予足够的重视。在诠释量化模型结果的时候，很多学者倾向于采用一种“决定论”(deterministic)式的态度。比如，对于线性模型E(Y)=βX，一般会将其诠释为：X变动一个单位会带来Y的期望值E(Y)变动β个单位。这种诠释 虽不错误，却片面的关注点估计(point estimate)结果，忽视了系数β本身也是存在变异(variation)的情况。换句话说，β的“不确定性”(uncertainties)没有被考虑到。1. 例如，当用样本收入均值估算总体收入均值时，我们无法知道总体收入均值的具体值，而只能估算出其可能取值的区间。这一区间的大小和我们希望达到的统计效率(efficiency)有关。2. 一 般而言，所有的备选模型构成了一个模型空间(model space)。概率图模型介绍与计算
条件概率及全概率公式练习题
如何用不确定性解决模型问题
概率初步知识点总结和题型
条件概率练习题57021
条件概率公式
各种概率分布及应用场合(建模对象)
2.2.1 条件概率练习题
统计模型的“不确定性”问题与倾向值方法
相关主题
文本预览