二、Bayes决策理论

第１８卷第３期　２０１０年９月　北京石油化工学院学报　Ｊｏｕｒｎａｌ　ｏｆ　Ｂｅｉｊｉｎｇ　Ｉｎｓｔｉｔｕｔｅ　ｏｆ　Ｐｅｔｒｏ—ｃｈｅｍｉｃａｌ　Ｔｅｃｈｎｏｌｏｇｙ　Ｖｏ１．１８　ＮＯ．３　Ｓｅｐ．２０１０　

Ｂａｙｅｓ决策及其应用　

游　煦　苏　欣　王若鹏　（北京石油化工学院数理系，北京１０２６１７）　

摘　要为了利用Ｂａｙｅｓ决策理论对学生通过考试的概率进行预测，首先在理论上证明了　Ｂａｙｅｓ决策函数是一种最优决策，给出了Ｂａｙｅｓ决策的错误概率以及回归函数的一条简单的性质。其次　在预测学生通过考试的概率模型中，从影响学生成绩的每周电脑游戏时间数Ｔ、课外活动时间数Ｅ及一　些无法量化的指标等因素Ｌ出发，用Ｂａｙｅｓ决策构造出各种情形下的最优决策函数，以较小的错误概率　对学生通过考试进行预测，这在实际教学管理过程中有一定的应用价值。　关　键　词Ｂａｙｅｓ决策；回归函数；错误概率；成绩预测　中图法分类号Ｏｌ７８　

１　主要定理及其证明　

设（Ｘ，ｙ）是一对取值于Ｒ　×｛０，１｝上的　随机变量，对任给的Ｘ∈Ｒ　，称条件概率　７７（ｚ）一Ｐ｛ｙ一１ｌＸ＝ｘ）＝：＝Ｅ｛ｙＩＸ—ｌｚ｝为回归　函数。定义函数ｇ（ｚ）：Ｒ　一｛ｏ，１｝为一个决策　函数，它的错误概率Ｌ（ｇ）一Ｐ｛ｇ（Ｘ）≠Ｙ｝。　特别地，函数　ｇ　（　）一』　，叩（ｚ　＞　／　（１）　一　（　）≤１／２　’　称为Ｂａｙｅｓ决策函数，它具有以下性质：　定理１　对任意的决策函数ｇ（ｚ）：Ｒ　一　｛０，１｝，都有　Ｐ｛ｇ＊（Ｘ）≠ｙ｝≤Ｐ｛ｇ（Ｘ）≠Ｙ）　（２）　即　Ｌ（ｇ＊）≤Ｌ（ｇ）。　证明　任给Ｘ—ｚ，　Ｐ｛ｇ（Ｘ）≠Ｙ　Ｉ　Ｘ—ｚ｝一　Ｐ｛ｇ（Ｘ）一１，Ｙ一０　ｌ　Ｘ—ｚ｝十　Ｐ｛ｇ（Ｘ）＝０，Ｙ一１　Ｉ　Ｘ＝ｚ｝＝　Ｐ｛ｙ一０　ｌ　Ｘ—ｚ｝Ｓｇｎ｛ｇ（　）一１｝＋　Ｐ｛Ｙ一１　Ｉ　Ｘ—ｚ｝Ｓｇｎ｛ｇ（ｚ）一０｝＝＝＝　（１一叩（ｚ））Ｓｇｎ｛ｇ（ｚ）一ｌ｝＋　呀（ｚ）Ｓｇｎ｛ｇ（ｚ）一ｏ｝，　

贝叶斯公式在人工智能中的应用

2022年2月20日 一、公式

贝叶斯定理 若A1,A2,…,An构成完备事件组,且P(Ai)>0，(i =1,2,…,n)， 则对任一事件B(P(B)>0)有

上式称为贝叶斯公式.

概率推理 若有命题变量V1,V2,…,Vn的一个集合υ，并给定υ的子集ε中的变量的某些值ε=e（Ture or Flase)作为证据。我们希望计算概率eVPiiευ，即给定证据时变量Vi,的值为的条件概率。我们把这个过程叫概率推理。

由于Vi有值True或False，故我们对两个条件概率感兴趣，它们是p（vi=True|ε=e）和p（vi=flase|ε=e）。当然，我们只要计算它们中的一个就行了，因为有

p（vi=True|ε=e）+p（vi=Flase|ε=e）=1.

不管ε为何值，用条件概率的定义，我们有

其中，p(vi=true,ε=e)通过使用从高阶联合概率密度计算低阶联合概率的方法获得：

),,(,kiVVpeTrueVp1.

p(ε=e)的计算能用同样的方法进行。

二、发展历史

贝叶斯 Thomas Bayes，英国数学家.1702年出生于伦敦，做过神甫。1742年成为英国皇家学会会员。1763年4月7日逝世。贝叶斯在数学方面主要研究概率论。他首先将归纳推理法用于概率论基础理论，并创立了贝叶斯统计理论，对于统计决策函数、统计推断、统计的估算等做出了贡献.1763年发表了这方面的论著，对于现代概率论和数理统计都有很重要的作用。贝叶斯的另一著作《机会的学说概论》发表于1758年。贝叶斯所采用的许多术语被沿用至今。

贝叶斯决策理论是主观贝叶斯派归纳理论的重要组成部分。贝叶斯决策就是在不完全情报下，对部分未知的状态用主观概率估计，然后用贝叶斯公式对发生概率进行修正，最后再利用期望值和修正概率做出最优决策。

贝叶斯决策理论方法是统计模型决策中的一个基本方法，其基本思想是：1、已知类条件概率密度参数表达式和先验概率；2、利用贝叶斯公式转换成后验概率；3、根据后验概率大小进行决策分nkABPAPABPAPBAPiniikkk,,,)()()()(211)(),(epeTrueVpeTrueVpii类。

第二章 贝叶斯决策理论与统计判别方法

课前思考

1、 机器自动识别分类，能不能避免错分类，如汉字识别能不能做到百分之百正确？怎样才能减少错误？

2、 错分类往往难以避免，因此就要考虑减小因错分类造成的危害损失，譬如对病理切片进行分析，有可能将正确切片误判为癌症切片，反过来也可能将癌症病人误判为正常人，这两种错误造成的损失一样吗？看来后一种错误更可怕，那么有没有可能对后一种错误严格控制？

3、 概率论中讲的先验概率，后验概率与概率密度函数等概念还记得吗？什么是贝叶斯公式？

4、 什么叫正态分布？什么叫期望值？什么叫方差？为什么说正态分布是最重要的分布之一？

学习目标

这一章是模式识别的重要理论基础，它用概率论的概念分析造成错分类和识别错误的根源，并说明与哪些量有关系。在这个基础上指出了什么条件下能使错误率最小。有时不同的错误分类造成的损失会不相同，因此如果错分类不可避免，那么有没有可能对危害大的错分类实行控制。对于这两方面的概念要求理解透彻。 这一章会将分类与计算某种函数联系起来，并在此基础上定义了一些术语，如判别函数、决策面(分界面)，决策域等，要正确掌握其含义。

这一章会涉及设计一个分类器的最基本方法——设计准则函数，并使所设计的分类器达到准则函数的极值，即最优解，要理解这一最基本的做法。这一章会开始涉及一些具体的计算，公式推导、证明等，应通过学习提高这方面的理解能力，并通过习题、思考题提高自己这方面的能力。

本章要点

1、 机器自动识别出现错分类的条件，错分类的可能性如何计算，如何实现使错分类出现可能性最小——基于最小错误率的Bayes决策理论

2、 如何减小危害大的错分类情况——基于最小错误风险的Bayes决策理论

3、 模式识别的基本计算框架——制定准则函数，实现准则函数极值化的分类器设计方法

4、 正态分布条件下的分类器设计

5、 判别函数、决策面、决策方程等术语的概念

习题二答案

1. 假设有A、B两个投资方案，投资额都为3000万元。方案A各年的现金流量分别为：2000万元、1000万元、500万元、300万元、0万元；方案B各年的现金流量分别为：300万元、500万元、1000万元、1500万元、1000万元。使用期都为5年，试比较A、B两种投资方案的内部收益率。

解：对于A 方案，设110%i，215%i，分别计算其净现值：

2.225%)101(0%)101(300%)101(500%)101(1000%1012000300054321NPV

4.4%)151(0%)151(300%)151(500%)151(1000%1512000300054322NPV

再用内插法算出收益率IRR

%9.14)]4.42.225/(2.225%)10%15[(%10AIRR

对于B方案，设110%i，215%i，分别计算其净现值：

7.82%)101(1000%)101(1500%)101(1000%)101(500%101300300054321NPV

8.384%)151(1000%)151(1500%)151(1000%)151(500%151300300054322NPV

再用内插法算出收益率IRR

%9.10)]8.3847.82/(7.82%)10%15[(%10BIRR

方案A 的内部收益率高于方案B的内部收益率。

2. 某企业生产一种产品，单件变动成本为50元/件，售价100元/件，每年固定费用为90万元。试计算盈亏平衡点的产量。若该企业现有生产能力为万件/年，每年能获利多少？为达到规模经营，拟购置一条生产线扩大生产，每年需增加固定费用20万元，但可节约变动费用10元/件，同时采取降低售价10%以扩大销售，此方案是否可行？