基于最小风险的贝叶斯决策

模式识别练习（1）主题：1．“基于最小错误率的贝叶斯决策”模式识别练习2．“基于最小风险的贝叶斯决策”模式识别练习3．基于“主成分分析”的贝叶斯决策模式识别练习已知训练样本集由“”、“”组成：={(0,0),(0,1),(1,0)};={(4,4),(4,5),(5,4),(5,5)}，而测试样本集为C={(2,2),(2.2,2.2),(3,3)}。

（1）利用“基于最小错误率的贝叶斯决策”判别测试集为C中的样本的归类；（2）利用“基于最小风险的贝叶斯决策”判别测试集为C中的样本的归类；（3）在进行“主成分分析”的基础上，采用90%的主成分完成前面的（1）、（2），比较结果的异同。

模式识别练习（2）主题：很多情况下，希望样本维数（特征数）越少越好，降维是解决问题的一个有效的方法。

主成分分析希望得到较少的特征数，而Fisher准则方法则将维数直接降到1维。

一、已知训练样本集由“”、“”组成：={(0,0),(0,1),(1,0)};={(4,4),(4,5),(5,4),(5,5)}，而测试样本集为C={(i,i)|i=0:0.005:5}。

分别利用基于最小错误率的贝叶斯决策、基于最小风险的贝叶斯决策、仅使用第一主成分、使用Fisher准则等四种方法（自编函数文件或用书上的函数文件）计算出测试集C中线段(0,0)-(5,5)的临界点；要求：将计算结果自动写入数据文件中二、已知训练样本集为教材上的10类手写数字集。

分别利用基于最小错误率的贝叶斯决策、基于最小风险的贝叶斯决策、仅使用第一主成分、使用Fisher准则等四种方法，统计出各大类的错误率和计算机cpu的计算时间，采用的测试集C依旧是10类手写数字集（虽然分类已知，但用不同的方法实际判别时可能有误判情况！）要求：使用书上的函数文件，并将计算结果自动写入数据文件中模式识别练习（3）一、已知训练样本集由“”、“”组成：={(0,0),(0,1),(1,0)}；={(4,4),(4,5),(5,4),(5,5)}，而测试样本集为C={(i,i)|i=0:0.01:5}。

最小风险贝叶斯决策判决规则1. 走进最小风险的世界你有没有过这种经历？你站在一个十字路口，不知道该往哪边走。

左边可能有更美丽的风景，但也可能遇到堵车；右边看似平淡无奇，但也许会有惊喜。

决定究竟走哪边，真是让人抓狂。

其实，这就像是贝叶斯决策中的一个经典问题：如何在不确定的情况下做出最优选择？听起来复杂对吧？别担心，让我们一步步来解开这个谜团。

2. 贝叶斯决策规则大揭秘2.1 贝叶斯的魔法贝叶斯决策规则的核心思想就是最小化风险。

我们先得了解什么是风险。

想象一下，你在赌场里，拿着一把筹码，面前有一副扑克牌。

你能选择赌一手，但不确定对手的牌有多强。

你知道，如果你选择错了，可能会输钱；如果选择对了，可能会赢大钱。

最小风险的意思就是在这张扑克牌游戏中，怎么才能让你输钱的概率最小，也就是风险最小。

2.2 如何选择最小风险的路径回到我们的十字路口问题。

假如你想用贝叶斯决策规则来决定走哪条路，首先，你需要知道每条路的可能结果和这些结果的概率。

简单来说，你得了解每条路可能带来的好事和坏事的概率。

比如，左边的路你知道可能会遇到拥堵，概率是50%，而右边的路，你知道它的拥堵概率只有20%。

这时候，你就需要计算走每条路的期望风险。

期望风险就是对所有可能结果的风险进行加权平均。

简单点说，就是把每条路的所有可能坏结果的风险加起来，看哪个路的综合风险最小。

听起来是不是有点像在做数学题？别担心，做这种选择题其实就像是你在超市挑选打折商品，挑那个最划算的就对了。

3. 风险最小化的妙招3.1 把风险控制在合理范围内在现实生活中，我们面临的风险多得数不过来，比如投资股市、选择工作、甚至是买房子。

最小风险贝叶斯决策规则就像是你手里的一个万能工具，可以帮助你在这些选择中做出更理智的决定。

想象一下，你要投资一个新项目。

你可以用贝叶斯方法来估算这个项目的成功概率和可能带来的损失。

你计算出每种可能结果的风险，然后把它们加权，看看哪种投资最能让你的钱包安稳。

最小风险贝叶斯例题
在贝叶斯理论中，我们可以通过考虑不同决策的风险来选择最优决策。

举个例子，假设我们要预测某天的天气，可能有晴天、阴天、雨天三种可能性。

我们可以通过历史数据得到每种天气出现的概率，即先验概率。

但是在实际预测中，不同的预测结果会产生不同的风险。

例如，如果我们将雨天预测为晴天，那么人们可能会忘记带伞而淋雨，这就是预测错误所带来的风险。

因此，我们需要考虑每种预测结果所带来的风险，并选择最小风险的决策。

这就是最小风险贝叶斯决策的思想。

具体来说，在上面的例子中，我们可以定义不同预测结果的风险，例如：
- 将晴天预测为雨天的风险为10元
- 将雨天预测为晴天的风险为20元
- 将阴天预测为雨天的风险为5元
那么，对于某一天的预测结果，我们可以根据先验概率和风险计算出每种决策的期望风险，选择最小期望风险对应的决策。

例如，如果先验概率为P(晴天)=0.6、P(阴天)=0.3、P(雨天)=0.1，我们对某一天的预测结果为晴天，那么三种决策的期望风险分别为： - 预测晴天，期望风险为0.6*0+0.3*20+0.1*5=6元
- 预测阴天，期望风险为0.6*10+0.3*0+0.1*5=7元
- 预测雨天，期望风险为0.6*20+0.3*5+0.1*0=15元
因此，我们应该选择预测晴天的决策，这样就可以最小化风险。

第一次作业题一：什么是Johnson 判则？答：Johnson 依据实验，将视觉辨别分为四类：探测、取向、识别和确认，并把人眼对目标的观察感知同对“等效条带图案”的视觉联系起来，使人们可以不必顾及目标的具体类别和形态，直接以其“临界尺寸”中所包含的可分辨条带数来评定视觉感知水平。

Johnson 判则给出了在50%概率等级上，所需的可分辨等效条带周数。

通过这一方法探测能力大致与传感器的阈值条带图像分辨能力相关联，其实验结果已成为今天所用的目标辨别方法学的基础。

在工业应用中，Johnson 判则通常采用如下标准。

工业上采用的Johnson 判则题二：观察2km 外宽2m 、高1.5m 的坦克，如果人眼的空间分辨能力是20线对/度，用一个望远镜观察该坦克，要求对目标的识别概率达到50%，试求望远镜的视放大率。

解：坦克最小尺寸对人眼的张角为1.5/2000=0.00075rad 0.04297α≈≈︒要使识别概率达到50%，需在最小尺寸上观测到4个线对，对应的张角为4/200.2t α==︒则望远镜的视放大率应为tan 0.2 4.65tan 0.04297β︒Γ==≈︒题三：如果某人的瞳孔间距为60mm ，体视锐度为10”，试求（1）他的体视半径；（2）在50m 距离上，他的体视误差。

解：体视半径为2max min560mm 6.010/1237.610 4.84810D b α--⨯=∆===''⨯ 在50m 距离上的体视误差为()522250mmin 24.8481050/1050m /60mm= 2.02m 6.010D D b α--⨯⨯''∆=∆⋅=⨯=⨯第二次作业题一：一个年龄50岁的人，近点距离为-0.4m ，远点距离为无限远，试求他的眼睛的屈光调节范围。

解：远点对应的视度为1/0f SD =∞=近点对应的视度为1/0.4 2.5n SD =-=- 他眼睛的屈光调节范围是-2.5。

PCA是一种无监督的映射方法，LDA是一种有监督的映射方法。

PCA只是将整组数据映射到最方便表示这组数据的坐标轴上，映射时没有利用任何数据部的分类信息。

因此，虽然做了PCA后，整组数据在表示上更加方便（降低了维数并将信息损失降到了最低），但在分类上也许会变得更加困难；LDA在增加了分类信息之后，将输入映射到了另外一个坐标轴上，有了这样一个映射，数据之间就变得更易区分了（在低纬上就可以区分，减少了很大的运算量），它的目标是使得类别的点距离越近越好，类别间的点越远越好。

2、最大似然估计和贝叶斯方法的区别？p（x|X）是概率密度函数，X是给定的训练样本的集合，在哪种情况下，贝叶斯估计接近最大似然估计？最大似然估计把待估的参数看做是确定性的量，只是其取值未知。

利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值（模型已知，参数未知）。

贝叶斯估计则是把待估计的参数看成是符合某种先验概率分布的随机变量。

对样本进行观测的过程，把先验概率密度转化为后验概率密度，利用样本的信息修正了对参数的初始估计值。

当训练样本数量趋于无穷的时候，贝叶斯方法将接近最大似然估计。

如果有非常多的训练样本，使得p （x|X）形成一个非常显著的尖峰，而先验概率p（x）又是均匀分布，此时两者的本质是相同的。

3、为什么模拟退火能够逃脱局部极小值？在解空间随机搜索，遇到较优解就接受，遇到较差解就按一定的概率决定是否接受，这个概率随时间的变化而降低。

实际上模拟退火算法也是贪心算法，只不过它在这个基础上增加了随机因素。

这个随机因素就是：以一定的概率来接受一个比单前解要差的解。

通过这个随机因素使得算法有可能跳出这个局部最优解。

4、最小错误率和最小贝叶斯风险之间的关系？基于最小风险的贝叶斯决策就是基于最小错误率的贝叶斯决策，换言之，可以把基于最小错误率决策看做是基于最小风险决策的一个特例，基于最小风险决策本质上就是对基于最小错误率公式的加权处理。

风险投资中的最小贝叶斯风险决策基金项目:泰山医学院青年科学基金资助项目最小贝叶斯风险决策使贝叶斯风险最小的决策方法。

本文通过一个具体实例,阐述贝叶斯决策在风险投资分析中的应用。

并由此得出结论:贝叶斯决策属于风险型决策,决策者虽不能控制客观因素的变化,但却可掌握其变化的可能状况及各状况的分布概率,并利用期望值即未来可能出现的平均状况作为决策准则。

贝叶斯決策不是使决策问题完全无风险,而是通过其他途径增加信息量使决策中的风险减小。

由此可以看出,贝叶斯决策是一种比较实际可行的方法。

[ 关键词] 风险投资贝叶斯决策最小贝叶斯风险决策贝叶斯决策就是在不完全情报下,对部分未知的状态用主观概率估计,然后用贝叶斯公式对发生概率进行修正,最后再利用期望值和修正概率做出最优决策。

贝叶斯决策理论方法是统计模型决策中的一个基本方法,其基本思想是:1. 已知含有未知参数的概率密度表达式以及未知参数先验概率;2. 利用先验分布计算其后验概率;3. 根据后验概率求参数贝叶斯决策。

寻求贝叶斯决策函数有两条路径,一条是使后验风险最小,一条是使贝叶斯风险最小。

实际中,人们常使用后验风险途径,因为它的计算相对简单和方便,本文我们使用的实际上正是后验风险准则。

在不同的先验分布假设下,参数的贝叶斯决策量一般是不同的。

本文旨在通过在各种不同的先验分布条件下进行参数的贝叶斯决策,最终比较并探讨各种情况下贝叶斯决策的优良性问题。

一、提出问题设想有一投资公司对某一项目已经投入100万元。

现在决定是追加投资100万或是保持原投资不变,还是将已经投入的100万撤回。

若在一年后该项投资的收益会因市场的变化而不同,如果一年后的市场对该项投资分为有利和不利两种情况。

且根据以往的经验有利和不利两种情况发生的概率分别为:0.7和0.3。

有利时可获利30%,不利时会损失40%。

在这种情况下,寻求最小贝叶期风险决策。

如果该公司投资前用5万元聘请一名投资顾问,该顾问在未来有利的情况下预测的准确率为85%,不利时预测的准确率是90%。

最小风险贝叶斯例题假设有两个袋子，袋子A中有3个红球和7个蓝球，袋子B中有6个红球和4个蓝球。

从这两个袋子中随机选择一个袋子，然后从该袋子中随机抽出一个球。

如果抽出的球是红色的，你需要根据最小风险贝叶斯准则来判断该球来自哪个袋子。

先定义一些符号：- 假设袋子A被选择的概率为P(A)，袋子B被选择的概率为P(B)。

由于只有2个袋子可供选择，因此P(A)+P(B)=1。

- 假设从袋子A中抽出红球的概率为P(红|A)，从袋子B中抽出红球的概率为P(红|B)。

根据上述数据，P(红|A)=3/10，P(红|B)=6/10。

- 我们需要计算的是P(A|红)，即在抽出红球的情况下，袋子A被选择的概率。

根据贝叶斯定理，我们有：P(A|红) = P(红|A) * P(A) / P(红)其中，P(红)表示从两个袋子中抽出红球的概率，可以用全概率公式计算：P(红) = P(红|A) * P(A) + P(红|B) * P(B)将上述数据代入公式，可得：P(红) = 3/10 * P(A) + 6/10 * P(B)因为P(A)+P(B)=1，所以可以将P(B)表示为1-P(A)，代入公式，得到：P(红) = 3/10 * P(A) + 6/10 * (1 - P(A)) = 6/10 - 3/10 * P(A)将P(红)代入P(A|红)的公式，得到：P(A|红) = P(红|A) * P(A) / (3/10 * P(A) + 6/10 - 3/10 * P(A)) 化简上式，得到：P(A|红) = 3/7因此，根据最小风险贝叶斯准则，我们应该选择袋子A，因为袋子A被选择的概率为3/7，大于袋子B的被选择概率2/7。