基于最小风险的贝叶斯决策

模式识别练习（1）主题：1．“基于最小错误率的贝叶斯决策”模式识别练习2．“基于最小风险的贝叶斯决策”模式识别练习3．基于“主成分分析”的贝叶斯决策模式识别练习已知训练样本集由“”、“”组成：={(0,0),(0,1),(1,0)};={(4,4),(4,5),(5,4),(5,5)}，而测试样本集为C={(2,2),(2.2,2.2),(3,3)}。

（1）利用“基于最小错误率的贝叶斯决策”判别测试集为C中的样本的归类；（2）利用“基于最小风险的贝叶斯决策”判别测试集为C中的样本的归类；（3）在进行“主成分分析”的基础上，采用90%的主成分完成前面的（1）、（2），比较结果的异同。

模式识别练习（2）主题：很多情况下，希望样本维数（特征数）越少越好，降维是解决问题的一个有效的方法。

主成分分析希望得到较少的特征数，而Fisher准则方法则将维数直接降到1维。

一、已知训练样本集由“”、“”组成：={(0,0),(0,1),(1,0)};={(4,4),(4,5),(5,4),(5,5)}，而测试样本集为C={(i,i)|i=0:0.005:5}。

分别利用基于最小错误率的贝叶斯决策、基于最小风险的贝叶斯决策、仅使用第一主成分、使用Fisher准则等四种方法（自编函数文件或用书上的函数文件）计算出测试集C中线段(0,0)-(5,5)的临界点；要求：将计算结果自动写入数据文件中二、已知训练样本集为教材上的10类手写数字集。

分别利用基于最小错误率的贝叶斯决策、基于最小风险的贝叶斯决策、仅使用第一主成分、使用Fisher准则等四种方法，统计出各大类的错误率和计算机cpu的计算时间，采用的测试集C依旧是10类手写数字集（虽然分类已知，但用不同的方法实际判别时可能有误判情况！）要求：使用书上的函数文件，并将计算结果自动写入数据文件中模式识别练习（3）一、已知训练样本集由“”、“”组成：={(0,0),(0,1),(1,0)}；={(4,4),(4,5),(5,4),(5,5)}，而测试样本集为C={(i,i)|i=0:0.01:5}。

最小风险贝叶斯决策判决规则1. 走进最小风险的世界你有没有过这种经历？你站在一个十字路口，不知道该往哪边走。

左边可能有更美丽的风景，但也可能遇到堵车；右边看似平淡无奇，但也许会有惊喜。

决定究竟走哪边，真是让人抓狂。

其实，这就像是贝叶斯决策中的一个经典问题：如何在不确定的情况下做出最优选择？听起来复杂对吧？别担心，让我们一步步来解开这个谜团。

2. 贝叶斯决策规则大揭秘2.1 贝叶斯的魔法贝叶斯决策规则的核心思想就是最小化风险。

我们先得了解什么是风险。

想象一下，你在赌场里，拿着一把筹码，面前有一副扑克牌。

你能选择赌一手，但不确定对手的牌有多强。

你知道，如果你选择错了，可能会输钱；如果选择对了，可能会赢大钱。

最小风险的意思就是在这张扑克牌游戏中，怎么才能让你输钱的概率最小，也就是风险最小。

2.2 如何选择最小风险的路径回到我们的十字路口问题。

假如你想用贝叶斯决策规则来决定走哪条路，首先，你需要知道每条路的可能结果和这些结果的概率。

简单来说，你得了解每条路可能带来的好事和坏事的概率。

比如，左边的路你知道可能会遇到拥堵，概率是50%，而右边的路，你知道它的拥堵概率只有20%。

这时候，你就需要计算走每条路的期望风险。

期望风险就是对所有可能结果的风险进行加权平均。

简单点说，就是把每条路的所有可能坏结果的风险加起来，看哪个路的综合风险最小。

听起来是不是有点像在做数学题？别担心，做这种选择题其实就像是你在超市挑选打折商品，挑那个最划算的就对了。

3. 风险最小化的妙招3.1 把风险控制在合理范围内在现实生活中，我们面临的风险多得数不过来，比如投资股市、选择工作、甚至是买房子。

最小风险贝叶斯决策规则就像是你手里的一个万能工具，可以帮助你在这些选择中做出更理智的决定。

想象一下，你要投资一个新项目。

你可以用贝叶斯方法来估算这个项目的成功概率和可能带来的损失。

你计算出每种可能结果的风险，然后把它们加权，看看哪种投资最能让你的钱包安稳。

最小风险贝叶斯例题
在贝叶斯理论中，我们可以通过考虑不同决策的风险来选择最优决策。

举个例子，假设我们要预测某天的天气，可能有晴天、阴天、雨天三种可能性。

我们可以通过历史数据得到每种天气出现的概率，即先验概率。

但是在实际预测中，不同的预测结果会产生不同的风险。

例如，如果我们将雨天预测为晴天，那么人们可能会忘记带伞而淋雨，这就是预测错误所带来的风险。

因此，我们需要考虑每种预测结果所带来的风险，并选择最小风险的决策。

这就是最小风险贝叶斯决策的思想。

具体来说，在上面的例子中，我们可以定义不同预测结果的风险，例如：
- 将晴天预测为雨天的风险为10元
- 将雨天预测为晴天的风险为20元
- 将阴天预测为雨天的风险为5元
那么，对于某一天的预测结果，我们可以根据先验概率和风险计算出每种决策的期望风险，选择最小期望风险对应的决策。

例如，如果先验概率为P(晴天)=0.6、P(阴天)=0.3、P(雨天)=0.1，我们对某一天的预测结果为晴天，那么三种决策的期望风险分别为： - 预测晴天，期望风险为0.6*0+0.3*20+0.1*5=6元
- 预测阴天，期望风险为0.6*10+0.3*0+0.1*5=7元
- 预测雨天，期望风险为0.6*20+0.3*5+0.1*0=15元
因此，我们应该选择预测晴天的决策，这样就可以最小化风险。

第一次作业题一：什么是Johnson 判则？答：Johnson 依据实验，将视觉辨别分为四类：探测、取向、识别和确认，并把人眼对目标的观察感知同对“等效条带图案”的视觉联系起来，使人们可以不必顾及目标的具体类别和形态，直接以其“临界尺寸”中所包含的可分辨条带数来评定视觉感知水平。

Johnson 判则给出了在50%概率等级上，所需的可分辨等效条带周数。

通过这一方法探测能力大致与传感器的阈值条带图像分辨能力相关联，其实验结果已成为今天所用的目标辨别方法学的基础。

在工业应用中，Johnson 判则通常采用如下标准。

工业上采用的Johnson 判则题二：观察2km 外宽2m 、高1.5m 的坦克，如果人眼的空间分辨能力是20线对/度，用一个望远镜观察该坦克，要求对目标的识别概率达到50%，试求望远镜的视放大率。

解：坦克最小尺寸对人眼的张角为1.5/2000=0.00075rad 0.04297α≈≈︒要使识别概率达到50%，需在最小尺寸上观测到4个线对，对应的张角为4/200.2t α==︒则望远镜的视放大率应为tan 0.2 4.65tan 0.04297β︒Γ==≈︒题三：如果某人的瞳孔间距为60mm ，体视锐度为10”，试求（1）他的体视半径；（2）在50m 距离上，他的体视误差。

解：体视半径为2max min560mm 6.010/1237.610 4.84810D b α--⨯=∆===''⨯ 在50m 距离上的体视误差为()522250mmin 24.8481050/1050m /60mm= 2.02m 6.010D D b α--⨯⨯''∆=∆⋅=⨯=⨯第二次作业题一：一个年龄50岁的人，近点距离为-0.4m ，远点距离为无限远，试求他的眼睛的屈光调节范围。

解：远点对应的视度为1/0f SD =∞=近点对应的视度为1/0.4 2.5n SD =-=- 他眼睛的屈光调节范围是-2.5。

PCA是一种无监督的映射方法，LDA是一种有监督的映射方法。

PCA只是将整组数据映射到最方便表示这组数据的坐标轴上，映射时没有利用任何数据部的分类信息。

因此，虽然做了PCA后，整组数据在表示上更加方便（降低了维数并将信息损失降到了最低），但在分类上也许会变得更加困难；LDA在增加了分类信息之后，将输入映射到了另外一个坐标轴上，有了这样一个映射，数据之间就变得更易区分了（在低纬上就可以区分，减少了很大的运算量），它的目标是使得类别的点距离越近越好，类别间的点越远越好。

2、最大似然估计和贝叶斯方法的区别？p（x|X）是概率密度函数，X是给定的训练样本的集合，在哪种情况下，贝叶斯估计接近最大似然估计？最大似然估计把待估的参数看做是确定性的量，只是其取值未知。

利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值（模型已知，参数未知）。

贝叶斯估计则是把待估计的参数看成是符合某种先验概率分布的随机变量。

对样本进行观测的过程，把先验概率密度转化为后验概率密度，利用样本的信息修正了对参数的初始估计值。

当训练样本数量趋于无穷的时候，贝叶斯方法将接近最大似然估计。

如果有非常多的训练样本，使得p （x|X）形成一个非常显著的尖峰，而先验概率p（x）又是均匀分布，此时两者的本质是相同的。

3、为什么模拟退火能够逃脱局部极小值？在解空间随机搜索，遇到较优解就接受，遇到较差解就按一定的概率决定是否接受，这个概率随时间的变化而降低。

实际上模拟退火算法也是贪心算法，只不过它在这个基础上增加了随机因素。

这个随机因素就是：以一定的概率来接受一个比单前解要差的解。

通过这个随机因素使得算法有可能跳出这个局部最优解。

4、最小错误率和最小贝叶斯风险之间的关系？基于最小风险的贝叶斯决策就是基于最小错误率的贝叶斯决策，换言之，可以把基于最小错误率决策看做是基于最小风险决策的一个特例，基于最小风险决策本质上就是对基于最小错误率公式的加权处理。

风险投资中的最小贝叶斯风险决策基金项目:泰山医学院青年科学基金资助项目最小贝叶斯风险决策使贝叶斯风险最小的决策方法。

本文通过一个具体实例,阐述贝叶斯决策在风险投资分析中的应用。

并由此得出结论:贝叶斯决策属于风险型决策,决策者虽不能控制客观因素的变化,但却可掌握其变化的可能状况及各状况的分布概率,并利用期望值即未来可能出现的平均状况作为决策准则。

贝叶斯決策不是使决策问题完全无风险,而是通过其他途径增加信息量使决策中的风险减小。

由此可以看出,贝叶斯决策是一种比较实际可行的方法。

[ 关键词] 风险投资贝叶斯决策最小贝叶斯风险决策贝叶斯决策就是在不完全情报下,对部分未知的状态用主观概率估计,然后用贝叶斯公式对发生概率进行修正,最后再利用期望值和修正概率做出最优决策。

贝叶斯决策理论方法是统计模型决策中的一个基本方法,其基本思想是:1. 已知含有未知参数的概率密度表达式以及未知参数先验概率;2. 利用先验分布计算其后验概率;3. 根据后验概率求参数贝叶斯决策。

寻求贝叶斯决策函数有两条路径,一条是使后验风险最小,一条是使贝叶斯风险最小。

实际中,人们常使用后验风险途径,因为它的计算相对简单和方便,本文我们使用的实际上正是后验风险准则。

在不同的先验分布假设下,参数的贝叶斯决策量一般是不同的。

本文旨在通过在各种不同的先验分布条件下进行参数的贝叶斯决策,最终比较并探讨各种情况下贝叶斯决策的优良性问题。

一、提出问题设想有一投资公司对某一项目已经投入100万元。

现在决定是追加投资100万或是保持原投资不变,还是将已经投入的100万撤回。

若在一年后该项投资的收益会因市场的变化而不同,如果一年后的市场对该项投资分为有利和不利两种情况。

且根据以往的经验有利和不利两种情况发生的概率分别为:0.7和0.3。

有利时可获利30%,不利时会损失40%。

在这种情况下,寻求最小贝叶期风险决策。

如果该公司投资前用5万元聘请一名投资顾问,该顾问在未来有利的情况下预测的准确率为85%,不利时预测的准确率是90%。

最小风险贝叶斯例题假设有两个袋子，袋子A中有3个红球和7个蓝球，袋子B中有6个红球和4个蓝球。

从这两个袋子中随机选择一个袋子，然后从该袋子中随机抽出一个球。

如果抽出的球是红色的，你需要根据最小风险贝叶斯准则来判断该球来自哪个袋子。

先定义一些符号：- 假设袋子A被选择的概率为P(A)，袋子B被选择的概率为P(B)。

由于只有2个袋子可供选择，因此P(A)+P(B)=1。

- 假设从袋子A中抽出红球的概率为P(红|A)，从袋子B中抽出红球的概率为P(红|B)。

根据上述数据，P(红|A)=3/10，P(红|B)=6/10。

- 我们需要计算的是P(A|红)，即在抽出红球的情况下，袋子A被选择的概率。

根据贝叶斯定理，我们有：P(A|红) = P(红|A) * P(A) / P(红)其中，P(红)表示从两个袋子中抽出红球的概率，可以用全概率公式计算：P(红) = P(红|A) * P(A) + P(红|B) * P(B)将上述数据代入公式，可得：P(红) = 3/10 * P(A) + 6/10 * P(B)因为P(A)+P(B)=1，所以可以将P(B)表示为1-P(A)，代入公式，得到：P(红) = 3/10 * P(A) + 6/10 * (1 - P(A)) = 6/10 - 3/10 * P(A)将P(红)代入P(A|红)的公式，得到：P(A|红) = P(红|A) * P(A) / (3/10 * P(A) + 6/10 - 3/10 * P(A)) 化简上式，得到：P(A|红) = 3/7因此，根据最小风险贝叶斯准则，我们应该选择袋子A，因为袋子A被选择的概率为3/7，大于袋子B的被选择概率2/7。

最小风险贝叶斯例题介绍与背景贝叶斯定理是概率论中的一个重要定理，它描述了在已知某个条件下，另一个条件发生的概率。

贝叶斯定理在许多领域都有广泛的应用，包括统计学、人工智能、数据分析等。

其中一个应用领域是风险评估和决策分析。

在风险评估中，我们经常需要根据一些条件来评估某个事件发生的风险。

最小风险贝叶斯例题就是一个典型的例子，它可以帮助我们通过贝叶斯定理来评估在给定条件下某个事件的最小风险。

最小风险贝叶斯例题解析问题定义假设我们有两个条件，条件A和条件B，并且已知在条件A下事件X发生的概率为P(X|A)，在条件B下事件X发生的概率为P(X|B)。

我们还知道，在给定条件A或条件B的情况下，事件X都是唯一的。

我们的目标是通过条件A和条件B的概率，来评估在不同条件下事件X的最小风险，并决策采取哪个条件。

解题步骤步骤一：计算事件X在条件A和条件B下的概率根据题目给出的信息，我们可以计算事件X在条件A和条件B下的概率。

假设事件X在条件A下的概率为P(X|A)，事件X在条件B下的概率为P(X|B)。

步骤二：计算事件X发生的总概率根据贝叶斯定理，事件X发生的总概率可以用以下公式计算：P(X) = P(X|A) * P(A) + P(X|B) * P(B)其中，P(A)表示条件A发生的概率，P(B)表示条件B发生的概率。

步骤三：计算在条件A下事件X的最小风险在条件A下事件X的最小风险可以用以下公式计算：R(X|A) = P(X|A) * P(A) / P(X)其中，P(X|A)表示在条件A下事件X发生的概率，P(A)表示条件A发生的概率，P(X)表示事件X发生的总概率。

步骤四：计算在条件B下事件X的最小风险在条件B下事件X的最小风险可以用以下公式计算：R(X|B) = P(X|B) * P(B) / P(X)其中，P(X|B)表示在条件B下事件X发生的概率，P(B)表示条件B发生的概率，P(X)表示事件X发生的总概率。

模式识别试题及总结一、填空与选择填空（本题答案写在此试卷上，30分）1、模式识别系统的基本构成单元包括：模式采集、特征提取与选择和模式分类。

2、统计模式识别中描述模式的方法一般使用特真矢量；句法模式识别中模式描述方法一般有串、树、网。

3、聚类分析算法属于（1）；判别域代数界面方程法属于（3）。

（1）无监督分类 (2)有监督分类（3）统计模式识别方法（4）句法模式识别方法4、若描述模式的特征量为0-1二值特征量，则一般采用（4）进行相似性度量。

（1）距离测度（2）模糊测度（3）相似测度（4）匹配测度5、下列函数可以作为聚类分析中的准则函数的有（1）（3）（4）。

（1）（2） (3) (4)6、Fisher线性判别函数的求解过程是将N维特征矢量投影在（2）中进行。

（1）二维空间（2）一维空间（3）N-1维空间7、下列判别域界面方程法中只适用于线性可分情况的算法有（1）；线性可分、不可分都适用的有（3）。

（1）感知器算法（2）H-K算法（3）积累位势函数法8、下列四元组中满足文法定义的有（1）（2）（4）。

（1）({A, B}, {0, 1}, {A?01, A ? 0A1 , A ? 1A0 , B ? BA , B ? 0}, A) （2）({A}, {0, 1}, {A?0, A ? 0A}, A)（3）({S}, {a, b}, {S ? 00S, S ? 11S, S ? 00, S ? 11}, S)（4）({A}, {0, 1}, {A?01, A ? 0A1, A ? 1A0}, A)9、影响层次聚类算法结果的主要因素有（计算模式距离的测度、（聚类准则、类间距离门限、预定的类别数目））。

10、欧式距离具有（ 1、2 ）；马式距离具有（1、2、3、4 ）。

（1）平移不变性（2）旋转不变性（3）尺度缩放不变性（4）不受量纲影响的特性11、线性判别函数的正负和数值大小的几何意义是（正（负）表示样本点位于判别界面法向量指向的正（负）半空间中；绝对值正比于样本点到判别界面的距离。

1、试说明Mahalanobis 距离平方的定义，到某点的Mahalanobis 距离平方为常数的轨迹的几何意义，它与欧氏距离的区别与联系。

答：M ahalanobis距离的平方定义为：其中x,u 为两个数据，Z- ¹是一个正定对称矩阵(一般为协方差矩阵)。

根据定义，距某一点的Mahalanobis 距离相等点的轨迹是超椭球，如果是单位矩阵Z, 则M ahalanobis距离就是通常的欧氏距离。

2、试说明用监督学习与非监督学习两种方法对道路图像中道路区域的划分的基本做法，以说明这两种学习方法的定义与它们间的区别。

答：监督学习方法用来对数据实现分类，分类规则通过训练获得。

该训练集由带分类号的数据集组成，因此监督学习方法的训练过程是离线的。

非监督学习方法不需要单独的离线训练过程，也没有带分类号(标号)的训练数据集，一般用来对数据集进行分析，如聚类，确定其分布的主分量等。

就道路图像的分割而言，监督学习方法则先在训练用图像中获取道路象素与非道路象素集，进行分类器设计，然后用所设计的分类器对道路图像进行分割。

使用非监督学习方法，则依据道路路面象素与非道路象素之间的聚类分析进行聚类运算，以实现道路图像的分割。

3、已知一组数据的协方差矩阵为, 试问(1)协方差矩阵中各元素的含义。

(2)求该数组的两个主分量。

(3)主分量分析或称K-L 变换，它的最佳准则是什么?(4)为什么说经主分量分析后，消除了各分量之间的相关性。

答：协方差矩阵为, 则(1)对角元素是各分量的方差，非对角元素是各分量之间的协方差。

(2)主分量，通过求协方差矩阵的特征值，用得(A- 1)²=1/4,则,相应地：A=3/2, 对应特征向量为,,对应0 这两个特征向量，即为主分量。

K-L 变换的最佳准则为：(3)对一组数据进行按一组正交基分解，在只取相同数量分量的条件下，以均方误差计算截尾误差最小。

(4)在经主分量分解后，协方差矩阵成为对角矩阵，因而各主分量间相关性消除。