下载文档原格式
实验一贝叶斯决策一、 实验原理1. 最小错误率贝叶斯决策规则：对于两类问题，最小错误率贝叶斯决策有以下裁决规则：P( 1 | x) P( 2 | x),则 x 1 ; 反之，则 x 2。
因为先验概率 P( i ）可以确立，与当前样本 x 没关，因此决策规则也可整理成下边的形式：若l (x) P( x | 1 ) P( 2 ) ，则 x1 ,不然 x 。
P(x |2 ) P( 1) 22. 均匀错误率决策界限把 x 轴切割成两个地域，分别称为第一类和第二类的决策地域 .样本在中但属于第二类的错误概率和样本在中但属于第一类的错误概率就是出现错误的概率， 再考虑到样本自己的分布后就是均匀错误率：t P( 2 | x) p( x)dx P( 1 | x) p( x)dxP(e)t tp( x | 2 ) P( 2 )dx p( x | 1 ) P( 1 )dx t3. 此实验中的裁决门限和均匀错误率（1）裁决门限假设随机脉冲信号 f 中 0 的概率为 ,高斯噪声信号 n 服从,信号叠加时的放大倍数为 a ，叠加后的信号为s f * a n 。
由最小错误率贝叶斯决策可得：P( 1 ) p( x | 1 )P( 2 ) p( x |2)a2 2a2 2 (ln(1 p0 ) ln p0 )化简计算得： t2a（2）均匀错误率由上述积分式可计算。
二、实验内容1、已知均值和方差，产生高斯噪声信号，计算其统计特征实验中利用 MATLAB产生均值为 0，方差为 1 的高斯噪声信号，信号统计分布的程序和结果以下：%产生高斯噪声并统计其特征x=0;%均值为 0y=1;%方差为 1n=normrnd(x,y,[1 1000000]);%产生均值为 0，方差为 1 的高斯噪声m1=mean(n);%高斯噪声的均值v1=var(n); %高斯噪声的方差figure(1)plot(n(1:400)); title( '均值为 0，方差为 1 的高斯噪声 ');figure(2)hist(n,10000); title('高斯噪声的统计特征 ');获得 m1=-4.6534e-005 ；v1= 0.9971 。
一、什么是贝叶斯决策在以上所述的一般风险性决策问题中，自然状态的概率是作为已知条件给出的。
但是，在现实经济生活中，事先给出的各种状态的概率（又称为先验概率）常常是不准确的。
因此，需要通过进一步的试验和调查，收集补充信息，并利用补充信息，对原来估计的概率进行修订，从而求得更接近实际的新概率（利用补充信息修订的概率又称为后验概率）。
所谓贝叶斯决策，就是利用补充信息，根据概率计算中的贝叶斯公式来估计后验概率，并在此基础上对备选方案进行评价和选择的一种决策方法。
利用贝叶斯决策方法，可以将先验的信息和补充的信息结合在一起进行分析与判断，从而提高了决策的可靠性。
同时，利用该方法，还可以对信息的价值以及是否需要采集新的补充信息作出科学的判断。
二、贝叶斯公式与后验概率的估计设某种状态θj的先验概率为P(θj)，通过调查获得的补充信息为e k ,θj给定时，e k的条件概率（似然度）为，则在给定信息e k的条件下,θj 的条件概率即后验概率可用以下贝叶斯公式计算：(9.14)【例9-10】某空调机生产厂家拟向另一电子元件厂购买某种电子元器件，根据过去的经验,该电子元件厂产品发生不同次品率的概率分布如表9-5第二栏所示。
但据说，该厂的产品质量最近有所提高。
现从市场上该电子元件厂出售的该种元器件中，随机抽取了10件，结果未发现次品。
试根据这一信息，对以往元器件厂次品率的概率分布进行修正。
解：以往的概率分布可视为先验概率。
在各种不同次品率给定条件下，抽查10件发生0件次品(发生0件为)的概率近似地服从于二项分布，其似然度可按以下方式计算：(9.15)在Excel 中，利用BINOMDIST函数可以方便地计算二项分布的概率。
表9-5的第3栏，给出了按照上式计算的结果。
将似然度代入贝叶斯公式（9.4）式，可求得不同状态下的后验概率,结果如表9-5中最后一栏（第5栏）所示。
例如，次品率为0.05状态的后验概率为：从表中结果可以看出：由于实际抽查的次品率为0,因此，次品率为0.05这种状态的后验概率大于先验概率，而次品率为0.15和 0.20这两种状态的后验概率小于先验概率。
贝叶斯决策方法的步骤贝叶斯决策方法是一种基于贝叶斯定理的决策方法，其原理是通过先验概率和后验概率来进行决策。
它在众多领域中得到了广泛的应用，比如机器学习、金融领域、医疗诊断等。
下面就让我们来详细了解一下贝叶斯决策方法的步骤。
步骤一：建立概率模型贝叶斯决策方法首先需要建立一个概率模型，包括先验概率、条件概率等。
先验概率是指在没有任何其他信息的情况下，某一事件发生的概率；条件概率是指在已经发生的其他事件的前提下，某一事件发生的概率。
通过收集数据、统计分析等方法，可以得到所需的概率模型。
步骤二：收集样本数据在进行贝叶斯决策之前，需要收集样本数据，以便用于更新概率模型中的参数。
样本数据的收集应当具有代表性，并且需要足够的量来进行统计分析，以准确地估计概率参数。
步骤三：计算先验概率在得到样本数据之后，需要根据这些数据计算先验概率。
先验概率是在考虑其他任何信息之前，某一事件发生的概率。
通过对样本数据进行统计分析，可以得到相应的先验概率。
步骤四：计算条件概率条件概率是在已知其他事件发生的前提下，某一事件发生的概率。
在得到先验概率之后，需要根据样本数据计算条件概率，以便进行后续的决策过程。
步骤五：应用贝叶斯定理进行决策在建立好概率模型并计算好相应的概率之后，可以应用贝叶斯定理进行决策。
贝叶斯定理是通过先验概率和条件概率来计算后验概率，从而做出最优的决策。
根据后验概率的大小，可以确定最优的决策方案。
步骤六：不断更新概率模型随着新的样本数据的不断积累，概率模型中的参数也需要不断地更新。
通过将新的样本数据融入到原先的概率模型中，可以得到更为准确的概率参数，从而提高决策的准确性。
在实际应用中，贝叶斯决策方法需要根据具体问题对概率模型进行适当的建立和调整，同时也需要根据具体的样本数据来进行概率参数的估计。
在处理一些复杂的实际问题时，可能还需要采用一些先进的数学方法来优化概率模型和提高决策的准确性。
贝叶斯决策方法是一种灵活、有效的决策方法，在实际应用中有着广泛的用武之地。
![第2章贝叶斯决策理论[1]](https://img.taocdn.com/s1/m/6575d6a814791711cd791720.png)
机器学习——基础整理（⼀）贝叶斯决策论；⼆次判别函数；贝叶斯错误率；⽣成式模型的参数⽅法本⽂简单整理了以下内容：（⼀）贝叶斯决策论：最⼩错误率决策、最⼩风险决策；经验风险与结构风险（⼆）判别函数；⽣成式模型；多元⾼斯密度下的判别函数：线性判别函数LDF、⼆次判别函数QDF（三）贝叶斯错误率（四）⽣成式模型的参数估计：贝叶斯学派与频率学派；极⼤似然估计、最⼤后验概率估计、贝叶斯估计；多元⾼斯密度下的参数估计（五）朴素贝叶斯与⽂本分类（挪到了下⼀篇博客）（⼀）贝叶斯决策论：最⼩风险决策（Minimum risk decision）贝叶斯决策论（Bayesian decision theory）假设模式分类的决策可由概率形式描述，并假设问题的概率结构已知。
规定以下记号：类别有c个，为\omega_1,\omega_2,...,\omega_c；样本的特征⽮量\textbf x\in\mathbb R^d；类别\omega_i的先验概率为P(\omega_i)（prior），且\sum_{i=1}^cP(\omega_i)=1；类别\omega_i对样本的类条件概率密度为p(\textbf x|\omega_i)，称为似然（likelihood）；那么，已知样本\textbf x，其属于类别\omega_i的后验概率P(\omega_i|\textbf x)（posterior）就可以⽤贝叶斯公式来描述（假设为连续特征）：P(\omega_i|\textbf x)=\frac{p(\textbf x|\omega_i)P(\omega_i)}{p(\textbf x)}=\frac{p(\textbf x|\omega_i)P(\omega_i)}{\sum_{j=1}^cp(\textbfx|\omega_j)P(\omega_j)}分母被称为证据因⼦（evidence）。
后验概率当然也满⾜和为1，\sum_{j=1}^cP(\omega_j|\textbf x)=1。
第四章贝叶斯决策决策的科学化就是90%的信息加上10%的判断，信息必须要全面、准确、及时，否则就会造成决策的失误，只有最大限度地获取信息和利用信息，才能最大限度地提高决策的正确性。
在风险型决策中，假设各个结局R的发生概率是已知的，一j总是根据历史经验，统计资般Pj料由决策者估计的，又称为“先验概率”。
●某水利工程公司拟对大江截流的施工工期做出决策。
可供选择的方案有两种：一是在9月份施工；二是在10月份施工。
●假定其他条件都具备，影响截流的唯一因素是天气与水文状况。
10月份的天气与水文状况肯定可以保证截流成功。
而9月份的天气水文状况有两种可能。
如果天气好，上游没有洪水，9月底前截流成功，可使整个工程的工期提前，从而能比10月施工增加利润1000万元；如果天气坏，上游出现洪水，截流失败，则比10月施工增加500万元的损失。
●根据以往经验，9月份天气好的可能性是0.6，天气坏的可能性是0.4。
●是否应在9月份施工？为该公司选择合适的行动方案。
●某水利工程公司拟对大江截流的施工工期做出决策。
可供选择的方案有两种：一是在9月份施工；二是在10月份施工。
●假定其他条件都具备，影响截流的唯一因素是天气与水文状况。
10月份的天气与水文状况肯定可以保证截流成功。
而9月份的天气水文状况有两种可能。
如果天气好，上游没有洪水，9月底前截流成功，可使整个工程的工期提前，从而能比10月施工增加利润1000万元；如果天气坏，上游出现洪水，截流失败，则比10月施工增加500万元的损失。
●根据以往经验，9月份天气好的可能性是0.6，天气坏的可能性是0.4。
●是否应在9月份施工？为该公司选择合适的行动方案。
●先验概率，即前述给出的自然状态出现的概率只是一种比较粗糙地调研而获得的自然状态的概率分布。
●解：（1）先验分析根据题意可列出该问题的收益矩阵表：E(Q(a 1))＝1000×0.6－500×0.4＝400万元；E(Q(a 2))＝0表1 收益矩阵表j θ：天气状况 天气好 天气坏先验概率P(j θ)0.6 0.4 方案9月施工 a 1 10月施工 a 2 1000 －500 0 0●【例】某水利工程公司拟对大江截流的施工工期做出决策。
实验一贝叶斯决策一、 实验原理1. 最小错误率贝叶斯决策规则：对于两类问题，最小错误率贝叶斯决策有如下判决规则：1212(|)(|),;P x P x x x ωωωω>∈∈则反之，则。
由于先验概率i (P ω）可以确定，与当前样本x 无关，所以决策规则也可整理成下面的形式：121212(|)()(),()(|)P x P l x x x P P x ωωωωωω=>∈∈若，则否则。
2. 平均错误率决策边界把x 轴分割成两个区域，分别称为第一类和第二类的决策区域.样本在中但属于第二类的错误概率和样本在中但属于第一类的错误概率就是出现错误的概率，再考虑到样本自身的分布后就是平均错误率：212211()(|)()(|)()(|)P()(|)P()ttt tP e P x p x dx P x p x dxp x dx p x dxωωωωωω∞-∞∞-∞=+=+⎰⎰⎰⎰3. 此实验中的判决门限和平均错误率 （1） 判决门限假设随机脉冲信号f 中0的概率为,高斯噪声信号n 服从,信号叠加时的放大倍数为a ，叠加后的信号为*s f a n =+。
由最小错误率贝叶斯决策可得：1122()(|)()(|)P p x P p x ωωωω→→>化简计算得：220022(ln(1)ln )2aa a p p t μσ+---=（2） 平均错误率 由上述积分式可计算。
二、 实验内容1、 已知均值和方差，产生高斯噪声信号，计算其统计特性 实验中利用MATLAB 产生均值为0，方差为1的高斯噪声信号，信号统计分布的程序和结果如下：%产生高斯噪声并统计其特性x=0;%均值为0 y=1;%方差为1n=normrnd(x,y,[1 1000000]);%产生均值为0，方差为1的高斯噪声 m1=mean(n);%高斯噪声的均值 v1=var(n); %高斯噪声的方差 figure(1)plot(n(1:400)); title('均值为0，方差为1的高斯噪声'); figure(2)hist(n,10000); title('高斯噪声的统计特性');得到m1=-4.6534e-005；v1= 0.9971。
