两类正态分布模式的贝叶斯判别
硕633 3106036072 赵杜娟
一.实验目的
1．理解贝叶斯判别原则，编写两类正态分布模式的贝叶斯分类程序； 2．了解正态分布模式的贝叶斯分类判别函数； 3．通过实验，统计贝叶斯判别的正确率。
二.实验原理
（1）贝叶斯判别原则
对于两类模式集的分类，就是要确定x 是属于1ω类还是2ω类，这要看x 来自1ω类的概率大还是来自2ω类的概率大，根据概率的判别规则，可以得到： 如果)|()|(21x P x P ωω> 则 1ω∈x
如果)|()|(21x P x P ωω< 则 2ω∈x （1.1） 利用贝叶斯定理，可得 )
()
()|()|(x p P x p x P i i i ωωω=
式中，)|(i x p ω亦称似然函数。把该式代入（1.1）式，判别规则可表示为： )()|()()|(2211ωωωωP x p P x p > 则 1ω∈x )()|()()|(2211ωωωωP x p P x p < 则 2ω∈x 或写成： )
()
()|()|()(122112ωωωωP P x p x p x l >
=
则 1ω∈x )
()
()|()|()(122112ωωωωP P x p x p x l <
=
则 2ω∈x （1.2） 这里，12l 称为似然比，2112)()(θωω=P P 称为似然比的判决阈值。该式称为贝
叶斯判别。
（2）正态分布模式的贝叶斯分类器判别原理
具有M 种模式类别的多变量正态分布的概率密度函数为：
)]()(2
1
exp[)
2(1)|(12
1
2
i i T i i
n i m x C m x C x P ---=
-πω 2,1=i （1.3）
式中，x 是n 维列向量； i m 是n 维均值向量； i C 是n n ?协方差矩阵；i C 为矩
阵i C 的行列式。且有 {}i i m E x =； ()()
{
}T
i i i i m x m x E C --=；{}i
E x 表示对类
别属于i ω的模式作数学期望运算。
可见，均值向量i m 由n 个分量组成，协方差矩阵i C 由于其对称性故其独立元素只有
2)1(+n n 个，所以多元正态密度函数完全由2
)
1(++n n n 个独立元素所确定。取自一个正态总体的样本模式的分布是聚集于一个集群之内，其中心决定于均值向量，而其分布形状决定于其协方差矩阵，分布的等密度点的轨迹为超椭圆，椭圆的主轴与协方差矩阵的本征向量的方向一致，主轴的长度与相应的协方差矩阵的本征值成正比。
类别的判别函数可表示为：)()|()(i i i P x P x d ωω= 对于正态密度函数，可对判别函数取自然对数，即：
)(ln )]|(ln[)(i i i P x P x d ωω+=
将（1.3）代入上式，简化后可以得到：
{})()(2
1
ln 21)(ln )(1i i T i i i i m x C m x C P x d ----=-ω
这是正态分布模式的贝叶斯判别函数。显然，上式表明)(x d i 是超二次曲面，所以对于两类正态分布模式的贝叶斯分类器，两个模式类别之间用一个二次判别界面分开，就可以求得最优的分类效果。
对于两类问题，判别界面方程为：()()120d x d x -= 即：)()|(11ωωP x P 0)()|(22=-ωωP x P
判别条件为： 如果0)()(21>-x d x d ， 则1ω∈x
如果0)()(21≤-x d x d ， 则2ω∈x
应指出，贝叶斯分类规则是基于统计的概念，因此要有大量的模式样本，才能获得最优的结果。
三实验内容及结果分析
1.根据实验要求，在本实验中将三组分别服从不同参数的正态分布数据两两进行分类，利用贝叶斯原理首先设定其先验概率，并从每组数据中随机抽取一定的训练样本数来进行参数估计，从而得到三组数据各自的条件概率。
2.根据条件概率，利用贝叶斯判别原则进行分类实验，得到结果。
3.实验结果分析
分别对x1，x2和x3两两进行实验，每次选取不同的先验概率和不同的训练样本数，进行训练，且训练样本是随机选取的，即在每次相同的训练样本个数的情况下所抽取的样本是不一样的。然后按照训练后的结果得到的每组的条件概率，对全部数据进行分类。各自在选取相同训练样本个数的条件下进行50次分类，然后求出50次分类的平均正确率，可得下表：
分析表格，可以得到：
x1和x2之间的分类，无论先验概率是多少，在选取的样本数m=5时，分类的正确率都比较低，m＝15时，正确率接近100％，样本数再大，正确率就会达到100％。这说明x1和x2之间的分类，在训练样本数较小时，分类效果较差；在样本数选取较大时，分类效果比较理想。
x2和x3之间的分类，在训练样本数较小时，分类正确率很低，仅有70％左右，随着训练样本数的增多，正确率增大，直到选取45个训练样本时正确率大于95％，但达不到100％。这说明x2和x3这两组数据很接近，无论先验概率选取多少，训练样本数是多少，分类效果都不太理想。
x1和x3之间的分类，无论先验概率选取多少，在训练样本数m＝5时，分类正确率较小，当训练样本数达到15时，分类正确率已经达到了100％。这说明x1和x3之间的分类相对来说比较容易达到，只要选取的训练样本数较大，分类效果都比较理想。
4.实验中的问题
（1）.为了得到随机抽取的训练样本，采用randsperm函数，先产生1～50内随机排序的数字，然后取其前m行（m为训练样本数），就可以得到随机的训练样本。
（2）.在随机选取训练样本时，当所选训练样本数很少时（比如m＝5），所选样本的协方差矩阵的行列式很可能为0，这样的话就得不到条件概率密度函数，也就无法进行分类判断了。解决的方法是：给协方差矩阵加上一个对角线上元素值很小（0.000001）的对角阵，然后再对所得结果矩阵求行列式，然后再求概率密度函数进行分类判断。
四．实验程序部分
clear all;
close all;
clc;
load('data.mat'); %%读入实验数据
P1=input('please input P1:'); %输入先验概率
P2=1-P1;
s1=input('s1='); %选择实验模式类
s2=input('s2=');
m=input('训练样本数m='); %输入训练样本数
T1=zeros(m,4);
T2=zeros(m,4);
T3=zeros(m,4);
r=zeros(1,50);
p=1;
while p<=50 %进行50次分类，以便进行统计分类的正确性%随机抽取m个训练样本
index=randperm(50);
for i=1:1:m %得到随机的训练样本
T1(i,:)=k1(index(i),:);
T2(i,:)=k2(index(i),:);
T3(i,:)=k3(index(i),:);
end
%由训练样本计算均值和协方差
me1=mean(T1);
me2=mean(T2);
me3=mean(T3);
co1=cov(T1);
co2=cov(T2);
co3=cov(T3);
%判断是对哪两类模式要进行分类
if (isequal(k1,s1)==1&&isequal(k2,s2)==1)
m1=me1;c1=co1;m2=me2;c2=co2;
elseif (isequal(k2,s1)==1&&isequal(k1,s2)==1)
m1=me2;c1=co2;m2=me1;c2=co1;
elseif (isequal(k2,s1)==1&&isequal(k3,s2)==1)
m1=me2;m2=me3;c1=co2;c2=co3;
elseif (isequal(k3,s1)==1&&isequal(k2,s2)==1)
m1=me3;m2=me2;c1=co3;c2=co2;
elseif (isequal(k3,s1)==1&&isequal(k1,s2)==1)
m1=me3;m2=me1;c1=co3;c2=co1;
elseif (isequal(k1,s1)==1&&isequal(k3,s2)==1)
m1=me1;m2=me3;c1=co1;c2=co3;
end
%两类的正态分布模式的贝叶斯判别
if det(c1)==0||det(c2)==0 %当协方差矩阵行列式为0时给它加一个极小值，再进行分类
l=size(c1);
I=eye(l(1),l(1));
I=I*0.000001;
c1=I+c1;
c2=I+c2;
end
n=1;
t1=0;
while n<=100
if rem(n,2)==1 %奇数次输入s1
x=s1((n+1)/2,:);
d1=log(P1)-0.5*log(det(c1))-0.5*(x-m1)*(inv(c1))*(x-m1)';
d2=log(P2)-0.5*log(det(c2))-0.5*(x-m2)*(inv(c2))*(x-m2)';
% Pw1=1/(2*pi)^2/(det(c1))*exp(-0.5*(x-m1)*(inv(c1))*(x-m1)')*P1;
% Pw2=1/(2*pi)^2/(det(c2))*exp(-0.5*(x-m2)*(inv(c2))*(x-m2)')*P2;
n=n+1;
% if Pw1>Pw2
if d1>d2 %判断条件 d1>d2判为w1类
t1=t1+1; %t1是判断正确次数，若判断正确，则加1
end
end
if rem(n,2)==0 %偶数次输入s2
x=s2(n/2,:);
d1=log(P1)-0.5*log(det(c1))-0.5*(x-m1)*(inv(c1))*(x-m1)';
d2=log(P2)-0.5*log(det(c2))-0.5*(x-m2)*(inv(c2))*(x-m2)';
% Pw1=1/(2*pi)^2/(det(c1))*exp(-0.5*(x-m1)*(inv(c1))*(x-m1)')*P1; % Pw2=1/(2*pi)^2/(det(c2))*exp(-0.5*(x-m2)*(inv(c2))*(x-m2)')*P2; n=n+1;
% if Pw1 if d1 t1=t1+1; end end end r(p)=t1; %r存放每进行一个循环的判断中判断正确的次数 p=p+1; end ra=sum(r)/50/100 %计算50次分类后的正确率 Bayes 判别分析及应用 班级：计算B101姓名：孔维文 学号201009014119 指导老师：谭立云教授 【摘 要】判别分析是根据所研究个体的某些指标的观测值来推断该个体所属类型的一种统计方 法，在社会生产和科学研究上应用十分广泛。在判别分析之前，我们往往已对各总体有一定了解，样品的先验概率也对其预测起到一定作用，因此进行判别时应考虑到各个总体出现的先验概率；由于在实际问题中，样品错判后会造成一定损失，故判别时还要考虑到预报的先验概率及错判造成的损失，Bayes 判别就具有这些优点；然而当样品容量大时计算较复杂，故而常借助统计软件来实现。本文着重于Bayes 判别分析的应用以及SPSS 的实现。 【关键词 】 判别分析 Bayes 判别 Spss 实现 判别函数 判别准则 Class: calculation B101 name: KongWeiWen registration number 201009014119 Teacher: TanLiYun professor .【Abstract 】Discriminant analysis is based on the study of certain indicators of individual observations to infer that the individual belongs as a type of statistical methods in social production and scientific research is widely used. In discriminant analysis, we often have a certain understanding of the overall sample of the a priori probability of its prediction play a role, it should be taken into account to determine the overall emergence of various prior probability; because of practical problems, samples will result in some loss of miscarriage of justice, so identification must be considered when the prior probability and wrongly predicted loss, Bayes discriminant to have these advantages; However, when the sample is large computing capacity of more complex, often using statistical software Guer to achieve. This article focuses on the application of Bayes discriminant analysis, and implementation of SPSS. 【Key words 】 Discriminant analysis; Bayes discriminant; Spss achieve; Discriminant function; Criteria; 1.1.1 判别分析的概念 在科学研究中，经常会遇到这样的问题：某研究对象以某种方式（如先前的结果或经验）已划分成若干类型，而每一种类型都是用一些指标T p X X X X ),,(21 来表征的，即不同类型的X 的观测值在某种意义上有一定的差异。当得到一个新样品（或 贝叶斯决策模型及实例分析 一、贝叶斯决策的概念 贝叶斯决策，是先利用科学试验修正自然状态发生的概率，在采用期望效用最大等准则来确定最优方案的决策方法。 风险型决策是根据历史资料或主观判断所确定的各种自然状态概率（称为先验概率），然后采用期望效用最大等准则来确定最优决策方案。这种决策方法具有较大的风险，因为根据历史资料或主观判断所确定的各种自然状态概率没有经过试验验证。为了降低决策风险，可通过科学试验（如市场调查、统计分析等）等方法获得更多关于自然状态发生概率的信息，以进一步确定或修正自然状态发生的概率；然后在利用期望效用最大等准则来确定最优决策方案，这种先利用科学试验修正自然状态发生的概率，在采用期望效用最大等准则来确定最优方案的决策方法称为贝叶斯决策方法。 二、贝叶斯决策模型的定义 贝叶斯决策应具有如下容 贝叶斯决策模型中的组成部分： ) ( ,θ θP S A a及 ∈ ∈。概率分布S P∈ θ θ) (表示决策 者在观察试验结果前对自然θ发生可能的估计。这一概率称为先验分布。 一个可能的试验集合E，E e∈，无情报试验e0通常包括在集合E之。 一个试验结果Z取决于试验e的选择以Z0表示的结果只能是无情报试验e0的结果。 概率分布P(Z/e,θ)，Z z∈表示在自然状态θ的条件下，进行e试验后发生z结果 的概率。这一概率分布称为似然分布。 c 以及定义在后果集合C的效用函数u(e,Z,a,θ)。 一个可能的后果集合C，C 每一后果c=c(e,z,a,θ)取决于e,z,a和θ。.故用u(c)形成一个复合函数u{(e,z,a,θ)}，并可写成u(e,z,a,θ)。 三、贝叶斯决策的常用方法 3.1层次分析法(AHP) 在社会、经济和科学管理领域中，人们所面临的常常是由相互关联，相互制约的众多因素组成的复杂问题时，需要把所研究的问题层次化。所谓层次化就是根据所研究问题的性质和要达到的目标，将问题分解为不同的组成因素，并按照各因素之间的相互关联影响和隶属关系将所有因素按若干层次聚集组合，形成一个多层次的分析结构模型。 3.1.1层次分析模型 最高层：表示解决问题的目的，即层次分析要达到的目标。 中间层：表示为实现目标所涉及的因素，准则和策略等中间层可分为若干子层，如准则层，约束层和策略层等。 最低层：表示事项目标而供选择的各种措施，方案和政策等。 3.1.2层次分析法的基本步骤 (l) 建立层次结构模型 在深入分析研究的问题后，将问题中所包括的因素分为不同层次，如目标层、指标层和措施层等并画出层次结构图表示层次的递阶结构和相邻两层因素的从属关系。 (2) 构造判断矩阵 判断矩阵元素的值表示人们对各因素关于目标的相对重要性的认识。在相邻的两个层次中，高层次为目标，低层次为因素。 (3) 层次单排序及其一致性检验 判断矩阵的特征向量W经过归一化后即为各因素关于目标的相对重要性的排序权值。利用判断矩阵的最大特征根，可求CI和CR值，当CR<0.1时，认为层次单排序的结果有满意的一致性；否则，需要调整判断矩阵的各元素的取值。 (4) 层次总排序 计算某一层次各因素相对上一层次所有因素的相对重要性的排序权值称为层次总排序。由于层次总排序过程是从最高层到最低层逐层进行的，而最高层是总目标，所以，层次总排序也是计算某一层次各因素相对最高层（总目标）的相对重要性的排序权值。 设上一层次A包含m个因素A1,A2,…,A m其层次总排序的权值分别为a1,a2,…,a m；下一层次B包含n个因素B1,B2,…,B n，它们对于因素A j(j=1,2,…,m)的层次单排序权值分别为：b1j,b2j,…,b nj（当B k与A j无联系时，b kj=0），则B层次总排序权值可按下表计算。 层次总排序权值计算表 两类正态分布模式的贝叶斯判别 硕633 3106036072 赵杜娟 一.实验目的 1．理解贝叶斯判别原则，编写两类正态分布模式的贝叶斯分类程序； 2．了解正态分布模式的贝叶斯分类判别函数； 3．通过实验，统计贝叶斯判别的正确率。 二.实验原理 （1）贝叶斯判别原则 对于两类模式集的分类，就是要确定x 是属于1ω类还是2ω类，这要看x 来自1ω类的概率大还是来自2ω类的概率大，根据概率的判别规则，可以得到： 如果)|()|(21x P x P ωω> 则 1ω∈x 如果)|()|(21x P x P ωω< 则 2ω∈x （1.1） 利用贝叶斯定理，可得 ) () ()|()|(x p P x p x P i i i ωωω= 式中，)|(i x p ω亦称似然函数。把该式代入（1.1）式，判别规则可表示为： )()|()()|(2211ωωωωP x p P x p > 则 1ω∈x )()|()()|(2211ωωωωP x p P x p < 则 2ω∈x 或写成： ) () ()|()|()(122112ωωωωP P x p x p x l > = 则 1ω∈x ) () ()|()|()(122112ωωωωP P x p x p x l < = 则 2ω∈x （1.2） 这里，12l 称为似然比，2112)()(θωω=P P 称为似然比的判决阈值。该式称为贝 叶斯判别。 （2）正态分布模式的贝叶斯分类器判别原理 具有M 种模式类别的多变量正态分布的概率密度函数为： )]()(2 1 exp[) 2(1)|(12 1 2 i i T i i n i m x C m x C x P ---= -πω 2,1=i （1.3） 式中，x 是n 维列向量； i m 是n 维均值向量； i C 是n n ?协方差矩阵；i C 为矩 阵i C 的行列式。且有 {}i i m E x =； ()() { }T i i i i m x m x E C --=；{}i E x 表示对类 别属于i ω的模式作数学期望运算。 可见，均值向量i m 由n 个分量组成，协方差矩阵i C 由于其对称性故其独立元素只有 2)1(+n n 个，所以多元正态密度函数完全由2 ) 1(++n n n 个独立元素所确定。取自一个正态总体的样本模式的分布是聚集于一个集群之内，其中心决定于均值向量，而其分布形状决定于其协方差矩阵，分布的等密度点的轨迹为超椭圆，椭圆的主轴与协方差矩阵的本征向量的方向一致，主轴的长度与相应的协方差矩阵的本征值成正比。 类别的判别函数可表示为：)()|()(i i i P x P x d ωω= 对于正态密度函数，可对判别函数取自然对数，即： )(ln )]|(ln[)(i i i P x P x d ωω+= 将（1.3）代入上式，简化后可以得到： {})()(2 1 ln 21)(ln )(1i i T i i i i m x C m x C P x d ----=-ω 这是正态分布模式的贝叶斯判别函数。显然，上式表明)(x d i 是超二次曲面，所以对于两类正态分布模式的贝叶斯分类器，两个模式类别之间用一个二次判别界面分开，就可以求得最优的分类效果。 对于两类问题，判别界面方程为：()()120d x d x -= 即：)()|(11ωωP x P 0)()|(22=-ωωP x P 判别条件为： 如果0)()(21>-x d x d ， 则1ω∈x 如果0)()(21≤-x d x d ， 则2ω∈x §5.2Bayes 判别 1. Bayes 判别的基本思想 假设已知对象的先验概率和“先验条件概率”, 而后得到后验概率, 由后验概率作出判别. 2. 两个总体的Bayes 判别 (1) 基本推导 设概率密度为1()f x 和2()f x 的p 维总体12,G G 出现的先验概率为 1122(),()p P G p P G ==(121p p +=) 先验概率的取法: (i) 121 2 p p == , (ii) 12 121212 ,n n p p n n n n ==++, 一个判别法 = 一个划分=12(,)R R =R 1212,,p R R R R =?=?=?R 距离判别中 112212{|(,)(,)} {|(,)(,)} R d G d G R d G d G =≤=>x x x x x x 判别R 下的误判情况讨论 2 1(2|1,)()d R P f =?R x x , 或 1 2(1|2,)()d R P f =?R x x 代价分别记为 (2|1),(1|2),(1|1)0,(2|2)0c c c c ==, 在得新x 后, 后验概率为 1111122() (|)()()p f P G p f p f = +x x x x 2221122() (|)()() p f P G p f p f = +x x x x (i) 当(1|2)(2|1)c c c ==时, 最优划分是 112212{:(|)(|)} {:(|)(|))} R P G P G R P G P G =≥?? = 管理决策分析 贝叶斯决策分析文献综述 单位：数信学院管理07 小组成员：0711200209 王双 0711200215 韦海霞 0711200217 覃慧 完成日期：2010年5月31日 有关贝叶斯决策方法文献综述 0． 引言 决策分析就是应用管理决策理论，对管理决策问题，抽象出系统模型，提出一套解决方法，指导决策主体作出理想的决策。由于市场环境中存在着许多不确定因素 ,使决策者的决策带有某种程度的风险。而要做出理想的抉择，在决策的过程中不仅要意识到风险的存在，还必须增加决策的可靠性。在风险决策中，给出了很多如何确定信息的价值以及如何提高风险决策可靠性的方法。根据不同的风险情况，要采取不同的风险决策分析的方法。贝叶斯决策分析就是其中的一种。 1．贝叶斯决策分析的思想及步骤 从信息价值的经济效用的角度，讨论贝叶斯公式在风险决策中的应用。首先根据期望值原则，以先验概率为基础，找到最优方案及其期望损益值和风险系数，然后用决策信息修正先验分布，得到状态变量的后验分布，并用后验分布概率计算各方案的期望损益值,找出最满意方案,并计算其风险系数（这里计算的风险系数应比仅有先验条件下计算的风险系数要小)，最后求出掌握了全部决策信息值的期望损益值。用全部决策信息值的期望损益值减去没有考虑决策信息时的期望收益，就得到了决策信息的价值。 步骤如下： （1）已知可供选择的方案，方案的各状态概率，及各方案在各状态下的收益值。 （2）计算方案的期望收益值，按照期望收益值选择方案。 （3）计算方案的期望损益标准差和风险系数。运用方案的风险系数来测度其风险度，即得到每个方案每一单位期望收益的离散程度指标。该指标越大，决策风险就越大。期望损益标准差公式： ∑=-= n 12A )()(i i Ai x P EMA CP δ 风险系数： )() (1i i u E u D V =δ （4）利用贝叶斯公式对各种状态的概率进行修正。先算出各个状态下的后验概率，计算掌握了决策信息后的最满意方案的期望收益值和风险系数，最后算出信息的价值。 2． 贝叶斯决策分析的应用领域 2.1 港口规划等问题 港口吞吐量()i s 与其预测出现的现象()j z 为相互独立的事件。事件,i j s z 发生的概率分别是()i P s 、()j P z 。在事件j z 发生的条件下，事件i s 发生的概率为(/)i j P s z 。运用贝叶斯公式进行事件的原因分析和决策。根据贝叶斯定理可求得 1. 办公室新来了一个雇员小王，小王是好人还是 坏人大家都在猜测。按人们主观意识，一个人是好人或坏人的概率均为0.5。坏人总是要做坏事，好人总是做好事，偶尔也会做一件坏事，一般好人做好事的概率为0.9，坏人做好事的概率为0.2，一天，小王做了一件好事，小王是好人的概率有多大，你现在把小王判为何种人。 解：A ：小王是个好人 a ：小王做好事 B ：小王是个坏人 B ：小王做坏事 ()(/)(/)()(/)()(/)P A P a A P A a P A P a A P B P a B = +0.5*0.9 0.820.5*0.90.5*0.2==+ ()(/)0.5*0.2 (/)()(/)()(/)0.5*0.90.5*0.2 P B P a B P B b P A P a A P B P a B = =++=0.18 0.82>0.18 所以小王是个好人、 2. 设 m = 1,k = 2 ，X 1 ~ N (0,1) ，X 2 ~ N (3,2 2 ) ，试就C(2 | 1) = 1，C(1 | 2) = 1，且不考虑先验概率的情况下判别样品 2，1 属于哪个总体，并求出 R = (R1, R2 ) 。 解： 2222 121/821 ()()/}1,2 21(2)(20)}0.05421(2)(23)/4}0.176 2i i i P x x i P P μσ--= --== --===--== 由于1(2)P <2(2)P ，所以2属于2π 21/2 121/221(1)(10)}0.242 21(1)(13)/4}0.120 2P P --= --===--== 1(1)P >2(1)P ，所以1属于1π 由 1()P x 22211 }()(3)/4}22x P x x -==-- 即221 exp{}2x -=21exp{(69)}8 x x --+ 2211 ln 2(69)28 x x x -=--+ 解得 1 x =1.42 2 x =-3.14.所以 R=([-3.41,1.42],(-∞,-3.41)U(1.42,+∞)). 3.已知1π，2π的先验分布分别为1q =3 5,2q =25 ,C(2|1)=1，C(1|2)=1，且 11,01()2,120,x x f P x x x <≤??==-<≤???其他 22 (1)/4,13()(5)/4,350,x x f P x x x -<≤?? ==-<≤??? 其他 使判别1x = 95 ，2x =2所属总体。 解：1p (9/5)=2-9/5=1/5 1p (2)=2-2=0 2p (9/5)=(9/5-1)/4=1/5 典型判别分析与贝叶斯判别的区别 1.原理不同 典型判别是根据方差分析思想，进行投影，将原来一个维度空间的自变量组合投影到另一维度空间，寻找一个由原始变量组成的线性函数使得组间差异和组内差异的比值最大化。根据样本点计算判别函数，计算判别函数到各类中心的欧式距离，取距离最小的类别。 贝叶斯判别是是利用已知的先验概率去推证将要发生的后验概率，就是计算每个样本的后验概率及其判错率，用最大后验概率来划分样本的分类并使得期望损失达到最小 2.前提条件不同 典型判别不考虑样本的具体分布，只求组间差异和组内差异的比值最大化 贝叶斯判别从样本的多元分布出发，充分利用多元正态分布的概率密度提供的信息计算后验概率，因此需要样本数据服从多元正态分布，方差齐性等。 3.产生的判别函数不同 典型判别根据K类最多产生K-1个判别函数 贝叶斯判别根据K类最多可产生K个判别函数 先验概率在判别分析中的作用 1.所谓先验概率，就是用概率来描述人们事先对所研究的对象的认识的程度，是根据以往经验和分析得到的概率。所谓后验概率，就是根据具体资料、先验概率、特定的判别规则所计算出来的概率。它是对先验概率修正后的结果，它是更接近于实际情况的概率估计。贝叶斯（BAYES）判别思想是根据先验概率求出后验概率，并依据后验概率分布作出统计推断 2.样品的先验概率对预测有一定的作用，反应样本分布的总体趋向性。被判断的个案应该属于先验概率最大总体的概率应该高一些，贝叶斯考虑了先验概率的影响提高判别的敏感度，同时利用先验概率可以求出后验概率（基于平均损失函数）和误判率，从而进行判别分析，充分利用数据的概率密度分布，判别效率高。样品归于概率大的类别。 3.这样使误判平均损失最小。既考虑到不同总体出现机会的差异、各错误判断造成损失的不同，又充分尊重了每个总体的分布状态 判别准则的评价 刀切法：基本思想是每次剔除训练样本中的一个样本，利用其余容量的训练样本建立判别函数，再用所建立的判别函数对删除的那个样本做判别，对训练样本中的每个样品重复上述步骤，已其误判的比例作为误判概率的估计。 判别分析结果 Eigenvalues a First 2 canonical discriminant functions were used in the analysis. 1．判别函数的特征根，方差百分比，累计方差百分比 判别分析 1.判别分析的适用条件 (1)自变量和因变量间的关系符合线性假设。 (2)因变量的取值是独立的，且必须是事先就己经确定。 (3)自变量服从多元正态分布。 (4)所有自变量在各组间方差齐，协方差矩阵也相等。 (5)自变量间不存在多重共线性。 2.违背条件时的处理方法 (1)当样本的多元正态分布假设不能满足的时候采取的措施和方法如下: <>如果数据的超平面是若干分段结构的话，采用分段判别分析。 <>如果数据满足方差和协方差的齐次性可以采用距离判别分析、经典判别分析、贝叶斯判别分析中的任何一种，因为此时三者是等价的，建议使用经典判别分析。 <>如果数据不满足方差和协方差的齐次性，则采用经典判别分析、非参数判别分析、距离判别分析，这些方法无此适用条件。 <>进行变量变换。 (2)方差和协方差的齐次性不能满足的时候可以采取的措施如下: <>增加样本，这有时可以使其影响减小。 <>慎重的进行变量变换。 <>采用经典判别分析、非参数判别分析、距离判别分析，这些方法无此适用条件。 <>在合乎总体实际情况的前提下，保证各个分组的样本量一样，判别分析中分组之间样本量一样可以带来以下几个好处:使得结果与方差齐次性假设不会偏离得太大;F检验时第 二类错误(实际上为虚假的条件下正确的拒绝了原假设的概率)得到减小;使得均值更加容易比较和检验。 <>要是样本服从多元正态分布，采用二次判别，但是应该注意到二次判别分析没有计算判错率和统计检验的公式。 (3)存在多重共线性时可以采取的措施如下: <>增加样本量。 <>使用逐步判别分析。 <>采用岭判别分析。 <>对自变量进行主成分分析，用因子代替自变量进行判别分析。 <>通过相关矩阵结合实际的理论知识删去某些产生共线性的自变量。显然，上述措施和线性回归中对共线性的处理方式是非常类似的。 (4)当线性假设被违反的时候可以采取的措施如下: <>采用二次判别分析。 <>K最近邻判别分析或核密度判别分析两种非参数判别分析。 <>离散型判别分析或混合型判别分析。 3．典型判别分析的基本原理 试图找到一个由原始自变量组成的线性函数使得组间差异和组内差异的比值最大化。所谓Fisher判别法，就是一种先投影的方法。考虑只有两个（预测）变量的判别分析问题。假定这里只有两类。数据中的每个观测值是二维空间的一个点。见图（下一张幻灯片）。这里只有两种已知类型的训练样本。其中一类有38个点（用“o”表示），另一类有44个点（用“*”表示）。按照原来的变量（横坐标和纵坐标），很难将这两种点分开。于是就寻找一个方向，也就是图上的虚线方向，沿着这个方向朝和这个虚线垂直的一条直线进行投影会使得这两类分得最清楚。可以看出，如果向其他方向投影，判别效果不会比这个好。有了投影之后， 贝叶斯判别、费希尔判别法的计算机 操作及结果分析 一、实验内容、目标及要求 （一）实验内容 选取140家上市公司作为样本，其中70家为由于“财务状况异常”而被交易所对其股票实行特别处理（Special Treatment，简称ST）的公司，另外70家为财务正常的公司。为了研究上市公司发生财务困境的可能性，以“是否被ST”为分组变量，选择资产负债率、总资产周转率和总资产利润率几个财务指标作为判别分析变量，这三个指标分别从上市公司的偿债能力、资产管理能力和获利能力三个不同的角度反映了企业的财务状况。（二）实验目标 贝叶斯判别、费希尔判别法的计算机操作及结果分析。 （三）实验要求 要求学生能熟练应用计算机软件进行判别分析并对结果进行分析，培养实际应用能力。 二、实验准备 （一）运行环境说明 电脑操作系统为Windows XP及以上版本，所需软件为SPSS 16.0。 （二）基础数据设置说明 将数据正确导入SPSS，设置相应的变量值。 三、实验基本操作流程及说明 （一）系统界面及说明 同实验一。 （二）操作步骤 1. 选择菜单项Analyze→Classify→Discriminate，打开Discriminate Analysis对话框，如图4-1。将分组变量st移入Grouping Variable列表框中，将自变量x1－x3选入Independents列表框中。 选择Enter independents together单选按钮，即使用所有自变量进行判别分析。若选择了Use stepwise method单选按钮，则可以根据不同自变量对判别贡献的大小进行变量筛选，此时，对话框下方的Method按钮被激活，可以通过点击该按钮设置变量筛选的方法及变量筛选的标准。 图4-1 Discriminate Analysis对话框 实验一贝叶斯判别函数和决 策面 一、实验结果 1、第一种情况：^.= cr2/,z = 1,2,L 决策面如图1所示: 从图1可以看出，各类样木落入以坷为中心的同样大小的一些超球体内，两类的决策而是一个超平而。当两类的先验概率相等，P(?) = P(?)二0.5时，决策面通过绚与叫连线屮点并与连线正交；当两类先验概率不相等，P(?) 二0.2 , P(?)二0.8时，决策面仍通过坷与弘2连线并与连线止交，但向先验概率较小的类偏移。 2、第二种情况：=； 2 ' i=l，2，如=；‘ “2 二决策面如图2所不: pv/1=0.2, pw2=0.8时'决策面 pw1=0.2/ pw2=0.8时，槪率密度及次策面 0.15 0.05 pw1=0.5^ pw2=0.5时，槪率密度及次策面 1 1=1,2,"产3 从图2可以看出，各类样木落入以冷为中心的同样大小的一些超椭球内，两 类的决策面是一个超平面。当两类的先验概率相等，P(?)二P(?)二0.5时，决 策血通过旳与u 2连线中点；当两类先验概率不相等，戶(?)二0?2,卩(5)二0?8 时，决策面仍通过绚与“2连线，但向先验概率较小的类偏移。 3、第三种情况： ,z, j = 1,2,L ,c '5 0_ _ 1 0_ T _5_ ,11\ — ，= 0 5_ 厶2 _0 1 1 _3_ Z _3_ pw1=0.2, pw2=0.8时,槪潔密度及决策面 pw1=0.2, pw2=0.8时，块策 面 pw1=0.5. pv/2=05时，槪潔密度及决策 面 如图3-1所示，当各个随机变量的方差类内相等、类间不相等时，决策而是 是一个超球面，投影是圆，且将方差较小的类包围。当两类先验概率和等时，决 策面过吗与“2连线屮点，当两类先验概率不相等时，决策而偏向先验概率小 的类。 1 u x = 1 3 如图3-2所示，当两个随机变量各类方差都不相等时，概率密度曲线是椭圆, 决策面也是椭圆。当两类先验概率不相等时，决策面会向偏先验概率小的类。 「10] 「10] 「1] 「5「 ⑶工计0 5f 工2计° 1｝坷甘 鬥3. 0.3 0 u 2 pw1=0.2^ pw2=0.8B 寸，概率密度及决茉面 pw1=O2, pw2=08时，决策面 pw1=0.5> pw2=0.5时，概率密度及决茉面 16个仁用杏种质资源测评 【摘要】我们对中仁一号、优1等16个仁用杏品种经过10余年的观测，并对其进行种质资源性状测评，从中得出丰产性突出的有3个品种，杏仁单重超过0.9克的有3个品种，核壳厚度≤1mm 的有4个，出仁率≥40%有2个，综合抗寒性较强的品种有7个，为仁用杏育种材料选择提供了依据和参考。 【关键词】仁用杏；种质；资源；测评 仁用杏是我国重要的生态经济型树种和木本粮油经济林树种，也是我国特有的高创汇率的土特林产品。仁用杏树耐旱、抗寒、耐瘠薄，栽培技术容易掌握，管理省工，结果早，受益快，经济寿命长，被群众誉为“铁杆庄稼”或“绿色银行”[1]，是丘陵、山区和沙区重要的经济树种之一。随着市场需求变化，原有仁用杏品种壳厚，出核率低，抗倒春寒能力差，不能满足栽培要求和市场需求。迫切需要选育出新的仁用杏优良品种，以适应市场的变化。为此我们于1996年开始在国内收集仁用杏优良种质资源，栽植于嵩县德亭乡杨湾村朱文献承包的果园内。通过10余年的栽培，对其中的16个仁用杏品种，从丰产性，早实性、抗逆性、果实经济性状等方面进行比较，发掘和利用仁用杏相关的有利基因和特异种质资源[2]，为仁用杏新品种育种材料选择提供了依据和参考。 1 仁用杏种质资源的管理 洛阳嵩县德亭乡杨湾村朱文献承包的果园内，位于n34°07’、 e114°45，海拔280m，属浅山丘陵区，年平均温度14.7℃，≥10°c日温的持续日数218天，活动积温4673°c；全年无霜期239天；年平均降水量610mm；全年日照时数为2141.7h，土壤为褐土，ph 值为7.9。我们把16个仁用杏品种，每品种高接1～3株，砧木为龙王帽，按株行距3m×4m定植。按照小冠疏层形整形。每年落叶期冬剪，春季发芽前喷布3～5波美度石硫合剂。开花期、膨果期、硬核期、落叶期分别灌水，生长期及时剪除陡长枝，正常防治病害虫。每年调查各品种物候期，结果量，果实性状，观察各品种适应性和抗性。 2 种质测评方法 2.1 丰产性测评的方法 果实鲜果质量测定：对每个品种每株每年鲜果实际产量称重，种核质量测定：每品种每株每年种核晒干后称重，种核晒干的标准含水≤8%，求出核率，利用计算公式：v%=w1w ×100%，v%指出核率；w指每品种，每株，每年鲜果实际质量；w1指每品种，每株，每年种核晒干后的实际质量。 2.2 果实经济性状测评方法 对干核随机抽取1kg，若单株产量不足1kg，全部称重处理，用称重法测取单核重后，人工砸取种仁，用天平再称种仁的质量，求出仁率，计算公式：v%=w1w×100%，v%表示出仁率，w为抽取杏核质量，w1为砸取杏仁质量；核壳厚度用游标卡尺测量；种仁营养主要成分粗脂肪由索氏抽提法测定，蛋白质由凯氏定氮法测定，糖类 一、贝叶斯决策(Bayes decision theory) 【例】某企业设计出一种新产品，有两种方案可供选择：—是进行批量生产，二是出售专利。这种新产品投放市场，估计有3种可能：畅销、中等、滞销，这3种情况发生的可能性依次估计为：0.2，0.5和0.3。方案在各种情况下的利润及期望利润如下表。 企业可以以1000元的成本委托专业市场调查机构调查该产品销售前景。若实际市场状况为畅销，则调查结果为畅销、中等和滞销的概率分别为0.9、0.06和0.04；若实际市场状况为中等，则调查结果为畅销、中等和滞销的概率分别为0.05、0.9和0.05；若实际市场状况为滞销，则调查结果为畅销、中等和滞销的概率分别为0.04、0.06和0.9。问：企业是否委托专业市场调查机构进行调查？ 解： 1.验前分析： 记方案d1为批量生产，方案d2为出售专利 E(d1)=0.2*80+0.5*20+0.3*(-5)=24.5(万元) E(d2)=40*0.2+7*0.5+1*0.3=11.8(万元) 记验前分析的最大期望收益为E1，则E1=max{E(d1),E(d2)}=24.5(万元) 因此验前分析后的决策为：批量生产 E1不作市场调查的期望收益 2.预验分析： （1）设调查机构调查的结果畅销、中等、滞销分别用H1、H2、H3表示 由全概率公式 P(H1)=0.9*0.2+0.06*0.5+0.04*0.3=0.232 P(H2)=0.05*0.2+0.9*0.5+0.05*0.3=0.475 P(H3)=0.04*0.2+0.06*0.5+0.9*0.3=0.308 （2）由贝叶斯公式有 P(?1|H1)=0.9*0.2/0.232=0.776 P(?2|H1)=0.06*0.5/0.232=0.129 P(?3|H1)=0.04*0.3/0.232=0.052 P(?1|H2)=0.05*0.2/0.475=0.021 P(?2|H2)=0.9*0.5/0.475=0.947 P(?3|H2)=0.05*0.3/0.475=0.032 P(?1|H3)=0.04*0.2/0.308=0.026 P(?2|H3)=0.06*0.5/0.308=0.097 P(?3|H3)=0.9*0.3/0.308=0.877 （3）用后验分布代替先验分布，计算各方案的期望收益值 a)当市场调查结果为畅销时 E(d1|H1)=80* P(?1|H1)+20* P(?2|H1)+(-5)* P(?3|H1) Bayes判别分析及应用 班级：计算B101姓名：孔维文学号201009014119 指导老师：谭立云教授 【摘要】判别分析是根据所研究个体的某些指标的观测值来推断该个体所属类型的一种统计方法，在社会生产和科学研究上应用十分广泛。在判别分析之前，我们往往已对各总体有一定了解，样品的先验概率也对其预测起到一定作用，因此进行判别时应考虑到各个总体出现的先验概率；由于在实际问题中，样品错判后会造成一定损失，故判别时还要考虑到预报的先验概率及错判造成的损失，Bayes判别就具有这些优点；然而当样品容量大时计算较复杂，故而常借助统计软件来实现。本文着重于Bayes判别分析的应用以及SPSS的实现。 论文共分三部分。首先简单地介绍了判别分析的意义、主要应用及SPSS的优点；其次详细讲解了Bayes判别分析理论,举例说明利用SPSS实现Bayes判别分析的操作及结果分析；最后，在09年统计年鉴收集到“各地区农村居民家庭平均每人生活消费支出”数据资料，研究各地区经济发展程度说明Bayes判别分析在经济学方面的应用。 【关键词】判别分析Bayes判别Spss实现判别函数判别准则 Class: calculation B101 name: KongWeiWen registration number 201009014119 Teacher: TanLiYun professor .【Abstract】Discriminant analysis is based on the study of certain indicators of individual observations to infer that the individual belongs as a type of statistical methods in social production and scientific research is widely used. In discriminant analysis, we often have a certain understanding of the overall sample of the a priori probability of its prediction play a role, it should be taken into account to determine the overall emergence of various prior probability; because of practical problems, samples will result in some loss of miscarriage of justice, so identification must be considered when the prior probability and wrongly predicted loss, Bayes discriminant to have these advantages; However, when the sample is large computing capacity of more complex, often using statistical software Guer to achieve. This article focuses on the application of Bayes discriminant analysis, and implementation of SPSS. Thesis is divided into three parts. First, a brief overview of the significance of discriminant analysis, the main applications and advantages of Spss; followed by detailed explanation of the Bayes discriminant analysis theory, an example implementation using Spss Bayes discriminant analysis and results of operations; finally, in the 2009 Statistical Yearbook of the collected " all areas of life of rural residents per capita household 1. 办公室新来了一个雇员小王，小王是好人还是坏人大家都在猜测。按人们主观意识，一个人是好人或坏人的概率均为0.5。坏人总是要做坏事，好人总是做好事，偶尔也会做一件坏事，一般好人做好事的概率为0.9，坏人做好事的概率为0.2，一天，小王做了一件好事，小王是好人的概率有多大，你现在把小王判为何种人。 解：A ：小王是个好人 a ：小王做好事 B ：小王是个坏人 B ：小王做坏事 ()(/)(/)()(/)()(/)P A P a A P A a P A P a A P B P a B = +0.5*0.9 0.820.5*0.90.5*0.2==+ ()(/)0.5*0.2 (/)()(/)()(/)0.5*0.90.5*0.2 P B P a B P B b P A P a A P B P a B = =++=0.18 0.82>0.18 所以小王是个好人、 2. 设 m = 1,k = 2 ，X 1 ~ N (0,1) ，X 2 ~ N (3,2 2 ) ，试就C(2 | 1) = 1，C(1 | 2) = 1，且不考虑先验概率的情况下判别样品2，1 属于哪个总体，并求出 R = (R1, R2 ) 。 解： 2222 121/821 ()()/}1,2 21(2)(20)}0.05421(2)(23)/4}0.176 2i i i P x x i P P μσ--= --== --===--== 由于1(2)P <2(2)P ，所以2属于2π 21/2 121/221(1)(10)}0.242 21(1)(13)/4}0.120 2P P --= --===--== 1(1)P >2(1)P ，所以1属于1π 由 1()P x 22211 }()(3)/4}22x P x x -==-- 即221 exp{}2x -=21exp{(69)}8 x x --+ 2211 ln 2(69)28 x x x -=--+ 解得 1 x =1.42 2 x =-3.14.所以 R=([-3.41,1.42],(-∞,-3.41)U(1.42,+∞)). 3.已知1π，2π的先验分布分别为1q =3 5,2q =25 ,C(2|1)=1，C(1|2)=1，且 11,01()2,120,x x f P x x x <≤??==-<≤???其他 22 (1)/4,13()(5)/4,350,x x f P x x x -<≤?? ==-<≤??? 其他 使判别1x = 95 ，2x =2所属总体。 解：1p (9/5)=2-9/5=1/5 1p (2)=2-2=0 2p (9/5)=(9/5-1)/4=1/5 2p (2)=(2-1/4)=1/4 11q p = 35*15= 325> 22q p = 25*15 =2 25 11q p =0<22q p =25*14=1 10 所以判1x =9 5 属于1π。同理可知2x =2属于2π。 贝叶斯判别分析在传媒板块股票分 析中的应用 目录 摘要 (3) 1.引言 (3) 2.综合评价指标体系的建立 (4) 3.聚类分析方法 (4) 3.1离差平方和法 (4) 3.2 距离测度的选定 (5) 3.3 数据的标准化 (5) 4.股票投资的实证分析 (5) 5.贝叶斯判别 (8) 5.1判别分析的基本方法 (8) 5.2贝叶斯判别的基本思想和规则 (9) 5.2.1标准的Bayes判别 (9) 5.2.2考虑错判损失的Bayes判别分析 (9) 5.3判别分析的应用 (10) 6.总结 (12) 参考文献 (12) 摘要：随着中国股票市场的不断发展，对股票的投资更加理性化和科学化，股票投资分析的作用也日益重要起来。本文对20家出版传媒公司2011年的财务数据从盈利能力、偿债能力、成长能力和资本扩张能力等四个方面进行聚类分析，并对其分类结果应用贝叶斯判别来量化分析，从而检验分类结果。对传媒版块的股票进行投资分析，据此总结出传媒版块股票的类型和特点，为市场各参与者提供有效把握该版块长期成长趋势的借鉴。 关键词：股票投资；聚类分析；判别分析 Abstract:With the development of stock market in China,the stragedy of investment tends to be more reasonable and scientific.As a result,the analysis of stock investment will perform a vital role in investment.In the article,the financial date of the publication of the media companies of 20 is analysed on the aspect of profitability,sovency,growth ability and capital expansion capacity.The outcome of cluster analysis is adjusted,applying the Bayes discriminant analysis.Accoding to the analysis of stock among the media section,the type and trait of stocks are summarized,which can provide a benefinal reference for the investors to grasp the growth trend of this section efficiently. Key Words:Stock Investment Cluster Analysis Bayes Discriminant 1.引言 中国证劵市场经过了数十年的发展和完善，逐渐趋于成熟和科学，证劵投资分析的有效性和必要性也越来越强。通过各种专业性的分析方法可以对影响证劵波动的各类信息进行综合性质的分析，从而判断证劵价格波动的行为，这就是证劵投资分析。它是证劵投资过程中的一个重要环节。 常用的证劵分析方法有基本分析和技术分析，在此不讨论技术分析，而着重研究基本分析。因为基本分析可以较为全面的掌控证劵价格的基本走势，主要适用于周期相对较长的证劵价格预测和相对成熟的证劵市场。这与多元统计在证劵投资分析中的基本要求相符合。基本分析，又称之为基本面分析，可细分为宏观经济分析、行业分析和公司分析。其中公司分析是基础分析的核心，公司分析主要是通过对公司财务报告的分析，从中寻找出影响公司股票价格的公司内在财务情况，作为投资决策的主要依据。对公司进行的财务分析可以在较大的程度上确定该公司的股票是否具有投资价值，这是投资者做投资分析的主要目的。 然而基础分析中的影响因素大多都是定性分析，存在不少的主观性，所得到的长期分析结果可信度不高，为了寻求理性的长期投资的参考依据，必须采取数据量化分析，从公司股票的基本特征之中发掘出股票的真实投资价值。这就需要在基础分析之上，对公司财务状况进行多元统计分析。此外，经济学家马柯维茨的现代投资组合理论是利用一定时期内证劵收益率的数学期望和方差分别衡量其获益能力和风险大小，进行分散性投资。但是这个理论存在一些限制，如前提是有效市场，需要职业的金融管理人员和现代化的计算设备。但是很明显中国证劵市场是非有效市场，存在大量的散户和投机者，现代投资组合理论无法有效地在中国的证劵市场得到应用。相比较而言，多元统计分析在应用时，受到的局限小，操作性强，具有可以推广给广大投资者采用的优越性。 多元统计分析主要有三大分析方法：聚类分析、判别分析、主成分分析。其中聚类分析可以基于股票各类基本层面因素的考察，利用建立起来的综合评价指标体系对公司股票的相似程度进行比较分类，这样做可以清晰地了解公司股票的总体特征，区别出各类优劣股票，缩小投资的范围，还可以利用分类的总体价格水平来预估股票价格的波动趋势和时机。对于不在样本之中的同行业股票可以利用判别分析对其进行归类，得到该股票的大概走势和特Bayes 判别分析及应用 201009014119
贝叶斯决策模型与实例分析报告
两类正态分布模式的贝叶斯判别
Bayes判别
贝叶斯决策分析文献综述
贝叶斯判别习题
典型判别分析与贝叶斯判别的区别
判别分析讲解
贝叶斯判别、费希尔判别法的计算机操作及结果分析
贝叶斯判别函数和决策面.docx
杏种质资源测评
贝叶斯决策的经典例题练习
Bayes_判别分析及应用论文
贝叶斯判别习题讲课教案
贝叶斯判别分析在股票投资分析中的应用
相关主题
文本预览