下载文档原格式
距离判别和贝叶斯判别法SAS/STAT （DISCRIM ）过程部分语句说明一、 D ISCRIM 过程语句SAS/STAT （DISCRIM ）产生线性判别函数并进行分类，主要的语句如下：二、程序实例及解释例：某年为了研究某年全国各地农民家庭收支的分布情况，对全国28个地区进行了抽样调查。
食品1x ，衣着2x ，燃料3x ，住房4x ，生活用品及其他5x 和文化服务支出6x 。
data a;input type x1-x6;cards;数据行；run;data b;input x1-x6; cards;190.33 43.77 9.73 60.54 49.01 9.04 221.11 38.64 12.53 115.65 50.82 5.89 182.55 20.52 18.32 42.40 36.97 11.68 ;PROC DISCRIM DATA=a TESTDATA=b out=c crossvalidate method=normal TESTLIST testout=d; priors proportional; CLASS TYPE; VAR x3 x5 x6; proc print data=d; RUN;PROC DISCRIM DATA=a 指定对数据集a 中的数据进行判别分析； TESTDATA=b 指定欲分类观测的样品所在的数据集；crossvalidate 要求做交叉核实。
交叉核实的想法是，为了判断对观测i 的判别正确与否，用删除第method=normal 或npar 确定导出分类准则的方法，却上缺省值为method=normal 。
当指定method=normal 时，基于类内服从多员正态分布，并产生的判别函数是线性函数或二次判别函数； ALL 规定打印出所有的结果；TESTLIST 规定列出TESTDATA=b 中的全部的分类结果；testout=d 生成一个新的数据集，该数据集包括TESTDATA=b 中的所有数据，后验概率和每个样品被分的类。
实验十一Bayes判别实验目的和要求掌握Bayes判别分析的理论与方法、模型的建立与误差率估计；掌握利用判别分析的SAS过程解决有关实际问题.实验要求:编写程序，结果分析．实验内容：5.4 5.5 选一题data examp5_4。
input group $ x1-x7 @@。
cards。
G1 6.6 39 1.0 6.0 6 0.12 20G1 6.6 39 1.0 6.0 12 0.12 20G1 6.1 47 1.0 6.0 6 0.08 12G1 6.1 47 1.0 6.0 12 0.08 12G1 8.4 32 2.0 7.5 19 0.35 75G1 7.2 6 1.0 7.0 28 0.30 30G1 8.4 113 3.5 6.0 18 0.15 75G1 7.5 52 1.0 6.0 12 0.16 40G1 7.5 52 3.5 7.5 6 0.16 40G1 8.3 113 0.0 7.5 35 0.12 180G1 7.8 172 1.0 3.5 14 0.21 45G1 7.8 172 1.5 3.0 15 0.21 45G2 8.4 32 2.0 9.0 10 0.35 75 G2 8.4 32 2.5 4.0 10 0.35 75 G2 6.3 11 4.5 7.5 3 0.20 15 G2 7.0 8 4.5 4.5 9 0.25 30 G2 7.0 8 6.0 7.5 4 0.25 30 G2 7.0 8 1.5 6.0 1 0.25 30 G2 8.3 161 1.5 4.0 4 0.08 70 G2 8.3 161 0.5 2.5 1 0.08 70 G2 7.2 6 3.5 4.0 12 0.30 30 G2 7.2 6 1.0 3.0 3 0.30 30 G2 7.2 6 1.0 6.0 5 0.30 30 G2 5.5 6 2.5 3.0 7 0.18 18 G2 8.4 113 3.5 4.5 6 0.15 75 G2 8.4 113 3.5 4.5 8 0.15 75 G2 7.5 52 1.0 6.0 6 0.16 40 G2 7.5 52 1.0 7.5 8 0.16 40 G2 8.3 97 0.0 6.0 5 0.15 180 G2 8.3 97 2.5 6.0 5 0.15 180 G2 8.3 89 0.0 6.0 10 0.16 180 G2 8.3 56 1.5 6.0 13 0.25 180 G2 7.8 172 1.0 3.5 6 0.21 45run。
课程：SAS判别分析部门：创新业务部-徐宝莲时间：2015/1/16内容概要：1、判别分析的简单介绍2、一般判别分析——PROC DISCRIM3、典型判别分析——PROC CANDISC4、逐步判别分析——PROC STEPDISC1、判别分析的简单介绍判别分析是一种应用性很强的统计方法。
它通常是根据已有的数据资料，来建立一种判别方法，然后再来判断一个新的样品归属哪一类。
判别分析的SAS过程所处理的数据集要求具有一个分类变量和若干个数值型变量。
SAS 中进行判别分析的具体目标可以分为以下三条：建立判别函数，以便用来判别某一新的观测值的所属类别；寻找一组数值型变量的线性组合，使得其能够很好地反映各类别之间的差别；筛选出某些能反映类别间差别的变量。
2、一般判别分析——PROC DISCRIM2.1距离判别法距离判别法是通过计算距离函数来进行判别，即样品与哪个总体之间的距离最近，则判断它属于哪个总体。
如何衡量样品与总体间的这种抽象的距离？我们一般利用马氏距离来描述。
对于两总体的情形，设G1和G2是两个P维总体，样品X到G1的距离为d2(X,G1),样品X 到G2的距离为d2(X,G2)，则我们按照下面的准则对样本X进行判别归类：1)若d2(X,G1)<d2(X,G2),则判定X属于G1；2)若d2(X,G1)>d2(X,G2),则判定X属于G2；3)若d2(X,G1)=d2(X,G2)，则X有待于进一步判定。
2.2Bayes判别法Bayes判别法是基于Bayes统计的思想，即假定事先对所研究的对象有一定的了解，并通过先验概率分布来进行描述，当抽取样本后，用样本来修正先验概率分布，并得到后验概率分布，然后根据后验概率分布进行各种统计推断。
Bayes判别法首先计算给定样品属于各个总体的条件概率，然后比较这些概率值的大小，将样品判归于条件概率最大的总体。
PROC DISCRIM DATA=数据集名<选项>；CLASS变量名列表；PRIORS概率值；BY 分组变量名；RUN;语句说明：1）PROC DISCRIM 语句用来调用DISCRIM 过程。
实验报告实验项目名称聚类分析与判别分析所属课程名称统计分析及SAS实现实验类型验证性实验实验日期2016-12-19班级数学与应用数学学号姓名成绩图8.1 聚类谱系图图8.1为proc cluster过程不得出的谱系图，为更方便直观，我们利用proc tree过程步得出图8.2。
②利用proc tree过程步得出聚类谱系图。
过程步：proc tree data=Lmf.tree1 horizontal;id region;run;结果：The TREE ProcedureWard's Minimum Variance Cluster Analysis图8.2 聚类谱系图由表8.2、图8.2得出，分为三类较合适，第一类为北京、天津、上海，第二类为河北、山东、河南、内蒙、江苏、浙江、山西、湖北、四川、福建、江西、湖南、海南、广东、新疆、广西、吉林、黑龙江、辽宁、陕西，第三类为安徽、宁夏、贵州、云南、甘肃、青海、西藏。
【练习8-2】有6个铅弹头，用“中子活化”方法测得7种微量元素含量数据。
表 7种微量元素含量数据Num Ag Al Cu Ca Sb Bi Sn10.05798 5.515347.121.918586174261.6920.08441 3.97347.219.7179472000244030.07217 1.15354.85 3.05238601445949740.1501 1.702307.515.0312290146163805 5.744 2.854229.69.657809912661252060.2130.7058240.313.91898028204135①试用多种系统聚类分析方法对6个铅弹头和7种微量元素进行分类，并进行分类结果。
②试用VARCLUS过程对7中微量元素进行分类。
【解答】①通过比较⑴⑵⑶三种系统聚类的方法类平均法、ward离差平方和法、最长距离法，对6个铅弹头进行分类。
实验十一 Bayes 判别实验目的和要求掌握Bayes 判别分析的理论与方法、模型的建立与误差率估计；掌握利用判别分析的SAS 过程解决有关实际问题.实验要求:编写程序，结果分析．实验内容：1、2题必做，第2-4题可选一题1. 写出两总体Bayes 判别的划分、准则,误判率估计;两总体的Bayes 判别准则为⎩⎨⎧<=∈∈≥=∈∈)}()2|1()()1|2(:{,)}()2|1()()1|2(:{,221122221111x x x x x x x x x x f p c f p c R G f p c f p c R G 如如误判概率的频率估计---回代法和交叉确认法*p ),2|1(),1|2(21R R P p P p +=212112221212112211*ˆn n n n n n n n n n n n n n p++=⋅++⋅+=≈ 回代法估计 21*21*12*ˆn n n n pp c++=≈* 交叉确认法估计2.写出两总体正态分布的Bayes 判别准则，给出样品；两个正态总体的Bayes 判别212221212||)2()},(21exp{)}()(21exp{||)2(1)(j p j j j T j j p j G d f Σx μx Σμx Σx ππ-=---=- )}()(21||ln )2ln(2)(ln 1j j j j j p f μx Σμx Σx -----=-π =)(2x j d )()(1j j T j μx Σμx ---)|(ln 2-ln 2-||ln j i c p j j Σ+---广义平方距离2,1,)(2exp()(2exp()(21exp()|(22212=-+--=j d d d G P j j x x x x ----后验概率最优划分 ⎩⎨⎧>=≤=)}()(:{)}()(:{2221222211x x x x x x d d R d d R两正态总体一般判别准则⎩⎨⎧><∈≤≥∈)()()|()|(,)()()|()|(,22212122221211x x x x x x x x x x d d G P G P G d d G P G P G 或当或当3.书上5.4、5.5选一题 5.4 (1) 结果如下：data examp5_4;input group $ x1-x7 @@; cards ;G1 6.6 39 1.0 6.0 6 0.12 20 G1 6.6 39 1.0 6.0 12 0.12 20 G1 6.1 47 1.0 6.0 6 0.08 12 G1 6.1 47 1.0 6.0 12 0.08 12 G1 8.4 32 2.0 7.5 19 0.35 75 G1 7.2 6 1.0 7.0 28 0.30 30 G1 8.4 113 3.5 6.0 18 0.15 75 G1 7.5 52 1.0 6.0 12 0.16 40 G1 7.5 52 3.5 7.5 6 0.16 40 G1 8.3 113 0.0 7.5 35 0.12 180 G1 7.8 172 1.0 3.5 14 0.21 45 G1 7.8 172 1.5 3.0 15 0.21 45 G2 8.4 32 1.0 5.0 4 0.35 75 G2 8.4 32 2.0 9.0 10 0.35 75 G2 8.4 32 2.5 4.0 10 0.35 75 G2 6.3 11 4.5 7.5 3 0.20 15 G2 7.0 8 4.5 4.5 9 0.25 30 G2 7.0 8 6.0 7.5 4 0.25 30 G2 7.0 8 1.5 6.0 1 0.25 30 G2 8.3 161 1.5 4.0 4 0.08 70 G2 8.3 161 0.5 2.5 1 0.08 70 G2 7.2 6 3.5 4.0 12 0.30 30 G2 7.2 6 1.0 3.0 3 0.30 30 G2 7.2 6 1.0 6.0 5 0.30 30 G2 5.5 6 2.5 3.0 7 0.18 18 G2 8.4 113 3.5 4.5 6 0.15 75 G2 8.4 113 3.5 4.5 8 0.15 75 G2 7.5 52 1.0 6.0 6 0.16 40 G2 7.5 52 1.0 7.5 8 0.16 40G2 8.3 97 0.0 6.0 5 0.15 180G2 8.3 97 2.5 6.0 5 0.15 180G2 8.3 89 0.0 6.0 10 0.16 180G2 8.3 56 1.5 6.0 13 0.25 180G2 7.8 172 1.0 3.5 6 0.21 45G2 7.8 233 1.0 4.5 6 0.18 45;run;proc discrim data=examp5_4 wcov outstat=aa method=normal pool=no list crosslist;class group;priors proportional; /* 总体的先验概率与各总体的训练样本容量成比例 */ run;proc print data=aa; /* 数据集aa中有各总体的均值向量、标准差、相关系数等*/ run;结果如下：计算广义平方距离函数和后验概率2,1,))(ˆ5.0exp(/))(ˆ5.0exp()|(ˆ2122=--=∑=j d d G P k kj j x x x由此可见，误判率的回代估计为0ˆ* r p ．误判率的交叉确认法估计交叉确认法的广义平方距离函数及后验概率计算公式2,1,ln 2||ln (()(~)()()1()()(2=-+--=-j p d j x j x x j x j jj S )x x )S x x x2,1,))(ˆ5.0exp(/))(ˆ5.0exp()|(ˆ2122=--=∑=j d d G P k kj j x x x交叉确认法分类小结4.针对波士顿房价问题(1) 利用Bayes 判别对住房状况做判别分析，并给出5、100、400号样品判别结果。
36. 判别分析（一）基本原理判别分析，是用以判别个体所属类的一种统计方法。
其原理是根据已掌握的一批分类明确的样品，建立一个较好的判别函数，使得用该判别函数进行判别时错判事例最少，进而能用此判别函数对给定的一个新样品判别它来自哪个总体。
判别分析方法通常要给出一个判别指标（判别函数），同时还要指定一种判别规则。
一、距离判别法未知总体的样品x离哪个总体的距离最近，就判断它属于哪个总体。
1. 对于两个正态总体G1, G2距离选用马氏（Mahalanobis）距离：d2(x, G1) = (x-μ1)T∑1-1(x-μ1)d2(x, G2) = (x-μ2)T∑2-1(x-μ2)其中，μ1, μ2, ∑1, ∑2分别为总体G1, G22的均值和协差矩阵。
令W(x) = d2(x, G1) - d2(x, G2)称为判别函数，若∑1=∑2时，W(x)是线性函数，此时称为线性判别；若∑1≠∑2，W(x)是二次函数。
2. 多总体情况设有m个总体：G1, …, G m，其均值、协差阵分别为μi, ∑i. 对给定的样品x，按距离最近的准则对x进行判别归类：首先计算样品x到m个总体的马氏距离d i2(x), 然后进行比较，把x判归距离最小的那个总体，即若d h2(x) = min{ d i2(x) | i = 1,…,m}，则x∈G h.二、Fisher线性函数判别法为了方便使用，需要寻找尽量简单的判别函数，其中在Fisher 准则下的线性判别函数就是只利用总体的一、二阶矩就可求得的判别函数。
图1 Fisher线性判别分析示意图下面以两个总体为例来说明Fisher判别的思想。
设有两个总体G1、G2，其均值分别为μ1和μ2，协方差阵分别∑1和∑2，并假定∑1 = ∑2 = ∑，考虑线性组合：y = L T x。
通过寻求合适的L向量，使得来自两个总体的数据间的距离较大，而来自同一个总体数据间的差异较小。
为此，可以证明，当选L=c∑–1(μ1–μ2)，其中c ≠ 0时，所得的投影即满足要求。
判别分析一：实验目的通过实验掌握使用SAS进行判别分析的几种常用方法：距离判别，贝叶斯判别，费希尔判别。
二：实验内容1.用DISCRIM过程作贝叶斯判别。
2.用DISCRIM过程作费希尔判别。
三：程序代码及结果分析练习1（1）程序代码（2）结果及分析表1.1-对14名未定级运动员作贝叶斯判别表1.1 表明了在先验概率相同的前提下，对14名未定级运动员作贝叶斯判别的结果。
其中8,9，11,12，14均判给第二组，其余9个均判给第一组。
表1.2交叉验证法对误判概率作估计表1.2表明交叉验证法对误判概率做出的估计。
其中40,48号运用交叉验证法得出是误判的。
均是误判给了第一组。
而在全样品中是没有被误判的。
表1.3各组误判概率及平均误判概率表1.3表明把第一组误判的概率为0，将第二组误判给第一组的概率为0.08.平均误判概率为0.04..表1.4先验概率不同情况下的贝叶斯判别表1.4为在先验概率p1=0.8,p2=0.2的情况下运动员归属的判别。
其中9,11,12,14判给第二组，其余均判给第一组。
由表可以看出先验概率不同得到的判别是不同的。
例如第60号（第8个未定级）运动员判给了第一组，而在概率相同时时判给了第二组。
练习2（1）程序代码（2）结果及分析表2.1费希尔判别系数费希尔判别式为xxxxxxxxy87654321103687468.0195246015.0202200109.0420281838.1 00763493.0837675738.0369109646.0022344104.0-+++ --+=xxxxxxxxy876543212026966644.0235306430.0203863959.0039957871.1006017311.0386499597.0332405063.0045417606.0+++-++++-=表2.2判别式得分散点图表2.2中1代表通用牛奶厂商，2代表克罗格厂商，3代表夸克厂商。
