下载文档原格式
第二章2.1.试表达多元联合分布和边际分布之间的关系。
解：多元联合分布讨论多个随机变量联合到一起的概率分布状况，12(,,)p X X X X '=的联合分布密度函数是一个p 维的函数，而边际分布讨论是12(,,)p X X X X '=的子向量的概率分布，其概率密度函数的维数小于p 。
2.2设二维随机向量12()X X '服从二元正态分布，写出其联合分布。
解：设12()X X '的均值向量为()12μμ'=μ，协方差矩阵为21122212σσσσ⎛⎫ ⎪⎝⎭，则其联合分布密度函数为1/21222112112222122121()exp ()()2f σσσσσσσσ--⎧⎫⎛⎫⎛⎫⎪⎪'=---⎨⎬ ⎪⎪⎝⎭⎝⎭⎪⎪⎩⎭x x μx μ。
2.3已知随机向量12()X X '的联合密度函数为121212222[()()()()2()()](,)()()d c x a b a x c x a x c f x x b a d c --+-----=-- 其中1a x b ≤≤，2c x d ≤≤。
求〔1〕随机变量1X 和2X 的边缘密度函数、均值和方差； 〔2〕随机变量1X 和2X 的协方差和相关系数； 〔3〕判断1X 和2X 是否相互独立。
〔1〕解：随机变量1X 和2X 的边缘密度函数、均值和方差；112121222[()()()()2()()]()()()dx cd c x a b a x c x a x c f x dx b a d c --+-----=--⎰12212222222()()2[()()2()()]()()()()ddcc d c x a x b a x c x a x c dx b a d c b a d c -------=+----⎰12122222()()2[()2()]()()()()dd cc d c x a x b a t x a t dt b a d c b a d c ------=+----⎰2212122222()()[()2()]1()()()()d cdcd c x a x b a t x a t b a d c b a d c b a------=+=----- 所以由于1X 服从均匀分布，则均值为2b a +，方差为()212b a -。
距离判别法和Bayes判别法[color=black][size=3]距离判别法和Bayes判别法是判别分析中常用的两类判别法。
多元统计书上一般都有介绍。
简单说就是[font=MS Shell Dlg]判别给定的样本属于哪一类的。
比方说一堆样本，分好几类，样本有n个属性。
把这堆样本输入程序训练好后，程序就可以判别新的样本属于哪一类了。
[/font]我把它们做成了一个简单的界面，大家可以按界面提示操作下。
为了方便我准备了一些数据，见附件。
[font=MS Shell Dlg]train是训练样本（判别准备前用的），test是测试样本，即新数据，用来判别新样本中每一个属于哪一类的。
这里属性个数n=3。
实际使用时，n可以不局限于3。
训练样本只要按照附件中的格式（即第一列为类名，其余列为属性）存为xls文件即可。
测试样本直接就是由属性列组成的，每一行表示一个样本。
[/font][/size][/color][font=MS Shell Dlg][size=3]下面是代码（注释比较详细，用nested function写回调函数可以供GUI 初学者借鉴）：[/size][/font][font=MS Shell Dlg][size=3][code]function DiscriminantMethodsfig=figure('defaultuicontrolunits','normalized','name','各类判别方法比较','numbertitle','off','menubar','none');%主界面，返回主界面句柄figUiButtonGroupH = uibuttongroup('Position',[0.55 0.08 0.40 0.85],'title','各判别方法','fontsize',12,'bordertype','etchedout');%群组对象，并返回句柄DistanceH = uicontrol('Style','Radio','String','距离判别法','fontsize',12,'pos',[0.05 0.73 0.9 0.15],'parent',UiButtonGroupH);%距离判别法的选项BayesH = uicontrol('Style','Radio','String','Bayes判别法','fontsize',12,'pos',[0.05 0.52 0.9 0.15],'parent',UiButtonGroupH);%Bayes判别法的选项FisherH = uicontrol('Style','Radio','String','Fisher判别法','fontsize',12,'pos',[0.05 0.31 0.9 0.15],'parent',UiButtonGroupH);%Fisher判别法的选项%下面几行建立相关按钮控件。
判别分析判别分析是用以判别个体所属群体的一种统计方法。
最常用的判别方法：距离判别法、Bayes 判别法、Fisher 判别法。
1、距离判别法最为直观，其想法简单自然，就是计算新样品x 到各组的距离，然后将该样品判为离它距离最近的那一组。
定义：设组π的均值为μ，协方差矩阵为∑，x 是一个样品(样本)，称()()μμπ-∑'-=-x x x d 1),(为x 到总体π的马氏距离或统计距离。
判别准则：不妨假设有k 组，记为k ππ...1，，均值分别为k μμ...1，，协方差矩阵分别为k ∑∑...,1，，若),(min ),(212i ki l x d x d ππ≤≤=，则判断x 来自第l 组。
注1：若k ∑==∑...1，上述准则可以化简，如果不确定是否相等，可两种情况都试试，那种规则误判概率小选哪种。
注2：实际中k μμ...1，以及k ∑∑...,1，均未知，用估计量代替。
2、Bayes 判别法(1)最大后验概率准则设有k 个组k ππ...1，，且组i π的概率密度为()x f i ，样品x 来自组i π的先验概率为,,...,1,k i p i =且.11=∑=ki i p 利用Bayes 理论，x 属于i π的后验概率(即当样品x 已知时，它属于i π的先验概率)为()().,...,2,1,)(1k i x f p x f p x P k j j j i i i ==∑=π最大后验概率法是采用如下的判别规则：()x P x P x l ji l l πππ≤≤=∈1max )(,若. (2)最小平均误判代价准则()()()()∑∑≠=≤≤≠==∈ki j j j j k i j k l j j j l j i c x f p j l c x f p x 111m i n ,若π，其中)(j i c 表示将来自j π的x 判为i π的代价。
例：设有321,,πππ三个组，欲判别某样品0x 属于何组，已知()()().4.2,63.0,10.0,30.0,65.0,05.0030201321======x f x f x f p p p 计算：()()004.04.230.063.065.010.005.010.005.0)(1111=⨯+⨯+⨯⨯==∑=k j j j x f p x f p x P π ()361.02=x P π()635.03=x P π假定误判代价矩阵为95.4110063.065.020010.005.0:305.36504.230.01010.005.0:239.51604.230.02063.065.0:1=⨯⨯+⨯⨯==⨯⨯+⨯⨯==⨯⨯+⨯⨯=l l l 3、Fisher 判别基本思想：先对原始数据进行降维，然后对新数据使用距离判别法进行判别。
判别分析--费希尔判别、贝叶斯判别、距离判别判别分析⽐较理论⼀些来说，判别分析就是根据已掌握的每个类别若⼲样本的数据信息，总结出客观事物分类的规律性，建⽴判别公式和判别准则;在遇到新的样本点时，再根据已总结出来的判别公式和判别准则，来判断出该样本点所属的类别。
1 概述三⼤类主流的判别分析算法，分别为费希尔(Fisher)判别、贝叶斯(Bayes)判别和距离判别。
具体的，在费希尔判别中我们将主要讨论线性判别分析（Linear Discriminant Analysis，简称LDA）及其原理⼀般化后的衍⽣算法，即⼆次判别分析（Quadratic Discriminant Analysis，简称QDA);⽽在贝叶斯判别中将介绍朴素贝叶斯分类(Naive Bayesian Classification)算法;距离判别我们将介绍使⽤最为⼴泛的K最近邻(k-Nearest Neighbor，简称kNN)及有权重的K最近邻( Weighted k-Nearest Neighbor）算法。
1.1 费希尔判别费希尔判别的基本思想就是“投影”，即将⾼维空间的点向低维空间投影，从⽽简化问题进⾏处理。
投影⽅法之所以有效，是因为在原坐标系下，空间中的点可能很难被划分开，如下图中，当类别Ⅰ和类别Ⅱ中的样本点都投影⾄图中的“原坐标轴”后，出现了部分样本点的“影⼦”重合的情况，这样就⽆法将分属于这两个类别的样本点区别开来;⽽如果使⽤如图8-2中的“投影轴”进⾏投影，所得到的“影⼦”就可以被“类别划分线”明显地区分开来，也就是得到了我们想要的判别结果。
原坐标轴下判别投影轴下判别我们可以发现，费希尔判别最重要的就是选择出适当的投影轴，对该投影轴⽅向上的要求是:保证投影后，使每⼀类之内的投影值所形成的类内离差尽可能⼩，⽽不同类之间的投影值所形成的类间离差尽可能⼤，即在该空间中有最佳的可分离性，以此获得较⾼的判别效果。
对于线性判别，⼀般来说，可以先将样本点投影到⼀维空间，即直线上，若效果不明显，则可以考虑增加⼀个维度，即投影⾄⼆维空间中，依次类推。
复习题原文： 答案：4.2 试述判别分析的实质。
4.3 简述距离判别法的基本思想和方法。
4.4 简述贝叶斯判别法的基本思想和方法。
4.5 简述费希尔判别法的基本思想和方法。
4.6 试析距离判别法、贝叶斯判别法和费希尔判别法的异同。
4.2 试述判别分析的实质。
答：判别分析就是希望利用已经测得的变量数据，找出一种判别函数，使得这一函数具有某种最优性质，能把属于不同类别的样本点尽可能地区别开来。
设R1，R2，…，Rk 是p 维空间R p 的k 个子集，如果它们互不相交，且它们的和集为 ，则称 ， 为 的一个划分。
判别分析问题实质上就是在某种意义上，以最优的性质对p 维空间 构造一个“划分”，这个“划分”就构成了一个判别规则。
4.3 简述距离判别法的基本思想和方法。
答：距离判别问题分为①两个总体的距离判别问题和②多个总体的判别问题。
其基本思想都是分别计算样本与各个总体的距离（马氏距离），将距离近的判别为一类。
①两个总体的距离判别问题设有协方差矩阵∑相等的两个总体G 1和G 2，其均值分别是?1和? 2，对于一个新的样品X ，要判断它来自哪个总体。
计算新样品X 到两个总体的马氏距离D 2（X ，G 1）和D 2（X ，G 2），则X ，D 2（X ，G 1） D 2（X ，G 2）X ，D 2（X ，G 1）> D 2（X ，G 2， 具体分析，记()()W '=-X αX μ 则判别规则为 X ，W(X) X ，W(X)<0②多个总体的判别问题。
设有k 个总体k G G G ,,,21 ，其均值和协方差矩阵分别是和k ΣΣΣ,,,21 ，且ΣΣΣΣ====k 21。
计算样本到每个总体的马氏距离，到哪个总体的距离最小就属于哪个总体。
具体分析，21(,)()()D G ααα-'=--X X μΣX μ取ααμΣI 1-=，αααμΣμ121-'-=C ，k ,,2,1 =α。
距离判别法、贝叶斯判别法和费歇尔判别法的比较分析距离判别法、贝叶斯判别法和费歇尔判别法是三种常见的判别方法，用于对数据进行分类和判别。
本文将对这三种方法进行比较分析，探讨它们的原理、特点和适用范围，以及各自的优势和局限性。
1. 距离判别法距离判别法是一种基于样本间距离的判别方法。
它的核心思想是通过计算待分类样本与各个已知类别样本之间的距离，将待分类样本归入距离最近的类别。
距离判别法常用的距离度量有欧氏距离、曼哈顿距离和马氏距离等。
优势：- 简单直观，易于理解和实现。
- 不依赖于概率模型，适用于各种类型的数据。
- 对异常值不敏感，具有较好的鲁棒性。
局限性：- 忽略了各个特征之间的相关性，仅考虑样本间的距离，可能导致分类效果不佳。
- 对数据的分布假设较强，对非线性分类问题表现较差。
- 对特征空间中的边界定义不明确。
2. 贝叶斯判别法贝叶斯判别法是一种基于贝叶斯理论的判别方法。
它通过建立样本的概率模型，计算待分类样本的后验概率，将其归入后验概率最大的类别。
贝叶斯判别法常用的模型包括朴素贝叶斯和高斯混合模型等。
优势：- 考虑了样本的先验概率和类条件概率，能够更准确地对样本进行分类。
- 可以灵活应用不同的概率模型，适用范围广。
- 在样本量不充足时，具有较好的鲁棒性和泛化能力。
局限性：- 对特征分布的假设较强，对非线性和非正态分布的数据表现较差。
- 需要估计大量的模型参数，对数据量要求较高。
- 对特征空间中的边界定义不明确。
3. 费歇尔判别法费歇尔判别法是一种基于特征选择的判别方法。
它通过选择能够最好地区分不同类别的特征，建立判别函数进行分类。
费歇尔判别法常用的特征选择准则有卡方检验、信息增益和互信息等。
优势：- 基于特征选择，能够提取最具有判别性的特征，减少了特征维度，提高了分类性能。
- 不对数据分布做假设，适用于各种类型的数据。
- 可以灵活选择不同的特征选择准则，满足不同的需求。
局限性：- 特征选择的结果可能受到特征相关性和重要性的影响，选择不准确会导致分类效果下降。
距离判别法、贝叶斯判别法和费歇尔判别法的异同引言在模式识别领域，判别分析是一种常用的方法，用于将数据样本划分到不同的类别中。
距离判别法、贝叶斯判别法和费歇尔判别法是判别分析中常见的三种方法。
本文将对这三种方法进行比较，探讨它们的异同。
一、距离判别法距离判别法是一种基于距离度量的判别分析方法。
它的基本思想是通过计算样本点与各个类别中心的距离，将样本划分到距离最近的类别中。
常见的距离判别法有欧氏距离判别法和马氏距离判别法。
1. 欧氏距离判别法欧氏距离判别法是一种简单直观的距离判别方法。
它通过计算样本点与各个类别中心之间的欧氏距离，将样本划分到距离最近的类别中。
算法步骤如下： 1. 计算各个类别的中心点，即各个类别样本点的均值向量。
2. 对于给定的待判样本点，计算其与各个类别中心点的欧氏距离。
3. 将待判样本点划分到距离最近的类别中。
2. 马氏距离判别法马氏距离判别法考虑了各个类别的协方差矩阵，相比于欧氏距离判别法更加准确。
它通过计算样本点与各个类别中心之间的马氏距离，将样本划分到距离最近的类别中。
算法步骤如下： 1. 计算各个类别的中心点，即各个类别样本点的均值向量。
2. 计算各个类别的协方差矩阵。
3. 对于给定的待判样本点，计算其与各个类别中心点之间的马氏距离。
4. 将待判样本点划分到距离最近的类别中。
二、贝叶斯判别法贝叶斯判别法是一种基于贝叶斯理论的判别分析方法。
它的基本思想是通过计算后验概率，将样本划分到具有最高后验概率的类别中。
常见的贝叶斯判别法有贝叶斯最小错误率判别法和贝叶斯线性判别法。
1. 贝叶斯最小错误率判别法贝叶斯最小错误率判别法是一种理论上最优的判别方法。
它通过计算后验概率，将样本划分到具有最高后验概率的类别中。
算法步骤如下： 1. 计算各个类别的先验概率。
2. 计算给定样本点在各个类别下的条件概率。
3. 计算给定样本点在各个类别下的后验概率。
4. 将待判样本点划分到具有最高后验概率的类别中。
判别分析判别分析就是根据所研究的个体的观测指标来推断该个体所属类型的一种统计方法。
它的统计模型的语言描述就是：设有k 个总体k G G G ,,,21 ，希望建立一个准则，对任意给定的一个样本x ，依据这个准则就能判断它是来自哪个总体。
依据研究问题的角度和方法分类，现有的判别分析的方法有距离判别，Fisher 判别和Bayes 判别。
§1 距离判别一、两总体情况设有两个总体 21,G G 和一个p 维样品x .我们以x 距离这两个总体中心的远近来判断其归属。
设21,G G 的协差阵分别为21,∑∑，选用马氏距离，则x 距21,G G 的距离分别为)()(),(111112μμ-∑'-=-x x G x d)()(),(212222μμ-∑'-=-x x G x d . 于是判别准则即可叙述为⎩⎨⎧>∈≤∈),(),(,),(),(,2212222121G x d G x d G x G x d G x d G x 若若当∑=∑=∑21时，)(2)()2/)((2)()()()(),(),(211212121112212x W x x x x x G x d G x d -=-∑'+--=-∑'---∑'-=----μμμμμμμμ判别准则可叙述为⎩⎨⎧<∈≥∈0)(,0)(,21x W G x x W G x 若若易见，)(x W 是x 的线性函数。
这就使得判别过程比较简单。
几点说明：1、 按以上准则（最小距离准则）进行判别分析可能会产生误判。
2、 当两个总体的均值十分接近时，无论用什么办法，误判概率都较大，这时判别是无意义的。
所以在判别之前应对两总体的均值进行显著性检验。
3、 由于落在μ附近的点误判概率比较大，有时可划出一个待判区域，如取)](51),(51[],[2121μμμμμμ-+--=d c作为待判区域。
4、 上述判别准则并未涉及具体的分布类型，只要二阶矩存在就行。
第四章 判别分析4、1 简述欧几里得距离与马氏距离得区别与联系。
答: 设p 维欧几里得空间中得两点X =与Y =。
则欧几里得距离为。
欧几里得距离得局限有①在多元数据分析中,其度量不合理。
②会受到实际问题中量纲得影响。
设X,Y 就是来自均值向量为,协方差为得总体G 中得p 维样本。
则马氏距离为D(X,Y)=。
当即单位阵时,D(X,Y)==即欧几里得距离。
因此,在一定程度上,欧几里得距离就是马氏距离得特殊情况,马氏距离就是欧几里得距离得推广。
4、2 试述判别分析得实质。
答:判别分析就就是希望利用已经测得得变量数据,找出一种判别函数,使得这一函数具有某种最优性质,能把属于不同类别得样本点尽可能地区别开来。
设R1,R2,…,Rk 就是p 维空间R p 得k 个子集,如果它们互不相交,且它们得与集为,则称为得一个划分。
判别分析问题实质上就就是在某种意义上,以最优得性质对p 维空间构造一个“划分”,这个“划分”就构成了一个判别规则。
4、3 简述距离判别法得基本思想与方法。
答:距离判别问题分为①两个总体得距离判别问题与②多个总体得判别问题。
其基本思想都就是分别计算样本与各个总体得距离(马氏距离),将距离近得判别为一类。
①两个总体得距离判别问题设有协方差矩阵∑相等得两个总体G 1与G 2,其均值分别就是μ1与μ 2,对于一个新得样品X ,要判断它来自哪个总体。
计算新样品X 到两个总体得马氏距离D 2(X,G 1)与D 2(X,G 2),则X ,D 2(X ,G 1)D 2(X ,G 2)X ,D 2(X ,G 1)> D 2(X ,G 2, 具体分析,111122111111111222111211122()()()()2(2)2()-----------''=-----''''''=-+--+'''=-+-X μΣX μX μΣX μX ΣX X ΣμμΣμX ΣX X ΣμμΣμX ΣμμμΣμμΣμ记 则判别规则为X ,W(X) X ,W(X)<0②多个总体得判别问题。
距离判别法贝叶斯判别法和费歇尔判别法的异同
距离判别法、贝叶斯判别法和费歇尔判别法是三种常见的分类方法。
它们都是基于已知类别的数据集，通过学习得到一个分类模型，然后用该模型对未知数据进行分类。
虽然它们都属于分类方法，但是它们之间还是存在一些异同点的。
一、距离判别法
距离判别法是根据样本之间的距离来进行分类的方法。
具体地说，对于一个未知样本，计算它与每个已知类别中心之间的距离，然后将其归为距离最近的那个类别。
其中“中心”可以是类别内所有样本的平均值或者其他统计量。
优点：
1. 简单易懂：距离判别法直观易懂，容易理解。
2. 计算简单：计算样本与中心之间的距离只需要进行简单的数学运算即可。
缺点：
1. 对异常值敏感：由于距离判别法是基于样本之间的距离来进行分类，因此如果存在异常值，则可能会影响分类结果。
2. 需要提前确定中心：在使用距离判别法时需要提前确定每个类别的
中心，而这个过程可能会比较困难。
二、贝叶斯判别法
贝叶斯判别法是一种基于概率的分类方法。
它假设每个类别都服从某
种概率分布，然后根据贝叶斯公式计算出每个类别对于给定样本的后
验概率，最终将样本归为后验概率最大的那个类别。
优点：
1. 可以处理多维特征：与距离判别法不同，贝叶斯判别法可以处理多
维特征。
2. 对异常值不敏感：由于贝叶斯判别法是基于概率分布来进行分类的，因此对于一些异常值，它可以通过概率分布来进行修正。
缺点：
1. 需要大量数据：由于贝叶斯判别法需要估计每个类别的概率分布，因此需要大量的数据才能得到准确的结果。
2. 对先验概率敏感：在使用贝叶斯判别法时需要提前确定每个类别的先验概率，而这个过程可能会比较困难。
三、费歇尔判别法
费歇尔判别法是一种基于方差分析理论的分类方法。
它假设每个类别服从某种概率分布，然后根据方差分析的原理来计算每个类别对于给定样本的“可信度”，最终将样本归为“可信度”最高的那个类别。
优点：
1. 可以处理多维特征：与距离判别法不同，费歇尔判别法可以处理多维特征。
2. 对异常值不敏感：由于费歇尔判别法是基于方差分析理论来进行分类的，因此对于一些异常值，它可以通过方差分析来进行修正。
缺点：
1. 需要大量数据：由于费歇尔判别法需要估计每个类别的概率分布，
因此需要大量的数据才能得到准确的结果。
2. 对先验概率敏感：在使用费歇尔判别法时需要提前确定每个类别的先验概率，而这个过程可能会比较困难。
总结：
距离判别法、贝叶斯判别法和费歇尔判别法都是常见的分类方法，它们都有自己的优缺点。
在实际应用中，我们需要根据具体问题选择合适的分类方法，并结合具体情况进行调整和改进。
