典型判别分析与贝叶斯判别的区别

判别分析判别分析是用以判别个体所属群体的一种统计方法。

最常用的判别方法：距离判别法、Bayes 判别法、Fisher 判别法。

1、距离判别法最为直观，其想法简单自然，就是计算新样品x 到各组的距离，然后将该样品判为离它距离最近的那一组。

定义：设组π的均值为μ，协方差矩阵为∑，x 是一个样品(样本)，称()()μμπ-∑'-=-x x x d 1),(为x 到总体π的马氏距离或统计距离。

判别准则：不妨假设有k 组，记为k ππ...1，，均值分别为k μμ...1，，协方差矩阵分别为k ∑∑...,1，，若),(min ),(212i ki l x d x d ππ≤≤=，则判断x 来自第l 组。

注1：若k ∑==∑...1，上述准则可以化简，如果不确定是否相等，可两种情况都试试，那种规则误判概率小选哪种。

注2：实际中k μμ...1，以及k ∑∑...,1，均未知，用估计量代替。

2、Bayes 判别法(1)最大后验概率准则设有k 个组k ππ...1，，且组i π的概率密度为()x f i ，样品x 来自组i π的先验概率为,,...,1,k i p i =且.11=∑=ki i p 利用Bayes 理论，x 属于i π的后验概率(即当样品x 已知时，它属于i π的先验概率)为()().,...,2,1,)(1k i x f p x f p x P k j j j i i i ==∑=π最大后验概率法是采用如下的判别规则：()x P x P x l ji l l πππ≤≤=∈1max )(,若. (2)最小平均误判代价准则()()()()∑∑≠=≤≤≠==∈ki j j j j k i j k l j j j l j i c x f p j l c x f p x 111m i n ,若π，其中)(j i c 表示将来自j π的x 判为i π的代价。

例：设有321,,πππ三个组，欲判别某样品0x 属于何组，已知()()().4.2,63.0,10.0,30.0,65.0,05.0030201321======x f x f x f p p p 计算：()()004.04.230.063.065.010.005.010.005.0)(1111=⨯+⨯+⨯⨯==∑=k j j j x f p x f p x P π ()361.02=x P π()635.03=x P π假定误判代价矩阵为95.4110063.065.020010.005.0:305.36504.230.01010.005.0:239.51604.230.02063.065.0:1=⨯⨯+⨯⨯==⨯⨯+⨯⨯==⨯⨯+⨯⨯=l l l 3、Fisher 判别基本思想：先对原始数据进行降维，然后对新数据使用距离判别法进行判别。

贝叶斯统计与经典统计比较贝叶斯方法是由英国学者Bayes在其发表的论文《论有关的机遇问题的求解》中提出来的，并且在和经典学派的争论中发展起来。

经典统计在发展成熟的同时也逐渐暴露出了一些问题，而不少学者对两统计学派的比较研究中发现，相比于经典统计方法，贝叶斯统计方法在直观性、易于理解等很多方面更具有优势。

一、基本理论的差异1.概率的解释不同一直以来，经典统计学派对贝叶斯统计的主要批评在于贝叶斯统计在概率理解上的“主观性”。

经典统计学认为概率必须是“客观的”，这可以用大量重复试验之后的频率去解释，而不能主观臆断。

贝叶斯统计是完全同意概率公理化，但认为概率也可以用经验确定，一些事件的概率在大量重复试验中去获得是不现实的，而我们可以根据对此事件的了解和积累的经验做出此事件发生可能性的判断。

2.统计推断利用的信息不同贝叶斯统计与经典统计在统计推断最主要的不同在于贝叶斯统计运用先验信息。

经典统计学的统计推断是基于总体信息和样本信息。

总体信息即总体分布或总体所属分布族中包含的信息，包括总体认识、参数范围、变量的方式和特征等；样本信息是从总体中抽取的样本中所包含的信息，这是最“新鲜”的信息。

而贝叶斯统计方法在此基础上还利用了先验信息，先验信息主要来源于经验和历史资料。

3.样本和总体参数的利用与认识不同经典统计中把样本看作来自具有一定概率分布的总体，而总体中的参数是普通的未知变量；相反，贝叶斯统计把任何一个未知的参数都看作是随机变量，都有不确定性，用一个概率分布去描述这个未知的参数，在统计推断中只利用已经出现的数据，即样本信息，这就是贝叶斯统计中的“条件观点”，即只靠考已经出现的数据（样本观测值），而认为未出现的数据与推断无关。

基于在样本利用方式上的差异，使得贝叶斯统计不承认经典统计中的“无偏性”这一评判标准。

三、点估计与区间估计1.贝叶斯定理与似然函数贝叶斯定理是贝叶斯统计学的理论基础，贝叶斯公式的密度函数表示形式为：θ为模型的参数向量，x表示为数据向量，即样本观察值，其中，函数 p（x |θ）集中了总体信息和样本信息，被称为似然函数，它是未知参数θ的函数。

第六章 判别分析§6.1 什么是判别分析判别分析是判别样品所属类型的一种统计方法，其应用之广可与回归分析媲美。

在生产、科研和日常生活中经常需要根据观测到的数据资料，对所研究的对象进行分类。

例如在经济学中，根据人均国民收入、人均工农业产值、人均消费水平等多种指标来判定一个国家的经济发展程度所属类型；在市场预测中，根据以往调查所得的种种指标，判别下季度产品是畅销、平常或滞销；在地质勘探中，根据岩石标本的多种特性来判别地层的地质年代，由采样分析出的多种成份来判别此地是有矿或无矿，是铜矿或铁矿等；在油田开发中，根据钻井的电测或化验数据，判别是否遇到油层、水层、干层或油水混合层；在农林害虫预报中，根据以往的虫情、多种气象因子来判别一个月后的虫情是大发生、中发生或正常； 在体育运动中，判别某游泳运动员的“苗子”是适合练蛙泳、仰泳、还是自由泳等；在医疗诊断中，根据某人多种体验指标（如体温、血压、白血球等）来判别此人是有病还是无病。

总之，在实际问题中需要判别的问题几乎到处可见。

判别分析与聚类分析不同。

判别分析是在已知研究对象分成若干类型（或组别）并已取得各种类型的一批已知样品的观测数据，在此基础上根据某些准则建立判别式，然后对未知类型的样品进行判别分类。

对于聚类分析来说，一批给定样品要划分的类型事先并不知道，正需要通过聚类分析来给以确定类型的。

正因为如此，判别分析和聚类分析往往联合起来使用，例如判别分析是要求先知道各类总体情况才能判断新样品的归类，当总体分类不清楚时，可先用聚类分析对原来的一批样品进行分类，然后再用判别分析建立判别式以对新样品进行判别。

判别分析内容很丰富，方法很多。

判别分析按判别的组数来区分，有两组判别分析和多组判别分析；按区分不同总体的所用的数学模型来分，有线性判别和非线性判别；按判别时所处理的变量方法不同，有逐步判别和序贯判别等。

判别分析可以从不同角度提出的问题，因此有不同的判别准则，如马氏距离最小准则、Fisher 准则、平均损失最小准则、最小平方准则、最大似然准则、最大概率准则等等，按判别准则的不同又提出多种判别方法。

判别分析--费希尔判别、贝叶斯判别、距离判别判别分析⽐较理论⼀些来说，判别分析就是根据已掌握的每个类别若⼲样本的数据信息，总结出客观事物分类的规律性，建⽴判别公式和判别准则;在遇到新的样本点时，再根据已总结出来的判别公式和判别准则，来判断出该样本点所属的类别。

1 概述三⼤类主流的判别分析算法，分别为费希尔(Fisher)判别、贝叶斯(Bayes)判别和距离判别。

具体的，在费希尔判别中我们将主要讨论线性判别分析（Linear Discriminant Analysis，简称LDA）及其原理⼀般化后的衍⽣算法，即⼆次判别分析（Quadratic Discriminant Analysis，简称QDA);⽽在贝叶斯判别中将介绍朴素贝叶斯分类(Naive Bayesian Classification)算法;距离判别我们将介绍使⽤最为⼴泛的K最近邻(k-Nearest Neighbor，简称kNN)及有权重的K最近邻( Weighted k-Nearest Neighbor）算法。

1.1 费希尔判别费希尔判别的基本思想就是“投影”，即将⾼维空间的点向低维空间投影，从⽽简化问题进⾏处理。

投影⽅法之所以有效，是因为在原坐标系下，空间中的点可能很难被划分开，如下图中，当类别Ⅰ和类别Ⅱ中的样本点都投影⾄图中的“原坐标轴”后，出现了部分样本点的“影⼦”重合的情况，这样就⽆法将分属于这两个类别的样本点区别开来;⽽如果使⽤如图8-2中的“投影轴”进⾏投影，所得到的“影⼦”就可以被“类别划分线”明显地区分开来，也就是得到了我们想要的判别结果。

原坐标轴下判别投影轴下判别我们可以发现，费希尔判别最重要的就是选择出适当的投影轴，对该投影轴⽅向上的要求是:保证投影后，使每⼀类之内的投影值所形成的类内离差尽可能⼩，⽽不同类之间的投影值所形成的类间离差尽可能⼤，即在该空间中有最佳的可分离性，以此获得较⾼的判别效果。

对于线性判别，⼀般来说，可以先将样本点投影到⼀维空间，即直线上，若效果不明显，则可以考虑增加⼀个维度，即投影⾄⼆维空间中，依次类推。

《数据分析与SPSS软件应用》试卷（附参考答案）一、填空题（每空2分，共20分）1. 统计分析所使用的数据按照其测量精度，可以分为四种类型，分别是定性数据、定序数据、和。

2. SPSS中可以进行变量转换的命令有。

3. 多选项二分法是将设置为一个SPSS变量，而多选项分类法是将设置为SPSS变量。

4. 进行两独立样本群均值比较前，首先要验证的是。

5. 协方差分析中，对协变量的要求是数值型，多个协变量间互相独立和。

6. 多配对样本的柯克兰Q检验适用的数据类型为。

7. 衡量定距变量间的线性关系常用相关系数。

8.常用来刻画回归直线对数据拟合程度的检验统计量指标为。

二、选择题（每小题2分，共20分）1. 在SPSS中，以下哪种不属于SPSS的基本运行方式？（）A 完全窗口菜单方式B 批处理命令方式C 程序运行方式D 混合运行方式2. 设置变量属性时，不属于SPSS提供的变量类型的是（）A 数值型B 科学计数型C 分数型D 字符型3. 数据的描述统计分析结果显示偏度值为-1.3，则下列对数据分布状态说法正确的是（）A 左偏B 正偏C 与正态分布一致D 可能存在极大值4. 若原假设与备择假设为：H0:μ1=μ2 H1:μ1≤μ2，则：（）A 应使用右侧单尾检验B 应使用左侧单尾检验C 应使用双尾检验D 无法检验5. 下列哪个不是单因素方差分析的基本假定？（）A 各总体的均值相等B 各总体相互独立C 样本来自于正态总体D 各总体的方差相等6. 两个配对样本的Wilcoxon符号秩检验所对应的参数检验方法是?（）A 两个独立总体均值差的检验B 两个配对总体均值差的检验C 一个总体均值的检验D 单因素方差分析7. 皮尔逊简单相关系数为1，说明（）A 两变量之间不存在线性相关关系B 两变量之间是负相关关系C 两变量之间存在完全的线性相关关系D 两变量之间具有高度相关性8.下列说法正确的是（）A回归分析是以变量之间存在函数关系为前提的B回归分析是对具有相关关系的两个变量进行统计分析的一种常用方法C 回归分析中自变量个数只能为一个D 回归分析是反应确定性问题的统计分析方法9.以下关于聚类分析的叙述中错误的是（）A 聚类分析的目的在于将事物按其特性分成几个聚类，使同一类内的事物具有高度相似性B 不同聚类的事物则具有高度的异质性C 对于衡量相似性，只能使用距离的工具D 建立聚类的方法，有层次聚类法和快速聚类法10. 关于因子分析，错误的说法是（）A 适用于多变量、大样本B 原变量间不必要存在高度的相关性C定类和定序变量不适合做因子分析D 因子得分可以作为新变量存储在数据表格中三、判断题（每小题2分，共20分）1. SPSS中可将”.”用于变量命名，且”.”可以位于变量名末尾。

距离判别法、贝叶斯判别法和费歇尔判别法的比较分析距离判别法、贝叶斯判别法和费歇尔判别法是三种常见的判别方法，用于对数据进行分类和判别。

本文将对这三种方法进行比较分析，探讨它们的原理、特点和适用范围，以及各自的优势和局限性。

1. 距离判别法距离判别法是一种基于样本间距离的判别方法。

它的核心思想是通过计算待分类样本与各个已知类别样本之间的距离，将待分类样本归入距离最近的类别。

距离判别法常用的距离度量有欧氏距离、曼哈顿距离和马氏距离等。

优势：- 简单直观，易于理解和实现。

- 不依赖于概率模型，适用于各种类型的数据。

- 对异常值不敏感，具有较好的鲁棒性。

局限性：- 忽略了各个特征之间的相关性，仅考虑样本间的距离，可能导致分类效果不佳。

- 对数据的分布假设较强，对非线性分类问题表现较差。

- 对特征空间中的边界定义不明确。

2. 贝叶斯判别法贝叶斯判别法是一种基于贝叶斯理论的判别方法。

它通过建立样本的概率模型，计算待分类样本的后验概率，将其归入后验概率最大的类别。

贝叶斯判别法常用的模型包括朴素贝叶斯和高斯混合模型等。

优势：- 考虑了样本的先验概率和类条件概率，能够更准确地对样本进行分类。

- 可以灵活应用不同的概率模型，适用范围广。

- 在样本量不充足时，具有较好的鲁棒性和泛化能力。

局限性：- 对特征分布的假设较强，对非线性和非正态分布的数据表现较差。

- 需要估计大量的模型参数，对数据量要求较高。

- 对特征空间中的边界定义不明确。

3. 费歇尔判别法费歇尔判别法是一种基于特征选择的判别方法。

它通过选择能够最好地区分不同类别的特征，建立判别函数进行分类。

费歇尔判别法常用的特征选择准则有卡方检验、信息增益和互信息等。

优势：- 基于特征选择，能够提取最具有判别性的特征，减少了特征维度，提高了分类性能。

- 不对数据分布做假设，适用于各种类型的数据。

- 可以灵活选择不同的特征选择准则，满足不同的需求。

局限性：- 特征选择的结果可能受到特征相关性和重要性的影响，选择不准确会导致分类效果下降。

1．多元分析研究的是多个随机变量及其相互关系的统计总体。

2．多元统计中常用的统计量有：样本均值、样本方差、样本协方差和样本相关系数。

3．协方差和相关系数仅仅是变量间离散程度的一种度量，并不能刻画变量间可能存在的关联程度。

4．人们通过各种实践，发现变量之间的相互关系可以分成相关和不相关两种类型。

5．总离差平方和可以分解为回归离差平方和和剩余离差平方和两个部分，各自的自由度为p 和n-p-1，其中回归离差平方和在总离差平方和中所占比重越大，则线性回归效果越显著。

7．偏相关系数是指多元回归分析中，当其他变量固定后，给定的两个变量之间的的相关系数。

8．Spss中回归方程的建模方法有一元线形回归、多元线形回归、岭回归、多对多线形回归等。

9．主成分分析是通过适当的变量替换，使新变量成为原变量的综合变量，并寻求相关性的一种方法。

10．主成分分析的基本思想是：设法将原来众多具有一定相关性（比如P个指标），重新组合成一组新的互相无关的综合指标来代替原来的指标。

11．主成分的协方差矩阵为对角矩阵。

12．主成分表达式的系数向量是相关系数矩阵的特征向量。

13．原始变量协方差矩阵的特征根的统计含义是原始数据的相关系数。

14．原始数据经过标准化处理，转化为均值为0 ，方差为1 的标准值，且其协方差矩阵与相关系数矩阵相等。

15．样本主成分的总方差等于1 。

16．变量按相关程度为，在相关性很强程度下，主成分分析的效果较好。

17．在经济指标综合评价中，应用主成分分析法，则评价函数中的权数为方差贡献度。

19．因子分析是把每个原始变量分解为两部分因素，一部分是公共因子，另一部分为特殊因子。

20．变量共同度是指因子载荷矩阵中第i行元素的平方和。

21．公共因子方差与特殊因子方差之和为 1 。

22．聚类分析是建立一种分类方法，它将一批样哂或变量按照它们在性质上的亲疏程度进行科学的分类。

23．Q型聚类法是按样品进行聚类，R型聚类法是按变量进行聚类。