多个总体距离判别法(DOC)

1．多元分析研究的是多个随机变量及其相互关系的统计总体。

2．多元统计中常用的统计量有：样本均值、样本方差、样本协方差和样本相关系数。

3．协方差和相关系数仅仅是变量间离散程度的一种度量，并不能刻画变量间可能存在的关联程度。

4．人们通过各种实践，发现变量之间的相互关系可以分成相关和不相关两种类型。

5．总离差平方和可以分解为回归离差平方和和剩余离差平方和两个部分，各自的自由度为p 和n-p-1，其中回归离差平方和在总离差平方和中所占比重越大，则线性回归效果越显著。

7．偏相关系数是指多元回归分析中，当其他变量固定后，给定的两个变量之间的的相关系数。

8．Spss中回归方程的建模方法有一元线形回归、多元线形回归、岭回归、多对多线形回归等。

9．主成分分析是通过适当的变量替换，使新变量成为原变量的综合变量，并寻求相关性的一种方法。

10．主成分分析的基本思想是：设法将原来众多具有一定相关性（比如P个指标），重新组合成一组新的互相无关的综合指标来代替原来的指标。

11．主成分的协方差矩阵为对角矩阵。

12．主成分表达式的系数向量是相关系数矩阵的特征向量。

13．原始变量协方差矩阵的特征根的统计含义是原始数据的相关系数。

14．原始数据经过标准化处理，转化为均值为0 ，方差为1 的标准值，且其协方差矩阵与相关系数矩阵相等。

15．样本主成分的总方差等于1 。

16．变量按相关程度为，在相关性很强程度下，主成分分析的效果较好。

17．在经济指标综合评价中，应用主成分分析法，则评价函数中的权数为方差贡献度。

19．因子分析是把每个原始变量分解为两部分因素，一部分是公共因子，另一部分为特殊因子。

20．变量共同度是指因子载荷矩阵中第i行元素的平方和。

21．公共因子方差与特殊因子方差之和为 1 。

22．聚类分析是建立一种分类方法，它将一批样哂或变量按照它们在性质上的亲疏程度进行科学的分类。

23．Q型聚类法是按样品进行聚类，R型聚类法是按变量进行聚类。

判别分析距离判别分析距离判别的最直观的想法是计算样品到第i类总体的平均数的距离，哪个跖离最小就将它判归哪个总体，所以，我们首先考虑的是是否能够构造一个恰当的距离函数，通过样本与某类别之间距离的大小，判别其所属类别。

设X=（s……以n）'和Y = O1，……,%）'是从期望为|1=（血,……川Q '和方差阵Y= （Ou）>0的总体G抽得的两个观测值，则称X与Y之间的马氏距离为:y mxmd2 =（X-Y）样本X与G,之间的马氏距离定义为X与类重心间的距离，即：9护=（乂一地）丫7（乂一&）i = 1,2・・.・・.,k附注：1、马氏距离与欧式距离的关联：为=1,马氏距离转换为欧式距离；2、马氏距离与欧式距离的差异：马氏距离不受计暈单位的影响，马氏距离是标准化的欧式距离两总体距离判别先考虑两个总体的情况，设有两个协差阵E相同的p维正态总体，对给定的样本Y,判别一个样本Y到底是来自哪一个总体，一个最直观的想法是计算Y到两个总体的距离。

故我们用马氏距离来给定判别规则，有:如/(y, J2(y, G2),<yeGp 如〃2(y, G2)<d2(y9 Gj待判，如=〃2(y,G2)沪(y,Gj=(y 2)' "(y 2)(y J' L(y J=y- 2y为一1角 + “；賞“2 -(y^1y-2y^1 + 冲?如) =2y 0一1 (" - 角)-("i + “2)尸(“i - “2)= 2[y —丫》-“2）2令"=1虽« = Z_1(//1-//2) = (a1,a2,-.-,a p yW(y) = (y - p)U = a f(y一p.)= a1(y1-/z1) + --- + a p(y p-/7p)= a'y _a'ji则前面的判别法则表示为y w Gp 如W (y) > 0,y e G2,如FT (y ) < 0o待判，如W(Y) = 0当忙“2和刀已知时, "1 2)是一个已知的P维向量,W (y)是y的线性函数，称为线性判别函数。

距离判别法及实例基本思想：首先根据已知分类的数据，分别计算各类的重心即分组（类）的均值，判别准则是对任给的一次观测，若它与第i 类的重心距离最近，就认为它来自第i 类。

距离判别法，对各类（或总体）的分布，并无特定的要求。

1 两个总体的距离判别法设有两个总体（或称两类）G 1、G 2，从第一个总体中抽取n 1个样品，从第二个总体中抽取n 2个样品，每个样品测量p 个指标如下页表。

今任取一个样品，实测指标值为),,(1'=p x x X Λ，问X 应判归为哪一类？首先计算X 到G 1、G 2总体的距离，分别记为),(1G X D 和),(2G X D ，按距离最近准则判别归类，则可写成：⎪⎩⎪⎨⎧=>∈<∈),(),( ,),(),(,),(),(,21212211G X D G X D G X D G X D G X G X D G X D G X 当待判当当 G 1总体： G 2总体：记2,1,),,()()(1)(='=i x x Xi p i i Λ如果距离定义采用欧氏距离，则可计算出1(,)D X G ==2(,)D X G ==然后比较),(1G X D 和),(2G X D 大小，按距离最近准则判别归类。

由于马氏距离在多元统计分析中经常用到，这里针对马氏距离对上述准则做较详细的讨论。

设)1(μ、)2(μ，)1(∑、)2(∑分别为G 1、G 2的均值向量和协方差矩阵。

如果距离定义采用马氏距离即2,1)()()(),()(1)()(2=-∑'-=-i X X G X D i i i i μμ这时判别准则可分以下两种情况给出： （1）当∑=∑=∑)2()1(时考察),(22G X D 及),(12G X D 的差，就有：)2(1)2()2(1112222),(),(μμμ-'--∑+∑'-∑'=-X X X X G X D G X D]2[)1(1)1()1(11μμμ-'--∑+∑'-∑'-X X X)()()(2)2()1(1)2()1()2()1(1μμμμμμ-∑'+--∑'=--X)()(212)2()1(1)2()1(μμμμ-∑'⎥⎦⎤⎢⎣⎡+-=-X令)(21)2()1(μμμ+=)()()()2()1(1μμμ-∑'-=-X X W则判别准则可写成：⎪⎩⎪⎨⎧==<<∈>>∈),(),(D 0)( ,),(),(D 0)(,),(),(D 0)(,12221222212221G X D G X X W G X D G X X W G X G X D G X X W G X 即当待判即当即当 当)2()1(,,μμ∑已知时，令),,()(1)2()1(1'∆-∑=-p a a a Λμμ则⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡--=-'='-=p p p x x a a X a a X X W μμμμM Λ ),,()()()(111)()(111p p p x a x a μμ-++-=Λ显然，W (X )是p x x ,,1Λ的线性函数，称W (X )为线性判别函数，a 为判别系数。

距离判别法及其应用一、什么是距离判别（一）定义距离判别分析方法是判别样品所属类别的一应用性很强的多因素决策方法，根据已掌握的、历史上每个类别的若干样本数据信息，总结出客观事物分类的规律性，建立判别准则，当遇到新的样本点，只需根据总结得出的判别公式和判别准则，就能判别该样本点所属的类别。

距离判别分析的基本思想是：样本和哪个总体的距离最近，就判它属于哪个总体。

（二）作用判别个体所属类型。

例如在经济学中，可根据各国的人均国人民收入、人均工农业产值和人均消费水平等多种指标来判定一个国家经济发展程度的怕属类型医学上根据口才的体温、白血球数目以及其他病理指标来判断患者所患何病等。

二、距离判别分析原理（一）欧氏距离欧氏距离（Euclidean distance ）是一个通常采用的距离定义，最多的应用是对距离的测度。

大多情况下，人们谈到距离的时候，都会很自然的想到欧氏距离。

从数学的角度来讲，它是在m 维空间中两个点之间的真实距离。

在二维空间中其公式为：221221)()(y y x x d -+-=推广到n 维空间其公式为：21)(1i n i i y x d -=∑=（二）马氏距离在判别分析中，考虑到欧氏距离没有考虑总体分布的分散性信息，印度统计学家马哈诺必斯（Mahalanobis ）于1936年提出了马氏距离的概念。

设总体T m X X X G },...,,{21=为m 维总体（考察m 个指标），样本T m i x x x X },...,,{21=。

令μ=E(i X )(i=1,2, …，m)，则总体均值向量为T m },,{21μμμμ⋅⋅⋅=。

总体G 的协方差矩阵为：]))([()(T G G E G COV μμ--==∑。

设X ，Y 是从总体G 中抽取的两个样本，则X 与Y 之间的平方马氏距离为：)()(),(12Y X Y X Y X d T -∑-=-样本X 与总体G 的马氏距离的平方定义为：)()(),(12μμ-∑-=-X X G X d T1．两总体距离判别。

距离判别法例题距离判别法是一种常用的统计学方法，用于确定两个或多个样本之间的相似性或差异性。

它是通过计算样本之间的距离来进行判别的。

例如，假设我们想要判断一组人的身高和体重是否存在明显的差异。

我们可以通过采集一定数量的男性和女性的身高和体重数据，并应用距离判别法来进行分析。

首先，我们需要选择一种适合的距离度量方法。

常见的距离度量方法包括欧几里德距离、曼哈顿距离和闵可夫斯基距离等。

在本例中，我们可以选择欧几里德距离，因为它能够考虑到身高和体重的绝对差异。

接下来，我们计算每个样本之间的距离。

假设我们有两个样本A和B，其中A是男性的身高和体重数据，B是女性的身高和体重数据。

我们可以计算A中每个男性样本与B中每个女性样本的距离，并将其组织成一个距离矩阵。

然后，我们可以利用距离矩阵来进行判别分析。

一种常见的方法是使用最近邻分类器。

对于每个待分析的样本，我们可以找到距离最近的K个样本，并根据它们的类别来判断待分析样本的类别。

通过应用距离判别法，我们可以得出一些结论。

例如，如果经过分析，我们发现男性和女性样本之间的距离非常大，则说明身高和体重在男女性别间存在着明显的差异。

反之，如果距离较小，则说明两者之间的差异不大。

当然，在实际应用中，我们可能会遇到一些挑战。

例如，样本之间的距离可能受到异常值的影响，这可能导致判别结果出现误差。

因此，在应用距离判别法时，我们需要对数据进行合理的处理和预处理，以确保结果的准确性和可靠性。

总而言之，距离判别法是一种有用的统计学方法，可以帮助我们确定样本之间的相似性或差异性。

它可以应用于各种领域，如生物学、医学、社会科学等，以帮助我们深入理解数据并得出有意义的结论。

判别分析判别分析就是根据所研究的个体的观测指标来推断该个体所属类型的一种统计方法。

它的统计模型的语言描述就是：设有k 个总体k G G G ,,,21 ，希望建立一个准则，对任意给定的一个样本x ，依据这个准则就能判断它是来自哪个总体。

依据研究问题的角度和方法分类，现有的判别分析的方法有距离判别，Fisher 判别和Bayes 判别。

§1 距离判别一、两总体情况设有两个总体 21,G G 和一个p 维样品x .我们以x 距离这两个总体中心的远近来判断其归属。

设21,G G 的协差阵分别为21,∑∑，选用马氏距离，则x 距21,G G 的距离分别为)()(),(111112μμ-∑'-=-x x G x d)()(),(212222μμ-∑'-=-x x G x d . 于是判别准则即可叙述为⎩⎨⎧>∈≤∈),(),(,),(),(,2212222121G x d G x d G x G x d G x d G x 若若当∑=∑=∑21时，)(2)()2/)((2)()()()(),(),(211212121112212x W x x x x x G x d G x d -=-∑'+--=-∑'---∑'-=----μμμμμμμμ判别准则可叙述为⎩⎨⎧<∈≥∈0)(,0)(,21x W G x x W G x 若若易见，)(x W 是x 的线性函数。

这就使得判别过程比较简单。

几点说明：1、 按以上准则（最小距离准则）进行判别分析可能会产生误判。

2、 当两个总体的均值十分接近时，无论用什么办法，误判概率都较大，这时判别是无意义的。

所以在判别之前应对两总体的均值进行显著性检验。

3、 由于落在μ附近的点误判概率比较大，有时可划出一个待判区域，如取)](51),(51[],[2121μμμμμμ-+--=d c作为待判区域。

4、 上述判别准则并未涉及具体的分布类型，只要二阶矩存在就行。

多个总体距离判别法在统计学中，多个总体距离判别法（Multivariate Distance Discriminant Analysis）是一种常用的多元分析方法，用于确定多个总体之间的差异，以及对样本进行分类和预测。

该方法基于样本的距离测度，通过计算不同总体之间的距离来判别和分类样本。

1. 引言多个总体距离判别法属于无监督学习方法，通常用于分类或聚类分析。

该方法通过对样本进行距离计算，将样本点划分到不同的总体或群组中，从而实现对样本的分类或聚类。

多个总体距离判别法常用于识别和预测问题，可以应用于各个领域，如医学、生物学、社会科学等。

距离判别法基于样本之间的距离进行分类，其基本思想是相似的样本之间的距离较小，不相似的样本之间的距离较大。

通过计算样本之间的距离，可以生成一个距离矩阵，用于描述样本之间的差异。

在多个总体距离判别法中，常用的距离测度包括欧式距离、马哈拉诺比斯距离等。

2. 多个总体距离判别法算法步骤步骤1：收集数据首先需要收集观测数据，包括样本的各个变量。

数据可以是数值型、定类型或混合类型。

步骤2：计算距离矩阵根据收集到的数据，计算样本之间的距离矩阵。

距离矩阵描述了样本之间的相似度或差异度，可以使用不同的距离测度计算，如欧式距离、曼哈顿距离等。

步骤3：选择判别变量在进行多个总体距离判别分析之前，需要选择用于判别和分类的变量。

这些变量应具有明显的区分度，可以用于区分不同的总体或群组。

步骤4：判别函数的建立通过应用合适的判别函数，可以建立一个分类模型来判别和分类样本。

常用的判别函数包括最近邻法、线性判别法、贝叶斯判别法等。

步骤5：评估模型性能评估模型的性能是判别分析的重要步骤。

可以使用交叉验证、错误率等指标来评估模型的准确性和稳定性。

步骤6：模型应用与结果解释通过应用建立的判别模型，对新样本进行判别和分类。

同时，解释模型结果，了解不同变量对样本判别的贡献程度。

3. 应用举例多个总体距离判别法在实践中有着广泛的应用。

判别分析距离判别分析距离判别的最直观的想法是计算样品到第i 类总体的平均数的距离，哪个距离最小就将它判归哪个总体，所以，我们首先考虑的是是否能够构造一个恰当的距离函数，通过样本与某类别之间距离的大小，判别其所属类别。

设X =(x 1,……,x n )′和Y =(y 1,……,y m )′是从期望为μ＝（μ1，……,μm ）′和方差阵∑＝（σij ）m×m >0的总体G 抽得的两个观测值，则称X 与Y 之间的马氏距离为：d 2=(X −Y )′∑−1(X −Y)样本X 与G i 之间的马氏距离定义为X 与G i 类重心间的距离，即： d 2=(X −μi )′∑−1(X −μi ) i =1,2……,k附注：1、 马氏距离与欧式距离的关联：∑＝I ，马氏距离转换为欧式距离；2、 马氏距离与欧式距离的差异：马氏距离不受计量单位的影响，马氏距离是标准化的欧式距离两总体距离判别先考虑两个总体的情况，设有两个协差阵∑相同的p 维正态总体，对给定的样本Y ，判别一个样本Y 到底是来自哪一个总体，一个最直观的想法是计算Y 到两个总体的距离。

故我们用马氏距离来给定判别规则，有：()()()()ïîïíì=<Î<Î),(),(22121222222121G y d G y d G d G d G G d G d G 如待判，，，如，，，，如，y y y y y y )()()()(),(),(1112121222m m m m -¢---¢-=---y y y y y y SSG d G d 22211y y y μμμ12---'+'-'=∑∑∑--∑'=-)(221μμ1y )()(212μμμμ-∑'+-11)(])([221121y μμμμ-∑'+-=-)2(1111μμμ---∑'+∑'-∑'-11y y y当 μ1、μ2 和∑已知时，是一个已知的p 维向量，W （y ）是y 的线性函数，称为线性判别函数。