多元统计分析方法

多元统计分析⽅法

多元统计分析概述

⽬录

⼀、引⾔ (3)

⼆、多元统计分析⽅法的研究对象和主要内容 (3)1.多元统计分析⽅法的研究对象 (3)

2.多元统计分析⽅法的主要内容 (3)

三、各种多元统计分析⽅法 (3)1.回归分析 (3)

2.判别分析 (6)

3.聚类分析 (8)

4.主成分分析 (10)

5.因⼦分析 (10)

6. 对应分析⽅法 (11)

7. 典型相关分析 (11)

四、多元统计分析⽅法的⼀般步骤 (12)

五、多元统计分析⽅法在各个⾃然领域中的应⽤ (12)

六、总结 (13)

参考⽂献 (14)

谢辞 (15)

⼀、引⾔

统计分布是⽤来刻画随机变量特征及规律的重要⼿段，是进⾏统计分布的基础和提⾼。多元统计分析⽅法则是建⽴在多元统计分布基础上的⼀类处理多元统计数据⽅法的总称，是统计学中的具有丰富理论成果和众多应⽤⽅法的重要分⽀。在本⽂中，我们将对多元统计分析⽅法做⼀个⼤体的描述，并通过⼀部分实例来进⼀步了解多元统计分析⽅法的具体实现过程。

⼆、多元统计分析⽅法的研究对象和主要内容

（⼀）多元统计分析⽅法的研究对象

由于⼤量实际问题都涉及到多个变量，这些变量⼜是随机变量，所以要讨论多个随机变量的统计规律性。多元统计分析就是讨论多个随机变量理论和统计⽅法的总称。其内容包括⼀元统计学中某些⽅法的直接推⼴，也包括多个随即便量特有的⼀些问题，多元统计分析是⼀类范围很⼴的理论和⽅法。

现实⽣活中，受多个随机变量共同作⽤和影响的现象⼤量存在。统计分析中，有两种⽅法可同时对多个随机变量的观测数据进⾏有效的分析和研究。⼀种⽅法是把多个随机变量分开分析，⼀次处理⼀个随机变量，分别进⾏研究。但是，这样处理忽略了变量之间可能存在的相关性，因此，⼀般丢失的信息太多，分析的结果不能客观全⾯的反映整个问题，⽽且往往也不容易取得好的研究结论。另⼀种⽅法是同时对多个随机变量进⾏研究分析，此即多元统计⽅法。通过对多个随即便量观测数据的分析，来研究随机变量总的特征、规律以及随机变量之间的相互关系。所以，多元统计分析是研究多个随机变量之间相互依赖关系及内在统计规律的⼀门统计学科。

（⼆）多元统计分析⽅法的主要内容

近年来，随着统计理论研究的不断深⼊，多元统计分析⽅法的内容⼀直在丰富。其中，主要内容包括多元正态总体参数估计、假设检验和常⽤的多元统计⽅法。多元正态总体参数估计、假设检验是多元统计推断的核⼼和基础，⽽常⽤的多元统计分析⽅法则是具体应⽤。从形式上，常⽤多元统计分析⽅法可划分为两类：⼀类属于单变量常⽤的统计⽅法在多元随机变量情况下的推⼴和应⽤，如多元回归分析，典型相关分析等；

另⼀类是对多元变量本⾝进⾏研究所形成的⼀些特殊⽅法。如主成分分析，因⼦分析，聚类分析，判别分析，对应分析等。

三、各种多元统计分析⽅法

具体来说，常⽤的多元统计分析⽅法主要包括：多元回归分析、聚类分析、判别分析、主成分分析、因⼦分析、对应分析、典型相关分析等。下⾯我们对各种多元统计分析⽅法就⾏分别描述，

（⼀）回归分析

回归分析是最灵活最常⽤的统计分析⽅法之⼀，它⽤于分析⼀个因变量与⼀个或多个⾃变量之间的关系。特别是⽤于：(1)定量的描述和解释相互关系；(2)估测或预测因变量的值。

回归分析⽅法是在众多的相关变量中，根据实际问题考察其中⼀个或多个变

量与其余变量的依赖关系。如果只要考察⼀个变量与其余多个变量之间的相互依赖关系，我们称为多元回归问题。若要同时考察多个因变量与多个⾃变量之间的相互依赖关系，我们称为多因变量的多元回归问题。

多元回归分析是研究因变量Y 与m 个⾃变量12···m x x ，，，x 的相关关系 ，⽽且总是假设因变量Y 为随机变量，⽽12···m x x，，，x 为⼀般变量。 下⾯我们来看⼀下多元线性回归模型的建⽴。

假定因变量Y 与12···m x x ，，，x 线性相关。收集到的n 组数据（12,,,t t t tm y x x x L ，）（t=1,2,···n ）满⾜以下回归模型：

{

11022···+(1,2,,)

()0,(),(,)0()~(0,),t t m tm t t t i j t y x x t n E Var Cov i j N βββεεεσεεεσ=+++====≠L L 或相互独⽴(t=1,2,n).

记C=11111(1)1m n n nm x x X x x ??

= ? ???

K

M O M M L

， 011212,,n m n y y y Y βεβεβεβε===

M M M

则所建回归模型的矩阵形式为{

2()(),

0,,n n Y C E D I εεβεσ=+==

或{

2,

~(0,),n n Y C N I βεεσ=+

并称它们为经典多元回归模型，其中Y 是可观测的随机向量，ε是不可观测的随机向量，C 是已知矩阵，2βσ，是未知参数，并设n>m ，且rank(C)=m+1。 在经典回归分析中，我们讨论模型中参数01(,,,)m ββββ'=L 和2σ的估计和检验问题。近代回归分析中讨论变量筛选、估计的改进，以及对模型中的⼀些假设进⾏诊断等问题。

我国国内⽣产总值与基本建设投资额的⼤⼩有密切关系，研究发现两变量之间存在线性关系。根据⽢肃省1990-2003年的国内⽣产总值与基本建设投资额数据，研究它们的数量规律性，探讨⽢肃省基本建设投资额与国内⽣产总值的数量

平⽅和⾃由度⽅差 F 检验值回归1

残差12

离差13

复相关系数 R =.98

剩余标准差 SY =

回归⽅差与剩余⽅差之⽐ F =

各个⾃变量的 t 检验值17.

t 检验的⾃由度 N-P-1 =12

F 检验的⾃由度

第⼀⾃由度=1,第⼆⾃由度=12

各个⾃变量的偏回归平⽅和

各个⾃变量的偏相关系数

由输出结果，得以下结论：x

回归⽅程为 y=+1

其中，负相关系数为2R＝,说明回归⽅程拟合优度较⾼。⽽回归系数的t=,

查t 分布表0.025(12) 2.1788t =，⼩于t 值，因此回归系数显着。查F 分布表，0.05(1,12)F =，由下表知，F=>，因此回归⽅程也显着。

判别分析是多元统计分析中⽤于判别样品所属类型的⼀种统计分析⽅法，是⼀种在已知研究对象⽤某种⽅法已经分成与若⼲类的情况下，确定新的样品属于哪⼀类的多元统计分析⽅法。

判别⽅法处理问题时，通常通常要给出⽤来衡量新样品与各已知组别的接近程度的指数，即判别函数，同时也指定⼀种判别准则，借以判别新样品的归属。所谓判别准则是⽤于衡量新样品与各已知组别接近程度的理论依据和⽅法准则。常⽤的有，距离准则、Fisher 准则、贝叶斯准则等。距离判别的基本思想是：样品和那个总体距离最近，就判断它属于哪个总体。距离判别也称直观判别。

已知有两个类1G 和2G ，⽐如1G 是设备A ⽣产的产品，2G 是设备B ⽣产的同类产品。设备A 的产品质量⾼（如考察指标为耐磨度X ），其平均耐磨度(1)µ=80，反映设备精度的⽅差21σ=；设备B 的产品质量稍差，其平均耐磨度2µ=75，反映

设备精度的⽅差22σ=4。今有⼀产品0X ，测得耐磨度0x =78，试判断该产品是哪

⼀台设备⽣产的？

下⾯考虑⼀种相对于分散性的距离。记0X 与1G 或2G 的相对平均距离为21

0()d x 或22

0()d x ，则有：21

0()d x =

(1)2

2

02

1()(7880)0.25x µσ--=

=16， 22

0()d x =

(2)2

2

022

()(7875)4.00

x µσ--=

=。 因为20()d x =<4=10()d x ，按这种距离准则应判0X 为设备B ⽣产的。

⼀般的，我们假设总体1G 的分布为(1)21(,)N µσ，总体2G 的分布为(2)22

(,)N µσ，则利⽤相对距离的定义，可以找出分界点µ*和µ*（不妨设(2)µ<(1)µ,1σ<2σ），令

(1)(2)(1)2

(2)2

212

21

212()()x x x µσµσµµσ

σσσ+--=

=+def =µ*，和x=(1)(2)2121

µσµσσσ--def

=µ*。

此例中，µ*=79，µ*=。⽽按这种距离最近法则的判别法为：(1)2(2)2122

12(1)2(2)222212()()X ()()X x x G x x x G µµµµσσµµµµσσ*

***--∈<<<--∈≥≤≥

判，当（即）判，当（即x 或x ） 为了区分⼩麦品种的两种不同的分蘖类型，⽤123,,x x x 三个指标求其判别函数。经验样品中，第⼀类取11（主茎型）个样品，第⼆类（分蘖型）取12个样

(1)X －(2)X =，，)T , X =(1)(2)

2

X X += ,, xx L =(1)xx L +(2)xx L =0.56240.1821

0.83550.282115.516032.30140.835532.3014126.2374

, 11

1.79780.01690.007621210.01690.13810.03520.00760.03520.0170xx S L ----==--??

--

, (1)(2)11()()()2

T X X X S X X ω-=--

=1230.846221(0.4425,0.0486,0.0468) 3.82862

12.1295x x x -??

----

⽤()X ω对经验样本的23个样品进⾏判别有如下结果：第⼀类的11个样本中有10个判别为第⼀类，⼀个判别为第⼆类；第⼆类的12个样品全部判别为第⼆类，符合率为22/23=96%。例如，第⼀类第⼀个样品(1)1X =(0.71,3.80,12.00)T ，则(1)1()X ω=>0,则(1)1X 1G ∈（第⼀类）。⼜如，第⼀类的第11个样品

(1)11X =(1.00,4.50,12.00)T ，(1)11()X ω=<0，故(1)

11X 2G ∈（第⼆类）。

将()X ω投⼊使⽤，可判别⼩麦品种的分蘖类型，如测得某⼩麦品种11x =,2 3.43x =,316.25x =,则由()X ω=<0判别该品种为分蘖型。

（三） 聚类分析

聚类分析是将样品或变量按照它们在性质上的亲疏程度进⾏分类的多元统计分析⽅法。聚类分析时，⽤来描述样品或变量的亲疏程度通常有来两个途径，⼀是把每个样品或变量看成是多维空间上的⼀个点，在多维坐标中，定⼀点与点，类和类之间的距离，⽤点与点间距离来描述样品或变量之间的亲疏程度：另⼀个是计算样品或变量的相似系数，⽤相似系数来描述样品或变量之间的亲属程度。

聚类分析是实⽤多元统计分析的⼀个新的分⽀，聚类分析的功能是建⽴⼀种分类⽅法，他将⼀批样品或变量，按照它们在性质上的亲疏、相似程度进⾏分类。

聚类分析的内容⼗分丰富，按其聚类的⽅法可分为以下⼏种：(1)系统聚类法：开始每个对象⾃成⼀类，然后每次将最相似的两类合并，合并后重新计算新类与其他类的距离或相近性测度。这⼀过程可⽤⼀张谱系聚类图描述。(2)调优法（动态聚类法）：⾸先对n 个对象初步分类，然后根据分类的损失函数尽可能⼩的原则对其进⾏调整，直到分类合理为⽌。(3)最优分割法（有序样品聚类法）：开始将所有样品看做⼀类，然后根据某种最优准则将它们分割为⼆类、三类，⼀直分割到所需的K 类为⽌。这种⽅法适⽤于有序样品的分类问题，也称为有序样品的聚类法。(4)模糊聚类法：利⽤模糊集理论来处理分类问题，它对经济领域中具有模糊特征两态数据或多态数据具有明显的分类效果。