多元统计分析（1）题目:多兀统计分析知识点研究生___________________________ 专业____________________________ 指导教师________________________完成日期2013年12月目录第一章绪论 (1)§.1什么是多元统计分析 (1)§.2多元统计分析能解决哪些实际问题 (2)§.3主要内容安排 (2)第二章多元正态分布 (2)弦.1基本概念 (2)弦.2多元正态分布的定义及基本性质 (8)1. （多元正态分布）定义 (9)2•多元正态变量的基本性质 (10)§2.3多元正态分布的参数估计X =（X1,X2^|,X p） (11)1•多元样本的概念及表示法 (12)2. 多元样本的数值特征 (12)3」和a 的最大似然估计及基本性质 (15)4.Wishart 分布 (17)第五章聚类分析 (18)§5.1什么是聚类分析 (18)§5.2距离和相似系数 (19)1 • Q—型聚类分析常用的距离和相似系数 (20)2. .......................................................................................................................................... R型聚类分析常用的距离和相似系数 (25)§5.3八种系统聚类方法 (26)1. 最短距离法 (27)2. 最长距离法 (30)3. 中间距离法 (32)4. 重心法 (35)5. 类平均法 (37)6. 可变类平均法 (38)7. 可变法 (38)8. 离差平方和法（Word方法） (38)第六章判别分析 (39)§5.1什么是判别分析 (39)§5.2距离判别法 (40)1、两个总体的距离判别法 (40)2•多总体的距离判别法 (45)§6.3费歇（Fisher）判别法 (46)1•不等协方差矩阵两总体Fisher判别法 (46)2•多总体费歇（Fisher）判别法 (51)§6.4贝叶斯（Bayes）判别法 (58)1•基本思想 (58)2•多元正态总体的Bayes判别法 (59)§6.5逐步判别法 (61)1. 基本思想 (61)2•引入和剔除变量所用的检验统计量 (62)3. .......................................................................................................................................... Bartlett 近似公式 (63)第一章绪论§ 1.1什么是多元统计分析在自然科学、社会科学以及经济领域中，常常需要同时观察多个指标。
例如，要衡量一个地区的经济发展，需要观测的指标有：总产值（X1 ）、利润（X2 ）、效益（X3 ）、劳动生产率（X4 ）、万元生产值能耗（X5）、固定资产（X6）、流动资金周转率（X7 ）、物价（X8 ）、信贷（X9）及税收（X10 ）也就是说一个地区的经济发展，受多种指标共同作用的影响，我们把每一个指标看成一个随机变量，可以单独研究每个随机变量，但这只能揭示该地区经济发展的一个方面，更多的时候需要把把这诸个随机变量一起研究揭示多个随机变量对该地区经济发展的共同影响，以及揭示这些随机变量内在变化规律。
例如，研究某公司的经营状况，需要观测公司的财务指标有：每股净资产（X1 ）、净资产收益率（X2 ）、每股收益（X3 ）、每股现金流（X4 ）、负债率（X5 ）、流动比率（X6）及速动比率（X7）。
可以单独研究每个随机变量，更多的时候需要把这诸个随机变量一起研究，揭示这些随机变量内在变化规律。
多元统计分析-- 研究多个随机变量之间相互依赖关系以及内在统计规律性的一门统计学科。
多元统计分析包括的主要内容：多元（正态）总体的参数估计和假设检验、聚类分析、判别分析、主成分分析、因子分析、对应分析、典型相关分析、多重多元回归分析等。
介绍多元统计分析方法时，需要的时候增加一些线性代数的知识。
§ 1.2多元统计分析能解决哪些实际问题⑴经济学：对我国32个省市自治区的社会情况进行分析。
⑵工业：服装厂生产服装。
为了适应大多数顾客的需要，如何确定服装的主要指标及分类的型号。
指标：身长、袖长、胸围、腰围、肩宽、肩厚等十几个指标（主要指标：长度、胖瘦）⑶投资组合：§ 1.3主要内容安排多元（正态）总体的参数估计、聚类分析、判别分析、主成分分析、因子分析、典型相关分析等。
上机操作。
第二章多元正态分布§ 2.1基本概念1. 随机向量的概率分布定义1将p个随机变量X1,X2,|l|,X p的整体称为p维随机向量, 记为X =（X1,X2川l,X p）在多元统计分析中，仍然将所研究对象的全体称为总体。
一元总体分布函数和分别密度定义：F(x)二P(X乞x)为随机变量X的概率分布，记为XL F x(x)。
离散型：P(X 二xj = P k k=1,2,3,…⑴ P(X 二xj 二P k 一0 ;⑵-p k =1k连续型：xF(x) =P(X 空x)二f(t)dt-CO⑴ f(t) _0 ; ⑵ f(t)dt =1定义2设x =(X i,X2川i,X p)■是p维随机向量，它的多元分别函数定义为F(x)=F(X i,X i, ||(,X p) =P(X i 沁必2 空X2,川，X p 乞X p)记为X LF X(X)，其中记为x=(X i,X2,HI,X p) R P。
定义3设X =(X i,X2川l,X p) ■是p维随机向量，若存在有限个或可列个p维数向量X1,X2, X3,…，记P(x=X k) = P k (k=1,2,3,…)，且满足P(X =X k) =P k 一0 , 7 P k h，则称x为离散型随机向量，称p(x=X k) = P k k(k=1,2,3,…)为X的概率分布。
设p维随机向量XL F x(x), F(x)二F(X i,x(l|,X p)，若存在一个非负函数f(x11X2jl|,X p)，使得对一切x=(X i，xJH,X p) R p，有X i x2X pF(x)二F(X i,X2, )H,X p) f (t i,t2」ll,t p)dt i dt2川dt p则称X为连续随机向量，称f x(X i,X2」l|,X p)为分布密度函数，易见oO QO QO⑴f(X i,X2川l,X p) 一0 , ⑵f(t i，t2，HI,t p)dt i dt2)|ldt p =1_aO-oO _oO捲 _ 0, x 2 _ 0 其它为随机向量X =「X i ］的密度函数。
Z 丿 证：(1)易见 f (x 1, x 2) -0-bc-bc-bc-bc(2) i I f (x 1, x 2)dt |dt^e"1 X 2)dx 1dx 20 0-bo -bo-bo说=J ( J e^1dx 1)e^2dx 2 = | (-e 」1。
)e 」2dx 20 0-bo =e^2dx 2 = 1定义4设x 二区兀川i,X p )■是 p 维随机向量，称由q (<p )个分 量组成的子向量x （i^（X i 1,X i 2^|,X i q y 的分布为x 的边缘（或边际）分布（通过变换X 中各分量的次序，总可以假定 x ⑴正好是X 的前q 个 ■"乂 ⑴ '分量，其余p-q 个分量为X ⑵），即X=⑵，相应的取值也可以分成 l X丿F X （1）（X ）二 P （X 1 乞 X 1,X 2 乞 X 2,, X q 乞％）=P （X 1 乞 X 1,X 2 辽 X 2,, X q 乞人，）二 P （X 1 乞人，X 2 乞 X 2,, X q 乞 X q , X q 1 ,X q 2「：，，X q 2「：）= F （N ，X 2，,X q ,：：,,：：）当X 有分布密度f X （X 1,X 2」l|,X p ）时，则X （1）的分布密度为f x (X n ,X q ,,X q 1,, X p )dX q 1,, dX-oO/ x例2对例1中的x=（x ；，求边缘密度函数。
例1试证函数两部分X ⑴的边缘分布函数为f x (X 1,X 2,,X q )=丄,-oO解：当为_0时•"••Iw;]f(xj= f(x 1,x 2)dx 2 = 0dx 2e"「°dx 2 二_：:_：:当x 1 ::: 0时■be -be f(x-\)= f (x-\,x 2)dx 2 = 0dx 2 =0_OC_C3O从而有X i _0 x :: 0同理可得到定义5若p 维随机向量X =(X i ,X 2川i,X p )•的联合分布等于各自边 缘分布的乘积，则称X i ,X 2,|山X p 是相互独立的F (x i ,X i,| 1( ,X p )二 F x t (x i )F x 2 (x 2),, F X P(x p )一切 X =(X i ,X 2,,X p )R p对于连续型随机变量，有P x (X i ,X 2,X 3,,X p )二 P(X i )P(X 2),, P(X p )(有时候根据几何图形判断概率，根据试验的背景判断独立性) 例3例2中的X i 与X 2是否相互独立?例2中求得的边缘分布e _f(X i「0MX”]。
x 2 _0 x 2 :: 0一切 x =(为，X 2,,X p ) R p'‘Xi七2 )解：例1中密度函数Z 叮0X i - 0,X 2 - 0nox 2 - 0x 2 ：所以有 f(X i ,X 2^f x 1(X i )f x 2(X 2),即 X i 与 X 2 相互独立。
如果X i ,X 2,|山X p 相互独立，则任何X i 与X j (i = j)独立，反之不真。
2•随机向量的数字特征定义 6 设 X =(X i ,X2j|i,X p )，若 EX i (i=1,2,3,…)存在，则称EX =(EX i ,EX 2,EX 3,, EX p )为X 的均值(向量)或期望，也记为均值向量性质:⑴ E(AX)二 AE(X) ⑵ E(AXB)二AE(X)B⑶E(AX BY^AE(X) BE(Y)其中X 、Y 为随机向量，A 、B 为常 数矩阵。
*、定义7设X =X2■* ■*•f,Y = ■r ■r •fi称/P丿飞丿D(X) =E[(X —EX)(X --EX)]/Cov(X i ,X i ) Cov(X i ,X 2) HI Cov(X 2,X i ) Cov(X 2,X 2) HI + q+' ・・・+-Cov(Xp,Xi) Cov(Xp,X2)IH为X 的方差矩阵或协方差矩阵，有时简记为D(X) =E[(X -EX)(X -EX)]=VP p =、= 5 p p<EX 1、W i ]EX 2 ■r— 巴+ 4**F PEX =Cov(X i ,X p )Cov(X 2,X p )CovgXpL称随机向量X和Y的协方差矩阵为Cov(X,Y) =E[(X -EX)(Y -EY)]广Cov(X i,Y) Cov(X i,YDC OV(X2,Y) Cov(X2,YD+ 』+ if* 40v(X p,Y) Cov(X p,Y2)川Cov(X i,Y q)Cov(X2,Y q) 川Cov(X p,Y q)几若X的协方差矩阵存在，且每个分量的方差大于零，则X的相关系数矩阵为其中Cov(X i,X j)-ijr°Var(X i)、.Var(X j)廿”(i,j=1,2,3,…,p )为X i与X j的相关系数。
