第01讲. 多元统计分析预备知识

胡平交大管院2008秋下1第一部分回顾与演进第一讲. 多元统计分析预备知识胡平交大管院2008秋下2主要内容第一讲. 多元统计分析预备知识•多元统计分析概述•多元数据的整理与描述•矩阵代数与随机向量•样本几何与随机抽样•离散数据的概率分布•多元正态分布•多元均值的推断和均值向量的比较一. 多元统计分析的概述概念：从包含许多变量的、同时测量值的数据中，集中获取信息的各种统计方法，称为多元分析。

多元方法的基本依据：多元正态分布的基本概率模型多元方法的应用1、数据简化或结构简化：在不损失有价值信息的情况下尽可能简单的将被研究的现象描述出来。

2、分类与分组：根据所测量的特征将一些类似的对象或变量分组。

3、变量间依赖性的研究4、预测：根据某些变量的观测值预测另一个或另一些变量的值。

5、假设的构造与检验一. 多元统计分析的概述胡平交大管院2008秋下5二.多元数据的整理与描述多元数据的基本结构初步概念：数据阵列:对研究对象（多元总体）的p 个特征（变量）进行记录，从而出现多元数据表示第ｋ个变量在第ｊ项（个体或实验单元）上或第ｊ次试验中的观测值。

因此，ｐ个变量的ｎ　个观测值可以表示成：⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡⋯⋯np n n p p x x x x x x x x x 212222111211k j x 胡平交大管院2008秋下6描述统计量(1)样本均值设是第一个变量的n 个观测值，则这些测量值的算术平均数是如果这n 个测量值代表被观测的全部测量值集合的一个子集，则也称为第一个变量的样本均值。

12111,,n xx x ⋯⋯∑==nj j x n x 11111x二. 多元数据的整理与描述样本方差:对第k 个变量的n 个观测值定义为：为了表明方差在阵列中的位置，引入双下标记号：来表示由第个变量的测量值的方差，并有式子样本标准差：样本方差的平方根称为样本标准差。

∑=-=nj k jk k x x n s 122)(1iis i∑=-==n j k jk kk k x x n s s 122)(1pk ,,2,1⋯⋯=描述统计量(2)ii s 二. 多元数据的整理与描述样本协方差：度量第i 个变量和第k 个变量的n 对测量值线性结合由样本协方差给出：∑=--=nj k jk i ji ik x x x x n s 1))((1pk p i ,,2,1,,,2,1⋯⋯=⋯⋯=描述统计量(3)二.多元数据的整理与描述胡平交大管院2008秋下9样本相关系数：其中i=1,2,…,p , k=1,2,…,p注意：∑∑∑===----==nj k jknj i jinj k jk i ji kkiiik ik x xx xx x x x s s s r 12121)()())((kiik r r =描述统计量(4)二. 多元数据的整理与描述胡平交大管院2008秋下10样本相关系数性质：1、r 的值必定在－1与1之间。

2、r 度量的是线形结合的强度。

3、若且假定a 和c 的正负号相同，则的值保持不变注意：参量s ik 和r ik 一般不能传送两个变量间结合的全部信息，可能存在不被其揭示的非线性结合。

b ax y ji ji +=dcx y jk jk +=ik r 描述统计量(4)二.多元数据的整理与描述基本的描述统计量阵列⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡⋯=pp p p p p n s s s s s s s s s S212222111211⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡=p x x x 21x 描述统计量(5)样本方差和协方差样本均值二.多元数据的整理与描述 样本相关系数⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡⋯=111121221112p p p p r r r r r r R 描述统计量(5)二.多元数据的整理与描述胡平交大管院2008秋下13图解法变量1（x1）：3 4 2 6 8 2 5 变量2（x2）：5 5.5 4 7 10 5 7.5散布图：2.03.04.05.06.07.08.0x14.05.06.07.08.09.010.0x2二.多元数据的整理与描述胡平交大管院2008秋下14P 维散布图将散布图扩展到p 维空间,（)表示一个点在p 维空间中的坐标在第j 项的值。

jp j j x x x ,,,21⋯⋯二.多元数据的整理与描述切尔诺夫脸：主要的帮助是（1）由直觉的知识提出最初的分组；（2）核实由聚类法产生的最终分组例：22家公用事业公司的观测数据用切尔诺夫脸表示固定费用保障比率－－脸的半高度 资本回报率－－脸的宽度每千瓦负载的费用－－嘴中心的位置 每年负载因子－－眼睛的倾斜 高峰期需求增长量－－眼睛的离心率 销售额总量－－眼睛的半长 核的百分比－－嘴的曲率 总燃烧费用－－鼻子长度图解法二.多元数据的整理与描述切尔诺夫脸二. 多元数据的整理与描述固定费用保障比率－脸的半高度资本回报率－脸的宽度每千瓦负载的费用－嘴中心位置每年负载因子－眼睛的倾斜高峰期需求增长量－眼睛离心率销售额总量－眼睛的半长胡平交大管院2008秋下17统计距离标准化坐标：统计距离：令点P 和Q 含有p 个坐标，即P ＝(x 1,x 2,x 3,…,x p ), Q ＝(y 1, y 2,…y p ）则点P 到点Q 的统计距离ppp ps x x =*()()()()ppp p s y x s y x s y x Q P d 22222211211,-+⋯+-+-=第2讲多元统计分析知识预备二. 多元数据的整理与描述胡平交大管院2008秋下18三. 矩阵代数和随机向量基本概念1、向量或2、向量可通过乘一个常数c 来改变长度⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡n cx cx cx 21cx ＝⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡n x x x 21x ＝[]n x x x x 21T = 加法⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡+++=⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡+⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=+n nn n y x y x y x y y y x x x 22112121y x 22221nxx x x +++= xx1－()()()()()()121212sin sin cos cos cos cos θθθθθθθ+=-=三.矩阵代数和随机向量 向量长度单位向量，长度为1 两向量之间的夹角基本概念x 和y 的内积：x T y =x 1y 1+x 2y 2+…+x n y n()()互相垂直与当，，y x y x y x y x yy xx y x x ,0cos cos ⇒====T T T T T Tx x θθ x 在y 上的投影：()θcos x x 在y 上的投影长度＝y y y y x T T ⎪⎪⎭⎫ ⎝⎛θxy基本概念三.矩阵代数和随机向量胡平交大管院2008秋下21矩阵定义：由m ×n 个数排成m 行n 列,并括以方括弧(或圆括弧)的矩形数表⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=mn m m n n a a a a a a a a a A 211222111211基本概念（矩阵）2.2 矩阵代数和随机向量三.矩阵代数和随机向量胡平交大管院2008秋下22矩阵的转置：把一个m×n矩阵的行与列互换得到的n ×m矩阵,称为A 的转置矩阵,记为A T对称阵：若矩阵A满足条件A=A T ,则称A为对称矩阵.对称矩阵一定是方阵,而且位于主对角线对称位置上的元素必对应相等.即a ij =a ji ,对任意i,j都成立.矩阵的加法定义:设A =[a ij ], B =[b ij ]都是m ×n 矩阵, C =[C ij ],其中(i=1,2……m , j=1,2…….n ) C ij =a ij +b ij 为A 与B 之和，记为C=A+B.基本概念（矩阵）三.矩阵代数和随机向量矩阵与常数的乘法定义:设矩阵A =[a ij ]m ×n ，λ为任意实数,C ij =λa ij(i =1,2……m , j =1,2…….n )则称矩阵C=[c ij ]m×n 为常数λ与矩阵A 的乘积，记为C =λA矩阵的乘法定义:设A =[a ij ]是一个m ×s 矩阵,B =[b ij ]是一个s ×n 矩阵,若C ij =a i1b 1j +a i2b 2j +….. +a is b sj(i=1,2……m, j=1,2…….n )则称m ×n 矩阵C =[C ij ]为A 与B 的乘积.记为C=AB基本概念（矩阵）三.矩阵代数和随机向量 只有当左边矩阵A 的列数和右边矩阵B的行数相等时,A 、B 才能相乘得AB .两个矩阵的乘积AB 亦是矩阵,它的行数等于左边矩阵A 的行数,它的列数等于右边矩阵B的列数.矩阵A 与向量x 的乘积是一个向量，其维数等于A 的行数列向量与行向量的乘积是一矩阵，其行数等于列向量的维数，列数等于行向量的维数基本概念（矩阵）三.矩阵代数和随机向量胡平交大管院2008秋下25逆矩阵定义:对于n 阶方阵A ,如果有n 阶方阵B 满足AB=BA=I ，则称矩阵A 为可逆的,称方阵B 为A 的逆矩阵,记为A -1.我们把满足|A|≠0的方阵A 称为非奇异的,否则就称为奇异的.方阵A 可逆的充分必要条件为A 是非奇异的,即|A|≠0.基本概念（矩阵）胡平交大管院2008秋下26【例】以二十名男性的身高和体重数据为例.X 1为身高数据（英寸），X 2为体重数据（磅），X d1为身高X 1与均值之差，X d2为体重X 2与均值之差。

X s1和X s2分别为身高和体重标准值(某原始数据比其均值高或低多少个标准差单位）：X s1＝（X 1－μ1）/σ1X s2＝（X 2－μ2）/σ2X s ＝[x s1, x s2]应用举例X 1X 2X d 1X d 2 X s1 X s25793-5.85-30.60-1.77427-1.9651658110-4.85-13.60-1.47098-0.873416099-2.85-24.60-0.86439-1.5798459111-3.85-12.60-1.16768-0.8091861115-1.85-8.60-0.56109-0.5523060122-2.85-1.60-0.86439-0.1027562110-.85-13.60-0.25780-0.8734161116-1.85-7.60-0.56109-0.4880862122-.85-1.60-0.25780-0.1027563128.15 4.400.045490.2825762134-.8510.40-0.257800.6679064117 1.15-6.600.34879-0.4238663123.15-.600.04549-0.0385365129 2.15 5.400.652080.3467964135 1.1511.400.348790.7321266128 3.15 4.400.955380.2825767135 4.1511.40 1.258670.7321266148 3.1524.400.95538 1.5669968142 5.1518.401.56197 1.18167三.矩阵代数和随机向量5658606264666870h e ig h t90100110120130140150160we i g h t h e i gh t5758596061626364656667686922位男性的体重与身高散点图三.矩阵代数和随机向量胡平交大管院2008秋下29向量w ：)707.0,707.0()2/1,2/1(ww )1,1(w ===TT ],[]w ,w ][,[)707.0,707.0(w )707.0,707.0(w 21212121z z x x s s T T =-==胡平交大管院2008秋下30z 1=X s w 1Z=[z 1,z 2]=X s [w 1 w 2]矩阵乘法与坐标旋转TS S DW Z X XWD Z ==-1⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡==--21111001懘拞S SD ZD Z S ，对z 标准化矩阵的奇异值分解三.矩阵代数和随机向量线性相关和线性无关一组向量x 1，x 2，…x k ，如果存在不全为零的常数c 1，c 2，…，c k ，使得c 1x 1＋c 2x 2＋…＋c k x k ＝0就说这组向量线性相关。