第九章对应分析资料

第九章 对应分析§9.1 什么是对应分析及基本思想对应分析又称为相应分析，于1970年由法国统计学家J.P.Beozecri 提出来的。

它是在R 型和Q 型因子分析基础上发展起来的一种多元统计方法。

由前一章我们知道应用因子分析的方法，可以用较少的几个公共因子去提取研究对象的绝大部分信息，即可减少因子的数目，又把握住了研究对象之间的相互关系。

但是因子分析根据研究对象的不同又分为R 型因子分析和Q 型因子分析，即对指标（变量）作因子分析和对样品作因子分析是分开进行的，这样做往往会漏掉一些指标与样品之间有关的一些信息，另外在处理实际问题中，样品的个数远远地大于变量个数。

比如有100个样品，每个样品测10项指标，要作Q 型因子分析，就要计算（100×100）阶相似系数阵的特征根和特征向量，这对于一般小型计算机的容量和速度都是难以胜任的。

对应分析是将R 型因子分析与Q 型分子分析结合起来进行统计分析，它是从R 型因子分析出发，而直接获得Q 型因子分析的结果。

克服了由样品容量大，作Q 型分析所带来的计算上的困难。

另外根据R 型和Q 型分析的内在联系，可将指标（变量）和样品同时反映到相同坐标轴（因子轴）的一张图形上，便于对问题的分析。

比如在图形上邻近的一些样品则表示它们的关系密切归为一类，同样邻近的一些变量点则表示它们的关系密切归为一类，而且属地同一类型的样品点，可用邻近的变量点来表征。

因此，对应分析，概括起来可提供如下三方面的信息即指标之间的关系，样品之间的关系，以及指标与样品之间的关系。

基本思想：由于R 型因子分析和Q 型因子分析都是反映一个整体的不同侧面，因此它们之间一定存在内在的联系。

对应分析就是通过一个过渡矩阵Z 将二者有机地结合起来，具体地说，首先给出变量点的协差阵Z Z A '=和样品点的协差阵Z Z B '=，由于Z Z '和Z Z '有相同的非零特征根记为),m i n(0,21n p m m ≤<≥≥≥λλλ ，如果A 的特征根i λ对应的特征向量为i U ，则B 的特征根i λ对应的特征向量就是i i V ZU ∆，根据这个结论（后面有证明）就可以很方便的借助R 型因子分析而得到Q 型因子分析的结果。

第九章对应分析§9.1 什么是对应分析及基本思想一、什么是对应分析1．对应分析的概念与基本形式对某一行业所属的企业进行经济效益评价时，不仅要研究经济效益指标间的关系，还要将企业按经济效益的好坏进行分类，研究哪些企业与哪些经济效益指标的关系更密切一些，为各级领导部门正确指导企业的生产经营活动提供更多的信息。

这就需要有一种统计方法，将指标和企业放在一块进行分类、作图，便于做经济意义上的解释。

在社会科学研究中，一个经常会遇到的问题就是要对定性变量数据进行量化分析，因为研究中往往使用一些定性（Nonmetric）变量，例如名义变量或序次变量来反映研究对象的行为、态度等，研究不同性别的顾客对不同品牌商品的喜好，不同职业的人在吸烟行为上的差异等。

在上述情况下，就可以使用对应分析方法。

对应分析（Correspondence Analysis）方法是近年来新发展起来的一种多元相依变量（Interdependece）统计分析技术，它通过分析由定性变量构成的交互汇总表来揭示变量间的联系。

当以变量的一系列类别以及这些类别的分布图来描述变量之间的联系时，使用这一分析技术可以揭示同一变量的各个类别之间的差异以及不同变量各个类别之间的对应关系。

对应分析的基本形式是对由两个定性或类型（Category）变量构成的交互表进行分析，将定性变量数据转变成可度量的分值、减少维度并作出分值分布图。

在减少维度方面，对应分析与因子分析（Factor Analysis）相似；在作分布图方面，对应分析与多维标度（Multidimensional Scaling）方法相似。

对应分析的优点就在于可以同时做到这几方面，这是以往的统计方法所不能做的，因此，在定性变量数据分析方面，对应分析提供了一种新的多元相依变量（Interdependece）的分析技术。

2．有关多元对应分析虽然对应分析的基本形式是对两个定性变量进行分析，实际上对于由三个或三个以上变量形成的交互表也可以进行对应分析，这样的对应分析称为多元对应分析（Multiple Correspondence Analysis）。

应用多元统计分析第九章对应分析对应分析又称相应分析,于1970年由法国统计学家J.P.Beozecri提出的.它是在R型和Q型因子分析基础上发展起来的多元统计分析方法,故也称为R-Q型因子分析.因子分析方法是用少数几个公共因子去提取研究对象的绝大部分信息,既减少了因子的数目,又把握住了研究对象的相互关系.在因子分析中根据研究对象的不同,分为R型和Q型,如果研究变量间的相互关系时采用R型因子分析;如果研究样品间相互关系时采用Q型因子分析.无论是R型或Q型都未能很好地揭示变量和样品间的双重关系.另方面在处理实际问题中,样本的大小经常是比变量个数多得多.当样品个数n很大(如n>100),进行Q型因子分析时,计算n阶方阵的特征值和特征向量对于微型计算机的容量和速度都是难以胜任的.还有进行数据处理时,为了将数量级相差很大的变量进行比较,常常先对变量作标准化处理,然而这种标准化处理对于变量和样品是非对等的,这给寻找R型和Q型之间的联系带来一定的困难.第九章什么是对应分析对应分析方法是在因子分析的基础上发展起来的,它对原始数据采用适当的标度方法.把R型和Q型分析结合起来,同时得到两方面的结果---在同一因子平面上对变量和样品一块进行分类,从而揭示所研究的样品和变量间的内在联系.对应分析由R 型因子分析的结果,可以很容易地得到Q 型因子分析的结果,这不仅克服样品量大时作Q 型因子分析所带来计算上的困难,且把R 型和Q 型因子分析统一起来,把样品点和变量点同时反映到相同的因子轴上,这就便于我们对研究的对象进行解释和推断. 第九章 对应分析的基本思想由于R 型因子分析和Q 型分析都是反映一个整体的不同侧面,因而它们之间一定存在内在的联系. 对应分析就是通过一个变换后的过渡矩阵Z 将二者有机地结合起来.具体地说,首先给出变量间的协差阵R S =Z'Z 和样品间的协差阵Q S =ZZ' ,由于Z'Z 和ZZ'有相同的非零特征根,记为12...m λλλ≥≥≥,如果R S 的特征根i λ对应的特征向量为i v ,则Q S 的特征根i λ对应的特征向量i u Zv =由此可以很方便地由R 型因子分析而得到Q 型因子分析的结果.对应分析的基本思想由A 的特征根和特征向量即可写出R 型因子分析的因子载荷阵(记为R A )和Q 型因子分析的因子载荷阵(记为Q A ).§9.1 什么是对应分析基本思想由于A和B具有相同的非零特征根,而这些特征根又正是各个公共因子的方差,因此可以用相同的因子轴同时表示变量点和样品点,即把变量点和样品点同时反映在具有相同坐标轴的因子平面上,以便对变量点和样品点一起考虑进行分类.第十章典型相关分析相关分析是研究多个变量与多个变量之间的相关关系.如研究两个随机变量之间的相关关系可用简单相关系数表示;研究一个随机变量与多个随机变量之间的相关关系可用全相关系数表示.1936年Hotelling首先将相关分析推广到研究多个随机变量与多个随机变量之间的相关关系,故而产生了典型相关分析,广义相关系数等一些有用的方法.第十章什么是典型相关分析在实际问题中,经常遇到要研究一部分变量和另一部分变量之间的相关关系,例如:在工业中,考察原料的主要质量指标(1,.....,p X X ) 与产品的主要质量指标(1,.....,p Y Y )间的相关性;在经济学中,研究主要肉类的价格与销售量之间的相关性; 在地质学中,为研究岩石形成的成因关系,考察岩石的化学成份与其周围围岩化学成份的相关性;在气象学中为分析预报24小时后天气的可靠程度,研究当天和前一天气象因子间的相关关系;第十章 什么是典型相关分析在教育学中,研究学生在高考的各科成绩与高二年级各主科成绩间的相关关系;在婚姻的研究中,考察小伙子对追求姑娘的主要指标与姑娘想往的小伙子的主要尺度之间的相关关系;在医学中,研究患某种疾病病人的各种症状程度与用科学方法检查的一些结果之间的相关关系;在体育学中,研究运动员的体力测试指标与运动能力指标之间的相关关系等.第十章 什么是典型相关分析一般地,假设有一组变量1,.....,p X X 与另一组变量1,.....,p Y Y (也可以记为1,....,p p q X X ++),我们要研究这两组变量的相关关系,如何给两组变量之间的相关性以数量的描述,这就是本章研究的典型相关分析.当p=q=1时,就是研究两个变量X 与Y 之间的相关关系.简单相关系数是最常见的度量.其定义为第十章 什么是典型相关分析当p ≥ 1 ,q=1时(或 q ≥ 1 , p =1) 设 则称为Y 与(X1,…,Xp) 的全相关系数.其实Y 对X 的回归为1(|)()()Y YX XX X E Y X x def x μμϕ-=+∑∑-且 并称R 为全相关系数 .第十章 什么是典型相关分析当p,q>1时,利用主成分分析的思想,可以把多个变量与多个变量之间的相关化为两个新变量之间的相关.也就是求α=(α1,…, αp ) '和β =(β1,…, βq ) ' , 使得新变量:V = α1X 1+…+αp X p = α 'X1~(,),0XX XY p YX YY X N Y μσ+∑∑⎛⎫⎛⎫∑∑=> ⎪ ⎪∑⎝⎭⎝⎭1/21YX XX XY YY R σ-⎛⎫∑∑∑= ⎪⎝⎭(,())Y x Rρϕ=W = β1Y 1+…+ βq Y q = β 'Y 之间有最大可能的相关,基于这个思想就产生了典型相关分析(Canonical correlatinal analysis).第十章 总体典型相关设X=(X1,...,Xp )及Y=(Y1,...,Yq)为随机向量(不妨设p ≤q),记随机向量Z 的协差阵为 其中Σ11是X 的协差阵,Σ22是Y 的协差阵,Σ12=Σ’21是X,Y 的协差阵. 第十章 总体典型相关我们用X 和Y 的线性组合V=a X 和W=b Y 之间的相关来研究X 和Y 之间的相关.我们希望找到a 和b,使ρ(V,W) 最大.由相关系数的定义:又已知⎪⎭⎫ ⎝⎛∑∑∑∑=∑22211211第十章总体典型相关故有对任给常数c1,c2,d1,d2,显然有ρ(c1V+d1, c2W+d2)=ρ(V,W)即使得相关系数最大的V=a'X和W=b'X并不唯一.故加附加约束条件 Var(V)=a'Σ11a=1,Var(W)=b'Σ22b=1.问题化为在约束条件Var(V)= 1,Var(W)=1下,求a和b,使得ρ(V,W)= a'Σ12b达最大 .第十章样本典型相关设总体Z=(X1,...,X p,Y1,…,Y q )’.在实际问题中,总体的均值E(Z)= 和协差阵D(Z)= 通常是未知的,因而无法求得总体的典型相关变量和典型相关系数.首先需要根据观测到的样本资料阵对其进行估计.已知总体Z的n个样品:第十章 样本典型相关样本资料阵为若假定Z ～N(μ,∑),则协差阵 的最大似然估 计为第十章 样本典型相关我们从协差阵 的最大似然估计S*(或样本协差阵S)出发,按上节的方法可以导出样本典型相关变量和样本典型相关系数.还可以证明样本典型相关变量和样本典型相关系数是总体典型相关变量和样本典型相关系数的极大似然估计.也可以从样本相关阵R 出发来导出样本典型相关变量和样本典型相关系数.第十章 样本典型相关典型相关系数的显著性检验：总体Z 的两组变量X=(X 1,...,X p )’和Y =(Y 1, …,Y q )’如果不相()()()()1(1,2,...,)t t t p q X Z t n Y +⨯⎛⎫== ⎪⎝⎭'()()11()()nt t t Z Z Z Z def Sn ∧=∑=--∑关,即COV(X,Y )=∑12=0,以上有关两组变量典型相关的讨论就毫无意义.故在讨论两组变量间相关关系之前,应首先对以下假设H 0作统计检验.(1) 检验H 0 : ∑12=0 (即λ1=0)设总体Z ～N p+q (μ,∑).用似然比方法可导出检验H 0的似然比统计量为(A ,A 11,A 22为离差阵)第十章 样本典型相关典型相关系数的显著性检验 (2)检验H 0(i): λi =0 (i =2,...,p )当否定H 0时,表明X,Y 相关,进而可得出至少第一个典型相关系数λ1≠ 0.相应的第一对典型相关变量V 1,W 1可能已经提取了两组变量相关关系的绝大部分信息.在实际问题中,经常迂到需要研究两组多重相关变量间的相互依赖关系,并研究用一组变量(常称为自变量或预测变量)去预测另一组变量(常称为因变量或响应变量),除了最小二乘准则下的经典多元线性回归分析(MLR),提取自变量组主成分的主成分回归分析(PCR)等方11221122||||||A S A A S S Λ==⨯⨯法外,还有近年发展起来的偏最小二乘(PLS)回归方法.第十一章什么是偏最小二乘回归偏最小二乘回归提供一种多对多线性回归建模的方法,特别当两组变量的个数很多,且都存在多重相关性,而观测数据的数量(样本量)又较少时,用偏最小二乘回归建立的模型具有传统的经典回归分析等方法所没有的优点。