1、主成分分析的目的是什么？
主成分分析是考虑各指标间的相互关系，利用降维的思想把多个指标转换成较少的几个相互独立的、能够解释原始变量绝大部分信息的综合指标，从而使进一步研究变得简单的一种统计方法。它的目的是希望用较少的变量去解释原始资料的大部分变异，即数据压缩，数据的解释。常被用来寻找判断事物或现象的综合指标，并对综合指标所包含的信息进行适当的解释。
2、主成分分析基本思想？
主成分分析就是设法将原来指标重新组合成一组新的互相无关的几个综合指标来代替原来指标。同时根据实际需要从中选取几个较少的综合指标尽可能多地反映原来的指标的信息。
● 设p 个原始变量为 ，新的变量(即主成分)为 ，
主成分和原始变量之间的关系表示为
?
3、在进行主成分分析时是否要对原来的p 个指标进行标准化？SPSS 软件是否能对数据自动进行标准化？标准化的目的是什么？
需要进行标准化，因为因素之间的数值或者数量级存在较大差距，导致较小的数被淹没，导致主成分偏差较大，所以要进行数据标准化；
进行主成分分析时SPSS 可以自动进行标准化；
标准化的目的是消除变量在水平和量纲上的差异造成的影响。
求解步骤
? 对原来的p 个指标进行标准化，以消除变量在水平和量纲上的影响
? 根据标准化后的数据矩阵求出相关系数矩阵
? 求出协方差矩阵的特征根和特征向量
? 确定主成分，并对各主成分所包含的信息给予适当的解释
版本二：根据我国31个省市自治区2006年的6项主要经济指标数据，表二至表五，是SPSS 的输出表，试解释从每张表可以得出哪些结论，进行主成分分析，找出主成分并进行适当的解释：（下面是SPSS 的输出结果，请根据结果写出结论）
表一：数据输入界面
p 21p x x x ，，， 21p ，21p y y y ，，， 21
表二：数据输出界面a）
此表为相关系数矩阵，表示的是各个变量之间的相关关系，说明变量之间存在较强的相关系数，适合做主成分分析。观察各相关系数，若相关矩阵中的大部分相关系数小于0.3，则不适合作因子分析。
表三为各成分的总解释方差表。component为各成分的序号；initial Eigenvalues是初始特征值，total是各成分的特征值，% of variance是各成分的方差占总方差的百分比（贡献率）。Cumulative%是累计贡献率，表明前几个成分可以解释总方差的百分数。Extraction sums 是因子提取结果。
一般来说，当特征根需大于1，主成分的累计方差贡献率达到80%以上的前几个主成分，都可以选作最后的主成分。由表可知，第一个主成分的特征根为 3.963，方差贡献率为66.052%，这表示第一个主成分解释了原始6个变量66.052%的信息，可以看出前两个成分所解释的方差占总方差的95.57%，仅丢失了4.43%的信息。因此最后结果是提取两个主成分。在extraction sums of squared loadings一栏，自动提取了前两个公因子，因为前两个公因子就可以解释总方差的绝大部分95.6%。
表四是表示各成分特征值的碎石图。可以看出因子1与因子2，以及因子2与因子3之间的特征值之差值比较大。而因子3、4、5之间的特征值差值都比较小，可以初步得出保留两个因子将能概括绝大部分信息。明显的拐点为3，因此提取2个因子比较合适。证实了表三中的结果。
碎石图(Scree Plot)，从碎石图可以看到6个主轴长度变化的趋势。实践中，通常选择碎石图中变化趋势出现拐点的前几个主成分作为原先变量的代表，该例中选择前两个主成分即可。
表五是初始提取的成分矩阵，它显示了原始变量与各主成分之间的相关系数，表中的每一列表示一个主成分作为原来变量线性组合的系数，也就是主成分分析模型中的系数a ij 。
比如，第一主成分所在列的系数0.670表示第1个主成分和原来的第一个变量(人均GDP)之间的线性相关系数。这个系数越大，说明主成分对该变量的代表性就越大。
第一主成分（component 1）对财政收入，固定资产投资，社会消费品零售总额有绝对值较大的相关系数；第二主成分（component 2）对人均gdp ，年末总人口，居民消费水平有绝对值较大的相关系数。可以分别对其进行命名。
版本一：根据我国31个省市自治区2006年的6项主要经济指标数据，进行因子分析，对因子进行命名和解释，并计算因子得分和排序。
表一数据输入界面：
???-+--+=+++++=6
5432126543211263.0721.0728.0351.0055.0725.0950.0674.0633.0896.0976.0670.0x x x x x x y x x x x x x y
表二因子分析SPSS输出界面a）
KMO统计量为0.695，接近0.7，表明6个变量之间有较强的相关关系。适合作因子分析。Bartlett球度检验统计量为277.025。检验的P值接近0，拒绝原假设，认为相关系数与单位阵有显著差异。可以因子分析。
表三因子分析SPSS输出界面b）
表三为公因子提取前和提取后的共同度表，initial列提取因子前的各变量的共同度；extraction 列是按特定条件（如特征值>1）提取公因子时的共同度，表中的共同度都很高，说明提取的成分能很好的描述这些变量。
所有变量的共同度量都在80%以上，因此，提取出的公因子对原始变量的解释能力应该是很强的。
变量x i的信息能够被k个公因子解释的程度
表四因子分析SPSS输出界面c）
表四为各成分的总解释方差。Component表示按特征值大小排序的因子编号。Initial下分别给出了相关系数矩阵的特征值、方差贡献率和累计方差贡献率。Extraction是所提取的公因子未经旋转情况下的特征值，方差贡献了和累计方差贡献率。Rotation项下是旋转后的。“Rotation Sums of Squared Loadings”部分是因子旋转后对原始变量方差的解释情况。旋转后的累计方差没有改变，只是两个因子所解释的原始变量的方差发生了一些变化。95.57%表明提取的两个公共因子的方差可以解释总方差的95.57%。
第j个公因子对变量x i的提供的方差总和，反映第j个公因子的相对重要程度
旋转后成分矩阵。第一个因子与年末总人口、固定资产投资、社会消费品零售总额、财政收入这几个载荷系数较大，主要解释了这几个变量。从实际意义上看，可以把因子1姑且命名为“经济水平”因子。而第二个因子与人均GDP、居民消水平这两个变量的载荷系数较大，主要解释了这两个变量，从实际意义看，可以将因子2姑且命名为“消费水平”因子
表五是因子得分系数矩阵。根据因子得分和原始变量的标准化值可计算每个观测量的各因子的分数。
4、因子分析基本思想？
因子分析是利用降维的思想，由研究原始变量相关矩阵内部的依赖关系出发，把一些具有错综复杂关系的变量归结为少数几个综合因子的一种多变量统计分析方法。
因子分析的基本思想是根据相关性的大小将原始变量分组，使得组内的变量之间相关性较高，而不同组的变量之间相关性较低。每组变量代表一个基本结构，并用一个不可观测的综合变量表示，这个基本结构就称为公共因子。对于所研究的某一具体问题，原始变量可以分解为两部分之和的形式，一部分是少数几个不可测的所谓公共因子的线性函数，另一部分是与公共因子无关的特殊因子。
设p 个原始变量为 ，要寻找的m 个因子(m 为 ，因子和原始变量之间的关系表达式为？ m m km k k m m m m e f a f a f a x e f a f a f a x e f a f a f a x k +++=+++=+++= 22112 22221211 121211112 系数a ij 为第个i 变量与第k 个因子之间的线性相关系数，反映变量与因子之间的相关程度，也称为载荷(loading)。由于因子出现在每个原始变量与因子的线性组合中，因此也称为公因子。ε为特殊因子，代表公因子以外的因素影响 5、因子分析的目的是什么？ k 21k x x x ，，， 21m 21m f f f ，，， 21 因子分析是从多个变量指标中选择出少数几个综合变量指标，以较少的几个因子反映原始资料的大部分信息的一种降维的多元统计方法。 求解步骤 1) 对原始数据标准化 2) 建立相关系数矩阵R （因子提取） 3) 求R 的单位特征根λ与特征向量U ； 4) 因子旋转求因子载荷矩阵A ； 5) 写出因子模型X=AF+E 6）建立因子得分矩阵P 7）写出因子得分模型F=P ’X (因子提取的方法：主成分法、不加权最小平方法、加权最小平方法、最大似然法、主轴因子法;旋转方法为：方差最大正交旋转、四次方最大正交旋转、平方最大正交旋转、斜交旋转、Promax ：该方法在方差最大正交旋转的基础上进行斜交旋转) 6、什么是变量共同度？写出变量共同度的表达式。 变量x i 的信息能够被k 个公因子解释的程度，用 k 个公因子对第i 个变量x i 的方差贡献率表示 ∑==+++=m j ij im i i i a a a a D 122222 1 )21(1 22k j a h p i ij i ，，， ==∑= 7、什么是公共因子方差贡献率？写出公共因子方差贡献率表达式。 第j 个公因子对变量x i 的提供的方差总和，反映第j 个公因子的相对重要程度 )21(122p i a g k j ij j ，，， ==∑= 8、因子分析中KMO 检验主要检验什么？ KMO 越接近1，变量间的相关性越强 KMO 在0.8以上，说明该问题适合做因子分析。 KMO 统计量在0.7以上时，因子分析效果较好； KMO 统计量在0.5以下时，因子分析效果很差 KMO （Kaiser-Meyer-Olkin)检验统计量是用于比较原始变量间简单相关系数和偏相关系数的指标。当所有变量间的简单相关系数平方和远远大于偏相关系数平方和时，KMO 值接近1，KMO 越接近1，变量间的相关性越强。当所有变量间的简单相关系数平方和接近0时，KMO 值接近0.KMO 值越接近于0,意味着变量间的相关性越弱，原有变量越不适合作因子分析。Kaiser 给出了常用的kmo 度量标准：0.9以上表示非常适合；0.8表示适合；0.7表示一般；0.6表示不太适合；0.5以下表示极不适合。 Bartlett 球度检验：以变量的相关系数矩阵为基础，假设相关系数矩阵是单位阵(对角线元素不为0，非对角线元素均为0)。如果相关矩阵是单位阵，则各变量是独立的，无法进行因子分析。 9、因子分析中公因子个数确定的依据是什么？ 用公因子方差贡献率提取：一般累计方差贡献率达到80%以上的前几个因子可以作为最后的公因子 用特征根提取：一般要求因子对应的特征根要大于1，因为特征根小于1说明该公因子的解释力度太弱，还不如使用原始变量的解释力度大 碎石图中变化趋势出现拐点的前几个主成分 10、因子分析中因子旋转(factor rotation)的目的是什么？什么是因子得分(factor score)？ 因子旋转的目的使得因子载荷系数尽可能两极分化，使因子载荷系数向±1或0靠近，使得某一个变量值在某一个因子上的载荷系数大，从而更清楚地看出各因子与原始变量的相关性大小，使因子的含义更加清楚，以便于对因子的命名和解释。 因子得分就是每个观测量的共同因子的值。根据因子得分系数和原始变量的标准化值可以计算每个观测量的各因子的分数，因子得分=x1*对应权重+x2*对应权重+…+xn*对应权重，根据因子得分我们可以写出因子表达式。 ??? ????+++=+++=+++=p kp k k k p p p p x b x b x b f x b x b x b f x b x b x b f 22112222121212121111 因子得分是各变量的线性组合 11、简述因子分析与主成分分析的区别。 主成分分析和因子分析是两种把变量维度降低以便于描述、理解和分析的方法。 1 在SPSS 分析中，因子分析必须进行因子旋转，主成分分析不一定要旋转。故公共因子往往可以找到实际意义，而主成分一般不能解释实际意义； 2 因子分析法是对你所分析的变量的抽取（因子），主成分分析法是对你所分析的变量的概括（指标）； 3 因子模型中除了公共因子还有特殊因子，公共因子只解释了原变量的部分方差，而主成分解释了原变量全部方差； 4 因子分析是把变量表示成各因子的线性组合，而主成分则是把主成分表示成各变量的线性组合； 5 主成分分析中不需要有一些专门假设，因子分析则需要一些假设。因子分析的假设包括：各个共同因子之间不相关，特殊因子之间也不相关，共同因子和特殊因子之间也不相关； 6 提取主因子的方法不仅有主成分法，还有极大似然法，基于这些不同算法得到的结果一般也不同。而主成分只能用主成分法提取； 7 主成分分析中，当给定的协方差矩阵或者相关矩阵的特征值唯一时，主成分一般是固定的；而因子分析中，因子不是固定的，可以旋转得到不同的因子； 8 在因子分析中，因子个数需要分析者指定（spss 根据一定的条件自动设定，只要是特征值大于1的因子进入分析），而指定的因子数量不同而结果不同。在主成分分析中，成分的数量是一定的，一般有几个变量就有几个主成分。 12、聚类分析基本思想及分类 聚类分析就是按照对象之间的“相似”程度把对象进行分类。聚类分析的“对象”可以是所观察的多个样本，也可以是针对每个样本测得的多个变量。 对样品的分类称为Q 型聚类；对变量的分类，则称为R 型聚类 Q 聚类是根据被观测对象的各种特征，即反映被观测对象的特征的各变量值进行分类。 R 聚类是根据所研究的问题选择部分变量对事物的某一方面进行研究。 按对象的“相似”程度分类 ? 对变量进行聚类可以用夹角余弦、Pearson 相关系数等工具，也称为相似系数 ? 对样本聚类则使用“距离” 求解步骤 1）先对数据进行变换处理，消除量纲对数据的影响； 2）认为各样本点自成一类(即n 个样本点一共有n 类)，然后计算各样本点之间的距离，并将距离最近的两个样本点并成一类； 3）选择并计算类与类之间的距离，并将距离最近的两类合并； 4）重复上面作法直至所有样本点归为所需类数为止； 5）最后绘制聚类图。 13、相似性的度量 2） 夹角余弦，如果i x 错误！未找到引用源。与j x 错误！未找到引用源。比较相似，则他们的夹角接近0，从而cos xy θ错误！未找到引用源。接近1。 Pearson 相关系数，相关系数越接近于1或-1，越相似；彼此无关的变量，他们的相关 系数接近0。 15、系统聚类和快速聚类的特点分别是什么？（版本一） 系统聚类事先不确定要分多少类，而是先把每一个对象作为一类，然后一层一层进行分类。根据运算的方向不同，层次聚类法又分为合并法和分解法，两种方法的运算原理一样，只是方向相反。 快速聚类法是根据事先确定的K 个类别反复迭代直到把每个样本分到指定的类别中。类别数目的确定具有一定的主观性，究竟分多少类合适，取决于研究者对研究问题的了解程度、相关知识和经验。快速聚类特点：处理速度快，占用内存少，适用于大样本的聚类分析。 16、七个样品之间的相似系数矩阵如下，试对这七个样品进行聚类，并画出谱系图。 1 2 3 4 5 6 7 1 2 3 4 5 6 7 ? ? ? ? ? ? ? ? ? ? ? ? ? 1 24 .0 16 .0 30 .0 20 .0 41 .0 24 .0 1 52 .0 15 .0 92 .0 67 .0 20 .0 1 74 .0 54 .0 01 .0 97 .0 1 86 .0 91 .0 81 .0 1 83 .0 94 .0 1 51 .0 1 答案： X1 X5 X3 X2 X4 X6 X70.97 0.94 0.91 0.67 0.51 0.24 17、层次聚类法（合并法和分解法）计算类间距离有多种方法，试写出两种方法。 最短距离法（最近邻法）：首先合并最近的或最相似的两类，用两类间最近点的距离代表两类之间的距离。 最长距离法：用两类间最远点的距离代表两类之间的距离。 重心法：用两类重心之间的距离表示两类之间的距离。 组间平均距离法：SPSS默认，是用两类中间各个数据点之间的距离的平均来表示两类之间的距离，既不是最大距离也不是最小距离。 离差平方和距离法：常用，使各类别中的离差平方和较小，而不同类别之间的离差平方和较大。 18、K-均值聚类是针对样品（CASE）的聚类还是针对变量的聚类？ K-均值聚类是针对样品（case ）的聚类，需要单独做标准化处理，而后再进行聚类。 19、判别分析 ● 简述Fisher ’s 判别的原理。建立Fisher 判别函数的准则是什么？ （Fisher 判别，亦称典则判别，是将自变量投影到较低维度的空间，再进行分类。相当于将自变量先提取几个主成分，只需根据主成分分类。 Fisher 准则：使得综合指标Z 在A 类的均数A Z 与在B 类的均数 B Z 的差异A B Z Z -尽可能大，而两类内综合指标Z 的变异22A B S S +尽可能小） ● 解读spss 输出结果。 判别分析是在已知研究对象分成若干类型并已取得各种类型的一批已知样品的观测数据，在此基础上根据某些准则建立判别式，然后对未知类型的样品进行判别分类。 求解步骤 20、常用判别方法 1）距离判别法：基本思想是，先根据已知分类的数据，分别计算各类的重心，然后计算待判样本与各类的距离，与哪一类距离最近，就判待判样本x 属于哪一类。 判别函数为：W(x)=D(x,G2)-D(x,G1) 判别准则为：12,()0 ,()0 ()0x G W x x G W x W x ∈>∈<=当当待判， 当 注意：距离一般采用马氏距离；适合对自变量均为连续变量的情况进行分类；对各类的分布无特定的要求。 2）Fisher 判别法：基本思想是通过将多维数据投影至某个方向上，投影的原则是将总体与总体之间尽可能分开，然后再选择合适的判别规则，将待判的样本进行分类判别。所谓的投影实际上是利用方差分析的思想构造也一个或几个超平面，使得两组间的差别最大，每组内的差别最小。 费歇尔判别函数为： 112?()y X X X -'=-∑ 其判别准则是： 1 1202 1202120 1 120,,,,x G y y y y x G y y y y x G y y y y x G y y y y ∈>>∈><∈<>∈<< Fisher 判别对各类分布、方差都没有限制。但当总体个数较多时，计算比较麻烦。 建立Fisher 判别函数的准则是：使得综合指标Z 在A 类的均数A Z 与在B 类的均数 B Z 的差异A B Z Z -尽可能大，而两类内综合指标Z 的变异22A B S S +尽可能小 3）Bayes 判别法：基本思想是：设有两个总体，它们的先验概率分别为q1、q2，各总体的密度函数为f1(x)、f2(x)，在观测到一个样本x 的情况下，可用贝叶斯公式计算它来自第k 个总体的后验概率为：21()(/)1,2() k k k k k k q f x P G x k q f x == =∑ 一种常用判别准则是：对于待判样本x ，如果在所有的P(Gk/x)中P(Gh/x)是最大的，则判定x 属于第h 总体。通常会以样本的频率作为各总体的先验概率。 Bayes 判别主要用于多类判别，它要求总体呈多元正态分布 4）逐步判别法：逐步判别法与逐步回归法的基本思想类似，都是逐步引入变量，每引入一个“最重要”的变量进入判别式，同时也考虑较早引入判别式的某些变量，若其判别能力不显著了，应及时从判别式中剔除去，直到判别式中没有不重要的变量需要剔除，且也没有重要的变量要引入为止。 21、对Bayes 判别法与Fisher 判别法作比较 （1）当k 个总体的均值向量) ()2()1(,,,k x x x 共线性程度较高时，Fisher 判别法可用较少的判别函数进行判别，因而比Bayes 判别法简单。另外，Fisher 判别法未对总体的分布提出什么特定的要求。 （2）Fisher 判别法的不足是它不考虑各总体出现概率的大小，也给不出预报的后验概率及错判率的估计以及错判之后造成的损失。而这不足恰是Bayes 判别法的优点，但值得指出的是，如果给定的先验概率不符合客观实际时，Bayes 判别法也可能会导致错误的结论。 22、简述判别分析与聚类分析的区别。 判别分析 已知研究对象分为若干个类别，并且已经取得每一类别的若干观测数据，在此基础上寻求出分类的规律性，建立判别准则，然后对未知类别的样品进行判别分类。 聚类分析 一批样品划分为几类事先并不知道，需要通过聚类分析来给以确定分几种类型。 判别分析与聚类分析不同点在于，判别分析要求已知一系列反映事物特征的数值变量的值，并且已知各个体的分类。 28、K-均值聚类是否需要在聚类之前先做标准化处理？ K-均值聚类是针对样品（case ）的聚类，需要单独做标准化处理，而后再进行聚类。 各变量的取值不应有数量级上的过大差异，否则会对分类结果产生较大影响。这时需要对变量进行标准化处理(SPSS 提供的层次聚类法中在聚类时可以选择对变量做标准化处理，而K-均值聚类法则需要单独做标准化处理，尔后再进行聚类) 各变量间不应有较强的相关关系。若两个强相关的变量同时参与聚类分析，在测度距离时，就加大了它们的贡献，而其他变量则相对被削弱 33、简述多元线性回归中，写出两种多重共线性的诊断方法和解决方案。 诊断方法：检测多重共线性的最简单的一种办法是计算模型中各对自变量之间的相关系数，并对各相关系数进行显著性检验。若有一个或多个相关系数显著，就表示模型中所用的自变量之间相关，存在着多重共线性。如果出现下列情况，暗示存在多重共线性模型中各对自变量之间显著相关当模型的线性关系检验(F检验)显著时，几乎所有回归系数的t检验却不显著回归系数的正负号与预期的相反。 解决方案： 将一个或多个相关的自变量从模型中剔除，使保留的自变量尽可能不相关； 如果要在模型中保留所有的自变量，则应避免根据t 统计量对单个参数进行检验； 对因变量值的推断(估计或预测)的限定在自变量样本值的范围内。 34、一家大型商业银行在多个地区设有分行，为弄清楚不良贷款形成的原因，抽取了该银行所属的25家分行2002年的有关业务数据。试建立不良贷款y与贷款余额x1、累计应收贷款x2、贷款项目个数x3和固定资产投资额x4的线性回归方程，并解释各回归系数的含义 上表是计算机输出的结果。试写出多元线性回归模型，并进行统计学检验。 概述表中，看到R Square=0.7976，Adjusted R Square=0.7571表示模型的拟合优度很好。 方差分析表中，对方程的显著性检验F对应的sig=1.035E-06，小于0.05，说明回归方程有统计意义。 Coefficients是各个变量的系数，由P-value值可以判定，只有变量1的p-value小于0.05，说明变量1与因变量y有显著相关关系。 回归模型：Y=0.04*X Variable 1-1.0216. 38、简述logistic回归的原理和适用条件。 Logistic回归，是指因变量为二级计分或二类评定的回归分析。 因变量Y是一个二值变量 自变量X1，X2，……，Xm P表示在m个自变量作用下事件发生的概率。 01112(....)1 (1/,...)1m m m x x P y x x x e βββ-+++==+ 适用条件： 因变量只有两个值，发生（是）或者不发生（不是）。 自变量数据最好为多元正态分布，自变量间的共线性会导致估计偏差。 实际上属于判别分析，因拥有很差的判别效率而不常用。 适用于流行病学资料的因素分析（验室中药物的剂量-反应关系、临床试验评价、病的预后因素分析。 41、（汇总归纳） ◆ 聚类分析 基本原理：将个体（样品）或者对象（变量）按相似程度（距离远近）划分类别，使得同一类中的元素之间的相似性比其他类的元素的相似性更强。目的在于使类间元素的同质性最大化和类与类间元素的异质性最大化。 常用聚类方法：系统聚类法，K-均值法，模糊聚类法，有序样品的聚类，分解法，加入法。 注意事项：1. 系统聚类法可对变量或者记录进行分类，K-均值法只能对记录进行分类； 2. K-均值法要求分析人员事先知道样品分为多少类； 3. 对变量的多元正态性，方差齐性等要求较高。 应用领域：细分市场，消费行为划分，设计抽样方案等 ◆ 判别分析 基本原理：从已知的各种分类情况中总结规律（训练出判别函数），当新样品进入时，判断其与判别函数之间的相似程度（概率最大，距离最近，离差最小等判别准则）。 常用判别方法：最大似然法，距离判别法，Fisher 判别法，Bayes 判别法，逐步判别法等。 注意事项：1. 判别分析的基本条件：分组类型在两组以上，解释变量必须是可测的； 2. 每个解释变量不能是其它解释变量的线性组合（比如出现多重共线性情况时，判别权重会出现问题） 3. 各解释变量之间服从多元正态分布（不符合时，可使用Logistic 回归替代），且各组解释变量的协方差矩阵相等（各组协方方差矩阵有显著差异时，判别函数不相同）。相对而言，即使判别函数违反上述适用条件，也很稳健，对结果影响不大。 应用领域：对客户进行信用预测，寻找潜在客户（是否为消费者，公司是否成功，学生是否被录用等等），临床上用于鉴别诊断。 ◆ 主成分分析/ 因子分析 主成分分析基本原理：利用降维（线性变换)的思想，在损失很少信息的前提下把多个指标转化为几个综合指标（主成分),即每个主成分都是原始变量的线性组合,且各个主成分之间互不相关,使得主成分比原始变量具有某些更优越的性能（主成分必须保留原始变量90%以上的信息），从而达到简化系统结构，抓住问题实质的目的。 因子分析基本原理：利用降维的思想，由研究原始变量相关矩阵内部的依赖关系出发，把一些具有错综复杂关系的变量归结为少数几个综合因子。（因子分析是主成分的推广，相对于主成分分析，更倾向于描述原始变量之间的相关关系） 求解主成分的方法：从协方差阵出发（协方差阵已知），从相关阵出发（相关阵R 已知）。 （实际研究中，总体协方差阵与相关阵是未知的，必须通过样本数据来估计） 求解因子载荷的方法：主成分法，主轴因子法，极大似然法，最小二乘法，a 因子提取法 注意事项：1. 由协方差阵出发与由相关阵出发求解主成分所得结果不一致时，要恰当的选取某一种方法； 2. 对于度量单位或是取值范围在同量级的数据，可直接求协方差阵；对于度量单位不同的 指标或是取值范围彼此差异非常大的指标，应考虑将数据标准化，再由协方差阵求主成分； 3.主成分分析不要求数据来源于正态分布； 4. 在选取初始变量进入分析时应该特别注意原始变量是否存在多重共线性的问题（最小特征根接近于零，说明存在多重共线性问题）。 5. 因子分析中各个公共因子之间不相关，特殊因子之间不相关，公共因子和特殊因子之间不相关。 应用领域：解决共线性问题，评价问卷的结构效度，寻找变量间潜在的结构，内在结构证实。 做聚类分析时，有层次聚类法、K-均值聚类法以及两步聚类法等方法。应该如何选择层次聚类法、K-均值聚类法？ 应用统计最后一题是和客户关系有关的。大家可以先查查有关文献，查看客户流失用哪些指标可以定义…然后设计方案。 2.1.试叙述多元联合分布和边际分布之间的关系。 解：多元联合分布讨论多个随机变量联合到一起的概率分布状况，12(,,)p X X X X '=L 的联合分布密 度函数是一个p 维的函数，而边际分布讨论是12(,,)p X X X X '=L 的子向量的概率分布，其概率密度 函数的维数小于p 。 2.2设二维随机向量1 2()X X '服从二元正态分布，写出其联合分布。 解：设1 2()X X '的均值向量为()1 2μμ'=μ，协方差矩阵为21 122212σσσσ?? ? ?? ，则其联合分布密度函数为 1/2 12 2 2112112222122121()exp ()()2f σσσσσσσσ--???????? '=---?? ? ??? ?????? x x μx μ。 2.3已知随机向量12()X X '的联合密度函数为 12121222 2[()()()()2()()] (,)()()d c x a b a x c x a x c f x x b a d c --+-----= -- 其中1a x b ≤≤，2c x d ≤≤。求 （1）随机变量1X 和2X 的边缘密度函数、均值和方差； （2）随机变量1X 和2X 的协方差和相关系数； （3）判断 1X 和2X 是否相互独立。 （1）解：随机变量 1X 和2X 的边缘密度函数、均值和方差； 11212122 2[()()()()2()()] ()()()d x c d c x a b a x c x a x c f x dx b a d c --+-----=--? 1221222222 2()()2[()()2()()]()()()() d d c c d c x a x b a x c x a x c dx b a d c b a d c -------=+----? 121 222202()()2[()2()]()()()() d d c c d c x a x b a t x a t dt b a d c b a d c ------= +----? 221212222 2()()[()2()] 1()()()()d c d c d c x a x b a t x a t b a d c b a d c b a ------=+= ----- 所以 由于1X 服从均匀分布，则均值为2b a +，方差为 ()2 12 b a -。 多元统计分析实例 院系:商学院 学号: 姓名: 多元统计分析实例 本文收集了2012年31个省市自治区的农林牧渔和相关农业数据,通过对对收集的数据进行比较分析对31个省市自治区进行分类.选取了6个指标农业产值,林业产值.牧业总产值,渔业总产值,农村居民家庭拥有生产性固定资产原值,农村居民家庭经营耕地面积. 数据如下表: 一.聚类法 设定4个群聚,采用了系统聚类法.下表为spss分析之后的结果. Rescaled Distance Cluster Combine C A S E 0 5 10 15 20 25 Label Num +---------+---------+---------+---------+---------+ 内蒙 5 -+ 吉林 7 -+ 云南 25 -+-+ 江西 14 -+ +-+ 陕西 27 -+-+ | 新疆 31 -+ +-+ 安徽 12 -+-+ | | 广西 20 -+ +-+ +-------+ 辽宁 6 ---+ | | 浙江 11 -+-----+ | 福建 13 -+ | 重庆 22 -+ +---------------------------------+ 贵州 24 -+ | | 山西 4 -+---+ | | 甘肃 28 -+ | | | 北京 1 -+ | | | 青海 29 -+ +---------+ | 天津 2 -+ | | 上海 9 -+ | | 宁夏 30 -+---+ | 西藏 26 -+ | 海南 21 -+ | 河北 3 ---+-----+ | 四川 23 ---+ | | 黑龙江 8 -+-+ +-------------+ | 湖南 18 -+ +---+ | | | 湖北 17 -+-+ +-+ +-------------------------+ 广东 19 -+ | | 江苏 10 -------+ | 山东 15 -----------+-----------+ 河南 16 -----------+ 一、填空题（20分） 1、若),2,1(),,(~)(n N X p 且相互独立，则样本均值向量X 服从的分布 为 2、变量的类型按尺度划分有_间隔尺度_、_有序尺度_、名义尺度_。 3、判别分析是判别样品 所属类型 的一种统计方法，常用的判别方法有__距离判别法_、Fisher 判别法、Bayes 判别法、逐步判别法。 4、Q 型聚类是指对_样品_进行聚类，R 型聚类是指对_指标(变量)_进行聚类。 5、设样品),2,1(,),,(' 21n i X X X X ip i i i ，总体),(~ p N X ，对样品进行分类常用的距离 2 ()ij d M )()(1j i j i x x x x ，兰氏距离()ij d L 6、因子分析中因子载荷系数ij a 的统计意义是_第i 个变量与第j 个公因子的相关系数。 7、一元回归的数学模型是： x y 10，多元回归的数学模型是： p p x x x y 22110。 8、对应分析是将 R 型因子分析和Q 型因子分析结合起来进行的统计分析方法。 9、典型相关分析是研究两组变量之间相关关系的一种多元统计方法。 二、计算题（60分） 1、设三维随机向量),(~3 N X ，其中 200031014，问1X 与2X 是否独立？),(21 X X 和3X 是否独立？为什么？ 解： 因为1),cov(21 X X ，所以1X 与2X 不独立。 把协差矩阵写成分块矩阵 22211211，),(21 X X 的协差矩阵为11 因为12321),),cov(( X X X ，而012 ，所以),(21 X X 和3X 是不相关的，而正态分布不相关与相互 多元统计分析方法 Document serial number【UU89WT-UU98YT-UU8CB-UUUT-UUT108】 多元统计分析概述 目录 一、引言 (3) 二、多元统计分析方法的研究对象和主要内容 (3) 1.多元统计分析方法的研究对象 (3) 2.多元统计分析方法的主要内容 (3) 三、各种多元统计分析方法 (3) 1.回归分析 (3) 2.判别分析 (6) 3.聚类分析 (8) 4.主成分分析 (10) 5.因子分析 (10) 6. 对应分析方法 (11) 7. 典型相关分析 (11) 四、多元统计分析方法的一般步骤 (12) 五、多元统计分析方法在各个自然领域中的应用 (12) 六、总结 (13) 参考文献 (14) 谢辞 (15) 一、引言 统计分布是用来刻画随机变量特征及规律的重要手段，是进行统计分布的基础和提高。多元统计分析方法则是建立在多元统计分布基础上的一类处理多元统计数据方法的总称，是统计学中的具有丰富理论成果和众多应用方法的重要分支。在本文中，我们将对多元统计分析方法做一个大体的描述，并通过一部分实例来进一步了解多元统计分析方法的具体实现过程。 二、多元统计分析方法的研究对象和主要内容 （一）多元统计分析方法的研究对象 由于大量实际问题都涉及到多个变量，这些变量又是随机变量，所以要讨论多个随机变量的统计规律性。多元统计分析就是讨论多个随机变量理论和统计方法的总称。其内容包括一元统计学中某些方法的直接推广，也包括多个随即便量特有的一些问题，多元统计分析是一类范围很广的理论和方法。 现实生活中，受多个随机变量共同作用和影响的现象大量存在。统计分析中，有两种方法可同时对多个随机变量的观测数据进行有效的分析和研究。一种方法是把多个随机变量分开分析，一次处理一个随机变量，分别进行研究。但是，这样处理忽略了变量之间可能存在的相关性，因此，一般丢失的信息太多，分析的结果不能客观全面的反映整个问题，而且往往也不容易取得好的研究结论。另一种方法是同时对多个随机变量进行研究分析，此即多元统计方法。通过对多个随即便量观测数据的分析，来研究随机变量总的特征、规律以及随机变量之间的相互 22121212121 ~(,),(,),(,),, 1X N X x x x x x x ρμμμμσρ ?? ∑==∑= ??? +-1、设其中则Cov(,)=____. 10 31 2~(,),1,,10,()()_________i i i i X N i W X X μμμ=' ∑=--∑L 、设则=服从。 ()1 2 34 433,4 92, 3216___________________ X x x x R -?? ?'==-- ? ?-? ? =∑、设随机向量且协方差矩阵则它的相关矩阵 4、 __________， __________， ________________。 215,1,,16(,),(,)15[4()][4()]~___________i p p X i N X A N T X A X μμμμ-=∑∑'=--L 、设是来自多元正态总体和分别为正态总体的样本均值和样本离差矩阵,则。 12332313116421(,,)~(,),(1,0,2),441, 2142X x x x N x x x x x μμ-?? ?'=∑=-∑=-- ? ?-?? -?? + ??? 、设其中试判断与是否独立？ (), 1 2 3设X=x x x 的相关系数矩阵通过因子分析分解为 211X h = 的共性方差111X σ= 的方差21X g = 1公因子f 对的贡献1213 30.93400.1280.9340.4170.8351100.4170.8940.02700.8940.44730.8350.4470.10320 13 R ? ? - ????? ? -?? ? ? ?=-=-+ ? ? ? ??? ? ? ????? ? ??? 一、填空题： 1、多元统计分析是运用数理统计方法来研究解决多指标问题的理论和方法. 2、回归参数显著性检验是检验解释变量对被解释变量的影响是否著. 3、聚类分析就是分析如何对样品（或变量）进行量化分类的问题。通常聚类分析分为 Q型聚类和 R型聚类。 4、相应分析的主要目的是寻求列联表行因素A 和列因素B 的基本分析特征和它们的最优联立表示。 5、因子分析把每个原始变量分解为两部分因素：一部分为公共因子，另一部分为特殊因子。 6、若 () (,), P x N αμα ∑=1,2,3….n且相互独立，则样本均值向量x服从的分布 为_x~N(μ，Σ/n)_。 二、简答 1、简述典型变量与典型相关系数的概念，并说明典型相关分析的基本思想。 在每组变量中找出变量的线性组合，使得两组的线性组合之间具有最大的相关系数。选取和最初挑选的这对线性组合不相关的线性组合，使其配对，并选取相关系数最大的一对，如此下去直到两组之间的相关性被提取完毕为止。被选出的线性组合配对称为典型变量，它们的相关系数称为典型相关系数。 2、简述相应分析的基本思想。 相应分析，是指对两个定性变量的多种水平进行分析。设有两组因素A和B，其中因素A包含r个水平，因素B包含c个水平。对这两组因素作随机抽样调查，得到一个rc的二维列联表，记为。要寻求列联表列因素A和行因素B的基本分析特征和最优列联表示。相应分析即是通过列联表的转换，使得因素A 和因素B 具有对等性，从而用相同的因子轴同时描述两个因素各个水平的情况。把两个因素的各个水平的状况同时反映到具有相同坐标轴的因子平面上，从而得到因素A 、B 的联系。 3、简述费希尔判别法的基本思想。 从k 个总体中抽取具有p 个指标的样品观测数据，借助方差分析的思想构造一个线性判别函数 系数： 确定的原则是使得总体之间区别最大，而使每个总体内部的离差最小。将新样品的p 个指标值代入线性判别函数式中求出 值，然后根据判别一定的规则，就可以判别新的样品属于哪个总体。 5、简述多元统计分析中协差阵检验的步骤 第一，提出待检验的假设 和H1； 第二，给出检验的统计量及其服从的分布； 第三，给定检验水平，查统计量的分布表，确定相应的临界值，从而得到否定域； 第四，根据样本观测值计算出统计量的值，看是否落入否定域中，以便对待判假设做出决策（拒绝或接受）。 协差阵的检验 检验0=ΣΣ 0p H =ΣI ： /2 /21exp 2np n e tr n λ???? =-?? ? ???? S S 00p H =≠ΣΣI ： /2 /2**1exp 2np n e tr n λ???? =-?? ? ???? S S 精品资料 一、对我国30个省市自治区农村居民生活水平作聚类分析 1、指标选择及数据：为了全面分析我国农村居民的生活状况，主要考虑从收入、消费、就业等几个方面对农村居民的生活状况进行考察。因此选取以下指标：农村产品价格指数、农村住宅投资、农村居民消费水平、农村居民消费支出、农村居民家庭人均纯收入、耕地面积及农村就业人数。现从２０１０年的调查资料中 ２、将数据进行标准化变换： ３、用Ｋ－均值聚类法对样本进行分类如下： 分四类的情况下，最终分类结果如下： 第一类：北京、上海、浙江。 第二类：天津、、辽宁、、福建、甘肃、江苏、广东。 第三类：浙江、河北、内蒙古、吉林、黑龙江、安徽、山东、河南、湖北、四川、云南。 第四类：山西、青海、宁夏、新疆、重庆、贵州、陕西、湖南、广西、江西、。从分类结果上看，根据２０１０年的调查数据，第一类地区的农民生活水平较高，第二类属于中等水平，第三类、第四类属于较低水平。 二、判别分析 针对以上分类结果进行判别分析。其中将新疆作作为待判样本。判别结果如下: **. 错误分类的案例 从上可知，只有一个地区判别组和原组不同，回代率为96%。 下面对新疆进行判别： 已知判别函数系数和组质心处函数如下： 判别函数分别为：Y1=0.18x1 +0.493x2 + 0.087x3 + 1.004x4 + 0.381x5 -0.041x6 -0.631x7 Y2=0.398x1+0.687x2 + 0.362x3 + 0.094x4 -0.282x5 + 1.019x6 -0.742x7 Y3=0.394x1-0.197x2 + 0.243x3-0.817x4 + 0.565x5-0.235x6 + 0.802x7 将西藏的指标数据代入函数得：Y1=-1.08671 Y2=-0.62213 Y3=-0.84188 计算Y值与不同类别均值之间的距离分别为：D1=138.5182756 D2=12.11433124 D3=7.027544292 D4=2.869979346 经过判别，D4最小，所以新疆应归于第四类，这与实际情况也比较相符。 三，因子分析： 分析数据在上表的基础上去掉两个耕地面积和农村固定资产投资两个指标。经spss软件分析结果如下: 第一章： 多元统计分析研究的内容（5点） 1、简化数据结构（主成分分析） 2、分类与判别（聚类分析、判别分析） 3、变量间的相互关系（典型相关分析、多元回归分析） 4、多维数据的统计推断 5、多元统计分析的理论基础 第二三章： 二、多维随机变量的数字特征 1、随机向量的数字特征 随机向量X 均值向量： 随机向量X 与Y 的协方差矩阵： 当X=Y 时Cov （X ，Y ）=D （X ）；当Cov （X ，Y ）=0 ，称X ，Y 不相关。 随机向量X 与Y 的相关系数矩阵： )',...,,(),,,(2121P p EX EX EX EX μμμ='=Λ)')((),cov(EY Y EX X E Y X --=q p ij r Y X ?=)(),(ρ 2、均值向量协方差矩阵的性质 (1).设X ，Y 为随机向量，A ，B 为常数矩阵 E （AX ）=AE （X ）； E （AXB ）=AE （X ）B; D(AX)=AD(X)A ’; Cov(AX,BY)=ACov(X,Y)B ’; (2).若X ，Y 独立，则Cov(X,Y)＝０，反之不成立． (3).X 的协方差阵D(X)是对称非负定矩阵。例2.见黑板 三、多元正态分布的参数估计 2、多元正态分布的性质 (1).若 ,则E(X)= ,D(X)= . 特别地，当 为对角阵时， 相互独立。 (2).若 ，Ａ为sxp 阶常数矩阵，d 为s 阶向量， ＡＸ＋d ～ . 即正态分布的线性函数仍是正态分布． (3).多元正态分布的边缘分布是正态分布，反之不成立． (4).多元正态分布的不相关与独立等价． 例３．见黑板． 三、多元正态分布的参数估计 (1)“ 为来自p 元总体X 的（简单）样本”的理解---独立同截面． (2)多元分布样本的数字特征---常见多元统计量 样本均值向量 ＝ 样本离差阵Ｓ＝ 样本协方差阵Ｖ＝ S ;样本相关阵Ｒ (3) ,Ｖ分别是 和 的最大似然估计； (4)估计的性质 是 的无偏估计； ,Ｖ分别是 和 的有效和一致估计； ； Ｓ～ ， 与Ｓ相互独立； 第五章 聚类分析： 一、什么是聚类分析 ：聚类分析是根据“物以类聚”的道理，对样品或指标进行分类的一种多元统计分析方法。用于对事物类别不清楚，甚至事物总共可能有几类都不能确定的情况下进行事物分类的场合。聚类方法：系统聚类法（直观易懂）、动态聚类法（快）、有序聚类法（保序）...... Q-型聚类分析（样品）R-型聚类分析（变量） 变量按照测量它们的尺度不同，可以分为三类：间隔尺度、有序尺度、名义尺度。 二、常用数据的变换方法:中心化变换、标准化变换、极差正规化变换、对数变换（优缺点） 1、中心化变换（平移变换）：中心化变换是一种坐标轴平移处理方法，它是先求出每个变量的样本平均值，再从原始数据中减去该变量的均值，就得到中心化变换后的数据。不改变样本间的相互位置，也不改变变量间的相关性。 2、标准化变换：首先对每个变量进行中心化变换，然后用该变量的标准差进行标准化。 经过标准化变换处理后，每个变量即数据矩阵中每列数据的平均值为0，方差为1，且也不再具有量纲，同样也便于不同变量之间的比较。 3、极差正规化变换（规格化变换）：规格化变换是从数据矩阵的每一个变量中找出其最大值和最小值，这两者之差称为极差，然后从每个变量的每个原始数据中减去该变量中的最小值，再除以极差。经过规格化变换后，数据矩阵中每列即每个变量的最大数值为1，最小数值为0，其余数据取值均在0－1之间；且变换后的数据都不再具有量纲，便于不同的),(~∑μP N X μ∑μp X X X ,,,21Λ),(~∑μP N X ) ,('A A d A N s ∑+μ)()1(,, n X X ΛX )',,,(21p X X X Λ)')(()()(1X X X X i i n i --∑=n 1X μ∑μX )1,(~∑n N X P μ),1(∑-n W p X X 多元统计分析重点宿舍版 第一讲：多元统计方法及应用；多元统计方法分类（按变量、模型、因变量等） 多元统计分析应用 选择题：①数据或结构性简化运用的方法有：多元回归分析，聚类分析，主成分分析，因子分析 ②分类和组合运用的方法有：判别分析，聚类分析，主成分分析 ③变量之间的相关关系运用的方法有：多元回归，主成分分析，因子分析， ④预测与决策运用的方法有：多元回归，判别分析，聚类分析 ⑤横贯数据：{因果模型(因变量数)：多元回归，判别分析相依模型(变量测度)：因子分析，聚类分析 多元统计分析方法 选择题：①多元统计方法的分类：1）按测量数据的来源分为：横贯数据（同一时间不同案例的观测数据），纵观数据（同样案例在不同时间的多次观测数据） 2）按变量的测度等级（数据类型）分为：类别（非测量型）变量，数值型（测量型）变量 3）按分析模型的属性分为：因果模型，相依模型 4）按模型中因变量的数量分为：单因变量模型，多因变量模型，多层因果模型 第二讲：计算均值、协差阵、相关阵；相互独立性 第三讲：主成分定义、应用及基本思想，主成分性质，主成分分析步骤 主成分定义：何谓主成分分析 就是将原来的多个指标（变量）线性组合成几个新的相互无关的综合指标（主成分），并使新的综合指标尽可能多地反映原来的指标信息。 主成分分析的应用 ：（1）数据的压缩、结构的简化；（2）样品的综合评价，排序 主成分分析概述——思想：①（1）把给定的一组变量X1,X2,…XP ,通过线性变换，转换为一组不相关的变量Y1，Y2，…YP 。（2）在这种变换中，保持变量的总方差（X1，X2，…Xp 的方差之和）不变，同时，使Y1具有最大方差，称为第一主成分；Y2具有次大方差，称为第二主成分。依次类推，原来有P 个变量，就可以转换出P 个主 第一章： 多元统计分析研究的容（5点） 1、简化数据结构（主成分分析） 2、分类与判别（聚类分析、判别分析） 3、变量间的相互关系（典型相关分析、多元回归分析） 4、多维数据的统计推断 5、多元统计分析的理论基础 第二三章： 二、多维随机变量的数字特征 1、随机向量的数字特征 随机向量X均值向量： 随机向量X与Y的协方差矩阵： 当X=Y时Cov（X，Y）=D（X）；当Cov（X，Y）=0 ，称X，Y不相关。 随机向量X与Y的相关系数矩阵： 2、均值向量协方差矩阵的性质 (1).设X，Y为随机向量，A，B 为常数矩阵 E（AX）=AE（X）； E（AXB）=AE（X）B; D(AX)=AD(X)A’; )' ,..., , ( ) , , , ( 2 1 2 1P p EX EX EX EXμ μ μ = ' = )' )( ( ) , cov(EY Y EX X E Y X- - = q p ij r Y X ? =) ( ) , (ρ Cov(AX,BY)=ACov(X,Y)B ’; (2).若X ，Y 独立，则Cov(X,Y)＝０，反之不成立． (3).X 的协方差阵D(X)是对称非负定矩阵。例2.见黑板 三、多元正态分布的参数估计 2、多元正态分布的性质 (1).若 ,则E(X)= ,D(X)= . 特别地，当 为对角阵时， 相互独立。 (2).若 ，Ａ为sxp 阶常数矩阵，d 为s 阶向量， ＡＸ＋d ～ . 即正态分布的线性函数仍是正态分布． (3).多元正态分布的边缘分布是正态分布，反之不成立． (4).多元正态分布的不相关与独立等价． 例３．见黑板． 三、多元正态分布的参数估计 (1)“ 为来自p 元总体X 的（简单）样本”的理解---独立同截面． (2)多元分布样本的数字特征---常见多元统计量 样本均值向量 ＝ 样本离差阵Ｓ＝ 样本协方差阵Ｖ＝ S ;样本相关阵Ｒ (3) ,Ｖ分别是 和 的最大似然估计； (4)估计的性质 是 的无偏估计； ,Ｖ分别是 和 的有效和一致估计； ； Ｓ～ ， 与Ｓ相互独立； 第五章 聚类分析： 一、什么是聚类分析 ：聚类分析是根据“物以类聚”的道理，对样品或指标进行分类的一种多元统计分析方法。用于对事物类别不清楚，甚至事物总共可能有几类都不能确定的情况下进行事物分类的场合。聚类方法：系统聚类法（直观易懂）、动态聚类法（快）、有序聚类法（保序）...... Q-型聚类分析（样品）R-型聚类分析（变量） 变量按照测量它们的尺度不同，可以分为三类：间隔尺度、有序尺度、名义尺度。 二、常用数据的变换方法:中心化变换、标准化变换、极差正规化变换、对数变换（优缺点） 1、中心化变换（平移变换）：中心化变换是一种坐标轴平移处理方法，它是先求出每个变量的样本平均值，再从原始数据中减去该变量的均值，就得到中心化变换后的数据。不改变样本间的相互位置，也不改变变量间的相关性。 2、标准化变换：首先对每个变量进行中心化变换，然后用该变量的标准差进行标准化。 经过标准化变换处理后，每个变量即数据矩阵中每列数据的平均值为0，方差为1，且也不再具有量纲，同样也便于不同变量之间的比较。 3、极差正规化变换（规格化变换）：规格化变换是从数据矩阵的每一个变量中找出其最大值和最小值，这两者之差称为极差，然后从每个变量的每个原始数据中减去该变量中的最小值，再除以极差。经过规格化变换后，数据矩阵中每列即每个变量的最大数值为1，最小数值为0，其余数据取值均在0－1之间；且变换后的数据都不再具有量纲，便于不同的变量之间的比较。 4、对数变换：对数变换是将各个原始数据取对数，将原始数据的对数值作为变换后的新值。它将具有指数特征的数据结构变换为线性数据结构。 三、样品间相近性的度量 研究样品或变量的亲疏程度的数量指标有两种：距离，它是将每一个样品看作p 维空),(~∑μP N X μ∑μp X X X ,,,21 ),(~∑μP N X ),('A A d A N s ∑+μ)()1(,,n X X X )',,,(21p X X X )')(()()(1X X X X i i n i --∑=n 1X μ ∑μX )1,(~∑n N X P μ),1(∑-n W p X X Abbo无私奉献，只收1个金币，BS收5个金币的… 何老师考简单点啊…… 第九章 典型相关分析 9.1 什么是典型相关分析？简述其基本思想。 答： 典型相关分析是研究两组变量之间相关关系的一种多元统计方法。用于揭示两组变量之间的内在联系。典型相关分析的目的是识别并量化两组变量之间的联系。将两组变量相关关系的分析转化为一组变量的线性组合与另一组变量线性组合之间的相关关系。 基本思想： （1）在每组变量中找出变量的线性组合，使得两组的线性组合之间具有最大的相关系数。即： 若设(1) (1)(1) (1)12(,,,)p X X X =X 、(2) (2)(2)(2) 12(,,,)q X X X =X 是两组相互关联的随机变量， 分别在两组变量中选取若干有代表性的综合变量Ui 、Vi ，使是原变量的线性组合。 在(1)(1)(1)(2)()()1D D ''==a X b X 的条件下，使得(1)(1)(1)(2)(,)ρ''a X b X 达到最大。（2）选取和最初挑选的这对线性组合不相关的线性组合，使其配对，并选取相关系数最大的一对。 （3）如此继续下去，直到两组变量之间的相关性被提取完毕为此。 9.2 什么是典型变量？它具有哪些性质？ 答：在典型相关分析中，在一定条件下选取系列线性组合以反映两组变量之间的线性关系，这被选出的线性组合配对被称为典型变量。具体来说， ()(1) ()(1)()(1)()(1) 11 22i i i i i P P U a X a X a X ' =+++a X ()(2) ()(2)()(2) ()(2) 11 22i i i i i q q V b X b X b X ' =+++b X 在(1)(1)(1)(2)()()1D D ''==a X b X 的条件下，使得(1)(1)(1)(2)(,)ρ''a X b X 达到最大，则称 (1)(1)'a X 、(1)(2) 'b X 是(1)X 、(2)X 的第一对典型相关变量。 典型变量性质： 典型相关量化了两组变量之间的联系，反映了两组变量的相关程度。 1. ()1,()1 (1,2,,)k k D U D V k r === (,)0, (,)0 ()i j i j C ov U U C ov V V i j ==≠ 2. 0 (,1,2,,)(,)0()0()i i j i j i r C ov U V i j j r λ≠==?? =≠??>? 9.3 试分析一组变量的典型变量与其主成分的联系与区别。 答：一组变量的典型变量和其主成分都是经过线性变换计算矩阵特征值与特征向量得出的。主成分分析只涉及一组变量的相互依赖关系而典型相关则扩展到两组变量之间的相互依赖关系之中，度量了这两组变量之间联系的强度。 ()(1)()(1)()(1)()(1) 1122i i i i i P P U a X a X a X '=+++a X ()(2)()(2)()(2)()(2) 1122i i i i i q q V b X b X b X '=+++b X (1)(1)(1)(1)1 2 (,,,)p X X X = X 、(2)(2)(2)(2)1 2 (,,,)q X X X = X 基于SPSS的多元统计分析三种算法的实例研究 摘要 本文主要应用多元统计中的多元回归分析模型、因子分析模型、判别分析模型解决三个有关经济方面的问题，从而能更深的理解多元统计分析这门课程，并熟悉SPSS软件的一些基本操作。 关键词：多元回归分析，因子分析，判别分析，SPSS 第一章 多元线性回归分析 1.1 研究背景 消费是宏观经济必不可少的环节，完善的消费模型可以为宏观调控提供重要的依据。根据不同的理论可以建立不同的消费函数模型，而国内的许多学者研究的主要是消费支出与收入的单变量之间的函数关系，由于忽略了对消费支出有显著影响的变量，其所建立的方程必与实际有较大的偏离。本文综合考察影响消费的主要因素，如收入水平、价格、恩格尔系数、居住面积等，采用进入逐步、向前、向后、删除、岭回归方法，对消费支出的多元线性回归模型进行研究，找出能较准确描述客观实际结果的最优模型。 1.2 问题提出与描述、数据收集 按照经济学理论，决定居民消费支出变动的因素主要有收入水平、居民消费意愿、消费环境等。为了符合我国经济发展的不平衡性的现状，本文主要研究农村居民的消费支出模型。文中取因变量Y 为农村居民年人均生活消费支出（单位：元），自变量为农村居民人均纯收入X 1（单位：元）、商品零售价格定基指数X 2（1978年的为100）、消费价格定基指数X 3（1978年的为100）、家庭恩格尔系数X 4（%）、人均住宅建筑面积X 5（单位：m 2）。本文取1900年至2009年的数据（数据来源：中华人民共和国国家统计局网公布的1996至2010年中国统计年鉴）列于附录的表一中。 1.3 模型建立 1.3.1 理论背景 多元线性回归模型如下： εββββ+++++=p p X X X Y ...... 22110 Y 表示因变量，X i （i=1，…，p ）表示自变量，ε表示随机误差项。 对于n 组观测值，其方程组形式为 εβ+=X Y 即 多元统计分析 题型一定义、名词解释 题型二计算（协方差阵、模糊矩阵） 题型三解答题 一、定义 二名词解释 1、多元统计分析：多元统计分析是运用数理统计的方法来研究多变量（多指标）问题的理论和方法，是一元统计学的推广 2、聚类分析:是根据“物以类聚”的道理，对样品或指标进行分类的一种多元统计分析方法。将个体或对象分类，使得同一类中的对象之间的相似性比与其他类的对象的相似性更强。使类内对象的同质性最大化和类间对象的异质性最大化 3、随机变量：是指变量的值无法预先确定仅以一定的可能性(概率)取值的量。它是由于随机而获得的非确定值，是概率中的一个基本概念。即每个分量都是随机变量的向量为随机向量。类似地，所有元素都是随机变量的矩阵称为随机矩阵。 4、统计量：多元统计研究的是多指标问题,为了了解总体的特征,通过对总体抽样得到代表总体的样本,但因为信息是分散在每个样本上的,就需要对样本进行加工,把样本的信息浓缩到不包含未知量的样本函数中,这个函数称为统计量 三、计算题 解： 答： 答： 题型三解答题 1、简述多元统计分析中协差阵检验的步骤 答： 第一，提出待检验的假设和H1； 第二，给出检验的统计量及其服从的分布； 第三，给定检验水平，查统计量的分布表，确定相应的临界值，从而得到否定域； 第四，根据样本观测值计算出统计量的值，看是否落入否定域中，以便对待判假设做出决策（拒绝或接受）。 2、简述一下聚类分析的思想 答：聚类分析的基本思想，是根据一批样品的多个观测指标，具体地找出一些能够度量样品或指标之间相似程度的统计量，然后利用统计量将样品或指标进行归类。把相似的样品或指标归为一类，把不相似的归为其他类。直到把所有的样品（或指标）聚合完毕. 3、多元统计分析的内容和方法 答：1、简化数据结构,将具有错综复杂关系的多个变量综合成数量较少且互不相关的变量，使研究问题得到简化但损失的信息又不太多。（1）主成分分析（2）因子分析（3）对应分析等 2、分类与判别,对所考察的变量按相似程度进行分类。（1）聚类分析：根据分析样本的各研究变量，将性质相似的样本归为一类的方法。（2）判别分析：判别样本应属何种类型的统计方法。 应用多元统计分析课后答案 第五章 聚类分析 判别分析和聚类分析有何区别 答：即根据一定的判别准则，判定一个样本归属于哪一类。具体而言，设有n 个样本，对每个样本测得p 项指标（变量）的数据，已知每个样本属于k 个类别（或总体）中的某一类，通过找出一个最优的划分，使得不同类别的样本尽可能地区别开，并判别该样本属于哪个总体。聚类分析是分析如何对样品（或变量）进行量化分类的问题。在聚类之前，我们并不知道总体，而是通过一次次的聚类，使相近的样品（或变量）聚合形成总体。通俗来讲，判别分析是在已知有多少类及是什么类的情况下进行分类，而聚类分析是在不知道类的情况下进行分类。 试述系统聚类的基本思想。 答：系统聚类的基本思想是：距离相近的样品（或变量）先聚成类，距离相远的后聚成类，过程一直进行下去，每个样品（或变量）总能聚到合适的类中。 对样品和变量进行聚类分析时， 所构造的统计量分别是什么简要说明为什么这样构造 答：对样品进行聚类分析时，用距离来测定样品之间的相似程度。因为我们把n 个样本看作p 维空间的n 个点。点之间的距离即可代表样品间的相似度。常用的距离为 （一）闵可夫斯基距离：1/1 ()() p q q ij ik jk k d q X X ==-∑ q 取不同值，分为 （1）绝对距离（1q =） 1 (1)p ij ik jk k d X X ==-∑ （2）欧氏距离（2q =） 21/2 1 (2)() p ij ik jk k d X X ==-∑ （3）切比雪夫距离（q =∞） 1()max ij ik jk k p d X X ≤≤∞=- （二）马氏距离 （三）兰氏距离 对变量的相似性，我们更多地要了解变量的变化趋势或变化方向，因此用相关性进行衡量。 将变量看作p 维空间的向量，一般用 （一）夹角余弦 （二）相关系数 在进行系统聚类时，不同类间距离计算方法有何区别选择距离公式应遵循哪些原则 答： 设d ij 表示样品X i 与X j 之间距离，用D ij 表示类G i 与G j 之间的距离。 （1）. 最短距离法 ,min i k j r kr ij X G X G D d ∈∈= min{,}kp kq D D = （2）最长距离法 ,max i p j q pq ij X G X G D d ∈∈= 21 ()()()ij i j i j d M -'=--X X ΣX X 11()p ik jk ij k ik jk X X d L p X X =-=+∑ cos p ik jk ij X X θ= ∑ ()() p ik i jk j ij X X X X r --= ∑ ij G X G X ij d D j j i i ∈∈= ,min 二名词解释 1、 多元统计分析：多元统计分析是运用数理统计的方法来研究多变量（多指标）问题的理 论和方法，是一元统计学的推广 2、 聚类分析：是根据“物以类聚”的道理，对样品或指标进行分类的一种多元统计分析方 法。将个体或对象分类，使得同一类中的对象之间的相似性比与其他类的对象的相似性更强。 使类内对象的同质性最大化和类间对象的异质性最大化 3、 随机变量：是指变量的值无法预先确定仅以一定的可能性 （概率）取值的量。它是由于随 机而获得的非确定值，是概率中的一个基本概念。即每个分量都是随机变量的向量为随机向 量。类 似地，所有元素都是随机变量的矩阵称为随机矩阵。 4、统计量：多元统计研究的是多指标问题 ，为了了解总体的特征,通过对总体抽样得到代表 总体的样本，但因为信息是分散在每个样本上的 ，就需要对样本进行加工，把样本的信息浓缩 到不包含未知量的样本函数中，这个函数称为统计量 二、计算题 ^16 -4 2 k 设H = 其中启= （1Q —纣眉=-4 4-1 [― 试判断叼+ 2吟与 「花一? [是否独立？ 解: "10 -6 -15 -6 1 a 2U -16 20 40 故不独立口 -r o 2丿 按用片的联合分帚再I -6 lti 20 -1G 20 ) -1V16 -4 0 -4 A 2 丿"-1 2.对某地区农村的百名2周宙男翌的身高、胸圉、上半骨圉进行测虽，得相关数据如下』根据汶往资料，该地区城市2周岁男婴的遠三个指标的均值血二（90Q乩16庆现欲在多元正态性的假定下检验该地区农村男娶是否与城市男婴有相同的均值?伽厂43107-14.62108.946^1 ]丼中乂=60.2x^)-1=(115.6924)-1-14.6210 3.172-37 3760 、8.9464-37 376035.S936」= 0.01, (3,2) = 99.2, 03) =293 隔亠4) =16.7) 答: 2、假设检验问题：比、# =险用‘//H地 r-8.o> 经计算可得：X-^A 22 厂 「3107 -14.6210 ST1=(23J3848)-1 -14.6210 3.172 8 9464 -37 3760 E9464 -37.3760 35.5936 构造检验统计量：尸=旳（丟-間）〃丿（巫-角） = 6x70.0741=420.445 由题目已知热“（3,）= 295由是 ^I =^W3,3）^147.5 所以在显著性水平ff=0.01下，拒绝原设尽即认 为农村和城市的2周岁男婴上述三个指标的均 值有显著性差异 （］ 4、设盂=（耳兀.昂工/ ~M（（XE）,协方差阵龙=P P （1）试从匸出发求X的第一总体主成分; 答: （2）试|可当卩取多大时才链主成分册贡蕭率达阳滋以上. 摘要 典型相关分析是多元统计分析的一个重要研究课题.它是研究两组变量之间相关的一种统计分析方法，能够有效地揭示两组变量之间的相互线性依赖关系.它借助主成分分析降维的思想，用少数几对综合变量来反映两组变量间的线性相关性质.目前它已经在众多领域的相关分析和预测分析中得到广泛应用. 本文首先描述了典型相关分析的统计思想，定义了总体典型相关变量及典型相关系数，并简要概述了它们的求解思路，然后深入对样本典型相关分析的几种算法做了比较全面的论述.根据典型相关分析的推理，归纳总结了它的一些重要性质并给出了证明，接着推导了典型相关系数的显著性检验.最后通过理论与实例分析两个层面论证了典型相关分析的应用于实际生活中的可行性与优越性. 【关键词】典型相关分析，样本典型相关，性质，实际应用 ABSTRACT The Canonical Correlation Analysis is an important studying topic of the Multivariate Statistical Analysis. It is the statistical analysis method which studies the correlation between two sets of variables. It can work to reveal the mutual line dependence relation availably between two sets of variables. With the help of the thought about the Principal Components, we can use a few comprehensive variables to reflect the linear relationship between two sets of variables. Nowadays It has already been used widely in the correlation analysis and forecasted analysis. This text describes the statistical thought of the Canonical Correlation Analysis firstly, and then defines the total canonical correlation variables and canonical correlation coefficient, and sum up their solution method briefly. After it I go deep into discuss some algorithm of the sample canonical correlation analysis thoroughly. According to the reasoning of the Canonical Correlation Analysis, sum up some of its important properties and give the identification, following it, I infer the significance testing about the canonical correlation coefficient. According to the analysis from the theories and the application, we can achieve the possibility and the superiority from canonical correlation analysis in the real life. 【Key words】Canonical Correlation Analysis，Sample canonical correlation，Character，Practical applications 、对我国30个省市自治区农村居民生活水平作聚类分析 1、指标选择及数据：为了全面分析我国农村居民的生活状况，主要考虑从收入、消费、就业等几个方面对农村居民的生活状况进行考察。因此选取以下指标：农 村产品价格指数、农村住宅投资、农村居民消费水平、农村居民消费支出、农村居民家庭人均纯 92.87 79.35 3590 3457.9 4643 4124.6 18.7 数据来源：《中国统计年鉴2010》 2、将数据进行标准化变换： 3、用K-均值聚类法对样本进行分类如下: 分四类的情况下，最终分类结果如下： 第一类：北京、上海、浙江。 第二类：天津、、辽宁、、福建、甘肃、江苏、广东。 第三类：浙江、河北、内蒙古、吉林、黑龙江、安徽、山东、河南、湖北、四川、云南。第四类：山西、青海、宁夏、新疆、重庆、贵州、陕西、湖南、广西、江西、。 从分类结果上看，根据2 0 10年的调查数据，第一类地区的农民生活水平较高, 第二类属于中等水平，第三类、第四类属于较低水平。 二、判别分析 **.错误分类的案例 从上可知，只有一个地区判别组和原组不同，回代率为96%。下面对新疆进行判别： 已知判别函数系数和组质心处函数如下： 判别函数分别为：Y1=0.18x1 +0.493x2 + 0.087x3 + 1.004x4 + 0.381x5 -0.041x6 -0.631x7 Y2=0.398x1+0.687x2 + 0.362x3 + 0.094x4 -0.282x5 + 1.019x6 -0.742x7 Y3=0.394x1-0.197x2 + 0.243x3-0.817x4 + 0.565x5-0.235x6 + 0.802x7 将西藏的指标数据代入函数得：丫1=-1.08671 Y2=-0.62213 Y3=-0.84188 计算丫值与不同类别均值之间的距离分别为：D1=138.5182756 D2=12.11433124 D3=7.027544292 D4=2.869979346 经过判别，D4最小，所以新疆应归于第四类，这与实际情况也比较相符。 三，因子分析: 分析数据在上表的基础上去掉两个耕地面积和农村固定资产投资两个指标。经spss软件分析结果如下： （1）各指标的相关系数阵：应用多元统计分析课后答案
多元统计分析实例汇总
多元统计分析期末试题
多元统计分析方法
多元统计分析期末试题及答案
应用多元统计分析试题及答案
多元统计分析案例分析.docx
多元统计分析期末复习试题
多元统计分析重点归纳.归纳.docx
多元统计分析期末复习试题
应用多元统计分析习题解答_朱建平_第九章
(整理)基于SPSS的多元统计分析三种算法的实例研究.
多元统计分析期末考试考点整理共5页
应用多元统计分析课后答案
多元统计分析期末考试考点整理
典型相关分析及其应用实例
多元统计分析案例分析.doc
相关主题
文本预览