2009年第11期 科技管理研究Science and Technol ogyM anage ment Research 2009No 111 收稿日期:2009-08-25,修回日期:2009-09-11 文章编号:1000-7695(2009)11-0169-03 基于主成分分析法的科技投入产出聚类分析 秦浩源 (华中科技大学管理学院,湖北武汉 430074) 摘要:在科技投入与产出指标体系的基础上,利用主成分分析法将指标进行综合,通过区域聚类分析对我国科技经费的配置效果进行评价,为科技体制改革、科技活动的结构调整、科技经费的优化配置和科学管理提供依据。 关键词:科技经费;投入产出;主成分分析法;聚类分析法中图分类号:F223 文献标识码:A 1 引言 随着科技经济一体化进程的不断加深,科技对经济增长 的贡献程度不断提高,各国纷纷加大对科技经费的投入力度以促进科技经济更好更快地协调发展。在各国科技投入不断增加的同时,科技经费资源的稀缺性、配置的低效性则越来越凸显出来:我国长期以来形成科技经费资源的粗放式投入模式,造成了科技经费配置中的巨大浪费[1-2];较高的科技投入并不能带来高质量的科技成果,等等。这严重制约了我国科技创新能力的提高,不利于充分发挥科技对经济的支撑和促进作用。 因此,对科技投入产出状况进行研究,提高科技经费配置效率就显得十分必要,这对缓解我国科技投入压力、提高我国的科技创新能力和科技竞争力具有极其重要的现实意义。 2 指标体系及数据获取 在进行指标选取时,分别考虑科技经费投入、科技活动产出以及两者的关系。科技经费投入指标主要考虑各种科技财力资源,而科技产出指标主要包括知识形态的成果和科技转化成果。因此,在指标的选取时,注重对统计指标进行研究,以避免定性分析带来主观影响。本文选取科技经费投入指标包括:科技经费筹集总额,科技经费中政府投资总额,R&D 经费内部支出总额,R&D 经费内部支出总额与G DP 的比值等;科技活动产出指标包括:发明专利申请受理数,被SC I 、E I 、I STP 检索的论文数,技术市场成交合同金额,高技术产业增加值等。具体的科技投入产出指标如表1所示。 表1 科技投入产出指标 指标 分类 指标名称 指标编号 科技投入指标 科技经费筹集总额(万元)T 1科技经费中政府投资总额(万元)T 2R&D 经费内部支出总额(万元)T 3R&D 经费内部支出总额与G DP 的比值(%) T 4科技产出指标 发明专利申请受理数(件)C 1被SC I 、E I 、I STP 检索的论文数(篇)C 2技术市场成交合同金额(万元)C 3高技术产业增加值(万元) C 4 注:所用数据为2007年各地区科技投入产出指标数值,数据来源于《中国统计年鉴2008》和《中国科技统计年鉴2008》。 3 基于主成分分析法的科技投入产出能力指标综合 本文采用主成分分析法获得投入产出综合能力指数。主成分分析法是通过研究指标体系的内在结构关系,将多个指标的问题化为少数指标问题的一种多元统计分析方法,即把原来多个指标转化为一个或几个综合指标,并且这些少量的指标能够包含原来多个指标的绝大部分信息。 (1)主成分分析法的基本步骤 1)标准化处理。标准化处理也即无量纲化,就是针对量纲不同的各指标间不能简单相加的情况,通过变换,用比率的形式来消除量纲不同所带来的影响,使原本不可以直接相加的变量可以相加。 本文采用的无量纲化的计算公式为: 指标L 比率=011+019×[(L -L m in )/(L max -L m in )] 其中,L max 、L m in 分别表示参加比较的各地区中该指标的最大值和最小值;L 则表示某地区该指标的实际值。 2)通过SPSS 主成分分析选取所选数据主成分,一般要求累计贡献率达到一定要求(如不小于85%)来确定样本主成分个数。 3)用原指标的线性组合来计算各主成分得分[3-4] 。以各主成分对原指标的相关系数为权,即载荷系数为权,将主成分用原指标的线性组合表示,主成分的经济意义由权数较大指标的综合意义决定。 I j =u j 1T 1+u j 2T 2+u j 3T 3+u j 4T 4 (u j 1,u j 2,u j 3,u j 4为主成分对应载荷) O j =v j 1C 1+v j 2C 2+v j 3C 3+v j 4C 4 (v j 1,v j 2,v j 3,v j 4为主成分对应载荷) 4)综合得分。以各主成分方差贡献率为权,进行线性组合得到综合评价指标函数。 I = w 1I 1+w 2I 2+…+w j I j w 1+w 2+…+w j O = w 1O 1+w 2O 2+…+w j O j w 1+w 2+…+w j 其中,w j 为主成分占总方差的比例。 5)得分排序。算出总得分进行名次排序。(2)科技投入产出能力计算 运用SPSS 对标准化后数据进行主成分分析,得到投入指标第一个主成分占总方差的861393%,可代表原来四个指标的全部信息,并且第一主成分在投入指标上的载荷分别为
北京建筑工程学院 理学院信息与计算科学专业实验报告 课程名称《数据分析》实验名称《主成分分析和聚类分析》实验地点：基础楼C-423日期__2016.5.5_____ 姓名张丽芝班级信131 学号201307010108___指导教师王恒友成绩 【实验目的】 （1）熟悉利用主成分分析进行数据分析，能够使用SPSS软件完成数据的主成分分析； （2）熟悉利用聚类分析进行数据分析，能够运用主成分分析的结果，做进一步分析，如聚类分析、回归分析等，能够使用SPSS软件完成该任务。 【实验要求】 根据各个题目的具体要求，分别运用SPSS软件完成实验任务。 【实验内容】 1、表4.9（数据见exercise4_5.txt）给出了1991年我国30个省市、城镇居民的月平均消 费数据，所考察的八个指标如下：（单位均为元/人） X1: 人均粮食支出；X2：人均副食支出； X3: 人均烟酒茶支出；X4: 人均其他副食支出； X5:人均衣着商品支出；X6: 人均日用品支出； X7: 人均燃料支出；X8: 人均非商品支出。 （1）求样本相关系数矩阵R。 （2）从R出发做主成分分析，求出各主成分的贡献率及前两个主成分的累积贡献率； 2、（1）对题1中的数据，按照原有的八个指标，对30个省份进行聚类，给出分为3
类的聚类结果。 （2）利用题1得到的前2个主成分指标，分别按最短距离法（最近邻居距离）、最长距离法（最远邻居距离）、类平均距离法（组间平均距离）、重心距离法；其中距离均采用欧式平方距离，对样本进行谱系聚类分析，并画出谱系聚类图；给出分为3类的聚类结果。并与（1）的结果进行比较 【实验步骤】（此部分主要包括实验过程、方法、结果、对结果的分析、结论等） 1 1） 2） 表:方差贡献率和累计贡献率
主成分分析 起源及发展 主成分分析是1901年Pearson对非随机变量引入的，1933年Hotelling将此方法推广到随机向量的情形，主成分分析和聚类分析有很大的不同，它有严格的数学理论作基础。 原理 在用统计分析方法研究多变量的课题时，变量个数太多就会增加课题的复杂性。人们自然希望变量个数较少而得到的信息较多。在很多情形，变量之间是有一定的相关关系的，当两个变量之间有一定相关关系时，可以解释为这两个变量反映此课题的信息有一定的重叠。主成分分析是对于原先提出的所有变量，将重复的变量（关系紧密的变量）删去多余，建立尽可能少的新变量，使得这些新变量是两两不相关的，而且这些新变量在反映课题的信息方面尽可能保持原有的信息。 设法将原来变量重新组合成一组新的互相无关的几个综合变量，同时根据实际需要从中可以取出几个较少的综合变量尽可能多地反映原来变量的信息的统 计方法叫做主成分分析或称主分量分析，也是数学上用来降维的一种方法。 应用学科 主成分分析作为基础的数学分析方法，其实际应用十分广泛，比如人口统计学、数量地理学、分子动力学模拟、数学建模、数理分析等学科中均有应用，是一种常用的多变量分析方法。 评价步骤 1）对原始数据进行标准化处理 假设进行主成分分析的指标变量有m个：,,…,，共有n个评价对象，第i个评价对象的第j个指标的取值为。将各指标值转换成标准化指标，有 ，（i =1,2,…,n ; j =1,2,…,m）
其中， , ，即为第j个指标的样本均值和样本标准差。对应地，称 ，（j =1,2,…,m） 为标准化指标变量。 2）计算相关系数矩阵R 相关系数矩阵, 有 , （i,j =1,2,…,m） 式中，=，是第i个指标与第j个指标的相关系数。 3）计算特征值和特征向量 计算相关系数矩阵R的特征值，及对应的特征向量，其中，由特征向量组成m个新的指标变量: ? 式中是第1主成分，是第2主成分，…，是第m 主成分。 4）选择个主成分，计算综合评价值 ① 计算特征值的信息贡献率和累积贡献率。称
主成分分析法总结 在实际问题研究中，多变量问题是经常会遇到的。变量太多，无疑会增加分析问题的难度与复杂性，而且在许多实际问题中，多个变量之间是具有一定的相关关系的。 因此，人们会很自然地想到，能否在相关分析的基础上，用较少的新变量代替原来较多的旧变量，而且使这些较少的新变量尽可能多地保留原来变量所反映的信息？ 一、概述 在处理信息时，当两个变量之间有一定相关关系时，可以解释为这两个变量反映此课题的信息有一定的重叠，例如，高校科研状况评价中的立项课题数与项目经费、经费支出等之间会存在较高的相关性；学生综合评价研究中的专业基础课成绩与专业课成绩、获奖学金次数等之间也会存在较高的相关性。而变量之间信息的高度重叠和高度相关会给统计方法的应用带来许多障碍。 为了解决这些问题，最简单和最直接的解决方案是削减变量的个数，但这必然又会导致信息丢失和信息不完整等问题的产生。为此，人们希望探索一种更为有效的解决方法，它既能大大减少参与数据建模的变量个数，同时也不会造成信息的大量丢失。主成分分析正式这样一种能够有效降低变量维数，并已得到广泛应用的分析方法。 主成分分析以最少的信息丢失为前提，将众多的原有变量综合成较少几个综合指标，通常综合指标（主成分）有以下几个特点： ↓主成分个数远远少于原有变量的个数 原有变量综合成少数几个因子之后，因子将可以替代原有变量参与数据建模，这将大大减少分析过程中的计算工作量。 ↓主成分能够反映原有变量的绝大部分信息 因子并不是原有变量的简单取舍，而是原有变量重组后的结果，因此不会造成原有变量信息的大量丢失，并能够代表原有变量的绝大部分信息。 ↓主成分之间应该互不相关 通过主成分分析得出的新的综合指标（主成分）之间互不相关，因子参与数据建模能够有效地解决变量信息重叠、多重共线性等给分析应用带来的诸多问题。 ↓主成分具有命名解释性 总之，主成分分析法是研究如何以最少的信息丢失将众多原有变量浓缩成少数几个因子，如何使因子具有一定的命名解释性的多元统计分析方法。 主成分分析的具体步骤如下： （1）计算协方差矩阵 计算样品数据的协方差矩阵：Σ=(s ij )p ?p ，其中 1 1()() 1n ij ki i kj j k s x x x x n ==---∑i ，j=1，2，…，p （2）求出Σ的特征值 i λ及相应的正交化单位特征向量i a Σ的前m 个较大的特征值λ1≥λ2≥…λm>0,就是前m 个主成分对应的方差，i λ对应的单 位特征向量 i a 就是主成分Fi 的关于原变量的系数，则原变量的第i 个主成分Fi 为：
注意事项：1. 系统聚类法可对变量或者记录进行分类，K-均值法只能对记录进行分类； 2. K-均值法要求分析人员事先知道样品分为多少类； 3. 对变量的多元正态性，方差齐性等要求较高。应用领域：细分市场，消费行为划分，设计抽样方案等 优点：聚类分析模型的优点就是直观，结论形式简明。 缺点：在样本量较大时，要获得聚类结论有一定困难。由于相似系数是根据被试的反映来建立反映被试间内在联系的指标，而实践中有时尽管从被试反映所得出的数据中发现他们之间有紧密 的关系，但事物之间却无任何内在联系，此时，如果根据距离或相似系数得出聚类分析的结果，显然是不适当的，但是，聚类分析模型本身却无法识别这类错误。 因子分析：利用降维的思想，由研究原始变量相关矩阵内部的依赖关系出发，把一些具有错综复杂关系的变量归结为少数几个综合因子。（因子
分析是主成分的推广，相对于主成分分析，更倾向于描述原始变量之间的相关关系），就是研究如何以最少的信息丢失，将众多原始变量浓缩成少数几个因子变量，以及如何使因子变量具有较强的可解释性的一种多元统计分析方法。 求解因子载荷的方法：主成分法，主轴因子法，极大似然法，最小二乘法，a因子提取法。 注意事项：5. 因子分析中各个公共因子之间不相关，特殊因子之间不相关，公共因子和特殊因子之间不相关。 应用领域：解决共线性问题，评价问卷的结构效度，寻找变量间潜在的结构，内在结构证实。 优点:第一它不是对原有变量的取舍，而是根据原始变量的信息进行重新组合，找出影响变量的共同因子，化简数据；第二，它通过旋转使得因子变量更具有可解释性，命名清晰性高。 缺点:在计算因子得分时，采用的是最小二乘法，此法有时可能会失效。 判别分析：从已知的各种分类情况中总结规律（训练出判别函数），当新样品进入时，判断其与判别函数之间的相似程度（概率最大，距离最
主成分分析：利用降维（线性变换)的思想，在损失很少信息的前提下把多个指标转化为几个综合指标（主成分),用综合指标来解释多变量的方差- 协方差结构，即每个主成分都是原始变量的线性组合,且各个主成分之间互不相关,使得主成分比原始变量具有某些更优越的性能（主成分必须保留原始变量90%以上的信息），从而达到简化系统结构，抓住问题实质的目的综合指标即为主成分。 求解主成分的方法：从协方差阵出发（协方差阵已知），从相关阵出发（相关阵R已知）。（实际研究中，总体协方差阵与相关阵是未知的，必须通过样本数据来估计） 注意事项：1. 由协方差阵出发与由相关阵出发求解主成分所得结果不一致时，要恰当的选取某一种方法； 2. 对于度量单位或是取值范围在同量级的数据，可直接求协方差阵；对于度量单位不同的指标或是取值范围彼此差异非常大的指标，应考虑将数据标准化，再由协方差阵求主成分； 3.主成分分析不要求数据来源于正态分布； 4. 在选取初始变量进入分析时应该特别注意原始变量是否存在多重共线性的问题（最小特征根接近于零，说明存在多重共线性问题）。 优点：首先它利用降维技术用少数几个综合变量来代替原始多个变量，这些综合变量集中了原始变量的大部分信息。其次它通过计算综合主成分函数得分，对客观经济现象进行科学评价。再次它在应用上侧重于信息贡献影响力综合评价。 缺点：当主成分的因子负荷的符号有正有负时，综合评价函数意义就不明确。命名清晰性低。 聚类分析：将个体（样品）或者对象（变量）按相似程度（距离远近）划分类别，使得同一类中的元素之间的相似性比其他类的元素的相似性更强。目的在于使类间元素的同质性最大化和类与类间元素的异质性最大化。 。其主要依据是聚到同一个数据集中的样本应该彼此相似，而属于不同组的样本应该足够不相似。 常用聚类方法：系统聚类法，K-均值法，模糊聚类法，有序样品的聚类，分解法，加入法。 注意事项：1. 系统聚类法可对变量或者记录进行分类，K-均值法只能对记录进行分类；2. K-均值法要求分析人员事先知道样品分为多少类；
主成分分析法原理简介 1.什么是主成分分析法 主成分分析也称主分量分析，是揭示大样本、多变量数据或样本之间内在关系的一种方法，旨在利用降维的思想，把多指标转化为少数几个综合指标，降低观测空间的维数，以获取最主要的信息。 在统计学中，主成分分析（principal components analysis, PCA）是一种简化数据集的技术。它是一个线性变换。这个变换把数据变换到一个新的坐标系统中，使得任何数据投影的第一大方差在第一个坐标(称为第一主成分)上，第二大方差在第二个坐标(第二主成分)上，依次类推。主成分分析经常用减少数据集的维数，同时保持数据集的对方差贡献最大的特征。这是通过保留低阶主成分，忽略高阶主成分做到的。这样低阶成分往往能够保留住数据的最重要方面。但是，这也不是一定的，要视具体应用而定。 2.主成分分析的基本思想 在实证问题研究中，为了全面、系统地分析问题，我们必须考虑众多影响因素。这些涉及的因素一般称为指标，在多元统计分析中也称为变量。因为每个变量都在不同程度上反映了所研究问题的某些信息，并且指标之间彼此有一定的相关性，因而所得的统计数据反映的信息在一定程度上有重叠。在用统计方法研究多变量问题时，变量太多会增加计算量和增加分析问题的复杂性，人们希望在进行定量分析的过程中，涉及的变量较少，得到的信息量较多。主成分分析正是适应这一要求产生的，是解决这类题的理想工具。 对同一个体进行多项观察时必定涉及多个随机变量X1，X2，…，X p，它们之间都存在着相关性，一时难以综合。这时就需要借助主成分分析来概括诸多信息的主要方面。我们希望有一个或几个较好的综合指标来概括信息，而且希望综合指标互相独立地各代表某一方面的性质。
泛珠三角区域物流发展水平综合评价研究 资料来源：吴晓燕. 泛珠三角区域物流发展水平综合评价研究 泛珠三角区域是我国最主要的经济发达地区之一，也是现代物流最为强劲的“增长极”，具有优越的地理、交通与经济区位优势。但是区域内有发达省份，也有不发达省份，有沿海的省份，也有内陆省份，有东部省份，也有西部省份，彼此之间存在不同的优势和劣势。因此对泛珠三角区域物流发展水平进行评估与分析，有利于明确广东、福建、江西、广西、海南、湖南、四川、云南、贵州九省(区)的区域物流发展现状及差异，找出区域间的优势互补项目，为区域内物流资源有效利用和合理共享、促进区域物流一体化发展提供方向和依据。 评价区域物流综合发展水平是一项很复杂的工作。选择并构建区域物流发展水平综合评价指标体系是评价的关键。因此选择指标构建评价指标体系，必须以综合评价目的为依据，对所要考察的事物进行认真分析，寻找出影响评价对象的因素，从中选出若干主要因素，构建成综合评价指标体系。在多指标综合评价中，如果指标选择不当，再好的综合评价方法也会出现差错，甚至完全失败。 区域物流发展水平评价指标体系实际上就是利用具体的指标将区域物流所包括的功能、区域物流的内涵、特征具体化、层次化的统计描述和综合评价。为了合理评估区域物流发展综合水平，我们主要选取6个一级评价指标，20个次级评价指标对其进行评估，具体结构如下表：
表1 区域物流发展水平评价指标体系 1、社会经济发展类 经济发展是区域物流发展的基础保障，一个地区雄厚的经济基础有利于该物流的加速发展。一般来说，区域物流发展水平与区域的经济发展水平成正比。因此，我们考虑GDP和人均GDP两个次级指标，他们综合反映了物流发展的社会经济基础。 2、生产、消费流通类 从物流需求源考虑，农业、制造业等产业中的物流需求主要是生产资料的位移、储存和流通加工等，这类产业的物流需求与各行业的产量产值存在正比关系，物流需求是商品需求的派生物，与消费品销售，生产资料市场直接相关，商品市场的规模直接决定物流需求的大
主成分分析、聚类分 析比较
主成分分析、聚类分析的比较与应用
主成分分析、聚类 分析的比较与应用 摘要：主成分分析、聚类分析是两种比较有价值的多元统计方法,但同时也是在使用过程中容易误用或混淆的几种方法。本文从基本思想、数据的标准化、应用上的优缺点等方面,详细地探讨了两者的异同,并且 举例说明了两者在实际问题中的应用。 关键词：spss、主成分分析、聚类分析 一、基本概念 主成分分析就是设法将原来众多具有一定相关性（比如P个指标），重新组合成一组新的互相无关的综合指标来代替原来的指标。综合指标即为主成分。所得出的少数几个主成分，要尽可能多地保留原始变量的信息，且彼此不相关。 因子分析是研究如何以最少的信息丢失，将众多原始变量浓缩成少数几个因子变量，以及如何使因子变量具有较强的可解释性的一种多元统计分析方法。 聚类分析是依据实验数据本身所具有的定性或定量的特征来对大量的数据进行分组归类以了解数据集的内在结构，并且对每一个数据集进行描述的过程。 其主要依据是聚到同一个数据集中的样本应该彼此相似，而属于不同组的样本应该足够不相似。 二、基本思想的异同 （一）共同点 主成分分析法和因子分析法都是用少数的几个变量(因子) 来综合反映原始变量(因子) 的主要信息，变量虽然较原始变量少，但所包含的信息量却占原始信息的85 %以上，所以即使用少数的几个新变量，可信度也很高，也可以有效地解释问题。并且新的变量彼此间互不相关，消除了多重共线性。这两种分析
法得出的新变量，并不是原始变量筛选后剩余的变量。在主成分分析中，最终确定的新变量是原始变量的线性组合，如原始变量为x1 ，x2 ，. . . ，x3 ，经过坐标变换，将原有的p个相关变量xi 作线性变换，每个主成分都是由原有p 个变量线性组合得到。在诸多主成分Zi中，Z1 在方差中占的比重最大，说明它综合原有变量的能力最强，越往后主成分在方差中的比重也小，综合原信息的能力越弱。因子分析是要利用少数几个公共因子去解释较多个要观测变量中存在的复杂关系，它不是对原始变量的重新组合，而是对原始变量进行分解，分解为公共因子与特殊因子两部分。公共因子是由所有变量共同具有的少数几个因子；特殊因子是每个原始变量独自具有的因子。 对新产生的主成分变量及因子变量计算其得分，就可以将主成分得分或因子得分代替原始变量进行进一步的分析，因为主成分变量及因子变量比原始变量少了许多，所以起到了降维的作用，为我们处理数据降低了难度。 聚类分析的基本思想是: 采用多变量的统计值，定量地确定相互之间的亲疏关系，考虑对象多因素的联系和主导作用，按它们亲疏差异程度，归入不同的分类中一元，使分类更具客观实际并能反映事物的内在必然联系。也就是说，聚类分析是把研究对象视作多维空间中的许多点，并合理地分成若干类，因此它是一种根据变量域之间的相似性而逐步归群成类的方法，它能客观地反映这些变量或区域之间的内在组合关系。聚类分析是通过一个大的对称矩阵来探索相关关系的一种数学分析方法，是多元统计分析方法，分析的结果为群集。对向量聚类后，我们对数据的处理难度也自然降低，所以从某种意义上说，聚类分析也起到了降维的作用。 (二) 不同之处 主成分分析是研究如何通过少数几个主成分来解释多变量的方差一协方差结构的分析方法，也就是求出少数几个主成分(变量) ，使它们尽可能多地保留原始变量的信息，且彼此不相关。它是一种数学变换方法，即把给定的一组变量通过线性变换，转换为一组不相关的变量(两两相关系数为0 ，或样本向量彼此相互垂直的随机变量) ，在这种变换中，保持变量的总方差(方差之和) 不变，同时具有最大方差，称为第一主成分；具有次大方差，称为第二主成分。依次类推。若共有p 个变量，实际应用中一般不是找p 个主成分，而是找出m
主成分分析方法 我们进行系统分析评估或医学上因子分析等时，多变量问题是经常会遇到的。变量太多，无疑会增加分析问题的难度与复杂性，而且在许多实际问题中，多个变量之间是具有一定的相关关系的。因此，我们就会很自然地想到，能否在各个变量之间相关关系研究的基础上，用较少的新变量代替原来较多的变量，而且使这些较少的新变量尽可能多地保留原来较多的变量所反映的信息？事实上，这种想法是可以实现的，本节拟介绍的主成分分析方法就是综合处理这种问题的一种强有力的方法。 第一节 主成分分析方法的原理 主成分分析是把原来多个变量化为少数几个综合指标的一种统计分析方法，从数学角度来看，这是一种降维处理技术。假定有n 样本，每个样本共有p 个变量描述，这样就构成了一个n×p 阶的数据矩阵： 111212122212.....................p p n n np x x x x x x X x x x ?? ? ?= ? ? ??? (1)
如何从这么多变量的数据中抓住事物的内在规律性呢？要解决这一问题，自然要在p 维空间中加以考察，这是比较麻烦的。为了克服这一困难，就需要进行降维处理，即用较少的几个综合指标来代替原来较多的变量指标，而且使这些较少的综合指标既能尽量多地反映原来较多指标所反映的信息，同时它们之间又是彼此独立的。那么，这些综合指标（即新变量)应如何选取呢？显然，其最简单的形式就是取原来变量指标的线性组合，适当调整组合系数，使新的变量指标之间相互独立且代表性最好。 如果记原来的变量指标为p x x x ,,21 ，它们的综合指标——新变量指标为 21,z z ，m z （m≤p)。则 )2.........(..........22112222121212121111??? ??? ?+++=+++=+++=p mp m m m p p p p x l x l x l z x l x l x l z x l x l x l z 在（2)式中，系数l ij 由下列原则来决定： （1)z i 与 z j （i≠j；i ，j=1，2，…，m)相互无关； （2)z 1是x 1，x 2，…，x p 的一切线性组合中方差最大者；z 2是与z 1不相关的x 1，x 2，…，x p 的所有线性组合中方差最大者；……；z m 是与z 1，z 2，……z m-1都不相关的x 1，x 2，…，x p 的所有线性组合中方差最大者。
4实证过程与结果 4.1主成分与聚类分析 首先通过SPSS软件对环境污染的相应指标进行主成分分析，得到：提取Y1、Y2、Y3和Y4四个主成分，其累积贡献率已经达到，超过80%，代表所有环境污染指标的绝大部分信息。Y1偏向于解释工业氢氧化物排放量，Y2偏向于解释生活烟尘排放量，Y3偏向于解释生活废水排放量，Y4偏向于解释工业二氧化硫排放量。 然后，根据主成分分析结果，用Z=0.43226*Y1+0.21911*Y2+0.10380*Y3+ 0.06519*Y4计算综合得分，见下表1。 表1环境污染地区的主成分综合得分表 序号地区Z 排名序号地区Z 排名 1 北京0.863 5 17 武汉-0.116 13 2 天津 1.088 4 18 长沙-0.841 28 3 石家庄0.455 6 19 广州-0.373 19 4 太原0.209 8 20 南宁-0.519 24 5 呼和浩特-0.052 12 21 海口-1.29 31 6 沈阳-0.273 1 7 22 重庆 2.767 1 7 长春-0.257 16 23 成都-0.451 20 8 哈尔滨 2.489 2 24 贵阳-0.331 18 9 上海 1.979 3 25 昆明-0.552 26 10 南京-0.232 15 26 拉萨-1.275 30 11 杭州0.175 9 27 西安0.357 7 12 合肥-0.5 21 28 兰州-0.514 23 13 福州-0.525 25 29 西宁0.004 11 14 南昌-0.949 29 30 银川-0.702 27 15 济南0.022 10 31 乌鲁木齐-0.502 22 16 郑州-0.152 14 最后将环境污染的综合得分作为个案进行层次聚类分析，将31个地区分为5类，如表2。
主成分分析、聚类分析的比较与应用
主成分分析、聚类 分析的比较与应用 摘要：主成分分析、聚类分析是两种比较有价值的多元统计方法,但同时也是在使用过程中容易误用或混淆的几种方法。本文从基本思想、数据的标准化、应用上的优缺点等方面,详细地探讨了两者的异同,并且 举例说明了两者在实际问题中的应用。 关键词：spss、主成分分析、聚类分析 一、基本概念 主成分分析就是设法将原来众多具有一定相关性（比如P个指标），重新组合成一组新的互相无关的综合指标来代替原来的指标。综合指标即为主成分。所得出的少数几个主成分，要尽可能多地保留原始变量的信息，且彼此不相关。因子分析是研究如何以最少的信息丢失，将众多原始变量浓缩成少数几个因子变量，以及如何使因子变量具有较强的可解释性的一种多元统计分析方法。 聚类分析是依据实验数据本身所具有的定性或定量的特征来对大量的数据进行分组归类以了解数据集的在结构，并且对每一个数据集进行描述的过程。其主要依据是聚到同一个数据集中的样本应该彼此相似，而属于不同组的样本应该足够不相似。 二、基本思想的异同 （一）共同点 主成分分析法和因子分析法都是用少数的几个变量(因子) 来综合反映原始变量(因子) 的主要信息，变量虽然较原始变量少，但所包含的信息量却占原始信息的85 %以上，所以即使用少数的几个新变量，可信度也很高，也可以有效地解释问题。并且新的变量彼此间互不相关，消除了多重共线性。这两种分析法得出的新变量，并不是原始变量筛选后剩余的变量。在主成分分析中，最终确定的新变量是原始变量的线性组合，如原始变量为x1 ，x2 ，. . . ，x3 ，经过
主成分分析法介绍
主成分分析方法 我们进行系统分析评估或医学上因子分析等时，多变量问题是经常会遇到的。变量太多，无疑会增加分析问题的难度与复杂性，而且在许多实际问题中，多个变量之间是具有一定的相关关系的。因此，我们就会很自然地想到，能否在各个变量之间相关关系研究的基础上，用较少的新变量代替原来较多的变量，而且使这些较少的新变量尽可能多地保留原来较多的变量所反映的信息？事实上，这种想法是可以实现的，本节拟介绍的主成分分析方法就是综合处理这种问题的一种强有力的方法。 第一节 主成分分析方法的原理 主成分分析是把原来多个变量化为少数几个综合指标的一种统计分析方法，从数学角度来看，这是一种降维处理技术。假定有n 样本，每个样本共有p 个变量描述，这样就构成了一个n×p 阶的数据矩阵： 11121212221 2 .....................p p n n np x x x x x x X x x x ?? ? ? = ? ? ??? (1)
如何从这么多变量的数据中抓住事物的内在规律性呢？要解决这一问题，自然要在p 维空间中加以考察，这是比较麻烦的。为了克服这一困难，就需要进行降维处理，即用较少的几个综合指标来代替原来较多的变量指标，而且使这些较少的综合指标既能尽量多地反映原来较多指标所反映的信息，同时它们之间又是彼此独立的。那么，这些综合指标（即新变量)应如何选取呢？显然，其最简单的形式就是取原来变量指标的线性组合，适当调整组合系数，使新的变量指标之间相互独立且代表性最好。 如果记原来的变量指标为p x x x ,,21 ，它们的综合指标——新变量指标为 21,z z ，m z （m≤p)。则 )2.........(..........22112222121212121111??? ?? ? ?+++=+++=+++=p mp m m m p p p p x l x l x l z x l x l x l z x l x l x l z 在（2)式中，系数l ij 由下列原则来决定： （1)z i 与 z j （i≠j；i ，j=1，2，…，m)相互无关； （2)z 1是x 1，x 2，…，x p 的一切线性组合中方差最大者；z 2是与z 1不相关的x 1，x 2，…，x p 的所有线性组合中方差最大者；……；z m 是与z 1，z 2，……z m-1都
4实证过程与结果 主成分与聚类分析 首先通过SPSS软件对环境污染的相应指标进行主成分分析，得到： 提取Y 1、Y 2 、Y 3 和Y 4 四个主成分，其累积贡献率已经达到，超过80%，代表 所有环境污染指标的绝大部分信息。Y 1偏向于解释工业氢氧化物排放量，Y 2 偏向 于解释生活烟尘排放量，Y 3偏向于解释生活废水排放量，Y 4 偏向于解释工业二氧 化硫排放量。 然后，根据主成分分析结果，用Z=*Y 1+*Y 2 +*Y 3 + *Y 4 计算综合得分，见下表1。 表1 环境污染地区的主成分综合得分表 序号地区Z排名序号地区Z排名1北京517武汉13 2天津418长沙28 3石家庄619广州19 4太原820南宁24 5呼和浩特1221海口31 6沈阳1722重庆1 7长春1623成都20 8哈尔滨224贵阳18 9上海325昆明26 10南京1526拉萨30 11杭州927西安7 12合肥2128兰州23 13福州2529西宁11 14南昌2930银川27 15济南1031乌鲁木齐22 16郑州14 最后将环境污染的综合得分作为个案进行层次聚类分析，将31个地区分为5类，如表2。 表2 各地区污染分类 分类污染情况地区 1轻度污染海口、拉萨
2比较轻度污染合肥、乌鲁木齐、福州、南宁、兰州、，昆明、成都、银川、南昌、长沙、沈阳、长春、南京、广州、贵阳、郑州、武汉、济南、西宁、呼和浩特 3污染情况一般太原、杭州、石家庄、西安 4污染比较严重北京、天津 5污染十分严重上海、哈尔滨、重庆 主成分分析和聚类分析在SPSS中的操作过程 打开SPSS，“文件-打开-数据”，选中excel，如下图结果。 首先将变量标准化，“分析-描述统计-描述”，将变量全部选入对话框，点上“将标准化得分另存为变量（Z）”，结果如下。
主成分分析在S T A T A 中的实现以及理论介绍 文件编码（TTU-UITID-GGBKT-POIU-WUUI-0089）
第十二章 主成分分析 主成分分分析也称作主分量分析，是霍特林(Hotelling)在1933年首先提出。主成分分析是利用降维的思想，在损失较少信息的前提下把多个指标转化为较少的综合指标。转化生成的综合指标即称为主成分，其中每个主成分都是原始变量的线性组合，且各个主成分互不相关。Stata 对主成分分析的主要内容包括：主成分估计、主成分分析的恰当性（包括负偏协方差矩阵和负偏相关系数矩阵、KMO(Kaiser-Meyer-Olkin)抽样充分性、复相关系数、共同度等指标测度）、主成分的旋转、预测、各种检验、碎石图、得分图、载荷图等。 p j n i b a y ij j i ij ,,2,1,,2,1,' ==+=ε 主成分的模型表达式为： p p j i i i i diag v v v v i p V V C λλλλλλλ≥≥≥=∧='' ==∧=∑ 2121),,,,(0 1 其中，a 称为得分，b 称为载荷。主成分分析主要的分析方法是对相关系数矩阵（或协方差矩阵）进行特征值分析。
Stata中可以通过负偏相关系数矩阵、负相关系数平方和KMO值对主成分分析的恰当性进行分析。负偏相关系数矩阵即变量之间两两偏相关系数的负数。非对角线元素则为负的偏相关系数。如果变量之间存在较强的共性，则偏相关系数比较低。因此，如果矩阵中偏相关系数较高的个数比较多，说明某一些变量与另外一些变量的相关性比较低，主成分模型可能不适用。这时，主成分分析不能得到很好的数据约化效果。 Kaiser-Meyer-Olkin抽样充分性测度也是用于测量变量之间相关关系的强弱的重要指标，是通过比较两个变量的相关系数与偏相关系数得到的。KMO介于0于1之间。KMO越高，表明变量的共性越强。如果偏相关系数相对于相关系数比较高，则KMO比较低，主成分分析不能起到很好的数据约化效果。根据Kaiser（1974），一般的判断标准如下：不能接受（unacceptable）;非常差（miserable）；，勉强接受（mediocre）；可以接受（middling）；，比较好（meritorious）；非常好（marvelous）。 SMC即一个变量与其他所有变量的复相关系数的平方，也就是复回归方程的可决系数。SMC比较高表明变量的线性关系越强，共性越强，主成分分析就越合适。
第四节 主成分分析方法 地理环境是多要素的复杂系统，在我们进行地理系统分析时，多变量问题 是经常会遇到的。 变量太多， 无疑会增加分析问题的难度与复杂性， 而且在许多 实际问题中， 多个变量之间是具有一定的相关关系的。 因此，我们就会很自然地 想到，能否在各个变量之间相关关系研究的基础上， 用较少的新变量代替原来较 多的变量，而且使这些较少的新变量尽可能多地保留原来较多的变量所反映的信 息？事实上， 这种想法是可以实现的， 本节拟介绍的主成分分析方法就是综合处 理这种问题的一种强有力的方法。 第一节 主成分分析方法的原理 主成分分析是把原来多个变量化为少数几个综合指标的一种统计分析方法， 从数学角度来看， 这是一种降维处理技术。 假定有 n 个地理样本， 每个样本共有 p 个变量描述，这样就构成了一个 n ×p 阶的地理数据矩阵： 如何从这么多变量的数据中抓住地理事物的内在规律性呢？要解决这一问 题，自然要在 p 维空间中加以考察，这是比较麻烦的。为了克服这一困难，就需 要进行降维处理， 即用较少的几个综合指标来代替原来较多的变量指标， 而且使 这些较少的综合指标既能尽量多地反映原来较多指标所反映的信息， 同时它们之 间又是彼此独立的。那么，这些综合指标（即新变量 ） 应如何选取呢？显然，其 最简单的形式就是取原来变量指标的线性组合， 适当调整组合系数， 使新的变量 指标之间相互独立且代表性最好。 如果记原来的变量指标为 x 1， 为 x 1，x 2，?， zm （m ≤p ） 。则 x 2 ，?， x p ，它们的综合指标——新变量指标
在（2）式中，系数l ij 由下列原则来决定： （1）z1 2与z j（i ≠j ；i ，j=1 ，2，?，m）相互无关； （2）z 1是x1，x2，?，x p的一切线性组合中方差最大者；z2是与z1不相关的x1，x2，?，x p的所有线性组合中方差最大者；??；z m是与z1，z2，??z m-1 都不相关的x1，x2，?，x p的所有线性组合中方差最大者。 这样决定的新变量指标z1，z2，?，zm分别称为原变量指标x1，x2，?，x p 的第一，第二，?，第m主成分。其中，z1在总方差中占的比例最大，z2，z3，?，z m的方差依次递减。在实际问题的分析中，常挑选前几个最大的主成分，这样既减少了变量的数目，又抓住了主要矛盾，简化了变量之间的关系。 从以上分析可以看出，找主成分就是确定原来变量x j（j=1 ，2，?，p）在诸主成分z i （i=1 ，2，?，m）上的载荷l ij （i=1 ，2，?，m；j=1 ，2，?，p），从数学上容易知道，它们分别是x1，x2，?，x p的相关矩阵的m个较大的特征值所对应的特征向量。 第二节主成分分析的解法 主成分分析的计算步骤 通过上述主成分分析的基本原理的介绍，我们可以把主成分分析计算步骤归纳如下：在公式（3）中，r ij （i ，j=1 ，2，?，p）为原来变量x i与x j的相关系数，其计 算公式为 因为R是实对称矩阵（即r ij =r ji ），所以只需计算其上三角元素或下三角元素即可。 1 计算相关系数矩阵 2 计算特征值与特征向量
实验三我国各地区城镇居民消费性支出的 主成分分析和聚类分析 （王学民编写） 一、实验目的 1.掌握如何使用SAS软件来进行主成分分析和聚类分析； 2.看懂和理解SAS输出的结果，并学会以此来作出分析； 3.掌握对实际数据如何来进行主成分分析； 4.对同一组数据使用五种系统聚类方法及k均值法，学会对各种聚类效果的比较，获取重要经验； 5.掌握使用主成分进行聚类 二、实验内容 数据集sasuser.examp633中含有1999年全国31个省、直辖市和自治区的城镇居民家庭平均每人全年消费性支出的八个主要变量数据。对这些数据进行主成分分析，可将这31个地区的前两个主成分得分标示于平面坐标系内，对各地区作直观的比较分析。对同样的数据使用五种系统聚类方法及k均值法聚类，并对聚类效果作比较。最后，对主成分的图形聚类和正规聚类的效果进行比较。 实验1 进行主成分分析，根据前两个主成分得分所作的散点图对31个地区进行比较分析。 实验2 分别使用最长距离法、中间距离法、两种类平均法、离差平方和法和k均值法进行聚类分析，并比较其聚类效果。 实验3 主成分聚类，并与上述正规的聚类方法进行比较 三、实验要求 1.用SAS软件的交互式数据分析菜单系统完成主成分分析； 2.完成五种系统聚类方法及k均值法，比较其聚类效果； 3.根据前两个主成分得分的散点图作直观的聚类，并与上述正规的聚类方法进行比较。 四、实验指导
1.进行主成分分析 在inshigt中打开数据集sasuser.examp633，见图1。选菜单过程如下： 在图1中选分析?多元（Y X）?在变量框中选x1，x2，x3，x4，x5，x6，x7，x8(见图2)?Y?选输出?选主分量分析，主分量选项（见图3）?在图4中作图中的选择（主成分个数缺省时为“自动”选项，此时只输出特征值大于1的主成分）?确定?确定?确定 图1 图2
主成分分析法 主成分分析（principal components analysis，PCA）又称：主分量分析，主成分回归分析法 [编辑] 什么是主成分分析法 主成分分析也称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标。 在统计学中，主成分分析（principal components analysis,PCA）是一种简化数据集的技术。它是一个线性变换。这个变换把数据变换到一个新的坐标系统中，使得任何数据投影的第一大方差在第一个坐标(称为第一主成分)上，第二大方差在第二个坐标(第二主成分)上，依次类推。主成分分析经常用减少数据集的维数，同时保持数据集的对方差贡献最大的特征。这是通过保留低阶主成分，忽略高阶主成分做到的。这样低阶成分往往能够保留住数据的最重要方面。但是，这也不是一定的，要视具体应用而定。 [编辑] 主成分分析的基本思想
在实证问题研究中，为了全面、系统地分析问题，我们必须考虑众多影响因素。这些涉及的因素一般称为指标，在多元统计分析中也称为变量。因为每个变量都在不同程度上反映了所研究问题的某些信息，并且指标之间彼此有一定的相关性，因而所得的统计数据反映的信息在一定程度上有重叠。在用统计方法研究多变量问题时，变量太多会增加计算量和增加分析问题的复杂性，人们希望在进行定量分析的过程中，涉及的变量较少，得到的信息量较多。主成分分析正是适应这一要求产生的，是解决这类题的理想工具。 同样，在科普效果评估的过程中也存在着这样的问题。科普效果是很难具体量化的。在实际评估工作中，我们常常会选用几个有代表性的综合指标，采用打分的方法来进行评估，故综合指标的选取是个重点和难点。如上所述，主成分分析法正是解决这一问题的理想工具。因为评估所涉及的众多变量之间既然有一定的相关性，就必然存在着起支配作用的因素。根据这一点，通过对原始变量相关矩阵内部结构的关系研究，找出影响科普效果某一要素的几个综合指标，使综合指标为原来变量的线性拟合。这样，综合指标不仅保留了原始变量的主要信息，且彼此间不相关，又比原始变量具有某些更优越的性质，就使我们在研究复杂的科普效果评估问题时，容易抓住主要矛盾。上述想法可进一步概述为：设某科普效果评估要素涉及个指标，这指标构成的维随机向量为。对作正交变换，令，其中为正交阵，的各分量是不相关的，使得的各分量在某个评估要素中的作用容易解释，这就使得我们有可能从主分量中选择主要成分，削除对这一要素影响微弱的部分，通过对主分量的重点分析，达到对原始变量进行分析的目的。的各分量是原始变量线性组合，不同的分量表示原始变量之间不同的影响关系。由于这些基本关系很可能与特定的作用过程相联系，主成分分析使我们能从错综复杂的科普评估要素的众多指标中，找出一些主要成分，以便有效地利用大量统计数据，进行科普效果评估分析，使我们在研究科普效果评估问题中，可能得到深层次的一些启发，把科普效果评估研究引向深入。 例如，在对科普产品开发和利用这一要素的评估中，涉及科普创作人数百万人、科普作品发行量百万人、科普产业化（科普示范基地数百万人）等多项指标。经过主成分分析计算，最后确定个或个主成分作为综合评价科普产品利用和开发的综合指标，变量数减少，并达到一定的可信度，就容易进行科普效果的评估。 [编辑] 主成分分析法的基本原理 主成分分析法是一种降维的统计方法，它借助于一个正交变换，将其分量相关的原随机向量转化成其分量不相关的新随机向量，这在代数上表现为将原随机向量的协方差阵变换成对角形阵，在几何上表现为将原坐标系变换成新的正交坐标系，使之指向样本点散布最开的p 个正交方向，然后对多维变量系统进行降维处理，使之能以一个较高的精度转换成低维变量系统，再通过构造适当的价值函数，进一步把低维系统转化成一维系统。 [编辑] 主成分分析的主要作用