下载文档原格式
调研中的因子分析与聚类分析应用在现代社会中，随着数据的快速增长和信息的爆炸式增加，如何从海量数据中提取有价值的信息成为一项重要的任务。
因子分析和聚类分析是两种常用的数据分析方法，它们可以帮助研究者对数据进行分类和理解，从而提炼出重要的因素和模式。
本文将分别对因子分析和聚类分析的应用进行探讨，并分析其在调研中的实际应用价值。
因子分析是一种用于研究变量之间关联性的统计方法。
它的目的是通过将变量聚集成更少的无关因子，以便提供更简化的数据分析结果。
在调研中，因子分析可以帮助我们发现隐藏在数据背后的潜在特征和结构，并从中找出一些重要的因素。
以市场调研为例，我们可以通过因子分析来确定顾客的消费行为和购买偏好。
通过对大量数据进行因子分析，我们可以得到一些关键因素，比如消费者的品牌偏好、价格敏感度、购买意愿等。
这些因素可以帮助企业更好地了解消费者，并制定相应的市场策略。
聚类分析是一种基于相似性度量的数据分析方法，它可以将相似的对象分为一组，同时将不相似的对象分到不同的组。
在调研中，聚类分析可以帮助我们对调查样本进行分类，从而揭示出不同类别的特点和差异。
举个例子，假设我们进行了一项关于消费者购买习惯的调研，通过聚类分析，我们可以将消费者分为不同的群组，比如高消费群体、低消费群体、品牌忠诚群体等。
这些群体的特点和差异可以帮助企业更好地了解不同消费者群体的需求，并针对性地制定营销策略。
因子分析和聚类分析在调研中具有很强的补充性。
通过因子分析，我们可以挖掘数据背后的因素和结构，发现其中的规律和模式。
而通过聚类分析，我们可以将样本进行分类，找到样本之间的相似性和差异性。
两者结合起来可以帮助我们更全面地理解和解释数据。
当然，在使用因子分析和聚类分析时，也需要注意一些问题。
选择合适的变量和样本是非常关键的。
我们需要确保选取的变量具有一定的相关性，同时样本的大小和代表性也会影响到分析结果的准确性和可靠性。
在解释结果时，需要进行充分的解读和分析，而不仅仅依赖于统计结果。
因子分析和聚类分析方法在大学生综合素质评价中的应用姜明明;马丹【摘要】采用因子分析和聚类分析的方法，对学生成绩进行分析处理，得到学生综合素质的科学评价，并将学生做出科学的分类。
研究结果表明，和以往常用的两种方法(平均积点分和综合测评总分)相比，该方法更具科学性。
同时，利用多种聚类方法对学生做出的分类更加合理。
%Using factor analysis and cluster analysis methods, analyze the students’achievements and get scientific evaluation of students’comprehensive qualities, then classify the students. The results of the study show that this method is scientific, compared with commonly used two methods (grade point average and comprehensive evaluation score). At the same time, the use of several kinds of clustering methods for students makes classification more reasonable.【期刊名称】《齐齐哈尔大学学报（自然科学版）》【年(卷),期】2013(000)002【总页数】5页(P77-80,83)【关键词】因子分析;聚类分析;学生成绩;综合素质【作者】姜明明;马丹【作者单位】大庆师范学院数学科学学院，黑龙江大庆 163712;大庆师范学院数学科学学院，黑龙江大庆 163712【正文语种】中文【中图分类】O212在多元统计分析中，因子分析是指研究从变量群中提取共性因子的统计技术。
全国30市自治区经济发展水平综合评价——基于因子分析和聚类分析近年来，我国经济发展迅速，全国各地区也呈现出不同程度的经济发展水平。
为了对全国30个市自治区的经济发展水平进行综合评价，基于因子分析和聚类分析的方法被广泛应用。
首先，我们通过因子分析的方法对数据进行降维和综合评价。
因子分析将多个变量综合为少数几个因子，并可以解释这些因子与原始变量之间的关系。
我们选择了GDP总量、人均GDP、产业结构、基础设施建设、外资吸引等指标作为评价经济发展水平的变量。
通过因子分析，我们可以得到几个综合指标，用于评价各个市自治区的经济发展水平。
接着，我们可以利用聚类分析的方法进行分类。
聚类分析是将样本划分为几个相似的类别，每个类别内的样本相似度高，而类别间的相似度较低。
我们可以通过聚类分析得到若干个类别，这些类别可以代表不同的经济发展水平。
通过将市自治区进行分类，可以更加直观地展示各地区之间的差异，也可以为地方政府提供参考。
最后，我们可以将因子分析和聚类分析的结果进行综合。
通过对因子得分和聚类结果的比较，可以得到更加准确的综合评价。
在综合评价的过程中，我们可以进一步分析各个市自治区的优势和劣势，以及存在的问题和潜在的发展机会。
这些分析结果可以为地方政府提供经济发展策略和政策的参考。
在实施全国30市自治区经济发展水平综合评价的过程中，我们需要充分考虑指标的选择和权重的确定。
指标的选择应当代表经济发展的各个方面，权重的确定应当根据实际情况和专家意见综合考虑。
另外，我们需要注意数据的可靠性和准确性，以及分析方法的合理性和可操作性。
总之，基于因子分析和聚类分析的方法可以对全国30市自治区的经济发展水平进行综合评价。
这种方法能够降低数据的维度，提取出关键的因子，并对样本进行分类。
通过综合分析和评价，可以为决策者提供参考，促进经济发展水平的提高。
学术研讨基于因子分析法的地方标准评估方法构建■ 韩 鹏 李 锋 陈晶照（苏交科集团股份有限公司）摘 要：对现行的地方标准展开评估工作，能够更好地发挥地方标准在标准体系中的作用。
结合现阶段标准评估方法多以定性方法或专家评分法为主的现状，本研究采用层次分析法构建了地方标准的评估指标，进一步采用因子分析方法确定了准则层和指标层的权重。
并以江苏省高速公路施工班组管理地方标准为例，验证了该评价体系的科学性和可行性，为后续地方标准的评估提供参考。
关键词：地方标准，层次分析法，因子分析法，标准评估DOI编码：10.3969/j.issn.1002-5944.2023.16.009Construction of Local Standards Evaluation System Based on FactorAnalysis MethodHAN Peng LI Feng CHEN Jing-zhao（JSTI Group Co., Ltd.）Abstract:The evaluation of existing local standards can better play the role of local standards in the standards system. Considering that the current standards evaluation methods are mainly qualitative methods or expert scoring methods, this paper uses the analytic hierarchy process method to construct the evaluation indexes of local standards, and furtherly uses the factor analysis method to determine the weights of the criterion layer and the index layer. Taking the local standards of highway construction team management in Jiangsu province as an example, it verifi es the scientificity and feasibility of the evaluation system, and provides reference for subsequent evaluation of local standards.Keywords: local standards, analytic hierarchy process, factor analysis method, standards evaluation0 引 言标准实施效果评估作为标准化工作中必要的一部分，是形成标准化闭环管理的重要措施[1]。
主成分分析：利用降维（线性变换)的思想，在损失很少信息的前提下把多个指标转化为几个综合指标（主成分),用综合指标来解释多变量的方差协方差结构，即每个主成分都是原始变量的线性组合,且各个主成分之间互不相关,使得主成分比原始变量具有某些更优越的性能（主成分必须保留原始变量90%以上的信息），从而达到简化系统结构，抓住问题实质的目的综合指标即为主成分。
欧阳学文求解主成分的方法：从协方差阵出发（协方差阵已知），从相关阵出发（相关阵R已知）。
（实际研究中，总体协方差阵与相关阵是未知的，必须通过样本数据来估计）注意事项：1. 由协方差阵出发与由相关阵出发求解主成分所得结果不一致时，要恰当的选取某一种方法；2. 对于度量单位或是取值范围在同量级的数据，可直接求协方差阵；对于度量单位不同的指标或是取值范围彼此差异非常大的指标，应考虑将数据标准化，再由协方差阵求主成分；3.主成分分析不要求数据来源于正态分布；4. 在选取初始变量进入分析时应该特别注意原始变量是否存在多重共线性的问题（最小特征根接近于零，说明存在多重共线性问题）。
优点：首先它利用降维技术用少数几个综合变量来代替原始多个变量，这些综合变量集中了原始变量的大部分信息。
其次它通过计算综合主成分函数得分，对客观经济现象进行科学评价。
再次它在应用上侧重于信息贡献影响力综合评价。
缺点：当主成分的因子负荷的符号有正有负时，综合评价函数意义就不明确。
命名清晰性低。
聚类分析：将个体（样品）或者对象（变量）按相似程度（距离远近）划分类别，使得同一类中的元素之间的相似性比其他类的元素的相似性更强。
目的在于使类间元素的同质性最大化和类与类间元素的异质性最大化。
其主要依据是聚到同一个数据集中的样本应该彼此相似，而属于不同组的样本应该足够不相似。
常用聚类方法：系统聚类法，K均值法，模糊聚类法，有序样品的聚类，分解法，加入法。
注意事项：1. 系统聚类法可对变量或者记录进行分类，K均值法只能对记录进行分类；2. K均值法要求分析人员事先知道样品分为多少类；3. 对变量的多元正态性，方差齐性等要求较高。
第28卷 第4期2010年4月科 学 学 研 究S t u d i e s i nS c i e n c e o f S c i e n c e V o l .28N o .4A p r .2010文章编号:1003-2053(2010)04-0508-07基于聚类-因子分析的科技评价指标体系构建顾雪松,迟国泰,程 鹤(大连理工大学管理学院,辽宁大连116024)摘 要:根据“坚持以人为本,树立全面、协调、可持续的发展观,促进经济社会和人的全面发展”的科学发展观的内涵,从科技投入、科技产出、科技对经济与社会的影响三个方面海选科学技术评价指标,利用R 聚类与因子分析相结合的方法定量筛选指标,构建了科学技术综合评价指标体系。
本文的创新与特色:一是通过R 聚类将同一准则层内的指标分类,使不同的类代表科技评价的不同方面。
二是通过因子分析筛选出各个类中因子载荷最大的指标、并剔除其他指标,既保证了筛选出的指标在所在类别中对评价结果影响最显著、又避免了同一类指标的信息重复。
三是研究结果表明,最终建立的指标体系用18%的指标反映了98%的原始信息。
四是通过科技进步贡献率、万元G D P 综合能耗等指标反映了全面、协调与可持续发展的科学发展内涵。
五是在国际权威机构典型观点高频指标基础上进行客观数据筛选的指标体系,兼具专家知识和客观实际的双重信息。
关键词:科技评价体系;科技评价指标;科学发展;指标体系中图分类号:N 945.16;F 204 文献标识码:A 收稿日期:2009-06-11;修回日期:2009-10-19 基金项目:国家社会科学基金重大项目(06＆Z D 039);大连理工大学人文社会科学研究基金重大项目(D U T H S 2007101) 作者简介:顾雪松(1984-),男,辽宁抚顺人,硕士研究生,研究方向为复杂系统评价。
迟国泰(1955-),男,黑龙江海伦人,教授、博士生导师,博士,研究方向为复杂系统评价。
程 鹤(1983-),女,吉林松原人,博士研究生,研究方向为复杂系统评价。
科学技术评价指标体系的构建是根据“坚持以人为本,树立全面、协调、可持续的发展观,促进经济社会和人的全面发展”的科学发展观的内涵,筛选出对科学技术评价有重要影响的代表性指标。
建立合理的指标体系是科学技术评价的关键。
如果指标体系不合理,则无论采用什么评价方法,评价结果都不会有任何意义。
(1)科学技术评价指标体系的研究现状一是国外权威机构的评价指标体系。
代表性的有经济合作与发展组织(O E C D )[1]、瑞士洛桑国际管理研究院(I M D )[2]、世界银行(W o r l dB a n k )[3]等建立的科学技术评价指标体系。
二是国内权威机构的科技评价指标体系。
代表性的有中国科学技术部建立的科技发展评价指标体系[4]。
以上两类指标体系虽然权威性强,但是偏向于宏观层面各个国家科学技术综合竞争力的评价,不适合不同一国之内不同地区微观层面的评价。
三是学术文献整理得出的评价体系。
代表性的有唐炎钊建立的区域科技创新评价指标体系[5]。
吴强等用文献聚合分析建立的科技评价指标体系[6]。
T i s d e l l C l e m 等针对中国的科技体制改革建立的科技评价指标体系[7]。
S h i n i c h i K o b a y a s h i 等在日本建立的科技评价指标体系[8]。
H a r i o l f G r u p p 等建立的评价国家科技政策的指标体系[9]。
这类指标体系存在反映同一科技信息的多个重复指标,指标体系庞杂。
(2)科学技术评价指标筛选方法的研究现状一是基于专家经验的主观筛选方法。
孙兰学从科学技术评价的内涵出发对科技创新评价指标进行筛选[10]。
专家主观筛选法存在的问题是单纯依靠指标的含义和个人经验,主观随意性强。
二是客观的评价指标筛选方法。
范柏乃等对城市技术创新能力评价指标进行筛选[11]。
郭冰洋筛选农业科技现代化评价指标[12]。
赵金楼等建立了科技创新型企业评价指标阶段式综合筛选方法[13]。
客观筛选法存在的问题是过度依赖于指标数据,忽略了指标的实际含义。
DOI :10.16192/j .cn ki .1003-2053.2010.04.021 第4期顾雪松迟国泰程 鹤:基于聚类-因子分析的科技评价指标体系构建针对上述问题,本文在根据科学技术评价的内涵海选与初筛指标的基础上,利用R聚类和因子分析定量筛选指标,建立了科学技术评价指标体系。
1 科学技术评价指标体系的构建原理1.1 国际权威机构典型观点高频指标的海选思路(1)准则层的设置:通过设置科技投入、科技产出两个准则层来体现国际权威机构经典观点的高频指标[1-4]原则。
通过设置科技对经济与社会的影响准则层来体现全面协调与可持续发展原则。
(2)指标的选取:通过R＆D经费、R＆D经费/G D P等指标反映国际权威机构经典观点的高频指标[1-4]原则,通过科技进步贡献率等指标反映全面与协调发展原则,通过万元G D P综合能耗、工业固体废物综合利用率等指标反映可持续发展原则。
1.2 科学技术评价指标的可观测性原则根据可观测性原则初步筛选指标。
删除海选指标中数据无法获得的评价指标,使初步筛选后的指标满足可观测性,能够实际应用。
1.3 指标客观数据的聚类与因子分析筛选思路(1)通过R聚类将同一准则层内的指标分类,使不同的类代表科技评价的不同方面。
(2)通过因子分析筛选出各个类中因子载荷最大的指标、并剔除其他指标,既保证了筛选出的指标在所在类别中对评价结果影响最大,又避免了同一类指标的信息重复。
科学技术评价指标体系构建原理如图1所示。
图1 科学技术评价指标体系构建的原理2 科学技术评价指标体系构建的方法2.1 科学技术评价指标的海选以国际权威机构经典观点的高频指标[1-4]为重点,结合文献梳理[5-12]和调查研究进行指标的海选。
根据可观测性原则将数据无法获得的海选指标删除,保证初步筛选后的指标体系可以量化。
2.2 指标筛选前的数据标准化(1)正向指标的标准化正向指标指数值越大表明科技发展越好的指标。
设:p i j–第j个评价对象第i个指标标准化后的值;V i j–第j个评价对象第i个指标的值;n–被评价的对象数。
根据正向指标标准化公式,p i j为[15]:p i j=V i j-m i n1≤j≤n(V i j)m a x1≤j≤n(V i j)-m i n1≤j≤n(V i j)(1) (2)负向指标的标准化负向指标指数值越小表明科技发展越好的指标。
负向指标标准化公式为[15]:p i j=m a x1≤j≤n(V i j)-V i jm a x1≤i≤n(V i j)-m i n1≤j≤n(V i j)(2) 式(2)各个符号的含义与式(1)相同。
2.3 指标类别提取的R聚类(1)通过R聚类划分每一个准则层下的指标类别与数量一是将反映信息重复的指标归为一类,使不同的类代表科技评价的不同方面。
二是保留每一类指标中信息含量(因子载荷)最大的一个指标。
这就既保证了从不同的类中筛选出的指标反映信息不重复,又保证了筛选后的指标体系能够全面覆盖科技评价的各个方面。
对准则层内的指标聚类而不对整个指标体系聚类的原因是:定量的聚类方法根据数据关系对指标分类而没有考虑指标的实际含义,按准则层聚类保·509·科 学 学 研 究第28卷 证了聚类指标在含义上有关联,避免了将数据相关性强但含义上毫无关联的指标聚为一类。
(2)R 聚类的基本模型采用离差平方和法对评价指标R 聚类。
设:把n 个评价指标分成l 类;S i -第i 类的离差平方和(i =1,2,…,l );n i -第i 类的评价指标个数;X i (j )-第i 类中的第j 个评价指标标准化后的样本值向量(j =1,2,…,n i ); X i -第i 类指标的样本平均值向量,则第i 类的离差平方和S i 为[16]:S i =∑n i j =1(X (j )i- X i )′(X (j )i- X i)(3) k 个类的总离差平方和S 为[16]:S=∑ki =1∑nij =1(X (j )i - X i )′(X (j )i- X i)(4) 离差平方和聚类法的具体步骤[16]:①将n 个评价指标看成n 个类。
②将n 个评价指标中任意两个合并成一类其他不变,这样有n (n -1)/2种合并方案。
根据式(6)计算各合并方案的总离差平方和,按总离差平方和最小的合并方案进行新的分类。
③重复步骤②直到最后分类数目为l 。
(3)聚类数目的确定聚类分析的分类数目l 一般人为给定,为了避免分类数目确定的主观随意性,对聚类后每一类的指标进行非参数K-W 检验[12]以判断聚类数目l 的合理性。
非参数K-W 检验的原假设是不同的指标在数值特征上无显著差异。
检验聚类数目合理性的做法是:对聚类后每一类的指标进行K-W 检验,如果每一类的显著性水平S i g >0.05,则接受原假设,即同一类指标间无显著差异,聚类数目合理;如果某一类的显著性水平S i g ≤0.05,则拒绝原假设,即同一类指标间有显著差异,聚类数目不合理。
2.4 信息含量最大指标筛选的因子分析(1)因子分析的基本模型因子分析的实质是将观测指标表示为少数“公因子”的线性组合。
因子分析的模型为[17]:X i =a i 1F 1+a i 2F 2+...+a i k F k +εi(5) 其中,X i (i =1,2,…,m )-第i 个指标;F j (j =1,2,…,k )-第j 个公因子;αi j -第i 个指标在第j 个公因子上的负载,称为因子载荷;εi -只影响指标X i 的特殊因子;k -公因子个数;m-指标个数。
因子分析的具体步骤[17]:①求标准化指标值的相关系数矩阵R m×m 。
②求矩阵R 的特征值λj (j =1,2,…,m ),λj 表示第j 个公因子F j 所解释的原始指标数据的总方差,则公因子F j 对原始指标数据的方差贡献率w j 为:w j =λj /∑mj =1λj(6) ③将特征值λj 按从大到小的顺序排列,根据累计方差贡献率≥85%的要求选取前k 个特征值对应的公因子建立因子分析模型,λj 与αi j 的关系为:λj =∑mi =1a 2i j(7) (2)因子分析对评价指标的筛选因子载荷的绝对值 αi j 反映了指标i 与公因子的相关性, αi j 越大表明指标i 对评价结果的影响越显著,越应当保留; αi j 越小则表明指标对评价结果的影响越弱,越应当剔除。
因子分析保证了用少量在公因子上载荷大的指标有代表性的反映原始信息。
在R 聚类的基础上用因子分析筛选指标与现有研究[10-13]的差别及特色在于:一是每一类中只选择一个因子载荷最大的指标而剔除其它指标,解决了单纯剔除少量相关系数极大的指标导致筛选后的指标仍然存在信息重复的问题;二是在每一类中均有指标入选,解决了筛选后的指标所反映的信息无法覆盖评价的所有方面的问题。
