主成分分析聚类分析因子分析的基本思想及优缺点
1.降维：主成分分析可以将高维数据降维到较低维，便于数据的可视
化和理解。
2.信息损失小：主成分保留了原始数据中大部分的方差，意味着经过
主成分分析后的数据仍然能够保持原始数据的重要信息。
3.无假设性：主成分分析不需要对数据做出任何假设，适用于不同类
型的数据。
1.可能丢失一些重要信息：虽然主成分保留了原始数据中大部分的方差，但也有可能丢失一些重要的信息。
2.对异常值敏感：主成分分析对异常值敏感，当数据中存在异常值时，可能对主成分的计算产生较大的影响。
3.需要进行数据标准化：主成分分析基于协方差矩阵或相关系数矩阵，因此需要对数据进行标准化处理，使得不同变量具有相同的尺度。
聚类分析（Cluster Analysis）是一种无监督学习方法，主要用于将
数据样本划分为不同的群组或簇。其基本思想是通过计算样本之间的相似
度或距离，将相似的样本归为一类。
聚类分析的步骤包括：选择聚类算法（如k-means、层次聚类等），
计算样本之间的相似度或距离，将相似的样本归为一类。最后根据聚类结
果进行验证和解释。
聚类分析的优点包括：
1.无监督学习：聚类分析是一种无监督学习方法，不需要事先对数据
进行标记或分类，适用于没有先验知识的数据。
2.发现隐藏模式：聚类分析能够发现数据中的潜在模式和相似性，有
助于研究人员对数据进行探索和发现新的知识。
3.可解释性：聚类分析结果易于解释和理解，能够提供数据的直观结构。
聚类分析的缺点包括：
1.对初始点敏感：聚类分析的结果可能受到初始点的选择影响，不同
的初始点可能得到不同的聚类结果。
2.高维数据困难：当数据维度较高时，聚类分析面临“维度灾难”问题，会导致聚类结果不稳定或低效。
3.人为定制参数：聚类分析中需要选择合适的聚类数目、距离度量等
参数，这些参数的选择可能会影响聚类结果。
因子分析（Factor Analysis）是一种统计方法，用于研究观测变量
背后的潜在因子结构。其基本思想是将多个相关的观测变量解释为少数几
个潜在因子的线性组合，从而降低变量的维度。
因子分析的步骤包括：确定潜在因子的个数，计算观测变量的协方差
矩阵或相关系数矩阵，通过矩阵分解得到因子载荷矩阵，最后根据因子载
荷矩阵解释观测变量。
因子分析的优点包括：
1.降维：因子分析可以将多个相关的观测变量降维，提取出其中的主
要信息，减少变量的数量。
3.提高数据解释性：因子分析可以用较少的因子解释观测变量的方差，提高数据的解释性和可理解性。
因子分析的缺点包括：
1.因子选择困难：因子分析需要选择合适的因子个数，但是如何确定
合适的因子个数并不是一个简单的问题。
2.需要满足假设条件：因子分析基于一系列假设条件，如线性相关性、误差项无关等，如果这些假设条件不满足，可能影响因子分析的结果。
3.结果解释困难：因子分析得到的因子载荷矩阵并不直接可解释，需
要对因子进行解释和命名，这可能存在主观性和困难性。
主成分分析与因子分析的优缺点 1.降维效果好：主成分分析能够把高维度的数据转化为低维度的数据，保留了原始数据的重要信息，并且尽量去除冗余信息，使数据更具可解释性。 2.数据简化：通过主成分分析，我们可以将原始数据转化为由主成分 构成的新数据集，这样可以简化后续的数据分析工作。 3.可视化效果好：主成分分析可以将高维度的数据转化为低维度的数据，便于可视化分析，帮助我们更好地理解数据的结构和关系。 4.降低数据噪声：主成分分析通过对原始数据进行线性组合，减少了 数据中的噪声影响，提高了数据的信噪比。 5.无需先验知识：主成分分析不需要任何先验知识，只利用原始数据 的变异性进行分析，更加普适。 1.数据过于简化：主成分分析会将原始数据进行简化，有可能会造成 信息的损失，使得数据的可解释性降低。 2.需要处理缺失值：主成分分析对数据中的缺失值敏感，如果原始数 据中存在缺失值，需要提前进行处理。 3.不适用于非线性关系：主成分分析只适用于线性数据，对于非线性 数据效果不好，不能完全捕捉到数据的特征。 因子分析的优点： 1.探索性分析：因子分析可以从数据中发现潜在的、隐含的因素，帮 助我们理解问题背后的内在结构。
2.解释方差：因子分析可以将原始数据解释为若干个因子的线性组合，帮助我们理解这些因子解释了数据方差的比例。 3.提取共享因素：因子分析可以识别多个变量之间的共享因素，使我 们能够更好地理解变量之间的关系。 4.指导模型构建：因子分析可以为后续的建模提供参考，帮助我们选 择最重要的变量，从而提高模型的准确性和可解释性。 因子分析的缺点： 1.先验假设：因子分析需要假设原始变量与因子之间存在线性相关关系，这个假设可能不总是成立。 2.选择困难：因子分析需要根据一些统计指标（如因子负荷值）来确 定最终的因子个数，这一过程可能具有主观性，容易受到分析者主观意识 的影响。 3.处理缺失值：因子分析对数据中的缺失值敏感，需要采取合适的方 法来处理缺失值。 4.对离群值敏感：因子分析对离群值比较敏感，离群值的存在可能会 影响因子提取的结果。 5.独立性假设：因子分析假设变量之间是相互独立的，如果变量之间 具有高度的相关性，可能会导致因子提取结果不准确。 综上所述，主成分分析和因子分析都是常用的多元统计分析方法，都 可用于数据的降维和提取重要信息。主成分分析适用于线性数据，降维效 果好；因子分析适用于发现潜在因素和解释数据方差。选择使用哪种方法 应根据具体问题和数据特点来确定。
主成分分析就是将多项指标转化为少数几项综合指标，用综合指标来解释多变量的方差—协方差结构。综合指标即为主成分。所得出的少数几个主成分，要尽可能多地保留原始变量的信息，且彼此不相关。 因子分析是研究如何以最少的信息丢失,将众多原始变量浓缩成少数几个因子变量,以及如何使因子变量具有较强的可解释性的一种多元统计分析方法。 聚类分析是依据实验数据本身所具有的定性或定量的特征来对大量的数据进行分组归类以了解数据集的内在结构，并且对每一个数据集进行描述的过程.其主要依据是聚到同一个数据集中的样本应该彼此相似,而属于不同组的样本应该足够不相似。 三种分析方法既有区别也有联系,本文力图将三者的异同进行比较,并举例说明三者在实际应用中的联系,以期为更好地利用这些高级统计方法为研究所用有所裨益. 二、基本思想的异同 （一) 共同点 主成分分析法和因子分析法都是用少数的几个变量(因子）来综合反映原始变量(因子) 的主要信息,变量虽然较原始变量少，但所包含的信息量却占原始信息的85 ％以上,所以即使用少数的几个新变量,可信度也很高，也可以有效地解释问题。并且新的变量彼此间互不相关,消除了多重共线性。这两种分析法得出的新变量,并不是原始变量筛选后剩余的变量。在主成分分析中,最终确定的新变量是原始变量的线性组合,如原始变量为x1 ，x2 ，。。. ，x3 ，经过坐标变换，将原有的p个相关变量xi 作线性变换,每个主成分都是由原有p 个变量线性组合得到。在诸多主成分Zi 中,Z1 在方差中占的比重最大,说明它综合原有变量的能力最强,越往后主成分在方差中的比重也小，综合原信息的能力越弱.因子分析是要利用少数几个公共因子去解释较多个要观测变量中存在的复杂关系，它不是对原始变量的重新组合，而是对原始变量进行分解,分解为公共因子与特殊因子两部分。公共因子是由所有变量共同具有的少数几个因子；特殊因子是每个原始变量独自具有的因子.对新产生的主成分变量及因子变量计算其得分,就可以将主成分得分或因子得分代替原始变量进行进一步的分析，因为主成分变量及因子变量比原始变量
主成分分析，聚类分析，因子分析的基本思想以及他们各自的优缺点。 主成分分析就是将多项指标转化为少数几项综合指标,用综合指标来解释多变量的方差- 协方差结构。综合指标即为主成分。所得出的少数几个主成分，要尽可能多地保留原始变量的信息，且彼此不相关。 因子分析是研究如何以最少的信息丢失，将众多原始变量浓缩成少数几个因子变量，以及如何使因子变量具有较强的可解释性的一种多元统计分析方法。 聚类分析是依据实验数据本身所具有的定性或定量的特征来对大量的数据进行分组归类以了解数据集的内在结构，并且对每一个数据集进行描述的过程。其主要依据是聚到同一个数据集中的样本应该彼此相似，而属于不同组的样本应该足够不相似。 三种分析方法既有区别也有联系，本文力图将三者的异同进行比较，并举例说明三者在实际应用中的联系,以期为更好地利用这些高级统计方法为研究所用有所裨益。 二、基本思想的异同 (一) 共同点 主成分分析法和因子分析法都是用少数的几个变量(因子) 来综合反映原始变量(因子) 的主要信息，变量虽然较原始变量少，但所包含的信息量却占原始信息的85 %以上，所以即使用少数的几个新变量，可信度也很高，也可以有效地解释问题。并且新的变量彼此间互不相关，消除了多重共线性。这两种分析法得出的新变量，并不是原始变量筛选后剩余的变量。在主成分分析中，最终确定的新变量是原始变量的线性组合，如原始变量为x1 ，x2 ，. . . ，x3 ，经过坐标变换，将原有的p个相关变量xi 作线性变换，每个主成分都是由原有p 个变量线性组合得到。在诸多主成分Zi 中，Z1 在方差中占的比重最大，说明它综合原有变量的能力最强，越往后主成分在方差中的比重也小，综合原信息的能力越弱。因子分析是要利用少数几个公共因子去解释较多个要观测变量中存在的复杂关系，它不是对原始变量的重新组合，而是对原始变量进行分解，分解为公共因子与特殊因子两部分。公共因子是由所有变量共同具有的少数几个因子；特殊因子是每个原始变量独自具有的因子。对新产生的主成分变量及因子变量计算其得分，就可以将主成分得分或因子得分代替原始变量进行进一步的分析，因为主成分变量及因子变量比原始变量少了许多，所以起到了降维的作用，为我们处理数据降低了难度。 聚类分析的基本思想是: 采用多变量的统计值，定量地确定相互之间的亲疏关系，考虑对象多因素的联系和主导作用，按它们亲疏差异程度，归入不同的分类中一元，使分类更具客观实际并能反映事物的内在必然联系。也就是说，聚类分析是把研究对象视作多维空间中的许多点，并合理地分成若干类，因此它是一种根据变量域之间的相似性而逐步归群成类的方法，它能客观地反映这些变量或区域之间的内在组合关系[3 ]。聚类分析是通过一个大的对称矩阵来探索相关关系的一种数学分析方法，是多元统计分析方法，分析的结果为群集。对向量聚类后，我们对数据的处理难度也自然降低，所以从某种意义上说，聚类分析也起到了降维的作用。 (二) 不同之处
主成分分析聚类分析因子分析的基本思想及优缺点 1.降维：主成分分析可以将高维数据降维到较低维，便于数据的可视 化和理解。 2.信息损失小：主成分保留了原始数据中大部分的方差，意味着经过 主成分分析后的数据仍然能够保持原始数据的重要信息。 3.无假设性：主成分分析不需要对数据做出任何假设，适用于不同类 型的数据。 1.可能丢失一些重要信息：虽然主成分保留了原始数据中大部分的方差，但也有可能丢失一些重要的信息。 2.对异常值敏感：主成分分析对异常值敏感，当数据中存在异常值时，可能对主成分的计算产生较大的影响。 3.需要进行数据标准化：主成分分析基于协方差矩阵或相关系数矩阵，因此需要对数据进行标准化处理，使得不同变量具有相同的尺度。 聚类分析（Cluster Analysis）是一种无监督学习方法，主要用于将 数据样本划分为不同的群组或簇。其基本思想是通过计算样本之间的相似 度或距离，将相似的样本归为一类。 聚类分析的步骤包括：选择聚类算法（如k-means、层次聚类等）， 计算样本之间的相似度或距离，将相似的样本归为一类。最后根据聚类结 果进行验证和解释。 聚类分析的优点包括： 1.无监督学习：聚类分析是一种无监督学习方法，不需要事先对数据 进行标记或分类，适用于没有先验知识的数据。
2.发现隐藏模式：聚类分析能够发现数据中的潜在模式和相似性，有 助于研究人员对数据进行探索和发现新的知识。 3.可解释性：聚类分析结果易于解释和理解，能够提供数据的直观结构。 聚类分析的缺点包括： 1.对初始点敏感：聚类分析的结果可能受到初始点的选择影响，不同 的初始点可能得到不同的聚类结果。 2.高维数据困难：当数据维度较高时，聚类分析面临“维度灾难”问题，会导致聚类结果不稳定或低效。 3.人为定制参数：聚类分析中需要选择合适的聚类数目、距离度量等 参数，这些参数的选择可能会影响聚类结果。 因子分析（Factor Analysis）是一种统计方法，用于研究观测变量 背后的潜在因子结构。其基本思想是将多个相关的观测变量解释为少数几 个潜在因子的线性组合，从而降低变量的维度。 因子分析的步骤包括：确定潜在因子的个数，计算观测变量的协方差 矩阵或相关系数矩阵，通过矩阵分解得到因子载荷矩阵，最后根据因子载 荷矩阵解释观测变量。 因子分析的优点包括： 1.降维：因子分析可以将多个相关的观测变量降维，提取出其中的主 要信息，减少变量的数量。 3.提高数据解释性：因子分析可以用较少的因子解释观测变量的方差，提高数据的解释性和可理解性。
主成分分析就是将多项指标转化为少数几项综合指标,用综合指标来解释多变量的方差- 协方差结构。综合指标即为主成分。所得出的少数几个主成分，要尽可能多地保留原始变量的信息，且彼此不相关。 因子分析是研究如何以最少的信息丢失，将众多原始变量浓缩成少数几个因子变量，以及如何使因子变量具有较强的可解释性的一种多元统计分析方法。 聚类分析是依据实验数据本身所具有的定性或定量的特征来对大量的数据迚行分组归类以了解数据集的内在结构，并且对每一个数据集迚行描述的过程。其主要依据是聚到同一个数据集中的样本应该彼此相似，而属于不同组的样本应该足够不相似。 三种分析方法既有区别也有联系，本文力图将三者的异同迚行比较，并举例说明三者在实际应用中的联系,以期为更好地利用这些高级统计方法为研究所用有所裨益。 二、基本思想的异同 （一）共同点主成分分析法和因子分析法都是用少数的几个变量（因子）来综合反映原始变量（因子）的主要信息，变量虽然较原始变量少，但所包含的信息量却占原始信息的85 % 以上，所以即使用少数的几个新变量，可信度也很高，也可以有效地解释问题。并且新的变量彼此间互不相关，消除了多重共线性。这两种分析法得出的新变量，并不是原始变量筛选后剩余的变量。在主成分分析中，最终确定的新变量是原始变量的线性组合，如原始变量为x1 ，x2 , ,x3 ,经过坐标变换，将原有的p个相关变量xi作线性变换， 每个主成分都是由原有p 个变量线性组合得到。在诸多主成分Zi 中，Z1 在方差中占的比重最大，说明它综合原有变量的能力最强，越往后主成分在方差中的比重也小，综合原信息的能力越弱。因子分析是要利用少数几个公共因子去解释较多个要观测变量中存在的复杂关系，它不是对原始变量的重新组合，而是对原始变量迚行分解，分解为公共因子与特殊因子两部分。公共因子是由所有变量共同具有的少数几个因子；特殊因子是每个原始变量独自具有的因子。对新产生的主成分变量及因子变量计算其得分，就可以将主成分得分或因子得分代替原始变量迚行迚一步的分析，因为主成分变量及因子变量比原始变量少了许多，所以起到了降维的作用，为我们处理数据降低了难度。
欢迎共阅 主成分分析：利用降维（线性变换)的思想，在损失很少信息的前提下把多个指标转化为几个综合指标（主成分),用综合指标来解释多变量的方差- 协方差结构，即每个主成分都是原始变量的线性组合,且各个主成分之间互不相关,使得主成分比原始变量具有某些更优越的性能（主成分必须保留原始变量90%以上的信息），从而达到简化系统结构，抓住问题实质的目的综合指标即为主成分。 求解主成分的方法：从协方差阵出发（协方差阵已知），从相关阵出发（相关阵R已知）。 相似。 常用聚类方法：系统聚类法，K-均值法，模糊聚类法，有序样品的聚类，分解法，加入法。注意事项：1. 系统聚类法可对变量或者记录进行分类，K-均值法只能对记录进行分类； 2. K-均值法要求分析人员事先知道样品分为多少类； 3. 对变量的多元正态性，方差齐性等要求较高。 应用领域：细分市场，消费行为划分，设计抽样方案等
优点：聚类分析模型的优点就是直观，结论形式简明。 缺点：在样本量较大时，要获得聚类结论有一定困难。由于相似系数是根据被试的反映来建立反映被试间内在联系的指标，而实践中有时尽管从被试反映所得出的数据中发现他们之间有紧密的关系，但事物之间却无任何内在联系，此时，如果根据距离或相似系数得出聚类分析的结果，显然是不适当的，但是，聚类分析模型本身却无法识别这类错误。 因子分析：利用降维的思想，由研究原始变量相关矩阵内部的依赖关系出发，把一些具有错 会出现问题）； 3. 各解释变量之间服从多元正态分布（不符合时，可使用Logistic回归替代），且各组解释变量的协方差矩阵相等（各组协方方差矩阵有显着差异时，判别函数不相同）。 4. 相对而言，即使判别函数违反上述适用条件，也很稳健，对结果影响不大。 应用领域：对客户进行信用预测，寻找潜在客户（是否为消费者，公司是否成功，学生是否被录用等等），临床上用于鉴别诊断。
主成分分析、因子分析、聚类分析等区 别 主成分分析、因子分析、聚类分析等区别2011-05-24 16：28因子分析法 的意义： 对于某个要研究的问题，往往希望尽可能多地收集相关变量，以期能对问 题有比较全面、完整的解释。但是多个变量之间往往会存在相关性，在多元线 性回归分析中，多个解释变量出现相关性就会产生多重共线性问题，这样会给 回归方程带来许多麻烦，为了解决此问题最简单方法就是削减变量个数，但这 样必然会导致信息丢失和信息不全面的问题，为此人们要寻找一种更为合理的 解决办法，它即能大大地减少参与数据建模的变量个数，同时不会造成信息的 大量丢失。因子分析正是这样一种能够有效降低变量个数，并没有过多地丢失 信息的分析方法 主成分分析是从诸多变量中选取主要变量，删掉次要解释变量。 因子分析是从诸多变量中归纳公共因子，这个公共因子是通过归纳几个相 关原变量而成的，比如偿债能力(公共因子)是由流动比率，长期负债率等原始 变量归纳而成。 聚类分析是将变量数据输入后归入相关类别。 主成分分析就是将多项指标转化为少数几项综合指标,用综合指标来解释多变量的方差-协方差结构。综合指标即为主成分。所得出的少数几个主成分，要尽可能多地保留原始变量的信息，且彼此不相关。 因子分析是研究如何以最少的信息丢失，将众多原始变量浓缩成少数几个 因子变量，以及如何使因子变量具有较强的可解释性的一种多元统计分析方法。 聚类分析是依据实验数据本身所具有的定性或定量的特征来对大量的数据 进行分组归类以了解数据集的内在结构，并且对每一个数据集进行描述的过程。
其主要依据是聚到同一个数据集中的样本应该彼此相似，而属于不同组的样本应该足够不相似。 三种分析方法既有区别也有联系，本文力图将三者的异同进行比较，并举例说明三者在实际应用中的联系,以期为更好地利用这些高级统计方法为研究所用有所裨益。 二、基本思想的异同 一共同点 主成分分析法和因子分析法都是用少数的几个变量因子来综合反映原始变量因子的主要信息，变量虽然较原始变量少，但所包含的信息量却占原始信息的85%以上，所以即使用少数的几个新变量，可信度也很高，也可以有效地解释问题。并且新的变量彼此间互不相关，消除了多重共线性。这两种分析法得出的新变量，并不是原始变量筛选后剩余的变量。在主成分分析中，最终确定的新变量是原始变量的线性组合，如原始变量为x1，x2，x3，经过坐标变换，将原有的p个相关变量xi作线性变换，每个主成分都是由原有p个变量线性组合得到。在诸多主成分Zi中，Z1在方差中占的比重最大，说明它综合原有变量的能力最强，越往后主成分在方差中的比重也小，综合原信息的能力越弱。因子分析是要利用少数几个公共因子去解释较多个要观测变量中存在的复杂关系，它不是对原始变量的重新组合，而是对原始变量进行分解，分解为公共因子与特殊因子两部分。公共因子是由所有变量共同具有的少数几个因子；特殊因子是每个原始变量独自具有的因子。对新产生的主成分变量及因子变量计算其得分，就可以将主成分得分或因子得分代替原始变量进行进一步的分析，因为主成分变量及因子变量比原始变量少了许多，所以起到了降维的作用，为我们处理数据降低了难度。 聚类分析的基本思想是采用多变量的统计值，定量地确定相互之间的亲疏关系，考虑对象多因素的联系和主导作用，按它们亲疏差异程度，归入不同的分类中一元，使分类更具客观实际并能反映事物的内在必然联系。也就是说，聚类分析是把研究对象视作多维空间中的许多点，并合理地分成若干类，因此它是一种根据变量域之间的相似性而逐步归群成类的方法，它能客观地反映这些变量或区域之间的内在组合关系。聚类分析是通过一个大的对称矩阵来探索
主成分分析聚类分析 主成分分析：利用降维（线性变换）的思想,在损失很少信息的前提 下把多个指标转化为几个综合指标（主成分）,用综合指标来解释多变量 的方差-协方差结构，即每个主成分都是原始变量的线性组合,且各个主成 分之间互不相关,使得主成分比原始变量具有某些更优越的性能（主成分 必须保留原始变量90％以上的信息），从而达到简化系统结构，抓住问 题实质的目的综合指标即为主成分. 优点：首先它利用降维技术用少数几个综合变量来代替原始多个变量，这些综合变量集中了原始变量的大部分信息.其次它通过计算综合主成分 函数得分,对客观经济现象进行科学评价。再次它在应用上侧重于信息贡 献影响力综合评价。 缺点:当主成分的因子负荷的符号有正有负时，综合评价函数意义就 不明确.命名清晰性低. 聚类分析：将个体（样品）或者对象（变量）按相似程度（距离远近）划分类别，使得同一类中的元素之间的相似性比其他类的元素的相似性更强.目的在于使类间元素的同质性最大化和类与类间元素的异质性最大化. 。其主要依据是聚到同一个数据集中的样本应该彼此相似，而属于不 同组的样本应该足够不相似。 常用聚类方法：系统聚类法，K—均值法，模糊聚类法，有序样品的 聚类，分解法，加入法. 注意事项：1。系统聚类法可对变量或者记录进行分类，K—均值法只 能对记录进行分类;
2.K—均值法要求分析人员事先知道样品分为多少类; 3。对变量的多元正态性,方差齐性等要求较高。 应用领域：细分市场，消费行为划分，设计抽样方案等。 因子分析:利用降维的思想,由研究原始变量相关矩阵内部的依赖关系出发,把一些具有错综复杂关系的变量归结为少数几个综合因子。（因子分析是主成分的推广，相对于主成分分析，更倾向于描述原始变量之间的相关关系），就是研究如何以最少的信息丢失，将众多原始变量浓缩成少数几个因子变量,以及如何使因子变量具有较强的可解释性的一种多元统计分析方法. 求解因子载荷的方法：主成分法，主轴因子法,极大似然法，最小二乘法，a因子提取法. 注意事项：5。因子分析中各个公共因子之间不相关，特殊因子之间不相关，公共因子和特殊因子之间不相关。 应用领域：解决共线性问题,评价问卷的结构效度，寻找变量间潜在的结构，内在结构证实. 优点:第一它不是对原有变量的取舍，而是根据原始变量的信息进行重新组合，找出影响变量的共同因子，化简数据；第二,它通过旋转使得因子变量更具有可解释性，命名清晰性高。 缺点：在计算因子得分时，采用的是最小二乘法，此法有时可能会失效.
主成分分析,聚类分析,因子分析的基本思想以及他 们各自的优缺点。 主成分分析就是将多项指标转化为少数几项综合指标,用综合指标来解释多变量的方差- 协方差结构。综合指标即为主成分。所得出的少数几个主成分,要尽可能多地保留原始变量的信息,且彼此不相关。 因子分析是研究如何以最少的信息丢失,将众多原始变量浓缩成少数几个因子变量,以及如何使因子变量具有较强的可解释性的一种多元统计分析方法。 聚类分析是依据实验数据本身所具有的定性或定量的特征来对大量的数据进行分组归类以了解数据集的内在结构,并且对每一个数据集进行描述的过程。其主要依据是聚到同一个数据集中的样本应该彼此相似,而属于不同组的样本应该足够不相似。 三种分析方法既有区别也有联系,本文力图将三者的异同进行比较,并举例说明三者在实际应用中的联系,以期为更好地利用这些高级统计方法为研究所用有所裨益。 二、基本思想的异同 (一) 共同点 主成分分析法和因子分析法都是用少数的几个变量(因子) 来综合反映原始变量(因子) 的主要信息,变量虽然较原始变量少,但所包含的信息量却占原始信息的85 %以上,所以即使用少数的几个新变量,可信度也很高,也可以有效地解释问题。并且新的变量彼此间互不相关,消除了多重共线性。这两种分析法得出的新变量,并不是原始变量筛选后剩余的变量。在主成分分析中,最终确定的新变量是原始变量的线性组合,如原始变量为x1 ,x2 ,. . . ,x3 ,经过坐标变换,将原有的p个相关变量xi 作线性变换,每个主成分都是由原有p 个变量线性组合得到。在诸多主成
分Zi 中,Z1 在方差中占的比重最大,说明它综合原有变量的能力最强,越往后主成分在方差中的比重也小,综合原信息的能力越弱。因子分析是要利用少数几个公共因子去解释较多个要观测变量中存在的复杂关系,它不是对原始变量的重新组合,而是对原始变量进行分解,分解为公共因子与特殊因子两部分。公共因子是由所有变量共同具有的少数几个因子;特殊因子是每个原始变量独自具有的因子。对新产生的主成分变量及因子变量计算其得分,就可以将主成分得分或因子得分代替原始变量进行进一步的分析,因为主成分变量及因子变量比原始变量少了许多,所以起到了降维的作用,为我们处理数据降低了难度。 聚类分析的基本思想是: 采用多变量的统计值,定量地确定相互之间的亲疏关系,考虑对象多因素的联系和主导作用,按它们亲疏差异程度,归入不同的分类中一元,使分类更具客观实际并能反映事物的内在必然联系。也就是说,聚类分析是把研究对象视作多维空间中的许多点,并合理地分成若干类,因此它是一种根据变量域之间的相似性而逐步归群成类的方法,它能客观地反映这些变量或区域之间的内在组合关系[3 ]。聚类分析是通过一个大的对称矩阵来探索相关关系的一种数学分析方法,是多元统计分析方法,分析的结果为群集。对向量聚类后,我们对数据的处理难度也自然降低,所以从某种意义上说,聚类分析也起到了降维的作用。 (二) 不同之处 主成分分析是研究如何通过少数几个主成分来解释多变量的方差一协方差结构的分析方法,也就是求出少数几个主成分(变量) ,使它们尽可能多地保留原始变量的信息,且彼此不相关。它是一种数学变换方法,即把给定的一组变量通过线性变换,转换为一组不相关的变量(两两相关系数为0 ,或样本向量彼此相互垂直的随机变量) ,在这种变换中,保持变量的总方差(方差之和) 不变,同时具有最大方差,称为第一主成分;具有次大方差,称为第二主成分。依次类推。若共有p 个变量,实际应用中一般不是找p 个主成分,而是找出m (m < p) 个主成分就够了,只要这m 个主成分能反映原来所有变量的绝大部分的方差。主成分分析可以作为因子分析的一种方法出现。
主成分分析：利用降维（线性变换)的思想，在损失很少信息的前提下把多个指标转化为几个综合指标（主成分),用综合指标来解释多变量的方差- 协方差结构，即每个主成分都是原始变量的线性组合,且各个主成分之间互不相关,使得主成分比原始变量具有某些更优越的性能（主成分必须保留原始变量90%以上的信息），从而达到简化系统结构，抓住问题实质的目的综合指标即为主成分。 求解主成分的方法：从协方差阵出发（协方差阵已知），从相关阵出发（相关阵R已知）。 （实际研究中，总体协方差阵及相关阵是未知的，必须通过样本数据来估计） 注意事项：1. 由协方差阵出发及由相关阵出发求解主成分所得结果不一致时，要恰当的选取某一种方法； 2. 对于度量单位或是取值范围在同量级的数据，可直接求协方差阵；对于度量单位不同的指标或是取值范围彼此差异非常大的指标，应考虑将数据标准化，再由协方差阵求主成分； 3.主成分分析不要求数据来源于正态分布； 4. 在选取初始变量进入分析时应该特别注意原始变量是否存在多重共线性的问题（最小特征根接近于零，说明存在多重共线性问题）。 优点：首先它利用降维技术用少数几个综合变量来代替原始多个变量，这些综合变量集中了原始变量的大部分信息。其次它通过计算综合主成分函数得分，对客观经济现象进行科学评价。再次它在应用上侧重于信息贡献影响力综合评价。
缺点：当主成分的因子负荷的符号有正有负时，综合评价函数意义就不明确。命名清晰性低。 聚类分析：将个体（样品）或者对象（变量）按相似程度（距离远近）划分类别，使得同一类中的元素之间的相似性比其他类的元素的相似性更强。目的在于使类间元素的同质性最大化和类及类间元素的异质性最大化。 。其主要依据是聚到同一个数据集中的样本应该彼此相似，而属于不同组的样本应该足够不相似。 常用聚类方法：系统聚类法，K-均值法，模糊聚类法，有序样品的聚类，分解法，加入法。 注意事项：1. 系统聚类法可对变量或者记录进行分类，K-均值法只能对记录进行分类； 2. K-均值法要求分析人员事先知道样品分为多少类； 3. 对变量的多元正态性，方差齐性等要求较高。 应用领域：细分市场，消费行为划分，设计抽样方案等 优点：聚类分析模型的优点就是直观，结论形式简明。 缺点：在样本量较大时，要获得聚类结论有一定困难。由于相似系数是根据被试的反映来建立反映被试间内在联系的指标，而实践中有时尽管从被试反映所得出的数据中发现他们之间有紧密的关系，但事物之间却无任何
主成分分析：利用降维（线性变换）的思想，在损失很少信息的前提下把多个指标转化为几个综合指标（主成分），用综合指标来解释多变量的方差・协方差结构，即每个主成分都是原始变量的线性组介，且％个主成分之间互不相关，使得主成分比原始变量具有某些更优越的性能（主成分必须保留原始变量90%以上的信息），从而达到简化系统结构，抓住问题实质的目的综合指标即为主成分。 求解主成分的方法：从协方差阵出发（协方差阵已知），从相关阵出发（相关阵R 已知）。 （实际研究中，总体协方差阵及相关阵是未知的，必须通过样本数据来估计） 注意事项：1.由协方差阵出发及由相关阵出发求解主成分所得结果不一致时，要恰当的选取某一种方法； 2.对于度量单位或是取值范围在同量级的数据，可直接求协方差阵；对于度量单位不同的指标或是取值范围彼此差异非常大的指标，应考虑将数据标准化，再由协方差阵求主成分； 3.主成分分析不要求数据来源于正态分布； 4.在选取初始变量进入分析时应该特别注意原始变量是否存在多重共线性的问题（最小特征根接近于零，说明存在多重共线性问题）。 优点：首先它利用降维技术用少数儿个综合变量来代替原始多个变量，这些综合变量集中了原始变量的大部分信息。其次它通过计算综合主成分函数得分，对客观经济现象进行科学评价。再次它在应用上侧重于信息贡献影响力综合评价。 缺点：当主成分的因子负荷的符号有正有负时，综合评价函数意义就不明确。命名清晰性低。
聚类分析：将个体（样品）或者对象（变量）按相似程度（距离远近）划分类別，使得同一类中的元素之间的相似性比其他类的元素的相似性更强。目的在于使类间元素的同质性最大化和类及类间元素的异质性最大化。 。其主要依据是聚到同一个数据集中的样本应该彼此相似，而属于不同组的样本应该足够不相似。 常用聚类方法：系统聚类法，K-均值法，模糊聚类法，有序样品的聚类，分解法，加入法。 注意事项：1.系统聚类法可对变量或者记录进行分类，K-均值法只能对记录进行分类； 2.K-均值法要求分析人员事先知道样品分为多少类； 3.对变量的多元正态性，方差齐性等要求较高。 应用领域：细分市场，消费行为划分，设计抽样方案等 优点：聚类分析模型的优点就是直观，结论形式简明。 缺点：在样本量较大时，要获得聚类结论有一定困难。由于相似系数是根据被试的反映来建立反映被试间内在联系的指标，而实践中有时尽管从被试反映所得出的数据中发现他们之间有紧密的关系，但事物之间却无任何内在联系，此时，如果根据距离或相似系数得出聚类分析的结果，显然是不适当的，但是，聚类分析模型本身却无法识別这类错误。 因子分析：利用降维的思想，由研究原始变量相关矩阵内部的依赖关系出发，把一些
主成分分析与因子分析 的优缺点 本页仅作为文档封面，使用时可以删除 This document is for reference only-rar21year.March
主成分分析就是将多项指标转化为少数几项综合指标,用综合指标来解释多变量的方差- 协方差结构.综合指标即为主成分.所得出的少数几个主成分,要尽可能多地保留原始变量的信息,且彼此不相关. 因子分析是研究如何以最少的信息丢失,将众多原始变量浓缩成少数几个因子变量,以及如何使因子变量具有较强的可解释性的一种多元统计分析方法. 聚类分析是依据实验数据本身所具有的定性或定量的特征来对大量的数据进行分组归类以了解数据集的内在结构,并且对每一个数据集进行描述的过程.其主要依据是聚到同一个数据集中的样本应该彼此相似,而属于不同组的样本应该足够不相似. 三种分析方法既有区别也有联系,本文力图将三者的异同进行比较,并举例说明三者在实际应用中的联系,以期为更好地利用这些高级统计方法为研究所用有所裨益. 二、基本思想的异同 (一) 共同点 主成分分析法和因子分析法都是用少数的几个变量(因子) 来综合反映原始变量(因子) 的主要信息,变量虽然较原始变量少,但所包含的信息量却占原始信息的85 %以上,所以即使用少数的几个新变量,可信度也很高,也可以有效地解释问题.并且新的变量彼此间互不相关,消除了多重共线性.这两种分析法得出的新变量,并不是原始变量筛选后剩余的变量.在主成分分析中,最终确定的新变量是原始变量的线性组合,如原始变量为x1 ,x2 ,. . . ,x3 ,经过坐标变换,将原有的p个相关变量xi 作线性变换,每个主成分都是由原有p 个变量线性组合得到.在诸多主成分Zi 中,Z1 在方差中占的比重最大,说明它综合原有变量的能力最强,越往后主成分在方差中的比重也小,综合原信息的能力越弱.因子分析是要利用少数几个公共因子去解释较多个要观测变量中存在的复杂关系,它不是对原始变量的重新组合,而是对原始变量进行分解,分解为公共因子与特殊因子两部分.公共因子是由所有变量共同具有的少数几个因子；特殊因子是每个原始变量独自具有的因子.对新产生的主成分变量及因子变量计算其得分,就可以将主成分得分或因子得分代替原始变量进行进一步的分析,因为主成分变量及因子变量比原始变量少了许多,所以起到了降维的作用,为我们处理数据降低了难度. 聚类分析的基本思想是: 采用多变量的统计值,定量地确定相互之间的亲疏关系,考虑对象多因素的联系和主导作用,按它们亲疏差异程度,归入不同的分类中一元,使分类更具客观实际并能反映事物的内在必然联系.也就是说,聚类分析是把研究对象视作多维空间中的许多点,并合理地分成若干类,因此它是一种根据变量域之间的相似性而逐步归群成类的方法,它能客观地反映这些变量或区域之间的内在组合关系[3 ].聚类分析是通过一个大的对称矩阵来探索相关关系的一种数学分析方法,是多元统计分析方法,分析的结果为群集.对向量聚类后,我们对数据的处理难度也自然降低,所以从某种意义上说,聚类分析也起到了降维的作用. (二) 不同之处 主成分分析是研究如何通过少数几个主成分来解释多变量的方差一协方差结构的分析方法,也就是求出少数几个主成分(变量) ,使它们尽可能多地保留原始变量的信息,且彼此不相关.它是一种数学变换方法,即把给定的一组变量通过线性变换,转换为一组不相关的变量(两两相关系数为0 ,或样本向量彼此相互垂直的随机变量) ,在这种变换中,保持变量的总方差(方差之和) 不变,同时具有最大方差,称为第一主成分；具有次大方差,称为第二主成分.依次类推.若共有p 个变量,实际应用中一般不是找p 个主成分,而是找出m (m < p) 个主成分就够了,只要这m