主成分分析和聚类分析

距离
1 | xi yi |
p i xi yi
类Gp与类Gq之间的距离Dpq (d(xi,xj)表示点xi∈ Gp和xj ∈ Gq之间的距离)
最短距离法:
最长距离法:
Dpq min d (xi , x j )
Dpq max d (xi , x j )
重心法:
Dpq

类平均法:
• 在饮料数据中，每种饮料都有四个变量值。这 就是四维空间点的问题了。
两个距离概念
• 按照远近程度来聚类需要明确两个概念： 一个是点和点之间的距离，一个是类和类 之间的距离。
• 点间距离有很多定义方式。最简单的是歐 氏距离。
• 当然还有一些和距离相反但起同样作用的 概念，比如相似性等，两点越相似度越大， 就相当于距离越短。
主成分分析除了可以单独用来处理上面所讨论的这一类问题外，还可以与其它方法结
合起来使用，例如与回归分析结合起来就是主成分回归，它可以克服回归问题中由于自变 量之间的高度相关而产生的分析困难。
2019/11/13
27
2 基本思想
主成分分析就是设法将原来众多具有一定相关性的指标(比如p个指标)，重新组合成一 组新的相互无关的综合指标来代替原来指标。通常数学上的处理就是将原来p个指标作线 性组合，作为新的综合指标，但是这种线性组合，如果不加限制，则可以有很多，我们应 该如何去选取呢?如果将选取的第一个线性组合即第一个综合指标记F1， 自然希望F1尽可 能多的反映原来指标的信息，这里的“信息”用什么来表达?最经典的方法就是用F1的方 差来表达，即Var(F1)越大，表示F1包含的信息越多。因此在所有的线性组合中所选取的F1 应该是方差最大的，故称F1为第一主成分。如果第一主成分不足以代表原来p个指标的信 息，再考虑选取 F 2 即选第二个线性组合，为了有效地反映原来信息， F1已有的信息就不 需要再出现在F2中，用数学

现代统计学1.因子分析(Faｃｔor Ａｎalysis)因子分析的基本目的就是用少数几个因子去描述许多指标或因素之间的联系，即将相关比较密切的几个变量归在同一类中，每一类变量就成为一个因子(之所以称其为因子,是因为它是不可观测的，即不是具体的变量），以较少的几个因子反映原资料的大部分信息.运用这种研究技术，我们可以方便地找出影响消费者购买、消费以及满意度的主要因素是哪些，以及它们的影响力（权重）运用这种研究技术，我们还可以为市场细分做前期分析。

2．主成分分析主成分分析主要是作为一种探索性的技术，在分析者进行多元数据分析之前,用主成分分析来分析数据,让自己对数据有一个大致的了解是非常重要的.主成分分析一般很少单独使用：a，了解数据。

(screeninｇ the daｔa)，b，和ｃｌuｓteｒ aｎaｌysｉs一起使用，c，和判别分析一起使用，比如当变量很多，个案数不多，直接使用判别分析可能无解,这时候可以使用主成份发对变量简化。

（ｒeduce dimensiｏｎality)d,在多元回归中,主成分分析可以帮助判断是否存在共线性(条件指数),还可以用来处理共线性。

主成分分析和因子分析的区别1、因子分析中是把变量表示成各因子的线性组合，而主成分分析中则是把主成分表示成个变量的线性组合。

2、主成分分析的重点在于解释个变量的总方差，而因子分析则把重点放在解释各变量之间的协方差。

３、主成分分析中不需要有假设(ａｓｓｕｍptions）,因子分析则需要一些假设。

因子分析的假设包括：各个共同因子之间不相关，特殊因子（speｃific fａct ｏr）之间也不相关，共同因子和特殊因子之间也不相关.４、主成分分析中，当给定的协方差矩阵或者相关矩阵的特征值是唯一的时候，的主成分一般是独特的；而因子分析中因子不是独特的,可以旋转得到不同的因子。

５、在因子分析中,因子个数需要分析者指定（spss根据一定的条件自动设定,只要是特征值大于1的因子进入分析),而指定的因子数量不同而结果不同。

主成分分析法一、主成分分析（principal components analysis ）也称为主分量分析，是由Holtelling 于1933年首先提出的。

主成分分析是利用降维的思想，把多指标转化为少数几个综合指标的多元统计分析方法。

二、应用背景：对同一个体进行多项观察时，必定涉及多个随机变量X1，X2，…，Xp ，它们都是相关的, 一时难以综合。

这时就需要借助主成分分析 (principal component analysis)来概括诸多信息的主要方面。

我们希望有一个或几个较好的综合指标来概括信息，而且希望综合指标互相独立地各代表某一方面的性质。

任何一个度量指标的好坏除了可靠、真实之外，还必须能充分反映个体间的变异。

如果有一项指标，不同个体的取值都大同小异，那么该指标不能用来区分不同的个体。

由这一点来看，一项指标在个体间的变异越大越好。

因此我们把“变异大”作为“好”的标准来寻求综合指标。

例1、考察对象股票业绩（这里单个股票为观察个体）。

（1）确定影响股票业绩主要因素：主营业务收入（X1），主营业务利润（X2）利润总额（X3），净利润（X4），总资产（X5），净资产（X6），净资产收益率（X7），每股权益（X8），每股收益（X9），每股公积金（X10），速动比率（X11）作为变量。

因此对单个股票来说，用11个随机变量综合刻化。

但这些因素过多，各因素区别不明显，有交叉反映。

通过主成分分析，可降为少数几个综合指标加以刻化。

（2）考察20支不同的股票。

从数学角度看，每种影响因素是随机变量（X i ），观察一支股票便得到影响该股票的11个随机变量取值；观察20支股票，便得到了20×11的原始数据阵X20×11（略）。

三、问题：作为主成分？严格的数学定义？相应的性质有哪些？主成分取多少？1、主成分的一般定义设有随机变量X1，X2，…，Xp ， 其样本均数记为1X ，2X ，…，p X，样本标准差记为S1，S2，…，Sp 。

信息分析主要方法
信息分析主要方法包括以下几种：
1. 统计分析：通过统计收集到的数据进行分析，包括描述统计和推断统计等方法。

描述统计包括频率分布、平均值、中位数、标准差等；推断统计包括假设检验、方差分析、回归分析等。

2. 主成分分析：通过将多个相关变量转化为少数几个不相关的主成分，来简化数据集并发现隐藏在数据背后的结构和关系。

主成分分析可以用于降维、数据压缩和特征提取等。

3. 聚类分析：将相似的对象划分到同一个簇中，不相似的对象划分到不同簇中，从而发现数据集中的内在结构和模式。

常见的聚类分析方法包括K均值聚类、层次聚类和密度聚类等。

4. 因子分析：通过观察多个变量之间的共同方差，将这些变量提取出几个潜在的因子，从而揭示出背后的潜在结构和关系。

因子分析可以用于数据降维、变量筛选和构建指标等。

5. 决策树分析：通过对数据集进行划分和分类，构建一棵决策树模型，并利用该模型对新的样本进行预测和分类。

决策树分析可以用于特征选择、模式识别和数据挖掘等。

6. 文本分析：对文本数据进行分析，包括文本分类、情感分析、文本聚类、关键词提取等。

文本分析可以用于媒体监测、舆情分析和用户评论分析等。

7. 时间序列分析：对时间序列数据进行模型建立和预测，揭示出数据的趋势、周期性和季节性等特征。

时间序列分析可以用于经济预测、股票价格预测和气象预测等。

8. 强化学习：基于环境和行动的交互，通过不断试错和学习来获得最优策略。

强化学习可以用于智能系统、自动驾驶和游戏策略等。

这些方法可以根据具体的问题和数据类型进行选择和应用，以提取和发现数据中的有用信息。