多元统计分析-第5章-聚类分析

1聚类分析内涵1.1聚类分析定义聚类分析（Cluste.Analysis）是一组将研究对象分为相对同质的群组(clusters)的统计分析技术.也叫分类分析(classificatio.analysis)或数值分类(numerica.taxonomy), 它是研究（样品或指标）分类问题的一种多元统计方法, 所谓类, 通俗地说, 就是指相似元素的集合。

聚类分析有关变量类型:定类变量,定量(离散和连续)变量聚类分析的原则是同一类中的个体有较大的相似性, 不同类中的个体差异很大。

1.2聚类分析分类聚类分析的功能是建立一种分类方法, 它将一批样品或变量, 按照它们在性质上的亲疏、相似程度进行分类.聚类分析的内容十分丰富, 按其聚类的方法可分为以下几种:(1)系统聚类法: 开始每个对象自成一类, 然后每次将最相似的两类合并, 合并后重新计算新类与其他类的距离或相近性测度. 这一过程一直继续直到所有对象归为一类为止. 并类的过程可用一张谱系聚类图描述.(2)调优法(动态聚类法): 首先对n个对象初步分类, 然后根据分类的损失函数尽可能小的原则对其进行调整, 直到分类合理为止.(3)最优分割法(有序样品聚类法): 开始将所有样品看成一类, 然后根据某种最优准则将它们分割为二类、三类, 一直分割到所需的K类为止. 这种方法适用于有序样品的分类问题, 也称为有序样品的聚类法.(4)模糊聚类法: 利用模糊集理论来处理分类问题, 它对经济领域中具有模糊特征的两态数据或多态数据具有明显的分类效果.(5)图论聚类法: 利用图论中最小支撑树的概念来处理分类问题, 创造了独具风格的方法.(6)聚类预报法：利用聚类方法处理预报问题, 在多元统计分析中, 可用来作预报的方法很多, 如回归分析和判别分析. 但对一些异常数据, 如气象中的灾害性天气的预报, 使用回归分析或判别分析处理的效果都不好, 而聚类预报弥补了这一不足, 这是一个值得重视的方法。

多元统计分析在统计学中，多元统计分析是一种研究多个变量之间关系的方法。

它是利用多个变量的观测值来对问题进行全面、综合的分析，从而揭示出变量之间的相互影响和作用机制。

多元统计分析能够准确地描述和解释变量之间的关系，为决策者提供有力的科学依据。

多元统计分析广泛应用于社会科学、经济学、医学、心理学等各个领域。

通过对多个变量进行统计分析，我们可以找到变量之间的关联，发现潜在的模式和规律。

这有助于我们更好地理解研究对象的特征和行为，为决策制定提供准确的预测和建议。

在多元统计分析中，常用的方法包括相关分析、回归分析、因子分析、聚类分析等。

相关分析是研究变量之间的关联性，通过计算相关系数来衡量变量之间的线性关系强度和方向。

回归分析则是研究因变量与自变量之间的关系，通过建立数学模型来进行预测和解释。

因子分析可以将一组相关变量简化为几个相互独立的维度，帮助我们观察变量之间的隐藏结构。

聚类分析则可以将观测样本根据相似性进行分类，发现样本之间的群体关系和特征。

多元统计分析的过程一般包括数据收集、数据预处理、变量选择、模型建立和结果解释等几个阶段。

数据收集是获取原始数据的过程，可以通过问卷调查、实验观测等方式进行。

数据预处理是对原始数据进行清洗、整编和转换，以便于分析和解释。

变量选择是根据研究目标和方法选择合适的变量进行分析。

模型建立是根据预设的理论框架和统计方法建立数学模型，进而进行统计分析。

结果解释是对统计结果进行解读和推断，将统计结论转化为实际问题的解决方案。

多元统计分析的优势在于它能够综合考虑多个变量之间的复杂关系。

相比于单变量分析，它能够提供更全面、准确的信息和结论。

例如，在市场研究中，我们可以利用多元统计分析来探索消费者的购买行为和喜好，从而制定有针对性的营销策略。

在医学研究中，多元统计分析可以帮助研究人员分析影响疾病风险的多个因素，为疾病预防和治疗提供科学依据。

然而，多元统计分析也存在一些局限性和挑战。

首先，多元统计分析要求样本数据的质量高，数据之间需要存在一定的相关性才能进行分析。

采用L1正则化，通过惩罚项来选择最重要 的自变量，实现特征选择和模型简化。
比较
应用场景
岭回归适用于所有自变量都对因变量有影 响的情况，而套索回归更适用于特征选择 和模型压缩。
适用于数据集较大、自变量之间存在多重 共线性的情况，如生物信息学数据分析、 市场细分等。
主成分回归与偏最小二乘回归
主成分回归
适用于自变量之间存在多重 共线性的情况，同时要求高 预测精度，如金融市场预测 、化学计量学等。
06 多元数据的典型相关分析
典型相关分析的基本思想
01
典型相关分析是一种研究多个 随机变量之间相关性的多元统 计分析方法。
02
它通过寻找一对或多个线性组 合，使得这些线性组合之间的 相关性达到最大或最小，从而 揭示多个变量之间的关系。
原理
基于最小二乘法原理，通过最小化预 测值与实际值之间的平方误差来估计 回归系数。
应用场景
适用于因变量与自变量之间存在线性 关系的情况，如预测房价、股票价格 等。
注意事项
需对自变量进行筛选和多重共线性诊 断，以避免模型的不稳定性和误差。
岭回归与套索回归
岭回归
套索回归
是一种用于解决多重共线性的回归方法， 通过引入一个小的正则化项来稳定系数估 计。
层次聚类
01
步骤
02
1. 将每个数据点视为一个独立的集群。
2. 计算任意两个集群之间的距离或相似度。
03
层次聚类
01 3. 将最相近的两个集群合并为一个新的集群。 02 4. 重复步骤2和3，直到满足终止条件（如达到预
设的集群数量或最大距离阈值）。
03 应用：适用于探索性数据分析，帮助研究者了解 数据的分布和结构。

32
组内平均连接法（Within-group Linkage)
d1d2d3d4d5d6 6
x11• x12•
x21• x22•
33
重心法(Centroid clustering)
以两类变量均值（重心）之间的距离作为类 间距离。
34
重心距离：均值点的距离
x1, y1
x2, y2
如，对经常购买酸奶的客户 对累计消费达到12个月的老客户
针对潜在客户派发广告，比在大街上乱发传 单命中率更高，成本更低！
5
聚类分析无处不在
谁是银行信用卡的黄金客户？
利用储蓄额、刷卡消费金额、诚信度等变量对客户分类， 找出“黄金客户”！
这样银行可以…… 制定更具吸引力的服务，留住客户！比如：
一定额度和期限的免息透支服务！ 赠送百盛的贵宾打折卡！ 在他或她生日的时候送上一个小蛋糕！
6
聚类的应用领域
经济领域：
帮助市场分析人员从客户数据库中发现不同的客户群，并且用购买 模式来刻画不同的客户群的特征。
谁喜欢打国际长途，在什么时间，打到那里？ 对住宅区进行聚类，确定自动提款机ATM的安放位置 股票市场板块分析，找出最具活力的板块龙头股 企业信用等级分类 ……
55
56
57
K均值聚类
Iterate and classify：不断计算新的类中心，替换旧的类中心。 Classify only：根据初始类中心进行聚类，不改变类中心。
58
59
60
61
62
63
例子2：土壤样本聚类分析
有20个土壤样本，利用含沙量、淤泥含量、 粘土含量、有机物、pH值5个变量的数据对 这20个土壤样本进行分类。