下载文档原格式
完整版数据挖掘中的聚类分析方法聚类分析方法是数据挖掘领域中常用的一种数据分析方法，它通过将数据样本分组成具有相似特征的子集，并将相似的样本归为一类，从而揭示数据中隐藏的模式和结构信息。
下面将从聚类分析的基本原理、常用算法以及应用领域等方面进行详细介绍。
聚类分析的基本原理聚类分析的基本原理是将数据样本分为多个类别或群组，使得同一类别内的样本具有相似的特征，而不同类别之间的样本具有较大的差异性。
基本原理可以总结为以下三个步骤：1.相似性度量：通过定义距离度量或相似性度量来计算数据样本之间的距离或相似度。
2.类别划分：根据相似性度量，将样本分组成不同的类别，使得同一类别内的样本之间的距离较小，不同类别之间的距离较大。
3.聚类评估：评估聚类结果的好坏，常用的评估指标包括紧密度、分离度和一致性等。
常用的聚类算法聚类算法有很多种，下面将介绍常用的几种聚类算法：1. K-means算法：是一种基于划分的聚类算法，首先通过用户指定的k值确定聚类的类别数，然后随机选择k个样本作为初始聚类中心，通过迭代计算样本到各个聚类中心的距离，然后将样本划分到距离最近的聚类中心对应的类别中，最后更新聚类中心，直至达到收敛条件。
2.层次聚类算法：是一种基于树状结构的聚类算法，将样本逐步合并到一个大的类别中，直至所有样本都属于同一个类别。
层次聚类算法可分为凝聚式（自底向上）和分裂式（自顶向下）两种。
凝聚式算法首先将每个样本作为一个初始的类别，然后通过计算样本之间的距离来逐步合并最近的两个类别，直至达到停止准则。
分裂式算法则是从一个包含所有样本的初始类别开始，然后逐步将类别分裂成更小的子类别，直至达到停止准则。
3. 密度聚类算法：是一种基于样本密度的聚类算法，通过在数据空间中寻找具有足够高密度的区域，并将其作为一个聚类。
DBSCAN （Density-Based Spatial Clustering of Applications with Noise）算法是密度聚类算法的代表，它通过定义距离和邻域半径来确定样本的核心点、边界点和噪声点，并通过将核心点连接起来形成聚类。
关于数据挖掘中的聚类分析聚类数据库中的记录可被化分为一系列有意义的子集，即聚类。
聚类增强了人们对客观现实的认识，是概念描述和偏差分析的先决条件。
聚类技术主要包括传统的模式识别方法和数学分类学。
80年代初，Mchalski提出了概念聚类技术牞其要点是，在划分对象时不仅考虑对象之间的距离，还要求划分出的类具有某种内涵描述，从而避免了传统技术的某些片面性。
统计分析（statistical analysis）常见的统计方法有回归分析（多元回归、自回归等）、判别分析（贝叶斯分析、费歇尔判别、非参数判别等）、聚类分析（系统聚类、动态聚类等）和探索性分析（主元分析法、相关分析法等）。
其处理过程可以分为三个阶段：搜集数据、分析数据和进行推理。
在整个过程中，聚类的依据是统计距离和相似系数。
如何度量距离的远近：统计距离和相似系数人工神经网络神经网络近来越来越受到人们的关注，因为它为解决大复杂度问题提供了一种相对来说比较有效的简单方法。
神经网络可以很容易的解决具有上百个参数的问题（当然实际生物体中存在的神经网络要比我们这里所说的程序模拟的神经网络要复杂的多）。
神经网络常用于两类问题：分类和回归。
在结构上，可以把一个神经网络划分为输入层、输出层和隐含层（见图4）。
输入层的每个节点对应一个个的预测变量。
输出层的节点对应目标变量，可有多个。
在输入层和输出层之间是隐含层（对神经网络使用者来说不可见），隐含层的层数和每层节点的个数决定了神经网络的复杂度。
除了输入层的节点，神经网络的每个节点都与很多它前面的节点（称为此节点的输入节点）连接在一起，每个连接对应一个权重Wxy，此节点的值就是通过它所有输入节点的值与对应连接权重乘积的和作为一个函数的输入而得到，我们把这个函数称为活动函数或挤压函数。
如图5中节点4输出到节点6的值可通过如下计算得到：W14*节点1的值+W24*节点2的值神经网络的每个节点都可表示成预测变量（节点1，2）的值或值的组合（节点3-6）。
数据挖掘中的聚类分析方法数据挖掘是一种通过智能计算和算法挖掘数据价值的技术。
而数据挖掘中的聚类分析方法则是其中的一个重要分支。
聚类分析是指将相似的数据组合在一起，不同的数据分开，形成不同的类别。
聚类分析在机器学习、数据分析、数据挖掘、图像处理等领域有广泛的应用。
本文将从聚类分析的定义、算法、分类等方面进行讲解。
一、聚类分析的定义聚类分析是一种无监督学习算法，它主要用于将样本根据各自的相似性分成若干类别。
聚类分析主要有两种方法：层次聚类和划分聚类。
层次聚类是一种自下而上的聚类方法，将每个样本视为一个初始聚类，然后将聚类依次合并，形成更大的聚类，直到所有样本都组成一个聚类。
层次聚类的结果是一个聚类树状结构，通过剪枝可以获得不同的聚类结果。
划分聚类是一种自上而下的聚类方法，将所有样本看作一个大的聚类，然后逐渐将其划分成更小的聚类，最终得到所需的聚类数目。
划分聚类主要有K均值聚类和高斯混合模型聚类二、聚类分析的算法(一) 层次聚类算法层次聚类常用的算法是自底向上的聚合算法和自顶向下的分裂算法。
自底向上的聚合算法是指先构造n个初始聚类，然后迭代合并最接近的两个聚类，直到达到某个停止条件。
这个停止条件可以是达到了所需的聚类数目，也可以是聚类之间距离的最大值。
自顶向下的分裂算法则是从所有样本开始，将其划分成两个聚类，然后逐步分裂聚类，得到所需的聚类数目。
(二) K均值聚类K均值聚类是一种划分聚类算法，它需要先指定K个聚类中心，然后根据距离来将样本点分配给不同的聚类中心。
然后将每个聚类内部的样本的均值作为该聚类的新中心，重新计算每个样本点和聚类中心的距离，直到聚类中心不再改变或达到一定的迭代次数。
K均值聚类的优势在于简单快速，具有很好的可扩展性和聚类效果。
但是这种算法需要预先确定聚类中心数，且对初始聚类中心的选择比较敏感。
(三) 高斯混合模型聚类高斯混合模型聚类是一种基于概率密度估计的算法，它假设每个聚类的密度函数是一个高斯分布。
第八章聚类分析设想要求对一个数据对象的集合进行分析，但与分类不同的是，它要划分的类是未知的。
聚类(clustering)就是将数据对象分组成为多个类或簇(cluster)，在同一个簇中的对象之间具有较高的相似度，而不同簇中的对象差别较大。
相异度是基于描述对象的属性值来计算的。
距离是经常采用的度量方式。
聚类分析源于许多研究领域，包括数据挖掘，统计学，生物学，以及机器学习。
在本章中，大家将了解基于大数据量上进行操作而对聚类方法提出的要求，将学习如何计算由各种属性和不同的类型来表示的对象之间的相异度。
还将学习几种聚类技术，它们可以分为如下几类：划分方法（partitioning method），层次方法(hierarchical method)，基于密度的方法(density-based method)，基于网格的方法(grid-based method)，和基于模型的方法(model-based method)。
本章最后讨论如何利用聚类方法进行孤立点分析(outlier detection)。
8．1 什么是聚类分析？将物理或抽象对象的集合分组成为由类似的对象组成的多个类的过程被称为聚类。
由聚类所生成的簇是一组数据对象的集合，这些对象与同一个簇中的对象彼此相似，与其他簇中的对象相异。
在许多应用中，一个簇中的数据对象可以被作为一个整体来对待。
聚类分析是一种重要的人类行为。
早在孩提时代，一个人就通过不断地改进下意识中的聚类模式来学会如何区分猫和狗，或者动物和植物。
聚类分析已经广泛地用在许多应用中，包括模式识别，数据分析，图像处理，以及市场研究。
通过聚类，一个人能识别密集的和稀疏的区域，因而发现全局的分布模式，以及数据属性之间的有趣的相互关系。
“聚类的典型应用是什么？”在商业上，聚类能帮助市场分析人员从客户基本库中发现不同的客户群，并且用购买模式来刻画不同的客户群的特征。
在生物学上，聚类能用于推导植物和动物的分类，对基因进行分类，获得对种群中固有结构的认识。
数据挖掘期末笔记总结数据挖掘是一门研究如何通过大规模数据进行知识发现和模型构建的学科。
它是人工智能、机器学习和数据库技术的交叉学科，涉及数据预处理、特征选择、模型建立和模型评估等方面。
数据挖掘的任务包括分类、聚类、关联规则挖掘、异常检测和时序预测等。
本次期末笔记总结将从数据预处理、特征选择、聚类、分类和模型评估等方面进行概括。
1. 数据预处理数据预处理是数据挖掘的第一步，目的是将原始数据转化为适合进行挖掘的数据。
数据预处理包括数据清洗、数据集成、数据转换和数据规约。
数据清洗主要是处理缺失值、噪声和异常值；数据集成是将多个数据源合并成一个一致的数据集；数据转换是将数据转化为适合挖掘算法的形式；数据规约是简化数据，提高计算效率。
2. 特征选择特征选择是从所有可能的特征中选择出有用的特征，用于构建模型或进行数据分析。
特征选择的方法包括过滤法、包裹法和嵌入法。
过滤法是通过计算特征与目标变量之间的相关性来选择特征；包裹法是通过构建模型来评估特征的重要性；嵌入法是将特征选择嵌入到模型训练过程中，根据特征的权重来选择特征。
3. 聚类聚类是将相似的数据对象分组到同一个簇中的过程。
聚类可以用于数据的探索性分析、异常检测和市场细分等任务。
常用的聚类算法包括K均值聚类、层次聚类和密度聚类。
K均值聚类是一种基于距离度量的聚类算法，将数据点划分到K个簇中，使得每个数据点到所属簇的质心的距离最小化；层次聚类是一种通过不断地合并和拆分簇来构建聚类层次结构的算法；密度聚类是一种通过计算数据点的密度来进行聚类的算法。
4. 分类分类是基于已有的类别标签训练模型，然后预测新样本的类别标签。
分类是监督学习的一种形式，常用的分类算法包括决策树、朴素贝叶斯、支持向量机和神经网络。
决策树通过将数据集划分为不同的子集来构建一个预测模型；朴素贝叶斯通过计算事件发生的先验概率和条件概率来进行分类；支持向量机通过寻找一个超平面来将不同类别的数据分隔开；神经网络通过多个神经元的连接和激活函数的计算来进行分类。
数据挖掘中的聚类分析与分类模型比较数据挖掘是一种通过自动或半自动的方法来发现数据模式、建立模型和进行预测的技术。
在数据挖掘的过程中，聚类分析和分类模型是两种重要的方法，它们在从数据中提取有用信息方面起到了关键作用。
本文将对这两种方法进行比较，探讨它们的优缺点及在实际应用中的差异。
一、聚类分析聚类分析是一种无监督学习的方法，它是指在没有预定义类别标签的情况下自动将数据分组或分类的方法。
聚类分析的目标是利用数据自身的特点将相似的数据点聚集在一起，不同的数据点被分成不同的类别。
聚类分析可以帮助我们发现数据中的隐藏模式和结构，进行数据的可视化和理解，识别异常值和离群点等。
聚类分析的优点：1.适用范围广：聚类分析可以适用于各种类型的数据，包括数值型数据、文本数据和图像数据等，因此在各个领域都有着广泛的应用。
2.无需先验知识：聚类分析不需要先验知识或者标签，它可以自动发现数据中的结构和模式，适用于未知的数据集。
3.可解释性强：聚类分析生成的结果是一组相互独立的类别，每个类别都有其特定的特征和属性，因此结果易于理解和解释。
聚类分析的缺点：1.结果不稳定：聚类分析的结果会受到初始化的影响，有时候可能会出现不稳定的情况，需要多次运行算法来得到稳定的结果。
2.难以确定聚类数目：在聚类分析中，通常需要指定聚类的数目，但是很难确定一个合适的聚类数目，这可能会影响聚类分析的结果。
3.对噪声和异常值敏感：聚类分析对数据中的噪声和异常值比较敏感，它可能会将这些噪声和异常值也划分到一个类别中，影响聚类的结果。
二、分类模型分类模型是一种监督学习的方法，它是指在有预定义类别标签的情况下建立模型，用来预测新数据点的类别标签。
分类模型的目标是根据已知的类别标签来训练模型，使其能够对未知数据进行分类。
分类模型可以帮助我们进行预测和决策，识别潜在的规律和模式，进行风险评估和市场分析等。
分类模型的优点：1.预测准确性高：分类模型可以利用已知的类别标签来建立模型，因此通常具有比较高的预测准确性，能够较好地进行分类。
分类和预测分类：根据训练数据集和类标号属性，构建模型来分类现有数据，并用来分类新数据预测：建立连续函数值模型，比如预测空缺值分类分为两步，第一步建立一个模型描述预定数据集，第二步使用模型对位置对象进行分类。
数据准备：1，数据清理2，数据相关性分析3，数据转换评价分类方法的标准：1，预测准确率2，速度3，强壮性4，可伸缩性，具有对大规模数据建立模型的能力5，可解释性，学习模型提供的理解和洞察的层析贝叶斯分类：Bayesian Theorem: ExampleLet X be a data sample whose class label is unknownLet H be a hypothesis that X belongs to class CFor classification problems, determine P(H|X): the probability that the hypothesis holds given the observed data sample XP(H): prior probability of hypothesis H (i.e. the initial probability before we observe any data, reflects the background knowledge)P(X): probability that sample data is observedP(X|H) : probability of observing the sample X, given that the hypothesis holdsX is a 35-year-old customer with an income of $40,000H is the hypothesis that our customer will buy a computerP(H|X) reflects the probability that customer X will buy a computer given that we know the customer’s age and incomeP(H) is the probability that any given customer will buy a computer, regardless of age, income, or any other informationP(X|H) is the probability that a customer, X, is 35 years old and earns $40,000, given that we know the customer will buy a computerP(X) is the probability that a person from our set of customers is 35 years old and earns $40,000 Given training data X, posteriori probability of a hypothesis H, P(H|X) follows the Bayes theorem Naive （朴素）Bayes Classifier（朴素的贝叶斯分类器）有点：快速，容易实施缺点：假设类之间是独立的，当类之间依赖时，贝叶斯分类无法处理基于距离的分类算法：KNNThe k-NN only requiresAn integer kA set of labeled examplesA measure of “closeness”优点：简单容易实现缺点：当样本集过大时会导致开销大基于判定树的分类算法：Attribute Selection Measure information gain, gain ratio, and gini indexID3优点：ID3算法的分类简单、规则易理解的优点缺点：倾向于取属性值较多的属性回归预测分析聚类分析聚类是无指导的学习，事先没有分类聚类的应用：为了判定一个非代表对象Oh 是否是当前一个代表对象Oi的好的替代，对于每一个非中心点对象Oj，下面的四种情况被考虑：●第一种情况：假设O i被O h代替作为新的中心点，O j当前隶属于中心点对象Oi 。
如果Oj离某个中心点Om最近，i≠m，那么Oj被重新分配给Om。
●第二种情况：假设O i被O h代替作为新的中心点，O j当前隶属于中心点对象Oi 。
如果Oj离这个新的中心点Oh最近，那么Oj被分配给Oh。
●第三种情况：假设O i被O h代替作为新的中心点，但是O j当前隶属于另一个中心点对象Om ，m≠i。
如果Oj依然离Om最近，那么对象的隶属不发生变化。
●第四种情况：假设O i被O h代替作为新的中心点，但是O j当前隶属于另一个中心点对象Om ，m≠i。
如果Oj离这个新的中心点Oh最近，那么Oi被重新分配给Oh。
每当重新分配发生时，平方-误差E所产生的差别对代价函数有影响。
因此，如果一个当前的中心点对象被非中心点对象所代替，代价函数计算平方-误差值所产生的差别。
替换的总代价是所有非中心点对象所产生的代价之和。
如果总代价是负的，那么实际的平方-误差将会减小，Oi 可以被Oh替代。
如果总代价是正的，则当前的中心点Oi被认为是可接受的，在本次迭代中没有变化。
PAM算法需用簇中位置最靠近中心的对象作为代表对象，然后反复地用非代表对象来代替代表对象，试图找出更好的中心点，在反复迭代的过程中，所有可能的“对象对”被分析，每个对中的一个对象是中心点，另一个是非代表对象。
一个对象代表可以被最大平方-误差值减少的对象代替。
一个非代表对象Oh 是否是当前一个代表对象Oi的一个好的替代，对于每个非中心点对象Oj，有以下四种情况需要考虑：（1） Oj 当前隶属于Oi，如果Oi被Oh替换，且Oj离另一个Om最近，i！=m，那么Oj 被分配给Om，则替换代价为Cjih=d(j,m)-d(j,i)。
（2）Oj 当前隶属于Oi，如果Oi被Oh替换，且Oj离Oh最近，那么Oj被分配给Oh，则替换代价为Cjih=d(j,h)-d(j,i)。
（3）Oj 当前隶属于Om，m！=i，如果Oi被Oh替换，且Oj仍然离Om最近，那么Oj 被分配给Om，则替换代价为Cjih=0。
（4） Oj当前隶属于Om，m！=i，如果Oi被Oh替换，且Oj离Oh最近，那么O j 被分配给Oh，则替换代价为Cjih=d(j,h)-d(j,m)。
BIRCH（Balanced Iterative Reducing and Clustering using Hierarchies）天生就是为处理超大规模（至少要让你的内存容不下）的数据集而设计的，它可以在任何给定的内存下运行。
关于BIRCH的更多特点先不介绍，我先讲一下算法的完整实现细节，对算法的实现过程搞清楚后再去看别人对该算法的评价才会感受深刻。
你不需要具备B树的相关知识，我接下来会讲得很清楚。
BIRCH算法的过程就是要把待分类的数据插入一棵树中，并且原始数据都在叶子节点上。
这棵树看起来是这个样子：在这棵树中有3种类型的节点：Nonleaf、Leaf、MinCluster，Root可能是一种Nonleaf，也可能是一种Leaf。
所有的Leaf放入一个双向链表中。
每一个节点都包含一个CF值，CF是一个三元组，其中data point instance的个数，和是与数据点同维度的向量，是线性和，是平方和。
比如有一个MinCluster里包含3个数据点(1,2,3)，(4,5,6)，(7,8,9)，则N=3,=(1+4+7,2+5+8,3+6+9)=(12,15,18)，=(1+16+49,4+25+64,9+36+81)。
就拿这个MinCluster为例，我们可以计算它的簇中心簇半径簇直径我们还可以计算两个簇之间的距离,当然你也可以使用D0，D1，D3等等，不过在这里我们使用D2。
有意思的是簇中心、簇半径、簇直径以及两簇之间的距离D0到D3都可以由CF来计算，比如簇直径簇间距离,这里的N，LS和SS是指两簇合并后大簇的N，LS和SS。
所谓两簇合并只需要两个对应的CF相加那可CF1 + CF2 = (N1 + N2 , LS1 + LS2, SS1 + SS2)每个节点的CF值就是其所有孩子节点CF值之和，以每个节点为根节点的子树都可以看成是一个簇。
Nonleaf、Leaf、MinCluster都是有大小限制的，Nonleaf的孩子节点不能超过B个，Leaf最多只能有L个MinCluster，而一个MinCluster的直径不能超过T。
算法起初，我们扫描数据库，拿到第一个data point instance--（1,2,3）,我们创建一个空的Leaf和MinCluster，把点（1,2,3）的id值放入Mincluster，更新MinCluster的CF值为（1,（1,2,3），（1,4,9）），把MinCluster作为Leaf的一个孩子，更新Leaf的CF值为（1,（1,2,3），（1,4,9））。
实际上只要往树中放入一个CF（这里我们用CF作为Nonleaf、Leaf、MinCluster的统称），就要更新从Root到该叶子节点的路径上所有节点的CF值。
当又有一个数据点要插入树中时，把这个点封装为一个MinCluster（这样它就有了一个CF值），把新到的数据点记为CF_new，我们拿到树的根节点的各个孩子节点的CF值，根据D2来找到CF_new 与哪个节点最近，就把CF_new加入那个子树上面去。
这是一个递归的过程。
递归的终止点是要把CF_new加入到一个MinCluster中，如果加入之后MinCluster的直径没有超过T，则直接加入，否则譔CF_new要单独作为一个簇，成为MinCluster的兄弟结点。
插入之后注意更新该节点及其所有祖先节点的CF值。
插入新节点后，可能有些节点的孩子数大于了B（或L），此时该节点要分裂。
对于Leaf，它现在有L+1个MinCluster，我们要新创建一个Leaf，使它作为原Leaf的兄弟结点，同时注意每新创建一个Leaf都要把它插入到双向链表中。
L+1个MinCluster要分到这两个Leaf中，怎么分呢？找出这L+1个MinCluster中距离最远的两个Cluster（根据D2），剩下的Cluster看离哪个近就跟谁站在一起。
分好后更新两个Leaf的CF值，其祖先节点的CF值没有变化，不需要更新。
这可能导致祖先节点的递归分裂，因为Leaf分裂后恰好其父节点的孩子数超过了B。
