一个基于聚类分析的典型过程路径发现方法
Shunuan Liu & Zhenming Zhang & Xitian Tian
摘要：典型过程路径实是编制过程路径的一个样本。它是一类编制知识的过程。为了在编制数据库的过程中从计算机半自动过程编制中（CAPP）发现典型过程路径,在数据库中知识发现被应用.数据选择过程,剔除过程和转换过程都被用于数据优化过程.聚类分析被采用于挖掘典型过程路径的运算法则.描述此过程路径的数学模型通过数据矩阵建立.在过程路径的聚类中有三类相似性:操作间的相似性用基于操作编码的的曼哈顿距离来度量;过程路径间相似性用欧氏距离来计算并表示成一个相异度矩阵;过程路径串间的相似性由基于相异度矩阵的平均距离来估计．那么,过程路径串最后通过会凝聚的分等级的聚类方法被合并.并且过程路径的聚类结果由过程路径的聚类粒度决定.这个方法已经被成功用来发现某一类轴套的典型过程路径.
关键词:计算机半自动编制过程典型过程路径聚类分析数据库里的知识发现
1．引言
过程编制是把一个设计规范集转换成一个用来描述如何加工一个零件科技说明书集的任务。因此，它是产品设计与制造间的基本连接。过程路径编制是编制科技说明的逻辑顺序的一个任务，考虑诸如几何形状，技术必备，经济要素，生产力和实际生产环境的约束。从而过程路径编制依赖于过程编制者拥有的知识和经验。过程知识是通过过程编制实践自身理解和经验的积累。它能帮助过程编制者完成编制任务并避免重复智力劳动。并且，随着产品复杂程度的增加，过程复杂程度也增加。过程知识的再使用变得越来越重要以确保过程编制的质量和有效性。制造型企业迫切地需要过程知识以使他们自己适应市场竞争。
1960s,计算机半自动过程编制（CAPP）开始被研究以减少过程编制者的劳动。已有大量在智能化CAPP 上的预先研究。人工智能技术诸如专家体系，基于推论的规则，神经网络，和黑板方法通常被应用。不管什么被应用，知识在智能化的CAPP是不可缺少的。它已经成为CAPP向智能化发展的一个瓶颈。
如何获得大量有效的知识是智能化CAPP和企业的关键。过程知识主要来源于指南和书本，相关的数据，专家和科技文件。来自专家和科技文件的只是被深深的植入到个体，产品和公司的关系在[4]中有描述。通常很难发现正确的到处方法。
现在，中国所有当前的CAPP系统有通过计算机逼近科技程序的功能。纸制的科技程序在大的制造型企业中被电子表格代替。因为CAPP更深的应用，大量的过程数据被累积在企业的数据库中以至编者者的职能和经验被隐藏了。过程数据库成为过程知识的新来源。此外，过程数据库有普遍数据结构的有利条件。用这个方式来发现和构造过程知识是非常有利的，它可以被用于只能计算工具。
数据库中的知识发现是在数据库里挖掘知识的智能工具。它已经被应用于制造业，例如在制造业数据中发现有用的和可理解的模式[5]，在设计和制造业的知识库中发现学问[6]。少数研究者努力把它应用到过程知识的获得上。Gao Wei [7]讨论了帮助导向的过程知识库的组成和应用的KDD知识获得方法。概要地引进几个可用的方法以自动获得过程知识。但并没有详细说明如何运用这些方法来获得具体知识如在过程编制中的决定规则和典型过程编制实例的。数据库中的过程知识发现有很多优势。它使维持，管理和扩展知识变得容易。而且，它能促进过程编制的标准化。这篇文章提出运用KDD在过程数据库中获得典型过程路径的方法。基于聚类分析的典型过程路径发现被着重论述。
2．典型过程路径发现理论
典型过程路径发现主要采用聚类分析把过程路径聚集成组。然后，同一组里的各零件的共同特征通过分析这些部分的过程路径而被了解。最后，包含个部分特征的典型过程路径被存储到知识库中。过程路径能够被查询和再使用通过匹配包含在典型过程路径中的特征。
2．1典型过程路径发现的步骤
典型过程路径发现被划在图1。最优化的过程路径应该根据过程类型，零件类型和过程路径长度来大致分类。过程类型包括技工加工过程，装配过程和专门的过程等。零件类型包括轴套，轮盘，盒子，包装等。它是根据零件外形的特征来分类的。过程路径长度是过程路径中操作的数目。它是不确定的，用K表示，K∈{正整数}，K可以定义为1≤K≤5，3≤K≤8，5≤K≤12，10≤K≤15等。然后，相
似的过程路径可以用凝聚的层次聚类方法挖掘。结果，过程路径数据被聚集成组。聚类分析包括五个部分。第一，建立一个包含所有等着聚类的过程路径的数据表格（表1）。第二，描述工艺卡里所有的操作。第三，建立数据矩阵。第四，通过距离计算机算相异度并建立相异度矩阵。第五，确定聚类粒度。最后，得到经过过程路径聚类后的分组结果（表2）。在表1。L1～Ln代表过程路径，每条线是零件的一条过程路径。
Xij是一个操作并在聚类分析前被编码。在表2中，TL代表相同的过程路径，SL代表相似的过程路径，PARTij代表第i组里j零件的编码。
2．2 获得优化过程数据
在过程路径挖掘前，为了获得最优化的过程数据和建立最优化的过程路径数据库，过程数据需要经由数据选择，数据剔除，数据转换等预先处理。
—过程数据选择
数据选择是在过程数据库中通过选择与典型过程路径相关的数据和样本来确定目标数据。过程数据库是合理的数据库。它有自己的查询语言，目标数据通过查询语言拟定。
—过程数据剔除
目标数据是数据剔除的对象。数据剔除用于检查数据的完整性和一致性，并过滤掉多余的数据。过程编制标准化，即用统一的标准表示制造业过程，使剔除过程数据的最好方法之一。
—过程数据转换
数据转换是在数据剔除之后用来减少数据的。这篇文章主要利用数据库操作，如SQL数据库中色“SELECT”和“DELETE”语句来减少数据。
3．操作编码图解
近期基于分类和编码的the part 聚类方法有很好的效果[17]。在聚类的步骤中，过程路径被编码过的操作描述。对过程路径编码使得求过程路径间的相异度变得容易因为数字可以正好无异议地被电脑理解，正文也是。例如，判断“milling”,”turning”和”turning cylindrical surface”之间的相异度。判断它们之间的不同是很困难的。如果他们被各自编码为31200，31100和31102，它们的差别通过距离方程式是可计算的。结果是“milling”和“turning”之间的距离比“turning”和”turning cylindrical surface”之间的距离要大。这是符合实际的，“milling”和“turning”属于不同类型的工具加工，“turning”和”turning cylindrical surface”有相同类型的工具加工，只是外表不同。
每条过程路径是一个操作顺序的编制。因而，它可以被认为是一个操作序列。过程路径编码可以采用把每个操作编成一个单元并把这些单元排序的方式。每个阿拉伯数字的编码由从0到9的阿拉伯数表示。编码由两部分构成，如图2。一个是代表加工方法分类的操作编码，第一个数字代表粗糙分类的第一类。第二个数字代表比第一类好的类。第三类比第二类好。例如，制造业的过程方法包括锻压工作，切割工作，加膜等。这些属于第一类。切割又包括使用切割工具磨擦，装配和加工方法。那些饱含在第二类。用切割工具的加工方法包括旋转，轧齿边和碾等。那些饱含在第三类。制造业过程方法的分类是三倍。另一个是包含图形，维度，在操作中加工特征的精度的操作目录编码。图形和维度被表示成两个阿拉伯数字。制造业的过程方法的部分编码如图3。根据图3中的编码，“turning plane”编为“31101”。它的第一级是切割工作，第二级是用切割工具加工，第三级是旋转。
4．对典型过程路径发现的聚类分析法则
聚类分析是一种DM方法，和一个重要的数据分析技术[8]。它已经被用于多个领域[9—11]。有很多聚类法则如k-平均方法，K-中心点方法，层次聚类方法（HCA）等[12]HCA被广泛应用因为它能在不同粒度水平探究数据及容易测量距离的优点。HCA被应用在制造业中。再Joines’s的评论中[13]，HCA 被运用于制造业单元设计。WON[16]运用多重标准聚类方法来测量在零件的过程路径中的设计的相似性为了划分制造业的单元。Angel A.Cedefňo[14]提出了一个基于在一个大的数据集合里把零件分成零件家庭方法的相似系数。Rafael S.Gutierrez[15]运用HCA对生产进度表里初始的产品/生产量进行分配。事实上，上述的运用都与把零件分簇和把加工和/或操作分成单元有关。
HCA通过数据分层建立簇并形成以簇为节点的树。此树叫做聚类系统树图。HCA包括两种方法：凝聚的HCA(AHCA)和分裂的HCA。这里，AHCA用来过程路径聚类，它采用自底向上的策略。聚类中，一个对象看作一个簇，然后逐步地合并相近的对象或组，直到所有的组合并为一个（层次的最上层），或者达到一个终止条件。同时，簇合并必须服从距离规则或相异规则。
4．1过程路径聚类的数学表达式
基于聚类分析的典型过程路径发现实质上是高度相似的过程路径簇通过过程路径聚类分析被发现的步骤。这里，运用AHCA进行过程路径的聚类分析。
矩阵X n×p (Eq. (1))由p个属性和n个数据对象被用于数据矩阵来描述过程路径数据集。矩阵里，行代表过程路径，n是要聚类的过程路径的数目，p是要聚类的过程路径的长度的最大值。元素xij代表过程路径i中操作j的编码。计算相异度前，必须把过程路径的操作数目少于p的在数据矩阵中补“000”。
4.2 过程路径聚类中的距离计算
有三种距离：过程路径之间的距离，操作之间的距离，簇间的距离。
4．2．1 操作间的距离计算
测量相似过程路径的关键就是确定操作间的距离。距离计算方法直接地影响聚类结果。操作编码只是一个代号不能立即用于判断操作间的距离。因此，专家评级方法，计算方法和混合方法能用于测量距离。专家评级是相当精确的方法，因为此距离等于专家给出的评级的平均。但是，它依赖于专家的经验。计算方法通过处理操作编码确定距离因此它在灵活性和实用性上是不足的。混合方法在计算时通过考虑专家经验和一定的权重可以解决上面方法的劣势。
操作间的距离由混合方法季曼哈顿距离计算。曼哈顿距离[12]对计算编码距离是一个合适的测量距离的方法。基于曼哈顿距离公式，距离标准化公式由加了权重的Eq(2)给出
下面两段讲述具体应用。这里就不赘述了。
4．2．2 过程路径间的距离计算
欧几里得距离[12]涌来计算过程路径之间的距离。Eq(3)表示过程路径间的标准化距离。
4．2．3 簇间的距离计算
平均距离[12]应用于簇间的距离计算，Eq(4)
4.3 相异度矩阵
根据上面提到的计算方法，相异度矩阵可表示位Eq(5),与Eq（1）相对应。
4．4 动态聚类系统树图（DCD）
在聚类的开始，根据AHCA每个过程路径仅仅是一个簇，也就是说，有n个过程路径就有n个簇。簇间的距离有Eq(4)计算。为了判断簇是否能合并，定义阈值(α)。α一般等于聚类中簇间的最小距离。有时候，它需要根据实际情况确定。当簇间的距离小于这个阈值时，则把它们合并成一个新的簇。新的簇再和另外的簇重复上面的操作直到聚类停止。DCD描述聚类过程。相异度矩阵里的每个不同的数据时DCD的左边坐标轴上的点。根据Eq(4)和相异度矩阵，簇间的每次的距离最小值都被标在DCD的左边坐标轴。图3是一个n=5的DCD。图4的左边，αi是i步聚类的阈值。图4的右边gi为i步聚类时簇的个数。
4．5 确定聚类粒度
随着聚类地进行，簇的个数减少，簇中过程路径的个数增加。此外，簇间的距离增加，过程路径间的距离也增加。这表示簇的相异度随着簇的个数的减少而增加。因此，聚类中的另一个关键问题是如何确定簇的个数以使簇中有更多的过程路径并使它们更加相似。据类粒度正是解决这个问题。
从上面的分析知聚类粒度与簇的个数和距离有关。它也可由动态聚类系统树图推出。下面定义两个的参数：
— g(1≤g≤n),确定簇的个数。一旦簇的个数少于它，聚类停止。
—α(0<α<1),确定阈值。一旦距离最小值大于α，聚类停止。
人工地初始化g和α是靠不住的。需要阐明一个规则来确定聚类粒度。
Λk有计算相邻两个阈值得到，Eq(6).它反映了聚类k把低的阈值带到了簇里过程路径的相似性。Λk=（1-αk-1）/(1-αk) (6)
Ηk是簇的个数的比值。它反映了增加的程度。
ηk=gk-1/gk (7)
μk是聚类粒度判断的基础。它由Eq(8)计算
μk=λk/ηk (1≤k≤n) （8）
它意味着μk越小，聚类越有意义。决定聚类粒度的几种方法如下：
— 当μk=min{μk}时，聚类粒度是最好的，这是一种冒险的方法
— 当μk首先小于μk-1，聚类粒度被选择，这是个保守的方法。
— 当μk=min(1/m∑μk)时，聚类粒度是最好的。这是个更合理的方法因为它在聚类m前囊括地考虑了每个结果。尽管如此，判断聚类粒度仍旧需要人为地来获得更好的聚类。
5 一个计算的例子
这部分运用上面讲的方法，带入具体数据进行计算，考虑用不同的方法，得到相应的结果。
6 结论
CAPP朝向智能化发展的指示已经进入发展瓶颈。随着CAPP应用的深入，大量的过程数据已经在企业的数据库里积累。充足的数据和贫乏的指示显得突出。所以，KDD被引进。作为KDD在获得过程知识中的一个应用，此文章提出了在过程数据库中典型过程路径发现的方法，这个数据库是合理的并且有大量的过程数据。针对典型过程路径发现的聚类法则被发展。在这个法则里，过程路径聚类备表示为矩阵。操作编码的图解用工时表示出来。根据聚类法则，三种计算距离的方法被给出，过程路径的聚类粒度被确定。第五节的例子用来检验对典型过程路径发现的聚类法则和这个典型过程路径发现方法。
SPSS聚类分析过程 聚类的主要过程一般可分为如下四个步骤： 1.数据预处理（标准化） 2.构造关系矩阵（亲疏关系的描述） 3.聚类（根据不同方法进行分类） 4.确定最佳分类（类别数） SPSS软件聚类步骤 1. 数据预处理（标准化） →Analyze →Classify →Hierachical Cluster Analysis →Method 然后从对话框中进行如下选择从Transform Values框中点击向下箭头，此为标准化方法，将出现如下可选项，从中选一即可： 标准化方法解释：None：不进行标准化，这是系统默认值；Z Scores：标准化变换；Range –1 to 1：极差标准化变换（作用：变换后的数据均值为0，极差为1，且|x ij*|<1，消去了量纲的影响；在以后的分析计算中可以减少误差的产生。）；Range 0 to 1（极差正规化变换/ 规格化变换）； 2. 构造关系矩阵 在SPSS中如何选择测度（相似性统计量）: →Analyze →Classify →Hierachical Cluster Analysis →Method 然后从对话框中进行如下选择常用测度（选项说明）：Euclidean distance：欧氏距离（二阶Minkowski距离），用途：聚类分析中用得最广泛的距离；Squared Eucidean distance：平方欧氏距离；Cosine：夹角余弦(相似性测度；Pearson correlation：皮尔逊相关系数； 3. 选择聚类方法 SPSS中如何选择系统聚类法 常用系统聚类方法 a）Between-groups linkage 组间平均距离连接法 方法简述：合并两类的结果使所有的两两项对之间的平均距离最小。（项对的两成员分属不同类）特点：非最大距离，也非最小距离 b）Within-groups linkage 组内平均连接法 方法简述：两类合并为一类后，合并后的类中所有项之间的平均距离最小 C）Nearest neighbor 最近邻法（最短距离法） 方法简述：用两类之间最远点的距离代表两类之间的距离，也称之为完全连接法
聚类分析方法 方法介绍 聚类分析 (Clauster Analysis) 数值分类法的一种，在社会应用中称类型学。 Robert Tryon于1939年提出的一种心理学研究方法。 目的:用数量关系对事物进行分类。 对于可以用某些数量描述的事物，采用样本间的距离来将性质接近的事物归为一类，从而达到对事物的分析和评价。 聚类分析作分类时各类群乃至类群数事先未知，而是根据数据的特征确定的，又称为无师可循的分类。 一般分为逐步聚类、系统聚类和其它方法。 16种饮料的热量、咖啡因、钠及价格四种变量 数据示例 聚类分析(cluster analysis) 对于一个数据，人们既可以对变量(指标)进行分类(相当于对数据中的列分类)，也可以对观测值(事件、样品)来分类(相当于对数据中的行分类)。 比如学生成绩数据就可以对学生按照理科或文科成绩(或者综合考虑各科成绩)分类。 当然，并不一定事先假定有多少类，完全可以按照数据本身的规律来分类。 如何度量远近, 如果想要对100个学生进行分类，如果仅仅知道他们的数学成绩，则只好按照数学成绩来分类;这些成绩在直线上形成100个点。这样就可以把接近的点放到一类。
如果还知道他们的物理成绩，这样数学和物理成绩就形成二维平面上的100 个点，也可以按照距离远近来分类。 三维或者更高维的情况也是类似;只不过三维以上的图形无法直观地画出来而已。在饮料数据中，每种饮料都有四个变量值。这就是四维空间点的问题了。 如果以n个数值型变量(n维空间)来描述某一类事物，则一个事物就是n维空间中是一个点。 Y X Z 1>. . . . . . . . . . . . . .
聚类分析 聚类分析是研究“物以类聚”的一种多元统计方法。国内有人称它为群分析、点群分析、簇群分析等。 聚类分析的基本概念 聚类分析是研究对样品或指标进行分类的一种多元统计方法,是依据研究对象的个体的特征进行分类的方法。它把分类对象按一定规则分成若干类，这些类非事先给定的，而是根据数据特征确定的。在同一类中这些对象在某种意义上趋向于彼此相似，而在不同类中趋向于不相似。它职能是建立一种能按照样品或变量的相似程度进行分类的方法。 聚类分析的基本思想是认为我们所研究的样本或指标（变量）之间存在着程度不同的相似性（亲疏关系）。于是根据一批样本的多个观测指标，具体找出一些彼此之间相似程度较大的样本（或指标）聚合为一类，把另外一些彼此之间相似程度较大的样本（或指标）又聚合为另一类，关系密切的聚合到一个小的分类单位，关系疏远的聚合到一个大的分类单位，直到把所有样本（或指标）都聚合完毕，把不同的类型一一划分出来，形成一个由小到大的分类系统。最后把整个分类系统画成一张谱系图，用它把所有样本（或指标）间的亲疏关系表示出来。这种方法是最常用的、最基本的一种，称为系统聚类分析。 聚类分析有两种：一种是对样本的分类，称为Q型，另一种是对变量（指标）的分类，称为R型。 聚类分析给人们提供了丰富多彩的方法进行分类，这些方法大致可以归纳为： （1）系统聚类法。首先将n个也样品看成n类（一个类包含一个样品），然后将性质最接近的两类合并成一个新类，我们得到n-1类，再从中找出最接近的两类加以合并成了n-2类，如此下去，最后所有的样品均在一类，将上述并类过程画成一张图（称为聚类图）便可决定分多少类，每类各有什么样品。 （2）模糊聚类法。将模糊数学的思想观点用到聚类分析中产生的方法。该方法多用于定型变量的分类。 （3）K—均值法。K—均值法是一种非谱系聚类法，它是把样品聚集成k个类的集合。类的个数k可以预先给定或者在聚类过程中确定。该方法可用于比系
聚类分析的方法 一、系统聚类法 系统聚类分析法就是利用一定的数学方法将样品或变量（所分析的项目）归并为若干不同的类别（以分类树形图表示），使得每一类别内的所有个体之间具有较密切的关系，而各类别之间的相互关系相对地比较疏远。系统聚类分析最后得到一个反映个体间亲疏关系的自然谱系，它比较客观地描述了分类对象的各个体之间的差异和联系。根据分类目的不同，系统聚类分析可分为两类：一类是对变量分类，称为R型分析；另一类是对样品分类，称为Q型分析。系统聚类分析法基本步骤如下（许志友，1988）。 （一）数据的正规化和标准化 由于监测时所得到的数值各变量之间相差较大，或因各变量所取的度量单位不同，使数值差别增大，如果不对原始数据进行变换处理，势必会突出监测数据中数值较大的一些变量的作用，而消弱数值较小的另一些变量的作用，克服这种弊病的办法是对原始数据正规化或标准化，得到的数据均与监测时所取的度量单位无关。 设原始监测数据为Xij (i＝1，2，…，n；j＝1，2，…，m；n为样品个数，m为变量个数)，正规化或标准化处理后的数据为Zij (i＝1，2，…，n；j＝1，2，…，m)。 1. 正规化计算公式如下： （7-32） （i＝1，2，…，n；j＝1，2，…，m） 2. 标准化计算公式如下： （7-33） （i＝1，2，…，n；j＝1，2，…，m） 其中：
（二）数据分类尺度计算 为了对数据Zij进行分类，须对该数据进一步处理，以便从中确定出分类的尺度，下列出分类尺度计算的四种方法。 1.相关系数R 两两变量间简单相关系数定义为： （7-34） （i，j＝1，2，…，m） 其中 一般用于变量的分类（R型）。有一1≤≤1且愈接近1时，则此两变量愈亲近， 愈接近-1，则关系愈疏远。 2.相似系数 相似系数的意义是，把每个样品看做m维空间中的一个向量，n个样品相当于m维空间中的n个向量。第i个样品与第j个样品之间的相似系数是用两个向量之间的夹角余弦来定义，即：
聚类分析原理及步骤——将未知数据按相似程度分类到不同的类或簇的过程 1》传统的统计聚类分析方法包括系统聚类法、分解法、加入法、动态聚类法、有序样品聚类、有重叠聚类和模糊聚类等。采用k-均值、k-中心点等算法的聚类分析工具已被加入到许多著名的统计分析软件包中，如SPSS、SAS等。 典型使用 1》动植物分类和对基因进行分类 2》在网上进行文档归类来修复信息 3》帮助电子商务的用户了解自己的客户，向客户提供更合适的服务 主要步骤 1》数据预处理——选择数量，类型和特征的标度（（依据特征选择和抽取）特征选择选择重要的特征，特征抽取把输入的特征转化 为一个新的显著特征，它们经常被用来获取一个合适的特征集来为避免“维数 灾”进行聚类）和将孤立点移出数据（孤立点是不依附于一般数 据行为或模型的数据） 2》为衡量数据点间的相似度定义一个距离函数——既然相类似性是定义一个类的基础，那么不同数据之间在同一个特 征空间相似度的衡量对于聚类步骤是很重要的，由于特征类型和特 征标度的多样性，距离度量必须谨慎，它经常依赖于使用，例如， 通常通过定义在特征空间的距离度量来评估不同对象的相异性，很 多距离度都使用在一些不同的领域一个简单的距离度量，如 Euclidean距离，经常被用作反映不同数据间的相异性，一些有关相
似性的度量，例如PMC和SMC，能够被用来特征化不同数据的概 念相似性，在图像聚类上，子图图像的误差更正能够被用来衡量两 个图形的相似性 3》聚类或分组——将数据对象分到不同的类中【划分方法 （划分方法一般从初始划分和最优化一个聚类标准开始，Cris p Clustering和Fuzzy Clusterin是划分方法的两个主要技术，Crisp Clustering，它的每一个数据都属于单独的类；Fuzzy Clustering，它的 每个数据可能在任何一个类中）和层次方法（基于某个标准产生一 个嵌套的划分系列，它可以度量不同类之间的相似性或一个类的可分 离性用来合并和分裂类）是聚类分析的两个主要方法，另外还有基于 密度的聚类，基于模型的聚类，基于网格的聚类】 4》评估输出——评估聚类结果的质量（它是通过一个类有效索引来 评价，，一般来说，几何性质，包括类间的分离和类内部的耦合，一般 都用来评价聚类结果的质量，类有效索引在决定类的数目时经常扮演 了一个重要角色，类有效索引的最佳值被期望从真实的类数目中获取， 一个通常的决定类数目的方法是选择一个特定的类有效索引的最佳 值，这个索引能否真实的得出类的数目是判断该索引是否有效的标准， 很多已经存在的标准对于相互分离的类数据集合都能得出很好的结 果，但是对于复杂的数据集，却通常行不通，例如，对于交叠类的集 合。） 聚类分析的主要计算方法原理及步骤划分法 1》将数据集分割成K个组（每个组至少包 含一个数据且每一个数据纪录属于且 仅属于一个分组），每个组成为一类2》通过反复迭代的方法改变分组，使得每 一次改进之后的分组方案都较前一次 好（标准就是：同一分组中的记录越近 越好，而不同分组中的纪录越远越好， 使用这个基本思想的算法有：
聚类分析原理及步骤 ——将未知数据按相似程度分类到不同的类或簇的过程 1》传统的统计聚类分析方法包括系统聚类法、分解法、加入法、动态聚 类法、有序样品聚类、有重叠聚类和模糊聚类等。采用k-均值、k-中 心点等算法的聚类分析工具已被加入到许多着名的统计分析软件包 中，如SPSS、SAS等。 典型应用 1》动植物分类和对基因进行分类 2》在网上进行文档归类来修复信息 3》帮助电子商务的用户了解自己的客户，向客户提供更合适 的服务 主要步骤 1》数据预处理——选择数量，类型和特征的标度（（依据特征 选择和抽取）特征选择选择重要的特征，特征抽取把输入的特征转化 为一个新的显着特征，它们经常被用来获取一个合适的特征集来为避 免“维数灾”进行聚类）和将孤立点移出数据（孤立点是不依附 于一般数据行为或模型的数据） 2》为衡量数据点间的相似度定义一个距离函数——既然相类似性是定义一个类的基础，那么不同数据之间在同一个特征空间相似度的衡 量对于聚类步骤是很重要的，由于特征类型和特征标度的多样性，距离度量 必须谨慎，它经常依赖于应用，例如，通常通过定义在特征空间的距离度量
来评估不同对象的相异性，很多距离度都应用在一些不同的领域一个简单的 距离度量，如Euclidean距离，经常被用作反映不同数据间的相异性，一些 有关相似性的度量，例如PMC和SMC，能够被用来特征化不同数据的概念相 似性，在图像聚类上，子图图像的误差更正能够被用来衡量两个图形的相似 性 3》聚类或分组——将数据对象分到不同的类中【划分方法（划分 方法一般从初始划分和最优化一个聚类标准开始，Cris p Clustering和Fuzzy Clusterin是划分方法的两个主要技术，Crisp Clustering，它的每一个数据 都属于单独的类；Fuzzy Clustering，它的每个数据可能在任何一个类中）和 层次方法（基于某个标准产生一个嵌套的划分系列，它可以度量不同类之间 的相似性或一个类的可分离性用来合并和分裂类）是聚类分析的两个主要方法， 另外还有基于密度的聚类，基于模型的聚类，基于网格的聚类】4》评估输出——评估聚类结果的质量（它是通过一个类有效索引来评价，， 一般来说，几何性质，包括类间的分离和类内部的耦合，一般都用来评价聚类 结果的质量，类有效索引在决定类的数目时经常扮演了一个重要角色，类有效 索引的最佳值被期望从真实的类数目中获取，一个通常的决定类数目的方法是 选择一个特定的类有效索引的最佳值，这个索引能否真实的得出类的数目是判 断该索引是否有效的标准，很多已经存在的标准对于相互分离的类数据集合都 能得出很好的结果，但是对于复杂的数据集，却通常行不通，例如，对于交叠 类的集合。） 聚类分析的主要计算方法原理及步骤 划分法 1》将数据集分割成K个组（每个组至少包含一 个数据且每一个数据纪录属于且仅属于一个 分组），每个组成为一类 2》通过反复迭代的方法改变分组，使得每一次 改进之后的分组方案都较前一次好（标准就 是：同一分组中的记录越近越好，而不同分 组中的纪录越远越好，使用这个基本思想的 算法有：K-MEANS算法、K-MEDOIDS算法、
聚类分析cluster analysis 聚类分析方法是按样品（或变量）的数据特征，把相似的样品（或变量）倾向于分在同一类中，把不相似的样品（或变量）倾向于分在不同类中。 聚类分析根据分类对象不同分为Q型和R型聚类分析 在聚类分析过程中类的个数如何来确定才合适呢？这是一个十分困难的问题，人们至今仍未找到令人满意的方法。但是这个问题又是不可回避的。下面我们介绍几种方法。 1、给定阈值——通过观测聚类图，给出一个合适的阈值T。要求类与类之间的距离不要超过T值。例如我们给定T=0.35，当聚类时，类间的距离已经超过了0.35，则聚类结束。 聚类分析的出发点是研究对象之间可能存在的相似性和亲疏关系。 样品间亲疏程度的测度 研究样品或变量的亲疏程度的数量指标有两种，一种叫相似系数，性质越接近的变量或样品，它们的相似系数越接近于1或一l，而彼此无关的变量或样品它们的相似系数则越接近于0，相似的为一类，不相似的为不同类；另一种叫距离，它是将每一个样品看作p维空间的一个点，并用某种度量测量点与点之间的距离，距离较近的归为一类，距离较远的点应属于不同的类。 变量之间的聚类即R型聚类分析，常用相似系数来测度变量之间的亲疏程度。而样品之间的聚类即Q型聚类分析，则常用距离来测度样品之间的亲疏程度。 定义：在聚类分析中反映样品或变量间关系亲疏程度的统计量称为聚类统计量，常用的聚类统计量分为距离和相似系数两种。 距离：用于对样品的聚类。常用欧氏距离，在求距离前，需把指标进行标准化。 相似系数：常用于对变量的聚类。一般采用相关系数。 相似性度量：距离和相似系数。 距离常用来度量样品之间的相似性，相似系数常用来度量变量之间的相似性。 样品之间的距离和相似系数有着各种不同的定义，而这些定义与变量的类型有着非常密切的关系。 距离和相似系数这两个概念反映了样品（或变量）之间的相似程度。相似程度越高，一般两个样品（或变量）间的距离就越小或相似系数的绝对值就越大；反之，相似程度越低，一般两个样品（或变量）间的距离就越大或相似系数的绝对值就越小。 一、变量测量尺度的类型 为了将样本进行分类，就需要研究样品之间的关系；而为了将变量进行分类，就需要研究变量之间的关系。但无论是样品之间的关系，还是变量之间的关系，都是用变量来描述的，变量的类型不同，描述方法也就不同。通常，变量按照测量它们的尺度不同，可以分为三类。 (1)间隔尺度。指标度量时用数量来表示，其数值由测量或计数、统计得到，如长度、重量、收入、支出等。一般来说，计数得到的数量是离散数量，测量得到的数量是连续数量。在间隔尺度中如果存在绝对零点，又称比例尺度。
系统聚类分析方法 聚类分析是研究多要素事物分类问题的数量方法。基本原理是根据样本自身的属性，用数学方法按照某种相似性或差异性指标，定量地确定样本之间的亲疏关系，并按这种亲疏关系程度对样本进行聚类。 常见的聚类分析方法有系统聚类法、动态聚类法和模糊聚类法等。 1. 聚类要素的数据处理 假设有m 个聚类的对象，每一个聚类对象都有个要素构成。它们所对应的要素数据可用表3.4.1给出。（点击显示该表）在聚类分析中，常用的聚类要素的数据处理方法有如下几种。 ①总和标准化 ②标准差标准化
③极大值标准化 经过这种标准化所得的新数据，各要素的极大值为1，其余各数值小于1。 ④极差的标准化 经过这种标准化所得的新数据，各要素的极大值为1，极小值为0，其余的数值均在0与1之间。 2. 距离的计算 距离是事物之间差异性的测度，差异性越大，则相似性越小，所以距离是系统聚类分析的依据和基础。 ①绝对值距离
选择不同的距离，聚类结果会有所差异。在地理分区和分类研究中，往往采用几种距离进行计算、对比，选择一种较为合适的距离进行聚类。
例：表3.4.2给出了某地区九个农业区的七项指标，它们经过极差标准化处理后，如表3.4.3所示。 对于表3.4.3中的数据，用绝对值距离公式计算可得九个农业区之间的绝对值距离矩阵：
3. 直接聚类法 直接聚类法是根据距离矩阵的结构一次并类得到结果。 ▲ 基本步骤： ①把各个分类对象单独视为一类； ②根据距离最小的原则，依次选出一对分类对象，并成新类；③如果其中一个分类对象已归于一类，则把另一个也归入该类；如果一对分类对象正好属于已归的两类，则把这两类并为一类；每一次归并，都划去该对象所在的列与列序相同的行；④那么，经过m-1次就可以把全部分类对象归为一类，这样就可以根据归并的先后顺序作出聚类谱系图。 ★直接聚类法虽然简便，但在归并过程中是划去行和列的，因而难免有信息损失。因此，直接聚类法并不是最好的系统聚类方法。 [举例说明]（点击打开新窗口，显示该内容） 例：已知九个农业区之间的绝对值距离矩阵，使用直接聚类法做聚类分析。 解： 根据上面的距离矩阵，用直接聚类法聚类分析：
第一章Microarray 介绍 1.1 生物信息处理 基于对生物体“硬件”和“软件”的认识 ,提出暂时地撇开生物的物理属性 ,着重研究其信息属性 ,从而进入到生物信息处理 (关于生命硬件的信息和软件的信息 ,即生理信息和生命信息 )的一个分支 ,生物信息学。于是 ,为揭开生命之秘、揭示与生命现象相关的复杂系统的运作机制打开一条新的途径。 什么是生物信息处理 生物信息处理的英文是Ｂｉｏｉｎｆｏｒｍａｔｉｃｓ。 1994年初 ,诺贝尔医学奖获得者美国教授Ｍ·罗德贝尔发表一篇评论 ,题为《生物信息处理 :评估环境卫生的新方法》。他认为生物信息处理是在基因数据库基础上 ,计算机驱动的能快速获得表达基因部分序列的方法。通过ＭＥＤＬＩＮＥ数据库 ,可以查阅到很多与生物信息处理 (Ｂｉｏｉｎｆｏｒｍａｔｉｃｓ)有关的记录，其中ＪＦＡｉｔｏｎ认为生物信息处理是基于计算机的数据库和信息服务;ＲＰＭｕｒｒａｙ认为生物信息处理包括两方面：第一是大量现存数据的自动化处理 ,第二是新的信息资源的生成；ＤＢｅｎｔｏｎ在题为《生物信息处理———一个新的多学科工具的原理和潜力》的文章中说 ,生物信息处理的材料是生物学数据 ,其方法来自广泛的各种各样的计算机技术。其方法来自广泛的各种各样的计算机技术。近年来 ,生物学数据在爆炸式增长 ,新的计算机方法在不断产生。这些方法在结构生物学、遗传学、结构化药品和分子演变学中是研究工作进展的基础。如果生物医学工程要在各个领域都从研究进展中获取最大好处 ,那么生物学数据健全的基础设施的开发与维护是同等重要的。尽管生物信息处理已经作出重要贡献 ,但是在它成熟时就会面临更大的需求在爆炸式增长 ,新的计算机方法在不断产生。这些方法在结构生物学、遗传学、结构化药品和分子演变学中是研究工作进展的基础。如果生物医学工程要在各个领域都从研究进展中获取最大好处 ,那么生物学数据健全的基础设施的开发与维护是同等重要的。尽管生物信息处理已经作出重要贡献 ,但是在它成熟时就会面临更大的需求。
聚类分析原理及步骤 聚类分析原理及步骤——将未知数据按相似程度分类到不同的 类或簇的过程 1》传统的统计聚类分析方法包括系统聚类法、分解法、加入法、 动态聚类法、有序样品聚类、有重叠聚类和模糊聚类等。采用 k-均值、k-中心点等算法的聚类分析工具已被加入到许多著名 的统计分析软件包中，如SPSS、SAS等。 典型应用 1》动植物分类和对基因进行分类 2》在网上进行文档归类来修复信息 3》帮助电子商务的用户了解自己的客户，向客户提供更合适 的服务 主要步骤 1》数据预处理——选择数量，类型和特征的标度((依 据特征选择和抽取)特征选择选择重要的特征，特征抽取把输入的特征转化 为一个新的显著特征，它们经常被用来获取一个合适的特征集来为避免“维数灾”进行聚类)和将孤立点移出数据(孤立点是不依附于一般数 据行为或模型的数据) 2》为衡量数据点间的相似度定义一个距离函数—— 既然相类似性是定义一个类的基础，那么不同数据之间在同一个特 征空间相似度的衡量对于聚类步骤是很重要的，由于特征类型和特 征标度的多样性，距离度量必须谨慎，它经常依赖于应用，例如， 通常通过定义在特征空间的距离度量来评估不同对象的相异性，很
多距离度都应用在一些不同的领域一个简单的距离度量，如 Euclidean距离，经常被用作反映不同数据间的相异性，一些有关相 似性的度量，例如PMC和SMC，能够被用来特征化不同数据的概 念相似性，在图像聚类上，子图图像的误差更正能够被用来衡量两 个图形的相似性 3》聚类或分组——将数据对象分到不同的类中【划分方法 (划分方法一般从初始划分和最优化一个聚类标准开始，Crisp Clustering和Fuzzy Clusterin是划分方法的两个主要技术，Crisp Clustering，它的每一个数据都属于单独的类;Fuzzy Clustering，它的每个数据可能在任何一个类中)和层次方法(基于某个标准产生一 个嵌套的划分系列，它可以度量不同类之间的相似性或一个类的可分 离性用来合并和分裂类)是聚类分析的两个主要方法，另外还有基于 密度的聚类，基于模型的聚类，基于网格的聚类】 4》评估输出——评估聚类结果的质量(它是通过一个类有效索引来 评价，，一般来说，几何性质，包括类间的分离和类内部的耦合，一般都用来评价聚类结果的质量，类有效索引在决定类的数目时经常扮演 了一个重要角色，类有效索引的最佳值被期望从真实的类数目中获取，一个通常的决定类数目的方法是选择一个特定的类有效索引的最佳 值，这个索引能否真实的得出类的数目是判断该索引是否有效的标准，很多已经存在的标准对于相互分离的类数据集合都能得出很好的结 果，但是对于复杂的数据集，却通常行不通，例如，对于交叠类的集合。) 聚类分析的主要计算方法原理及步骤划分法 1》将数据集分割成K个组(每个组至少包
1、什么是聚类分析 聚类分析也称群分析或点群分析，它是研究多要素事物分类问题的数量方法，是一种新兴的多元统计方法，是当代分类学与多元分析的结合。其基本原理是，根据样本自身的属性，用数学方法按照某种相似性或差异性指标，定量地确定样本之间的亲疏关系，并按这种亲疏关系程度对样本进行聚类。 聚类分析是将分类对象置于一个多维空问中，按照它们空问关系的亲疏程度进行分类。 通俗的讲，聚类分析就是根据事物彼此不同的属性进行辨认，将具有相似属性的事物聚为一类，使得同一类的事物具有高度的相似性。 聚类分析方法，是定量地研究地理事物分类问题和地理分区问题的重要方法，常见的聚类分析方法有系统聚类法、动态聚类法和模糊聚类法等。 2、聚类分析方法的特征 （1）、聚类分析简单、直观。 （2）、聚类分析主要应用于探索性的研究，其分析的结果可以提供多个可能的解，选择最终的解需要研究者的主观判断和后续的分析。 （3）、不管实际数据中是否真正存在不同的类别，利用聚类分析都能得到分成若干类别的解。 （4）、聚类分析的解完全依赖于研究者所选择的聚类变量，增加或删除一些变量对最终的解都可能产生实质性的影响。 （5）、研究者在使用聚类分析时应特别注意可能影响结果的各个因素。 （6）、异常值和特殊的变量对聚类有较大影响，当分类变量的测量尺度不一致时，需要事先做标准化处理。 3、聚类分析的发展历程 在过去的几年中聚类分析发展方向有两个：加强现有的聚类算法和发明新的聚类算法。现在已经有一些加强的算法用来处理大型数据库和高维度数据，例如小波变换使用多分辨率算法，网格从粗糙到密集从而提高聚类簇的质量。 然而，对于数据量大、维度高并且包含许多噪声的集合，要找到一个“全能”的聚类算法是非常困难的。某些算法只能解决其中的两个问题，同时能很好解决三个问题的算法还没有，现在最大的困难是高维度(同时包含大量噪声)数据的处理。 算法的可伸缩性是一个重要的指标，通过采用各种技术，一些算法具有很好的伸缩
聚类分析方法小结 简单点说：分类是将一片文章或文本自动识别出来，按照先验的类别进行匹配，确定。聚类就是将一组的文章或文本信息进行相似性的比较，将比较相似的文章或文本信息归为同一组的技术。分类和聚类都是将相似对象归类的过程。区别是，分类是事先定义好类别，类别数不变。分类器需要由人工标注的分类训练语料训练得到，属于有指导学习范畴。聚类则没有事先预定的类别，类别数不确定。聚类不需要人工标注和预先训练分类器，类别在聚类过程中自动生成。分类适合类别或分类体系已经确定的场合，比如按照国图分类法分类图书；聚类则适合不存在分类体系、类别数不确定的场合，一般作为某些应用的前端，比如多文档文摘、搜索引擎结果后聚类(元搜索)等。 分类(classification )是找出描述并区分数据类或概念的模型(或函数)，以便能够使用模型预测类标记未知的对象类。分类技术在数据挖掘中是一项重要任务,目前商业上应用最多。分类的目的是学会一个分类函数或分类模型(也常常称作分类器),该模型能把数据库中的数据项映射到给定类别中的某一个类中。 要构造分类器，需要有一个训练样本数据集作为输入。训练集由一组数据库记录或元组构成，每个元组是一个由有关字段(又称属性或特征)值组成的特征向量，此外，训练样本还有一个类别标记。一个具体样本的形式可表示为：(v1,v2,...,vn; c)；其中vi表示字段值，c表示类别。分类器的构造方法有统计方法、机器学习方法、神经网络方法等等。
不同的分类器有不同的特点。有三种分类器评价或比较尺度：1)预测准确度； 2)计算复杂度；3)模型描述的简洁度。预测准确度是用得最多的一种比较尺度，特别是对于预测型分类任务。计算复杂度依赖于具体的实现细节和硬件环境，在数据挖掘中，由于操作对象是巨量的数据，因此空间和时间的复杂度问题将是非常重要的一个环节。对于描述型的分类任务，模型描述越简洁越受欢迎。 另外要注意的是，分类的效果一般和数据的特点有关，有的数据噪声大，有的有空缺值，有的分布稀疏，有的字段或属性间相关性强，有的属性是离散的而有的是连续值或混合式的。目前普遍认为不存在某种方法能适合于各种特点的数据 聚类(clustering)是指根据“物以类聚”原理，将本身没有类别的样本聚集成不同的组，这样的一组数据对象的集合叫做簇，并且对每一个这样的簇进行描述的过程。它的目的是使得属于同一个簇的样本之间应该彼此相似，而不同簇的样本应该足够不相似。与分类规则不同，进行聚类前并不知道将要划分成几个组和什么样的组，也不知道根据哪些空间区分规则来定义组。其目的旨在发现空间实体的属性间的函数关系，挖掘的知识用以属性名为变量的数学方程来表示。聚类技术正在蓬勃发展，涉及范围包括数据挖掘、统计学、机器学习、空间数据库技术、生物学以及市场营销等领域，聚类分析已经成为数据挖掘研究领域中一个非常活跃的研究课题。常见的聚类算法包括：K-均值聚类算法、K-中心点聚类算法、CLARANS、BIRCH、CLIQUE、DBSCAN等。 1．含义
刘向民物流工程 S11085240007 聚类分析方法应用举例 多元统计，是研究多个随机变量之间相互依赖关系以及内在统计规律性的一门统计学科。多元统计所包括的内容很多.但在实际统计分析中，聚类分析是应用最广泛的方法之一。聚类分析(cluste:Analysis)，是研究分类问题的一种多元统计分析方法社会经济统计的分类问题，过去在传统方法上，主要是结合一定的专业知识进行定性分类处理。由于定性分类主要是靠经验完成，因而其结论难免带有较多的主观性和随意性，故不能很好地揭示客观事物内在的本质差别和联系。而聚类分析能带来定量上的分析可以解决这个问题，下面通过一些实例来描述聚类分析方法在应用上的体现； 1 基于聚类分析的安徽省物流需求研究 选取了分行业统计的年产值类指标构建物流需求指标体系（X组），具体指标包括：农业总产值（万元）（X1）、工业总产值（亿元）（X2）、建筑业总产值（万元）（X3）、社会消费零售总额（万元）（X4）、亿元商品市场成交额（万元）（X5）、进出口总额（万美元）（X6）。该指标体系通过农业、工业、建筑业、批发业、零售业及国际贸易的发生额较全面地反映了地区的物流需求情况。 2 研究方法 分类问题一般的解决法是聚类分析或者因子分析基础上的聚类分析。由于本文最终期望得安徽省地级市物流需求分类情况，无需了解各个指标体系的内在系统结构，故选择聚类分析方法更简明。进行聚类分析时，本文采用的是基于样本聚类的Q型系统聚类方法。3研究过程和结果 3.1地区物流需求指标的聚类分析 由分析软件输出的聚类过程统计量如表1所示。可以看出，伪F统计量在归为4类及7类时较大，说明归为4类及7类时较好；伪T2统计量在1类、2类、3类时较大，由于伪T2
电子科技大学政治与公共管理学院本科教学实验报告 （实验）课程名称：数据分析技术系列实验 电子科技大学教务处制表
电子科技大学 实验报告 学生姓名：学号： 指导教师： 一、实验室名称：电子政务可视化实验室 二、实验项目名称：聚类分析 三、实验原理 基于划分的聚类： 基于划分的聚类分析(partitioning-based cluster analysis) 与层次聚类分析不同, 事先需要指定将数据分为几类。 给定一个有 n 个个体的数据集, 将它划分为 k 个部分( k≤n ), 每个小部分即为一类。它需要满足以下两个条件: (1) k 类中任意一类不为空集,即每一类中至少有一个个体; (2) 每一个体都属于且仅属于 k 类中的一类。 在新近发展起来的一些基于划分的聚类分析算法中,第二个条件可以被适当放松。总之，限制条件不是绝对的。 1.初始凝聚点的选择 凝聚点即各类的代表点, 基于划分的聚类分析算法中首先需要找到 k 个凝聚点分别作为 k 类的中心, 用来形成初始分类。初始凝聚点的选择主要有以下几种方法: (1)经验选择, 根据对问题背景的了解,选择合适的点作为初始凝聚点。这是最理想的一种方法, 利用对问题本身背景信息的了解,既可以通过较少的迭代次数达到稳定分类, 又能够满足问题在聚类中的一些特殊需求。 (2) 随机选取 k 个点或者选择数据中前 k 个点作为凝聚点。在缺少已知信息的情况下常常使用这种方法。 (3) 将数据人为地分为 k 类, 将每一类的重心作为初始凝聚点。 (4) 密度法
人为地指定两个正数 d1 和 d2 (d2 > d1), 以每个样本点为中心, 落在与该点距离 小于 dl 的球内的样本个数即为该点的密度。 首先选择具有最大密度的点作为第一个凝聚点, 然后选择次大密度的样本点, 如果它和第一凝聚点之间的距离小于d2, 则该点取消;如果它与第一凝聚点之间的距离大于d2, 则该点作为第二个凝聚点。按照这个方法一直选下去, 每个新选出的凝聚点与已经选好的凝聚点之间的距离均要大于d2, 直到选出 k 个凝聚点为止。 若无法选出 k 个凝聚点, 则应适当调整d1 和 d2 的大小使过程能够进行下去。 2. 初始分类 最常用的初始分类方法有以下几种。 (1) 根据样本点间距离的定义, 每个样本归入与其距离最近的凝聚点所代表的类中。 (2) 将选出的每个凝聚点视为一类，第一个样本点进入时，归入与其距离最近的凝聚点所代表的一类，并对更新的类重新计算中心作为修正后的凝聚点替代原有凝聚点, 此后各个样本点按此方法依次进入。 (3) 首先人为指定一个正数 d , 将第一个样本点视为第一类。此后第二个样本点进入, 若它与第一个样本点之间的距离 d 12 >d, 则第二个样本点视为第二类; 若它与第一个 样本点之间的距离d 12 ≤ d, 则第二个样本点进入第一类。 当第l个样本点进入时已经有 m 个划分好的类, 每个类第一次进入的样本点记为 x i1, x i2 , …,x im 。若min d iij≤d, 则第l 个样本进入与其距离最近的点所代表的那一类; 否则, 第 l 个样本自成为新的一类。 注意, 这个方法不需要选择初始凝聚点就能够进行初始分类。 3.修改分类的方法 修改分类的方法主要有两种： (1) 按批修改法 1) 选择一批初始凝聚点, 定义点与点之间的距离; 2) 所有样本点按照最近初始凝聚点分类; 3) 计算每一类的重心, 将类的重心作为新的凝聚点,重新对所有样本点分类, 当所有凝聚点与上一次凝聚点重合时过程停止。 按批修改法的优点是计算量较小, 计算速度快; 其缺点是最终聚类结果与初始凝聚点选择有关。 逐个修改法
数据挖掘中的聚类分析方法 随着计算机应用的普及，信息系统产生的数据量日益增大，如何有效地利用巨量的原始数据分析现状和预测未来，己经成为人类面临的一大挑战。由此数据挖掘技术应运而生并得以迅猛发展，这是快速增长的数据量和日益贫乏的信息量之间矛盾运动的必然结果。 数据挖掘（Data Mining)，又称为数据库中的知识发现(简称KDD)，是从大量数据中提取可信的、新颖的、有效的并能被人们理解的模式的处理过程。数据挖掘是一门新兴的技术，它以数据库技术作为基础，把逻辑学、统计学、机器学习、模糊学、可视化计算等多门学科的成果综合在一起，进行如何从数据库中得到有用信息的研究。数据挖掘技术得到了人们的普遍关注，广泛应用于银行金融、保险、公共设施、政府、教育、远程通讯、软件开发、运输等各个企事业单位及国防科研上。 聚类分析是数据挖掘中的一个重要研究领域。所谓聚类，就是把没有类别标记的样本集按某种准则划分成若干类，使类内样本的相似性尽可能大，而类间样本的相似性尽量小，是一种无监督的学习方法。聚类分析通常是在没有先验知识支持的前提下进行的，它所要解决的就是在这种前提下，实现满足要求的类的聚合。聚类分析的研究主要集中在聚类算法上，产生性能好而且实用的聚类算法是其终极目的。 聚类是一个富有挑战性的研究领域，采用基于聚类分析方法的数据挖掘在实践中己取得了较好的效果，在实际操作中往往不是采用单一的手段，而是采用多种手段和方法相结合根据潜在的各项应用，数据挖掘对聚类的典型要求有以下9个方面: (1)可伸缩性 可伸缩性是指算法不论对于小数据集还是对于大数据集，都应是有效的在很多聚类算法当中，对于数据对象小于200个的小数据集合性很好，而对于包含成千上万个数据对象的大规模数据库进行聚类时，将会导致有不同的偏差结果。此外，可伸缩性算法应该随着数据库大小的变化，其运行时间应该线性变化。 (2)处理不同字段类型的能力 算法不仅要能处理数值型数据，还要有处理其它类型字段的能力，包括分类标称类型(catalog流Viminal)，序数型(ordinal)，二元类型(binary)，或者这些数据类型的混合。 (3)能够发现任意形状的聚类 (4)用于决定输入参数的领域知识最小化 在聚类分析当中，许多聚类算法要求用户输入一定的参数，如希望簇的数目聚类结果对于输入参数很敏感，通常参数较难确定，尤其是对于含有高维对象的数据集更是如此。要求用人工输入参数不但加重了用户的负担，也使得聚类质量难以控制。 (5)处理高维数据的能力 既可处理属性较少的数据，又能处理属性较多的数据很多聚类算法擅长处理低维数据，一般只涉及两到三维，通常最多再加二维的情况下能够很好地判断聚类的质量聚类数据对象在高维空间是非常具有挑战性的，尤其是考虑到这样的数据可能高度偏斜并且非常稀疏。例如，考虑包含不同地区的温度测量的数据集如果温度在一个相当长的时间周期内重复地测量，则维度的增长正比于测量的次数为低维数据开发的传统的数据分析技术通常不能很好地处理这样的高维数据。 (6)能够处理噪声数据 现实世界中的数据库常常包含了孤立点空缺未知数据或有错误的数据一些聚类算法对于这样的数据敏感，可能导致低质量的聚类结果所以我们希望算法可以在聚类过程中检测代表噪声和离群的点，然后删除它们或者消除它们的负面影响。
聚类分析的方法及应用 通常，我们在研究与处理事物时，经常需要将事物进行分类，例如地质勘探中根据物探、化探的指标将样本进行分类；古生物研究中根据挖掘出的骨骼形状和尺寸将它们分类；大坝监控中由于所得的观测数据量十分庞大，有时亦需将它们分类归并，获得其典型代表再进行深入分析等，对事物进行分类，进而归纳并发现其规律已成为人们认识世界、改造世界的一种重要方法。 由于对象的复杂性，仅凭经验和专业知识有时不能确切地分类，随着多元统计技术的发展和计算机技术的普及，利用数学方法进行更科学的分类不仅非常必要而且完全可能。 近些年来，数值分类学逐渐形成了一个新的分支，称为聚类分析，聚类分析适用于很多不同类型的数据集合，很多研究领域，如工程、生物、医药、语言、人类学、心理学和市场学等，都对聚类技术的发展和应用起到了推动作用。 1、什么是聚类分析？
聚类分析也称群分析或点群分析，它是研究多要素事物分类问题的数量方法，是一种新兴的多元统计方法，是当代分类学与多元分析的结合。其基本原理是，根据样本自身的属性，用数学方法按照某种相似性或差异性指标，定量地确定样本之间的亲疏关系，并按这种亲疏关系程度对样本进行聚类。 聚类分析是将分类对象置于一个多维空问中，按照它们空问关系的亲疏程度进行分类。 通俗的讲，聚类分析就是根据事物彼此不同的属性进行辨认，将具有相似属性的事物聚为一类，使得同一类的事物具有高度的相似性。 聚类分析方法，是定量地研究地理事物分类问题和地理分区问题的重要方法，常见的聚类分析方法有系统聚类法、动态聚类法和模糊聚类法等。 2、聚类分析方法的特征 （1）、聚类分析简单、直观。 （2）、聚类分析主要应用于探索性的研究，其分析的结果可以提供多个可能的解，选择最终的解需要研究者的主观判断和后续的分析。 （3）、不管实际数据中是否真正存在不同的类别，利用聚类分析都能得到分成若干类别的解。 （4）、聚类分析的解完全依赖于研究者所选择的聚类变量，增加或删除一些变量对最终的解都可能产生实质性的影响。 （5）、研究者在使用聚类分析时应特别注意可能影响结果的各个因素。
说起聚类分析，相信很多人并不陌生。这篇原创博客我想简单说一下我所理解的聚类分析，欢迎各位高手不吝赐教和拍砖。 按照正常的思路，我大概会说如下几个问题： 1. 什么是聚类分析？ 2. 聚类分析有什么用？ 3. 聚类分析怎么做？ 下面我将分聚类分析概述、聚类分析算法及sas 实现、案例三部分来系统的回答这些问题。 聚类分析概述 1. 聚类分析的定义 中国有句俗语叫“物以类聚，人以群分”——剔除这句话的贬义色彩。说白了就是物品根据物品的特征和功用可以分门别类，人和人会根据性格、偏好甚至利益结成不同的群体。分门别类和结成群体之后，同类（同群）之间的物品（人）的特征尽可能相似，不同类（同群）之间的物品（人）的特征尽可能不同。这个过程实际上就是聚类分析。从这个过程我们可以知道如下几点： 1）聚类分析的对象是物（人），说的理论一点就是样本 2）聚类分析是根据物或者人的特征来进行聚集的，这里的特征说的理论一点就是变量。当然特征选的不一样，聚类的结果也会不一样； 3）聚类分析中评判相似的标准非常关键。说的理论一点也就是相似性的度量非常关键； 4）聚类分析结果的好坏没有统一的评判标准； 2. 聚类分析到底有什么用？ 1）说的官腔一点就是为了更好的认识事物和事情，比如我们可以把人按照地域划分为南方人和北方人，你会发现这种分法有时候也蛮有道理。一般来说南方人习惯吃米饭，北方习惯吃面食；2）说的实用一点，可以有效对用户进行细分，提供有针对性的产品和服务。比如银行会将用户分成金卡用户、银卡用户和普通卡用户。这种分法一方面能很好的节约银行的资源，另外一方面也能很好针对不同的用户实习分级服务，提高彼此的满意度。 再比如移动会开发全球通、神州行和动感地带三个套餐或者品牌，实际就是根据移动用户的行为习惯做了很好的用户细分——聚类分析； 3）上升到理论层面，聚类分析是用户细分里面最为重要的工具，而用户细分则是整个精准营销里面的基础。精准营销是目前普遍接纳而且被采用的一种营销手段和方式。 3. 聚类分析的流程是怎样的？比较简单的聚类分析往往只根据一个维度来进行，比如讲用户按照付费情况分成高端用户、中端用户和低端用户。这个只需要根据商业目的统计一下相关数据指定一个高端、中端和低端的分界点标准就可以。 如果是比较复杂的聚类分析，比如移动里面经常会基于用户的多种行为（通话、短信、gprs
聚类分析方法有哪些 聚类就是按照某个特定标准（如距离准则，即数据点之间的距离）把一个数据集分割成不同的类或簇，使得同一个簇内的数据对象的相似性尽可能大，同时不在同一个簇中的数据对象的差异性也尽可能地大。我们可以具体地理解为，聚类后同一类的数据尽可能聚集到一起，不同类数据尽量分离。 聚类技术正在蓬勃发展，对此有贡献的研究领域包括数据挖掘、统计学、机器学习、空间数据库技术、生物学以及市场营销等。各种聚类方法也被不断提出和改进，而不同的方法适合于不同类型的数据，因此对各种聚类方法、聚类效果的比较成为值得研究的课题。聚类分析法是理想的多变量统计技术，主要有分层聚类法和迭代聚类法。聚类分析也称群分析、点群分析，是研究分类的一种多元统计方法。 例如，我们可以根据各个银行网点的储蓄量、人力资源状况、营业面积、特色功能、网点级别、所处功能区域等因素情况，将网点分为几个等级，再比较各银行之间不同等级网点数量对比状况。 聚类算法的分类目前，有大量的聚类算法。而对于具体应用，聚类算法的选择取决于数据的类型、聚类的目的。如果聚类分析被用作描述或探查的工具，可以对同样的数据尝试多种算法，以发现数据可能揭示的结果。 主要的聚类算法可以划分为如下几类：划分方法、层次方法、基于密度的方法、基于网格的方法以及基于模型的方法。 目前，聚类问题的研究不仅仅局限于上述的硬聚类，即每一个数据只能被归为一类，模糊聚类［10］也是聚类分析中研究较为广泛的一个分支。模糊聚类通过隶属函数来确定每个数据隶属于各个簇的程度，而不是将一个数据对象硬性地归类到某一簇中。目前已有很多关于模糊聚类的算法被提出，如著名的FCM算法等，此方法后面会提及。 常用的聚类方法1.k-mean聚类分析适用于样本聚类； 2.分层聚类适用于对变量聚类； 3.两步聚类适用于分类变量和连续变量聚类；