第七章 聚类分析
- 格式:ppt
- 大小:863.00 KB
- 文档页数:42
1聚类分析内涵1.1聚类分析定义聚类分析(Cluste.Analysis)是一组将研究对象分为相对同质的群组(clusters)的统计分析技术.也叫分类分析(classificatio.analysis)或数值分类(numerica.taxonomy), 它是研究(样品或指标)分类问题的一种多元统计方法, 所谓类, 通俗地说, 就是指相似元素的集合。
聚类分析有关变量类型:定类变量,定量(离散和连续)变量聚类分析的原则是同一类中的个体有较大的相似性, 不同类中的个体差异很大。
1.2聚类分析分类聚类分析的功能是建立一种分类方法, 它将一批样品或变量, 按照它们在性质上的亲疏、相似程度进行分类.聚类分析的内容十分丰富, 按其聚类的方法可分为以下几种:(1)系统聚类法: 开始每个对象自成一类, 然后每次将最相似的两类合并, 合并后重新计算新类与其他类的距离或相近性测度. 这一过程一直继续直到所有对象归为一类为止. 并类的过程可用一张谱系聚类图描述.(2)调优法(动态聚类法): 首先对n个对象初步分类, 然后根据分类的损失函数尽可能小的原则对其进行调整, 直到分类合理为止.(3)最优分割法(有序样品聚类法): 开始将所有样品看成一类, 然后根据某种最优准则将它们分割为二类、三类, 一直分割到所需的K类为止. 这种方法适用于有序样品的分类问题, 也称为有序样品的聚类法.(4)模糊聚类法: 利用模糊集理论来处理分类问题, 它对经济领域中具有模糊特征的两态数据或多态数据具有明显的分类效果.(5)图论聚类法: 利用图论中最小支撑树的概念来处理分类问题, 创造了独具风格的方法.(6)聚类预报法:利用聚类方法处理预报问题, 在多元统计分析中, 可用来作预报的方法很多, 如回归分析和判别分析. 但对一些异常数据, 如气象中的灾害性天气的预报, 使用回归分析或判别分析处理的效果都不好, 而聚类预报弥补了这一不足, 这是一个值得重视的方法。
第七章聚类分析第一节遗传距离数量性状遗传研究中,常常需要在多性状水平上度量个体或群体间的亲疏关系,遗传距离是在多性状水平上概括这些研究对象间的亲缘关系疏远程度的有效统计量之一。
通过对遗传距离的聚类分析,不仅可以认识所研究对象(个体或群体)间亲缘关系的远近,还可进一步研究不同类群间关系远近与杂种优势的关系,为杂交育种和杂种优势的利用提供理论和材料依据。
下面首先介绍有关遗传距离的基本概念—样品与变量,然后介绍遗传距离的具体计算,第三部分介绍聚类分析。
一、样品与变量遗传距离可以通过三种不同类型信息获得:表型信息、分子(包括DNA和蛋白质)标记信息和系谱信息,由这三种信息求得的遗传距离分别称为表型遗传距离、遗传标记距离和系谱遗传距离。
在聚类分析中有两个很重要的概念:样品和变量。
样品是所研究的对象,如不同群体、不同品种以及变异群体内的不同个体等。
为了研究样品间的关系,需要拟定一些指标来测试这些样品,这些指标就是变量,如株高、产量、籽粒长度、胚颜色等为表型性状变量;采用分子生物学技术获得的“0、1”型标记变量被称为分子标记变量。
样品间表型性状变量和分子标记变量的遗传距离计算方法不同,下面分别叙述。
二、基于数量性状表型数据的遗传距离(一)数据变换一般来说,用来考察样品的表型性状变量有多个,这些变量使用的量纲会有不同,取值范围也不相同。
为了使不同量纲、不同取值范围的数据能放在一起进行比较,通常需要对原始数据进行变换处理,使之变成无量纲而具可比性。
假设有n个样品,m个变量,y表示第i个样品在第j个变量的观测值,ij==。
观测值数据列于表7-1。
1,,;1,,i n j m11 y1. 标准差标准化变换:*(1,2,,;1,2,,)ij jij jy y y i n j m s -=== (7-1)变换后的数据*ij y 无量纲,每个变量的样本均值为0,标准差为1。
2. 极差标准化变换:*(1,2,,;1,2,,)ij j ij jy y y i n j m R -=== (7-2)变换后的数据*ij y 无量纲,每个变量的样本均值为0,极差为1,且|*ij y |﹤1。
聚类分析原理及步骤
一,聚类分析概述
聚类分析是一种常用的数据挖掘方法,它将具有相似特征的样本归为
一类,根据彼此间的相似性(相似度)将样本准确地分组为多个类簇,其中
每个类簇都具有一定的相似性。
聚类分析是半监督学习(semi-supervised learning)的一种,半监督学习的核心思想是使用未标记的数据,即在训
练样本中搜集的数据,以及有限的标记数据,来学习模型。
聚类分析是实际应用中最为常用的数据挖掘算法之一,因为它可以根
据历史或当前的数据状况,帮助组织做出决策,如商业分析,市场分析,
决策支持,客户分类,医学诊断,质量控制等等,都可以使用它。
二,聚类分析原理
聚类分析的本质是用其中一种相似性度量方法将客户的属性连接起来,从而将客户分组,划分出几个客户类型,这样就可以进行客户分类、客户
细分、客户关系管理等,更好地实现客户管理。
聚类分析的原理是建立在相似性和距离等度量概念之上:通过对比一
组数据中不同对象之间的距离或相似性,从而将它们分成不同的类簇,类
簇之间的距离越近,则它们之间的相似性越大;类簇之间的距离越远,则
它们之间的相似性越小。
聚类分析的原理分为两类,一类是基于距离的聚类。
1、什么是聚类分析聚类分析也称群分析或点群分析,它是研究多要素事物分类问题的数量方法,是一种新兴的多元统计方法,是当代分类学与多元分析的结合。
其基本原理是,根据样本自身的属性,用数学方法按照某种相似性或差异性指标,定量地确定样本之间的亲疏关系,并按这种亲疏关系程度对样本进行聚类。
聚类分析是将分类对象置于一个多维空问中,按照它们空问关系的亲疏程度进行分类。
通俗的讲,聚类分析就是根据事物彼此不同的属性进行辨认,将具有相似属性的事物聚为一类,使得同一类的事物具有高度的相似性。
聚类分析方法,是定量地研究地理事物分类问题和地理分区问题的重要方法,常见的聚类分析方法有系统聚类法、动态聚类法和模糊聚类法等。
2、聚类分析方法的特征(1)、聚类分析简单、直观。
(2)、聚类分析主要应用于探索性的研究,其分析的结果可以提供多个可能的解,选择最终的解需要研究者的主观判断和后续的分析。
(3)、不管实际数据中是否真正存在不同的类别,利用聚类分析都能得到分成若干类别的解。
(4)、聚类分析的解完全依赖于研究者所选择的聚类变量,增加或删除一些变量对最终的解都可能产生实质性的影响。
(5)、研究者在使用聚类分析时应特别注意可能影响结果的各个因素。
(6)、异常值和特殊的变量对聚类有较大影响,当分类变量的测量尺度不一致时,需要事先做标准化处理。
3、聚类分析的发展历程在过去的几年中聚类分析发展方向有两个:加强现有的聚类算法和发明新的聚类算法。
现在已经有一些加强的算法用来处理大型数据库和高维度数据,例如小波变换使用多分辨率算法,网格从粗糙到密集从而提高聚类簇的质量。
然而,对于数据量大、维度高并且包含许多噪声的集合,要找到一个“全能”的聚类算法是非常困难的。
某些算法只能解决其中的两个问题,同时能很好解决三个问题的算法还没有,现在最大的困难是高维度(同时包含大量噪声)数据的处理。
算法的可伸缩性是一个重要的指标,通过采用各种技术,一些算法具有很好的伸缩性。