基于模糊聚类算法中FCM算法的PPT课件
- 格式:pptx
- 大小:946.97 KB
- 文档页数:37


模糊C 均值聚类算法:模糊c 均值聚类(FCM ),即众所周知的模糊ISODATA ,是用隶属度确定每个数据点属于某个聚类的程度的一种聚类算法。
1973年,Bezdek 提出了该算法,作为早期硬c 均值聚类(HCM )方法的一种改进。
FCM 把n 个向量x i (i=1,2,…,n )分为c 个模糊组,并求每组的聚类中心,使得非相似性指标的价值函数达到最小。
FCM 与HCM 的主要区别在于FCM 用模糊划分,使得每个给定数据点用值在0,1间的隶属度来确定其属于各个组的程度。
与引入模糊划分相适应,隶属矩阵U 允许有取值在0,1间的元素。
不过,加上归一化规定,一个数据集的隶属度的和总等于1:∑==∀=c i ij n j u1,...,1,1 (3.1)那么,FCM 的价值函数(或目标函数)就是:∑∑∑====c i n j ijm ij c i i c d u J c c U J 1211),...,,(, (3.2)这里u ij 介于0,1间;c i 为模糊组I 的聚类中心,d ij =||c i -x j ||为第I 个聚类中心与第j 个数据点间的欧几里德距离;且[)∞∈,1m 是一个加权指数。
构造如下新的目标函数,可求得使(3.2)式达到最小值的必要条件: ∑∑∑∑∑∑=====-+=-+=n j c i ij j c i n j ijmij n j ci ij j c n c u d u u c c U J c c U J 111211111)1()1(),...,,(),...,,,...,,(λλλλ (3.3)这里λj ,j=1到n ,是(3.1)式的n 个约束式的拉格朗日乘子。
对所有输入参量求导,使式(3.2)达到最小的必要条件为:∑∑===nj m ijn j j m ij i u x uc 11(3.4) 和∑=-⎪⎪⎭⎫ ⎝⎛=c k m kj ij ij d d u 1)1/(21(3.5)由上述两个必要条件,模糊c均值聚类算法是一个简单的迭代过程。
FCM模糊c均值1、原理详解模糊c-均值聚类算法fuzzy c-means algorithm (FCMA)或称(FCM)。
在众多模糊聚类算法中,模糊C-均值(FCM)算法应用最广泛且较成功,它通过优化目标函数得到每个样本点对所有类中心的隶属度,从而决定样本点的类属以达到自动对样本数据进行分类的目的。
聚类的经典例子然后通过机器学习中提到的相关的距离开始进行相关的聚类操作经过一定的处理之后可以得到相关的cluster,而cluster之间的元素或者是矩阵之间的距离相对较小,从而可以知晓其相关性质与参数较为接近C-Means Clustering:固定数量的集群。
每个群集一个质心。
每个数据点属于最接近质心对应的簇。
1.1关于FCM的流程解说其经典状态下的流程图如下所示集群是模糊集合。
一个点的隶属度可以是0到1之间的任何数字。
一个点的所有度数之和必须加起来为1。
1.2关于k均值与模糊c均值的区别k均值聚类:一种硬聚类算法,隶属度只有两个取值0或1,提出的基本根据是“类内误差平方和最小化”准则,进行相关的必要调整优先进行优化看是经典的欧拉距离,同样可以理解成通过对于cluster的类的内部的误差求解误差的平方和来决定是否完成相关的聚类操作;模糊的c均值聚类算法:一种模糊聚类算法,是k均值聚类算法的推广形式,隶属度取值为[0 1]区间内的任何数,提出的基本根据是“类内加权误差平方和最小化”准则;这两个方法都是迭代求取最终的聚类划分,即聚类中心与隶属度值。
两者都不能保证找到问题的最优解,都有可能收敛到局部极值,模糊c均值甚至可能是鞍点。
1.2.1关于kmeans详解K-means算法是硬聚类算法,是典型的基于原型的目标函数聚类方法的代表,它是数据点到原型的某种距离作为优化的目标函数,利用函数求极值的方法得到迭代运算的调整规则。
K-means算法以欧式距离作为相似度测度,它是求对应某一初始聚类中心向量V最优分类,使得评价指标J最小。
模糊聚类算法(FCM)伴随着模糊集理论的形成、发展和深化,RusPini率先提出模糊划分的概念。
以此为起点和基础,模糊聚类理论和⽅法迅速蓬勃发展起来。
针对不同的应⽤,⼈们提出了很多模糊聚类算法,⽐较典型的有基于相似性关系和模糊关系的⽅法、基于模糊等价关系的传递闭包⽅法、基于模糊图论的最⼤⽀撑树⽅法,以及基于数据集的凸分解、动态规划和难以辨别关系等⽅法。
然⽽,上述⽅法均不能适⽤于⼤数据量的情况,难以满⾜实时性要求较⾼的场合,因此实际应⽤并不⼴泛。
模糊聚类分析按照聚类过程的不同⼤致可以分为三⼤类:(1)基于模糊关系的分类法:其中包括谱系聚类算法(⼜称系统聚类法)、基于等价关系的聚类算法、基于相似关系的聚类算法和图论聚类算法等等。
它是研究⽐较早的⼀种⽅法,但是由于它不能适⽤于⼤数据量的情况,所以在实际中的应⽤并不⼴泛。
(2)基于⽬标函数的模糊聚类算法:该⽅法把聚类分析归结成⼀个带约束的⾮线性规划问题,通过优化求解获得数据集的最优模糊划分和聚类。
该⽅法设计简单、解决问题的范围⼴,还可以转化为优化问题⽽借助经典数学的⾮线性规划理论求解,并易于计算机实现。
因此,随着计算机的应⽤和发展,基于⽬标函数的模糊聚类算法成为新的研究热点。
(3)基于神经⽹络的模糊聚类算法:它是兴起⽐较晚的⼀种算法,主要是采⽤竞争学习算法来指导⽹络的聚类过程。
在介绍算法之前,先介绍下模糊集合的知识。
HCM聚类算法⾸先说明⾪属度函数的概念。
⾪属度函数是表⽰⼀个对象x ⾪属于集合A 的程度的函数,通常记做µA(x),其⾃变量范围是所有可能属于集合A 的对象(即集合A 所在空间中的所有点),取值范围是[0,1],即0<=µA(x),µA(x)<=1。
µA(x)=1 表⽰x 完全⾪属于集合A,相当于传统集合概念上的x∈A。
⼀个定义在空间X={x}上的⾪属度函数就定义了⼀个模糊集合A,或者叫定义在论域X={x}上的模糊⼦集A’。