动态K_均值聚类算法在RBF神经网络中心选取中的应用概要
- 格式：doc
- 大小：127.00 KB
- 文档页数：8
83
TECHNOLOGY 引言
径向基函数神经网络 (RBFNN以其简单的网络结 构、快速的学习方法、较好的推广能力,已经广泛地应 用于许多领域,特别是模式识别和函数逼近等领域。然 而,如何有效地确定 RBF 神经网络的网络结构和参数, 至今没有系统的规律可循。在
RBF 神经网络中需要确定 的参数包括隐含层节点数、隐含层基函数的中心值和宽
度、隐含层到输出层的连接权值。目前,隐含层节点数 主要依靠经验来选取。而根据 moody 准则,神经网络的 设计应该在满足精度要求的情况下有最小的结构,以保
证网络的泛化能力 [1]。
由于隐含层基函数中心值的选取对网络的函数逼 近能力有很大的影响,目前最常用的确定隐含层中心值 的方法是 K-均值聚类法。由于 K-均值聚类法的聚类过程
一般能够根据输入向量比较准确地确定聚类数和相应的 聚类中心,因此,如果在已知全部输入向量时使用该方 法能够比较精确地确定网络结构。但是,它要求实现确 定全部输入向量和指定聚类中心的数目,这在实际应用 中很难办到。而动态 K-均值聚类方法能够根据输入来实 时地确定网络的中心。因此,本文提出动态均值聚类方 法,对一般的 K-均值方法进行改进。
一、BRF神经网络的结构原理
RBF 神经网络最基本的结构形式是一种三层前向网
动态K-均值聚类算法
在RBF神经网络中心选取中的应用
◆ 雷升锴 刘红阳 何 嘉 何险峰 薛 勤
摘要:RBF神经网络构造的关键问题是中心的选取,动态K-均值聚类算法 采用调整聚类中心的方法,使网络中心的选择更精确。本文先简介了RBF神经 网络的结构原理,然后将动态K-均值算法应用于BRF神经网络的中心选取,最 后进行了仿真实验。实验结果表明采用动态K-均值算法确定中心的RBF神经网 络逼近性能更好,具有较强的实用性。
关键词:径向基函数;神经网络;动态均值聚类算法;函数逼近
络。网络的基本构成包括输入层、隐含层和输出层,各 层的节点数目分别为 P ,
M , L ,每一层都有着完全不同 的作用。其结构如图 1所示。
第一层是输入层,由一些信号源节点 (感知单元 组 成,它们将网络与外界环境连接起来。第二层是隐含 层,由若干个隐节点构成。隐含层只有一个隐含层单 元,采用径向基函数作为其输出特性。第三层是输出 层,由若干个线性求和单元的输出节点组成,它对输入 模式的作用产生响应。输入层节点传递输入信号到隐含 层。从输入空间到隐含层空间的变换是非线性的,而从 隐含层空间到输出层空间的变换是线性的。网络输出节 点计算隐节点给出基函数的线性组合。输入层到隐含层 之间的权值固定为 1,只有隐含层到输出层之间的权值 W kj (k=1, 2,…, L ; j=1, 2,…, M 可调。
图 1 RBF神经网络的组成
TECHNOLOGY
在图 1中,输入层由 P 个信号源节点组成。设 N 为当
前训练的样本总数,对于训练集的每个样本即为输入矢
量:X=(xl , x 2,…, x p ,其中 x i (i=1,…, P 为网络的
第 i 个输入。隐含层由 M 个隐节点组成。每个隐含层节
点的激活函数是一个径向基函数,它是一种局部分布的
中心点径向对称衰减的非负非线性函数。由于高斯基函
数具备表示形式简单、径向对称、光滑性好、易于进行
理论分析等优点,所以文中隐含层变换函数采用高斯基
函数,其表达形式如下所示:
j=1, 2,…, M (1
其中, 12p T 为网络输入矢量。
C j 为隐含层第 j 个高斯单元的中心矢量,与 X 具有相
同维数的向量, C j =(cj1, c j2,…, c jp , (j=l, 2,…,
M 。 ðj 是第 j 个感知的变量 (可以自由选择的参数 ,
M 是隐节点
范数,表示
j 个节点的输
由 高 斯 公 式 可
y L ,
2
j
w kj 为
第 , 2,…, M
算法
RBF 网络中心学习过程分两步:一是根据输入样本
确定隐含层各节点的变换函数的中心 C j 和半径 ρj ;二是
采用误差校正学习算法,调节输出层的权 W 。其目的就
是把输入数据分配到一定数目的有意义的类别中去,即 根据欧氏空间中的距离来对输入向量进行聚类。本文采 用自适应调整聚类中心的方法——动态均值聚类法。 该方法的基本思想是:首先已知据聚类中心的数 目,然后随着向量的输入,计算输入向量与特定聚类中 心的欧氏距离。如果距离小于门限值,则将该聚类中心 所对应的输入向量的平均值作为新的聚类中心;如果距 离大于门限值,则将刚输入的向量作为新的聚类中心。 再接着输入向量,直到确定所有的聚类中心。
2.2 动态K-均值聚类算法在RBF中的应用
动态 K-均值聚类算法在 RBF 网络中心选取中的作用 是调整聚类中心,使网络中心的选取更精确。它的计算 过程可以简要的描述如下:
首先,令类别数为 0(第一个输入会强迫创建出一 个类别模式以支持该输入。以后,每遇到每一个新的 输入向量,则计算它与任何一个已分配的类别模式之间 的距离。如果指定第 P 个输入向量为 X (p 以及第 j 个聚类 中心为 C j ,则欧氏距离 d 可以表示为:
3
和所有已分配的模式类别之间 C k ,应有 d 0=‖ (p - Cj ‖, j=1,…, T , j ≠ k其 中 T
在确定了与输入矢量最近的中心后, k 就已经确定 了,从而 d0也就确定了。先把它和距离门限值 ρ进行比 较,会有如下两种情况:
(1当 d 0
(4
个聚类中心所对的输入矢量的个 数。
(2当 d 0>ρ时,输入矢量 X (p 不在允许的误差范围 内,从而不能分配到该类别中去。此时,应该以 X (p 为 中心,分配一个新的聚类中心,算法流程图如图 2所示。
85
TECHNOLOGY (5
本实验通过 RBF K-均值聚类和动态 K-PC 机一台,所用工具为 考虑非线性函数
,
用 RBF 神经网络进行函数逼近。
x 以 0.1为间隔在 [0, 10]上均匀取值,可得到 100个样本作为训练样本。 RBF 神经网络的中心点个数取 m=20,基函数用高斯函数。对分别采用 K-均值算法和 动态
K-均值算法确定 RBF 神经网络中心进行比较:采 用 K-均值聚类算法,训练时样本的最小平均相对误差 为 0.1014327,图 3为 K-均值聚类法 RBF 拟合曲线。采用 动态
K-均值聚类算法,训练时样本的平均相对误差为
0.0731432,图 4为动态 K-均值聚类法 RBF 拟合曲线。可 见采用动态 K-均值聚类算法可以获得更好的效果。
四、结论
本文在 k-均值聚类算法的基础上,将动态均值聚类 方法应用到 RBF 神经网络。该方法有效地解决了 k-均值 聚类的局限性,提高了 RBF 的网络学习能力。通过仿真
实验验证了该方法的实用性和精确度,可供进一步的研 究和实际应用。
参考文献
[1]阎平凡,张长水.人工神经网络与模拟进化计算[M].北京:清华 大学出版社,2003.
[2]张海朝,黄淼.基于RBF神经网络的B样条曲面重构[J],微电子 学与计算机,2008,7.
[3]兰天鸽,方勇华.构造RBF神经网络及其参数优化[J],计算机工 程,2008,33(5.
[4]Roy A,Govil S,Miranda R.A Neural Network Learning Theory and aPolynomial
Time RBF Algorithm[J].IEEE Trans.on Neural Network,1997,8(6:1301-1313.
[5]潘登,郑应平.基于RBF神经网络的网格数据聚类方法[J].计算 机应用,2007,26(2.
[6]任江涛,孙婧昊.一种用于文本聚类的改进的K均值算法[J].计算 机应用,2006,26(6.
[7]Mashor M Y.Hybrid training algorithm for RBF network[J].I n t e r n a -t i o n a l
J o u r n a l o f t h e C o m p u t e r , t h e I n t e r n e t a n d Management,2000,8(2:48-65.
[8]B i a n c h i n i M , F r a s c o n o P , C o r i M. L e a r n i n g w i t h o u t minima
radialbasis function network[J].IEEE Trans on Neural Networks,1995,6(3:749-756.
[9]Pedrycz W.Conditional fuzzy clustering in the design of radial ba-sis function
neural network[J].IEEE Trans on Neural Networks,1998,9(4:601-612.
[10]G o n z a l e z J , P o j a s I , P o m a r e s H. A n e w c l u s t e r i n g technique
for function approximation[J].IEEE Trans on Neural Networks,2002,13(1:132-142.
(作者单位:四川省农村经济综合信息中心
图 3 K-均值聚类法 RBF 拟合曲线 图 4 动态 K-均值聚类法 RBF 拟合曲线
