当前位置：文档之家 › RBF算法

RBF算法

  • 格式：doc
  • 大小：241.00 KB
  • 文档页数：4

1引言

作为一种单隐层前馈神经网络，径向基函数(RBF)网络已经成功地应用于模式识别、函数逼近信号处理、系统建模和控制等领域【】。RBF网络的广泛应用，是与其具有的网络结构简单、非线性逼近能力强、收敛速度快以及全局收敛等优点密不可分的[3]。

对于RBF神经网络的学习算法，关键问题是隐层神经元中心参数的合理确定。在已有的常用学习算法中，中心参数要么是从给定的训练集样本中按照某种方法直接选取，要么采用聚类的方法进行确定。实际应用表明，这些学习算法均有不足之处，使之应用范围受到限制。如正交优选法【】，其缺点是隐层神经元中心的取值是训练集样本中的数据，这在多数情况下难以反映系统的真正映射关系，且在中心点的优选过程中会出现病态现象，导致训练失败。再如Moody和Darken算法[],其缺点是无法合理地确定隐层神经元的数目，所得到的中心值也未必是合理的。

本文拟采用最近邻聚类和可变速率的最小均方（LMS）算法相结合的方法来给出RBF网络的学习算法。其中用最近邻聚类来确定径向基函数的中心，

2 RBF神经网络结构

最基本的RBF神经网络的构成包括三层，分别为输入层、隐层（中间层）和输出层。其中输入层由一些源点（感知单元）组成，它们将网络与外部环境连接起来，仅起到数据信息的传递作用，对输入信息不进行任何变换；隐层神经元的核函数（或称作用函数）取为径向基函数，对输入信息到隐层空间之间进行非线性变换，通常具有较高的维数；输出层是线性的，为输入层的激活模式提供响应。

设隐层、输出层上的神经元数分别为M，Q，输入模式记为X，12[,,,]TRXxxx，输出记为Y，12[,,,]TQYyyy。本文取径向基函数为Gauss函数，隐单元输出则为

2expjjjXCz 1,2,,jM 1

式中：jz为隐层第j个神经元的输出值；jC为隐层第j个神经元的中心，由隐层第j个神经元对应于输入层所有神经元的中心分量构成，12,,,TjjjjRCccc；j为隐层第j个神经元的宽度，与jC相对应；为欧氏范数。

输出层神经元的输入输出关系表达式是：

1Mkkjjjywz 1,2,,kQ 2

式中：ky为输出层第j个神经元的输出值；kjw为输出层第k个神经元与隐层第j个神经元间的权值。

RBF神经网络的参数在此主要是指网络的中心、宽度、和调节权重。

图1 RBF网络的拓朴结构

3学习算法

RBF网络设计是在于网络的学习算法设计。RBF网络的学习算法一般包括两个不同的阶段：一是隐层径向基函数中心的确定阶段；二是径向基函数权值学习调整阶段。因此，RBF网络所用的非线性函数形式并不影响网络的性能，关键在于基中心、宽度和权值调整算法的确定

3.1、网络设计步聚

神经网络设计大致需要经过四个步骤：

（1）网络的生成。主要是根据输入样本数据和应用要求来确定网络的结构、层数、输入层、输出层和隐层的神经元的数目、传递函数及训练算法。

（2）网络的初始化。在网络生成的同时需根据不同的要求对网络各层的权值和阀值进行初始化。

（3）网络的训练。根据提供的样本数据对“输入矢量——输出矢量”和训练算法对网络进行训练。

（4）网络的仿真。根据测试样本数据对已训练好的网络进行仿真计算，也可对训练后的网络实际输出与仿真输出进行误差比较。

3.2 基于最近邻聚类的中心选取

给定高斯函数宽度，作为所分配隐单元的初始宽度，并把其作为衡量输入数据与已存在隐单元中心距离的标准，的大小决定了网络的最终聚类数目。

设RBF网络已存在个M隐单元，对于一个新的样本，如果iXC成立，1,2,,iM，则生成一个新的隐单元。否则，将该样本归到最小距离所属的类中，中心保持不变。

具体步骤如下：

（1）选择一个适当的高斯函数宽度，定义一个矢量Al用于存放属于各类的输出向量之和，定义一个计数器Bl用于统计属于各类的样本个数，其中l为类别数；

（2）从第一个样本111121,,,RXxxx开始，建立第一个聚类中心，令11CX，11B。这样建立的RBF网络，只有一个隐单元，该单元的中心是1C，该隐单元到输出层的权为11/1WAB；

（3）考虑第2个样本数据221222,,,RXxxx，求出2X到1C这个聚类中心的距离21XC。如果21XC，则1C为2X的最近邻聚类，且令12B；如果21XC，则将2X作为一个新的聚类中心，并令22CX，21B。在上述建立的RBF网络中再添加一个隐单元，该隐单元到输出层的权为22/2WAB；

（4）假设我们考虑第k个样本时，已存在M个聚类中心，其中心分别为12,,,MCCC，则在上述建立的RBF网络中已有M个隐单元。这时再分别求出kX到这M个聚类中心的距离kiXC，1,2,,iM。

设kjXC为这些距离中的最小距离，即jC为kX的最近邻聚类：此时，如果kjXC，则将kX作为一个新的聚类中心，令1MkCX，1MM，1kAMY，1BM，并保持Bi的值不变，1,2,,iM，在上述建立的RBF网络中再添加第1M个隐单元，该隐单元到输出层的权矢量为11/1MWAMBM；如果kjXC，作如下计算：kAjAjY，1BjBj。当ij时，1,2,,iM，保持Ai、Bi的值不变。隐单元到输出层的权/iWAiBi。

宽度的大小决定动态自适应RBF网络的复杂程度。越小，所得到的聚类数目就越多，计算量就越大，精度也越高；越大，所得到的聚类数目就越少，计算量就相对较小，从而导致精度也较低。

3.3权值更新如下 对所有输入样本，定义代价函数瞬时值：2112Njje

其中N是用于学习的训练样本数目，je是误差信号，定义如下：

2*1expMjijjjjiiiXCedFXdw则

权值更新如下：

21expNjijjiiXCnenwn

1002111expiiijjjjjjijinwnwnwnwnwnnzndnwnznnnXCzn

中心更新：

在ＬＭＳ算法中，学习率参数在计算过程中保持不变，从而导致收敛速度较慢，并且对输入结构特征结构的变化反应较灵敏。ＬＭＳ算法一般需要输入空间维数十倍的迭代次数才能达到稳定状态，当输入空间维数较高时缓慢的收敛速度会变得特别严重。因此我们提出了可变速率的学习：01nn， 0和是用户选择的常数。在自适应的早期阶段，即迭代次数相对搜寻时间常数较小时，学习率参数近似等于，算法运行实际上也是与“标准”的ＬＭＳ算法一样的。因此，通过在允许范围内选择一个较大，我们希望对可调权值找到一组找到一组较好的值并在其中上下浮动。然后，当迭代次数比搜寻时间常数大时，学习率参数近似为。此时，该算法以一个传统的随机逼近算法运行，且权值收敛到它们的最优值。这样搜寻后的收敛进度是把标准ＬＭＳ算法的期望特征和传统随机逼近理论结合起来。

1jjjjjwnwnnzndnwnzn

01nn

2expjijiXCzn

其中0和是用户选择的常数

合集下载

一种RBF神经网络的混合学习算法在CPI中的应用

一种RBF神经网络的混合学习算法在CPI中的应用

总第２７０期　

２０１２年第４期　计算机与数字工程　Ｃｏｍｐｕｔｅｒ＆Ｄｉｇｉｔａｌ　Ｅｎｇｉｎｅｅｒｉｎｇ　Ｖｏ１．４０　Ｎｏ．４　８　

一种ＲＢＦ神经网络的混合学习算法在ＣＰＩ中的应用　

罗芳琼　

（柳州师范高等专科学校数学与计算机科学系　柳州　５４５００４）　

摘要根据ＲＢＦ神经网络最常用的ＯＬＳ算法、Ｋ一均值聚类算法和梯度下降训练学习算法，提出了一种基于正交最小二乘Ｋ一均值聚　

类梯度下降优化的ＲＢＦ神经网络的混合算法。该算法克服了单一某种训练方法的不足，发挥了混合算法的长处，进行了ＣＰＩ预测的仿真实　

验。结果证明：该方法是有效实用。　

关键词ＲＢＦ神经网络；优化混合算法；ＣＰＩ预测　

中图分类号ＴＰ１８３　

Ａｎ　Ｏｐｔｉｍｉｚｅｄ　Ｈｙｂｒｉｄ　Ａｌｇｏｒｉｔｈｍ　ｏｆ　ＲＢＦ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋｓ　Ｍｏｄｅｌ　

ｉｎ　ＣＰＩ　Ｆｏｒｅｃａｓｔｉｎｇ　

ＬＵＯ　Ｆａｎｇｑｉｏｎｇ　

（Ｄｅｐａｒｔｍｅｎｔ　ｏｆ　Ｍａｔｈｅｍａｔｉｃｓ　ａｎｄ　Ｃｏｍｐｕｔｅｒ　Ｓｃｉｅｎｃｅ，Ｇｕａｎｇｘｉ　Ｌｉｕｚｈｏｕ　Ｔｅａｃｈｅｒ　Ｃｏｌｌｅｇｅ，Ｌｉｕｚｈｏｕ　５４５００４）　

Ａｂｓｔｒａｃｔ　Ｔｈｉｓ　ｐａｐｅｒ　ｐｒｏｐｏｓｅｓ　ａｎ　ｏｐｔｉｍｉｚｅｄ　Ｈｙｂｒｉｄ　ａｌｇｏｒｉｔｈｍ　ｂａｓｅｄ　ｏｎ　Ｋ—ｍｅａｎｓ　ｃｌｕｓｔｅｒｉｎｇ，ｏ￣ｈｏｇｏｎａｌ　ｌｅａｓｔ　ｓｑｕａｒｅｓ（ＯＬＳ）ａｎｄ　Ｇｒａ—　

ｄｉｅｎｔ　ｄｅｓｃｅｎｔ　ａｌｇｏｒｉｔｈｍ．Ｂｙ　ａｐｐｌｙｉｎｇ　Ｋ－ｍｅａｎｓ　ｃｌｕｓｔｅｒｉｎｇ　ａｎｄ　ＯＬＳ　ａｌｇｏｒｉｔｈｍ　ｔｏ　ｔｒａｉｎ　ｔｈｅ　ｃｅｎｔｒａｌ　ｐｏｓｉｔｉｏｎ　ａｎｄ　ｗｉｄｔｈ　ｏｆ　ｔｈｅ　ｂａｓｉｓ　ｆｕｎｃｔｉｏｎ　ａｄ－　

ｏｐｔｅｄ　ｉｎ　ｔｈｅ　ＲＢＦＮＮ，ａｎｄ　ｃｏｍｐｕｔｉｎｇ　ｔｈｅ　ｎｅｔｗｏｒｋ’ｓ　ｗｅｉｇｈｔｓ　ｗｉｔｈ　ｌｅａｓｔ—ｓｑｕａｒｅｍｅｔｈｏｄ，Ｉｎ　ａｄｄｉｔｉｏｎ，ｂｙ　ｃｏｍｂｉｎｉｎｇ　ｔｈｅ　ｇｒａｄｉｅｎｔ　ａｌｇｏｒｉｔｈｍ，ｖｉａ　

rbf核函数和高斯核函数

rbf核函数和高斯核函数

- 1 - rbf核函数和高斯核函数

本文旨在探讨RBF核函数与高斯核函数之间的区别及其有效性，并从数学角度进行详细分析。RBF核函数和高斯核函数分别拥有独特的特点与优点，能够改善机器学习任务的效率和精确度，但也存在一些缺点。

RBF核函数是一种有效的非线性核函数，它的主要目的是找到一种将输入数据转换为更复杂的高维特征空间，以便有效地解决分类和回归问题。它的构造非常简单，其主要组成部分是RBF核函数的参数，它的形式有很多种，主要有高斯核函数和拉普拉斯核函数。

高斯核函数是最有效和最常用的RBF核函数，它通过引入一个参数π来运算，就可以在输入和输出之间建立一个映射，其数学表达式为K(x,x’)=exp(-π|x-x’|^2)，其中π表示核函数的影响区域，|x-x’|表示两个向量之间的距离。这使得高斯核函数易于理解，并且计算量小，它可以捕捉非线性特征，具有良好的优化性能，该函数的参数π一般取值在[0.2-2]之间，通常取值1。高斯核函数的优点是能够表示复杂的数据，但也有一些缺点，比如对归一化的数据非常敏感，而且当数据量较大的时候，计算量会增加，因而影响机器学习的效率。

拉普拉斯核函数是另一种常用的RBF核函数，它由下式推出：K(x,x’)=exp(-π|x-x’|)，其中π是参数，|x-x’|是两个向量之间的距离。这种核函数可以有效地捕捉非线性特征，可以明显改善分类和回归的精度，而且在计算量上比高斯核函数要小得多，因此拉普 - 2 - 拉斯核函数是一种很有效的非线性分类和回归算法。

尽管RBF核函数有着极大的优点，但也存在一些不足之处。一方面，RBF核函数在高维空间中的运算计算量比较大，这会影响分类和回归的效率。另一方面，它具有高度的灵活性，难以预测特征空间中的结构，当大量数据存在时，导致模型的过拟合。

总而言之，RBF核函数和高斯核函数各有优缺点，但它们都是一种有效的机器学习算法，可以改善分类和回归的效率和精确度。要想在机器学习中取得最佳性能，需要调整参数，结合两种核函数的优缺点，使用恰当的算法，才能达到最佳性能。

基于RBF的城市快速路交通异常事件自动检测算法分析

基于RBF的城市快速路交通异常事件自动检测算法分析

Ｔｅｃｈｎｏｌｏｇｙ＆Ｅｃｏｎｏｍｙ　ｉｎ　Ａｒｅａｓ　ｏｆ　Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ　交通科技与经轿　２０１１年第２期（，总第６４期）　基于ＲＢＦ的城市快速路交通异常事件　自动检测算法分析　张秀红　，陈　力　，胡　刚。　（１．广东ｘ－．＿ｌｋ大学机电工程学院，广东广州５１０００６；２．广东工业大学自动化学院，广东广州５１０００６）　摘要：通过对城市快速路交通异常事件自动检测方法的分析，提出用ＭＡＴＬＡＢ神经网络工具箱建立交通异常事　件自动检测ＲＢＦ模型，并通过采集的实测交通异常事件数据对ＲＢＦ神经网络在自动检测算法中进行仿真研究。　结果表明ＲＢＦ神经网络算法具有检测率高、误报率低和检测速度快等优点。　关键词：城市快速路；交通异常事件；自动检测；ＲＢＦ神经网络　中图分类号：Ｕ４９１　文献标识码：Ａ　文章编号：１００８—５６９６（２０１１）０２—０００５－０４　Ａｎａｌｙｓｉｓ　ｏｎ　Ｒａｄｉａｌ　Ｂａｓｉｓ　Ｆｕｎｃｔｉｏｎ　ｆｏｒ　Ｕｒｂａｎ　Ｅｘｐｒｅｓｓｗａｙ　ｏｆ　Ａｕｔｏｍａｔｉｃ　Ｔｒａｆｆｉｃ　Ｉｎｃｉｄｅｎｔｓ　Ｄｅｔｅｃｔｉｏｎ　Ａｌｇｏｒｉｔｈｍ　ＺＨＡＮＧ　Ｘｉｕ—ｈｏｎｇ　，ＣＨＥＮ　Ｌｉ。，ＨＵ　Ｇａｎｇ　（１＿Ｇｕａｎｇｄｏｎｇ　Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ｔｅｃｈｎｏｌｏｇｙ，Ｍｅｃｈａｎｉｃａｌ　ａｎｄ　Ｅｌｅｃｔｒｉｃａｌ　Ｅｎｇｉｎｅｅｒｉｎｇ　Ｃｏｌｌｅｇｅ　Ｇｕａｎｇｚｈｏｕ　５１０００６。Ｃｈｉｎａ；２．Ｇｕａｎｇ—　ｄｏｎｇ　Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ｔｅｃｈｎｏｌｏｇｙ，Ａｕｔｏｍａｔｉｏｎ　Ｃｏｌｌｅｇｅ，Ｇｕａｎｇｚｈｏｕ　５１０００６，Ｃｈｉｎａ）　Ａｂｓｔｒａｃｔ：Ａｆｔｅｒ　ａｎａｌｙｚｉｎｇ　ｔｈｅ　ｍｅｔｈｏｄ　ｏｆ　ａｕｔｏｍａｔｉｃ　ｄｅｔｅｃｔｉｏｎ　ｏｎ　ｔｒａｆｆｉｃ　ａｂｎｏｒｍａｌ　ｉｎｃｉｄｅｎｔｓ　ｆｏｒ　ｕｒｂａｎ　ｅｘｐｒｅｓｓ－　ｗａｙ。ｔｈｉｓ　ｐａｐｅｒ　ｅｓｔａｂｌｉｓｈｅｄ　ａ　ＲＢＦ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ　ｍｏｄｅｌ　ｂａｓｅｄ　ｏｎ　ＭＡＴＬＡＢ　ｎｅｕｒａ１　ｎｅｔｗｏｒｋ　ｔｏｏｌｂｏｘ．　Ｔｈｅｎ　ｔｈｒｏｕｇｈ　ｕｓｉｎｇ　ｔｈｅ　ｆｉｅｌｄ　ｔｒａｆｆｉｃ　ｉｎｃｉｄｅｎｔｓ　ｄａｔｅ，ｔｈｅ　ｒａｄｉａ１　ｂａｓｉｓ　ｆｕｎｃｔｉｏｎ（ＲＢＦ）ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ　ａｌｇｏ—　ｒｉｔｈｍ　ａｐｐｌｉｅｄ　ａｎｄ　ｒｅｓｅａｒｃｈｅｄ　ｏｎ　ａｕｔｏｍａｔｉｃ　ｉｎｃｉｄｅｎｔ　ｄｅｔｅｃｔｉｏｎ．Ｓｉｍｕｌａｔｉｏｎ　ｒｅｓｕｌｔ　ｓｈｏｗｓ　ｉｔｓ　ａｄｖａｎｔａｇｅｓ，ｓｕｃｈ　ａｓ　ｉｔｓ　ｈｉｇｈｅｒ　ｄｅｔｅｃｔｉｏｎ　ｒａｔｅ，ｌｏｗｅｒ　ｆａｌｓｅ　ａｌａｒｍ　ｒａｔｅ　ａｎｄ　ｓｈｏｒｔｅｒ　ｍｅａｎ　ｄｅｔｅｃｔｉｏｎ　ｔｉｍｅ．　Ｋｅｙ　ｗｏｒｄｓ：ｕｒｂａｎ　ｅｘｐｒｅｓｓｗａｙ；ｔｒａｆｆｉｃ　ａｂｎｏｒｍａｌ　ｉｎｃｉｄｅｎｔｓ；ａｕｔｏｍａｔｉｃ　ｄｅｔｅｃｔｉｏｎ；ＲＢＦ（Ｒａｄｉａｌ　Ｂａｓｉｓ　Ｆｕｎｃ－　ｔｉｏｎ）ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ　城市快速路交通异常事件是指城市快速路上的　偶发事件，发生时间或位置不可准确预测的、造成道　路通行能力临时下降的交通状况，如交通事故、车辆　抛锚、货物散落等。根据美国联邦公路管理局统计，　城市快速路的交通拥挤中，由交通事件引起的超过　７Ｏ　，因为城市快速路的交通量相对较大，容易引发　交通事件，甚至造成二次事故ｒ１］。因此，对快速路交　通事件进行研究具有十分重要的意义。　要降低异常事件对交通的影响，除了采取措施　减少事件的发生外，最重要的就是尽早的发现事故、　清除事故，缩短事故持续时间，从而减少事故对交通　的影响ｌ＿２］。据美国加利福尼亚运输局报告表明，在　收稿日期：２０１０—１１－１０　基金项目：广东省科技计划项目（２００９１３０１０８Ｏ００５２）　作者简介：张秀红（１９８６一），女，硕士研究生，研究方向：智能交通系　统．　非高峰的自由流条件下，如果提前１　ｍｉｎ发现并清　理交通事件，至少可减少４～５　ｍｉｎ的延误。因此，　必须尽可能的对交通异常事件进行提前自动检测。　１城市快速路交通异常事件检测方法及现　状　自２０世纪６０年代起，美国、欧洲、日本等国家　和地区就开始了交通异常事件自动检测的研究，３Ｏ　多年来，国外大约有４Ｏ多个研究机构对交通事件检　测进行研究，并且形成了各种各样的检测方法和技　术，主要可分为自动检测技术（Ａｕｔｏｍａｔｉｃ　Ｉｎｃｉｄｅｎｔ　Ｄｅｔｅｃｔｉｏｎ，ＡＩＤ）和非自动检测技术（ＮＡＩＤ）Ｅ。］。在　２Ｏ世纪８０年代，Ｃａｌｉｆｏｒｎｉａ大学的学者们发现人工　神经网络可用来检测事故发生的概率。在９Ｏ年代　早期，Ｃａｌｉｆｏｒｎｉａ等大学就开始筹建用于ＡＩＤ算法　

RBF网络基函数中心选取算法的研究

RBF网络基函数中心选取算法的研究

RBF网络基函数中心选取算法的研究

朱明星1,张德龙2

1(安徽大学自动化系,安徽合肥　230039)2(安徽大学电子工程与信息科学系,安徽合肥　230039)

摘　要:首先介绍RBF网络基函数中心的随机选取算法,然后研究自组织学习算法选取RBF基函数中心方法,最后给出一种最近邻聚类学习算法。通过系统辨识的实例仿真,对几种算法进行了深入分析与详细比较。关键词:基函数中心;HCM算法;konhonen算法;最近邻聚类算法中图分类号:TP183 文献标识码:A 文章编号:1000-2162(2000)01-0072-07

在信号处理、模式识别等系统中,多层前馈网络是应用较为广泛的模型。但是大部分

图1　RBF神经网络拓扑图基于反向传播的多层前馈网络的学习算法必须基

于某种非线性优化技术的缺点,计算量大、学习速

度慢。径向基函数神经网络(RadialBasisFunction

NeuralNetwork)理论为多层前馈网络的学习提供了一种新颖而有效的手段。RBF网络不仅具有良

好的推广能力,而且计算量少,学习速度一般也比

其它算法快得多。

RBF神经网络拓扑图如图1所示[1]。RBF网

络从输入空间到隐含空间的变换是非线性的,而

从隐含层空间到输出层空间的变换则是线性的。

这是一种前馈网络的拓扑结构,隐含层的单元是

感受野单元,每个感受野单元的输出为ωi=Ri(x=exp(-‖x-ci‖2/σ2i))(1)

式中x是输入模式,ci是隐层第i个高斯函数的

中心,σi是第i个隐单元的归一化参数,即为高斯

函数的宽度,i=1,…,nh,nh,为隐单元的个数。隐层将输入空间映射到一个新空间,输出层在该新空间中实现线性组合器,可调节参数就

是该线性组合器的权。RBF网络的输出为:

收稿日期:1999-08-16基金项目:安徽省教委自然科学基金资助项目(98JL026)作者简介:朱明星(1968-),男,安徽金寨人,讲师.2000年3月第24卷第1期安徽大学学报(自然科学版)JournalofAnhuiUniversityNaturalScienceEditionMarch2000Vol.24No.1 f(x)=∑nh