下载文档原格式
三种RBF神经网络比较分析摘要：径向基函数（RBF）神经网络广泛应用于模式识别、非线性函数逼近等领域。
通过对聚类、梯度、正交最小二乘三种RBF神经网络进行正弦函数逼近的仿真实验，从中比较分析这三种RBF神经网络。
得到的对比分析结果表明：正交最小二乘的方式所需的训练时间最短，网络收敛速度最快，并且不需要预先定义隐层节点数。
关键词：神经网络；径向基函数；Matlab0引言人工神经网络是一种模仿生物神经网络的结构和功能的数学模型或计算模型。
现代神经网络是一种非线性统计性数据建模工具，常用来对输入和输出间复杂的关系进行建模，或用来探索数据的模式。
RBF神经网络即径向基函数神经网络（Radical Basis Function），是由J. Moody和C. Darken于上世纪80年代末提出的一种神经网络模型。
径向基函数神经网络是一种高效的前馈式神经网络，它具有其他前向网络所不具有的最佳逼近性能和全局最优特性，并且结构简单，训练速度快。
同时，它也是一种可以广泛应用于模式识别、非线性函数逼近等领域的神经网络模型。
1RBF神经网络原理由输入层、一个隐含层（径向基层）和一个线性输出层组成的前向RBF神经网络结构如图1。
隐含层神经元是将该层权值向量w与输入向量c之间的矢量距离与偏差b相乘后作为该神经元激活函数的输入，即：Ini=（‖w-c‖·bi）2=∑n[]j=1（wji-cj）2·bi（1）若取径向基函数为高斯函数，则神经元的输出为：Outi=e-In2i=e-（‖w-c‖·bi）2=e-（∑n[]j=1（wji-cj）2·bi）2（2）由式（1）可以看出，随着和之间距离的减少，径向基函数输出值增加，且在其输入为0时，即w和c之间的距离为0时，输出为最大值1。
1.1基于聚类的RBF神经网络原理基于聚类的RBF神经网络方法最早由Broomhead and Lowe提出。
最简单形式是有固定的中心，映射属性的参数有两组：输出层权值w，和径向基函数中心c。
rbf神经网络原理RBF（RadialBasisFunction）神经网络是一种广泛应用的人工神经网络，它以其准确性和高精度被广泛应用于多种领域，其中有建模预测、模式识别和控制系统等。
本文首先介绍了RBF神经网络的基本原理，然后介绍了其优势及模式识别应用，最后重点介绍了其在控制系统研究中的应用。
RBF神经网络的原理是在一个给定的期望输出集合中，通过学习总结出一组带有可调整参数的基函数分布，以此来进行近似。
它的本质是一个二次形式的最小二乘函数：E（w）=∑i{p[i]-yd[i]^2}+∑jε{wj*hj(x)}其中p[i]是第i个观测点的期望输出，hj(x)是第j个基函数，wj是它的参数，yd[i]是第i个点的实际输出值。
基函数通常用高斯函数形式，其参数会在学习过程中不断调整，使得建模能够准确拟合实际数据。
RBF神经网络的优势在于其具有可解释性、快速学习速度、无局部极小点和可扩展性等特点，即其可以有效解决复杂的系统建模和控制问题。
在模式识别方面，由于RBF神经网络具有很高的识别精度，它被广泛用于语音识别、图像分类等复杂任务。
例如，一些研究者使用RBF神经网络来识别人脸图像，以及基于光学字符识别的文本翻译系统，其准确率高达99%。
另外，RBF神经网络也被广泛用于控制系统领域，其中包括机器人控制、动力系统控制及非线性系统的鲁棒控制和稳定控制等。
例如，研究者使用RBF神经网络设计了一种可用于机器人末端重力补偿的非线性控制器，提高了机器人对负载变化的响应效果。
总而言之，RBF神经网络具有可解释性、快速学习速度、无局部极小点和可扩展性等优势，广泛应用于各种领域，如模式识别、控制系统设计等。
通过RBF神经网络可以更好地解决复杂的实际问题，具有极大的应用价值。
精品文档供您编辑修改使用专业品质权威编制人：______________审核人：______________审批人：______________编制单位：____________编制时间：____________序言下载提示：该文档是本团队精心编制而成，希望大家下载或复制使用后，能够解决实际问题。
文档全文可编辑，以便您下载后可定制修改，请根据实际需要进行调整和使用，谢谢!同时，本团队为大家提供各种类型的经典资料，如办公资料、职场资料、生活资料、学习资料、课堂资料、阅读资料、知识资料、党建资料、教育资料、其他资料等等，想学习、参考、使用不同格式和写法的资料，敬请关注!Download tips: This document is carefully compiled by this editor. I hope that after you download it, it can help you solve practical problems. The document can be customized and modified after downloading, please adjust and use it according to actual needs, thank you!And, this store provides various types of classic materials for everyone, such as office materials, workplace materials, lifestylematerials, learning materials, classroom materials, reading materials, knowledge materials, party building materials, educational materials, other materials, etc. If you want to learn about different data formats and writing methods, please pay attention!RBF神经网络的结构动态优化设计1. 前言随着人工智能技术的快速进步，神经网络在各个领域中得到了广泛应用。
基于正交最小二乘算法的RBF神经网络
一、实验环境
硬件平台Win10 64位操作系统，1.5GHZ，4G内存，软件版本MA TLAB2015b
二、实验数据
训练数据集：
T
F W M Y Q
1000.00130010000
20.00740.03350.00150.00320.010610000
30.00430.022300.00470.005310000
40.5520.30170.25810.30940.231601000
50.54520.27930.26110.29880.203601000
60.55020.24580.27170.31150.234701000
70.24620.15080.09470.09640.099900100
80.25350.10610.09680.09710.08100100
90.26650.08940.09370.09940.090800100
100.66150.52510.51950.471100010
110.67380.44130.52250.47320.966700010
120.66650.47490.52550.47690.975800010
13110.981210.820600001
140.97970.977710.9960.775900001
150.98460.97270.98470.98570.7600001
测试数据集：
T
F W M Y Q
10.00310.02350.00050.0030.004510000
20.54930.26260.26590.30880.222101000
30.25720.10060.09580.09810.08900100
40.67040.49720.52350.47410.979100010
50.9920.98990.99790.99370.797900001
三、算法介绍
RBF函数网络从结构上看是一个3层前馈网络，包括一个输入层、一个输出层和一个隐含层。
输入层节点的作用是将输入数据传递到隐含层节点。
隐含层节点称为RBF节点，其激活函数为辐射状函数的神经元构成，通常采用高斯型函数：Array
图1 RBF结构
RBF网络中所用的非线性函数的形式对网络性能的影响并不是至关重要的，关键因素是基函数中心的选取，中心选取不当构造出来的RBF网络的性能一般不能令人满意。
例如，如果某些中心靠的太近，会产生近似线形相关，从而带来数值上的病变条件。
基本的RBF 神经网络采用随机抽取固定中心的方法，在输入样本数据的分布具有某种特性的情况下，采用这种方法解决给定问题就显得简单可行了。
而针对其缺陷，已经有许多改进的方法，其中
之一就是利用最小二乘法选取中心，训练网络权重。
四、程序设计
1.RBF基本算法
程序分为数据准备，网络训练，网络测试，图形绘制四部分。
数据准备部分将EXCEL表格中的训练集测试集数
据导入MATLAB工作空间，作为实验的数据源。
然后
对程序参数进行初始化设置在训练集中随机抽取数据
作为RBF中心。
网络训练部分进行样本迭代训练，每
一次迭代结束计算误差是否达到精度要求，若未达到精
度要求则调整权值进行下一次迭代。
精度达到要求或达
到最大步数则结束训练，进入测试阶段。
最后绘制训练
误差图形，输出测试结果。
图2 基本RBF程序流程图2.基于正交最小二乘法的改进设计
正交最小二乘法是神经网络中的很重要的一种学习方法。
线性回归模型是算法的来源。
不失一般性，考虑网络中只有一个单元的输出层。
令网络训练样本对为
其中、N代表训练样本数。
Xn是网络输入数据矢量。
d(n)表示网络期望输出响应。
网络的期望输出响应根据选型回归模型可以表达为
式中M是隐含层的单元数M<N。
p(i)是回归算子,它其实也是在某种参数下，隐含层产生的响应,可以用下式表达
Wi为模型参数，同样也可以表示输出层连接隐含层的权；e(n)是残差。
将4-40写成矩阵方程形式，可表示为
式中，P为回归矩阵。
选择回归算子矢量pi是求解回归方程式的关键。
P确定以后，就可以用线性方程组来求解模型参数矢量。
通常的RBF中心，是从输入的样本数据的矢量集合中做选择。
每当选定一组ti，就能得到一个对应于输入样本的回归矩阵。
值得注意的是，
回归算子的个数M的选择和它的变化都直接影响回归模型中的残差。
我们要选择那些对降低残差贡献显著回归的算子，剔除对降低残差贡献差的回归算子。
为了得到满足二次性能指标的网络输出，OLS法需要的工作是通过学习选择出合适的回归算子矢量，以及它的个数M，OLS法的基本思想是正交化pi，分析判断pi对降低残差的贡献，选择贡献显著的回归算子并确定其个数。
将P进行正交三角形分解，P=UA，U是各列正交的N*M阵，A为上三角矩阵。
经运算得到最小二乘解
定义误差压缩比，据此可以选择重要的回归算子。
总结OLS算法的具体过程是：
（1）进行隐含层单元数的预选工作。
（2）选择一组RBF中心矢量ti，1≤i≤M
（3）选择输入样本矢量计算P
（4）正交化P矩阵
（5）分别计算
（6）计算上三角矩阵A，根据AW=G求连接权重。
（7）检查是否满足以下公式
如果得到满足,则停止计算。
否则,重新开始第2步。
五、调试过程及结果
1.RBF基本算法
网络结构及参数：选择5个输入神经元，5个输出神经元，隐层神经元个数20个，目标精度0.001。
训练过程误差变化如图3所示，经过两次迭代就达到精度要求。
图3 基本RBF训练过程
此时输出结果如下表所示，由结果可知经过训练后的网络很好的实现了分类目的，且精度较高。
此时网络权值如下表所示，M为隐层神经元，Y为输出神经元
RBF中心取值分别为
改变隐藏神经元个数为5个训练及测试结果：
通过测试数据可以看到并未达到分类要求，因此隐层神经元太少会影响分类精度，而且在调试过程中由于初始权值以及网络中心都是随机选择，同一参数下测试效果也不相同。
2.基于正交最小二乘法的改进设计
基于正交最小二乘算法的RBF改进算法并没有成功实现。
在程序设计调试过程中，开始并不了解RBF的工作原理，于是参考了《智能控制》（），《MATLAB神经网络：：：》以及网络上一篇名为《RBF神经网络的matlab简单实现》的博客文章，了解了RBF的基本结构及其实现方法。
在基本算法完成的情况下，考虑正交最小二乘算法与RBF神经网络的结合问题。
对于最小二乘法，可以理解为是一种数学优化技术。
它通过最小化误差的平方和寻找数据的最佳函数匹配。
利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。
在知网期刊论文文库搜索了大量相关的文献资料，通过阅读文献发现最小二乘法常用来进行隐层神经元中心的选择以及权值的修正，上一部分研究已经发现RBF隐层神经元函数中心的选择直接影响了网络训练结果的好坏，基于正交最小二乘算法的RBF改进算法就是利用最小二乘法进行网络中心的选择以及权值调整。
接下来在一篇硕士论文《基于RBF神经网络的浮船坞浮态检验系统辨识》中找到基于最小二乘算法改进RBF神经网络的较为详细的总体步骤。
（如第四部分所述），据此设计程序。
首先进行数据准备工作，将训练数据测试数据导入MATLAB工作空间，然后初始化所需参数，计算回归矩阵P，p(i)为第i个隐层的输出向量，对P进行正交化处理，程序中采用QR分解的方法，得到正交矩阵U以及上三角矩阵A，之后再求取g和误差压缩比时针对多维输出情况遇到困难，至此，问题的关键集中于如何求取误差压缩比并选择最佳的中心点向量，通过每次迭代增加隐层中心数目更新权值矩阵直至误差达到精度要求。
接下来的工作应该建立在充分理解最小二乘算法的基础上解决多维输出情况下最优中心点选择的问题。
对于测试部分、结果处理绘图程序同前述基本RBF算法。
六、讨论与小结
由实验可知，RBF神经网络在分类问题中具有优越性能。
通过动手编制RBF底层学习算法程序可以促使我们深入了解算法原理，在其缺陷基础上提出改进措施。
由于时间有限，实验改进算法虽未顺利完成，但也在其中学到了更多程序改进的思路。
未完成的部分还需要继续研究。
参考文献
[1]焦玉莹. 基于RBF神经网络的浮船坞浮态检验系统辨识[D]. 大连海事大学,2011.
[2]何加宝.多段径向基函数网络的正交最小二乘法和正则最小二乘法[D]. 安徽工业大学: 安徽工业大学,2013.
[3]刘金玲,. 基于OLS算法的RBF网设计方法与实现[J]. 计算机时代,2010,(7)
[4]陈涛,蒋林,屈梁生. 基于正交最小二乘学习算法的径向基函数网络设计[J]. 中国机械工程,1997,(6).
[5]曹屹立,葛超,张景春,孙丽英,朱艺,. 最小二乘算法在RBF神经网络中的应用[J]. 山西电子技术,2008,(1).
[6]韦巍,何衍.智能控制基础[M].清华大学出版社,2008.
[7]陈明.MATLAB神经网络原理与实例精解[M].清华大学出版社.2013.。
