神经网络(RBF)讲课

RBF神经网络概述1 RBF神经网络的基本原理2 RBF神经网络的网络结构3 RBF神经网络的优点1 RBF神经网络的基本原理人工神经网络以其独特的信息处理能力在许多领域得到了成功的应用。

它不仅具有强大的非线性映射能力，而且具有自适应、自学习和容错性等，能够从大量的历史数据中进行聚类和学习，进而找到某些行为变化的规律。

径向基函数(RBF)神经网络是一种新颖有效的前馈式神经网络，它具有最佳逼近和全局最优的性能，同时训练方法快速易行，不存在局部最优问题，这些优点使得RBF网络在非线性时间序列预测中得到了广泛的应用。

1985年，Powell提出了多变量插值的径向基函数(Radial-Basis Function, RBF)方法。

1988年，Broomhead和Lowe首先将RBF应用于神经网络设计，构成了径向基函数神经网络，即RBF神经网络。

用径向基函数(RBF)作为隐单元的“基”构成隐含层空间，对输入矢量进行一次变换，将低维的模式输入数据变换到高维空间内，通过对隐单元输出的加权求和得到输出，这就是RBF网络的基本思想。

2 RBF神经网络的网络结构RBF网络是一种三层前向网络：第一层为输入层，由信号源节点组成。

第二层为隐含层，隐单元的变换函数是一种局部分布的非负非线性函数，他对中心点径向对称且衰减。

隐含层的单元数由所描述问题的需要确定。

第三层为输出层，网络的输出是隐单元输出的线性加权。

RBF网络的输入空间到隐含层空间的变换是非线性的，而从隐含层空间到输出层空间的变换是线性。

不失一般性，假定输出层只有一个隐单元，令网络的训练样本对为，其中为训练样本的输入，为训练样本的期望输出，对应的实际输出为;基函数为第个隐单元的输出为基函数的中心;为第个隐单元与输出单元之间的权值。

单输出的RBF网络的拓扑图如图1所示:图1RBF网络的拓扑图当网络输入训练样本时，网络的实际输出为:(1)通常使用的RBF有：高斯函数、多二次函数(multiquadric function)、逆多二次函数、薄板样条函数等。

径向基函数（RBF）神经⽹络RBF⽹络能够逼近任意的⾮线性函数，可以处理系统内的难以解析的规律性，具有良好的泛化能⼒，并有很快的学习收敛速度，已成功应⽤于⾮线性函数逼近、时间序列分析、数据分类、模式识别、信息处理、图像处理、系统建模、控制和故障诊断等。

简单说明⼀下为什么RBF⽹络学习收敛得⽐较快。

当⽹络的⼀个或多个可调参数（权值或阈值）对任何⼀个输出都有影响时，这样的⽹络称为全局逼近⽹络。

由于对于每次输⼊，⽹络上的每⼀个权值都要调整，从⽽导致全局逼近⽹络的学习速度很慢。

BP⽹络就是⼀个典型的例⼦。

如果对于输⼊空间的某个局部区域只有少数⼏个连接权值影响输出，则该⽹络称为局部逼近⽹络。

常见的局部逼近⽹络有RBF⽹络、⼩脑模型（CMAC）⽹络、B样条⽹络等。

径向基函数解决插值问题完全内插法要求插值函数经过每个样本点，即。

样本点总共有P个。

RBF的⽅法是要选择P个基函数，每个基函数对应⼀个训练数据，各基函数形式为，由于距离是径向同性的，因此称为径向基函数。

||X-X p||表⽰差向量的模，或者叫2范数。

基于为径向基函数的插值函数为：输⼊X是个m维的向量，样本容量为P，P>m。

可以看到输⼊数据点X p是径向基函数φp的中⼼。

隐藏层的作⽤是把向量从低维m映射到⾼维P，低维线性不可分的情况到⾼维就线性可分了。

将插值条件代⼊：写成向量的形式为，显然Φ是个规模这P对称矩阵，且与X的维度⽆关，当Φ可逆时，有。

对于⼀⼤类函数，当输⼊的X各不相同时，Φ就是可逆的。

下⾯的⼏个函数就属于这“⼀⼤类”函数：1）Gauss（⾼斯）函数2）Reflected Sigmoidal（反常S型）函数3）Inverse multiquadrics（拟多⼆次）函数σ称为径向基函数的扩展常数，它反应了函数图像的宽度，σ越⼩，宽度越窄，函数越具有选择性。

完全内插存在⼀些问题：1）插值曲⾯必须经过所有样本点，当样本中包含噪声时，神经⽹络将拟合出⼀个错误的曲⾯，从⽽使泛化能⼒下降。

RBF（径向基）神经⽹络 只要模型是⼀层⼀层的，并使⽤AD/BP算法，就能称作 BP神经⽹络。

RBF 神经⽹络是其中⼀个特例。

本⽂主要包括以下内容：什么是径向基函数RBF神经⽹络RBF神经⽹络的学习问题RBF神经⽹络与BP神经⽹络的区别RBF神经⽹络与SVM的区别为什么⾼斯核函数就是映射到⾼维区间前馈⽹络、递归⽹络和反馈⽹络完全内插法⼀、什么是径向基函数 1985年，Powell提出了多变量插值的径向基函数（RBF）⽅法。

径向基函数是⼀个取值仅仅依赖于离原点距离的实值函数，也就是Φ（x）=Φ(‖x‖),或者还可以是到任意⼀点c的距离，c点称为中⼼点，也就是Φ（x，c）=Φ(‖x-c‖)。

任意⼀个满⾜Φ（x）=Φ(‖x‖)特性的函数Φ都叫做径向基函数，标准的⼀般使⽤欧⽒距离（也叫做欧式径向基函数），尽管其他距离函数也是可以的。

最常⽤的径向基函数是⾼斯核函数 ,形式为 k(||x-xc||)=exp{- ||x-xc||^2/(2*σ)^2) } 其中x_c为核函数中⼼,σ为函数的宽度参数 , 控制了函数的径向作⽤范围。

⼆、RBF神经⽹络 RBF神将⽹络是⼀种三层神经⽹络，其包括输⼊层、隐层、输出层。

从输⼊空间到隐层空间的变换是⾮线性的，⽽从隐层空间到输出层空间变换是线性的。

流图如下： RBF⽹络的基本思想是：⽤RBF作为隐单元的“基”构成隐含层空间，这样就可以将输⼊⽮量直接映射到隐空间，⽽不需要通过权连接。

当RBF的中⼼点确定以后，这种映射关系也就确定了。

⽽隐含层空间到输出空间的映射是线性的，即⽹络的输出是隐单元输出的线性加权和，此处的权即为⽹络可调参数。

其中，隐含层的作⽤是把向量从低维度的p映射到⾼维度的h，这样低维度线性不可分的情况到⾼维度就可以变得线性可分了，主要就是核函数的思想。

这样，⽹络由输⼊到输出的映射是⾮线性的，⽽⽹络输出对可调参数⽽⾔却⼜是线性的。

⽹络的权就可由线性⽅程组直接解出，从⽽⼤⼤加快学习速度并避免局部极⼩问题。

神经网络控制RBF神经网络是一种模拟人脑处理信息的计算模型，可以通过学习数据来预测和控制各种系统。

在控制领域，神经网络已经被广泛应用，很多控制问题可以通过神经网络来实现优化控制。

而基于类RBF（径向基函数）神经网络的控制方法也得到广泛的研究和应用，该方法是一种自适应控制方法，可以处理非线性系统，具有一定的理论和实际应用价值。

1. RBF神经网络控制方法RBF神经网络是一种前馈神经网络，由输入层、隐层和输出层组成。

其中，输入层接受外界输入，隐层包含一组RBF神经元，其作用是将输入空间划分为若干子空间，并将每个子空间映射到一个神经元上。

输出层是线性层，负责将隐层输出进行线性组合，输出控制信号。

在控制系统中，RBF神经元用于计算控制信号，从而实现控制目标。

RBF神经网络的训练包括两个阶段：聚类和权重调整。

聚类过程将输入空间划分成若干个类别，并计算出每个类别的中心和半径。

聚类算法的目标是使得同一类别内的样本距离聚类中心最小，不同类别之间距离最大。

常用的聚类算法包括k-means算法和LVQ算法。

权重调整过程将隐层神经元的权重调整到最优状态，以便将隐层输出映射到目标输出。

在实际控制中，RBF神经网络控制方法应用较为广泛，可以替代PID控制器等传统控制方法，具有良好的鲁棒性、自适应能力和较好的控制性能。

2. 基于RBF神经网络的控制方法RBF神经网络控制方法广泛应用于各种领域的控制任务，特别是在非线性系统控制中具有重要的应用价值。

基于RBF神经网络的控制方法主要包括以下两种：（1）虚拟控制策略：将系统建模为线性结构和非线性结构两部分，其中线性结构可以采用传统的控制方法进行控制，而非线性结构则采用基于RBF神经网络的控制方法进行控制。

虚拟控制策略的优点是可以将传统控制和RBF神经网络控制各自的优势融合起来，减小系统的复杂度和计算量。

（2）基于反馈线性化的控制策略：利用反馈线性化的方法将非线性系统变为一个可控的线性系统，从而可以采用传统线性控制方法进行控制。