径向基函数神经网络RBF与BP神经网络

缺点： 1.最严重的问题是没能力来解释自己的推理过程和推 理依据。这也是大部分神经网络的缺点。 2.当样本数据不足时，预测出的不太准确。
3.把一切把一切问题的特征都变为数字，把一切推理 都变为数值计算，其结果势必是丢失信息。
BP神经元模型
RBF隐层神经元模型
P1 P2
பைடு நூலகம்
w1，1
P3
n
fa
PR-1 PR
w1，R
R(|| dist ||) e||dist||2
a=f(wp+b)
传递函数：A=logsig(n) A=tansig(n) A=purelin(n)
激活函数：
注：|| dist || 是输入向量和 权值向量之间的欧氏距离
神经元的数据中心即为样本本身，参数设计只需考虑扩展 常数和输出节点的权值。
当采用广义RBF网络结构时，RBF网络的学习算法应该解决 的问题包括：如何确定网络隐节点数，如何确定各径向基 函数的数据中心及扩展常数，以及如何修正输出权值。
RBF网络学习算法的MATLAB实现
RBF网络常用函数表
函数名
功能
径向基函数神经网络
神经网络基础知识
工作原理：模拟生物大脑神经处理信息的方式 构成：大量简单的基本元件——神经元相互连接 功能：进行信息的并行处理和非线性转化 本质：就是利用计算机语言模拟人类大脑做决定
的过程。
神经元结构模型
输入信号
x1
x2
x3 xj
ij
xn
阈值
yi
i
输出值 与神经元xj的连接权值
使用这些数据 实现回归公式
RBF与BP神经网络的比较
从网络结构上比较： 传递函数不同；神经元层数可能不同；RBF 网络隐层神经元个数可以确定，BP网络不 易确定。
从训练算法上比较： 需要确定的参数不同；训练算法不同。
RBF神经网络的优缺点分析
优点： 1.它具有唯一最佳逼近的特性，且无局部极小问题存 在。 2.RBF神经网络具有较强的输入和输出映射功能，并 且理论证明在前向网络中RBF网络是完成映射功能的 最优网络。 3.分类能力好。 4.学习过程收敛速度快。
RBF神经网络工作原理
RBF解决异或问题
x2 1
R(x2) 1
0
1 x1
空间变换前
0.1353
0 0.3679
1 R(x1)
空间变换后
RBF神经网络工作原理
RBF解决异或问题
RBF神经网络两种模型
正规化网络RN 通用逼近器
基本思想： 通过加入一个含有解的先验知识的约束来 控制映射函数的光滑性，若输入一输出映射 函数是光滑的，则重建问题的解是连续的， 意味着相似的输入对应着相似的输出。
c——高斯函数的中心
径向基神经网络结构
输入层
隐层
输出层
从径向基神经网络的结构中可得到网络输出为：
y j
h i 1
wij
exp(
1
2 2
||
x p
ci
||2 ),
j
1, 2,3,..., n
xp (x1, x2,..., xp )T ——第p个输入样本 p 1, 2,..., p ——p表示样本总数
➢求解方差 i
该RBF神经网络的基函数为高斯函数，因此方差 i 为：
i
cmax 2h
(i
1, 2,..., h)
➢计算隐含层和输出层之间的权值：
隐含层至输出层之间的神经元的连接权值可以用最小二乘法 直接计算得到，计算公式如下：
w
exp(
h c2
max
||
xp
ci
||2 )
p 1, 2,..., p;i 1, 2,..., h
ci ——网络隐含层结点的中心
wij ——隐含层到输出层的连接权值
i 1, 2,..., h ——隐含层的结点数
y j ——与输入样本对应的网络的第j个输出结点的实际输出
RBF网络的学习算法
学习算法：按照一定方式确定网络模型中未知参数的算法。
随机选取中心法（直接计算法） 自组织选取中心法（K-均值聚类法） 有监督选取中心法（梯度下降法） 正交最小二乘（OLS）优选算法 ……
RBF神经网络工作原理
函数逼近： 以任意精度逼近任一连续函数。一般函数都可表示成一 组基函数的线性组合，RBF网络相当于用隐层单元的输出 构成一组基函数，然后用输出层来进行线性组合，以完 成逼近功能。
分类： 解决非线性可分问题。RBF网络用隐层单元先将非线性可 分的输入空间设法变换到线性可分的特征空间（通常是高 维空间），然后用输出层来进行线性划分，完成分类功能。
广义网络GN
模式分类
基本思想： 用径向基函数作为隐单元的“基”，构成隐含 层空间。隐含层对输入向量进行变换，将低维 空间的模式变换到高维空间内，使得在低维 空间内的线性不可分问题在高维空间内线性可分。
两种模型的比较
RN
隐节点=输入样本数
所有输入样本设为 径向基函数的中心
GN
隐节点＜输入样本数
径向基函数的中心 由训练算法确定
径向基函数 取统一的扩展常数
没有设置阈值
径向基函数的扩展常数 不再统一由训练算法确定
输出函数的线性中包含阈值参数， 用于补偿基函数在样本集上的 平均值与目标值之间的差别。
RBF学习算法
RBF学习的三个参数：①基函数的中心 ②方差（扩展常数） ③隐含层与输出层间的权
当采值用正归化RBF网络结构时，隐节点数即样本数，隐层
25； net：返回值，一个径向基网络； tr：返回值，训练记录。
• newrbe()
– 功能
• 建立一个严格的径向基神经网络,严格是指径向基神经 网络的隐层神经元的个数与输入值的个数相等。
– 格式
• net = newrbe(P,T, SPREAD)
RBF神经网络在matlab中的例子
函数逼近
自组织选取中心法（K-均值聚类法）
➢基于K-均值聚类方法取基函数中心c
➢网络初始化：随机选取h个训练样本作为聚类中心 ci(i=1,2,...,h) ➢将输入的训练样本集合按最近邻规则分组：按照 xp与中心ci之间的欧氏距离将xp分配到输入样本的各 个聚类集合 p( p 1,2,..., p) 中。 ➢重新调整p 聚类中心：计算各个聚类集合 中训 练样本的平均值，即新的聚类中心ci，如果新的聚 类中心不再发生变化，则所得到的ci即为RBF神经网 络最终的聚类中心，否则返回上一步，进行下一轮 的中心求解。
R(||
dist
||)
(
e
1 2 2
||dist||2
)
可以看出：随着权值和输入向量之间的距离的减 少，网络输出是递增的，当输入向量和权值向量 一致时，神经元输出1。
径向基网络中常用的激励函数为高斯函数：
R(||
dist
||)
exp(
1
2 2
||
xp
ci
||2 )
——高斯函数的方差
|| xp ci || ——欧式范数
newrb() newrbe()
新建一个径向基神经网络
新建一个严格的径向基神经 网络
newrb()
功能
建立一个径向基神经网络
格式
[net,tr]= newrb(P,T,GOAL,SPREAD,MN,DF)
说明
P：Q组输入向量组成的R*Q维矩阵； T：Q组目标分类向量组成的S*Q维矩阵； GOAL：圴方误差，默认为0； SPREAD：径向基函数的扩展速度，默认为1； MN：神经元的最大数目，默认为Q； DF：两次显示之间所添加的神经元数目，默认为
给定函数 y ex 的输入与输出，用RBF神经网络
模拟函数曲线，并画出误差曲线。
非线性函数的回归
y 20 x12 10 cos2 * pi * x1 x22 10 cos(2 * pi * x2 )
问题描述：
假设我们不知道这个方程的表达式，只 知道满足这个方程的一些输入和输出， 比如说如下数据：