RBF神经⽹络RBF神经⽹络RBF神经⽹络通常只有三层，即输⼊层、中间层和输出层。
其中中间层主要计算输⼊x和样本⽮量c（记忆样本）之间的欧式距离的Radial Basis Function (RBF)的值，输出层对其做⼀个线性的组合。
径向基函数：RBF神经⽹络的训练可以分为两个阶段：第⼀阶段为⽆监督学习，从样本数据中选择记忆样本/中⼼点；可以使⽤聚类算法，也可以选择随机给定的⽅式。
第⼆阶段为监督学习，主要计算样本经过RBF转换后，和输出之间的关系/权重；可以使⽤BP算法计算、也可以使⽤简单的数学公式计算。
1. 随机初始化中⼼点2. 计算RBF中的激活函数值，每个中⼼点到样本的距离3. 计算权重，原函数：Y=GW4. W = G^-1YRBF⽹络能够逼近任意⾮线性的函数(因为使⽤的是⼀个局部的激活函数。
在中⼼点附近有最⼤的反应；越接近中⼼点则反应最⼤，远离反应成指数递减；就相当于每个神经元都对应不同的感知域)。
可以处理系统内难以解析的规律性，具有很好的泛化能⼒，并且具有较快的学习速度。
有很快的学习收敛速度，已成功应⽤于⾮线性函数逼近、时间序列分析、数据分类、模式识别、信息处理、图像处理、系统建模、控制和故障诊断等。
当⽹络的⼀个或多个可调参数（权值或阈值）对任何⼀个输出都有影响时，这样的⽹络称为全局逼近⽹络。
由于对于每次输⼊，⽹络上的每⼀个权值都要调整，从⽽导致全局逼近⽹络的学习速度很慢，⽐如BP⽹络。
如果对于输⼊空间的某个局部区域只有少数⼏个连接权值影响输出，则该⽹络称为局部逼近⽹络，⽐如RBF⽹络。
RBF和BP神经⽹络的对⽐BP神经⽹络(使⽤Sigmoid激活函数)是全局逼近；RBF神经⽹络(使⽤径向基函数作为激活函数)是局部逼近；相同点：1. RBF神经⽹络中对于权重的求解也可以使⽤BP算法求解。
不同点：1. 中间神经元类型不同(RBF:径向基函数；BP:Sigmoid函数)2. ⽹络层次数量不同(RBF:3层；BP:不限制)3. 运⾏速度的区别(RBF:快；BP:慢)简单的RBF神经⽹络代码实现# norm求模,pinv求逆from scipy.linalg import norm, pinvimport numpy as npfrom matplotlib import pyplot as pltimport matplotlib as mplmpl.rcParams["font.sans-serif"] = ["SimHei"]np.random.seed(28)class RBF:"""RBF径向基神经⽹络"""def__init__(self, input_dim, num_centers, out_dim):"""初始化函数:param input_dim: 输⼊维度数⽬:param num_centers: 中间的核数⽬:param out_dim:输出维度数⽬"""self.input_dim = input_dimself.out_dim = out_dimself.num_centers = num_centersself.centers = [np.random.uniform(-1, 1, input_dim) for i in range(num_centers)] self.beta = 8self.W = np.random.random((self.num_centers, self.out_dim))def _basisfunc(self, c, d):return np.exp(-self.beta * norm(c - d) ** 2)def _calcAct(self, X):G = np.zeros((X.shape[0], self.num_centers), float)for ci, c in enumerate(self.centers):for xi, x in enumerate(X):G[xi, ci] = self._basisfunc(c, x)return Gdef train(self, X, Y):"""进⾏模型训练:param X: 矩阵，x的维度必须是给定的n * input_dim:param Y: 列的向量组合，要求维度必须是n * 1:return:"""# 随机初始化中⼼点rnd_idx = np.random.permutation(X.shape[0])[:self.num_centers]self.centers = [X[i, :] for i in rnd_idx]# 相当于计算RBF中的激活函数值G = self._calcAct(X)# 计算权重==> Y=GW ==> W = G^-1Yself.W = np.dot(pinv(G), Y)def test(self, X):""" x的维度必须是给定的n * input_dim"""G = self._calcAct(X)Y = np.dot(G, self.W)return Y测试上⾯的代码：# 构造数据n = 100x = np.linspace(-1, 1, n).reshape(n, 1)y = np.sin(3 * (x + 0.5) ** 3 - 1)# RBF神经⽹络rbf = RBF(1, 20, 1)rbf.train(x, y)z = rbf.test(x)plt.figure(figsize=(12, 8))plt.plot(x, y, 'ko',label="原始值")plt.plot(x, z, 'r-', linewidth=2,label="预测值")plt.legend()plt.xlim(-1.2, 1.2)plt.show()效果图⽚:RBF训练RBF函数中⼼,扩展常数,输出权值都应该采⽤监督学习算法进⾏训练,经历⼀个误差修正学习的过程,与BP⽹络的学习原理⼀样.同样采⽤梯度下降爱法,定义⽬标函数为:ei为输⼊第i个样本时候的误差。
