径向基函数网络中的高斯核宽度的优化
Nabil Benoudjit1, Cédric Archambeau1, Amaury Lendasse2, John Lee1,
Michel Verleysen1,?
1 Université Catholique de Louvain - Microelectronics Laboratoy,
Place du Levant 3, B-1348 Louvain-la-Neuve, Belgium,
Phone : +32-10-47-25-40, Fax : +32-10-47-21-80
Email : {benoudjit, archambeau, lee, verleysen}@dice.ucl.ac.be
2 Université Catholique de Louvain – CESAME,
Avenue G. Lema?tre 4, B-1348 Louvain-la-Neuve, Belgium,
Email : lendasse@auto.ucl.ac.be
摘要：径向基函数网络经常通过一个三阶段的程序得到训练。在学术文献中，很多论文致力于
对于高斯核位置的估计，以及其权重的计算。同时，也有很少有人关注高斯核宽度的估计。在
本文中，第一，我们提出了一种探索式的优化方法对于高斯核宽度进行优化，以达到改善一般
化训练过程的目的。其次，我们从理论上和实际应用上对我们的方法进行了验证。
1.引言
人工神经网络（ANN）被大量应用于分类估计和函数估计。最近，已经证明很多人工神经网络都是广义函数的近似。因此，他们常被用来进行函数插值。
在人工神经网络分类中，我们发现了径向基函数网络（RBF）和多层感知器（MLP）。两者都是多层网络，而且他们都可以认为是连接器模型。两者都需要通过一个足够大的数据集合学习近似的过程，从而达到被训练的目的。即使这样，径向基网络和多层感知器的训练过程是不一样的。
多层感知器通过一个可控的技术被训练，其方法是：求解一个非线性约束方程集来计算权重集。相反，径向基函数网络的训练方法可以被分解为一个无控的部分和一个可控的线性部分。无控的更新技术是前向而且相对快速的。同时，它的可控部分通过求解一个线性问题实现，因此也是快速的。所以，径向基函数网络的实现方法可以充分的减少运算时间并节约运算资源。
2.径向基网络函数
一个径向基网络函数是一个三层的人工神经网络。考虑一个未知的函数()?
x
f:，在一个径向基函数网络中，)
?d
→
f通过一系列d维的径向基函数来近似估
(x
计。那些径向基函数被集中于一个位置精确的数据点，被称为矩心。这些矩心可以认为是隐藏层的节点。通常，这些矩心点的位置和径向基函数的宽度通过一个无控的工具获得，虽然输出层的重量通过一个有控单向的过程计算，这个过程运用伪逆矩阵或者单值分解法。
假设我们想要通过一个径向基函数)(x j φ的集合M 来近似一个函数)(x f ，
||),(||)(::j j j d j c x x -=?→?φφ?
（1）
式中：|| ||表示欧式距离，d j c ?∈ and M j ≤≤1. 函数)(x f 的近似可以表达为一个现行的径向基函数的组合：
,||)(||)(1^∑=-=M j j j j c x x f φλ
（2）
式中：j λ是权重因子。
径向基函数的一个典型例子是一个多维高斯函数内核的集合：
))||||(21exp(||)(||2j
j j j c x c x σφ--=-， （3）
式中：j σ是隐藏层中第j 个隐藏单元的宽度因子。 3.径向基函数网络的实现
一旦径向基函数)(x j φ的参数和一般型确定下来，径向基函数网络就可以恰当的实现。给定一个大小为NT 的数据集合T ，
)}(:1,),{(p p T d p p x f y N p y x T =≤≤??∈?=
（4）
算法的运算法则包括寻找参数j c ，j σ和j λ，以使得)(^x f 尽可能的逼近)(x f 。这通过最小化一个价值函数实现。
3.1 误差准则
当最优的拟合函数计算出来之后，径向基函数网络的性能通过计算一个误差来估计。 考虑一个有效的数据集合V ，包括V N 个数据点，
(){})(:1,,q q V d q q x f y N q y x V =≤≤???∈=.
（5）
误差标准可以选作一个均方差：
()21^1∑=??? ??-=V N q q q V
V x f y N MSE ， （6）
式中：q y 是期望输出。 3.2训练算法
通常，训练算法被分解为一个三阶段的过程，：
(1) 确定高斯核的中心j c ；
(2) 计算高斯核的宽度j σ；
(3) 计算权重系数j λ。
在前两个阶段，只需要输入数据集合T 所需要的p x ，参数由此通过一个无控的修正程序而修改。在第三阶段中，权重系数通过对于期望输出的响应得到修正，在计算的过程中，j c 和j σ需要保持不变。
根据上讲，很多计算方法和探索式方法被用来计算矩心j c [4][5]和权重j λ[3][6]。矩心的估计是通过一个矢量量化方案，比如竞争式的学习，而权重的计算则通过求解方程。由于径向基函数方程()x j ?是固定的，所以求解的方程是线性的。然而，很少有文献讨论过高斯核宽度j σ的优化问题。
4. 宽度因子
现在考虑两个典型的方案。第一种方案中，我们认为在高斯方程[7][8][9]，宽度j σ中为常数。比如，在方程[9]中，我们把宽度j σ选定为如下常数：
M d 2max =σ， （7）
式中：M 是一个中心数目，max d 是各中心间距离中的最大值。这样的方法固定了高斯核间相互重叠的程度。它允许我们在函数)(^
x f 的位置和平滑度之间找到一个这种方案。如果数据是均匀分布在设计空间中的话，这种方法将会非常逼近最有解，从而的到均匀分布的矩心。然而，大多数实际问题的数据都是非均匀分布。这种方法因此在实际中是不充分的，而高斯核中固定的宽度应该被避免，因为矩心的位置能够应该依赖于高斯核的宽度，这也反
过来依赖于输入空间的数据分布。
第二种方案则独立的估计每个高斯核的宽度。这是可以做到的，比如可以通过简单的计算数据和相应矩心间距离的标准偏差来达到目的。文献[10]指出了一种迭代的方法估计标准偏差。Moody 和 Darken[11]，从另一个角度，提出了对最近的r 个相邻点的进行探索的方法计算宽度因子j σ：
2112||||1??? ??=∑-=r i j j i r c c σ， （8）
式中：i c 是最近的r 个相邻点的矩心j c 。r 的一个初选的假定值为2。
第二种方法的优势在于充分考虑到数据分布的变换。在实际应用中，这种方法的效果更明显，因为它比固定宽度的方法更具适应性。即使这样，我们下面会介绍，它所得到的宽度值依然不是最优的。
在本文中，我们尝试把各种方法结合起来。首先，我们运用了一种经典的方法计算了不同数据从之间的标准偏差。其次，我们确定了一个适用于所有高斯核的宽度比例因子q 。则核的宽度被定义为如下表达式：
j c j q j σσ=?,， （9）
由于我们允许最优高斯核间相互重叠，通过插入宽度比例因子，对函数)(^
x f 的估计变得更加平滑，因此方法的一般化过程也更加有效。
然而，最优的宽度比例因子q 取决于函数估计的准确性，输入集合的维度以及数据分布情况。因此我们必须采取一种探索式的方法获得最优宽度因子。
考虑一个宽度因子集合Q 。对于每一个值Q q l
∈，我们成功的估计除了标准误差，并
选做均方误差。最优的opt q 对应于最小的误差： ()()l V opt V q MSE q MSE l ≤?,。 （10）
当计算得到几个极小值后，通常我们建议选取对应于最小的宽度重叠因子的一个。根据复杂性，重复性和/或数字不稳定性的原因，必须避免较大的l q 。下节中我们将具体说明这一点，并证明我们的关于一些人造的或现实中问题的解决方法的有效性。
5. 结果
在这一部分，我们阐明了优化高斯核宽度的需要和以此提高一般化过程的目的，并且我们比较了这种探索式的方法和M&D 以及S 所提出的方法。
考虑数据T N 是从一个一维正弦曲线中随机挑选的数据：
[]()x y x 12sin :1,01=∈
图2画出了这个方程和它对应的近似曲线。在图三中我们画出了函数Q 和均方差函数。我们把实验重复了50次。你会发现，在一些情况中，次最小值出现在高于q 的位置。不过，次最小值的出现并没有规律而且非常偶然，正如均值曲线所表现的那样。此外，当我们通过增加集合T 的数据量来改进学习过程时，没有规律的最小值消失了（图4和图5）。q 的最优值因此就得到了，比如大约是2。
第二个集合如下给出：
[]()()222sin 21:4,4x x x y x -++=-∈
函数和径向基的逼近如图6所示，其V MSE 的值如图7所示。这里我们观察了两组最小值。然而，这次两个最小值都是有规律的，如均值曲线所示。可是两个最小值都是属于不同类型的。
第一个最小值对应于一簇高斯函数中局部函数的分解（图8）。这个现象与经典的径向基函数网络理论相一致。正相反，第二个最小值对应于一个非局部的函数分解（图9）。因此，j λ占据了绝对值中的很大权重并估计不平坦的斜坡。这导致了一个更加复杂的径向基函数网络，并通过一个更大的宽度因子（宽度）来显示它自己。此外，大的j λ增加了数值上的不稳定性，而最优的宽度因子却对应于一个较小的q 值。
在表格I 中，我们比较了我们的探索式方法和在第四部分提到的Moody & Darken [10]以及S. Haykin [11]的方法。在两个案例中，我们的方法显示了更好对于精确度和复杂度的这种体现。确实，我们获得了较小的均方误差，很大的局部值以及很小的j λ。
下面的三个例子是现实问题，其中人工神经网络被用来构造一个未知的过程。在这些问题中，输入空间往往是多维的。第一个例子的目的在于确认晒干牛奶样本中的水含量。训练集合包含了27个干奶样本，每个样本包括7个代表了网络输入数据的光谱数据而对应的期望输出则代表了水含量。作为对照，验证集合则只包含了10个样本。
图10根据宽度因子给出了均方差曲线。最优宽度因子的组合对应于均方误差的最小值。
第二个实例提出了一个黑匣子模型，并预测了如[12]所说的视场盲区的光幻视位置。光幻视是小的光点，光斑或条纹，当盲人的神经被电信号刺激时，他们的视场中便出现这些光点。当我们观察均方根误差时，我们发现了一个对应于较小q值的最优宽度因子（图11）。
最后，径向基函数网络可以被用于时间序列的预测上。其原则是依序预测下一个值，作为一个函数上一时刻的值。一个广为人知的时间案例是SantaFe A [13]。其中，人们用序列
MSE值对应于一个值为的最后六个值来预测一个新的值。在图12中，你可以发现最小的
V
13的宽度重叠因子。不得不提的是，在这个案例中，似乎没有出现局部函数的分解。确实，最优的q是一个很大的值。因此，我们已经能看到数值不稳定性。
6.结论
本文提出了一种探索式的方法，并对于径向基函数网络中高斯核的宽度进行了优化。首先我们计算了不同数据丛之间的标准偏差。其次我们为高斯核确认了一个普遍的宽度重叠因子。最优的宽度重叠因子的选择对应于最小的均方根误差。当几个极小值出现时，通常建议选择一个对应于最小宽度因子的，以防止数据的不稳定。通过这种方式获取的数据说明了通过经验将高斯核宽度固定或简单地通过数据丛的标准偏差的到的结果往往不是最优的。
参考文献
[1] J.Park. and I. Sandberg, "Approximation and Radial-Basis function Networks",
Neural Computation, vol. 5, pp. 305-316, 1993.
[2] D. S. Broomhead and D. Lowe, "Multivariable functional interpolation and adaptive
networks", Complex Systems 2, pp. 321-355, 1988.
[3] C. M. Bishop, “Neural Networks for Pattern Recognition”, Oxford university press,
1995.
[4] S. C. Ahalt and J. E. Fowler, “Vector Quantization using Artificial Neural Networks
Models”, Proceedings of the International Workshop on Adaptive Methods and
Emergent Techniques for Signal Processing and Communications, pp. 42-61, June
1993.
[5] A. Gresho and R. M. Gray, “Vector Quanitzation and Signal Compression”, Kluwer
International series in engineering and computer science, Norwell, Kluwer Academic
Publishers, 1992.
[6] S. M. Omohundro, “Efficient algorithms with neural networks behaviour”, Complex Systems 1 pp. 273-347, 1987.
[7] M. J. Orr, “Introduction to Radial Basis Functions Networks”,
https://www.doczj.com/doc/f18482386.html,/~mjo/papers/intro.ps, April 1996.
[8] J. Park. and I. Sandberg, "Universal Approximation Using Radial-Basis function Networks", Neural Computation, vol. 3, pp. 246-257, 1991.
[9] S. Haykin, "Neural Networks a Comprehensive Foundation", Prentice-Hall Inc, second edition, 1999.
[10] M. Verleysen and K. Hlavackova, "Learning in RBF Networks", International Conference on Neural Networks (ICNN), Washington, DC, pp. 199-204, June 3-9 1996.
[11] J. Moody and C. J. Darken, "Fast learning in networks of locally-tuned processing units", Neural Computation 1, pp. 281-294, 1989.
[12] C. Archambeau, A. Lendasse, C. Trullemans, C. Veraart, J. Delbeke, M. Verleysen, “Phosphene evaluation in a visual prosthesis with artificial neural networks”, Eunite 2001: european symposium on intelligent technologies, hybrid systems and their implementation on smart adaptive systems, 13-14 December 2001.
[13] A. S. Weigend and N.A. Gershenfeld, “Times Series Prediction: Forcasting the future and Underst anding the Past”, Addison-Wesley Publishing Company, 1994.
高斯滤波器理解 先给出高斯函数的图形。 高斯滤波器是一类根据高斯函数的形状来选择权值的线性平滑滤波器。高斯平滑滤波器对于抑制服从正态分布的噪声非常有效。一维零均值高斯函数为： g(x)=exp( -x^2/(2 sigma^2) 其中，高斯分布参数Sigma决定了高斯函数的宽度。对于图像处理来说，常用二维零均值离散高斯函数作平滑滤波器。 高斯函数具有五个重要的性质，这些性质使得它在早期图像处理中特别有用．这些性质表明，高斯平滑滤波器无论在空间域还是在频率域都是十分有效的低通滤波器，且在实际图像处理中得到了工程人员的有效使用．高斯函数具有五个十分重要的性质，它们是： （1）二维高斯函数具有旋转对称性，即滤波器在各个方向上的平滑程度是相同的．一般来说，一幅图像的边缘方向是事先不知道的，因此，在滤波前是无法确定一个方向上比另一方向上需要更多的平滑．旋转对称性意味着高斯平滑滤波器在后续边缘检测中不会偏向任一方向． （2）高斯函数是单值函数．这表明，高斯滤波器用像素邻域的加权均值来代替该点的像素值，而每一邻域像素点权值是随该点与中心点的距离单调增减的．这一性质是很重要的，因为边缘是一种图像局部特征，如果平滑运算对离算子中心很远的像素点仍然有很大作用，则平滑运算会使图像失真． （3）高斯函数的傅立叶变换频谱是单瓣的．正如下面所示，这一性质是高斯函数付立叶变换等于高斯函数本身这一事实的直接推论．图像常被不希望的高频信号所污染(噪声和细纹理)．而所希望的图像特征（如边
缘），既含有低频分量，又含有高频分量．高斯函数付立叶变换的单瓣意味着平滑图像不会被不需要的高频信号所污染，同时保留了大部分所需信号． （4）高斯滤波器宽度(决定着平滑程度)是由参数σ表征的，而且σ和平滑程度的关系是非常简单的．σ越大，高斯滤波器的频带就越宽，平滑程度就越好．通过调节平滑程度参数σ，可在图像特征过分模糊(过平滑)与平滑图像中由于噪声和细纹理所引起的过多的不希望突变量(欠平滑)之间取得折衷． （5）由于高斯函数的可分离性，较大尺寸的高斯滤波器可以得以有效地实现．二维高斯函数卷积可以分两步来进行，首先将图像与一维高斯函数进行卷积，然后将卷积结果与方向垂直的相同一维高斯函数卷积．因此，二维高斯滤波的计算量随滤波模板宽度成线性增长而不是成平方增长． ========================== 高斯函数在图像滤波中的应用 1函数的基本概念 所谓径向基函数(Radial Basis Function 简称RBF), 就是某种沿径向对称的标量函数。通常定义为空间中任一点x到某一中心xc之间欧氏距离的单调函数, 可记作k(||x-xc||), 其作用往往是局部的, 即当x远离xc时函数取值很小。最常用的径向基函数是高斯核函数,形式为k(||x-xc||)=exp{- ||x-xc||^2/(2*σ)^2) } 其中xc为核函数中心,σ为函数的宽度参数, 控制了函数的径向作用范围。 2函数的表达式和图形 matlab绘图的代码 alf=3; n=7;%定义模板大小 n1=floor((n+1)/2);%确定中心 for i=1:n a(i)= exp(-((i-n1).^2)/(2*alf^2)); for j=1:n b(i,j) =exp(-((i-n1)^2+(j-n1)^2)/(4*alf))/(4*pi*alf); end end subplot(121),plot(a),title('一维高斯函数' ) subplot(122),surf(b),title('二维高斯函数' )
clear all; clc; N=35; %样本个数 NN1=4; %预测样本数 %********************随机选择初始训练样本及确定预测样本******************************* x=[]; y=[]; index=randperm(N); %随机排序N个序列 index=sort(index); gama=23.411; %正则化参数 deita=0.0698; %核参数值 %thita=; %核参数值 %*********构造感知机核函数************************************* %for i=1:N % x1=x(:,index(i)); % for j=1:N % x2=x(:,index(j)); % K(i,j)=tanh(deita*(x1'*x2)+thita); % end %end %*********构造径向基核函数************************************** for i=1:N x1=x(:,index(i)); for j=1:N x2=x(:,index(j)); x12=x1-x2; K(i,j)=exp(-(x12'*x12)/2/(deita*deita)); End End %*********构造多项式核函数**************************************** %for i=1:N % x1=x(:,index(i)); % for j=1:N % x2=x(:,index(j)); % K(i,j)=(1+x1'*x2)^(deita); % end %end %*********构造核矩阵************************************ for i=1:N-NN1 for j=1:N-NN1 omeiga1(i,j)=K(i,j); end end
Matlab工具箱中的BP与RBF函数 Matlab神经网络工具箱中的函数非常丰富，给网络设置合适的属性，可以加快网络的学习速度，缩短网络的学习进程。限于篇幅，仅对本章所用到的函数进行介绍，其它的函数及其用法请读者参考联机文档和帮助。 1 BP与RBF网络创建函数 在Matlab工具箱中有如表1所示的创建网络的函数，作为示例，这里只介绍函数newff、newcf、newrb和newrbe。 表 1 神经网络创建函数 (1) newff函数 功能：创建一个前馈BP神经网络。 调用格式：net = newff(PR,[S1 S2...S Nl],{TF1 TF2...TF Nl},BTF,BLF,PF) 参数说明： ?PR - R个输入的最小、最大值构成的R×2矩阵； ?S i–S NI层网络第i层的神经元个数； ?TF i - 第i层的传递函数，可以是任意可导函数，默认为'tansig'，可
设置为logsig，purelin等； ?BTF -反向传播网络训练函数，默认为'trainlm'，可设置为trainbfg，trainrp，traingd等； ?BLF -反向传播权值、阈值学习函数，默认为'learngdm'； ?PF -功能函数，默认为'mse'； (2) newcf函数 功能：创建一个N层的层叠(cascade)BP网络 调用格式：net = newcf(Pr,[S1 S2...SNl],{TF1 TF2...TFNl},BTF,BLF,PF) 参数同函数newff。 (3) newrb函数 功能：创建一个径向基神经网络。径向基网络可以用来对一个函数进行逼近。newrb函数用来创建一个径向基网络，它可以是两参数网络，也可以是四参数网络。在网络的隐层添加神经元，直到网络满足指定的均方误差要求。 调用格式：net = newrb(P,T,GOAL,SPREAD) 参数说明： ?P：Q个输入向量构成的R×Q矩阵； ?T：Q个期望输出向量构成的S×Q矩阵； ?GOAL：均方误差要求，默认为0。 ?SPREAD：分散度参数，默认值为1。SPREAD越大，网络逼近的函数越平滑，但SPREAD取值过大将导致在逼近变化比较剧烈的函数时神经元过多，若SPREAD取值过小，则导致在逼近平滑函数时，
高斯核函数在图像滤波中的应用 高斯（核）函数简介 1函数的基本概念 所谓径向基函数 (Radial Basis Function 简称 RBF), 就是某种沿径向对称的标量函数。通常定义为空间中任一点x到某一中心xc之间欧氏距离的单调函数 , 可记作 k(||x-xc||), 其作用往往是局部的 , 即当x远离xc时函数取值很小。最常用的径向基函数是高斯核函数 ,形式为 k(||x-xc||)=exp{- ||x-xc||^2/(2*σ)^2) } 其中xc为核函数中心,σ为函数的宽度参数 , 控制了函数的径向作用范围。 高斯函数具有五个重要的性质，这些性质使得它在早期图像处理中特别有用．这些性质表明，高斯平滑滤波器无论在空间域还是在频率域都是十分有效的低通滤波器，且在实际图像处理中得到了工程人员的有效使用．高斯函数具有五个十分重要的性质，它们是： （1）二维高斯函数具有旋转对称性，即滤波器在各个方向上的平滑程度是相同的．一般来说，一幅图像的边缘方向是事先不知道的，因此，在滤波前是无法确定一个方向上比另一方向上需要更多的平滑．旋转对称性意味着高斯平滑滤波器在后续边缘检测中不会偏向任一方向． （2）高斯函数是单值函数．这表明，高斯滤波器用像素邻域的加权均值来代替该点的像素值，而每一邻域像素点权值是随该点与中心点的距离单调增减的．这一性质是很重要的，因为边缘是一种图像局部特征，如果平滑运算对离算子中心很远的像素点仍然有很大作用，则平滑运算会使图像失真． （3）高斯函数的付立叶变换频谱是单瓣的．正如下面所示，这一性质是高斯函数付立叶变换等于高斯函数本身这一事实的直接推论．图像常被不希望的高频信号所污染(噪声和细纹理)．而所希望的图像特征（如边缘），既含有低频分量，又含有高频分量．高斯函数付立叶变换的单瓣意味着平滑图像不会被不需要的高频信号所污染，同时保留了大部分所需信号． （4）高斯滤波器宽度(决定着平滑程度)是由参数σ表征的，而且σ和平滑程度的关系是非常简单的．σ越大，高斯滤波器的频带就越宽，平滑程度就越好．通过调节平滑程度参数σ，可在图像特征过分模糊(过平滑)与平滑图像中由于噪声和细纹理所引起的过多的不希望突变量(欠平滑)之间取得折衷． （5）由于高斯函数的可分离性，大高斯滤波器可以得以有效地实现．二维高斯函数卷积可以分两步来进行，首先将图像与一维高斯函数进行卷积，然后将卷积结果与方向垂直的相
高斯（核）函数简介 1函数的基本概念 所谓径向基函数(Radial Basis Function简称RBF),就是某种沿径向对称的标量函数。通常定义为空间中任一点x到某一中心xc之间欧氏距离的单调函数,可记作k(||x-xc||),其作用往往是局部的,即当x远离xc时函数取值很小。最常用的径向基函数是高斯核函数,形式为k(||x-xc||)=exp{-||x-xc||^2/(2*σ)^2)}其中xc为核函数中心,σ为函数的宽度参数,控制了函数的径向作用范围。 高斯函数具有五个重要的性质，这些性质使得它在早期图像处理中特别有用．这些性质表明，高斯平滑滤波器无论在空间域还是在频率域都是十分有效的低通滤波器，且在实际图像处理中得到了工程人员的有效使用．高斯函数具有五个十分重要的性质，它们是： （1）二维高斯函数具有旋转对称性，即滤波器在各个方向上的平滑程度是相同的．一般来说，一幅图像的边缘方向是事先不知道的，因此，在滤波前是无法确定一个方向上比另一方向上需要更多的平滑．旋转对称性意味着高斯平滑滤波器在后续边缘检测中不会偏向任一方向． （2）高斯函数是单值函数．这表明，高斯滤波器用像素邻域的加权均值来代替该点的像素值，而每一邻域像素点权值是随该点与中心点的距离单调增减的．这一性质是很重要的，因为边缘是一种图像局部特征，如果平滑运算对离算子中心很远的像素点仍然有很大作用，则平滑运算会使图像失真． （3）高斯函数的付立叶变换频谱是单瓣的．正如下面所示，这一性质是高斯函数付立叶变换等于高斯函数本身这一事实的直接推论．图像常被不希望的高频信号所污染(噪声和细纹理)．而所希望的图像特征（如边缘），既含有低频分量，又含有高频分量．高斯函数付立叶变换的单瓣意味着平滑图像不会被不需要的高频信号所污染，同时保留了大部分所需信号． （4）高斯滤波器宽度(决定着平滑程度)是由参数σ表征的，而且σ和平滑程度的关系是非常简单的．σ越大，高斯滤波器的频带就越宽，平滑程度就越好．通过调节平滑程度参数σ，可在图像特征过分模糊(过平滑)与平滑图像中由于噪声和细纹理所引起的过多的不希望突变量(欠平滑)之间取得折衷． （5）由于高斯函数的可分离性，大高斯滤波器可以得以有效地实现．二维高斯函数卷积可以分两步来进行，首先将图像与一维高斯函数进行卷积，然后将卷积结果与方向垂直的相同一维高斯函数卷积．因此，二维高斯滤波的计算量随滤波模板宽度成线性增长而不是成平方增长． 2函数的表达式和图形 在这里编辑公式很麻烦，所以这里就略去了。可以参看相关的书籍，仅给出matlab绘图的
第三章径向基函数网络 (44) 3.1 径向基函数（Redial Basis Function，RBF） (44) 3.2 径向基函数参数的选取 (46) c的选取 (46) 3.2.1 基函数中心 p 3.2.2权系数 的确定 (47) 3.3 高斯条函数 (48)
)(1 )(p h P p p λx g ?∑==第三章 径向基函数网络 径向基函数网络利用具有局部隆起的所谓径向基函数来做逼近或分类问题。它可以看作是一种前馈网络，所处理的信息在工作过程中逐层向前流动。虽然它也可以像BP 网络那样利用训练样本作有教师学习，但是其更典型更常用的学习方法则与BP 网络有所不同，综合利用了有教师学习和无教师学习两种方法。对于某些问题，径向基函数网络可能比BP 网络精度更高。 3.1 径向基函数（Redial Basis Function ，RBF ） [Powell 1985]提出了多变量插值的径向基函数方法。稍后[Broomhead 1988]成功地将径向基函数用于模式识别。径向基函数可以写成 ||)1 (||)(∑=-= P p p c x p x g ?λ (3.1.1) 其中N R x ∈表示模式向量；N P p p R c ?=1 }{ 是基函数中心；j λ是权系数；?是选定的非线性基函数。(3.1.1)可以看作是一个神经网络，输入层有N 个单元，输入模式向量x 由此进入网络。隐层有P 个单元，第p 个单元的输入为||||p p c x h -=，输出为)(p h ?。输出层1个单元， 输出为 。 假设给定了一组训练样本11},{R R y x N J j j j ??=。当j y 只取有限个值（例如，取0，1或±1）时，可以认为是分类问题；而当j y 可取任意实数时，视为逼近问题。网络学习（或训练）的任务就是利用训练样本来确定输入层到隐层的权向量p c 和隐层到输出层的权系数p λ，使得 J j y x g j j ,,1 ,)( == (3.1.2) 为此，当P J =时，可以简单地令 P p x c p p ,,1 , == (3.1.3) 这时(3.1.2)成为关于{}p λ的线性方程组，其系数矩阵通常可逆，因此有唯一解(参见[MC])。在实践中更多的情况是P J >。这时， (3.1.2)一般无解, 只能求近似解。我们将在下一节详细讨论这种情况。 常用的非线性基函数有以下几种： 1) 高斯基函数 确定了}{p c 后，可以选取如下的高斯基函数来构造径向基函数： )()(1x x g P p p p ∑==?λ (3.1.4a) 式中
SVM 小结 理论基础： 机器学习有三类基本的问题，即模式识别、函数逼近和概率密度估计． SVM 有着严格的理论基础，建立了一套较好的有限训练样本下机器学习的理论框架和通用方法。他与机器学习是密切相关的，很多理论甚至解决了机器学习领域的其他的问题，所以学习SVM 和机器学习是相辅相成的，两者可以互相促进，有助于机器学习理论本质的理解。 VC 维理论：对一个指示函数集，如果存在h 个样本能够被函数集中的函数按所有可能的2h 种形式分开，则称函数集能够把h 个样本打散；函数集的VC 维就是它能打散的最大样本数目。VC 维反映了函数集的学习能力，VC 维越太则学习机器越复杂(容量越太)。 期望风险：其公式为[](,,(,))(,)y R f c y f y dP y χχχχ?=?，其中(,,(,))c y f y χχ为损失函数，(,)P y χ为概率分布，期望风险的大小可以直观的理解为，当我们用()f χ进行预测时，“平均”的损失程度，或“平均”犯错误的程度。 经验风险最小化（ERM 准则）归纳原则：但是，只有样本却无法计算期望风险，因此，传统的学习方法用样本定义经验风险[]emp R f 作为对期望风险的估计，并设计学习算法使之最小化。即所谓的经验风险最小化（ERM 准则）归纳原则。经验风险是用损失函数来计算的。对于模式识别问题的损失函数来说，经验风险就是训练样本错误率；对于函数逼近问题的损失函数来说，就是平方训练误差；而对于概率密度估计问题的损失函数来说，ERM 准则就等价于最大似然法。但是，经验风险最小不一定意味着期望风险最小。其实，只有样本数目趋近于无穷大时，经验风险才有可能趋近于期望风险。但是很多问题中样本数目离无穷大很远，那么在有限样本下ERM 准则就不一定能使真实风险较小。ERM 准则不成功的一个例子就是神经网络和决策树的过学习问题（某些情况下，训练误差过小反而导致推广能力下降，或者说是训练误差过小导致了预测错误率的增加，即真实风险的增加）。 结构风险最小化理论(SRM)：所以，在有限样本情况下，仅仅用ERM 来近似期望风险是行不通的。统计学习理论给出了期望风险[]R f 与经验风险[]emp R f 之间关系： [][]()emp h R f R f l φ≤+
生存？还是毁灭？——哈姆雷特 可分？还是不可分？——支持向量机 之前一直在讨论的线性分类器,器如其名（汗，这是什么说法啊），只能对线性可分的样本做处理。如果提供的样本线性不可分，结果很简单，线性分类器的求解程序会无限循环，永远也解不出来。这必然使得它的适用范围大大缩小，而它的很多优点我们实在不原意放弃，怎么办呢？是否有某种方法，让线性不可分的数据变得线性可分呢？ 有！其思想说来也简单，来用一个二维平面中的分类问题作例子，你一看就会明白。事先声明，下面这个例子是网络早就有的，我一时找不到原作者的正确信息，在此借用，并加进了我自己的解说而已。 例子是下面这张图： 我们把横轴上端点a和b之间红色部分里的所有点定为正类，两边的黑色部分里的点定为负类。试问能找到一个线性函数把两类正确分开么？不能，因为二维空间里的线性函数就是指直线，显然找不到符合条件的直线。 但我们可以找到一条曲线，例如下面这一条：
显然通过点在这条曲线的上方还是下方就可以判断点所属的类别（你在横轴上随便找一点，算算这一点的函数值，会发现负类的点函数值一定比0大，而正类的一定比0小）。这条曲线就是我们熟知的二次曲线，它的函数表达式可以写为： 问题只是它不是一个线性函数，但是，下面要注意看了，新建一个向量y和a： 这样g(x)就可以转化为f(y)=
核函数方法简介 （1）核函数发展历史 早在1964年Aizermann等在势函数方法的研究中就将该技术引入到机器学习领域，但是直到1992年Vapnik等利用该技术成功地将线性SVMs推广到非线性SVMs时其潜力才得以充分挖掘。而核函数的理论则更为古老，Mercer定理可以追溯到1909年，再生核希尔伯特空间(Reproducing Kernel Hilbert Space, RKHS)研究是在20世纪40年代开始的。 （2）核函数方法原理 核函数方法原理 根据模式识别理论，低维空间线性不可分的模式通过非线性映射到高维特征空间则可能实现线性可分，但是如果直接采用这种技术在高维空间进行分类或回归，则存在确定非线性映射函数的形式和参数、特征空间维数等问题，而最大的障碍则是在高维特征空间运算时存在的“维数灾难”。采用核函数技术可以有效地解决这样问题。 设x,z∈X,X属于R（n）空间,非线性函数Φ实现输入空间X到特征空间F的映射,其中F 属于R（m）,n<
径向基函数神经网络模型与学习算法1985年，Powell提出了多变量插值的径向基函数（Radical Basis Function, RBF）方法。1988年，Moody和Darken提出了一种神经网络结构，即RBF 神经网络，属于前向神经网络类型，它能够以任意精度逼近任意连续函数，特别适合于解决分类问题。 RBF网络的结构与多层前向网络类似，它是一种三层前向网络。输入层由信号源结点组成；第二层为隐含层，隐含层节点数目视所描述问题的需要而定，隐单元的变换函数是对中心点径向对称且衰减的非负非线性函数；第三层为输出层，它对输入模式的作用做出响应。从输入空间到隐含层空间的变换是非线性的，而从隐含层空间的输出层空间变换是线性的。 RBF网络是的基本思想是：1）用RBF作为隐单元的“基”构成隐含层空间，将输入矢量直接映射到隐含空间(即不需要通过权连接)；2）当RBF的中心点确定后，映射关系也就确定；3）隐含层空间到输出空间的映射是线性的。隐含层空间到输出空间的映射是线性的，即网络的输出是隐单元输出的线性加权和。此处的权即为网络可调参数。由此可见，从总体上看，网络由输入到输出的映射是非线性的，而网络输出对可调参数而言却又是线性的。这样网络的权就可由线性方程直接解出，从而大大加快学习速度并避免局部极小问题。1.1 RBF神经元结构 径向基神经网络的神经元结构如图1所示，径向基神经网络的激活函数采用径向基函数，通常定义为空间任一点到某一中心之间欧氏
距离的单调函数。由图1所示的径向基神经元结构可以看出，径向基神经网络的激活函数是以输入向量和权值向量之间的距离dist作为自变量的。径向基神经网络的激活函数的一般表达式为 2 -d i s t R(d i s t)=e（1） 图1 径向基神经元模型 1.2 RBF神经网络结构 由输入层、隐含层和输出层构成的一般径向基神经网络结构如图2所示。在RBF网络中，输入层仅仅起到传输信号的作用，与前面所讲述的神经网络相比较，输入层和隐含层之间可以看做是连接权值为1的连接。输出层和隐含层所完成的任务是不同的，因而它们的学习策略也不相同。输出层是对线性权进行调整，采用的是线性优化策略。因而学习速度较快。而隐含层是对激活函数（格林函数或高斯函数，一般取高斯）的参数进行调整，采用的是非线性优化策略，因而学习速度较慢。
高斯核函数所谓径向基函数(Radial Basis Function 简称RBF), 就是某种沿径向对称的标量函数。通常定义为空间中任一点x到某一中心xc之间欧氏距离的单调函数, 可记作k(||x-xc||), 其作用往往是局部的, 即当x远离xc时函数取值很小。 最常用的径向基函数是高斯核函数,形式为k(||x-xc||)=exp{- ||x-xc||^2/(2*σ)^2) } 其中xc 为核函数中心,σ为函数的宽度参数, 控制了函数的径向作用范围。 计算机视觉中的作用 在计算机视觉中，有时也简称为高斯函数。高斯函数具有五个重要的性质，这些性质使得它在早期图像处理中特别有用．这些性质表明，高斯平滑滤波器无论在空间域还是在频率域都是十分有效的低通滤波器，且在实际图像处理中得到了工程人员的有效使用．高斯函数具有五个十分重要的性质，它们是：（1）二维高斯函数具有旋转对称性，即滤波器在各个方向上的平滑程度是相同的．一般来说，一幅图像的边缘方向是事先不知道的，因此，在滤波前是无法确定一个方向上比另一方向上需要更多的平滑．旋转对称性意味着高斯平滑滤波器在后续边缘检测中不会偏向任一方向．（2）高斯函数是单值函数．这表明，高斯滤波器用像素邻域的加权均值来代替该点的像素值，而每一邻域像素点权值是随该点与中心点的距离单调增减的．这一性质是很重要的，因为边缘是一种图像局部特征，如果平滑运算对离算子中心很远的像素点仍然有很大作用，则平滑运算会使图像失真．（3）高斯函数的付立叶变换频谱是单瓣的．正如下面所示，这一性质是高斯函数付立叶变换等于高斯函数本身这一事实的直接推论．图像常被不希望的高频信号所污染(噪声和细纹理)．而所希望的图像特征（如边缘），既含有低频分量，又含有高频分量．高斯函数付立叶变换的单瓣意味着平滑图像不会被不需要的高频信号所污染，同时保留了大部分所需信号．（4）高斯滤波器宽度(决定着平滑程度)是由参数σ表征的，而且σ和平滑程度的关系是非常简单的．σ越大，高斯滤波器的频带就越宽，平滑程度就越好．通过调节平滑程度参数σ，可在图像特征过分模糊(过平滑)与平滑图像中由于噪声和细纹理所引起的过多的不希望突变量(欠平滑)之间取得折衷．（5）由于高斯函数的可分离性，大高斯滤波器可以得以有效地实现．二维高斯函数卷积可以分两步来进行，首先将图像与一维高斯函数进行卷积，然后将卷积结果与方向垂直的相同一维高斯函数卷积．因此，二维高斯滤波的计算量随滤波模板宽度成线性增长而不是成平方增长．
径向基函数神经网络模型与学习算法 1985年，Powell提出了多变量插值的径向基丙数(Radical Basis Function, RBF)方法。1988 年，Moody 和Darken 提出了一种神经网络结构，即RBF 神经网络，属于前向神经网络类型，它能够以任意精度逼近任意连续函数，特别适合于解决分类问题。 RBF网络的结构与多层前向网络类似，它是一种三层前向网络。输入层由信号源结点组成；第二层为隐含层，隐单元数视所描述问题的需要而定，隐单元的变换函数RBFO是对中心点径向对称且衰减的非负非线性函数；第三层为输出层，它对输入模式的作用作出响应。从输入空间到隐含层空间的变换是非线性的，而从隐含层空间的输出层空间变换是线性的。 RBF网络的基本思想是：用RBF作为隐单元的“基”构成隐含层空间，这样就可以将输入矢量直接(即不需要通过权接)映射到隐空间。当RBF的屮心点确定以后，这种映射关系也就确定了。而隐含层空间到输出空间的映射是线性的，即网络的输出是隐单元输出的线性加权和。此处的权即为网络可调参数。由此可见，从总体上看，网络市输入到输出的映射是非线性的，而网络输出对叮调参数而言却又是线性的。这样网络的权就可由线性方程直接解岀，从而大大加快学习速度并避免局部极小问题。 1.1RBF神经网络模型 径向基神经网络的神经元结构如图1所示。径向基神经网络的激活函数采用径向基函数，通常定义为空间任一点到某一中心之间欧氏距离的单调函数。由图1所示的径向基神经元结构可以看出，径向基神经网络的激活函数是以输入向量和权值向量之间的距离||dist||作为自变量的。径向基神经网络的
激活函数的一般表达式为 /?(||dist||)= e~yist^(1) 图1径向基神经元模型 随着权值和输入向量之间距离的减少，网络输出是递增的，当输入向量和权值向量一致时，神经元输出1。在图1中的b为阈值，用于调整神经元的灵敏度。利用径向基神经元和线性神经元可以建立广义回归神经网络，该种神经网络适用于函数逼近方面的应用；径向基神经元和竞争神经元可以组建概率神经网络，此种神经网络适用于解决分类问题。 由输入层、隐含层和输岀层构成的一般径向基神经网络结构如图2所示。在RBF网络中，输入层仅仅起到传输信号的作用，与前面所讲述的神经网络相比较，输入层和隐含层之间可以看做连接权值为1 的连接。输出层和隐含层所完成的任务是不同的，因而它们的学习策略也不相同。输岀层是对线性权进行调整，采用的是线性优化策略。因而学习速度较快。而隐含层是对激活函数(格林函数或高斯函数，一般取高斯)的参数进行调整，采用的是非线性优化策略，因而学习速度较慢。
支持向量机（三）核函数 7 核函数（Kernels） 考虑我们最初在“线性回归”中提出的问题，特征是房子的面积x，这里的x是实数，结果y是房子的价格。假设我们从样本点的分布中看到x和y符合3次曲线，那么我们希望使用x的三次 多项式来逼近这些样本点。那么首先需要将特征x扩展到三维，然后寻找特征和结果 之间的模型。我们将这种特征变换称作特征映射（feature mapping）。映射函数称作，在这个例子中 我们希望将得到的特征映射后的特征应用于SVM分类，而不是最初的特征。这样，我们需要将 前面公式中的内积从，映射到。 至于为什么需要映射后的特征而不是最初的特征来参与计算，上面提到的（为了更好地拟合）是其中一个原因，另外的一个重要原因是样例可能存在线性不可分的情况，而将特征映射到高维空间后，往往就可分了。（在《数据挖掘导论》Pang-Ning Tan等人著的《支持向量机》那一章有个很好的例子说明） 将核函数形式化定义，如果原始特征内积是，映射后为，那么定义核函数（Kernel）为 到这里，我们可以得出结论，如果要实现该节开头的效果，只需先计算，然后计算 即可，然而这种计算方式是非常低效的。比如最初的特征是n维的，我们将其映射到维，然 后再计算，这样需要的时间。那么我们能不能想办法减少计算时间呢？ 先看一个例子，假设x和z都是n维的， 展开后，得
这个时候发现我们可以只计算原始特征x和z内积的平方（时间复杂度是O(n)），就等价与计 算映射后特征的内积。也就是说我们不需要花时间了。 现在看一下映射函数（n=3时），根据上面的公式，得到 也就是说核函数只能在选择这样的作为映射函数时才能够等价于映射后特征的内积。 再看一个核函数 对应的映射函数（n=3时）是
BP 算法及径向基函数网络 B0503194班 高翔 1050319110 杨柳青 1050319113 题目1： 2.5 利用BP 算法及Sigmoid 算法，研究以下各函数的逼近问题： （1） 1 () , 1x 100f x x = ≤≤ （2） 10()log x , 1x 10f x =≤≤ （3） ()exp() , 1x 10f x x =-≤≤ （4） ()sin , 1x 2 f x x π =≤≤ 解：该题可以采用BP 神经网络或者是径向基函数网络来解决，首先给出我们利用BP 网络的解决方法，关于如何利用径向基函数网络来解决问题，放在2.6 题中的通过径向基函数网络解决XOR 问题一起讨论。 一、 概述 人工神经网络作为一门20世纪中叶起步的新技术，随着其理论的逐步完善，其应用日益广泛，应用领域也在不断拓展，已经在各个工程领域里得到了广泛的应用。通常神经网络技术主要应用在以下方面。 模式信息处理和模式识别。 最优化问题计算。 信息的智能化处理。 复杂控制。 信号处理。 在1959年，当时的两位美国工程师B.Widrow 和M.Hoff 提出了自适应线形元件。在 1969年，人工智能的创始人之一M.Minsky 和S.Papert 指出单层感知器只能够进行线形分类，对线形不可分的输入模式，哪怕是简单的异或逻辑运算，单层感知器也无能为力，而解决其的唯一方法就是设计训练出具有隐含层的多层神经网络。这一难题在1986年得到了解决。 1986年，D.E. Rumelhart 等人提出解决多层神经网络权值修正的算法——误差反向传播法（Error Back-Propagation ）。这种算法也通常被应用在BP （Back-Propagation Network ）中。 在目前，在人工神经网络的实际应用中，绝大部分的神经网络模型（80%--90%）是采
核函数 (2010-12-23 23:08:30) 分类：工作篇 标签： 校园 高斯核函数 所谓径向基函数(Radial Basis Function 简称 RBF), 就是某种沿径向对称的标量函数。通常定义为空间中任一点x到某一中心xc之间欧氏距离的单调函数, 可记作 k(||x-xc||), 其作用往往是局部的 , 即当x远离xc时函数取值很小。 高斯核函数 - 常用公式 最常用的径向基函数是高斯核函数 ,形式为 k(||x-xc||)=exp{- ||x-xc||^2/(2*σ)^2) } 其中xc为核函数中心,σ为函数的宽度参数 , 控制了函数的径向作用范围。 核函数简介 （1）核函数发展历史 早在1964年Aizermann等在势函数方法的研究中就将该技术引入到机器学习领域，但是直到1992年Vapnik等利用该技术成功地将线性SVMs推广到非线性SVMs时其潜力才得以充分挖掘。而核函数的理论则更为古老，Mercer定理可以追溯到1909年，再生核希尔伯特空间(ReproducingKernel Hilbert Space, RKHS)研究是在20世纪40年代开始的。 （2）核函数方法原理 根据模式识别理论，低维空间线性不可分的模式通过非线性映射到高维特征空间则可能实现线性可分，但是如果直接采用这种技术在高维空间进行分类或回归，则存在确定非线性映射函数的形式和参数、特征空间维数等问题，而最大的障碍则是在高维特征空间运算时存在的“维数灾难”。采用核函数技术可以有效地解决这样问题。 设x,z∈X,X属于R（n）空间,非线性函数Φ实现输入间X到特征空间F的映射,其中F属于R（m）,n<
径向基函数 利用样本点x i的响应值, 通过基函数的线性叠加来计算待测点x 处响应值的径向基模型的基本形式如下: f x=w i??r i n i=1 =w Tφ 其中权系数w=w1,w2,···,w n T，φ= ?r1,?r2,···,?r n T r i= x?x i是待测点x与样本点x i之间的欧氏距离 ?r是径向函数 常用的径向函数有Gauss函数?r=exp ?r 2 c2 Multiquadric函数?r=r2+c21 2，c是给定大于零的常数 根据插值条件f x j=y i j=1,···,n，可得方程组 ??w=Y 矩阵?= ?ij= ? x i?x j 向量Y=y1,?,y n T i,j=1,?,n 在样本点不重合且函数?为征订函数，上式存在唯一解 w=??1?Y
附：MATLAB程序 %求解RBF方程的系数 function b=RBFMain() clc; clear; %读取插值点的数据 Num=xlsread('set_of_test.xlsx'); [row,line]=size(Num); %读取插值点的结果 F=xlsread('result_of_weight.xlsx'); %计算r值 r=eye(row); for i=1:row for j=1:row temp=0; for k=1:line temp=temp+(Num(i,k)-Num(j,k))^2; end r(i,j)= sqrt(temp+1); end end %求解方程系数 b=r\F; %写入excel xlswrite('set_of_coefficient.xlsx',b); end %RBF径向基函数主程序 function result=RBFMain2() clear;clc; %插值点 Input=xlsread('set_of_test.xlsx'); [row,line]=size(Input); %需要预测的一组插值点 X=xlsread('set_of_indict.xlsx'); %读取系数 b=xlsread('set_of_coefficient.xlsx'); %计算r值 r=[]; for i=1:row temp=0;
基于径向基函数神经网络的函数逼近 刘君尧1，邱 岚2 (1.深圳信息职业技术学院，广东深圳 518029；2.中国移动广西公司，广西南宁 530022) 【摘 要】在介绍了径向基函数神经网络原理的基础上，应用该网络进行函数逼近的实现，并探讨散步常数的选取对逼近效果的影响。 【关键词】径向基函数；神经网络；散布常数；函数逼近 【中图分类号】TP183 【文献标识码】A 【文章编号】1008-1151(2009)09-0039-01 （一）引言 径向基函数（Radial Basis Function）神经网络是由 J.Moody和C.Darken于20世纪 80年代末提出的一种神经网 络，径向基函数方法在某种程度上利用了多维空间中传统的 严格插值法的研究成果。在神经网络的背景下，隐藏单元提 供一个“函数”集，该函数集在输入模式向量扩展至隐层空 间时为其构建一个任意的“基”，这个函数集中的函数就被称 为径向基函数。目前，径向基函数多用于函数逼近和分类问 题的研究。 （二）RBF神经网络模型 最基本的径向基函数神经网络包含三层,由一些感知单 元组成的输入层、包含一个具有径向基函数神经元的隐层和 一个具有线性神经原的输出层。 1.RBF径向基神经元模型 径向基函数神经元的传递函数有多种形式，最常用的形 式是高斯函数（radbas）。采用高斯基函数，具备如下优点： ①表示形式简单，即使对于多变量输入也不增加太多的复杂 性；②径向对称；③光滑性好，任意阶导数存在；④由于该 基函数表示简单且解析性好，因而便于进行理论分析。 输入向量p 图1径向基传递函数 径向基网络的神经元模型结构如图2所示。由该图可见， radbas的输入为输入矢量p和权值向量W之间的距离乘以阈 值b。 图2 径向基函数神经元模型 2.RBF神经网络的结构 径向基函数网络包括输入层、隐层和输出层，如图3所 示。输入信号传递到隐层，隐层有S1个神经元，节点函数为 高斯函数；输出层有S2个神经元，节点函数一般采用简单的 线性函数。 图3 径向基函数网络基本结构图 （三）RBF神经网络应用于函数逼近 RBF神经网络在进行函数逼近的实现时，往往在网络设计 之初并不指定隐层神经元的个数，而是在每一次针对样本集 的训练中产生一个径向基神经元，并尽可能最大程度地降低 误差，如果未达到精度要求，则继续增加神经元，直到满足 精度要求或者达到最大神经元数目。这样避免了设计之初存 在隐层神经元过少或者过多的问题。训练过程中，散布常数 的选取非常重要。 1.函数逼近的RBF神经网络 已知输入向量P和输出向量T，通过构建径向基函数神经 网络来进行曲线拟合，从而找到一个函数能够满足这21个数 据点的输入/输出关系，绘制训练样本如图所示。 输入向量P：-1:0.1:1; 输出向量T：0.9500 0.5700 0.0300 -0.2800 -0.5800 -0.6200 -0.4800 -0.1400 0.2100 0.4700 0.5000 0.3800 0.1700 -0.1200 -0.3200 -0.4200 0.3500 -0.1300 0.2120 0.4200 0.5100; 应用MATLAB神经网络工具箱中的newrb()函数快速构建 一个径向基函数网络，并且网络根据输入向量和期望值自动 进行调整，从而实现函数逼近，预先设定均方差精度为0.0001, 散布常数为1。实验结果如图4所示。可见，应用径向基函数 进行函数逼近非常有效。 图4网络输出与目标值比较（下转第19页）【收稿日期】2009-06-02 【作者简介】刘君尧（1979－），女，湖南汨罗人，深圳信息职业技术学院讲师，硕士研究生，研究方向为神经网络。
径向基核函数 (Radial Basis Function)–RBF 发表于297 天前?技术, 科研?评论数 8?被围观 3526 views+ 论文中又提到了RBF，虽然是个简单的核函数，但是也再总结一下。关于SVM中的核函数的选择，比较简单和应用比较广的是RBF。 所谓径向基函数 (Radial Basis Function 简称 RBF), 就是某种沿径向对称的标量函数。通常定义为空间中任一点x到某一中心xc之间欧氏距离的单调函数 , 可记作 k(||x-xc||), 其作用往往是局部的 , 即当x远离xc时函数取值很小。 最常用的径向基函数是高斯核函数 ,形式为 k(||x-xc||)=exp{- ||x-xc||^2/(2*σ)^2) } 其中xc为核函数中心,σ为函数的宽度参数 , 控制 了函数的径向作用范围。 建议首选RBF核函数，因为： 1.能够实现非线性映射；（线性核函数可以证明是他的一个特例；SIGMOID 核函数在某些参数上近似RBF的功能。） 2.参数的数量影响模型的复杂程度，多项式核函数参数较多。 3.the RBF kernel has less numerical difficulties. ———–那么，还记得为何要选用核函数么？———– 对于这个问题，在Jasper’s Java Jacal博客《SVM入门（七）为何需要核函数》中做了很详细的阐述，另外博主对于SVM德入门学习也是做了很详细的阐述，有兴趣的可以去学习，丕子觉得这个文章写得相当好，特意转载了过来，留念一下。 如果提供的样本线性不可分，结果很简单，线性分类器的求解程序会无限循环，永远也解不出来。这必然使得它的适用范围大大缩小，而它的很多优点我们实在不原意放弃，怎么办呢？是否有某种方法，让线性不可分的数据变得线性可分呢？ 例子是下面这张图：