基于稳健估计的正则化RBF网络拟合模型优化
- 格式:pdf
- 大小:813.88 KB
- 文档页数:5
Paper NO1 (注:满分为五星)笔记部分1.为了更准确地获悉网络安全态势的发展情况,本文提出了一种基于资源分配网络径向基函数(ResourceAllocatingNetworkRadicalBasisFunction,RAN-RBF)神经网络的网络安全态势预测模型。
该模型首先对网络安全态势样本RAN聚类,得到更合适的隐层节点数,用改进的粒子群算法(MPSO)对神经网络的中心、宽度、权值进行优化,对未来网络安全态势进行预测。
2.RBF神经网络结构RBF神经网络是一种3层前向网络,它通过非线性基函数的线性组合来寻找样本间的线性映射关系,并利用此映射关系实现预测。
RBF神经网络由输入层、隐含层和输出层构成,如图1所示。
输入层由n个感知神经元组成,作用是建立外部输入变量与内部神经元的连接;隐含层有h个隐含节点,实现输入变量映射到隐含层空间的非线性变换;输出层有m个输出层节点,实现隐含层输出的线性变换,得到最终预测结果。
3.RAN-RBF神经网络预测模型本文以网络安全态势感知的通用模型为基础,结合所做的研究工作,提出了一种基于RAN-RBF神经网络的网络安全态势预测模型:模型由3个阶段构成,每个阶段有对应的工作任务,具体情况如下:(1).态势识别:主要是对网络安全数据的获取,本文主要是从校园网网络管理部门捕捉黑客攻击数据;(2).态势理解:主要是对获取的数据做分析处理,从数据类型、数据结构分析,然后根据数据对安全事件的统一设置做分层划分、权值定义、威胁程度定义、加权平均和归一化等处理,得到网络安全态势值;(3).态势预测:主要利用RAN算法样本聚类、MPSO算法优化训练RBF神经网络,找到样本间的非线性映射关系来预测网络安全态势,最后做出态势预测分析。
4.RAN聚类确定隐含层节点(1). 隐含层节点数的确定:RBF神经网络隐含层节点的多少直接影响了其预测能力。
当隐含层节点个数选取太少时,网络的预测精度很低,不能满足预测要求;当隐含层节点个数选取太多时,虽能提高网络的预测精度,但也提高了网络复杂度,训练时间延长,并且开销也增大。
RBF 神经网络模型径向基函数(RBF Radial Basis Function )神经网络是由J.Moody 和C.Darken 在20世纪80年代末提出的一种神经网络,它是具有单隐层的三层前馈网络。
由于它模拟了人脑中局部调整、相互覆盖接受域(或称感受野-Receptive Field )的神经网络结构,因此,RBF 网络使一种局部逼近网络,已证明它能以任意精度逼近任意连续函数。
(1) 网络结构RBF 网络是一种三层前向网络,由输入到输出的映射是非线性的,而隐含层空间到输出空间的映射是线性的,从而大大加快了学习速度并避免局部极小问题。
RBF 网络结构如下图1所示。
图1 RBF 神经网络结构(2) 被控对象Jacobian 信息的辨识算法在RBF 网络结构中,[]12,,,Tn x x x x = 为网络的输入向量。
设RBF 网络的径向基向量[]12,,,Tm h h h h = ,其中j h 为高斯基函数22exp ,1,2,,2jj j x c h j m b ⎛⎫- ⎪=-= ⎪⎝⎭(1) 其中网络的第j 个节点的中心矢量为12,,1,2,,Tj j j ji jn C c c c c i n ⎡⎤==⎣⎦ 。
设网络的基宽向量为[]12,,,Tm B b b b =j b 为节点j 的基宽度参数,且为大于零的数。
网络的权向量为[]12,,,Tm W w w w ⎡⎤=⎣⎦ (2)辨识网络的输出为()1122m m m y k w h w h w h =+++ (3)辨识器的性能指标函数为my()()()212mJ y k y k =- (4)根据梯度下降法,输出权、节点中心及节点基宽参数的迭代算法如下()()()()j m j w k y k y k h η∆=-()()()()()()112j j j j j w k w k w k w k w k α=-+∆+---()()()()23jj m j jjX C b k y k y k w h bη-∆=-()()()()()112j j j j j b k b k b b k b k α=-+∆+---()()()()2j jiji m jjx c c k y k y k w b η-∆=-()()()()()()112ji ji ji ji ji c k c k c k c k c k α=-+∆+---式中,η为学习速率,α为动量因子。
一种基于改进型RBF神经网络的非线性时间序列预测模型陈海英【摘要】RBF神经网络具有收敛速度缓慢、全局搜索能力差等缺点,提出了一种基于遗传算法的RBF神经网络,经过自适应遗传算子参数优化,提高了RBF神经网络模型的预测精度,实现了非线性时间序列的预测.仿真实验结果表明,基于遗传算法的RBF网络预测模型非常适合非线性时间序列的预测,是可行的、精准的、有效的.【期刊名称】《湖南工程学院学报(自然科学版)》【年(卷),期】2015(025)001【总页数】4页(P41-43,47)【关键词】时间序列预测模型;RBF神经网络;遗传算法【作者】陈海英【作者单位】华中农业大学楚天学院,武汉430205【正文语种】中文【中图分类】O2441987年神经网络被首次运用于预测,此后便逐渐受到网络预测领域的关注和重视.目前,不同形式的神经网络已经被运用到经济、工业和生活等方面的预测中.但由于神经网络的自身局限性,导致其具有收敛速度缓慢、全局搜索能力较差的特点,容易造成局部极小值情况,因此在单独运用的预测效果方面存在缺陷[1].随着近年来人工智能学科的发展和进步,遗传算法、模糊控制、自适应控制等技术逐渐成熟,神经网络开始联合其他技术一起应用于时间序列预测领域.人工神经网络(ANN)是一个较为复杂的网络结构,其由大量简单处理单元构成,可模拟出动物神经网络的行为和结构.该神经网络中含有若干个神经元,每个神经元均可向其周边的神经元发送消息或接收周边神经元发送过来的消息,各个神经元通过相互合作来实现网络信息的处理.这种网络格局具有自适应和自学习的特点,通过对输入输出数据的分析,可掌握到相对性的数据规律,并由此推算出数据输出结果,神经网络中的这种输入输出分析过程就是一种“训练”和“学习”过程[2].神经网络的基本结构如图1所示.1988年,Lowe和Broomhead提出了径向基(RBF)神经网络,该网络的隐藏层中扩展了一个“函数”集,组建起一个“基”[3].径向基神经网络分别包括输入层、隐含层及输出层三种形式,为前向神经网络.径向基(RBF)神经网络基本结构图如图2所示.RBF神经网络内的隐节点基函数的运算采用了距离函数,其径向基函数采用的是激活函数[4].则RBF分布函数见公式(1):在公式(1)中,s代表隐含层神经元节点的数量,也就是径向基函数中心个数;系数ωj(j=1,2,…s)代表连接权重.RBF神经网络主要有两个映射关系(其中m代表输入维数,n代表输出维数);第一部分是指输入层空间非线性变换至隐含层空间;第二部分是指从隐含层空间线性变化至输出层空间.也就是:在公式(2)中,s为输出节点数,wik表示连接隐含层至输出层的权值向量.在RBF神经网络内,结构内的隐含层为训练样本的中心空间模式,各个中心之间的位置与其宽度一致.为求得隐含层中各个神经单元基函数的宽度、中心和连接隐含层至输出层的权值,这里在完成输入至输出的映射后,实现对RBF神经网络的构建、学习和训练.因此,构建具有良好性能的RBF网络的关键是设计出符合要求的隐含层,并在此基础上衔接起非线性映射(输入层至隐含层)和线性映射(隐含层至输出层)[5].从技术的角度上来说,RBF神经网络中的隐单元中心ci,输出权重wi,宽度σi值在RBF神经网络预测模型占有举足轻重的作用,在很大程度上影响着系统预测性.然而在实际运算过程中,隐单元中心ci,输出权重wi,宽度σi的取值较为困难,为RBF神经网络的运行带来阻力[6].由于遗传算法具有较强的搜索能力,本文基于自适应遗传算法的对RBF神经网络参数进行优化,具体步骤如下:步骤1:初始化假设每个隐节点的中心参数ci和宽度参数σi为染色体,将上述参数的集合假设为一组种群,该种群具有M个随机产生的个体,则得到X=(X1,X2,…,Xn)T,其中种群内单个个体Xi=(X1,X2,…,Xn)为各个神经网络中的初始权值分布,各个基因值代表单个神经网络中的单个连接权值,个体长度与神经网络权值个数一致,得到S1+S1×S2+S1+S2,这里采用浮点数编码编码神经网络内的权值,以获取较高的权值运算精度.步骤2:参数优化个体的评价采用适应度函数值进行,解码神经网络内的各个个体,可获取一个输入样本,将负的平均相对误差(MAPE)来衡量适应度函数f,以区分出参数的优劣,即在上式中,yi表示实际值表示预测值,w代表训练样本的数量,进而运用适应度函数对各个图的适应值进行求解.获取各个个体适应度大小后,降序排列种群内个体,对比此代群体中的个体平均适应度,若平均适应度高于以往的平均值,则表明此代群体适应值有所提高,可适当缩小种群规模.这里假设种群个数由w减少到w*,则可得到下式:w*=wmin+(wmax-wmin)exp(-Δ)在公式(3)中,wmax代表种群变化规模的最大范围,wmin代表种群变化规模的最小范围,△代表种群中适应度平均值的增加量.在各代遗传算法中,将种群内最优解保存到下一代,以获取最大代数和最高权值运算精度.步骤3:遗传操作①选取算子:通过比例运算选择算子,在种群中,适应值较大的个体在被选择概率方面较大,假设有第i个个体,则该个体被选择的概率可由下式求出:在公式(4)中,w代表种群规模,pi代表个体i在种群内的适应度.②交叉算子:本文采用了浮点编码方式对个体进行编码处理,因此在此采用交叉算子进行种群内的算术交叉处理.假设交叉概率为pc,种群内未进行交叉处理的个体自行复制,可得到下式:③变异算子:选取适量均匀变异算子,与基因座中的基因值相对应;假设变异概率为Pm,随机选择对应基因取值范围内的任意数进行.在公式(6)中表示第k个基因座的最大取值范围表示第k个基因座的最小取值范围[8].④在初始化种群内插入变异后的新个体,并对群众的评价函数进行重新运算.⑤若寻求到满意的个体,则结束搜寻,进入步骤2.完成上述操作后,得到神经网络中的最优初始权值,通过RBF算法训练神经网络,取得最优解.本文采用的实验平台基本数据如下:Windows XP ,1 GB内存, Athlon 64x2 Dual Core Processor 3600 1. 91 GHz,MatlabR2007b.将本文提出的预测模型运用于某地2013年全年的月平均温度值的预测,为消除原始数据之间的差异,采用归一化处理原始样本数据.经处理得到的2012年1月~12月温度序列分别为5.0 ℃、7.1 ℃、11.0 ℃、13.5 ℃、21.3 ℃、26.0 ℃、27.9 ℃、29.9 ℃、25.3 ℃、17.8 ℃、13.8 ℃、7.8 ℃.将2012年全年的月平均温度记作m,由此预测出m+1~m+12的数据.假设遗传算法内的初始种群大小为w=50,遗传代数最大值为100代,变异概率pm=0. 009,交叉概率Pc=0.9,训练误差为0. 001,RBF神经网络学习速率为0. 03,该算法的迭代步长为10,最大迭代次数为5000次.基于RBF神经网络模型的月温度预测值见下表1所示.由表可知,由RBF神经网络模型计算得出的预测结果的最大和最小误差值分别为17.37 %和1.42 %,由此可得出该预测模型的平均相对误差值为7.73 %,而月温度值的绝对误差最大值和最小值分别为1.7 ℃和0.5 ℃,其绝对误差的平均值为1.12 ℃.上述结果表明RBF 神经网络模具有较高的预测精度,其预测得出的结果可有效反映出该地每月温度时间的变化规律.由图3可知,改进型RBF神经网络在网络预测精度方面显著优于传统的BP网络模型,与实际值相对接近,在均方误差和相对误差方面均小于BP网络预测模型,具有较高的收敛性.较传统的预测方法而言,神经网络的预测方式在很大程度上解决了非线性复杂动力系统问题,在社会经济和自然现象中有较好的运用效果.实验结果表明,基于遗传算法的RBF网络预测模型可有效运用于非线性时间序列的预测,具体可行性、精准性和有效性特点,在时间序列的预测领域具有广阔的发展前景.【相关文献】[1] 张传斌,王学孝,邓正隆.非线性时间序列的RBF神经网络预测方法及其应用[J].热能动力工程,2001,16(3):311-312,342.[2] 韩敏,王晨,席剑辉.基于改进RBF神经网络的非线性时间序列预测[J].仪器仪表学报,2003,24(Z1):574-575.[3] 甘敏,彭辉,陈晓红.RBF-AR模型在非线性时间序列预测中的应用[J].系统工程理论与实践,2010,30(6):1055-1061.[4] 张冬青,宁宣熙,刘雪妮.基于RBF神经网络的非线性时间序列在线预测[J].控制理论与应用,2009,26(2):151-155.[5] 段其昌,赵敏,王大兴.一种改进PSO优化RBF神经网络的新方法[J].计算机仿真,2009,26(12):126-129.[6] 郭兰平,俞建宁,张旭东,漆玉娟,张建刚.基于改进RBF神经网络的混沌时间序列预测[J].云南民族大学学报(自然科学版),2011,20(1):63-70.[7] GUO Lanping,YU Jianning,ZHANG Jiangang,QI Yujuan,ZHANG Xudong.Nonlinear Time Series Forecasting of RBF Neural Network Based on Genetic Algorithm[J].Journal of Hebei Normal University,2011,35(3).[8] WU Chun-guo , ZHU Shi-zhao , WANG Bing-hong , GUAN Yu-hang.POD-based Radial Basis Function Neural Network for Nonlinear Time Series Prediction[J].Mini-micro Systems,2013,34(8).。
基于RBF神经网络的信用评估模型随着资本市场的发展,信用评估逐渐成为了评估一个人或者企业的信用价值的一项重要工作。
信用评估模型是一个高度复杂的模型,而且改进信用评估模型的难度也越来越大。
近年来,基于神经网络建立的信用评估模型逐渐被大家所熟知。
基于RBF(Radial Basis Function)神经网络的信用评估模型是一种基于神经网络结构的信用评估模型。
RBF神经网络是一种单层前馈神经网络,其传输层中心是根据一定的规则确定的,可以通过训练调整权值进行模型的优化。
这种网络结构拥有强大的非线性逼近能力和学习能力,因此成为信用评估模型的流行选择。
在建立基于RBF神经网络的信用评估模型之前,首先需要确定模型的输入和输出。
模型的输入包括个人或企业的历史信用数据和个人或企业的基本信息,如年龄、性别、学历、收入等。
而模型的输出就是一个信用分数,用于评估该个人或企业的信用价值。
在确定好输入输出之后,就可以开始建立RBF神经网络的信用评估模型了。
首先,需要选择合适的网络结构和激活函数。
在信用评估模型中,通常会选择具有高显性的高斯函数作为激活函数。
同时,网络的传输层中心也需要经过合适的规则选择,并通过训练进行优化。
其次,建立模型后需要对其进行训练。
模型的训练通常采用基于误差反向传播算法的学习方法,通过反复迭代调整网络的权值,不断优化模型的性能。
在训练的过程中,可以采用交叉验证法进行训练集和测试集的划分,最终选择性能最优的模型作为信用评估模型。
最后,建立好的基于RBF神经网络的信用评估模型可以用于已有数据的信用评估和新数据的预测。
在实际应用中,可以将其与其他评估模型相结合,达到更好的评估效果。
总之,基于RBF神经网络的信用评估模型具有非线性逼近能力强、学习能力强、精度高等优点,已广泛应用于信用评估领域。
未来,随着神经网络技术的不断发展和优化,基于神经网络的信用评估模型也会不断完善,使得信用评估的准确性和效率得到更好的提升。
一种优化的RBF神经网络模型用于网络流量预测
余健;郭平
【期刊名称】《计算机应用与软件》
【年(卷),期】2008(025)012
【摘要】采用径向基RBF神经网络对网络流量数据的时间序列进行建模与预测.采用传统的学习算法对RBF网络训练时,对网络流量数据容易出现过拟合现象,提出了自适应量子粒子群优化AQPSO算法,用于训练RBF神经网络的基函数中心和宽度,并结合最小二乘法计算网络权值,改善了RBF神经网络的泛化能力.实验结果表明,采用AQPSO算法获得的RBF神经网络模型具有泛化能力强、稳定性良好的特点,在网络流量预测中有一定的实用价值.
【总页数】4页(P33-35,45)
【作者】余健;郭平
【作者单位】韩山师范学院数学与信息技术系,广东,潮州,521041;北京师范大学信息科学与技术学院,北京,100875;北京师范大学信息科学与技术学院,北京,100875【正文语种】中文
【中图分类】TP3
【相关文献】
1.一种热工过程RBF神经网络模型辨识方法 [J], 钱磊;雎刚
2.一种网络流量预测的小波神经网络模型 [J], 雷霆;余镇危
3.蚁群算法优化RBF神经网络的网络流量预测 [J], 廖金权
4.基于蝙蝠算法优化反向传播神经网络模型的无线网络流量预测 [J], 戴宏亮;罗裕达
5.一种用于RBF神经网络参数优化的亲属优先遗传算法 [J], 梁艳;靳东明
因版权原因,仅展示原文概要,查看原文内容请购买。
一种改进的RBF神经网络学习算法传统的RBF算法是一种三层结构的前向神经网络模型,由输入层、隐含层和输出层组成。
其中,隐含层的节点通过径向基函数计算输入样本与中心向量之间的距离,然后通过激活函数将距离转化为输出。
输出层的节点通过线性组合计算得到网络的最终输出。
改进的RBF神经网络学习算法可以通过以下几个方面的改进来提高性能:1.中心向量选择:在传统的RBF算法中,中心向量的选择通常采用随机抽取或者聚类算法。
改进的算法可以利用选择性地策略来选择中心向量,例如,可以采用遗传算法、模拟退火算法或者粒子群优化算法来进行中心向量的优化选择。
这样可以更好地逼近样本分布,提高网络的泛化能力。
2.学习速率的调整:在传统的RBF算法中,学习速率通常是固定的,但是这样可能导致网络学习过程中大幅度的参数调整,从而影响网络的收敛速度和精度。
改进的算法可以采用自适应学习速率,例如,利用梯度下降法中的动量因子或者学习速率递减策略来动态调整学习速率,从而使得网络的学习过程更加平稳。
3.正则化的引入:RBF神经网络容易出现过拟合的问题,即在训练数据上表现良好,但在测试数据上表现较差。
为了防止过拟合,可以引入正则化项来限制网络参数的数值范围,从而提高网络的泛化能力。
可以通过在代价函数中添加正则化项,如L1正则化或L2正则化来实现。
4.自适应的隐含层节点数:传统的RBF算法需要手动选择隐含层节点的数目,但这样的选择可能不是最优的。
改进的算法可以通过引入自适应的隐含层节点数策略来自动选择隐含层节点的数目,例如,可以利用贝叶斯信息准则(BIC)或者最小描述长度准则(MDL)来进行节点数目的选择。
5.多目标优化的引入:改进的算法可以采用多目标优化的策略来进行网络参数的学习,以提高网络的泛化能力和鲁棒性。
可以将网络优化问题转化为多目标优化问题,并利用多目标优化算法,如NSGA-II(非支配排序遗传算法)或者MOEA/D(分解多目标进化算法)来进行求解。