基于遗传模拟退火算法优化的BP神经网络_吕琼帅
- 格式:pdf
- 大小:525.15 KB
- 文档页数:4
基于模拟退火算法改进的BP神经网络算法
周爱武;翟增辉;刘慧婷
【期刊名称】《微电子学与计算机》
【年(卷),期】2016(33)4
【摘要】提出一种基于模拟退火算法改进的BP神经网络.该方法利用模拟退火算法寻找更优化的样本子集,用来训练BP神经网络.通过理论分析以及实验仿真证明,在缩短训练时间以及迭代次数的基础上,显著提高BP神经网络的分类准确性.【总页数】4页(P144-147)
【关键词】BP神经网络;样本选择;主动学习;模拟退火
【作者】周爱武;翟增辉;刘慧婷
【作者单位】安徽大学计算机科学与技术学院
【正文语种】中文
【中图分类】TP301.6
【相关文献】
1.模拟退火算法改进的BP神经网络PID控制器在变风量空调系统中的应用研究[J], 范鹏飞;凌有铸
2.基于改进遗传模拟退火算法的BP神经网络的畸变校正研究 [J], 王岚;李新华
3.基于模拟退火算法的BP神经网络在桥梁智能养护中的应用 [J], 杨颖;李坤;王银广
4.基于模拟退火算法的BP神经网络在桥梁智能养护中的应用 [J], 杨颖;李坤;王银广
5.基于遗传模拟退火算法改进BP神经网络的中长期电力负荷预测 [J], 徐扬;张紫涛
因版权原因,仅展示原文概要,查看原文内容请购买。
基于混沌模拟退火算法的BPNN模型的随机混沌系统辨识张静
【期刊名称】《湖北文理学院学报》
【年(卷),期】2006(027)002
【摘要】文章针对随机混沌系统辨识引入贝叶斯正则化方法的BPNN模型,使神经网络具有自适应性和推广能力;并交替使用贝叶斯正则化算法和混沌退火算法对网络参数进行优化,使系统具有最佳参数.以Logistic系统为例进行仿真分析,结果表明辨识模型不仅能够拟合原混沌系统,而且训练后的网络对含噪声的随机混沌系统有很好的辨识能力,精度良好.为下一步的设计控制器对混沌系统进行控制消除混沌,奠定了良好的基础.
【总页数】4页(P74-76,106)
【作者】张静
【作者单位】襄樊学院,物理学系,湖北,襄樊,441053
【正文语种】中文
【中图分类】TP391.41
【相关文献】
1.基于混沌退火算法和BPNN模型的末敏弹系统效能参数优化 [J], 张静;郝庆丽
2.基于遗传模拟退火的广义T-S模糊模型的混沌系统辨识 [J], 张静
3.基于混沌理论和MEA-BPNN模型的快速路短时交通流预测 [J], 王硕;谷远利;李萌;陆文琦;张源
4.基于Wiener模型的混沌系统辨识与控制研究 [J], 李翔;陈增强;袁著祉
5.基于Wiener模型的混沌系统辨识研究 [J], 田彦涛;徐明;陆佑方;陈关荣
因版权原因,仅展示原文概要,查看原文内容请购买。
基于改进的遗传模拟退火混合算法求解TSP问题
张晓丽;马攀攀;廖丽君
【期刊名称】《计算机光盘软件与应用》
【年(卷),期】2010(000)008
【摘要】本文针对遗传算法(GA)早熟收敛问题就GA的交叉算子进行改进,针对模拟退火算法易陷入局部最小值的缺点,使用HFC-ADM(自适应输入阈值的分等级搜索)的SA(模拟退火算法)和改进后的GA相结合,提出了一种求解TSP问题的遗传模拟退火混合算法,并应用于求解TSP(旅行商问题)问题.实验结果表明,该算法具有比传统的GA以及基于HFC-ADM的SA具有更强的全局搜索能力和更快的收敛速度.
【总页数】2页(P35-36)
【作者】张晓丽;马攀攀;廖丽君
【作者单位】贵州大学计算机科学与信息学院,贵阳,550025;贵州大学计算机科学与信息学院,贵阳,550025;贵州大学计算机科学与信息学院,贵阳,550025
【正文语种】中文
【中图分类】TP312
【相关文献】
1.改进的模拟退火和遗传算法求解TSP问题 [J], 姚明海;王娜;赵连朋
2.求解TSP问题的改进模拟退火遗传算法 [J], 王银年;葛洪伟
3.基于混合遗传模拟退火算法求解TSP问题 [J], 杜宗宗;刘国栋
4.基于遗传-模拟退火的蚁群算法求解TSP问题 [J], 徐胜;马小军;钱海;王震宇
5.基于遗传模拟退火策略的霍普菲尔德神经网络求解TSP问题 [J], 于兆敏
因版权原因,仅展示原文概要,查看原文内容请购买。
基于模拟退火算法BP神经网络训练方法优化摘要:神经网络的训练方法对于模型的性能至关重要。
本文针对基于模拟退火算法的BP神经网络训练方法进行优化,采用了多个改进措施来提高模型的训练效果。
首先,对BP神经网络的参数进行优化,包括学习率、动量因子和迭代次数等。
其次,我们引入了模拟退火算法来调整神经网络的权重和阈值,进一步提高模型的性能。
实验结果表明,我们提出的优化方法相对于传统的BP神经网络训练方法在模型收敛速度和误差率上都取得了较好的改善。
1. 引言神经网络是一种常用的机器学习算法,广泛应用于模式识别、数据挖掘和人工智能等领域。
BP(Back Propagation)神经网络是一种常见的神经网络结构,其能力往往由网络中的权重和阈值决定。
然而,传统的BP神经网络训练方法往往容易陷入局部最优解,导致模型收敛速度较慢和误差率较高。
因此,改进BP神经网络训练方法是提高模型性能的关键。
2. BP神经网络的基本原理BP神经网络是一种前向和反向传播的神经网络结构。
前向传播过程中,输入信号经过各个神经元的加权和并经过激活函数的作用,最终得到输出信号。
而反向传播过程中,根据损失函数和梯度下降法,调整网络中的权重和阈值,逐渐降低误差。
3. 传统的BP神经网络训练方法存在的问题传统的BP神经网络训练方法存在一些问题,主要包括局部最优解、训练速度较慢和误差率较高等。
由于随机初始化权重和阈值,BP神经网络容易陷入局部最优解,导致模型性能不够理想。
此外,训练速度较慢也是一个普遍存在的问题,尤其是对于较大规模的神经网络和复杂的数据集。
误差率较高也是影响模型性能的一个因素,特别是对于一些要求较高精度的任务。
4. 基于模拟退火算法的优化方法为了克服上述问题,我们提出了一种基于模拟退火算法的优化方法来改进BP神经网络的训练方法。
该方法主要包括以下几点改进。
4.1 参数优化在传统的BP神经网络中,学习率和动量因子是影响模型训练效果的重要参数。
计算机与现代化2011年第6期JIS UAN JI YU X IAN DA I H UA总第190期文章编号:1006-2475(2011)06-0091-04收稿日期:2011-03-03作者简介:吕琼帅(1985-),男,河南平顶山人,郑州大学信息工程学院硕士研究生,研究方向:神经网络;王世卿(1951-),男,河南郾城人,教授,博士生导师,研究方向:数据挖掘,并行计算。
基于遗传模拟退火算法优化的BP 神经网络吕琼帅,王世卿(郑州大学信息工程学院,河南郑州450002)摘要:在研究标准BP 神经网络的基础上,针对其存在的收敛速度慢、且容易陷入局部极小值等问题进行分析,设计实现一种采用数值优化的方法来改进BP 网络性能的新的混合神经网络模型。
通过引入遗传模拟退火算法扩大了网络的权值更新空间,把得到最优权值赋予BP 神经网络,从而使优化后的神经网络具有泛化性好,不易陷入局部极小值等优点。
与标准BP 神经网络进行比较,仿真结果表明,该网络模型能够达到比较高的分类精度。
关键词:数值优化;遗传模拟退火算法;BP 神经网络;权值;泛化性中图分类号:T P183 文献标识码:A do:i 10.3969/.j i ssn .1006-2475.2011.06.026BP N eural N et work Opti m ization A lgorit h m Based on G enetic -sti m ulated AnnealingL B Q iong-shua,i WANG Sh-i qi n g (Schoo l of Infor m ation Eng i neeri ng ,Zhengzhou U niversity ,Zhengzhou 450002,Chi na)Ab stract :A fter study ing t he d i sadvantage o f BP neura l ne t w ork wh i ch has lo w convergent speed and trap i nto l oca lm ini m a eas il y ,an idea o f desi gn i ng a new hybr i d neura l net w ork modelw hich adopts t he m ethod o f nu m er i ca l opti m iza tion is presented .By usi ng G enetic -Sti m u lated A nneali ng a l go rith m (GSA ),expands t he updated space o fw eigh t .On the bas i s ,itm akes the acqu i red be tter va l ue as the we i ght o f BP neura l net wo rk ,and t he opti m ized BP net w ork i s no t easy to trap i nto t he local m i ni m a and has good genera lization characteristic .M ak i ng the comparati on G S A net work w ith standard BP net wo rk ,si m ulati on analysis demonstra tes that t h is net w ork m ode l can attain h i gher ca tego ries o f prec i sion .K ey w ords :nu m er i ca l opti m izati on ;geneti c -sti m u lated annea li ng a l gor ith m;BP neura l net w ork ;w e i ght ;genera li zati on0 引 言近几年,BP 神经网路是在人工智能领域应用最为广泛的关键技术之一。
它是一种多层前馈人工神经网络模型,能够学习大量的模式映射关系,并从仿生学的角度模拟人脑的智能行为,广泛应用于模式识别、分类、预测[1-4]等领域,具有很强的自适应能力。
但是,BP 神经网络也存在易于陷入局部极小值、收敛速度慢且易引起震荡等缺陷,为此人们提出了许多优化算法来改进标准的BP 神经网络[5-7]。
由于目前提出的优化算法大都采用诸如可变的学习速率、弹性算法等启发式信息技术,优化后的算法虽在收敛速度方面有所改善,但仍难以满足人们的应用需求。
因此,本文在研究分析BP 网络和遗传模拟退火算法的基础上,引入寻优能力较强的遗传模拟退火算法(GSA )对BP 网络在训练过程中的参数进行优化。
因模拟退火算法利用了群体智能行为的优点扩大了参数搜索的空间,并在多变量函数优化问题上比其它的群体智能算法有更强的优化能力[8],同时利用适应度函数来确定最优的权值,所以基于遗传模拟退火算法的这些优点,本文给出一种新的混合神经网络模型,使优化后的BP 网络具有泛化性好、不易陷入局部极小值、分类精度较高等优点。
1 BP 神经网络基于梯度下降法的BP(Back Propagation)网络是1986年由Rum e l h art 和M cC lelland 提出的一种多层网络模型,其核心是误差反向传播算法[9]。
该标准做法可以实现从输入到输出的任意非线性映射,并具有信号正向传播、误差反向传播等特点。
其网络结构92 计 算 机 与 现 代 化2011年第6期一般由输入层、隐含层和输出层组成,其中的隐含层又可以由一层或多层的隐层神经元组成(见图1)。
对于三层的BP 网络,许多人已证明的万能逼近定理[10-11]表明:它含有一个隐层,只要隐藏层神经元节的点数足够多,该网络就能以任意精度逼近有界区域上的任意连续函数。
图1 三层BP 神经网络基本结构从图1中可以看到,数据从输入层经隐层神经元,然后传到输出层,每一层神经元的输出只影响下一层节点的输出,各神经元节点的激活函数一般可以是S 型函数或者线性函数。
图1中P i ,i I {1,...,n}表示输入层中的输入向量,W ,i j 和W ,j k 分别表示输入层与隐藏层和隐藏层与输出层连接的权值,a k ,,k I {1,...,m }表示输出层中的向量。
各层中的单个神经元节点都具有如图2所示的单元结构。
图2 单个神经元结构对单个神经元输出的向量,可表示为:a=f(W P+b)(1)式(1)中,a 为单个神经元的输出;f 是激活函数;P 表示输入向量;W 为权值向量;b 为单个神经元的阈值。
根据误差的反向传播方式,利用梯度下降的方法,不断地修改层与层之间的连接权值,寻找权值的最佳值来减小目标输出和实际输出之间的误差。
其误差的计算方法为:E=E I(E S(d s ,i–a s ,i ))2(2)式(2)中,d s ,i 是样本s 在神经元i 的期望输出;a s ,i 是样本s 在神经元i 的实际输出;I 为输出层中神经元节点的序列;S 是样本个数。
2 遗传模拟退火算法(GSA )遗传模拟退火算法(Genetic -S ti m ulated Annealing algorithm,GSA )是结合了遗传算法的思想和模拟退火算法的思想的一种混合智能算法。
遗传算法是一种仿生算法,模拟达尔文的自然进化论与孟德尔的遗传变异理论,其思想来源于自然界生物的进化与生产过程。
模拟退火算法源于固体的退火原理,在金属热加工工艺中,将金属材料加热到某以高温状态,然后让其慢慢冷却下来的热处理过程叫做退火。
两者都在数值优化方面有着良好的性能。
在实际的问题中,基本的遗传算法并不是解决某一问题的最有效的方法,可能表现出一些不尽人意的问题,比如早熟现象、局部寻优能力较差等问题。
可以通过引入一些具有很强局部搜索能力的算法比如模拟退火算法,来帮助提高遗传算法解决问题的能力和求解质量。
在构成遗传模拟退火算法的过程中,遵循了由De Jong 提出的3条基本原则[12]:(1)尽量采用原有算法的编码。
这样便于利用原有算法的相关知识,也便于混合遗传算法的实现。
(2)利用原有算法的优点。
这样就可以保证由混合遗传算法所求到的解的质量不会低于基本遗传算法所求到的解的质量。
(3)改进遗传算子。
设计能适应新的编码方式的遗传算子,并在遗传算子中溶入与问题相关的启发式知识,这样就可以使混合遗传算法既能保持遗传算法的全局寻优特点,又能提高其运行效率。
由此可以看出,遗传模拟退火算法是通过利用基本遗传算法的编码和优点的基础上,引入模拟退火算法的局部寻优搜索过程,从而找出每个个体在目前的环境下所对应的局部最优解,以便达到改善种群总体性能的目的。
遗传模拟退火算法的具体步骤是[13-14]:(1)初始化遗传模拟退火算法种群、迭代次数和其它参数;(2)采用适应度函数对个体进行评价,并记录当前最好个体;(3)进行遗传模拟退火操作:选择操作、交叉操作、变异操作、模拟退火操作;(4)评价个体适应度,并判断是否满足终止条件,如果不满足,返回(3),如果满足算法终止;2011年第6期吕琼帅等:基于遗传模拟退火算法优化的BP 神经网络93(5)保存最好适应度的个体为最终值。
在算法的每一次迭代中,都要计算出所有个体的适应度。
其中适应度函数的确定可根据实际问题的需要将目标函数映射为算法的适应度函数,f 具体计算公式为:f=E ni=1abs(y i -o i )(3)式(3)中,n 为种群的大小,根据实际问题的分析,y i 为通过遗传模拟退火算法计算出来的实际值,o i 为期望值。
再根据式(4)对种群中的个体进行选取,式中F 为接受新个体的概率:F =0,f new <f o ld 1,f new \f o ld(4)如果新个体的适应度f new 好于原有的个体f o ld ,则一定接受新的个体,并用新的代替旧的个体;否则,拒绝新个体,保留原有个体。
3 遗传模拟退火算法优化的BP 神经网络模型设计基于遗传模拟退火算法优化的BP 神经网络(GSA-BP)设计上,主要分为BP 网络的结构确定和遗传模拟退火算法中的权值与阈值选定。
其算法流程如图3所示,主要步骤的描述如下:(1)初始化BP 神经网络。
根据输入输出参数个数确定BP 神经网络结构,进而确定遗传模拟退火算法中需要优化的参数的个数。
(2)初始化遗传模拟退火算法中种群的规模、最大迭代次数、初始温度、被优化参数的维数等。
(3)遗传模拟退火算法优化BP 网络的权值和阈值,遗传模拟退火算法中的每个个体都代表了一个网络的所有权值和阈值,然后通过适应度函数计算每个个体的适应度。