改进粒子群算法对BP神经网络的优化

基于粒子群优化的ＢＰ神经网络【摘要】人工神经网络的优化学习是其研究中的一个重要课题。

将粒子群优化算法用于BP神经网络的学习，将粒子优化算法的全局搜索和BP神经网的局部搜索相结合，并设计一网络实例加以训练，达到了比较满意的效果。

【关键词】粒子群优化算法BP神经网络BP算法BP网络(Back Propagation Network)是用途最为广泛的一类神经网络，具有很强的信息处理能力。

但是，由于BP算法的基本思想是最小二乘法，采用的是梯度搜索技术，难免存在收敛速度慢、局部极小等问题。

粒子群优化算法(Particle Swarm Optimaziton，简称PSO )是由Kennedy J和Eberhart R C于1995年提出的一种优化算法，源于对鸟群和鱼群群体运动行为的研究。

由于其容易理解，易于实现，不要求目标函数和约束条件是可微的，并能以较大概率求得全局最优解，目前已在许多优化问题中得到成功应用。

由于它具有并行计算的特点，而且可以提高计算速度。

因此，可以用粒子群优化算法来优化BP网络。

一、BP神经网络及其算法BP网络是一种具有三层或三层以上的单向传播的多层前馈网络，其拓扑结构如图1。

图1 拓扑结构图BP算法的执行步骤如下：(1)对各层权系数置一个较小Wij的非零随机数。

(2)输入一个样本X=(X1，X2，…，x n)，以及对应期望输出) Y=(y1，y2，…，yn)。

(3)计算各层的输出。

对于第k 层第i个神经元的输出有：Uki=∑WijXk-1i，Xki=f(Uki)(一般为sigmoid 函数，即f(x)=1/(1-epx(-x))。

(4)求各层的学习误差dki。

对于输出层，有，k=m，dmi=Xmi(1-Xmi)(Xmi-Ymi)。

对于其他各层，有dxi=Xki(1-Xki)∑Wijdk+1i。

(5)修正权系数Wij。

Wij (t+1)=Wij-η•dki•Xk-1j。

改进粒子群优化BP神经网络短期负荷预测研究王瑞;周晨曦;逯静【摘要】为了提高短期电力负荷预测的准确性,提出了一种改进型粒子群优化BP 神经网络预测模型.在改进的粒子群每次迭代过程中求出种群平均适应度值,并将每一粒子适应度值与种群平均适应度值比较,当粒子适应度值劣于种群平均适应度值时,对其空间位置初始化处理,随机生成新的位置,当粒子适应度值优于或等于种群平均适应度时,保持位置不变,通过此种方式,保留了种群中优良粒子,在搜索空间不断缩小的后期拓展了搜索空间,保持了种群多样性,利用改进的粒子群算法优化BP神经网络的初始参数,再将训练样本训练BP神经网络求得最优参数.将此模型应用到河南省某地区短期电力负荷预测中,结果表明此种方法有效提高了预测精度.【期刊名称】《制造业自动化》【年(卷),期】2019(041)006【总页数】5页(P39-42,77)【关键词】负荷预测;粒子群优化;BP神经网络;适应度值【作者】王瑞;周晨曦;逯静【作者单位】河南理工大学电气工程与自动化学院,焦作 454000;河南理工大学电气工程与自动化学院,焦作 454000;河南理工大学计算机科学与技术学院,焦作454000【正文语种】中文【中图分类】TP180 引言BP神经网络有着较为良好的非线性映射能力、高度的自适应自学习能力、良好的泛化能力，以及容错能力的优点被应用于电力负荷预测中[1,2]，同时也存在着容易陷入局部极小值、收敛速度慢的缺点，对BP神经网络的改进已经成为学者们研究的热点，比如调整自适应学习速率[3]、改进网络结构[4]、引入优化算法[5～7]等。

利用粒子群优化BP神经网络是一种较为常用的方法，利用粒子群优化BP神经网络，可以有效防止BP神经网络陷入局部最优，并加快其收敛速度。

基本粒子群算法寻优速度较快、效率高、算法简单，但也存在自身的缺陷，当算法迭代时，所有粒子都向当前自身最优解、邻域或群体最优解移动，种群搜索空间不断缩小，形成种群快速趋同效应，而此时的最优位置可能只是某一局部搜索空间里的最优位置，搜索陷入局部极值之中，导致早熟收敛，后期种群的多样性难以维持。

改进粒子群算法对BP神经网络的优化
沈学利;张红岩;张纪锁
【期刊名称】《计算机系统应用》
【年(卷),期】2010(019)002
【摘要】介绍一种基于改进粒子群算法优化BP网络的权值调整综合方法.该算法在传统BP算法的误差反传调整权值的基础上,引入粒子群算法的权值修正,并且在训练神经网络权值的同时优化其连接结构,删除冗余连接,从而建立了基于粒子群算法优化的BP网络新模型.结果表明,改进算法不仅可以克服传统BP算法收敛速度慢和易陷入局部权值的局限,而且很大程度地提高了结果精度和BP网络学习能力.【总页数】5页(P57-61)
【作者】沈学利;张红岩;张纪锁
【作者单位】辽宁工程技术大学,电子与信息工程学院,辽宁,葫芦岛,125105;辽宁工程技术大学,电子与信息工程学院,辽宁,葫芦岛,125105;辽宁工程技术大学,电子与信息工程学院,辽宁,葫芦岛,125105
【正文语种】中文
【相关文献】
1.一种基于改进粒子群算法优化BP神经网络的预测方法 [J], 钱兆楼
2.一种改进粒子群算法优化BP神经网络实现核素识别方法 [J], 刘议聪;朱泓光;宋永强
3.改进粒子群算法优化BP神经网络的粮食产量预测 [J], 李雪;顾沈明;年浩
4.改进自适应粒子群算法优化BP神经网络医院门诊量预测方法 [J], 张标标;吴俊
宏;马仕强;柯飚挺
5.基于改进粒子群算法优化BP神经网络的废水处理软测量模型 [J], 何丹;林来鹏;李小勇;牛国强;易晓辉;黄明智
因版权原因，仅展示原文概要，查看原文内容请购买。

一种基于改进粒子群算法优化BP神经网络的预测方法钱兆楼【摘要】As a new kind of particle swarm optimization algorithm is presented with the principle of simple, fast convergence speed and the advantages of easy to implement and so on become the hot topic in the academic experts and scholars. This paper introduces the BP neural network and two kinds of prediction method of particle swarm optimization, is proposed based on improved particle swarm algorithm of the basic algorithm of BP neural network and the operation process.%粒子群优化算法作为一种新型的算法由于具有原理简单、收敛速度快且易于实现的优势等成为学术界的专家学者关注的热点问题.文介绍了BP神经网络和粒子群算法两种预测方法,提出了基于改进改进粒子群算法的BP神经网络的基本算法及操作流程.【期刊名称】《电子测试》【年(卷),期】2015(000)020【总页数】3页(P39-40,25)【关键词】BP神经网络优化;粒子群算法改进;方法【作者】钱兆楼【作者单位】淮安信息职业技术学院,江苏淮安,223003【正文语种】中文【中图分类】N93BP神经网络是指前馈神经网络中的误差逆传播学习算法，是目前应用范围最为广泛的人工神经网络，包括信息的前向输入和误差的反向输入两种算法。

其中信息的前向输入算法公式为netij=,Oij=fs(netij)=,其中net表示神经元总输入，N为神经元节点数。

改进粒子群算法优化BP神经网络的短时交通流预测一、概述随着城市化进程的加速和交通系统的日益复杂，短时交通流预测已成为智能交通系统（ITS）的关键组成部分。

准确的短时交通流预测能够帮助交通管理部门和道路使用者更好地理解和应对交通拥堵，优化交通流，减少出行时间，提高道路使用效率。

近年来，人工智能技术的发展为短时交通流预测提供了新的解决思路，基于神经网络的预测模型因其强大的非线性映射能力而备受关注。

BP（Back Propagation）神经网络作为最常用的一种神经网络，具有自学习、自组织和适应性强的特点，已被广泛应用于各种预测问题中。

BP神经网络在训练过程中存在易陷入局部最优解、收敛速度慢等问题，这在一定程度上限制了其在短时交通流预测中的性能。

粒子群优化（Particle Swarm Optimization, PSO）算法是一种基于群体智能的优化算法，通过模拟鸟群捕食行为中的信息共享机制，实现全局搜索和快速收敛。

PSO算法具有参数少、易于实现、全局搜索能力强等优点，被广泛应用于函数优化、神经网络训练等领域。

传统的PSO算法在解决复杂优化问题时也面临着陷入局部最优、搜索精度不高等问题。

为了克服BP神经网络和PSO算法的不足，提高短时交通流预测的精度和效率，本文提出了一种改进粒子群算法优化BP神经网络的短时交通流预测方法。

该方法首先对PSO算法进行改进，通过引入惯性权重调整策略、速度限制策略和局部搜索策略，提高算法的全局搜索能力和局部搜索精度。

将改进后的PSO算法用于优化BP神经网络的权值和阈值，提高神经网络的训练速度和预测精度。

通过实际交通流数据的实验验证，证明该方法在短时交通流预测中具有良好的性能。

本文的研究不仅有助于提高短时交通流预测的准确性和效率，为智能交通系统的发展提供有力支持，同时也为粒子群算法和神经网络在交通领域的应用提供了新的思路和方法。

1. 交通流预测的重要性和应用场景交通流预测，作为智能交通系统（ITS）的重要组成部分，对于现代城市的发展和管理具有至关重要的意义。

浅谈粒子群算法与BP神经网络作者：聂琼来源：《轻纺工业与技术》 2013年第1期聂琼（新疆大学，新疆乌鲁木齐８３００４６）【摘要】粒子群优化（ＰＳＯ）算法是一种新兴的优化技术，其思想来源于人工生命和演化计算理论。

该算法简单易实行，可调参数少，已得到广泛研究和应用。

现主要阐述了粒子群算法（ＰＳＯ）和ＢＰ神经网络的特点，并分析了粒子群算法优化ＢＰ神经网络的必要性，同时对今后的研究前景作了具体的展望。

【关键词】粒子群算法；神经网络；ＢＰ算法；优化Doi:10.3969/j.issn.2095-0101.2013.01.026中图分类号： TS101.8 文献标识码： A 文章编号： 2095-0101（2013）01-0068-03粒子群优化算法（ＰａｒｔｉｃｌｅＳｗａｒｍＯｐｔｉｍｉｚａｔｉｏｎ，简称ＰＳＯ），最初是由Ｅｂｅｒｈａｒｔ博士和ｋｅｎｎｅｄｙ博士于１９９５年提出并成功地用于函数优化，后来又进行了有效的拓展，是计算智能领域除蚁群优化算法（ＡｎｔＣｏｌｏｎｙＯｐｔｉｍｉｚａｔｉｏｎ，简称ＡＣＯ）外的另外一种群体智能算法（ＳｗａｒｍＩｎｔｅｌｌｉｇｅｎｃｅ，简称ＳＩ）。

ＰＳＯ算法属于进化算法的一种，和遗传算法相似，它也是从随机解出发，通过迭代寻找最优解，通过适应度来评价解的品质。

由于原理上十分简单，所需参数也较少，收敛速度快和算法本身的易实现性，目前ＰＳＯ算法已经被广泛应用于神经网络训练、目标函数优化和模糊控制系统等许多领域。

１粒子群优化算法原理ＰＳＯ算法首先在可行解空间中初始化一群粒子，每个粒子都代表极值优化问题的一个潜在最优解，用位置、速度和适应度值三项指标表示该粒子特征，适应度值由适应度函数计算得到，其值的好坏表示粒子的优劣。

粒子在解空间中运动，通过跟踪个体极值Ｐｂｅｓｔ和群体极值Ｇｂｅｓｔ更新个体位置。

个体极值Ｐｂｅｓｔ是指个体所经历位置中计算得到的适应度值最优位置；群体极值Ｇｂｅｓｔ是指种群中所有粒子搜索到的适应度最优位置。

粒⼦群优化算法对BP神经⽹络优化Matlab实现1、粒⼦群优化算法粒⼦群算法(particle swarm optimization，PSO)由Kennedy和Eberhart在1995年提出，该算法模拟鸟集群飞⾏觅⾷的⾏为，鸟之间通过集体的协作使群体达到最优⽬的，是⼀种基于 Swarm Inteligence的优化⽅法。

同遗传算法类似，也是⼀种基于群体叠代的，但并没有遗传算法⽤的交叉以及变异，⽽是粒⼦在解空间追随最优的粒⼦进⾏搜索。

PSO的优势在于简单容易实现同时⼜有深刻的智能背景，既适合科学研究，⼜特别适合⼯程应⽤，并且没有许多参数需要调整。

粒⼦群优化算法源于1987年Reynolds对鸟群社会系统boids的仿真研究，boids是⼀个CAS。

在boids中，⼀群鸟在空中飞⾏，每个鸟遵守以下三条规则：1）避免与相邻的鸟发⽣碰撞冲突；2）尽量与⾃⼰周围的鸟在速度上保持协调和⼀致；3）尽量试图向⾃⼰所认为的群体中靠近。

仅通过使⽤这三条规则，boids系统就出现⾮常逼真的群体聚集⾏为，鸟成群地在空中飞⾏，当遇到障碍时它们会分开绕⾏⽽过，随后⼜会重新形成群体。

Reynolds仅仅将其作为CAS的⼀个实例作仿真研究，⽽并未将它⽤于优化计算中。

Kennedy和Eberhart在中加⼊了⼀个特定点，定义为⾷物，鸟根据周围鸟的觅⾷⾏为来寻找⾷物。

他们的初衷是希望通过这种模型来模拟鸟群寻找⾷源的现象，然⽽实验结果却揭⽰这个仿真模型中蕴涵着很强的优化能⼒，尤其是在多维空间寻优中。

PSO中，每个优化问题的解都是搜索空间中的⼀只鸟。

称之为“粒⼦(Particle)”。

所有的粒⼦都有⼀个由被优化的函数决定的适应值，每个粒⼦还有⼀个速度决定他们飞翔的⽅向和距离。

然后粒⼦们就追随当前的最优粒⼦在解空间中搜索.PSO 初始化为⼀群随机粒⼦。

然后通过叠代找到最优解。

在每⼀次叠代中，粒⼦通过跟踪两个"极值"来更新⾃⼰。

基于改进粒子群算法的BP神经网络模型研究姚尔果;闫秋粉;南振岐;薛小虎【摘要】To solve local convergence ot slow problems ot Bt＂ neural network, a tit＂ neural network model based on improved particle swarm optimization （PSO） algorithm was proposed. The convergence speed and theability of optimal value global searching were promoted by evolutionary rate adaptive inertia weight factor. Final- ly, the fitness of convergence speed and accuracy was validated by practical application through simulating the model and the improved algorithm.%为解决BP神经网络局部性收敛度慢的问题，提出了基于改进粒子群算法的BP神经网络模型．该方法通过粒子群进化速率动态调整惯性权重因子，提高了算法的收敛速度和全局搜索最优值的能力．提出的模型和改进的算法模拟仿真表明：该方法对收敛速度和精度有更好的拟合性．【期刊名称】《佳木斯大学学报（自然科学版）》【年(卷),期】2012(030)001【总页数】3页(P107-109)【关键词】粒子群算法;进化速率;惯性权重因子;BP神经网络【作者】姚尔果;闫秋粉;南振岐;薛小虎【作者单位】西北师范大学数学与信息科学学院,甘肃兰州730070;西北师范大学数学与信息科学学院,甘肃兰州730070;西北师范大学数学与信息科学学院,甘肃兰州730070;新疆乌鲁木齐市军区测绘信息中心,新疆乌鲁木齐830000【正文语种】中文【中图分类】TP311针对BP神经网络[1]易陷入局部最优值，收敛速度慢的问题，本文通过调整粒子群进化速率提出了改进的粒子群算法(DPSO，dynamic particle swarm optimization)，增强了全局搜索能力，提高了收敛的精度和速度．最后通过DPSO算法训练BP神经网络，构建了基于改进粒子群算法，DPSO－BP(dynamic particle swarm optimization－back propagation neural network)的神经网络模型．1 BP神经网络结构BP神经网络是采用反向传播误差调整的学习方法，本文采用三层前馈神经网络[2，3]，如图 1 所示．该网络结构输入层输入预处理的函数指标，经隐含层的非线性映射训练，输出预处理结果，隐含层用Sigmoid函数作为传递函数:输入层与隐含层的映射关系y0i=C(X0i，Wji)．隐含层与输出层的映射关系yk=(Wji，y0i，λ)．输出信息与期望目标之间的误差e为:2 粒子群算法粒子群优化算法为Kennedy和Eberhart两位博士于1995年基于鸟群觅食行为而提出的群体智能算法[4]．国内外学者提出了多种改进算法[5－8]，文献[6]引入聚焦距离变化率的概念，将惯性因子表示为关于聚焦距离变化率的函数，动态改变惯性权重．文献[7]采用自适应均衡法调整惯性权重因子，达到寻优的过程．本文在改进的DPSO中，引用动态机制调整惯性权重因子w，w值根据粒子i在第k－1次与第k次迭代中搜索的空间步长动态变化．图1 BP神经网络模型2．1 标准粒子群优化算法PSO算法采用速度－位置搜索模型，每个粒子代表搜索空间中待优化问题的一个可行解，通过粒子的群体协作信息和自身信息寻找空间的最优解．PSO算法的数学描述如下:其中分别为粒子i在第k次迭代中的速度向量和位置向量;c1和c2为学习因子;r1和r2是[0，1]之间的随机数;pbestij为粒子的个体最优值;gbestij为粒子的群体最优值;w为惯性权重因子，平衡局部最优和全局最优．2．2 改进的粒子群算法对w值的选择大部分文献采用线性减小法，此方法缺点是w值的随机性较大，搜索方向的启发性较弱．针对此问题，本文研究基于目标函数平整度动态调整w值，使w随粒子进化率动态变化，随迭代次数非线性变化．本文提出的粒子进化速率φ(t)直观地反应了粒子i在搜索位置上进化的程度，表示了粒子的目前位置与收敛位置之间的差异，如图2所示:图2 粒子进化速率图3 Sphere函数收敛示意图图4 Rastirgrin函数收敛示意图当φ(t)＞1时，本次迭代发散，要求搜索步长增大以加强全局寻优能力．当0＜φ(t)＜1时，本次迭代收敛，要求搜索步长减小以加快粒子的聚集度加强剧本寻优．而当经过若干次迭代后，φ(t)保持值为0时，粒子已经找到了最优值或者算法停滞．改进的惯性权重w按照下式变化:其中，f(xi(t))为第i个粒子在第t次迭代时对应的函数值:f(xi(t)) = f(xi，1(t)， xi，2(t)，…xi，k(t)，)．f(xbest(t))为最优粒子在第t次迭代时对应的函数值:f(xbest(t))=minf(xi(t))．图5 改进DPSO－BP算法对目标函数的拟合曲线图图6 PSO－BP算法对目标函数的拟合曲线图3 改进粒子群算法的BP神经网络模型算法测试本算法DPSO与标准粒子群算法PSO相比较，测试该算法的优越性．以Sphere函数和Rastirgrin函数为基准测试函数，进行最小值寻优．维数为20维，两种算法粒子群规模为40，学习因子c1=c2=2，最大迭代次数1000．表1给出了实验结果，图3与图4分别给出了Sphere函数和Rastirgrin函数随迭代次数增加函数收敛变化图．表1 测试结果PSO DPSO函数0023 Rastirgrin 0．32160 0．01100平均最佳适应值平均最佳适应值Sphere 0．0822 0．由图3和图4可以看出，DPSO算法具有更快的收敛性，其曲线基本趋于单调下降状态，而标准PSO算法上下波动幅度较大，多次出现水平不变．改进的DPSO算法不易陷入局部最优，可以进行全局寻优，寻找全局最优点．本文用改进的DPSO－BP算法优化神经网络的参数，使其逃离局部最优，提高全局优化能力．基于粒子群优化BP神经网络算法步骤如下:(1)建立BP神经网络模型．设定权值wji和wkj，阈值λ，输入学习样本xi(i)，期望输出为yk．(2)初始化粒子群．设定粒子群规模N，初始化惯性权重因子最大值wmax最小值wmin．(3)选择训练样本，经t次训练后实际输出与期望输出的均方差作为适应度函数:fitness(xi)=e(xi)．(4)比较适应度函数值，记录粒子的历史最优位置和粒子群历史最优位置(5)根据(3)，(4)，(5)，(6)式不断的更新粒子位置和速度．(6)粒子适应度函数值满足预设精度或迭代次数达到预设最大次数则算法停止，输出的全局最优值4 实验仿真标准PSO－BP算法与改进DPSO－BP算法对非线性函数的拟合对比:采用标准PSO－BP算法和改进DPSO－BP算法实现对非线性函数∈[－8，12]的逼近，并对二者的优化结果进行对比．改进DPSO－BP算法对非线性函数的拟合曲线如图5、6所示:结果分析:在图5和图6中的范围内，PSOBP优化的输出值与目标函数输出值拟合时具有较大的波动性，而DPSO－BP算法优化的输出值趋于平缓，拟合性较好．仿真结果证明了经改进的粒子群算法训练神经网络比标准粒子群算法训练神经网络能够有更好的精度和拟合性．5 结束语本文通过采用粒子群算法改进粒子群进化速率，从而调整惯性权重因子，使其呈非线性动态变化，并用其训练神经网络，最后得到基于改进粒子群算法的BP神经网络模型，该模型与标准粒子群算法训练的BP神经网络模型相比，有较高的精度和较好的拟合性能．参考文献:[1] 高隽．人工神经网络原理及仿真实例[M]．北京:机械工业出版社，2003，151－153．[2] 徐晋．一种前馈神经网络综合快速学习算法[J]．内蒙古工业大学学报，2003，22(3):232－236．[3] 葛哲学，孙志强．神经网络理论与MATLAB R2007[M]．北京:电子工业出版社，2007，108－116．[4] Hu x，Eberhart R．C．Solving Constrained Nonlinear Optimization Problems with Particle Swarm Ptimization[C]．in:Proceedings of 6th World Multiconference on Systemics，Cybernetics and Informatics，2002．[5] 谢铮桂，钟少丹，韦玉科．改进的粒子群算法及收敛性分析[J]．计算机工程与应用，2011，47(1):46 －49．[6] 任子晖，王坚．一种动态改变惯性权重的自适应粒子群算法[J]．计算机科学．2009，2(36):227－256．[7] Ali T．Al－ Awami，Azzedine Zerguine，Lahouari Cled．A New Modified Particle Swarm Optimization Algorithm for Adaptive E-qualization[J]．Digital Signal Signal Processing．2011，21(2):195－207．[8] SUN Chao－ li，ZENG Jian － chao，PAN Jeng － shyang ．An Improved Vector Particle Swarm Optimization for Constrained Optimization Problems[J]．Information Sciences，2011，181(2):1153–1163．。

改进粒子群算法优化BP神经网络的粮食产量预测李雪;顾沈明;年浩【摘要】本文应用改进后的粒子群算法对粮食产量的预测模型进行研究．首先，对影响粮食产量相关因素的原始数据进行了标准化处理，并且建立了BP神经网络模型和粒子群算法优化BP神经网络的模型．其次．通过对比与分析实验在训练过程中存在的不足，采用了一种改进粒子群算法中的加速度因子和惯性权重的方法．并建立了仿真模型．最后获得了有关粮食产量的预测数据．【期刊名称】《闽南师范大学学报：自然科学版》【年(卷),期】2014(027)001【总页数】6页(P56-61)【关键词】BP神经网络;粒子群算法;粮食产量;优化;预测【作者】李雪;顾沈明;年浩【作者单位】浙江海洋学院数理与信息学院,浙江舟山316000;;;【正文语种】中文【中图分类】TP183粮食是人们赖以生存的物质基础和生活保障，它受多种不稳定性因素的影响，它的变化呈动态和非线性的特征，因此对粮食产量进行有效预测是粮食安全研究中的一项重要工作，它对保障国家的粮食安全和人民的生活水平起着至关重要的作用. 许多学者建立了一些数学模型对粮食产量进行了相关的预测.神经网络不仅具有很强的非线性逼近能力，同时还具有自适应、自组织和实时学习的能力.近年来神经网络也被广泛地用于粮食产量预测研究中，取得了不错的研究成果.吴玉鸣等[1]建立了多元回归分析预测模型和BP神经网络的粮食产量预测模型并进行了对比分析；伍长荣等采用了径向基神经网络建立了多因素非线性时间序列的粮食产量预测模型[2]、还将主成分分析法和基于最邻近聚类学习算法的径向基神经网络组合在一起对粮食产量进行了预测研究[3]；徐进等[4]提出了一种基于遗传算法优化人工神经网络的粮食产量预测模型；任艳娜等[5]将主成分分析法和径向基神经网络进行有效的组合，并建立了粮食产量的预测模型；张坤[6]建立了一种基于小波神经网络在粮食产量预测中的模型.利用神经网络进行预测的模型很多，由于传统的预测方法对粮食产量进行预测研究是非常困难以及不准确的，本文通过建立BP神经网络模型、粒子群优化的BP网络模型以及改进后的粒子群优化BP网络模型，对样本数据进行仿真实验，并对实验结果进行了对比分析.1 BP神经网络BP神经网络（Back Propagation neural network）又称误差反向传播神经网络[7]，它包括输入信号前向传递和误差信号反向传播两个学习过程[8]，它被广泛的应用在各种预测模型中.BP神经网络在结构上可以分为三层，分别是输入层、隐含层和输出层，其拓扑结构如图1所示.在正向传播过程中，输入信号首先从输入层经隐含层逐层处理后传入输出层[9]，上一层神经元状态只影响它的下一层神经元状态.若输出层得不到期望输出，则转入误差反向传播过程，通过调整预测误差的权值和阈值，以达到BP神经网络预测输出具有很好的拟合效果.图1 BP神经网络结构图图 1中，x1，x2，…，xn代表BP神经网络的输入数据，y1，y2，…，ym代表BP神经网络的预测数据，代表BP神经网络的权值.如果把输入数据看作一个函数的自变量，输出数据看作因变量，那么通过拓扑结构图可以把BP神经网络看作为一个非线性函数.如果设输入层的节点数个为n，输出层的节点个数为m，那么BP 神经网络能够很好的映射出从n维自变量到m维因变量之间的关系.2 粒子群优化算法2.1 PSO算法的原理粒子群优化算法[10]（Particle Swarm Optimization，简称PSO）是在1995年被Kennedy和Eberhart所提出的一种智能优化的群体算法[11]，该算法的实现方法简单，被广泛应用在许多优化问题中.它是一种基于模拟鸟类觅食行为的优化算法[12]，在该算法中，群体中的每个粒子都可以被看作是一个对象，该粒子包括位置向量、速度、适应度和一个在搜索空间搜索到的最优位置的向量.算法中每个粒子都代表该粒子在搜索空间中所处的位置，每个粒子都与每个由适应度函数决定的适应度值相对应.群体中的粒子受到两个可调参数的影响，分别是该粒子所处的最优位置和群体中每个粒子都找到的全局最优位置.粒子的优劣程度通过适应度函数求得的适应度值的大小来反映.2.2 PSO算法模型建立给定一个种群，该种群由n个粒子组成，该种群在给定的一个D维的搜索空间中，那么则代表第i个粒子在D维空间中所处的位置，也就是该问题的一个特定解.通过目标函数可以对各个粒子Xi所对应的适应度值进行求解.假定为第i个粒子的速度为种群的个体极值，为全局极值.在每次寻优过程中，粒子的速度和位置随着个体极值和群体极值的更新而变化[13]，通过如下公式计算：其中ω 代表惯性权重；d=1,2,…，D；i=1,2,…，n；k 代表当前训练次数；Vid代表粒子的速度；c1、c2是不小于0的加速度因子，通常c1=c2=2；r1和r2是区间[0，1]中的随机数.为了防止粒子进行盲目搜索，最好使它的位置和速度处于区间内.根据实验内容设置粒子群算法中的相关参数[14]，首先，通过网络的拓扑结构确定粒子的种群规模，种群中各个粒子的维度分量都与神经网络中的连接权值或阈值相对应[15].其次，初始化种群的粒子和速度，对当前粒子适应度值进行计算并记录下来，同时把具有最好适应度的全局最优位置存储下来.随着训练次数的增加，粒子的适应度值不断提高，当达到最大迭代次数或种群在搜索空间中搜索到全局最优解时，算法终止，适应度最高的粒子就是当前找到的全局最优解.粒子群算法优化BP神经网络的基本思想是：利用粒子群算法优化的权值和阈值作为BP神经网络的初始权值和阈值并进行训练和预测，其基本流程如图2所示.图2 粒子群算法优化BP神经网络流程图3 对PSO算法的改进由于PSO算法的结构比较简单，收敛速度比较快，在迭代寻优过程中，若其中一个粒子找到一个局部最优位置，那么将会导致种群中其它粒子快速向它移动，因此存在粒子容易过早陷入局部最优解等缺陷[16].为了有效的解决这一问题，本文采用了一种改进的粒子群优化算法（Improved Particle Swarm Optimization，简称IPSO)，即通过调整PSO算法中加速度因子c1、c2和惯性权重ω的一种方法.3.1 惯性权重的改进在PSO算法中，惯性权重ω的值代表了粒子当前速度多大程度上继承先前的速度，通过分析惯性权重ω对网络优化性能的影响可知，一个较小的权重能够提高算法的收敛速度从而有利于局部搜索.相反，一个较大的权重能够跳出局部极小点从而有利于全局搜索[17].为了平衡PSO算法中的全局搜索能力与局部搜索能力，本文采用的是随着优化过程中迭代次数的增加，从而使惯性权重线性递减[18]的方法，即在寻优的前期过程中，为了使粒子能够在全局范围内进行搜索，使得惯性权重具有较大的值，而在寻优的结束阶段，为了提高粒子的局部搜索能力，使得惯性权重具有较小的值.即通过以下公式进行计算：，式中分别代表惯性权重的初始值和最终值[16]，其中代表该优化算法的最大迭代次数，iter为当前迭代次数.3.2 加速度因子的改进在PSO算法中，参数c1、c2分别为粒子个体极值和全体极值的加速度因子.在寻优过程中，为了避免粒子过早陷入局部极小值从而有效地搜索到全局最优解[19]，我们希望粒子个体在前期能够在全局范围内进行搜索，而在后期能够提高算法的搜索精度和收敛速度.因此，在寻优过程中，我们通过动态的调整加速度因子c1、c2的值，即在寻优的前期过程中，使得c1＞c2，以保持种群的多样性；而在寻优的后期，使得c1＜c2，以提高该算法的搜索性能.c1、c2的计算公式分别如下：式中cstart和cend分别代表粒子个体加速度因子c1的初始值和最终值，其中0＜cend＜cstart≤4，Maxiter代表该优化算法的最大迭代次数，iter为当前迭代次数.4 仿真实验4.1 样本选定与预处理本实验对1978-2007年影响我国粮食产量因素的30组数据进行分析，数据来源于《中国统计年鉴》[20]，分别取有效灌溉面积、化肥施用量、农村用电量、农业机械总动力、农林牧渔业劳动力、粮食作物播种面积和受灾面积7项指标因素[21]作为网络输入，以粮食产量这一指标因素作为网络输出，构建BP神经网络.BP神经网络构建根据实验数据的输入输出维数确定BP各层的节点数，我们把BP 神经网络结构确定为7-15-1,即输入层、隐含层、输出层的节点个数分别为有7、15、1.为了减小不同因子之间由于数据大小的差异和单位的不同所引起的误差，在学习之前要对原始数据进行归一化处理.归一化的处理方法很多，本文采用的公式为4.2 实验结果分析本实验是在Matlab7.8神经网络工具箱的基础上实现的，为了使实验结果更精确，从样本数据中随机抽取不连续的25组作为训练数据，剩余5组作为测试数据.并应用该软件自带的神经网络工具箱建立了3种对粮食进行预测的仿真模型，分别是：BP神经网络模型，PSOBP神经网络模型和IPSO-BP神经网络模型，并进行了对比分析.图3、4、5分别为BP、PSOBP、IPSO-BP预测效果图.图3 BP神经网络预测粮食产量拟合效果图图4 PSOBP神经网络预测粮食产量拟合效果图图5 IPSO-BP神经网络预测粮食产量拟合效果图通过比较图3、4、5可知，由于BP神经网络自身存在收敛速度慢和容易陷入局部极小值等缺陷，本文采用的IPSO-BP算法能够通过追随当前搜索到的最优值来寻找全局最优，其算法简单、预测精度高、收敛速度快.实验预测结果表明，IPSO-BP能够较好的表现出各种影响因子与粮食产量的非线性变化关系.另外，我们对以上三种模型的预测结果进行了比较，如表1所示.从表中可以看出，经改进后的粒子群优化BP神经网络的预测值更接近于实际值，证明该网络的预测误差更小，拟合精度更高.表1 粮食产量实际值与预测结果的比较样本实际值BP预测值PSOBP预测值IPSO－BP预测值4 0.1817 0.2313 0.2016 0.2254 11 0.4873 0.6538 0.60490.4851 14 0.6661 0.6184 0.6552 0.7184 17 0.7086 0.7793 0.7229 0.6353 22 0.9830 0.9664 1.0009 0.9772此外，BP神经网络和PSOBP神经网络和IPSO-BP神经网络的均方误差分别为mseBP=1.30×10-3，msePSOBP=4.88×10-4，mseIPSO-BP=3.46×10-4，我们也可以看出，经改进后的粒子群算法的均方误差有所降低，证明该网络的预测精度有所提高.由于该实验只采用了25组训练样本，如果增加训练样本的个数，网络的拟合性能会更好、实验的预测结果会更准确.5 结论由于粮食产量受多种因素的影响，为了更有效、准确地对其进行预测，本文在传统的PSOBP基础上，对PSO算法中的加速度因子和惯性权重做出了改进，采用了一种新的利用神经网络对粮食产量进行预测的方法.该方法不仅具有它们各自的优点，同时还弥补了它们在训练过程中容易陷入局部极小值和收敛速度慢等缺陷.从仿真结果来看，本实验提出的基于改进粒子群算法优化BP神经网络的预测模型，不仅提高了模型的预测精度，且预测均方误差也有所降低.实验结果表明，利用IPSO-BP模型能够较好的预测出粮食产量，也可以为其他领域解决预测问题提供参考.参考文献:[1]吴玉鸣,徐建华.中国粮食生产的多元回归与神经网络预测比较[J].华东师范大学学报：自然科学版,2003,(4)：73-79.[2]伍长荣,胡学钢.基于RBF神经网络的粮食生产预测研究[J].安徽工程科技学院学报：自然科学版,2004,19(4)：51-54.[3]伍长荣,叶明全,胡学钢.基于PCA的RBF神经网络预测方法研究[J].安徽工程科技学院学报：自然科学版,2007,22(01)：59-62.[4]徐进,李玉民.基于遗传神经网络的粮食产量系统预测方法研究[J].现代化农业,2001,(9)：29-31.[5]任艳娜,席磊,汪强,马新明.粮食产量预测模型的应用与仿真研究[J].计算机仿真,2011,28(4)：208-211.[6]张坤.小波神经网络在粮食产量预测中的应用[J].计算机与数字工程,2010,38(3)：176-178.[7]崔荣一,洪炳熔.关于三层前馈神经网络隐层构建问题的研究[J].计算机研究与发展,2004,41(4)：524-530.[8]Wooldridge J M.Introductory Economitrics-A ModernApproach.Translated by Fei J[M].Beijing：China Renmin University Press,2003.[9]杨淑娥,黄礼.基于BP神经网络的上市公司财务预警模型[J].系统工程理论与实践,2005,(01)：12-18,26.[10]Angeline P J.Evolutionary Optimization Gersus Particle Swarm Optimization：Philosophy and Performance Differences[R].Proc.Seventh Annual Conference on Evolutionary Programming,1998.[11]Kennedy J,Eberhart R C.Particle swarm optimization[C]//Proc of the IEEE International Conference on Neural Networks.Piscataway,NJ：IEEE Service Center,1995,1942-1948.[12]Xin Yao.Evolving Artificial Neural Networks[J].Proceeding of the IEEE.1998,87(9)：1423-1447.[13]李松,刘力军,翟曼.改进粒子群算法优化BP神经网络的短时交通流预测[J].系统工程理论与实践,2012,32(9)：2045-2049.[14]Dong Chaojun,Qiu Zulian.Particle Swarm Optimization Algorithm Based on the Idea of Simulated Annealing[J].International Journal of Computer Science and Network Security,2006,16(10)：152-157.[15]张苓.粒子群算法在BP神经网络优化中的应用[R].电路与信号处理国际会议,2010.[16]沈学利,张红岩,张纪锁.改进粒子群算法对BP神经网络的优化[J].计算机系统应用,2010,19(2)：57-61.[17]徐以山,曾碧,尹秀文,等.基于改进粒子群算法的BP神经网络及其应用[J].计算机工程与应用,2009,45(35)：233-235.[18]Shi Y,Eberhart R.Empirical study of particle swarmoptimization[C]//International Conference on Evolutionary Computation.Washington,USA：IEEE,1999,1945-1950.[19]冯翔,陈国龙,郭文忠.粒子群优化算法中加速因子的设置与试验分析[J].集美大学学报：自然科学版,2006,11(2)：146-151.[20]国家统计局.中国年鉴[M].北京：中国统计出版社,2008.[21]林芳.灰色神经网络在粮食产量预测中的应用[J].计算机仿真,2012,29(4)：225-228,267.。

上海大学2010 ～2011 学年冬季学期研究生课程考试小论文格式课程名称：计算智能课程编号： 081101708论文题目: 基于认知学粒子群算法的BP网络优化方法研究生姓名: 赵海红学号:10720938论文评语:成绩: 任课教师: 刘悦评阅日期: 年月日基于认知学粒子群算法的BP网络优化方法赵海红2,3（上海大学计算机工程与技术学院，上海，200072）摘要：本文依据心理学与认知学理论研究了粒子群算法的BP神经网络优化问题，我们将改进的粒子群优化算法用于BP神经网络的学习训练，并与传统的BP网络的学习能力进行了比较。

结果表明，将改进粒子群优化算法应用于BP神经网络优化，不仅能更快地收敛于最优解，而且很大程度地提高了结果的精度。

关键词：神经网络；粒子群算法；优化；BP；认知学A Method Of BP Optimization Based on Cognitive-based Particle SwarmZhao Haihong2,3（Computer Engineering and Technology of Shanghai University,Shanghai, 200072）【Abstract】: This theory based on cognitive psychology and the particle swarm algorithm of BP neural network optimization problems, we will improve particle swarm optimization algorithm for BP neural network learning and training, and with the traditional BP network learning ability compared . The results show that the improved PSO algorithm is applied to BP neural network optimization, not only converge to the optimal solution more quickly and greatly increase the accuracy of the results.【Key words】：Neural network; particle swarm algorithm; optimization；BP；Cognitive Science1 引言粒子群优化算法[12] (Particle Swarm Optimi- zation，PSO)最初是由Jim Kennedy于1995年提出并成功地用于函数优化，后来又进行了有效的拓展，是计算智能领域除蚁群优化算法(Ant Colony Optimization，ACO)外的另外一种群体智能算法(Swarm Intelligence，SI)。