一种基于粒子群优化算法的神经网络训练方法

第３５卷第３期　２００７年８月　河南师范大学学报（自然科学版）　Ｊｏｕｒｎａｌ　ｏｆ　Ｈｅｎａｎ　Ｎｏｒｍａｌ　Ｕｎｉｖｅｒｓｉｔｙ（Ｎａｔｕｒａｌ　Ｓｃｉｅｎｃｅ）　Ｖ　．３５　Ｎｏ．３　

Ａｕｇ．２００７　

文章编号：１０００—２３６７（２００７）０３—０１６９—０３　

种基于粒子群优化算法的神经网络训练方法　秦毅男　，廖晓辉　，赵庆治　（１．郑州大学电气工程学院，郑州４５００００；２．开封市供电公司，河南开封４７５０００）　摘　要：介绍了粒子群优化（ＰＳＯ）算法的原理，研究了将ＰＳＯ算法应用于神经网络训练的方法，给出了算法　软件实现的基本流程，并对Ｉｒｉｓ分类问题做了仿真实验。通过与ＢＰ算法的比较，结果表明基于ＰＳＯ的神经网络训练　算法操作简单，易于实现，而且训练精度较高，有良好的收敛性．　关键词：粒子群优化；进化算法；神经网络　中图分类号：ＴＰ１８３　文献标识码：Ａ　

人工神经网络（Ａｒｔｉｆｉｃｉａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ，ＡＮＮ）具有信息的分布式存储、并行处理和自组织、自学习能　力等独特优势，在许多应用研究领域取得了巨大成功［１　］．ＢＰ网络是其中应用最为广泛、也是最基本的神经　网络之一．它采用误差反向传播算法（ＢＰ算法），能以任意精度逼近非线性关系，但在实际应用中仍然存在一　些问题：如收敛速度慢、训练时间长，易陷入局部极小，以及对参数选择较为敏感等．　粒子群优化（Ｐａｒｔｉｃｌｅ　Ｓｗａｒｍ　Ｏｐｔｉｍｉｚａｔｉｏｎ，ＰＳＯ）算法是一种基于群体智能的全局优化进化算法＿３］．该　算法采用速度一位置搜索模型，通过群体中粒子间的合作与竞争产生的群体智能指导优化搜索，能有效克服　局部极小问题［４］，因此是一类很有潜力的神经网络训练算法．　本文研究将ＰＳＯ算法应用于神经网络训练的方法，并与ＢＰ算法做了对比仿真实验．　

１粒子群优化算法　ＰＳＯ算法首先生成初始种群，即在解空间中随机初始化一群粒子，粒子的位置表示待优化问题的解，解　的优劣程度由目标函数确定的适应值决定．每个粒子将在解空间中运动，并由一个速度决定其飞行方向和速　率大小．然后通过逐代搜索找到最优解．　设第ｉ个粒子在ｄ维解空间中的位置为　一（　，　，…，　），其速度　一（　，　，…，　）．它的个体极　值Ｐ　一（　Ｐ　…，Ｐ　），种群的全局极值Ｐ　一（　，Ｐ　ｚ，…，Ｐ　）．粒子根据（１）、（２）来更新其速度和位置　：　一７．Ｏ·　＋Ｃｌ·ｒａｎｄ（）·（　一　）＋Ｃ２·ｒａｎｄ（）·（　一Ｘ／ｋ），　（１）　一ｚ　＋　，　（２）　式中７．０为惯性权重，ｒａｎｄ（）是均匀分布在（０，１）之间的随机数，Ｃ　，Ｃ　为两个学习因子．粒子在解空间内不断　跟踪个体极值与全局极值进行搜索，直到达到规定的迭代次数或满足给定的误差标准为止．　

２基于ＰＳＯ的神经网络训练算法　２．１　ＢＰ神经网络　ＢＰ网络是人工神经网络实际应用最为广泛的一种模型，它是一种多层前馈网络，结构如图１所示．ＢＰ　网络训练时，对于给定的输入样本向量Ｊ，神经元的实际输出可表示为；　Ｏ—ｆ（Ｗ＊Ｊ，６），　（３）　

收稿日期：２００６—１１—２０　基金项目：河南省科技攻关项目（４２４３００００８）　作者简介：秦毅男（１９７３－－），男，河南郑州人，郑州大学讲师，研究方向：人工智能在电力系统中的应用．　

维普资讯 http://www.cqvip.com １７Ｏ　河南师范大学学报（自然科学版）　图１　ＢＰ神经网络　其中０为实际输出向量，ｗ为连接权值矩阵，ｂ为阈值向量，　输出层　ｆ函数可以是Ｓ型函数或者线性函数．此时系统的实际输出　同期望输出有一定误差，设误差函数为：　

隐藏层ＭｓＥ一　１∑Ｐ　。　）２，　４　

其中，Ｐ为样本总数，ｋ为输出节点数，ｔ　及Ｏ　分别为第ｋ　个输出节点第Ｐ个样本的期望输出及实际输ｉ　硎　２２　基于ＰＳＯ的ＢＰ网络训练算法流程　

由于ＢＰ神经网络的学习过程主要是权值和阈值的更　新过程，因而可用ＰＳＯ算法中粒子的位置来对应其全部连　接权值和阈值，以神经网络的输出误差作为ＰＳＯ算法的适　应函数，通过ＰＳＯ算法的优化搜索来训练神经网络的权值和阈值，以获得尽可能低的训练误差，其基本流　程为：　①选定粒子个数　，初始化每个粒子，随机产生粒子的初始位置　和初始速度　，置迭代次数Ｎ一１；②　给定训练数据集，即提供输入向量Ｊ和期望输出向量Ｔ，并作规范化处理；③根据粒子位置　和训练样本，由　式（３）、式（４）计算隐层或输出层每个节点的实际输人和输出及误差函数ＭＳＥ；④根据误差函数ＭＳＥ，评价　每个粒子的适应度，更新当前的个体极值Ｐ　和全局极值　；⑤根据式（１）、式（２），更新每个粒子的位置（即调　整权值和阈值）　和飞行速度　．检验速度是否越出边界，若是，调整速度为算法规定的最大值；⑥当误差达到　最初设定值或达到最大迭代次数时，学习过程结束；否则，令Ｎ一１－Ｎ＋１，线性减小２．Ｕ，返回第③步继续迭代，　直至满足要求为止．　

３算法仿真分析　Ｉｒｉｓ数据集是用于测试分类器性能的一个标准数据集，总共有１５０组数据．仿真实验采用ＭＡＴＬＡＢ语　言编程．用３层ＢＰ网络来对Ｉｒｉｓ问题进行分类．网络采用４－６—３式结构，隐层和输出层节点的激活函数均选　择对数Ｓ型函数ｌｏｇｓｉｇ．实验中ＰＳＯ算法的参数取粒子数　一２０；粒子模型维度ｄ一４×６＋６×３＋９—５１，　为神经网络全部连接权值和阈值；学习因子ｃ　一ｃ　一２；２．Ｕ随迭代次数由０．９线性减小到０．４；搜索范围设定　为［一１，１］．样本数据集中取７５组数据作为训练集，另７５组数据作为测试集．　为了便于比较，采用标准ＢＰ算法和自适应调整学习率的改进ＢＰ算法也对该网络进行了训练，仿真结　果如表１所示．图２给出了分别用３种算法训练神经网络的误差演化曲线．观察仿真实验结果可知，基于　ＰＳＯ的神经网络训练算法性能相对较优，而且具有良好的收敛性．　

剁　

训练次数／次　（ａ）标准ＢＰ算法　训练次数／次　（ｂ）自适应学习率ＢＰ算法　

图２　３种算法训练神经网络的误差演化曲线　

迭代次数／次　（ｃ）ＰＳＯ算法　

４　结　论　ＰＳＯ算法是一种新兴的基于群体智能的进化算法，优势在于算法简洁，易于实现，没有很多参数需要调　

维普资讯 http://www.cqvip.com 第３期　秦毅男等：一种基于粒子群优化算法的神经网络训练方法　１７１　整，且不需要梯度信息，可广泛应用于各种研究　领域．本文研究将ＰＳＯ算法应用于训练神经网　络，对Ｉｒｉｓ分类问题做了仿真实验，并与ＢＰ算　法进行了比较，结果表明，基于ＰＳＯ的神经网　络训练算法性能良好，训练精度较高，收敛速度　较快．　

［１］　［２］　［３］　［４］　Ｉｓ］　表１　３种算法训练神经网络的仿真结果比较　参　考　文　献　王洪元，史国栋．人工神经网络技术及其应用［Ｍ］．北京：中国石化出版社，２００２．　杨建刚．人工神经网络实用教程［Ｍ］．杭州：浙江大学出版社，２００１．　Ｋｅｎｎｅｄｙ　Ｊ，Ｅｂｅｒｈａｒｔ　Ｒ　Ｃ．Ｐａｒｔｉｃｌｅ　Ｓｗａｒｍ　Ｏｐｔｉｍｉｚａｔｉｏｎ［Ｃ］．Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ＩＥＥＥ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｎｅｕｔｒａｌ　Ｎｅｔｗｏｒｋｓ，Ｐｅｒｔｈ。　１９９５．　杨维，李歧强．粒子群优化算法综述＿Ｊ］．中国工程科学，２００４，６（５）：８７—９３．　Ｓｈｉ　Ｙ·Ｅｂｅｒｈａｒｔ　Ｒ　Ｃ．Ａ　ｍｏｄｉｆｉｅｄ　ｐａｒｔｉｃｌｅ　Ｓｗａｒｍ　ＯｐｔｉｍｉｚｅｒｒＣ］．ＩＥＥＥ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｆ　Ｅｖｏｌｕｔｉｏｎａｒｙ　Ｃｏｍｐｕｔａｔｉｏｎ，Ａｎｃｈｏｒａｇｅ，　１　９９８．　

Ａ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ　Ｔｒａｉｎｉｎｇ　Ａｌｇｏｒｉｔｈｍ　Ｂａｓｅｄ　ｏｎ　Ｐａｒｔｉｃｌｅ　Ｓｗａｒｍ　Ｏｐｔｉｍｉｚａｔｉｏｎ　

ＱＩＮ　Ｙｉ—ｎａｎ　，ＬＩＡＯ　Ｘｉａｏ—ｈｕｉ　，ＺＨＡＯ　Ｑｉｎｇ—ｚｈｉ　（１．Ｃｏｌｌｅｇｅ　ｏｆ　Ｅｌｅｃｔｒｉｃａｌ　Ｅｎｇｉｎｅｅｒｉｎｇ，Ｚｈｅｎｇｚｈｏｕ　Ｕｎｉｖｅｒｓｉｔｙ，Ｚｈｅｎｇｚｈｏｕ　４５００００，Ｃｈｉｎａ；　２．Ｋａｉｆｅｎｇ　Ｐｏｗｅｒ　Ｓｕｐｐｌｙ　Ｃｏｍｐａｎｙ，Ｋａｉｆｅｎｇ　４７５０００，Ｃｈｉｎａ）　

Ａｂｓｔｒａｃｔ：Ｉｎ　ｔｈｅ　ｐａｐｅｒ，ｔｈｅ　ｆｕｎｄａｍｅｎｔａｌ　ｐｒｉｎｃｉｐｌｅｓ　ｏｆ　ＰＳＯ　ａｒｅ　ｉｎｔｒｏｄｕｃｅｄ　ｆｉｒｓｔｌｙＡｎｄ　ｔｈｅｎ，ｔｈｅ　ｐｒｏｃｅｓｓｅｓ　ｏｆ　ｔｒａｉｎｉｎｇ　

ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ　ｂｙ　ａｐｐｌｙｉｎｇ　ＰＳＯ　ａｌｇｏｒｉｔｈｍ　ａｒｅ　ｐｒｅｓｅｎｔｅｄ．Ｓｉｍｕｌａｔｉｎｇ　ｅｘｐｅｒｉｍｅｎｔｓ　ｏｆ　Ｉｒｉｓ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ　ｐｒｏｂｌｅｍ　ａｒｅ　ａｌｓｏ　ｍａｄｅ　ｂｅｔｗｅｅｎ　ｐｒｏｐｏｓｅｄ　ａｌｇｏｒｉｔｈｍ　ａｎｄ　ＢＰ　ａｌｇｏｒｉｔｈｍ．Ａ　ｃｏｍｐａｒｉｓｏｎ　ｏｆ　ｔｈｅ　ｔＷＯ　ａｌｇｏｒｉｔｈｍｓ　ｉｎｄｉｃａｔｅｓ　ｔｈａｔ　ｔｈｅ　ｆｏｒｍｅｒ　ｉｓ　ａ　ｓｉｍｐｌｅ　ｏｎｅ　ｗｉｔｈ　ｇｏｏｄ　ｃｏｎｖｅｒｇｅｎｃｅ．　Ｋｅｙ　ｗｏｒｄｓ：ｐａｒｔｉｃｌｅ　ｓｗａｒｍ　ｏｐｔｉｍｉｚａｔｉｏｎ；ｅｖｏｌｕｔｉｏｎａｒｙ　ａｌｇｏｒｉｔｈｍ；ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ　

维普资讯 http://www.cqvip.com