科技信息 ０科教前沿０ ＳＣＩＥＮＣＥ＆ＴＥＣＨＮＯＬＯＧＹ ＩＮＦＯＲＭＡＴＩＯＮ ２０１０年第７期
基于遗传算法的ＢＰ网络及其
非线性逼近能力研究
李宏伟’李丽
（１．青岛大学自动化工程学院 山东 青岛 ２６６０７１；２．青岛市城投集团 山东 青岛 ２６６０７１）
【摘要】提出了一种基于遗传算法（ＧＡ）的ＢＰ神经网络模型优化方案，指出了遗传算法和标准ＢＰ算法各自的优缺点。首先采用自适应交
叉概率的遗传算法优化网络的权值，在进化结束时，能够寻到全局最优点附近的点。在遗传算法搜索结果的基础上，利用局部寻优能力较强的
梯度下降法，从此点出发，进行局部搜索，进而达到网络的训练目标。仿真表明与单一的梯度下降法比较，混合优化算法的收敛速度快，逼近的
效果好，因而所给出的算法可行有效。
【关键词】遗传算法；ＢＰ网络；非线性；函数逼近；
Ｒｅｓｅａｒｃｈ ｏｆ ＧＡ－ｂａｓｅｄ ＢＰ Ｎｅｔｗｏｒｋ ａｎｄ ｉｔｓ Ａｂｉｌｉｔｙ ｆｏｒ Ｎｏｎｌｉｎｅａｒ Ａｐｐｒｏａｃｈ
ＬＩＨｏｎｇ－ｗｅｉ ＬＩＬｉ
（１．Ｓｃｈｏｏｌ ｏｆ Ａｕｔｏｍａｔｉｏｎ ｅｎｇｉｎｅｅｒｉｎｇ，Ｑｉｎｇｄａｏ Ｕｎｊｖｅｒｓｉｔｙ，Ｑｉｎｇｄａｏ ２６６０７１，Ｃｈｉｎａ；２．Ｑｉｎｇｄｎｏ Ｃｉｔｙ ｉｎｖｅｓｔｍｅｎｔ Ｇｒｏｕｐ，Ｑｉｎｇｄａｏ ２６６０７１，Ｃｈｉｎａ）
【Ａｂｓｔｒａｃｔ］Ｗｉｔｈ ｔｈｅ ｍｅｒｉｔｓ ｏｆ ｔｈｅ ｇｅｎｅｔｉｃ ａｌｇｏｒｉｔｈｍ ａｎｄ ｔｈｅ ｓｉｍｐｌｅ ＢＰ ａｌｇｏｒｉｔｈｍ，ａ ＢＰ ｎｅｔｗｏｒｋ ｍｏｄｅｌ ｂａｓｅｄ ｏｎ ＧＡ ｉｓ ｐｒｅｓｅｎｔｅｄ．Ａｄｏｐｔｉｎｇ ｔｈｅ
ａｄａｐｔｉｖｅ ｃｒｏｓｓ ｐｒｏｂａｂｉｌｉｔｙ，ｔｈｅ ＧＡ ｉｓ ｔｏ ｏｐｔｉｍｉｚｅ ｔｈｅ ｗｅｉｇｈｔ．Ｎｅｘｔ，ａｔ ｔｈｅ ｅｎｄ ｏｆ ｅｖｏｌｕｔｉｏｎ，ａ ｓｏｌｕｔｉｏｎ ｎｅａｒ ｔｈｅ ｇｌｏｂａｌ ｏｐｔｉｍｕｍ ｗｉｌｌ ｂｅ ｆｏｕｎｄ．Ｔｈｅｎ，ｔｈｅ
2018年第11期信息与电脑China Computer&Communication算法语言
一种BP神经网络的改进算法及其应用
刘 淳 周菁菁
（兰州资源环境职业技术学院，甘肃 兰州 730000）
摘 要：人工神经网络在现代科学技术领域展现出了巨大的应用潜力。但是，传统的BP神经网络存在运算速度慢、易陷入局部极小值的问题。为了解决这个问题，笔者尝试通过改变误差梯度方向及使用线性搜索来改进BP算法。为了验证改进效果，使用某钻井的声波测井数据，对比了传统BP算法和改进后的算法在确定岩层孔隙度方面的效果。关键词：人工神经网络；BP算法；变梯度法中图分类号：TP183 文献标识码：A 文章编号：1003-9767（2018）11-060-03An Improved Algorithm of BP Neural Network and Its Application
Liu Chun, Zhou Jingjing
(Lanzhou Resources and Environment Voc-Tech College, Lanzhou Gansu 730000, China)Abstract: Artificial neural network has shown great potential in modern science and technology. But, the traditional BP Neural Network has the problem of slow operation speed and easy to fall into local minima. To solve this problem, the author tries to improve the BP algorithm by changing the direction of error gradient and using linear search. In order to verify the improvement effect, the effect of the traditional BP algorithm and the improved algorithm on determining the porosity of rock strata is compared by using the sonic logging data of a drilling rig.Key words: artificial neural network; BP algorithm; variable gradient method
基本介绍
含有隐层的多层前馈网络能大大提高神经网络的分类能力，但长期以来没有提出解决权值调整问题的游戏算法。1986年Rumelhart（鲁梅尔哈特）和McCelland（麦克勒兰德）等人提出并行分布处理（PDP）的理论，同时提出了多层网络的误差反向传播学习算法，简称BP算法。这种算法根据学习的误差大小，把学习的结果反馈到中间层次的隐单元，改变它的权系数矩阵，从而达到预期的学习目的，解决了多层网络的学习问题。BP算法从实践上证明神经网络的运算能力很强，可以完成许多学习任务，解决许多具体问题。BP网络是迄今为止最常用、最普通的网络。
BP算法也称误差反向传播（Error Back Propagation, BP）算法。
BP算法实质是求均方误差函数的最小值问题，这种算法采用非线性规划中的最速下降法，按误差函数的负梯度方向修改权系数。
网络结构
o1 … ok … ol
W1○ Wk○ Wl ○
y1○ y2○ … ○ yj … ○ym
V1 Vm
○ ○ ○ ○ ○
x1 x2 … xi … xn-1 xn
BP网络结构
模型的数学表达式
输入向量： TnixxxxX),...,,...,,(21
隐层输出向量： TmjyyyyY),...,,...,,(21 输出层输出向量： TlkooooO),...,,...,,(21
期望输出向量：Tlkddddd),...,,...,,(21
输入层到隐层之间的权值矩阵：),...,,...,,(21mJVVVVV
隐层到输出层之间的权值矩阵：),...,,...,,(21lkWWWWW
基于PSO—BP算法的模糊神经网络成矿探测评价模型
一、基本的BP神经网络原理
基本BP算法包括两个方面：信号的前向传播和误差的反向传播,即计算实际输出时按从输入到输出的方向进行，而权值和阈值的修正从输出到输入的方向进行。
图1—1 BP网络结构
图1-1中变量含义如下所示 ：
jx表示输入层第j个节点的输入j=1,…,M；
ijv表示隐含层第i个节点到输入层第j个节点之间的权值；
i表示隐含层第i个节点的阈值;
x表示隐含层的激励函数;
kiw表示输出层第k个节点到隐含层第i个节点之间的权值，i=1，…,q；
ka表示输出层第k个节点的阈值，k=1，…,L；
x表示输出层的激励函数；
ko表示输出层第k个节点的输出；
kT表示输出层第k个节点的期望输出;
激励函数一般使用S型函数，即 xexfx11x ；
j=0，1,2，…,M； i=0,1,2，…，q； k=0,1，2，…,L。 1a1
kiw
La ka
q i
… … … … …
… 1x
jx
Mx 1o
ko
Lo 输出变量 输入变量
输入层 隐含层 输出层 jvi （1）信号的前向传播过程
隐含层第i个节点的输入inet：
Mjjijixvnet1 （1—1）
隐含层第i个节点的输出iy:
Mjjijixvfnetf1iy （1-2）
输出层第k个节点的输入knet:
qiMjjijkiiqikikxvfwywnet111 （1—3）
输出层第k个节点的输出ko：
qiMjjijkikkxvfwfnetfo11 （1—4）
（2）误差的反向传播过程
