基于遗传算法的BP神经网络算法

利用云模型和遗传算法优化BP神经网络权值

摘 要：标准BP算法主要根据训练样本确定神经网络的权值，由于BP算法采用沿梯度下降的搜索算法，因而其结果对初始权值非常敏感，收敛速度慢，易陷入局部极小。结合正态云模型云滴的随机性和稳定倾向性，以及遗传算法的全局搜索能力，收敛速度快等特性优化神经网络的权值和阈值。分类实验结果表明，该算法比标准BP算法收敛速度快，分类正确率高。

关键词：云模型；遗传算法；标准BP算法；神经网络

0 引言

BP算法(Back Propogation Algorithm)是目前应用最为广泛的神经网络学习算法，但由于BP算法采用沿梯度下降的搜索算法，因而其结果对初始权值非常敏感，不同的初始权值可能导致不同的结果以及易陷入局部极小等问题。本文结合遗传算法的高度并行、随机、自适应的全局性概率搜索以及正态云模型云滴的随机性和稳定倾向性特点优化神经网络的权值和阈值。该算法中的交叉概率、变异概率由X条件云发生器产生。

1 优化原理

先利用神经网络试探出最好的网络隐层结点数，再利用本文提出的算法调整网络的权值以及阈值，然后再用调整好的权值和阈值进行分类。

编码：对于包含一层隐藏层模式为m-n-l多层神经网络共有q=m*n+n*l+n+l个权值和阈值需要优化，其中m为输入层结点数，n为隐藏层结点数，l为输出层结点数。将这q个权值和阈值记为W=(W1,W2,…,Wq)，采用实数编码，将行向量W看作是一条染色体，而其中每个实数Wi(i=1,2,…,q)是染色体的一个基因位。

选择算子：采用轮盘赌和精英保留选择策略。每个染色体产生后代的数目正比于它的适应度值的大小，并且每一代中染色体的总数保持不变，这种方法也称为轮盘赌选择。假设群体的大小为n，个体Ai的适应度值为f(Ai)，则个体Ai被选择的概率P(Ai)为：

P(Ai)=f(Ai)∑ni=1f(Ai)

交叉算子：随机产生二串长度为q的二进制串，设有两个父代，

基于遗传算法和模糊聚类算法的改进BP神经网络风速预测

吴钢;徐枫;王冰;徐偲喆

【摘 要】针对BP神经网络风速预测中存在的结构不确定以及网络过度拟合的问题，利用遗传算法的全局搜索能力和模糊聚类算法的数据筛选能力，分别对BP神经网络的结构与数据进行双重优化，提出了基于遗传算法和聚类算法的改进BP神经网络风速预测方法。仿真表明，改进风速后的预测方法大大提高了风速预测的准确性。%Aiming at the structure uncertainty and network overfitting

problem of BP neural network used in wind speed forecasting, by using

global search ability of genetic algorithm and data filtering capability

offuzzy c-means algorithm to optimize structure and data of BP neural

network, the improved wind speed forecasting method is proposed based

on genetic algorithm and fuzzy c-means algorithm, the simulation results

show that, the improved wind speed forecasting method improves the

accuracy of wind speed forecasting enormously.

【期刊名称】《电子设计工程》

【年(卷),期】2016(024)011

【总页数】4页(P120-123)

【关键词】短期风速预测;BP神经网络;遗传算法;聚类算法;二次优化

【作 者】吴钢;徐枫;王冰;徐偲喆 【作者单位】江苏方天电力技术有限公司 江苏 南京 211102;河海大学 能源与电气学院，江苏 南京 211100;河海大学 能源与电气学院，江苏 南京 211100;河海大学

第２４卷第８期　２００７年８月　计算机应用研究　Ａｐｐｌｉｃａｔｉｏｎ　Ｒｅｓｅａｒｃｈ　ｏｆ　Ｃｏｍｐｕｔｅｒｓ　Ｖｏ１．２４　Ｎｏ．８　Ａｕｇ．２００７　

基于遗传算法的ＢＰ神经网络　

在企业资信评估中的应用　

孟凡超，张洪伟，徐剑　

（四川大学计算机学院，成都６１００６５）　

摘要：提出了一种新的企业资信评估方法。通过把神经网络和遗传算法有机地结合起来，既克服了传统ＢＰ　

网络训练时间长、易陷入局部极值的缺点，又利用遗传算法提高了网络全局收敛的效率。该模型采用ｃ＃．ＮＥＴ＋　ＳＱＬ　ｓｅｒｖｅｒ　２０００实现。实验结果表明，基于遗传算法的ＢＰ神经网络系统对企业资信评估有着良好的性能。　

关键词：遗传算法；反向传播神经网络；资信等级评估　

中图分类号：ＴＰ３１１．５　文献标志码：Ａ　文章编号：１００１—３６９５（２００７）０８—０３０１—０３　

Ａｐｐｌｉｃａｔｉｏｎ　ｉｎ　ｃｒｅｄｉｔｒａｔｉｎｇ　ｅｖａｌｕａｔｉｏｎ　ｂａｓｅｄ　ｏｎ　ＢＰ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ　

ＭＥＮＧ　Ｆａｎ—ｃｈａｏ，ＺＨＡＮＧ　Ｈｏｎｇ—ｗｅｉ，ＸＵ　Ｊｉａｎ　

（Ｃｏｌｌｅｇｅ　ｏｆＣｏｍｐｅｅｒ　Ｓｃｉｅｎｃｅ，Ｓｉｃｈｕａｎ　Ｕｎｉｖｅｒｓｉｔｙ，Ｃｈｅｎｇｄｔｔ　６１００６５，Ｃｈｉｎａ）　

Ａｂｓｔｒａｃｔ：Ｔｈｉｓ　ｐａｐｅｒ　ｐｒｅｓｅｎｔｅｄ　ａ　ｎｅｗ　ｃｒｅｄｉｔ　ｒａｔｉｎｇ　ｅｖａｌｕａｔｉｏｎ　ａｌｇｏｒｉｔｈｍ　ｂｙ　ｃｏｍｂｉｎｉｎｇ　ｇｅｎｅｔｉｃ　ａｌｇｏｒｉｔｈｍ　ａｎｄ　ｂａｃｋ　ｐｒｏｐａｇａｔｉｏｎ　（ＢＰ）ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ，Ｉｔ　ｎｏｔ　ｏｎｌｙ　ｃｏｎｑｕｅｒｅｄ　ｔｈｅ　ｄｅｍｅｒｉｔｓ　ｓｕｃｈ　ａｓ　ｌｏｎｇ　ｔｉｍｅ　ｎｅｔ—ｔｒａｉｎｉｎｇ　ａｎｄ　ｅａｓｉｌｙ　ｒｕｎｎｉｎｇ　ｉｎｔｏ　ｌｏｃａｌ　ｏｐｔｉｍｕｍ　ｉｎ　ｔｒａｄｉｔｉｏｎａｌ　ＢＰ　ｎｅｔｗｏｒｋ，ｂｕｔ　ａｌｓｏ　ｉｍｐｒｏｖｅｄ　ｔｈｅ　ｃｏｎｖｅｒｇｅｎｔ　ｅｆｆｉｃｉｅｎｃｙ　ｏｆ　ｎｅｔｗｏｒｋ　ｂｙ　ｕｓｉｎｇ　ＧＡ．Ｔｈｅ　ｍｏｄｅｌ　ｗａｓ　ｉｍｐｌｅｍｅｎｔｅｄ　ｗｉｔｈ　Ｃ＃，ＮＥＴ　ａｎｄ　ＳＱＬ　ｓｅｒｖｅｒ　２０００．Ｔｈｅ　ｒａｔｉｏｎａｌｉｔｙ　ｏｆ　ｅｘｐｅｒｉｍｅｎｔ　ｒｅｓｕｌｔｓ　ｉｎｄｉｃａｔｅ　ｔｈａｔ　ＢＰ—ｂａｓｅｄ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ　ｃａｎ　ｅｖａｌｕａｔｅ　ｃｏｒｐｏｒａｔｉｏｎｓ　ａｃｃｕｒａｔｅｌｙ　ａｎｄ　ｅｆｆｉｃｉｅｎｄｙ　ｂｙ　ｃｒｅｄｉｔ　ｒａｔｉｎｇ．　Ｋｅｙ　ｗｏｒｄｓ：ｇｅｎｅｔｉｃ　ａｌｇｏｒｉｔｈｍ（ＧＡ）；ＢＰ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ；ｃｒｅｄｉｔ　ｒａｔｉｎｇ　ｅｖａｌｕａｔｉｏｎ　

BP神经网络的遗传优化及其在教学质量评价中的应用

摘要 由于bp神经网络算法容易陷入局部极小、收敛速度慢的缺点,用具有全局寻优特点的遗传算法对其进行改进,形成用遗传算法训练bp权值的ga-bp算法;通过将该算法应用于教学质量评价中,进一步验证了该算法的有效性和先进性。

关键词 bp神经网络;遗传算法;教学质量评价

中图分类号tp18,g420 文献标识码a 文章编号

1674-6708(2010)26-0184-01

1 基于遗传算法的神经网络训练方法

1.1 ga-bp算法的概述

遗传算法[1]从一组随机产生的初始解(称为群体)开始搜索过程,群体中的每个个体是问题的一个解,称为染色体,这些染色体在后续迭代中不断进化,称为遗传。遗传主要是通过选择、交叉、变异、运算生成下一代群体,就这样经过若干代进化之后,算法收敛于最好的染色体,即为问题的最优解。那么可以将遗传算法引入bp神经网络的训练,对权值的初始值进行全局优化,这样可避免 bp神经网络陷入局部极小值,并提高其收敛速度[2,3]。

1.2 用遗传算法学习和对神经网络权值的优化

为了方便理解,我们以基础的三层bp神经网络来进行说明。取wihij为输入层中第i个结点与隐含层第j个结点的连接权值;whoji为隐含层中第j个结点与输出层第i个结点的连接权值[4]。遗传算法学习bp网络的步骤如下: 1)初始化种群p,包括交叉规模、交叉概率pc、突变概率pm等,初始种群取60;

2)计算每一个个体评价函数,并按权值将其排序。

3)以概率pc对个体gi和gi+1交叉操作产生新个体和无交叉操作的个体进行直接复制;

4)利用概率pm突变产生gj的新个体;

5)将新个体插入到种群p中,并计算新个体的评价函数;

6)如果找到了满意的个体,则结束,否则转3)。

最后,将群体中的最优个体解码即可得到优化后的网络连接权系数。接下来则与神经网络的基本算法相同。

2 实例分析