基于遗传算法的人工神经网络模型构建与优化研究

第１期　闯　琳等：人工神经网络结台遗传算法在建模和优化中的应用　・７９　人工神经网络结合遗传算法在建模和优化中的应用　阂惜琳　，刘国华　（１广东工业大学，广东广州５１００９０；２．北京科技大学，北京１０００８３）　摘要：用ＭＡＴＬ￣Ｂ构造了人工神经网络和遣侍算法程序＝人工神经网络用来建立数据样本问的函数　关系，而遗传算法用来求解由谊函数作为目标函数的优化问题。最后用一十实例时所蝙程序进行了剥　试，结果是令人满意的　关键词：人工神经网络（ＡＮＮ）；遗传算法（ＧＡ）；建摸；优化；ＭＡＴＬＡＢ　中图法分类号ｔ　ＴＰ１８３　文献标识码：Ａ　文章编号ｔ　１００１．３６９５（２００２）０１．００＂／９－０２　Ｔｈｅ　Ｃｏｍｂｉｎａｔｉｏｎ　ｏｆ　Ａｒｔｉｆｉｃｉａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ　ａｎｄ　Ｇｅｎｅｔｉｃ　Ａｌｇｏｒｉｔｈｍ　Ａｐｐｌｉｅｄ　ｔｏ　Ｍｏｄｅｌｉｎｇ　ａｎｄ　Ｏｐｔｉｍｉｚａｔｉｏｎ　Ｍ１Ｎ　Ｘｉ—ｌｉｎ。．ＬＩＵ　Ｇｕ　ｈｕ　ｔＩ　Ｇｎａｎｇｄｏ￣ｇ　ｂ…　¨　ｋｋ　。ｇｔ．Ｇ￣ｇｚｈｏｕ　Ｇ￣．ｔ，ｄｏｎｇ　５１００９０，ｃ　ｎｕ，２　Ｂｅｔｔｉｎｇ　ｂ＇ｎｈ￣ｍｉｔｒ　Ｓｃｉｅｎｃ￣＆Ｔｅ￣ｎｏｌｏｇｙ．Ｂ嘶　１０００￣３　ｍｗ）　Ａｂ￣ｒａｃｔ：Ａｒｔｉｆｉｃｉａｌ　ｎｅｕｒａｌ　ｎｅｌ￣＊ｏｒｋ　ａｎｄ　ｇｅｎｅｔｉｃ　ａｌｇｏｒｉｔｈｍ　ｐｒ０　∞ｎ　ｈａｖｅ　ｂｅｅｎ　ｄｅｖｅｌｏｐｅｄ　ｉｎ　ＭＡＴＬ４Ｂ．Ａｎ　ａ￣ｉｉｃｉａｌ悯ｒ　ｎｅｔｗｏｒｋ　ｐｒｏ－　ｇａｉｎ　ｉｓ　ｕｓｅｄ　ｔｏ　０ｂＩ　ｎ　ａ　ｍｏｄｅｌ　ｏｕＩ　ｏｆ　ｄａｔａ　ｓａｍｐｌｅｓ　ａｎｄ　ａ　ｇｅｎｅｔｉｃ　ａｌｇｏｒｉｔｈｍ　ｐｒｏｇｒａｍ　ｔｈｅｎ　ｕｓｅｄ　ｔｈｅ　ｍｏｄｅｌ丑ｓ　ａ　ｔａｒｇｅｔ　ｆｕｎｃｔｉｏｎ　ｔｏ　ｒｅｓｏｌｖｅ　ｔｈｅ　ｏｐｔｉｍｉｚａｔｉｏｎ　ｐｒｏｂｌｅｍ　Ａｎ　ｅｘａｍｐｌｅ　ｗａｓ　ｇｉｖｅ．ｔｏ　ｄｅｍｏｎｓｔｒａｔｅ　ｔｈｅ　ｅｆｆｅｃｔｉｖｅｎｅｓｓ　ｏｆ　ｔｈｅ　ｐｒｏｇｒａｍｓ　Ｋｅｙｗ岫：Ａｒｔｉｆｉｃｉａｌ　Ｎｅｕｒａｌ　Ｎｅｔ　（ＡＮＮ）；Ｇｅｎｅｔｉｃ．￣ｇｏｆｉｔｈｍ【ＧＡ）；／ｆｉｏｄｄｉｎｇ；Ｏｐｔｉｍｉｚａｔｉｏｎ；ＭＡｑｑＬＭ￣　１　引言　在生产、科研实践和经济生活中有许多离散的数　据，人们常需要寻找合适的数学模型“表达这些数据　间的内在规律泼问题可一般化地描述为：已知　维变　量ｘ：（　，ｘ　，…Ｘ　ｒ　，目拆ｖ（本文只考虑单目标问　题），现有ｒｌ＇ｌ组历史数据ｘ（ｋ）＝（ＸＩ（ｋ）．ｘ　（ｋ），一．Ｘｎ（ｋ）　）　、Ｙ（ｋ），ｋ：ｌ，２，…，ｍ，求目标Ｙ与ｎ维变量ｘ间的函数　关系ｖ＝ｆ（ｘ），在ｆ为线胜或可化为线　的情况下，我　们可以用多元线件　０』来拟台这些数据　获得ｆ的表达　式，此时，必须事先选定一个函数彤式　由于现实系统　的复杂性，数据问常存在非常复杂的非线性美系．而且ｆ　的具体函数形式也是未知的，这使得【ｕ］Ｕ１法使用起来非　常不便。而人一［‘神纤网络具有非常强的非线性映射能　力，它不需要任何危骑公式就可以通过学习（或训练）自　动总结出数据间的阑数火系，因而是…种有效的建模手　段。在建立起函数关系之后，常还需要求解由该函数作　为目标函数的最优化问题，即寻找台适的网络输＾，以　使网络输出值达到最大（或最小）。由于用人工种经网　络模型确立的函数戈系是通过神经元问的莲接权值与　闽值来实现的．　ｊ扫简单的鬲数形式表达．所以用传　统的优化方法不易斛决这类问题　口ｆ以用遗传算法来　完成针对人工神经Ｍ　模型的寻优过程，它只需要由网　络响应值转换搿来的适应值倍包，ｌ¨ｌ无需知道具体的函　收稿日期：２００１　０６—０５　数形式　本文将利用ＭＡＴＬｋＢ来编写神经网络与遗传算法　程序　分别用于建模与优化ＭＡＴＬ￣Ｂ是由Ｍａｔｈｗｏｒｋｓ　公司推出的功能强大的数学软件，其高效的数值计算能　力和编程简洁直观的特点使其在工业界和学术界都得　到ｒ泛的使用一因为ＭＡＴＬＡＢ的基本数据元素是矩阵，　具有非凡的矩阵运算和操作能力，所以特别有利于编写　涉及大量矩阵运算的神经网络程序和遗传算法程序：　２用神经网络建模　为了便于进行神经网络的设计和训练，ＭＡＴＬＡＢ提　供了神经网络工具箱。该工具箱由许多子程序组成，在　这些程序中完成了神经网络算法中所涉及的许多运算　和操作，我们可以根据需要调用相关程序，免除了自己　编写复杂而庞大的算法程序的困扰。由于在理论上已　经证明具有三层结掏（只有一个隐含层）的ＢＰ网络能够　逼近任何有理函数’．本文就用三层ＢＰ网络来建模以　逼近存在于数据间的函数关系，其程序如下：　ｎｅｔ；ｎｅｗｆｆ（ｍｉｎｍａｘ（ｐ　Ｊ－［２０，Ｉ　，’】　’，’ｐ￣ｒｅｌｉｎ　：．’Ｉｒａｉｎ［ｒｎ　Ｊ）＿　Ｌ　ｔｒａｍｆｎｄ’ｌＩ＿ｔ）：　Ｔ…¨…ｖ…ｍｉｎｍａｘ（Ｐ　Ｊ：　ｎｌ…ｒＩｍｘ　ｒ　ｔ＝ｍｉｎｍａｘ（Ｌ）；　ＳＤｖＩ　ｒ￣ｓｕ［ｔ　‘ｎｅｒ　Ｉ¨Ｉ…　ｒ　ｉｎｉａ￣ｘ　ｔａｒｇｅｔ　１；　其中．ｐ，ｔ是分别由历史数据ｘ和ｖ构成的用于训练的　输＾和目标输出矩阵；函数ｎｅｗｆｆ用来确定网络层数、每　层中的神经元数和传递函数及训练算法。在上述程序　中

神经网络模型的研究现状及应用

随着近年来人工智能技术的进步，神经网络模型成为了热门研究领域之一。神经网络模型是一种模仿生物神经网络结构与功能，并且进行信息处理的复杂数学模型。神经网络模型已经被广泛应用于语音识别、图像处理、语言翻译、自动驾驶等领域，成为智能化时代的重要工具。

一、神经网络模型的研究现状

神经网络模型的发展可以追溯到上世纪60年代，随着计算能力的提升和数学算法的不断发展，神经网络模型得以不断完善。目前，神经网络模型经历了多个版本的迭代更新，其中比较重要的有感知器、多层感知器、全连接神经网络、卷积神经网络、循环神经网络等。

感知器是最早出现的神经网络模型，由于其简单、易于实现等优点被广泛应用于数值预测等领域。但是感知器的局限性也很明显，比如只能处理线性可分的问题，所以在处理更加复杂的问题上显得不太够用。

多层感知器是感知器的升级版，通过增加隐藏层使得神经网络模型可以处理非线性问题。全连接神经网络则进一步加强了神经元之间的连接，实现了更加高效的信息交流。卷积神经网络则是基于孪生神经元的结构，可以更加有效地处理图像、语音等信息。而循环神经网络则可以更好地处理时序性数据，如自然语言处理等系统。

除了上述几种比较经典的神经网络模型外，还有一些衍生出来的新型神经网络模型，如生成对抗网络、变分自编码器等，这些模型都有着新增加的特性，可以应用在更多的领域。

二、神经网络模型的应用

随着神经网络模型的不断升级和完善，越来越多的领域都开始尝试引入神经网络模型，并且取得了一定的成效。

在语音识别领域，谷歌的语音识别系统就采用了卷积神经网络和递归网络的方法，大大提升了语音的识别精度。在图像识别领域，卷积神经网络已经成为了不可或缺的技术，诸如谷歌、微软、Facebook等巨头公司都将其应用在了图像识别领域，并且在ImageNet大规模视觉识别竞赛中取得了不俗的成绩。在自然语言处理领域，循环神经网络和长短时记忆网络已经成为了解决序列化任务的必备工具。

第２８卷　

ＶＯ１．２８　第３期　

ＮＯ．３　计算机工程与设计　

Ｃｏｍｐｕｔｅｒ　Ｅｎｇｉｎｅｅｒｉｎｇ　ａｎｄ　Ｄｅｓｉｇｎ　２００７年２月　

Ｆｅｂ．２００７　

基于协同进化遗传算法的神经网络优化　

罗　兵　，　章　云　，　黄红梅　

（１．长江大学计算机学院，湖北荆州４３４０２３；２．广东工业大学自动化学院，广东广州５１００９０）　

摘要：人工神经网络的结构设计没有系统的规律可循，而基于梯度的神经网络参数优化又易于陷入局部最优解。该丈研　究了用带退化的协同进化遗传算法来优化神经网络结构，同时优化网络参数。将网络参数作为实数编码基因进行遗传选　

择，参数个体的受损率超过退化阈值时发生结构退化。退化进程由协同进化的控制个体动态控制。实验证明，该方案能够有　

效简化神经网络的结构和得到最优网络参数，收敛速度比常规遗传算法快。　

关键词：遗传算法；协同进化；退化；神经网络；优化　中图法分类号：ＴＰＩ８３　文献标识码：Ａ　文章编号：１０００—７０２４（２００７）０３—０６３８—０４　

Ｏｐｔｉｍｉｚａｔｉｏｎ　ｏｆ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋｓ　ｂａｓｅｄ　ｏｎ　ｃｏ—ｅｖｏｌｕｔｉｏｎａｒｙ　ｇｅｎｅｔｉｃ　ａｌｇｏｒｉｔｈｍ　

ｗｉｔｈ　ｄｅｇｅｎｅｒａｔｉｏｎ　

ＬＵＯ　Ｂｉｎｇ　，ＺＨＡＮＧ＂ｆｕｎ２，ＨＵＡＮＧ　Ｈｏｎｇ—ｍｅｉ　

（１．Ｃｏｌｌｅｇｅ　ｏｆ　Ｃｏｍｐｕｔｅｒ，Ｙａｎｇｔｚｅ　Ｕｎｉｖｅｒｓｉｔｙ，Ｊｉｎｇｚｈｏｕ　４３４０２３，Ｃｈｉｎａ；　

２．Ｃｏｌｌｅｇｅ　ｏｆ　Ａｕｔｏｍａｔｉｏｎ，Ｇｕａｎｇｄｏｎｇ　Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ｔｅｃｈｎｏｌｏｇｙ，Ｇｕａｎｇｚｈｏｕ　５　１　００９０，Ｃｈｉｎａ）　

Ａｂｓｔｒａｃｔ：Ｓｔｒｕｃｔｕｒａｌ　ｄｅｓｉｇｎｉｎｇ　ｏｆａｒｔｉｆｉｃｉａｌ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ　ｉｓ　ａｌｗａｙｓ　ａ　ｔｒｏｕｂｌｅ　ｐｒｏｂｌｅｍ　ｗｉｔｈｏｕｔ　ｓｙｓｔｅｍａｔｉｃ　ｒｕｌｅ　ａｎｄ　ｌｏｃａｌ　ｍｉｎｉｍｕｍ　ｕｓｕａｌｌｙ　

编 号：

审定成绩：

重庆邮电大学

毕业设计（论文）

设计（论文）题目：

基于遗传算法的BP神经网络的优化问题研究

学 院 名 称 ：

学 生 姓 名 ：

专 业 ：

班 级 ：

学 号 ：

指 导 教 师 ：

答辩组 负责人 ：

填表时间：2010年06月

重庆邮电大学教务处制重庆邮电大学本科毕业设计（论文）

- I -

摘 要

本文的主要研究工作如下：

1、介绍了遗传算法的起源、发展和应用，阐述了遗传算法的基本操作，基本原理和遗传算法的特点。

2、介绍了人工神经网络的发展，基本原理，BP神经网络的结构以及BP算法。

3、利用遗传算法全局搜索能力强的特点与人工神经网络模型学习能力强的特点，把遗传算法用于神经网络初始权重的优化，设计出混合GA-BP算法，可以在一定程度上克服神经网络模型训练中普遍存在的局部极小点问题。

4、对某型导弹测试设备故障诊断建立神经网络，用GA直接训练BP神经网络权值，然后与纯BP算法相比较。再用改进的GA-BP算法进行神经网络训练和检验，运用Matlab软件进行仿真，结果表明，用改进的GA-BP算法优化神经网络无论从收敛速度、误差及精度都明显高于未进行优化的BP神经网络，将两者结合从而得到比现有学习算法更好的学习效果。

【关键词】 神经网络 BP算法 遗传算法 重庆邮电大学本科毕业设计（论文）

- II - ABSTRACT

The main research work is as follows:

1. Describing the origin of the genetic algorithm, development and application, explain the