人工神经网络的理论与应用研究

人工神经网络原理及实际应用

摘要：本文就主要讲述一下神经网络的基本原理，特别是BP神经网络原理，

以及它在实际工程中的应用。

关键词：神经网络、BP算法、鲁棒自适应控制、Smith－PID

本世纪初，科学家们就一直探究大脑构筑函数和思维运行机理。特别是近二

十年来。对大脑有关的感觉器官的仿生做了不少工作，人脑含有数亿个神经元，

并以特殊的复杂形式组成在一起，它能够在“计算＂某些问题（如难以用数学描

述或非确定性问题等）时，比目前最快的计算机还要快许多倍。大脑的信号传导

速度要比电子元件的信号传导要慢百万倍，然而，大脑的信息处理速度比电子元

件的处理速度快许多倍，因此科学家推测大脑的信息处理方式和思维方式是非常

复杂的，是一个复杂并行信息处理系统。1943年Macullocu和Pitts融合了生

物物理学和数学提出了第一个神经元模型。从这以后，人工神经网络经历了发展，

停滞，再发展的过程，时至今日发展正走向成熟，在广泛领域得到了令人鼓舞的

应用成果。本文就主要讲述一下神经网络的原理，特别是BP神经网络原理，以

及它在实际中的应用。

1.神经网络的基本原理

因为人工神经网络是模拟人和动物的神经网络的某种结构和功能的模拟，所

以要了解神经网络的工作原理，所以我们首先要了解生物神经元。其结构如下图所示：

从上图可看出生物神经元它包括，细胞体：由细胞核、细胞质与细胞膜组成；轴突：是从细胞体向外伸出的细长部分，也就是神经纤维。轴突是神经细胞的输

出端，通过它向外传出神经冲动；树突：是细胞体向外伸出的许多较短的树枝状

分支。它们是细胞的输入端，接受来自其它神经元的冲动；突触：神经元之间相

互连接的地方，既是神经末梢与树突相接触的交界面。

对于从同一树突先后传入的神经冲动，以及同一时间从不同树突输入的神经

冲动，神经细胞均可加以综合处理，处理的结果可使细胞膜电位升高；当膜电位

升高到一阀值（约40mV），细胞进入兴奋状态，产生神经冲动，并由轴突输出神

经冲动；当输入的冲动减小，综合处理的结果使膜电位下降，当下降到阀值时。

Ｖｏ１．２８　Ｎｏ．５　２００２—１０　华东理工大学学报　Ｊｏｕｒｎａｌ　ｏｆ　Ｅａｓｔ　Ｃｈｉｎａ　Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ｓｃｉｅｎｃｅ　ａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ　５５１　文章编号：１００６—３０８０（２ｏ０２）０５—０５５１—０４　人工神经网络算法研究及应用　杨源杰，黄道　（华东理工大学信息科学与工程学院，上海２００２３７）　摘要：神经网络（ＮＮ）是从机理上模拟人脑的信息处理和思维决策过程的一种新兴控制方式。　它的出现为一些难以解决的问题提供了一种新的思路，然而神经网络目前还面临一些问题。本文在　对神经网络进行深入研究的基础上，提出现有算法的一些改进方案，并将其应用于ＳＳＬ协议及其　算法的改进中。　关键词：神经网络；ＢＰ算法；变步长；控制器；ＳＳＬ协议　中图分类号：ＴＰ１８３　文献标识码：Ａ　Ｒｅｓｅａｒｃｈ　ａｎｄ　Ａｐｐｌｉｃａｔｉｏｎｓ　ｏｆ　Ａｒｔｉｆｉｃｉａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋｓ　ＹＡＮＧ　Ｙｕａｎ－ｊｉｅ，ＨＵＡＮＧ　Ｄａｏ　（Ｃｏｌｌｅｇｅ　ｏｆ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｓｃｉｅｎｃｅ　ａｎｄ　Ｅｎｇｉｎｅｅｒｉｎｇ　ＥＣＵＳＴ，Ｓｈａｎｇｈａｉ　２００２３７，Ｃｈｉｎａ）　Ａｂｓｔｒａｃｔ：Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ　ｉｓ　ａ　ｎｅｗ　ｃｏｎｔｒｏｌ　ｍｅｔｈｏｄ　ｗｈｉｃｈ　ｓｉｍｕｌａｔｅｓ　ｈｕｍａｎ’Ｓ　ｂｒａｉｎ．Ｉｔ　ｐｒｏｖｉｄｅｓ　ａ　ｎｅｗ　ｗａｙ　ｉｎ　ｎｏｎ—ｌｉｎｅａｒ　ｃｏｎｔｒｏ１．Ｉｎ　ｔｈｉｓ　ｐａｐｅｒ，ＢＰ　ａｌｇｏｒｉｔｈｍ　ｉｓ　ｉｍｐｒｏｖｅｄ　ｆｏｒ　ｂｅｔｔｅｒ　ｐｅｒｆｏｒｍａｎｃｅ．Ｔｈｅ　ｍｏｄｉｆｉｅｄ　ＢＰ　ａｌｇｏｒｉｔｈｍ　ｉｓ　ａｐｐｌｉｅｄ　ｔｏ　ＳＳＬ　ｐｒｏｔｏｃｏｌ　ｔｏ　ｒｅｄｕｃｅ　ｔｈｅ　ｔｉｍｅ　ｄｅｌａｙ．　Ｋｅｙ　ｗｏｒｄｓ：ｎｅｕｒａｌ　ｎｅｔｗｏｒｋｓ；ＢＰ　ａｌｇｏｒｉｔｈｍ；ｖａｒｉａｂｌｅ—ｓｔｅｐ；ｃｏｎｔｒｏｌｌｅｒ；ＳＳＬ　ｐｒｏｔｏｃｏ１　人工神经网络是由众多的神经元经可调的连接　权值连接而成。它具有大规模并行处理、分布式信息　存储、良好的白组织白适应性，并具有很强的学习能　力。然而，它也存在众多不明确、不完善的地方，理论　研究有待突破。神经网络算法能否达到全局收敛及　收敛速度快慢，与算法及算法参数的选取有直接关　系，而目前，绝大多数算法不能给出参数选定公　式［１　］。本文根据对神经网络工作机理的理解和计　算机仿真经验，提出现有算法参数选取的建议和算　法的一些改进方案，仿真结果证明，这些改进算法是　有效的。最后，改进的ＢＰ算法被应用于实际，即将　其引入ＳＳＬ协议，以减缓服务器的负荷并减少在客　户方的延时。　收稿日期：２００１—１１－２０　作者筒介：杨源杰（１９７４一）。男，河南洛阳人，博士生，研究方向为控制　理论与应用。　１　ＢＰ算法及其改进　ＢＰ算法是神经网络众多算法中应用最为广泛　的一种［３］，它的典型结构为三层前向网络。第ｚ层神　经元　的输人为：　Ｖ；一，（∑ＷｊｉＶ￣＿。一　）　式中Ｗ　为ｚ层神经元　与ｚ一１层神经元ｉ的　连接权值；　－１为第ｚ一１层神经元ｉ的输出；ｎ为第　ｚ一１层神经元数；０ｉ为神经元　的阈值。作用函数，　常取Ｓｉｇｍｏｉｄ函数。　权重修正公式为：　Ａｗ　＋１）一７　＋口Ａｗ　）　式中　为学习速率；ａ为动量因子；Ｅ（￡）为期望　输出与实际输出的误差平方和。众所周知，由于ＢＰ　网络权值的调整采用的是梯度下降法，存在着局部　

第ｌ９卷　Ｖｏ１．１９　第２４期　Ｎｏ．２４　电子设计工程　Ｅｌｅｃｔｒｏｎｉｃ　Ｄｅｓｉｇｎ　Ｅｎｇｉｎｅｅｒｉｎｇ　２０１１年１２月　Ｄｅｃ．２０１１　

人工神经网络的发展及应用　

毛健，赵红东，姚婧婧　

（河北工学大学信息工程学院，天津３００４０１）　

摘要：人工神经网络是人工智能的重要分支，具有自适应、自组织和自学习的特点。回顾了人工神经网络理论的发展　

历史．并介绍了其在信息、医学、经济、控制等领域的应用及研究现状。随着人们对人工神经网络不断地探索和研究，　

并将其与一些传统方法相结合，将推动人工智能的发展，在以后的生产生活中发挥更大的作用。　

关键词：人工神经网络；应用；现状；发展　

中图分类号：ＴＰ１８３　文献标识码：Ａ　文章编号：１６７４—６２３６（２０１１）２４—００６２—０４　

Ａｐｐｌｉｃａｔｉｏｎ　ａｎｄ　ｐｒｏｓｐｅｃｔ　ｏｆ　Ａｒｔｉｆｉｃｉａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ　

ＭＡＯ　Ｊｉａｎ，ＺＨＡＯ　Ｈｏｎｇ—ｄｏｎｇ，ＹＡＯ　Ｊｉｎｇｌｉｎｇ　

（Ｓｃｈｏｏｌ　ｏｆＩｎｆｏｒｍａｔｉｏｎ　Ｅｎｇｉｎｅｅｒｉｎｇ，Ｈｅｂｅｉ　Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ｔｅｃｈｎｏｌｏｇｙ，Ｔｉａｎｊｉｎ　３００４０１，Ｃｈｉｎａ）　

Ａｂｓｔｒａｃｔ：Ａｓ　ａｎ　ｉｍｐｏｒｔａｎｔ　ｂｒａｎｃｈ　ｏｆ　ａｒｔｉｆｉｃｉａｌ　ｉｎｔｅｌｌｉｇｅｎｃｅ，ａｒｔｉｆｉｃｉａｌ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ　ｏｗｎ　ｔｈｅ　ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ　ｏｆ　ｓｅｌｆ－ａｄａｐｔｉｏｎ，　

ｓｅｌｆ－ｏｒｇａｎｉｚａｔｉｏｎ　ａｎｄ　ｓｅｌｆ－ｌｅａｍｉｎｇ．Ｒｅｖｉｅｗ　ｔｈｅ　ｄｅｖｅｌｏｐｍｅｎｔ　ｈｉｓｔｏｒｙ　ｏｆ　ａｒｔｉｆｉｃｉａｌ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ　ｔｈｅｏｒｙ　ａｎｄ　ｉｔｓ　ａｐｐｌｉｃａｔｉｏｎ　ａｎｄ　

ｒｅｓｅａｒｃｈ　ｓｔａｔｕｓ　ｉｎ　ｔｈｅ　ｆｉｅｌｄ　ｏｆ　ｉｎｆｏｒｍａｔｉｏｎ，ｍｅｄｉｃｉｎｅ，ｅｃｏｎｏｍｉｃ，ｃｏｎｔｒｏｌ　ａｎｄ　ｏｔｈｅｒｓ　ａｒｅ　ｉｎｔｒｏｄｕｃｅｄ．Ａｓ　ｃｏｎｔｉｎｕｏｕｓ　ｅｘｐｌｏｒｉｎｇ　

信息技术与信息他　

人工神经网络模型的对比分析及应用研究　Ｔｈｅ　Ｃｏｎｔｒａｓｔ　Ａｎａｌｙｚｉｎｇ　ａｎｄ　Ａｐｐｌｉｃａｔｉｏｎ　ｏｆ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ　Ｍｏｄｅｌ　刘　婧　Ｌ／Ｕ　ｎｇ　刘　弘　Ｌ１Ｕ　Ｈｏｎｇ　

Ａｂｓｔｒａｃｔ　Ｓｉｎｃｅ１９８０ｓ，ｒｅｓｅａｒｃｈｅｒｓ　ｎｏｔ　ｏｎｌｙ　ｈａｓ　ｄｅｖｅｌｏｐｅｄ　ｔｈｅ　ｔｈｅｏｒｙ　ａｎｄ　ａｐｐｌｉａｎｃｅ　ｏｆ　ｔｈｅ　ＡＮＮ　ｔｅｃｈｎｉｑｕｅ　ｒａｐｉｄｌｙ，ｂｕｔ　ａｌｓｏ　ａｃｑｕｉｒｅｄ　ａ　ｌａｒｇｅ　ｏｆ　ｒｅｓｅａｒｃｈ　ａｃｈｉｅｖｅｍｅｎｔ　ｏｆ　ａｐｐｌｉａｎｃｅ　ｉｎ　ｎｕｍｅｒｏｕｓ　ｓｃｉｅｎｔｉｆｉｃ　ｆｉｅｌｄｓ．Ｔｈｉｓ　ａｒｔｉｃｌｅ　ｓｕｍｍｅｄ　ｕｐ　ｔｈｅ　ｒｅｓｅａｒｃｈ　ｉｎ　ｔｈｅ　ｎａｔｕｒｅ　ａｎｄ　ｌｅａｒｎｉｎｇ　ａｌｇｏ６ｔｈｍｓ　ａｎｄ　ＳＯ　ｏｎ　ｏｆ　ｔｈｅ　ｃｌａｓｓｉｃａｌ　ＡＮＮ　ｍｏｄｅｌｓ　ａｔ　ｌａｒｇｅ，ａｎ—　ａｌｙｚｅｄ　ｔｈｅ　ａｐｐｌｉｃａｔｉｏｎ　ａｎｄ　ｔｈｅ　ｏｐｔｉｍｉｚａｔｉｏｎ　ｔｏ　ｔｈｅ　ｄｅｆｅｃｔ　ｏｆ　ｔｈｅ　ｍａｉｎ　ＡＮＮ　ｍｏｄｅｌｓ．　Ｋｅｙｗｏｒｄｓ　Ａｒｔｉｆｉｃｉａｌ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋｓ　Ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ　ｍｏｄｅｌ　ＧＡ　

１　引言　人工神经网络是生理学上的真实人脑神经网络的结构　和功能以及若干基本特性的某种理论抽象、简化和模拟而构　成的一种信息处理系统。由于其学习的自适应、自组织、函　数逼近和大规模并行处理等能力，因而具有用于智能控制系　统的潜力。在控制领域，把神经网络用于控制系统，处理控　制系统的非线性和不确定性以及逼近系统的辨识函数等方　面已经做了很多努力，在模式识别、信号处理、系统辨识和优　化等方面也已有了广泛的应用。到目前为止，虽然人工神经　网络方法的研究只是对人类大脑结构的低级近似模仿，但　是它已经在对外来信息的自适应学习，数据的并行处理以及　信息的分布存储等方面与人脑有相似之处。并且人工神经　网络技术已在信号处理、图像、语音识别和记忆、预测及优化　等众多学科领域的应用研究中显示了很好的应用前景和良　好性能，为人们研究和处理大量的各类科学问题提供了新的　有效手段和方法。　２各种神经网络模型的介绍和分析比较　目前，神经网络模型已有四十多种被开发和应用，最典型　的ＡＮＮ模型（算法）及其学习规则和应用领域如表１所列：