文献综述
电气工程及自动化
BP神经网络研究综述
摘要：现代信息化技术的发展，神经网络的应用范围越来越广，尤其基于BP算法的神经网络在预
测以及识别方面有很多优势。本文对前人有关BP神经网络用于识别和预测方面的应用进行
归纳和总结，并且提出几点思考方向以作为以后研究此类问题的思路。
关键词：神经网络；数字字母识别；
神经网络的脑式智能信息处理特征与能力使其应用领域日益扩大，潜力日趋明显。作为一种新
型智能信息处理系统，其应用贯穿信息的获取、传输、接收与加工各个环节。具有大家所熟悉的模
式识别功能，静态识别例如有手写字的识别等，动态识别有语音识别等，现在市场上这些产品已经
有很多。本文查阅了中国期刊网几年来的相关文献包括相关英文文献，就是对前人在BP神经网络
上的应用成果进行分析说明，综述如下：
（一） BP神经网络的基本原理
BP网络是一种按误差逆
向传播算法训练的多层前
馈网络它的学习规则是使
用最速下降法，通过反向
传播来不断调整网络的权
值和阀值，使网络的误差
平方最小。BP网络能学习
和存贮大量的输入- 输出模
式映射关系,而无需事前揭示描述这种映射关系的数学方程. BP神经网络模型拓扑结构包括输入层（input）、隐层(hide layer)和输出层(output layer)，如图上图。其基本思想是通过调节网
络的权值和阈值使网络输出层的误差平方和达到最小，也就是使输出值尽可能接近期望值。
（二） 对BP网络算法的应用领域的优势
和其它神经网络相比，BP神经网络具有模式顺向传播，误差逆向传播，记忆训练，学习收敛
的特点，主要用于：
（1） 函数逼近：用输入向量和相应的输出向量训练一个网络以逼近一个函数；
（2） 模式识别：用一个待定的输出向量将它与输入向量联系起来；
（3） 数据压缩：减少输出向量维数以便于传输或存储；
（4） 分类：把输入向量所定义的合适方式进行分类； ]9[
BP网络实质上实现了一个从输入到输出的映射功能，，而数学理论已证明它具有实现任何复杂
BP神经网络及其应用
摘要:人工神经网络是最近发展起来的十分热门的交叉学科,有着非常广泛的应用前景。文着重研究了bp神经网络结构、算法原理、介绍了bp网络改进算法,最后将改进的bp算法应用与变压器故障诊断。
关键词: bp神经网络;应用;故障诊断
1、神经元模型
人工神经网络(artificial neural networks,ann)是对人脑神经系统的近似模拟。神经网络由许多人工神经元互连组成,能接受并处理信息,网络的信息处理由神经元之间的连接权值来实现。
1943年,mcdulloh和pitts根据生物神经元的结构和功能,建立了人工神经元模型
如图1,一个基本的神经元i,它有n个输入,每个输入都通过一个适当的权值w与神经元相连。 是神经元的输入, 是神经元i的阀值; ,分别是神经元i对
的权值;是神经元的输出;圆形代表内部求和函数,它将输入求和得到神经元的静输入。f( )是神经元的激励函数,它决定神经元受到输入时的输出。激励函数f( )有多种形式,如sigmoid函数、阶跃函数和线性函数等。
2、bp神经网络基本思想
将bp网络理论学习算法转化为实际的学习过程,其原理如下:如图4-2所示,令i = { a1,..., an}为输入层故障诊断向量,o={ c1,..., cj}为输出层故障诊断向量,h={b1,,...,bp}为隐含层神经元数,v=vn×p与w=wp×q,为各层之间连接权值,k=(1,2,..., m)为给定的样本数。先给li层单元与lh层单元之间、lh层单元与lo层单元之间的连接权以及lh层单元阀值θi、lo层单元阀值γi赋[-ε,+ε]区间的随机值份(ε≦1)。
对每个模式对(a k,tk)(k=1,2,...,m)的学习步骤如下:
(1)将输入模式ak送到li层,li层单元的激活值ah通过连接权矩阵v送到lh层,产生lh层新的净输入netbi,进而产生lh层单元的输出值bi
关于BP网络的总结
1．辨识模型的建立
目前，在人工神经网络的实际应用中，绝大部分的神经网络模型是采用BP
网络和它的变化形式。BP网络就是按照误差逆传播（error back propagation）
学习算法（BP算法）进行训练的多层前向神经网络，亦称为误差逆传播神经网络。
它的优点有：
23第三章基于肌电信号的人手肘关节运动轨迹的预测
播，得到输出响应。如果网络输出与需要输出的误差大于标定值，将进行第二步，
即输出误差反向传播过程，输出的误差值由输出层开始反向传播到输入层，传播
到每一层的误差大小决定该层权值的改变。网络的训练实质上是一个最优化的过
程，即找到使输出误差最小的网络权值。训练结束后的网络权值，代表了神经网
络输入输出的映射关系。
在该网络中，输入层和隐层采用非线性的 Sigmoid 函数（图 3－7 所示）作
为神经元激励函数，输出层采用线性函数。
图 3－7 Sigmiod函数
下面介绍此算法的具体过程：
首先，我们定义误差函数为：
(3-5)
上式中，
为期望输出值，即手臂实际运动角度，
为网络输出值，
即神经网络预测的手臂运动角度。本文所定误差需小于 0.001，在大于这个限定
值以前，需要由输出层开始反向推导网络权系数的修正值。
(1).输出层神经元输出值及权值修正：
25第三章基于肌电信号的人手肘关节运动轨迹的预测
式中
f (• )
为线性函数，为隐层 2 中第 j 个神经元与输出层的权系数，为
隐层 2 的神经元输出值，＝
(3)
，＝－1，即把神经元偏置的调整归入权系
数的学习中，下面各隐层的情况也与之相同。
(2).隐层 2 神经元输出值及权值修正：
式中
f (• )
为 sigmoid 函数，为隐层 1 中第 i 个神经元与隐层 2 中第 j 个神
经元的权系数，为隐层 1 中第 i 个神经元输出值。
△通讯作者。jj5@综述
BP神经网络原理及其在医学统计应用中的设计技巧
潍坊医学院卫生统计教研室(261042) 王俊杰 陈景武△
人工神经网络作为智能信息处理的工具之一,有
着很强的适应性、高度的容错性及强大的功能等优点,在医学统计中有着广阔的应用前景。它是模仿人的大
脑神经系统信息处理功能的智能化系统,由简单处理
单元(神经元)联接构成的规模庞大的并行分布式处理
器,根据其网络拓扑结构,可分为四种类型:(1)前向网络、有反馈的前向网络、层内互联前向网络和全互联或
部分互联网络。本文探讨的BP神经网络(简称BP网
络)是指基于误差反向传播算法的多层前向网络,目前应用较广泛。
BP网络的拓扑结构及BP算法的基本原理
BP网络通常含有输入层、隐含层(中间层)和输出层,每层均包括多个神经元(即节点),输入层与输出层
各有一层,隐含层根据需要可以设多层,也可不设,不
含隐含层的称为单层BP网络。神经元之间通过权相
互连接,前一层神经元只对下一层神经元起作用,同层神经元之间无相互作用,权值大小代表上一级神经元
对下一级神经元的影响程度。网络中作用于神经元的
激励函数通常采用的是S型函数(Sigmoid可微函数)
式1实际上就是logistic回归中概率的表达式。
f(x)=(1+e-Qx)-1(1)
式中Q为调节激励函数形式的参数,称增益值,
Q值越大,S形曲线越陡峭;反之,曲线越平坦,通常取
Q=1。
BP算法(BackPropagation)是为了解决多层前向
神经网络的权值调整而提出来的,也称为反向传播算
法,即网络权值的调整规则是向后传播学习算法,具体来说,BP算法是建立在梯度下降法的基础上的,学习
过程由正向传播和反向传播组成,在正向传播过程中,
输入信息由输入层经隐含层逐层处理,并传向输出层,如果输出层得不到期望的输出,则转入反向传播,逐层
递归计算实际输入与期望输入的差即误差,将误差信
号沿原来的连接通道返回,通过修改各层神经元的权
值,最终使得误差信号最小。B网络采用了优化技术中最普通的梯度下降法把一组输入输出样本的函数问
