文献综述
电气工程及自动化
BP神经网络研究综述
摘要：现代信息化技术的发展，神经网络的应用范围越来越广，尤其基于BP算法的神经网络在预
测以及识别方面有很多优势。本文对前人有关BP神经网络用于识别和预测方面的应用进行
归纳和总结，并且提出几点思考方向以作为以后研究此类问题的思路。
关键词：神经网络；数字字母识别；
神经网络的脑式智能信息处理特征与能力使其应用领域日益扩大，潜力日趋明显。作为一种新
型智能信息处理系统，其应用贯穿信息的获取、传输、接收与加工各个环节。具有大家所熟悉的模
式识别功能，静态识别例如有手写字的识别等，动态识别有语音识别等，现在市场上这些产品已经
有很多。本文查阅了中国期刊网几年来的相关文献包括相关英文文献，就是对前人在BP神经网络
上的应用成果进行分析说明，综述如下：
（一） BP神经网络的基本原理
BP网络是一种按误差逆
向传播算法训练的多层前
馈网络它的学习规则是使
用最速下降法，通过反向
传播来不断调整网络的权
值和阀值，使网络的误差
平方最小。BP网络能学习
和存贮大量的输入- 输出模
式映射关系,而无需事前揭示描述这种映射关系的数学方程. BP神经网络模型拓扑结构包括输入层（input）、隐层(hide layer)和输出层(output layer)，如图上图。其基本思想是通过调节网
络的权值和阈值使网络输出层的误差平方和达到最小，也就是使输出值尽可能接近期望值。
（二） 对BP网络算法的应用领域的优势
和其它神经网络相比，BP神经网络具有模式顺向传播，误差逆向传播，记忆训练，学习收敛
的特点，主要用于：
（1） 函数逼近：用输入向量和相应的输出向量训练一个网络以逼近一个函数；
（2） 模式识别：用一个待定的输出向量将它与输入向量联系起来；
（3） 数据压缩：减少输出向量维数以便于传输或存储；
（4） 分类：把输入向量所定义的合适方式进行分类； ]9[
BP网络实质上实现了一个从输入到输出的映射功能，，而数学理论已证明它具有实现任何复杂
神经网络很萌的！
0.分类
神经网络最重要的用途是分类，为了让大家对分类有个直观的认识，咱们先看几个例子：
垃圾邮件识别：现在有一封电子邮件，把出现在里面的所有词汇提取出来，送进一个机器里，
机器需要判断这封邮件是否是垃圾邮件。
疾病判断：病人到医院去做了一大堆肝功、尿检测验，把测验结果送进一个机器里，机器需
要判断这个病人是否得病，得的什么病。
猫狗分类：有一大堆猫、狗照片，把每一张照片送进一个机器里，机器需要判断这幅照片里
的东西是猫还是狗。
这种能自动对输入的东西进行分类的机器，就叫做分类器。
分类器的输入是一个数值向量，叫做特征（向量）。在第一个例子里，分类器的输入是一堆0、1值，表示字典里的每一个词是否在邮件中出现，比如向量(1,1,0,0,0......)就表示这封邮件
里只出现了两个词abandon和abnormal；第二个例子里，分类器的输入是一堆化验指标；
第三个例子里，分类器的输入是照片，假如每一张照片都是320*240像素的红绿蓝三通道彩
色照片，那么分类器的输入就是一个长度为320*240*3=230400的向量。
分类器的输出也是数值。第一个例子中，输出1表示邮件是垃圾邮件，输出0则说明邮件是
正常邮件；第二个例子中，输出0表示健康，输出1表示有甲肝，输出2表示有乙肝，输出3表示有饼干等等；第三个例子中，输出0表示图片中是狗，输出1表示是猫。
分类器的目标就是让正确分类的比例尽可能高。一般我们需要首先收集一些样本，人为标记
上正确分类结果，然后用这些标记好的数据训练分类器，训练好的分类器就可以在新来的特
征向量上工作了。
1.神经元
咱们假设分类器的输入是通过某种途径获得的两个值，输出是0和1，比如分别代表猫和狗。
现在有一些样本：
大家想想，最简单地把这两组特征向量分开的方法是啥？当然是在两组数据中间画一条竖直
线，直线左边是狗，右边是猫，分类器就完成了。以后来了新的向量，凡是落在直线左边的
都是狗，落在右边的都是猫。
BP神经⽹络原理和Matlab设计（含代码）
1、原理
BP（Back Propagation,反向传播）神经⽹络由⼀个输⼊层、⼀个或多个隐含层和⼀个输出层构成。相邻之间各神经元进
⾏全连接，⽽每层各神经元之间⽆连接。⽹络按有教师⽰教（desire signal）的⽅式进⾏学习，也就是监督性学习。当⼀对学
习模式提供给⽹络后，各神经元获得⽹络的响应输⼊和连接权值，按减⼩希望输出与实际输出误差的⽅向，从输出层经中间层
交替，逐层反向修正连接权，回到输⼊层。此过程反复，直到⽹，络的全局误差趋向给定的极⼩值，即完成学习过程。本本
质⾮上是⼀个⾮线性优化问题，缺点缺点是陷⼊局部极⼩问题（本意是想得到全局最优）2、⽹络训练以及参数设置
a、学习速率
BP神经⽹络主要采⽤梯度下降法进⾏学习，学习速率慢，稳定性⾼。动量法虽然⽐梯度法速度快，但均只适⽤于递增训练。另外学习速率
过⼤会导致训练过程不稳定，学习速率过⼩会导致过程变长，时间久。因此合适的学习速率是关键。针对快速训练算法，缺省
参数值，基本上都是最有效的设置。b、训练注意事项：
1）⾮线性⽹络⽐线性⽹络的误差⾯更复杂
2）初始点如果更靠近局部最优点，⽽不是全局最优点，就不能得到正确的结果。
3）应重复选取多个初始点进⾏训练，以保证训练结果的全局最优解。
4）神经元数⽬过少会造成⽹络的不适性，神经元数⽬⼤多，会造成⽹络过适性。
c、具备容错能⼒的神经⽹络设计
如果希望设计的神经⽹络具备容错能⼒，则需要⽤理想数据和带噪信号对⽹络进⾏多次训练。
第⼀次：⽆噪声训练
训练次数最多，⽬标误差较⼤，学习速率较⼤（相当于粗调）
第⼆次：有噪声训练
训练次数少，⽬标误差最⼤，学习速率最⼤
第三次：⽆噪声训练
训练次数较多，⽬标误差⼩，学习速率⼩（相当于精调）。该步骤可使⽹络在对理想信号进⾏识别时节省资源。
3、matlab⼯具箱函数使⽤与神经⽹络设计
a、前向神经⽹络创建1）级联前向⽹络创建newcf net=newcf(P,I,[s1,s2,s3…s（n-1）],{TF1,TF2,……TFn},BTF,BLF,PF，IPF,OFF,DFF)
摘 要：中国是世界能源生产和消费大国，为维护国家能源安全，应对复杂能源局势，在未来世界能源格局中占据有利的地位，建立符合中国国情的能源预测预警体系至关重要。国家能源消费总量是其中一个重要影响因素，如何对国家能源消费总量进行计算和预测是目前国家能源预测预警体系的一个重要子课题。本文利用遗传算法对BP神经网络的初始权值和阈值进行优化，建立了BP神经网络模型并进行了训练和仿真达到了预期的效果
关键词: 能源消费总量，遗传算法，BP神经网络.
引言：目前，随着现代化和工业化进程的加快，我国对能源的消费量也随之增大，而国内目前已有的资源储备相对不足。在这种情况下，如何通过有效的手段，通过建立高效、准确、全面的能源消费分析预测系统，为政府有效实施能源政策服务，实施正确的能源战略，保障能源工业健康运行，解决重大、复杂的能源问题，满足现代化建设对能源日益增长的需求提供有用的数据及决策参考，对我们提出了重大的挑战。能源消费总量与许多因素有关的一个非线性函数，他与各因素之间的关系尚不明确。基于神经网络模型具有很强的非线性映射能力和柔性网络结构，以及高度的容错性和鲁棒性，对于抽取和逼近这种非线性函数，神经网络是一个合适的办法。BP神经网络是目前理论最成熟的神经网络之一，但BP神经网络的初始权值、阈值难以确定，往往是通过反复训练来确定网络的参数，寻优过程较慢且容易陷入局部极小，这样会导致在应用中出现过拟合问题，严重影响网络的泛化能力。为了弥补BP神经网络的不足，本文利用采用了用遗传算法对神经网络优化模型对国家能源消耗总量进行了计算和预测。
一、国家能源消费总量的影响因素
国家能源消费总量的确定是一项十分复杂的工作，影响因素也很复杂。本着影响因素与评价目标得一致性，并且具有客观性、系统性、可测性、稳定性、可比性、的原则选取了八个相互独立的主要影响因素：平均每人生活消费能源，进出口矿物燃料、润滑油及有关原料，能源生产总量，能源加工转换总效率，电力生产弹性系数，电力消费弹性系数 等八个参量。
