BP网络泛化能力的改进及在径流预测中的应用

=水文#泥沙>BP 网络泛化能力的改进及在径流预测中的应用薄会娟,董晓华,邓 霞(三峡大学水利与环境学院,湖北宜昌443002)摘 要:采用提前停止法对BP 预测模型的泛化能力进行了改进,并在清江流域进行了实例应用。

结果表明:提前停止法能够提高网络的泛化能力,使预测达到更好的效果,并且精度更高;该方法划分样本的标准还需要作进一步研究。

关 键 词:提前停止法;泛化能力;BP 网络;径流预测中图分类号:P333 文献标识码:A do:i 10.3969/.j i ssn .1000-1379.2011.01.014在人工神经网络的实际应用中,BP 网络广泛应用于函数逼近、模式识别和分类、数据压缩等,80%~90%的人工神经网络模型采用BP 网络或它的变化形式,它也是前馈网络的核心部分,体现了人工神经网络的精华[1]。

同时,BP 网络也存在许多问题需要解决,泛化能力就是其中之一。

神经网络的泛化能力是指神经网络在完成学习以后,神经网络的推广应用能力。

其实际应用包括两个步骤:一是学习训练,二是推广应用。

BP 网络的泛化能力与数据源的实际复杂度、学习样本的数量与分布、网络结构与规模、学习算法等多种因素有关。

一般来说,神经网络的泛化能力取决于训练样本和网络结构[2]两个因素。

笔者对BP 网络泛化能力的改进进行了研究。

1 BP 网络BP 算法最初是由W e rbos 开发的一种反向传播训练算法,用于求解前馈网络的实际输出与期望输出间的最小均方差,而BP 网络正是神经网络中一种反向传递并能修正误差的多层映射网络,通常采用输入层、输出层和隐含层的3层结构,层与层之间的神经元采用全互连的模式,通过相应的网络权系数相互联系,每层内的神经元之间无联系。

当参数适当时,此网络能收敛到较小的均方差[3]。

M a tl ab 的NNbox 提供了建立神经网络的专用函数ne wff 。

用ne w ff 函数来确定网络层数、每层中的神经元数和传递函数,其语法为net =ne wff (PR ,[S 1,S 2,,,S N ],{TF 1,TF 2,,,TF N },BTF,BLF,PF )式中:PR 为由每个输入向量的最大、最小值构成的矩阵;S N 为第N 层网络的神经元个数;TF N 为第N 层网络的传递函数,缺省为tansi g ,可选用的传递函数有tansi g 、logsi g 或pure lin ;BTF 为网络的训练函数名,可在traingd 、tra i ngd m 、trai ngdx 、tra i nbf g 、trai n l m 等函数中选择,缺省为trai n l m ;BLF 为网络的学习函数名,缺省为learngd m;PF 为网络的性能函数,缺省为m se(均方差)。

ne wff 函数在确定网络结构后会自动调用init 函数用缺省参数来初始化网络中各个参数的权重和阈值,产生一个可训练的前馈网络,即该函数的返回值为net 。

(1)网络层数。

BP 网络可以包含不同的隐含层,但理论上已经证明,在不限制隐含层节点数的情况下,3层(只有一个隐含层)的BP 网络可以实现任意非线性映射。

在模式样本相对较少的情况下,较少的隐含层节点可以实现模式样本空间的超平面划分,此时选择3层BP 网络就可以了;当模式样本数很多时,增加一个隐含层是必要的,但BP 网络隐含层数一般不超过两层。

(2)输入层节点数。

输入层起缓冲存储器的作用,它接收外部的输入数据,因此其节点数取决于输入矢量的维数。

笔者采用自相关系数对径流进行自相关分析,即将一个有序的随机变量系列与其自身相比较。

每个不存在相位差的系列,都与其自身相似,此时自相关函数值最大。

若系列中的组成部分相互之间存在相关性(不再是随机的),则由以下相关值方程所计算的值不再为0,这样的组成部分为自相关:R (k )=E [(X i -L i )(X i+k -L i+k )]/R 2(1)式中:X i 为在t i 时的随机变量值;L i 为在t i 时的期望值;X i +k 为在t i +k 时的随机变量值;L i+k 为t i+k 时的期望值;R 为方差。

(3)输出层节点数。

输出层节点数取决于两个方面,即输出数据类型和表示该类型所需数据的大小。

(4)隐含层节点数。

隐含层节点数与求解问题的要求、输入输出单元数多少都有直接关系。

另外,隐含层节点数太多会导致学习时间过长,而隐含层节点数太少将会造成容错性差、识别未经学习的样本能力低等问题,所以必须综合多方面因素进行设计。

隐含层节点数的初始值可先由以下两个公式中的其中之一来确定[4-5]:l =m +n +a(2)l =0.43mn +0.12n 2+2.54m +0.77n +0.35+0.51(3)收稿日期:2010-05-12基金项目:国家自然科学基金资助项目(40701024)。

作者简介:薄会娟(1987)),女,山西怀仁人,硕士研究生,研究方向为水文水资源。

E-m ai:l bohu ij uan027@126.co m#33#第33卷第1期 人 民 黄 河 Vol .33,No .1 2011年1月 YELLOW R I VER Jan .,2011式中:m、n分别为输入节点数目与输出节点数目;a为1~10之间的常数;l为隐含层节点数。

2BP网络泛化能力的改进方法在BP网络模型中,有训练集和评价训练效果如何的测试集。

训练集和测试集都是由输入)输出模式对构成的集合,其模式对来源于同一数据集合。

BP网络本质上可以通过增加网络结构的复杂性去极准确地拟合任何训练样本集,但是随着网络结构复杂性的增加,网络将存在/过度拟合0[6-7]的现象,即训练样本的网络输出与期望输出之间的差别非常小,但是非训练样本的网络输出与期望输出之间的差别非常大,可以说网络已/记忆0了训练样本,但对从未见过的样本得不到人们的期望值,造成神经网络的泛化性能不好。

所以要采用一定的方法对网络的泛化能力进行改进。

网络的泛化能力主要受两个因素的影响:¹训练样本的影响,包括样本的质量、样本的数量和样本的代表性;º来自网络自身的影响,即网络结构和学习方法。

在样本没有确定的情况下,通过改变样本的质量、数量或选择具有代表性的样本来改变网络的泛化能力。

当样本确定之后,提高泛化能力的方法主要有:¹对现有样本的一些处理,如在样本中加入噪声训练、对样本进行聚类或抽样进行主动学习;º结构优化算法(包括并行学习法和串行修改法);»正则化方法,这是一种在结构确定后提高泛化能力的方法,即在目标函数项中增加一项惩罚项或正则项。

3实例应用采用清江流域渔峡口以上区域1989)1991年的径流数据作为训练样本,预测1992年的径流数据。

清江流域位于湖北省西南部,流域面积17000km2(其中渔峡口以上流域面积为12209k m2),干流全长423k m,总落差1430m。

流域内山区占80%。

多年平均降水量为1400mm, 4)9月降水量占年降水量的75%~80%,暴雨多出现在6)9月。

最大洪峰流量多出现在6、7、9月,实测最大洪峰流量为18 900m3/s(1969年7月12日)。

流域多年平均径流量为141亿m3,径流深838.9mm。

采用的BP网络为3层结构,包括输入层、输出层和隐含层。

输入层节点数:取自相关系数大于0.6的3个时段径流作为输入,故输入层的节点数为3。

隐含层层数为1,节点数根据式(2)取10。

输出层的节点数为1,即网络的结构是3-10-1。

训练函数是tra i nbr函数(贝叶斯规范化BP训练函数),此函数可以避免神经网络的/过度训练0问题。

为了改进BP网络的泛化能力,笔者采用了提前停止法。

提前停止法把样本分为训练样本、校验样本和检验样本。

在网络训练过程中,一般来说学习误差会随着迭代次数的增加而降低,但校验误差往往会先减小后增加,出现过拟合现象。

当校验误差降至最小时,网络权值最优。

提前停止法的目标就在于当校验误差最小时,提早终止网络训练。

从改进泛化能力前、后的实测和预测径流过程可以看出,改进泛化能力后预测的流量要比没有改进的精确。

没有改进的相对误差为-5.99%,改进后的相对误差为-3.96%,可见提前停止法可以使预测达到更好的效果,并且精度更高。

4结语采用提前停止法改进了BP网络的泛化能力,从模拟的结果可以看出,提前停止法能够提高网络的泛化能力。

但该方法需要对样本进行划分,训练样本和校验样本数的确定目前还没有成熟的技术,划分的标准还没有确定,需要作进一步研究。

参考文献:[1]周开利,康耀红.神经网络模型及其MATL AB仿真程序设计[M].北京:清华大学出版社,2005.[2]R P L i p p m an.A n Introducti on t o Co m puti ng w i t h N e ura l N et s[J].IEEE ASSPM agazi ne,1987(4):4-22.[3]H a g a n M T.神经网络设计[M].戴葵,译.北京:机械工业出版社,2005.[4]徐庐生.微机神经网络[M].北京:中国医药科技出版社,1995.[5]高大启.有教师的线性基本函数前向三层神经网络结构研究[J].计算机学报,1998(1):80-85.[6]Anclers K ro gh,John A H ertz.A S i m pl e W e i g h t Decay Can I m prove G e nera li za-ti on[G]M Advances i n N eura l Inf or m a ti on Processi ng Sy st e m s.Sa n M a t eo:M or-g a n Kauf m an,1992:950-957.[7]王文成.神经网络及其在汽车工程中的应用[M].北京:北京理工大学出版社,1998.=责任编辑翟戌亮>(上接第32页)求得了各指标的客观权重值,可避免人为赋值的干扰,根据最大隶属度原则和权重因子,清晰地给出样本的分类。

实例应用结果表明,基于熵权的混合型模糊聚类分析法具有较好的应用性;对于模型只能完成分类而不能判断级别的问题,有待今后进一步研究。

参考文献:[1]黄健元.模糊集及其应用[M].银川:宁夏人民教育出版社,1999.[2]张燕.混合型模糊聚类分析方法及其应用[J].河海大学学报:自然科学版,2006(3):353-356.[3]曹谢东.模糊信息处理及应用[M].北京:科学出版社,2003.[4]郭显光.改进的熵值法及其在经济效益评价中的应用[J].系统工程理论与实践,1998(12):98-102.[5]Bezdekj C,A aderson I.An appli catio n o f t he vari e ti es cl usteri n g a l gorit h m to po-l ygona l curve fit t i n g[J].I EEE S M C,1985(5):637-641.[6]陈守煜.模糊聚类循环迭代理论与模型[J].模糊系统与数学,2004(2):57-61.[7]L U hongj un,C H EN y i nchua n.The g rey c l usteri ng m e t hod o f the eva l uati on offl ood severi ty[M].N anji ng:H ohai Un i versit y P ress,1999.[8]程海云,葛守西.长江洪水分类指标体系研究[J].人民长江,2008(8):1-3.=责任编辑翟戌亮>#34#人民黄河2011年第1期。