基于BP神经网络的改进算法研究
- 格式：pdf
- 大小：392.20 KB
- 文档页数：3
文章编号：１００７—１４２３（２０１４）１４—００５１—０３ ＤＯＩ：１０．３９６９￣．ｉｓｓｎ．１００７—１４２３．２０１４．１４．Ｏ１１ 基于ＢＰ神经网络的改进算法研究 俑正风 （佛山科学技术学院理学院，佛山５２８０００） 摘要： ＢＰ算法使用优化算法中的梯度下降法，梯度下降法的不足，使ＢＰ算法收敛速度慢，计算量比较大，且收敛速度与初 始权的选择有关；学习时，无法保证可以得到最小值。ＢＰ的改进算法提出权值更新的快速收敛方法，使用ＭａｔＬａｂ对 改进算法进行仿真．结果表明改进算法具有高效性和有效性 关键词： ＢＰ算法；学习算法：权值调整 基金项目： 广东省自然科学基金ｆＮ０．￥２０１ １０２０００２７１９） ０ 引言 ＢＰ改进算法：任意选定一组权值，利用基函数建 立线性方程组．求得权值 本文在此基础上将给定的目 标输出直接作为线性方程等式代数和来建立线性方程 组．不再通过对传递函数求逆来计算神经元的净输出． 简化了运算步骤 本文没有使用误差反传算法．所以用 此算法训练得到的神经网络与传统算法相比有着相同 的结果。算法的基本思想是：利用输入数据和输出数据 及ＢＰ神经网络模型来建立线性方程组．运用矩阵的三 角形分解法解线性方程组来求得未知权值 不存在误 差反传算法易陷入局部极小值以及收敛速度慢的情 况，并且结果易于理解 １ 算法实现 ＢＰ学习算法步骤如下： （１）设置初始权值 （０），一般情况下取较小的随 机非零值 （２）给定输人一输出数据对。计算ＢＰ网络的输出 （３）目标输出直接作为线性方程等式代数和来建 立线性方程组 设第Ｐ组数据输入时，ｕＴ［ｕｌｐ Ｍ２Ｄ，…， ］ 输出： ＝［ｄ ，ｄ ，…， ］Ｔ，ｐ＝ｌ，２，・一， 节点ｉ在第Ｐ组数据输入时，输出为Ｙ ，即： 『 ］ ｙ （ ） （ ） ∑ （ ） ｌ Ｌ Ｊ Ｊ 式中， 为在第Ｐ组数据输入时，节点 的第 个 输入。． ・）取可微的基函数。 （４）计算网络的目标函数．，： 设巴为在第Ｐ组数据输入时，网络的目标函数， 取 范数，则： （ｆ）：Ｉｌ以 （驯ｌ２＝｝ ［ （￡）］２＝ １ ｅ如２（￡） 式中， （ｆ）是在第Ｐ组数据输入时，经ｔ次权值调 整后网络的输出； 为输出层第ｋ个节点。 网络的总目标函数为： １■１ ｔ，（ｆ）＝ （ｆ） 作为对网络学习状况的评价 ｆ５）判别 若Ｊ（ｔ）≤ 算法结束；否则，转至步骤（６）。式中 为预先确定的且ｅ＞Ｏ （６）为了加快学习速度加阻尼项 在输出层，加阻尼系数 ，０＜／３＜ｌ。 现代计算机 ２０１４．０
５中回 ２ 动态演示程序 ＢＰ网络逼近非线性函数－厂（“）＝ｅＨ ‘ｍ ｓｉｎ（１０ｕ） （１）本文取三层ＢＰ网络，隐含层基函数选Ｓ函数， 输出节点为线性 （２）训练输入／输出数据集“一０．５．０．００５：０．４５、ｄ＝ｆ（ｕ）， 数据对长度Ｌ＝２０ （３）测试输入数据集ｕｌ＝一０．４８：０．０５：０．４７、ｄｌ＝ｆ（ｕ１）。 ＭａｔＬａｂ仿真程序如下： ｃｌｅａｒ ａｌｌ； ｃｌｏｓｅ ａｌｌ； ｕ：一０．５：０．０５：０．４５ ％输入数据集 ｄ＝ｅｘｐ（一１．９ （ｕ＋０．５））； ｄ＝ｄ．＊ｓｉｎ（１０＊ｕ１ ％输出数据集：非线性函数ｄ ｎｅｔ＝ｎｅｗｆｆ（ｍｉｎｍａｘ（ｕ），【３，１］，｛＇ｔａｎｓｉｇ ，＂ｐｕｒｅｌｉｎ ＂ｔｒａｉｎｌｍ＇）； ％建立一个可训练的前馈网络 ％ｗＯ１＝ｎｅｔ．ｉｗ｛１，１｝ ％求ＢＰ网络输入层和隐层 问的权值 ％ｂ０１：ｎｅｔ．ｂ｛１ｌ ％求前网络层权值和阈值 ％ｗ０２＝ｎｅｔ．１ｗ｛２｝ ％求２－３层的初始权值、阈值 ％ｂ０２＝ｎｅｔ．ｂ｛２｝ ｆｉｇｕｒｅ（１）； ｐｌｏｔ（ｕ，ｄ，，ｈｏ，１； ｙｌａｂｅｌ（ 输出样本集ｄ＝ ｕ） ，＂ｃｏｌｏｒ ，，ｂ，） ｘｌａｂｅｌ（ 输入样本集ｕ＇，＇ｃｏｌｏｒ ．，ｂ，１ ｆｉｇｕｒｅ（２） ｎｅｔ＝ｔｒａｉｎ（ｎｅｔ，Ｕ，ｄ）； ％网络训练 ％ｗ１＝ｎｅｔ．ｉｗ｛１，１ｌ％求ＢＰ神经网络学习后的权系值 ％ｂｌ＝ｎｅｔ，ｂ｛１｝ ％ｗ２＝ｎｅｔ．１ｗ｛２｝ ％ｂ２－－ｎｅｔ．ｂ｛２ｌ ｙ＝ｓｉｍ（ｎｅｔ，ｕ）； ％ＢＰ神经网络输出 ｆｉｇｕｒｅ（３）； ｐｌｏｔ（ｕ，ｄ， ｂｏ ，ｕ，Ｙ，，ｒ ，）； ｙｌａｂｅｌ（ 输出样本集ｄ（０）网络输出ｙ（ ） ，＂ｃｏｌｏｒ＇，，ｂ，）； ｘｌａｂｅｌ（ 输入样本集ｕ１ ｕ１＝－－０．４８：０．０５：０．４７： ％产生输入数据集 ｄｌ＝一１．９ ＮＩ＋０．５１； ｄｌ＝ｅｘｐ（ｄ１）； ｄｌ＝ｄ１．＊ｓｉｎ（１０＊ｕ１）； ％测试数据集 ｙｌ＝ｓｉｍ（ｎｅｔ，ｕ１）； ｆｉｇｕｒｅ（４）； ｐｌｏｔ（ｕｌ，ｙｌ， ｏ ，ｕｌ，ｄｌ，，ｒ ，） ｙｌａｂｅｌ（ 测试数据集ｄｌ（ ）网络输出ｙ１（ｏ） ，＂ｃｏｌｏｒ ， ，ｈ ； ｘｌａｂｅｌ（ 测试输入集ｕｌ ， ｃｏ１ｏｒ ，，ｂ，）； 【ｄ ｙｑ 程序运行界面效果如图１所示。 ３ 结语 ＢＰ网络能以任意精度逼近任意连续函数，在许多 领域得了广泛的应用 为了解决ＢＰ算法收敛速度慢． 计算量比较大．且收敛速度与初始权的选择有关．学习 时无法保证可以得到最小值．提出了改进算法。用 ＭａｔＬａｂ对改进算法进行仿真．结果表明改进算法具有 高效性和有效性 参考文献： ｆ１１徐丽娜．神经网络控制『Ｍ１．北京：电子工业出版社，２００９ 【２］ｗｕ Ｓ Ｑ，ＥＲ Ｍ Ｊ．Ｄｙｎａｍｉｃ Ｆｕｚｚｙ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ：ａ Ｎｏｖｅｌ Ａｐｐｒｏａｃｈ ｔｏ Ｆｕｎｃｔｉｏｎ Ａｐｐｒｏｘｉｍａｔｉｏｎ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓ．Ｓｙｓｔ．，Ｍａｎ．，Ｃｙｂｅｒｎ Ｐａｒｔ Ｂ．２００８，３０：３５８～３６４ ［３］ＥＲ Ｍ Ｊ．ｗｕ Ｓ Ｑ．Ａ Ｆａｓｔ Ｌｅａｒｎｉｎｇ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｐａｒｓｉｍｏｎｉｏｕｓ Ｆｕｚｚｙ Ｎｅｕｒａｌ Ｓｙｓｔｅｍｓ［Ｊ］．Ｆｕｚｚｙ Ｓｅｔｓ ａｎｄ Ｓｙｓｔｅｍｓ，２００９，１２６：３３７－３５ １ 【４】任爱红．模糊随机过程函数列均方差一致Ｈｅｎｓｔｏｃｋ￣．，分的可积性［Ｊ］．中山大学学报：自然科学版，２０１０，５１（４）：４１￣４４ 【５］Ｍｏｏｄｙ Ｊ，Ｄａｒｋｅｎ Ｃ Ｊ．Ｆａｓｔ Ｌｅａｎｉｎｇ ｉｎ Ｎｅｔｗｏｒｋ ｏｆ Ｌｏｃａｌｌｙ－Ｔｕｎｅｄ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔｓ．Ｎｅｕｒａｌ Ｃｏｍｐｕｔａｔｉｏｎ，２００９，１：２８ １￣２９４ 作者简介： 何正风（１９５７一），男，广东佛山人，本科，研究方向为数学建模与仿真 收稿１３期：２０１４—０４—０３ 修稿日期：２０１４—０５—０８ ＠ 现代计算机２０１４．ｏ
５中
