bp算法流程

BP算法的推导

I． 符号定义

网络结构：输入层d个神经元，隐含层Hn个神经元，输出层c个神经元，网络的权值w。

输入训练样本1,,Tdxxx，期望输出1,,Tcttt，网络实际输出1,,Tczzz，隐含层神经元输出1,,HTnyyy，net为神经元的净输出，有：

隐含层： jjyfnet，0djjmmmnetwx，1,,Hin； (1)

输出层： kkzfnet，0Hnkkmmmnetwy，1,,kc； (2)

误差平方和准则函数：

2211122ckkkJtzwtz (3)

权值调整公式：

1Jmmwww

分别计算输出层和隐含层权值的梯度。

II． 输出层

...zky1yjynwk1wkjwkn隐含层输出层...

应用链式求导法则计算输出层第k个神经元隐含层第j个神经元之间的连接权值梯度：

kkjkkjnetJJwnetw

(4)

再次应用链式求导法则：

kkkkzJJnetznet 根据(3)式，有：

kkkJtzz

根据(2)式，有：

kkkzfnetnet

因此：

kkkkJtzfnetnet

根据(2)式，有：

0Hnkkmmjmkjkjnetwyyww

代入到(4)式，有：

kkkjkjkjJtzfnetyyw，其中kkkktzfnet

III． 隐含层

...yjwj1wj1wjd输入层隐含层...x1xiwjixd......输出层wjkwjcz1zkzc

应用链式求导法则，计算输入层第i个神经元到隐含层第j个神经元之间连接权值的梯度：

jjjijjjiynetJJwynetw (5)

§6.3 反向传播(BP)学习算法

前面分析得知，无论是Rosenblatt的感知器学习规则，还是Widrow和Hoff的LMS学习算法，它们只能用来训练单层神经网络。因为对于单层线性神经元网络，误差是网络权值的显式函数，其相对权值的导数容易求得。但是，单层神经网络故有的局限性就是只能解线性可分的分类问题。Rosenblatt和Widrow也意识到了该局限性，并且提出了采用多层神经网络的解决方法。但由于具有非线性作用函数的多层神经网络的权值与误差的关系比较复杂，他们没有找到训练多层神经网络合适的学习算法。

1974年Paul Werboss第一次提出了一个训练多层神经网络的反向传播算法，由于该算法是在一般网络中描述的，它只是将神经网络作为一个特例。因此，在神经网络研究领域内没有得到广泛传播。直到20世纪80年代中期，反向传播(BP—Back Propagation)算法才被重新发现并广泛宣扬。特别是David Rumelhart和James McClelland等学者在《并行分布式处理》一书中给出了训练多层神经网络的BP学习算法，为解决多层神经网络的学习提供了保证。该书的发行也引发了国际上新一轮的神经网络研究热潮。

6.3.1 多层前向神经网络

基于误差反向传播学习算法的前向神经网络也称为BP网络。目前，在神经网络的实际应用中，80％—90％的神经网络是BP网络或它的变化形式。因此，BP网络是应用最广泛的神经网络，它体现了许多人工神经网络最精华的特点。

一、多层神经网络结构

图6.3.1给出了一个多层神经网络的结构。可以看出神经网络由输入层、隐含层和输出层神经元组成，其中隐含层只有一层，当然也可以有多层隐含层，前一层至后一层神经元之间通过权系数联接。

图6.3.1 多层神经网络结构 图6.3.1中给出的多层神经网络输入层有n个输入神经元，隐含层有l个神经元，输出层有m个神经元。其中ijw是输入层第i个神经元和隐含层第j个神经元之间的连接权值，jkw是隐含层第j个神经元和输出层第k个神经元之间的连接权值。对于输入层神经元，其作用函数取线性函数，即神经元的输出等于输入。隐含层和输出层神经元的输入分别是上一层神经元输出的加权和，且每个神经元的输出取决于神经元的激励程度和相应的作用函数。

预备知识：

一 Sigmoid:

)exp(11xy

)1())exp(1(1)exp(11))exp(1(1)exp(1))exp(())exp(1(1)exp())exp(1(1))(ex1(22221-yyxxxxxxdxxdxdxxpddxdy

二 BP推导

1.符号定义：

网络结构：输入层有I个神经元，隐层有J个神经元，输出层有K个神经元，权值为W。

输入样本TIxxxx).....,(21，隐层输出TJhhhH).....,(21

实际输出TKYyyY).....,(21

教学值 TKtttT).....,(21，net 为神经元的输出。

隐层：IllljjjjJjxWnetnetgh.....2,1;*),(

输出层：JlllkkkkKkyWnetnetgy.....2,1;*),(

误差和函数：KlllytE2)(21

权值调整：wEmwmw)()1(

2..输出层权值调整：

。

。

。

IllljjjjJjxWnetnetgh.....2,1;*),(

JlllkkkkKkyWnetnetgy.....2,1;*),(

jkW 表示第j 个神经元到第k个神经元之间的权值

net h

net h

net h net y 误差求导：

jkkkjkkkkkjkkkjkWnetWnetnetyyEWnetnetEWE

)1()(-kkkkkyyyt

jjkJlllkjkJlllkjkjkJlllkjkkhWhWjlWhWWjlWhWWnet时当的函数侧时不是当0!

jkkkkjkkkjkhyyytWnetWE)1()(-

第１０卷第１２期２０１０年４月　１６７１—１８１５（２０１０）１２－２９５１—０４　科学技术与工程　Ｓｃｉｅｎｃｅ　Ｔｅｃｈｎｏｌｏｇｙ　ａｎｄ　Ｅｎｇｉｎｅｅｒｉｎｇ　Ｖｏ１．１０　Ｎｏ．１２　Ａｐｒ．２０１０　⑥２０１０　Ｓｃｉ．Ｔｅｃｈ．Ｅｎｇｎｇ．　

通信技术　

ＬＬＲ．ＢＰ算法的简化译码算法研究　

王冬梅王秀芳路敬袢浦晓威　

（大庆石油学院电气信息工程学院，大庆１６３３１８；中国环境管理干部学院　，秦皇岛０６６Ｏ０４）　

摘要研究了基于Ｇａｌｌａｇｅｒ方案的Ｉ』ＴＪＲ—ＢＰ算法及其简化的译码算法，应用Ｍａｔｌａｂ仿真比较了基于Ｇａｌｌａｇｅｒ方案的ＬＬＲ—ＢＰ　

算法及其三种简化译码算法的性能，仿真结果表明：基于Ｇａｌｌａｇｅｒ方案的ＬＬＲ—ＢＰ算法与归一化ＢＰ算法和偏置ＢＰ算法的误　码率性能相差不多，当信噪比大于２　ｄＢ时，归一化ＢＰ算法和偏置ＢＰ算法比基于Ｇａｌｌａｇｅｒ方案的ＬＬＲ—ＢＰ算法的误码率性能　稍好，最小和算法误码率性能相对最差。　．　、　关键词低密度奇偶校验码　偏置ＢＰ算法　可信程序对数可能比例（Ｌｏｇ．１ｉｋｅｈｏｏｄ—ｒａｔｉｏ—ｂａｓｅｄ—ｐｒｏｇｒａｔｉｏｎ，ＬＬＲ－ＢＰ）算法　

中图法分类号ＴＮ９１９．３１；　文献标志码Ａ　

ＬＤＰＣ码具有逼近香农限的性能，几乎适用于　

所有信道，已成为近年来编码界研究的热点。信道　

编码的译码算法是决定编码性能和应用前景的一　

个重要因素。尤其是在长码的条件下，译码算法的　

复杂度决定了编码的发展。为减小ＬＤＰＣ码译码算　

法的计算复杂度，促进ＬＤＰＣ码的发展，国内外许多　

学者都对此作出了大量贡献，一些简化的译码算法　

相继被提出：硬判决译码算法、概率域ＢＰ算法、基　

于Ｔａｎｈ法则和基于Ｇａｌｌａｇｅｒ方案的ＬＬＲ—ＢＰ算法的　

译码、基于Ｇａｌｌａｇｅｒ方案的ＬＬＲ—ＢＰ算法的简化的译　码算法等　Ｊ。　

本文在对经典译码算法进行深入研究的基础　

上，重点研究了基于Ｇａｌｌａｇｅｒ方案的ＬＬＲ．ＢＰ算法以　及其简化的译码算法（最小和算法、偏置ＢＰ算法和