当前位置：文档之家 › BP算法

BP算法

  • 格式：doc
  • 大小：485.00 KB
  • 文档页数：11

BP算法

1 BP算法

BP算法可以描述如下（分两步）：

（1）工作信号的正向传播：输入信号从输入层经隐层，传向输出层，在输出端产生输出信号，这是工作信号的正向传播。在信号的正向传播过程中权值和阈值是固定不变的，每一层神经元的状态只能影响下一层神经元的状态。如果在输出层不能得到期望的输出，则转入误差信号的反向传播。

（2）误差信号的反向传播：网络的期望输出与实际输出即为误差信号，误差信号由输出端开始逐层向前传播，这是误差信号的反向传播。在误差信号的反向传播过程中，网络的权值和阈值由误差反馈进行调节，通过不断修改权值和阈值使网络的输出更接近期望输出。

下面以含有两个隐层的BP网络为例，推导BP算法。

设输入层为M个输入信号，任一输入信号用m表示。第1隐层为I，表示有I个神经元，任一神经元用i表示。第2隐层为J，表示BP算法

2 有J个神经元，任一神经元用j表示。输出层为P，表示有P个神经元，任一神经元用p表示。

约定：神经元的输入用u表示，输出用v表示，u和v的上标表示层，下标表示某个神经元。如Iiu表示第I层（第1隐层）的第i个神经元的输入。Ii表示第I层（第1隐层）第i个神经元的阈值。IMimw表示第M层（前一层）的第m个输出（?神经元）到第I层的第i个神经元的权值。所有神经元的激励函数均用logsig函数。

设训练样本集为12{,,...,}NXXXX，对应任一训练样本:

12[,,...,],(1,2,...,)TkkkkMXXXXkN的实际输出为：12[,,...,]TkkkkPYyyy，期望输出为12[,,...,]TkkkkPdddd。设n为迭代次数，权值、阈值和实际输出是n的函数。

网络输入训练样本Xk，由工作信号的正向传播过程可得：

1122...IIMIMIMIiikikiMkMiuwxwxwx ()IIiivfu

1MIMIimkmimwx

1()MIMIimkmimfwx

1122...JJIIJIIJIIJjjjjIIjuwvwvwv ()JJjjvfu

1IJIIJjiijiwv

1()IJIIJjiijifwv

1122...PPJJPJJPJJPppppJJpuwvwvwv ()PPkpppyvfu

1JPJJPpjjpjwv

1()JPJJPpjjpjfwv

输出层第p个神经元的误差信号为()()()kpkpkpendnyn，定BP算法

3 义神经元p的误差为21()2kpen，则输出层所有神经元的误差为222212111()(()()...())()22PkkkPkppEnenenenen。不同的网络误差函数E(n)取法不一样

误差信号从后向前传递，在反向传播的过程中，逐层修改联接权值和阈值。下面计算误差信号的反向传播过程：

定义网络误差函数E(n)对各网络层的输入的导数的负数为局部梯度。则第P、J、I层局部梯度分别为：

()()()PpPpEnnun ()()()JjJjEnnun ()()()IiIiEnnun

由上述结果知，P、J、I层总的局部梯度为：

12()()()()PPPPPnnnn 12()()()()JJJJJnnnn 12()()()()IIIIInnnn

(1) 隐层J与输出层P之间的权值修正量

()()()()()()PpPJPPJpjppjunEnEnwnunwn()()PJpjnvn

由WH学习规则：()()()()()PJPJpjpjPJpjEnwnnvnwn

PJPJPJpjpjpjwnwnwn

(2) 隐层I和隐层J之间的权值修正量。

()()()()()()JjJIJJIjijjiunEnEnwnunwn()()JIjinvn BP算法

4 由WH学习规则：()()()()()JIJIjijiJIjiEnwnnvnwn

JIJIJIjijijiwnwnwn

(3) 隐层I和输入层M之间的权值修正量。

()()()()()()IiIMIIMimiimunEnEnwnunwn()()Iikmnxn

由WH学习规则：()()()()()IMIimikmIMimEnwnnxnwn

IMIMIMimimimwnwnwn

(4) 输出层P的阈值修正量

()()()()()()PpPPPpppunEnEnnunn()(1)Ppn()Ppn

由WH学习规则：()()()()PPppPpEnnnn

PPPpppnnn

(5) 隐层J的阈值修正量

()()()()()()JjJJJjjjunEnEnnunn()(1)Jjn()Jjn

由WH学习规则：()()()()JJjjJjEnnnn

JJJjjjnnn

(6) 隐层I的阈值修正量

()()()()()()IiIIIiiiunEnEnnunn()(1)Iin()Iin BP算法

5 由WH学习规则：()()()()IIiiIiEnnnn

IIIiiinnn

下面推导()Ppn、()Jjn、()Iin之间的关系。

()()()PpPpEnnun()()()..()()()kpkpPkpkppenynEnenynun

'().(1).(())()PpkpEnfunen'()(())()PpkpEnfunen

()()()JjJjEnnun1()()()()PPpPJppjunEnunun1()()()()()()PJPpjPJJppjjunvnEnunvnun

'1()(())PPPJJppjjpnwfun'1(())()()PJPPJjppjpfunnwn

()()()IiIiEnnun1()()()()JJjJIjjiunEnunun1()()()()()()JIJjiJIIjjiiunvnEnunvnun

'1()()(())JJJIIjjiijnwnfun'1(())()()JIJJIijjijfunnwn

将以上结果作一整理：

(1) '()()(())()PPppkpEnnfunen p=1,2,…,P

(2) '1()(())()()PJJPPJjjppjpnfunnwn j=1,2,…,J

(3) '1()(())()()JIIJJIiijjijnfunnwn i=1,2,…,I

(4) ()()()PJPJpjpjwnnvn p=1,2,…,P ;j=1,2,…,J

(5) ()()()JIJIjijiwnnvn j=1,2,…,J ;i=1,2,…,I BP算法

6 (6) ()()()IMIimikmwnnxn i=1,2,…,I ;m=1,2,…,M

(7) ()()PPppnn p=1,2,…,P

(8) ()()JJjjnn j=1,2,…,J

(9) ()()IIiinn i=1,2,…,I

将上述9个式子整理成矩阵形式：

（1）'()()(())()PPppkpEnnfunen p=1,2,…,P

12()()()()PPPPPnnnn'11'22'()(())()()(())()()(())()PkPkPPkPEnfunenEnfunenEnfunen'().*(())()PkEnfunen

（2）'1()(())()()PJJPPJjjppjpnfunnwn j=1,2,…,J

12()()()()JJJJJnnnn'111'221'1(())()()(())()()(())()()PJPPJpppPJPPJpppPJPPJJppJpfunnwnfunnwnfunnwn BP算法

7 112'11()()()()(())*()()PPPJpppPPPJppJpPPPJppJpnwnnwnfunnwn

1112211'11222221122()()()()...()()()()()()...()()(())*()()()()...()()PPJPPJPPJPPPPJPPJPPJJPPPPJPPJPPJJJPPJnwnnwnnwnnwnnwnnwnfunnwnnwnnwn 112111'12222212()()()()()()()()(())**()()()()PJPJPJPPPJPJPJPJPPJPJPJPJJPJPwnwnwnnwnwnwnnfunwnwnwnn

'(())*(())*()TJPTPJfunnWn 为了和matlab中权值矩阵保持一致

（3）'1()(())()()JIIJJIiijjijnfunnwn i=1,2,…,I

'1111'2221'1(())()()()(())()()()()()(())()()JIJJIjjjIJIJJIIjjIjIIJIJJIIjjIjfunnwnnfunnwnnnnfunnwn

合集下载

BP算法的推导

BP算法的推导

BP算法的推导

I． 符号定义

网络结构：输入层d个神经元，隐含层Hn个神经元，输出层c个神经元，网络的权值w。

输入训练样本1,,Tdxxx，期望输出1,,Tcttt，网络实际输出1,,Tczzz，隐含层神经元输出1,,HTnyyy，net为神经元的净输出，有：

隐含层： jjyfnet，0djjmmmnetwx，1,,Hin； (1)

输出层： kkzfnet，0Hnkkmmmnetwy，1,,kc； (2)

误差平方和准则函数：

2211122ckkkJtzwtz (3)

权值调整公式：

1Jmmwww

分别计算输出层和隐含层权值的梯度。

II． 输出层

...zky1yjynwk1wkjwkn隐含层输出层...

应用链式求导法则计算输出层第k个神经元隐含层第j个神经元之间的连接权值梯度：

kkjkkjnetJJwnetw

(4)

再次应用链式求导法则：

kkkkzJJnetznet 根据(3)式，有：

kkkJtzz

根据(2)式，有：

kkkzfnetnet

因此：

kkkkJtzfnetnet

根据(2)式，有：

0Hnkkmmjmkjkjnetwyyww

代入到(4)式，有：

kkkjkjkjJtzfnetyyw，其中kkkktzfnet

III． 隐含层

...yjwj1wj1wjd输入层隐含层...x1xiwjixd......输出层wjkwjcz1zkzc

应用链式求导法则，计算输入层第i个神经元到隐含层第j个神经元之间连接权值的梯度：

jjjijjjiynetJJwynetw (5)

BP算法

BP算法

基本介绍

含有隐层的多层前馈网络能大大提高神经网络的分类能力，但长期以来没有提出解决权值调整问题的游戏算法。1986年Rumelhart（鲁梅尔哈特）和McCelland（麦克勒兰德）等人提出并行分布处理（PDP）的理论，同时提出了多层网络的误差反向传播学习算法，简称BP算法。这种算法根据学习的误差大小，把学习的结果反馈到中间层次的隐单元，改变它的权系数矩阵，从而达到预期的学习目的，解决了多层网络的学习问题。BP算法从实践上证明神经网络的运算能力很强，可以完成许多学习任务，解决许多具体问题。BP网络是迄今为止最常用、最普通的网络。

BP算法也称误差反向传播（Error Back Propagation, BP）算法。

BP算法实质是求均方误差函数的最小值问题，这种算法采用非线性规划中的最速下降法，按误差函数的负梯度方向修改权系数。

网络结构

o1 … ok … ol

W1○ Wk○ Wl ○

y1○ y2○ … ○ yj … ○ym

V1 Vm

○ ○ ○ ○ ○

x1 x2 … xi … xn-1 xn

BP网络结构

模型的数学表达式

输入向量： TnixxxxX),...,,...,,(21

隐层输出向量： TmjyyyyY),...,,...,,(21 输出层输出向量： TlkooooO),...,,...,,(21

期望输出向量：Tlkddddd),...,,...,,(21

输入层到隐层之间的权值矩阵：),...,,...,,(21mJVVVVV

隐层到输出层之间的权值矩阵：),...,,...,,(21lkWWWWW

bp算法例题

bp算法例题

bp算法例题

以下是BP算法的一些例题:

1. 最小生成树:

设网络有n个节点,有m条边,求网络中最小的生成树。

步骤:

- 设BP机初始状态为全0,初始权重为0

- 从根节点开始遍历网络,每次更新当前节点的最小权重向量,同时记录当前节点的前缀和

- 对于每个相邻节点,计算它的最小权重向量与当前节点的最小权重向量的商,得到当前节点的权重向量

- 根据权重向量更新生成树

- 重复步骤直到生成树为空

2. 最短路径问题:

设网络有n个节点,有m条边,求网络中从任意一个节点到另一个节点的最短路径。

步骤:

- 设BP机初始状态为全0,初始权重为0

- 从任何节点开始遍历网络,每次更新当前节点的最小权重向量,记录当前节点的前缀和

- 计算从当前节点到另一个节点的最短路径

- 根据最短路径更新权重向量,并返回最短路径

3. 最小费用最大流问题:

设网络有n个节点,有m条边,求网络中从任意一个节点去往另一个节点的最小费用最大流。

步骤:

- 设BP机初始状态为全0,初始权重为0

- 从任何节点开始遍历网络,每次更新当前节点的最小权重向量,记录当前节点的前缀和

- 计算从当前节点去往另一个节点的最小费用最大流

- 根据最小费用最大流更新权重向量,并返回最小费用最大流

这些例题只是BP算法的一些典型应用,实际上BP算法还可以用于解决其他类型的问题,例如网络拓扑优化、约束优化等。

bp算法公式

bp算法公式

bp算法公式

BP算法是一种常用的人工神经网络训练算法。其全称为“反向传播算法”，其基本思想是利用链式求导法则，通过计算输出误差对每个权重的偏导数来更新网络中各层之间的连接权重，从而不断调整网络参数直到达到预定的训练目标。BP算法的公式如下：

1. 前向传播

对于输入样本x，在神经网络中进行前向传播，计算出每个神经元的输出值，并将这些值作为输入传递到下一层神经元中，直至输出层。

2. 计算误差项

对于输出层每个神经元j，计算其误差项δj = yj - tj，其中yj为神经元j的输出值，tj为样本对应的真实标签值。

3. 反向传播

从输出层开始，计算每个神经元的误差项，然后根据误差项计算每个权重的偏导数，最后根据偏导数调整权重。

对于隐藏层每个神经元h，其误差项δh可由以下公式计算：

δh = f"(netH) * Σ(δj * wjh)

其中f"为h的激活函数的导数，netH表示神经元h的净输入，wjh为从神经元h到神经元j的权重，Σ表示对输出层每个神经元j求和。

对于连接h->j的权重wjh，其偏导数可以使用以下公式计算：

E/wjh = δj * ah 其中ah为连接h->j的输入值。

4. 更新权重

根据计算出来的各个权重的偏导数，利用梯度下降法更新权重。具体地，对于权重wjh，更新方式为：

wjh = wjh - η * E/wjh

其中η为学习率，即权重的调整步长。