BP误差公式推导完全解析全解电子教案

算
法
式中负号表示梯度下降，常数η∈(0,1)表示比例系数。
在全部推导过程中，对输出层有j=0,1,2,…,m; k=1,2,…,l 对隐层有 i=0,1,2,…,n; j=1,2,…,m
12
BP学习算法
二、BP算法推导
对于输出层，式(3..4.9a)可写为
误 差 反 传
wjk w E jkn Eekt n wjekkt (3.4.10a)
BP误差公式推导完全解析全解
引言－－BP算法的提出
提高网络性能（如分类能力）的有效途径
➢ 包含隐层的多层前馈网络
长期以来没有提出解决权值调整问题的有效算法。
BP (Error Back Proragation，BP)算法
➢ 1986年，Rumelhart 和McCelland领导的科学家小组 《Parallel Distributed Processing》一书
7
基于BP算法的多层前馈网络模型
BP
误 对于输出层： ok f(n ekt) k=1,2,…,l (3.4.1)
差 反
m
传 （
netk w jk y j k=1,2,…,l (3.4.2)
）
j 0
算 法
对于隐层： yj f (netj) j=1,2,…,m (3.4.3)
n
net j vij xi i0
（
） 算 法
y1○
y2○ … ○ yj … ○ym
V1
Vm
○
○○
○
○
x1
x2 … xi
… xn-1
xn
BP
6
模型的数学表达
输入向量： X=(x1,x2,…,xi,…,xn)T 隐层输出向量： Y=(y1,y2,…,yj,…,ym)T 输出层输出向量： O=(o1,o2,…,ok,…,ol)T 期望输出向量：d=(d1, d2,…,dk,…,dl)T 输入层到隐层之间的权值矩阵：V=(V1,V2,…,Vj,…,Vm) 隐层到输出层之间的权值矩阵：W=(W1,W2,…,Wk,…,Wl) 各个变量之间如何建立联系，来描述整个网络？
BP
wjk koyj
(3.4.12a)
误
差
反 传
综合应用式(3.4.4)和(3..4.11b)，可将式 (3.17b)的权值调
（ 整式改写为
） 算 法
vij jyxi
（3.4.12b)
可以看出，只要计算出式(3.4.12)中的误差信号o和y， 权值调整量的计算推导即可完成。下面继续推导如何 求误差信号o和y 。
➢ 应用对象：多层前馈网络 ➢ 具有非线性连续转移函数
2
BP网络的标准学习算法
学习的过程： ➢ 神经网络在外界输入样本的刺激下不断改变网 络的连接权值,以使网络的输出不断地接近期 望的输出。
学习的本质： ➢ 对各连接权值的动态调整
学习规则： ➢ 权值调整规则，即在学习过程中网络中各神经 元的连接权变化所依据的一定的调整规则。
j=1,2,…,m (3.4.4)
8
基于BP算法的多层前馈网络模型
单极性Sigmoid函数：
误 差 反 传 （
f
(x)
1
1 ex
）
双极性Sigmoid函数：
算
法
1 ex
f (x) 1 ex
(3.4.5)
BP
9
BP学习算法
一、网络误差与权值调整
误 差 反 传 （
输出误差E定义：
E
1 (d O)2 2
1 2
l
(dk ok )2
(3.4.6)
k 1
） 将以上误差定义式展开至隐层：
算 法
l
l
m
E1 2
[dk
f
(nekt)]2
1 2
[dk f( wjkyj)]2k1 Nhomakorabeak1
j0
(3.4.7)
BP
10
BP学习算法
一、网络误差与权值调整
误 进一步展开至输入层：
差
反
l
m
传 （
E1 2
{dkf[
wjkf(nejt)]2}
判断是否转入反向传播阶段：
➢ 若输出层的实际输出与期望的输出（教师信号）不 符
误差反传
➢ 误差以某种形式在各层表示－－－－修正各层单元 的权值
网络输出的误差减少到可接受的程度 进行到预先设定的学习次数为止
误差反传（BP）算法
基于BP算法的多层前馈网络模型
误
o1 … ok … ol
差
反 传
W1○ Wk○ Wl ○
BP网络的标准学习算法-算法思想
学习的类型：有导师学习 核心思想：
➢ 将输出误差以某种形式通过隐层向输入层逐层反传
将误差分摊给各层的所有 单元－－－各层单元的误 差信号
学习的过程： ➢ 信号的正向传播
修正各单元权 值
误差的反向传播
BP网络的标准学习算法-学习过程
正向传播：
➢ 输入样本－－－输入层－－－各隐层－－－输出层
BP
15
对于输出层，利用式(3.4.6)：
l
E 1 2
(dk ok )2
k1
BP
误 可得：
差 反 传 （
E ok
(dk ok)
（3.4.14a)
） 算 法
对于隐层，利用式(3.4.7)：E1 2
l
m
[dkf( wjkyj)]2
k1
j0
l
可得：
E yj
(dkok)f'(nekt)wjk
k1
） 算
k1
j0
(3.4.8)
法
l
m
n
1 2
{dkf[
wjkf(
vi jxi)]2}
k1
j0
i0
BP
11
BP学习算法
BP
误
wj
k
E wjk
j=0,1,2,…,m; k=1,2,…,l (3.4.9a)
差
反 传 （ ）
vij
E vij
i=0,1,2,…,n; j=1,2,…,m (3.4.9b)
（3.4.14b)
16
将以上结果代入式(3.4.13)，并应用式(3.4.5)： f (x) 1 1 ex
BP
误 得到： k o(dkok)ok(1ok)
（3.4.15a)
差
反 传 （
l
jy[ (dkok)f('nek)twjk]f('nej)t
） 算
k1
法
l
( kowjk)yj(1-yj)
（
） 算 法
对隐层，式(3..4.9b)可写为
vijvE ijn Eej t nviejj t
(3.4.10b)
BP
对输出层和隐层各定义一个误差信号，令
ko
E netk
(3.4.11a)
y j
E net j
(3.4.11b)
13
综合应用式(3.4.2)和(3.4.11a)，可将式 (3.4.10a)的权值调整 式改写为
14
对于输出层， o可展开为
误 差
k on E ket o E k nokket o E kf'(nke)t(3.4.13a)
反
传
（
对于隐层， y可展开为
）
算
法
jyn Ee j t y E j nyje j t y E j f'(ne j)t（3.4.13b)
下面求网络误差对各层输出的偏导。