x0 1, wj0 j , x'0 1, w'k0 'k , x''0 1, w''l0 ''l
则有: n
x' j f ( wji xi ), i0
n1
n2
x''k f ( w'kj x' j ), y l f ( w''lk x''k )
j0
k 0
2021/3/15
马尽文
1. 网络的结构与数学描述
(i). 非线性连续变换单元
对于非线性连续变换单元,其输入、输出变换
函数是非线性、单调上升、连续的即可。但
在BP网络中,我们采用S型函数:
n
ui si
wij x j i
j 1
yi
1 f (ui ) 1 eui
1
n
( wij x j i )
1 e j1
2021/3/15
W(n0 ) W 0
x1
x2
当 E(W 0 ) ,算法以希望误差收敛;
当 E(W 0 ) ,算法不以希望误差收敛,但可按 梯度绝对值小于预定值结束。
2021/3/15
马尽文
19
2.3 非线性连续变换单元组成的网络
4. 算法的改进 (i). 变步长算法( 是由一维搜索求得) Step 1. 赋予初始权值 W(0) 和允许误差 0 ; Step 2. 在时刻 n0 ,计算误差E(W(n0)) 的负梯度
wsg
E
wsg
N E (W , t , x )
1
wsg
E
s,g
E wsg
wsg