f ( Net i ) 1 1 e
Net i T
4、Tan函数型
一、引言
神经网络模型的种类相当丰富，已有近40余种各 式各样的神经网络模型。根据连接方式的不同， 神经网络的结构类型主要分4类：
前向网络 反馈网络 相互结合型网络 混合型网络
一、引言
. . .
(a)
. .
第四章
人工神经元模型
1
引言
2
前向神经网络模型
3
动态神经网络模型
5
2
一、引言
模糊逻辑控制解决了人类智能行为的语言的描 述和推理问题 人工神经网络是模拟人脑细胞的分布式工作特 点和自组织功能，且能实现并行处理、自学习 和非线性映射等能力的一种系统模型。
一、引言
发展历史：
1943年，心理学家McCmloch和数学家Pitts合作提 出形式神经元数学模型(MP)，揭开了神经科学理论 的新时代。 1944年Hebb提出了改变神经元连接强度的Hebb规则 1957年Rosenblatt首次引进了感知器概念（ Perceptron)。 1976年，Grossberg提出了自适应共振理论 1982年，美国加州工学院物理学家Hopfield提出了 HNN模型，他引入了“计算能量函数”的概念，给 出了网络的稳定性判据 1986年，Rumelhart等PDP研究小组提出了多层前向 传播网络的BP学习算法
j 1,2...no
二、前向神经网络模型
误差反向传播学习算法推导： 由性能指标函数Ep可得： E p r p w ji r w ji
r E E Net p p pj 其中： r wrji Net pj wrji r Net pj r ( r 1) ( r 1) w o o pi r r jk pk w ji w ji k
0 Net i0 Neti1 Net i 图3—1—4 线性函数
一、引言
数学模型
Net i wij x j si i
j
ui=f(Neti) yi=g(ui) 通常可以假设 g(ui)=ui， 则： yi=f(Neti) f为激励函数 ，通常有4种类型。
一、引言
1、阈值型
f
一、引言
神经元网络系统的研究：
神经元模型 神经网络结构 神经网络学习方法 线性处理单元 非线性处理单元 前向网络 反馈网络 自组织网络
从神经元模型角度来看,有
从网络结构方面来看，有：
一、引言
神经元模型是生物神经元的抽象和模拟。可看 作多输入/单输出的非线性器件 。
i 1
第r＋1个隐含层：
Net
( r 1) pj r) wrjl1o(pl jr 1 l 1 nr
r 0,1,2...L 1
输出层
L ( L 1) L y pj L ( Net pj ) L ( wL o ji pi j ) i 1 n L 1
x ( Net x2
1i
f
) 0 w
i1 i2
w 1
Neti 0
ui Net i 0 yi
i
1
0 图3—1—3 阀值函数 f
Net i
2、分段线性型
xn win si
f
max
图3—1—2 神線元结构模型
0
Net i0
Neti1
Net i
图3—1—4 线性函数
一、引言
3、Sigmoid 函数型
二、前向神经网络模型
BP学习算法
给定p组样本(x1,t1;x2,t2;...;xP,tP）。 这里xi为ni维输入矢量 ,ti为no维期望的输出矢量，i=1,2,...,P。假设矢量y和o分别表 示网络的输出层输出和隐含层输出矢量 10： 选η >0,Emax作为最大容许误差，并将权系数Wl ，θ ，2，...，L初始化成小的随机值。 p←1, 20 ： 训练开始， E ←0
前向神经网络是通过期望输出与实际输出之间误差平 方的极小来进行权阵学习和训练
二、前向神经网络模型
学习算法是一个迭代过程，从输入模式Xp出发，依靠 初始权系数，计算： 第一个隐含层的输出为：
1) 1 1 o( ( w x pj 1 ji pi j)
ni
j 0, 1, 2... nh 1
二、前向神经网络模型
单层神经网络结构:由ni个输入单元和no的输出单 元组成。系统ni个输入变量用xj j=1,2,...,ni表 示，no个输出变量用yi；i=1,2,...,no表示 x
1k
x1 x
2
y y
x2k
1
2
xn k
i
xn
i
yn
w(1)
ij
o
y i ( w ij x j i )
一、引言 神经网络学习规则根据连接权系数的改 变方式不同又可分为如下三类:
相关学习 纠错学习 无导师学习
一、引言
相关学习: 仅仅根据连接间的激活水平改变权 系数。它常用于自联想网络 。
最常见的学习算法是Hebb规则:如果单元ui接受来 自另一单元uj的输出，那么，如果两个单元都高度 兴奋，则从uj到ui的权值wij便得到加强。用数学形 式可以表示为:
隐含层时，有：
r E o p pj rpj r r Net pj o r Net pj pj
E p
( (
k k
E p
r 1 Net pk
r 1 Net pk r ) ( Net r pj ) r o pj
1 r 1 r ( rpk wkj ) r( Net pj )
f 1 x w wi2
i 1 i1
ui yi
x2
xn
win
si
图3—1—2 神線元结构模型
ui 神经元的内部状态， Net i 0 θ i 阀值， 图3—1—3 阀值函数 xi 输入信号，j=1,2,…,n; wijf 表示从单元uj 到单元ui f 的连接权值 ; max si外部输入信号
一、引言
神经网络的泛化能力
当输入矢量与样本输入矢量存在差异时，其神经网 络的输出同样能够准确地呈现出应有的输出。这种 能力就称为神经网络的泛化能力。
在有导师指导下的学习中，泛化能力可以定义 为训练误差和测试误差之差。 与输入矢量的个数、网络的节点数和权值与训 练样本集数目之间存在密切的关系。
L L ( L) L n1 o y pj L ( Net pj ) L ( w ji pi j ) L L ( L) L 1 w ji o pi j ) y pj L ( Net pj ) iL( i 1
n1
j 1, 2... no j 1, 2... no
二、前向神经网络模型
有导师学习的思路：
对于给定的一组初始权系数，网络对当前输入Xp的响 应为：Yp=T(Xp)。权系数的调整是通过迭代计算逐步 趋向最优值的过程，调整数值大小是根据对所有样本 p=1,2,...,N 的误差指标 Ep=d(Tp,Yp)达到极小的方 法来实现的。 其中：Tp 表示期望的输出， Yp 表示当前网络的实际输出， d(·)表示距离函数。
.
(b)
(c) 图 3-1-7
(d)
前向网络 (a)、反馈网络(b)、相互结合型网络(c)、 混合型网络(d)
一、引言
神经网络的学习算法
有导师学习:就是在训练过程中，始终存在一个期 望的网络输出。期望输出和实际输出之间的距离作 为误差度量并用于调整权值 无导师学习:无导师学习指的是网络不存在一个期 望的输出值, 需建立一个间接的评价函数
单一神经元: 每一神经元的激励输出是由一组连续输入 信号xi i=1,2,...,ni决定的，而这些输入信号代表着从 另外神经元传递过来的神经脉冲的瞬间激励。设y代表神 经元的连续输出状态值
1 x x
1
w
1 2
0
y (x)
y (0
2
w
w j xj ) j
1
n
ຫໍສະໝຸດ Baidu
x
w
n
n
0 为阈值， wj 决定第j个输入的突触权系数。
1
引言
2
前向神经网络模型
3
动态神经网络模型
5
18
二、前向神经网络模型
前向神经网络是由一层或多层非线性处理单元组 成。相邻层之间通过突触权系数连接起来。由于 每一层的输出传播到下一层的输入，因此称此类 网络结构为前向神经网络，有三种结构：
单一神经元 单层神经网络结构 多层神经网络结构
二、前向神经网络模型
二、前向神经网络模型
BP学习算法的推导：
对于N个样本集，性能指标为
E E p ( t pi y pi )
p 1 p 1 i 1
N
N
no
φ（·）是一个正定的、可微的凸函数 ，常取
1 no E p ( t pj y pj ) 2 2 i 1
nh
二、前向神经网络模型
假设每一层的神经元激励函数相同，则对于L+1层 前向传播网络，其网络输出的数学表示关系方程式 一律采用：
Γ l为各层神经元的激励函数， Wl 为l-1层到l层的连接权矩阵， l=1,2,...,L θ l 为l层的阀值矢量 其中:
二、前向神经网络模型
有导师学习的基本思想
一、引言
无导师学习表现为自适应实现输入空间的检测 规则。它常用于ART、Kohonen自组织网络。 例如Winner-Take-All 学习规则
假设输出层共有no个输出神经元,且当输入为x时,第m个 神经元输出值最大,则称此神经元为胜者。并将与此胜 者神经元相连的权系数Wm 进行更新。其更新公式为： Δ wmj=η (xj-wmj), j=1,2,...ni 式中η >0,为小常数
前向传播网络实质上表示的是一种从输入空间到输出 空间的映射。对于给定的输入矢量X，其网络的响应可 以由方程 Y=T（X） 给出， 其中T（·）一般取为与网络结构相关的非线 性算子。神经网络可以通过对合适样本集，即输入输 出矢量对（Xp,Tp) p=1,2,...,N来进行训练。网络的 训练实质上是突触权阵的调整，以满足当输入为Xp时 其输出应为Tp。对于某一特定的任务，训练样本集是 由外部的导师决定的。这种训练的方法就称为有导师 学习。
定义广义误差 ：
r pj
E p
r Net pj
二、前向神经网络模型
则：
r r (r 1) pw ji pj opi
上标变量r表示第r个隐含层，r=1,2,...,L, r 为第r-1层第i单元到第r层的第j单元的连接系 w ji 数。 r=L 为输出单元层：
二、前向神经网络模型
二、前向神经网络模型
BP学习算法的注意事项：
权系数的初值： 一般情况下，权系数通常初始化成一个比较 小的随机数，并尽量可能覆盖整个权阵的空间域。避免出现 初始权阵系数相同的情况 学习方式：增量型学习和累积型学习 激励函数：由于常规Sigmoid函数在输入趋于1时其导数接近0 ，从而会大大影响其训练速度，容易产生饱和现象。因此， 可以通过调节Sigmoid函数的斜率或采用其它激励单元来改善 网络性能 学习速率： 一般说来，学习速率越大，收敛越快，但容易 产生振荡；而学习速率越小，收敛越慢
j 1
图3—1—13 单层前向传播网络结构示意图 ni x
图3—1—14(a) 含一个隐含
i=1,2,...,no
1k
二、前向神经网络模型
多层神经网络结构: 是在输入层和输出层之间嵌入一层或 多层隐含层的网络结构。隐含单元既可以与输入输出单 元相连，也可以与其它隐含单元相连。
以单隐含层网络为例：
Δ wij=η yioj η 表示学习步长
一、引言
纠错学习:有导师学习方法 ，依赖关于输出节 点的外部反馈改变权系数。它常用于感知器网 络、多层前向传播网络和Boltzmann机网络。 其学习的方法是梯度下降法。 最常见的学习算法有δ 规则、模拟退火学习规 则。
δ 规则学习信号就是网络的期望输出t与网络实际 输出y的偏差δ j=tj-yj。连接权阵的更新规则为： Δ wji=η δ jyi
l
l=1
o(0)p←xp, t←tp
二、前向神经网络模型
BP学习算法
30 ： 计算误差 E←（tk-yk)2/2+E, k=1,2,...,no 40 ： 计算广义误差
50 ：调整权阵系数
60 ：若p<P, p←p+1转20，否则转70。 70 ：若E<Emax，结束，否则 E←0，p←1转20
y
1k
x
1k
x 2k
y2k
1) oj ( w ( jl x l j )
ni
l 1
j=1,2,...,nh
xn k
i
yn k
o
w(1)
ij
w (2)
ij
Oj为隐含层的激励
i=1,2,...,no
示意图
图3—1—14(a) 含一个隐含层前向传播网络结构示意图 (2) y
1k j 1
y i ( w ij oj i )
