第三章：前向网络(1)

选择W(0)∈ Xk ，满足W* Xk >0，此时有 W*WT(k) ≥kμd 在W(k)未达到W*时，W(k)XT(k)<0，所以
W (k 1) W (k 1)W (k 1)
2 T
W (k ) X (k ) W (k ) X (k ) 2 2 2 T 2 W (k ) 2W (k ) X (k ) X (k ) W (k ) 2
x2
(0,1) B类 界
(1,1) A类 界 (1,0) x1
(0,0)
图 2.3a 函数 x1x2 的分 类
感知器的学习算法
-1 1 x1 1.5
x2

1
o(x1,x2)
图2.3b AND函数的NN实现
感知器的学习算法
但对异或逻辑函数XOR(真值表如下所示),则不可能利用单层 感知器设计的线性分类面（线性分类函数）,如下图所示。
T T
迭代可得：
W (k )
2
W (0)
2
k2 1 k2
k d 1 2k
所以,
S (k ) W *W ( k ) W * W (k )
由于余弦值S(k) ≤1，当W(k)=W*时，S(k)=1， 于是我们求解得到
k 2 ( ud )2 1 2 1 u k k 2 ( ud )2 u 2 k 1 0 k 1 1 4d 2 / u 2 2d 2
即有 >0, w2, w1, w1+w2 令w1=1,w2=1,则有1.取=0.5,则有分类判别曲线x1+x2-0.5=0, 分类情况如图2.2a所示,实现的NN如图2.2b.
感知器的学习算法
-1 1 x1 x2 1
图2.2b OR函数的NN实现
x2
(0,1)
(1,1)
0.5
上一章内容回顾
此外,在控制领域的研究课题中,不确定性系统的控制 问题、非线性系统控制问题长期以来都是控制理论研究 的中心主题,但是这些问题一直没有得到有效的解决。 • 利用NN的学习能力,使它在对不确定性系统的控 制过程中自动学习系统的特性,从而适应系统变化的 环境和内在特性,以达到对系统的最优控制. • 利用NN的非线性逼近能力,将NN用于非线性系统 控制问题中的模型表达、控制器设计、在线控制计 算、自适应控制等. 显然,NN对于控制科学领域是一种十分振奋人心的意 向和方法。
x1 0 0 1 1
x2 0 1 0 1
x1x2 0 1 1 0
x2
(0,1) B类 界
(1,1) A类 界 (1,0) x1
(0,0)
图 2.4a 函数 x1x2 的分 类
感知器的学习算法
对此,只能设计多层感知器,如下图所示的XOR函数的2层 设计。 1 1 -1 1.5
x1
x2

1
-1 1 0
上一章内容回顾
NN的基础在于神经元.
神经元是以生物神经系统的神经细胞为基础的生物 模型. 在人们对生物神经系统进行研究,以探讨AI的机制时, 把神经元数学化,从而产生了神经元数学模型. 大量的形式相同的神经元连结在—起就组成了NN. 虽然,单个神经元的结构和功能都不复杂,但是NN的 动态行为则是十分复杂的,是一个高度非线性动力学系统. 因此,用NN可以表达实际物理世界的复杂现象.
感知器的学习算法
当实际输出和期望值d相同时有: wi(t+1)=wi(t)
步6. 转到第2步,一直执行到一切样本均稳定为止.
（算法的收敛性分析见后面的证明）
从上面分析可知,感知器实质是一个分类 器,它的这种分类是和二值逻辑相应的.
因此,感知器可以用于实现逻辑函数. 下面对感知器实现逻辑函数的情况作 一些介绍. 例 用感知器实现或逻辑函数OR,即x1x2, 的真值(真值表如右所示).
感知器的学习算法
步3. 计算实际输出值y
n 1 y(t) f w i (t)x i i 1
步4. 根据实际输出求误差e
e(t)=d-y(t)
步5. 用误差e去修改权系数
wi(t+1)=wi(t)+e(t)xi i=1,2,…,n+1
其中称为权重变化率,0<1。 的值不能太大.如果取值太大则wi(t)的稳定性差;的 值也不能太小,否则wi(t)的收敛速度太慢。
2.1 前向网络简介
1.前向网络的结构 前向网络主要分为单层网络和多层 网络。 多层网络不能隔层传递，无反馈。 2.输出函数主要有： 硬限幅函数1（.），sgn（.） 线性函数 非线性函数s（.），th（.） 3.前向网络的功能 只能完成联想和分类。 前向网络的本质由输入到输出 的静态映射。 4.学习算法： 算法，LSM算法， BP算法（误差反向传递算法）
x1
x2

-1 -1 0.5
图2.4b XOR函数的2层NN实现
o(x1,x2)
1
感知器的学习算法
而其函数空间的分类面如下图所示。
Hale Waihona Puke Baidux2
(0,1)
A类 界 (0,0)
(1,1) A类 界 B类 界 (1,0) x1
图 2.4c XOR 函数的分类
2.2 单层网络分类功能（感知器）
感知器学习算法的收敛性定理：如果样本输入函 数是线性可分的，那么感知器学习算法经过有限 次迭代后，可收敛到正确的权值或权向量。 可证：在训练样本Xk,k=1,2,…,N是线性可分时， 采用上式的学习方法，在有限次迭代后，必能得 到正确解。
感知器设计训练的步骤可总结如下： 1)对于所要解决的问题，确定输入矢量P，目标矢量T，并由 此确定各矢量的维数以及确定网络结构大小的神经元数目； 2)参数初始化： a)赋给权矢量w在(－l，1)的随机非零初始值； b)给出最大训练循环次数max_epoch； 3)网络表达式：根据输人矢量P以及最新权矢量W，计算网络 输出矢量A； 4)检查：检查输出矢量A与目标矢量T是否相同，如果是，或 已达最大循环次数，训练结束，否则转入5)； 5)学习：根据感知器的学习规则调整权矢量，并返回3)。
2.2 单层网络分类功能（感知器）
一个简单的单神经元（感知器）分类的例子。 例：二维矢量 x [ x0 , x1 ] ，两类 c1 , c2 x L 如图： 1 L 为分类线： 0.5x0 x1 1 0 c1 区为 0.5x0 x1 1 0 c2 c2 区为 0.5x0 x1 1 0 设一个单神经元 w0 0.5, w1 1, 1 1 硬限幅函数 1, x c1 y f [ w j x j 1] j 0 0, x c2
这说明在μ和d选定后，可以在有限的次数k达到 最优加权W*。
2.2 单层网络分类功能（感知器）
三.感知器网络的设计 设输入矢量
xk [ x0 , x1... xN 1,1]
连接权
w [w0 , w1...wN 1, ]
Ix w
K
K
T
K
y f [ I ], 期望输出T
2.2 单层网络分类功能（感知器）

硬限幅函数
图2.1
感知器神经元模型
2.2 单层网络分类功能（感知器）
根据网络结构，可以写出第i个输出神经元(i＝1， 2，…，s)的加权输入和ni以及其输出ai为：
1, ni 0 ai f (ni ) 0, ni 0
其中， 为阈值， f[]是阶跃函数。 线性可分概念 设有二维输入矢量 x [ x0 , x1 ] ，共有两类c1, c2 ， 若可以用一条直线将其无误的分开，称为线性可 分。
x1 0 0 1 1
x2 x1x2 0 0 1 1 0 1 1 1
感知器的学习算法
以x1x2=1为A类,以x1x2=0为B类,则有方程组
w1 0 w 2 0 θ 0 w 0 w 1 θ 0 1 2 w1 1 w 2 0 θ 0 w1 1 w 2 1 θ 0
2.2 单层网络分类功能（感知器）
证明：因为N个样本线性可分，所以存在单位权向量W* 和一个较小的正数d>0，使得W*TXk≥d对所有的样本 输入Xk都成立，任意权值向量W和最优权值向量W*之 间的余弦角cosα为
W *W T ( k ) s (k ) W * W T (k )
由学习律可得 W(k+1)=W(k)+μX(k) , μ是学习系数。 上式左乘W*可得 W*WT(k+1)=W* [WT(k)+μXT(k)] ≥W*WT(k)+μd 从k=0迭代, 可得 W*WT(k) ≥ W*WT(0)+kμd
wn+1= -, xn+1=1
则感知器的输出可表示为：
n 1 y f wi xi i 1
感知器的学习算法
感知器学习算法步骤如下： 步1. 对权系数w置初值
权系数w=(w1,…,wn,wn+1)的各个分量置一个较小的初 始随机值,并记为wl(0),…,wn(0),同时有wn+1(0)= -。
2.2 单层网络分类功能（感知器）
F.Roseblatt已经证明，如果两类模式是线 性可分的（指存在一个超平面将它们分开），则 算法一定收敛。 感知器特别适用于简单的模式分类问题，也 可用于基于模式分类的学习控制中。 本节中所说的感知器是指单层的感知器。多 层网络因为要用到后面将要介绍的反向传播法进 行权值修正，所以把它们均归类为反向传播网络 之中。
2.2 单层网络分类功能（感知器）
为证明此定理,不失一般性,先对该分类问题做一些 假设： A1: 输入样本Xk,k=1,2,…,N全部归一化，即 ||Xk||=1； A2: 对最优权向量W*,有||W*||=1. A3: 如果样本可分，那么任意给定的一个输入样本 Xk ，要么属于某一区域F＋，要么不属于这一区 域，记为F－，F＋和F－构成了整个线性可分的 样本空间。在这里仅讨论Xk∈F＋的情况。
A类 界 (1,0) B类 界 (0,0) x1+x2-0.5=0 x1 图 2.2a 函数 x1x2 的分 类

o(x1,x2)
感知器的学习算法
类似地,对与逻辑函数AND(真值表如下所示),即x1x2, 也可设 计如图所示的分类面（分类函数）
x1 0 0 1 1
x2 0 1 0 1
x1x2 0 0 0 1
y0
y1
yN 1
x0
x1
xN 1
2.2单层网络分类功能（感知器）
本节主要介绍:
单层网络的结构 调整连接权和阈值的学习规则（ 算法） 单层网络的训练和设计 单层网络分类的局限性
2.2 单层网络分类功能（感知器）
一.感知器是由美国计算机科学家罗森布拉特 （F.Roseblatt）于1957年提出的。 单层感知器神经元模型图：
wi(t)为t时刻从第i个输入上的权系数，i=1,2,…,n。 wn+1(t)为t时刻时的阈值。 步2. 输入一样本x=(x1,x2,…,xn+1)以及它的期望输出d
期望输出值d在样本的类属不同时取值不同。
如果x是A类,则取d=1,如果x是B类,则取-1。 期望输出d也即是教师信号。
1
c1
x0
2
感知器的学习算法
感知器的学习算法目的在于找寻恰当的权系数w=(w1,w2,…, wn)，使系统对一个特定的样本x=(x1,x2,…,xn)能产生期望值d。
当x分类为A类时，期望值d=1；x为B类时，d= -1。
为了方便说明感知器学习算法，把阈值并入权系数w中， 同时，样本x也相应增加一个分量xn+1。故令：
第二讲：前馈神经网络
主要内容
一：前向网络简介 二：具有硬限幅函数的单层网络的分类功能（感知 器） 三：具有线性函数的单层网络的分类功能 四：前向多层网络的分类功能 五：BP网络及BP算法以及BP网络的应用
上一讲内容回顾
模拟生物神经网络的ANN的这一数学方法问世以来,人们已 慢慢习惯了把这种ANN直接称为NN。 NN在数学、优化与运筹学、计算机科学与智能理论、 信号处理、控制科学、机器人、系统科学等领域吸引 来了众多的研究者,呈现勃勃生机。 给这些学科中的一些困难问题,带来了新的分析、 求解的新思路和新方法。 对控制科学领域，NN在系统辨识、模式识别、智能控 制等领域有着广泛而吸引人的前景。 特别在智能控制中,人们对NN的自学习功能尤其感 兴趣,并且把NN这一重要特点看作是解决控制器适 应能力这个难题的关键钥匙之一.