第五章 人工神经网络模型 - 杭州电子科技大学(1).ppt

n
(2) Net 2x 1 2x 2 3 (3) Net 2x 1 1
A ND
NOT
思考：单计算节点感知器能否实现异或运算？
杭州电子科技大学自动化学院 智能控制与机器人研究所 9
4.2.1 感知器模型
问题：能否用单计算节点感知器实现“异或”功能？
“异或”的真值表
x1 0 0 1 1
w1 j x1 w2 j x2 T j 0 w1 j x1 w2 j x2 T j 0
x1 x2
oj
-1
则由方程 w1jx1+w2jx2-Tj=0 确定了二维平面上的一条分界线。
x1 * * * * * * * * O O O * O O * *
O O O x2 O
w1jx1+w2jx2-Tj=0
从神经网络结构、数学模型、学习算法、网络功能等方面介绍几种 典型的人工神经网络，包括：
感知器
多层前向神经网络
径向基函数神经网络 Hopfield神经网络
杭州电子科技大学自动化学院
智能控制与机器人研究所
2
4.2.1感知器模型
感知器(Perceptron)是由美国学者F.Rosenblatt于1957年提出的，它是一个具 有单层计算单元的神经网络，并由线性阈值元件组成。
杭州电子科技大学自动化学院
智能控制与机器人研究所
15
4.2.2 多层前向BP神经网络
o1 W1○
…
ok
…
ol
Wk○
Wl
○
…
y1○ V1
y2○
…
○ yj
○ym
Vm
y0=-1
○
x1
○

j
∑
i=0
ij
i
j
5.2.1、单层感知器 、
感知器功能 考虑如图所示单计算节点感知器的情况。则
1, oj = − 1, W W
T j T j
oj Wj
X > 0 X < 0
① 设输入向量X=(x1,x2)T,则两个输入分量在几何上构成一个 二维平面，输入样本可以用该平面上的一个点表示。则
oj = − 1, w 1 j x 1 + w 2 j x 2 + w 3 j x 3 − T j < 0 由方程 w 1 j x1 + w 2 j x 2 + w 3 j x 3 − T j = 0 确定的平面成为三维输入样本空间上的一个分界面。
③ 推广到n维空间的一般情况，设输入X=(x1,x2,…,xn)T,则n个输入分量在几何上构 成一个n维空间。由方程 w 1 j x 1 + w 2 j x 2 + L + w nj x 3 − T j = 0 可定义一个n维空间上的超 平面。此平面可以将输入样本分为两类。
① ② ③ ④
⑤
5.2.1、单层感知器 、
例 单计算节点感知器有3个输入，给定3对训练样本如下 X1=(-1,1,-2,0)T d1=-1 X2=(-1,0,1.5,0.5)T d2=-1 X3=(-1,-1,1,0.5)T d3=1 设初始权向量W(0)=(0.5,1,-1,0)T,η=0.1,训练该感知器。 解：第一步 输入X1，得 第三步 输入X3，得
W ( 2)T X 3 = (0.7,0,8,−0.6,0)( −1,−1,1,0.5)T = −2.1 o 3 ( 2) = sgn( −2.1) = −1 W (3) = W ( 2) + η [ d 3 − o 3 ( 2)] X 3 = (0.7,0,8,−0.6,0)T + 0.1[1 − ( −1)]( −1,−1,1,0.5)T = (0.5,0.6,−0.4,0.1)T

第五章 神经网络控制论 第一节 引言 一、神经网络控制的优越性 1）神经网络可以处理那些难以用模型或规则描述的过程或系统。 用神经网络理论来研究和模仿人类的活动是相当有潜力的。 （如骑车问题是无法建模的，但人处理此问题相当出色）。 2）神经网络采用并行分布式信息处理方式，具有很强的容错性。 3）神经网络是本质的非线性系统。它可以实现任何非线性映射。 4）神经网络具有很强的信息综合能力。它能够同时处理大量不同 类型的输入。 5）神经网络的硬件实现愈趋方便。大规模集成电路技术的发展 为神经网络的硬件实现提供了技术手段。
1
x1
2
1 −2
1
y1
−2
−2
3
0
1
x2
1
0
−1
y2
3
−1
图4－24 习题4图
图a 直接逆建模 期望输出
正向模型作用：辨识作用
待辨识
动态系统 (F)
yd
NN
+
u e
y e'
优点：学习过程是有目 标导向的（即e(k)受yd 影响）。
-
正向模型
yN
图b 正－逆建模
+
e1
yd
NN1 e2 V
-
u
动态系统 + NN2 e2
y
图c 直接逆控制（双网结构）
NN1：前馈控制器(NNC)；NN2：神经网络辨识器(NNI) 要求：NN1、NN2结构相同（输入层、隐含层、输出层节点 数目相同）
增强式学习： 通过某一评价函数来对网络的 权值进行更新 (无导师指导)
监督式学习算法： 一、离线学习法 步骤： 1、建逆模型：学习过程不 是目标导向的。 2、进行在线控制：学习结束 后，把这个网络作为此系统的 控制器直接连接在非线性系统 的输入端从而构成一个逆动力 学模型的控制系统。

四、人工神经网络的典型结构
目前，神经网络模型的种类比较多，已有近40余种神经
网络模型，其中典型的有BP网络、Hopfield网络、CMAC 小脑模型、ART自适应共振理论和Blotzman机网络等
众所周知，神经网络强大的计算功能是通过神经元的互
连而达到的。根据神经元的拓扑结构形式不同，神经网络 可分成以下两大类：
MP模型：
称为作用函数或激发函数

MP模型

求和操作
xi w ji u j i
j 1
n

作用函数
yi f ( xi ) f ( w ji u j i )
j 1
n

MP模型
f(x)是作用函数(Activation Function)，也称激发函数。
MP神经元模型中的作用函数为单位阶跃函数： 其表达式为：
内容安排
5.1 5.2 5.3 5.4 生物神经元 人工神经网络发展简史 人工神经网络结构 神经网络基本学习算法
5.1 人工神经网络发展简史

最早的研究可以追溯到20世纪40年代。1943年，心 理学家McCulloch和数学家Pitts合作提出了形式神 经元的数学模型。这一模型一般被简称M-P神经网 络模型，至今仍在应用，可以说，人工神经网络的 研究时代，就由此开始了。 1949年，心理学家Hebb提出神经系统的学习规则， 为神经网络的学习算法奠定了基础。现在，这个规 则被称为Hebb规则，许多人工神经网络的学习还遵 循这一规则。

具有时空整合能力


不可逆性，脉冲只从突触前传到突触后，不逆向传递
神经纤维传导的速度，即脉冲沿神经纤维传递的速度，在 1—150m／s之间 信息传递时延和不应期，一般为0.3～lms 可塑性，突触传递信息的强度是可变的，即具有学习功能