神经网络及应用第三章感知器神经网络

n
∑ net ' j = wij xi i =1
离散型单层感知器的变换函数一般采用符号函数
n
∑ oj = sgn(net ' j − Tj ) = sgn(
wij
xi
)
=
sgn(W
T j
X
)
i=0
4
Neural Networks & Application
1
3.1 单层感知器
z 3.1.2 感知器的功能
性，太小则使训练的收敛速度变慢，一般取0<η≤1；
z Step 5: p=p+1,如果 p ≤ P,返回到Step2 ，否则转到Step 6 ；
z Step 6: 如果感知器对所有样本的实际输出与期望输出相等，则停止; 否则设置p=1，返回Step2。
10
Neural Networks & Application
oj
=
⎧1 ⎨⎩−1
w1 j x1 + w2 j x2 + w3 j x3 − Tj > 0 w1 j x1 + w2 j x2 + w3 j x3 − Tj < 0
z 则由方程 w1 j x1 + w2 j x2 + w3 j x − Tj = 0
z 确定的平面成为三维输入样本空间上的一个分界平面，该分界 平面在样本空间的方向和位置，由感知器权值和阈值确定。
y1
y2
o
0
0
1
1
0
0
1
0
1
1
1
0
1
0
1
1
1
1
1
0
Neural Networks & Application
3.2 多层感知器
z 单隐层节点数量增加可以使多边形凸域的边数增加，从而 构建出任意形状的凸域。
z 如果再增加第二个隐层，则该层的每个节点确定一个凸 域，各种凸域静输出层节点组合后可以成为任意形状域。
netj > 0
则由方程
w1 j x1 + w2 j x2 − Tj = 0
确定的直线成为二维输入样 本空间上的一条分界线。
netj < 0
单计算节点感知器对二维样本的分类
6
Neural Networks & Application
3.1 单层感知器
3）推广到n维空间，输入向量为X=(x1, x2 , …, xn)T，n个输入分量构 成一个n维空间。由方程 w1 j x1 + w2 j x2 + ... + wnj x − Tj = 0 可定义一个n维空间上的超平面，可以将输入样本分为两类。
3.1 单层感知器
z 例题：某单计算节点感知器有3个输入，给定3对训练样本如下：
X1 = (-1, 1, -2, 0)T
d1=-1
X2 = (-1, 0, 1.5, -0.5)T d2=-1
X3 = (-1, -1, 1, 0.5)T
d3=1
设初始权向量W(0) = (0.5, 1, -1, 0)T, η=0.1。（输入向量中第一个 规分则量训x0恒练等该于感-知1，器权。向量中第一个分量为阈值）试根据以上学习
11
Neural Networks & Application
3.1 单层感知器
z Step 3:
计算各节点的实际输出
o
p j
(t)
=
sgn(W
T j
(t ) X
p
),
j
=
1,
2,..., m
z Step 4:
调整各节点对应的权值，W j
(t
+ 1)
=
Wj
(t)
+η[d
p j
−
o
p j
(t)]X
p
η为学习率，用于控制调整速度，η值太大会影响训练的稳定
12
Neural Networks & Application
3Baidu Nhomakorabea
3.1 单层感知器
z Step 2: 输入X2，有
W(1)T X2 = (0.7, 0.8, -0.6, 0)(-1, 0, 1.5, -0.5) T = -1.6
o2(1) = sgn(-1.6) = -1
W(2) = W(1) + η[d2-o2(1)] X2
z 单计算节点感知器就是一个M-P 神经元模型，采取符号变换函 数，又称为符号单元。
z j节点的输出为
oj
=
⎧1 ⎨⎩−1
W
T j
X
>
0
W
T j
X
<
0
X = (x1, x2 )T
单计算节点感知器
5
Neural Networks & Application
3.1 单层感知器
2）输入三维向量 X=(x1, x2 , x3)T 三个输入分量则构成一个三维空间，节点j的输出为
z 通过调整权值和阈值来改变分界平面的方向与位置，可以将输 入样本分为两类。
7
Neural Networks & Application
3.1 单层感知器
1）输入二维向量 X=(x1, x2)T 输入样本可以用两输入分量所构成的平面上的一个点表 示，节点j的输出为
oj
=
⎧1 ⎨⎩−1
w1 j x1 + w2 j x2 − Tj > 0 w1 j x1 + w2 j x2 − Tj < 0
z 分类问题越复杂，隐层需要的神经元节点数越多。 z Kolmogorov理论指出：双隐层感知器足以解决任何复杂的
第3章 感知器神经网络
z 单层感知器
z 多层感知器
z 基本BP算法
z 标准BP算法的改进
z 基于BP算法的多层感知器设计基础
z 基于BP算法的多层感知器应用与设计实例
z 课件下载：
http://mail.zzu.edu.cn:8080/aiwebdrive/wdshare/getsh
are.do?action=exhibition&theParam=liangjing@zzu.e
13
Neural Networks & Application
3.1 单层感知器
z ADALINE有两种输出：
1）变换函数为线性函数，输出为模拟量
y = f (W T X ) = W T X
2）变换函数为符号函数，输出为双极性数字量
q
=
sgn(
y)
=
⎧1 ⎨⎩−1
y≥0 y=0
z ADALINE的功能：将ADALINE的期望输出与实际的模拟输出
o3(2) = sgn(-2.1) = -1
W(3) = W(2) + η[d3-o3(2)] X3
= (0.7, 0.8, -0.6, 0) T + 0.1*[1- (-1)] *(-1, -1, 1, 0.5) T
= (0.5, 0.6, -0.4, 0.1) T
z Step 4: 继续输入X进行训练，直到dp – op = 0，p = 1，2，3。
输入层（感知层）
3
单层感知器
X = (x1, x2 ,..., xn )T Neural Networks & Application
3.1 单层感知器
z 1958年，美国心理学家 Frank Rosenblatt 提出一种具有 单层计算单元的神经网络，称为Perceptron, 及感知器。
z 感知器研究中首次提出了自组织、自学习的思想，而 且对于所能解决的问题存在着收敛算法，并能从数学 上严格证明，因而对神经网络的研究起了重要推动作 用。
– ADALINE（Adaptive Linear Neuron） – 1962年由美国斯坦福大学教授Widrow提出 – 主要应用于
z 自适应滤波 z 天气预报 z 心电图诊断 z 语音识别 z 系统辨识 z…
ADALINE原理图
14
Neural Networks & Application
3.1 单层感知器
– 真值表
x1
x2
y
0
0
0
0
1
0
1
0
0
1
1
1
如：经过训练得到分类判决方程为
0.5x1 + 0.5x2 − 0.75 = 0
18
x1 x2
“与”逻辑感知器
Neural Networks & Application
3.2 单层感知器
z “异或”运算
– 真值表
x1
x2
y
x1
0
0
0
0
1
1
1
0
1
x2
1
1
0
如果两类样本可以用直线、平面或超平面分开，称为线性可分，否 则为线性不可分。
3.1 单层感知器
z “或”运算 – 真值表
x1
x2
y
0
0
1
0
1
1
1
0
1
1
1
0
如：经过训练得到分类判决方程为 x1 + x2 − 0.5 = 0
19
x1
x2
1 1 0.5
“与”逻辑感知器
Neural Networks & Application
3.1 单层感知器
z 3.1.5 单层感知器的局限性
用单计算节点实现逻辑运算问题 z “与”运算
z 可见，一个最简单的单计算节点感知器具有分类功能，其分类 原理是将分类知识储存于感知器的权向量（包括阈值）中，由 权向量确定的分类判决界面将输入模式分为两类。
8
Neural Networks & Application
2
3.1 单层感知器
z 3.1.3 感知器的学习算法
采用感知器学习规则，训练步骤如下： z Step 1:
η X
2
ε X，则有Δε
=
−ηε
z 可以看出Δε与ε符号永远相反，所以ε的绝对值在单调下 降，y总在不断地接近d，因此LMS算法可以保证ADALINE在
自适应学习时的收敛性。
16
Neural Networks & Application
4
3.1 单层感知器
z ADALINE自适应滤波器
17
Neural Networks & Application
相比较，得到一个同为模拟量的误差信号，根据该误差信号不
断在线调整权向量，以保证在任何时刻始终保持期望输出与实 际的模拟输出相等（y = d）,从而可将一组输入模拟信号转换 为任意期望的模型d。
15
Neural Networks & Application
3.1 单层感知器
z 3.1.4 自适应线性单元简介
1
du.cn
Neural Networks & Application
3.1 单层感知器
z 3.1.1 感知器模型 单层感知器：只有一层处理单元的感知器
输出层（处理层）
O = (o1, o2 ,..., om )T W j = (w1 j , w2 j ,..., wnj )T , j = 1, 2,..., m
z ADALINE学习算法
采用Widrow-Hoff学习规则（LMS算法） 定义误差ε为期望输出与实际输出之差
ε =d-y
y =WTX
ΔW = η(d j − y) X = ηε X
Δε = Δ(d - y) = Δ(d -W T X ) = −ΔW T X = −ηε X T X
⇒ 为了使Δε与X 无关，令ΔW =
z 解：Step 1: 输入X1，有 W(0)T X1 = (0.5, 1, -1, 0)(-1, 1, -2, 0) T = 2.5 o1(0) = sgn(2.5) = 1 W(1) = W(0) + η[d1-o1(0)] X1 = (0.5, 1, -1, 0) T + 0.1*[(-1) - 1]*(-1, 1, -2, 0) T = (0.7, 0.8, -0.6, 0) T
= (0.7, 0.8, -0.6, 0) T + 0.1*[(-1) - (-1)] *(-1, 0, 1.5, -0.5) T
= (0.7, 0.8, -0.6, 0) T z Step 3: 输入X3，有
d2 = o2(1)，所以W(2)=W(1)
W(2)T X3 = (0.7, 0.8, -0.6, 0)(-1, -1, 1, 0.5) T = -2.1
对各权值w0j(0), w2j(0), …, wnj(0), j=1, 2, …, m (m为计算层的节点 数)赋予较小的非零随机数，设置 p=1； z Step 2: 输入样本对{X p，d p}，其中 X p = (-1, x1p, x2p , …, xnp), d p = (d1p, d2p , …, dnp)为期望的输出向量（教师信号），上标p表示样本对 的模式序号，设样本总数为P，则 p = 1, 2, …, P；
z 单计算层感知器的局限性： 仅对线性可分问题具有分类能力
20
Neural Networks & Application
5
3.2 多层感知器
z 在输入层与输出层之间引入隐层作为输入模式的“内部表 示”，将单（计算）层感知器变成多（计算）层感知器。 x1
S1
S2
x2
具有两个计算层的感知器
21
x1
x2
z 单层感知器的结构与功能都非常简单，所以在解决实 际问题时很少被采用，但在神经网络研究中具有重要 意义，是研究其他网络的基础，而且较易学习和理 解，适合于作为学习神经网络的起点。
2
Neural Networks & Application
3.1 单层感知器
对于处理层中任一节点，其净输入net’j为来自输入层各 节点的输入加权和
9
Neural Networks & Application
3.1 单层感知器
z 已经证明，如果输入样本线性可分，无论感知器的初始权 向量如何取之，经过有限次调整后，总能稳定到一个权向 量，该权向量确定的超平面能将两类样本正确分开。
z 能将样本正确分类的权向量并不是唯一的，一般初始权向 量不同，训练过程和所得到的结果也不同，但都能满足误 差为0的要求。