神经网络_第三章：感知器

u1
w1
x
uj
y f (x)
f (x)
un
wn
图2-3-1 单层感知器
第三章：感知器
3.1 单个感知器模型与解决问题的能力
布尔函数的M-P神经元表示:
利用带阈值的M-P人工神经元可以很方便 地实现布尔代数中的许多功能。在布尔代数中， and、or、Not、xoR关系如下表1所示：
x1
x2 and or Not(x1) Not(x2) xoR
是具有单层处理单元的神经网络，非线性作用函数f (•) 是对称
型阶跃函数，见图。
感知器输出：
n
n
y f ( w j u j ) f ( w ju j )
j 1
j0
uj ：感知器的第 j 个输入；w0 （阈值）；u0 1 。 与 MP 模型不同之处：
权值由有导师的学习算法进行调整。
11 0
图 2-3-4
异或问题
u1
结论：单层感知器不能对线性不可分问题实现两类分类。
第三章：感知器
3.6 有关的几个问题
M-P模型在人工神经网络中的地位
首先M-P模型是所有人工神经元中第一个被建 立起来的，它在多个方面都显示出生物神经元所具 有的基本特性。
其次，目前其它形式的人工神经元已有很多， 但大多数都是在M-P模型的基础上经过不同的修正， 改进变换而发展起来。因此M-P人工神经元是整个 人工神经网的基础。
权系数和阈值不是0、1的M-P模型
若 w, R，则M-P模型比只允许 w 取{-1，1}要灵活
的多，但此时仍限制 x {1,1}（或{1，0}），y {1,1}
（或{1，0}），则对于这个M-P人工神经元来说：
y
f(
n
xi wi
)
1
i 1
1
n1
wi xi 0
i 1 n1
wi xi 0
i 1
n 1
y f ( wixi ) k wixi b
i 1
i 1
若取 k 1, b 0
，则其成为一类最简单的连续人工感知神经元。
第三章：感知器
3.1 单个感知器模型与解决问题的能力
定义： a)如果x n的每个向量 x i都在{0，1}或{-1，1}上取值，
且激活函数 f (x) sgn(x)是不连续的:
x n (x1 x2 xn )
权向量:
wn (w1 w2 wn )
2. 感知器的状态值可以为感知器的输出值
y f (wn ; xn )
第三章：感知器
3.1 单个感知器模型与解决问题的能力
连续感知器
连续感知器人工神经元结构及其数学描述如下：
激活函数： y f (o) kgo b
n 1
当M-P人工神经元的输入X可以在R上取值时 ——离散感知器(简称感知器)
若M-P人工神经元的输入 X {x1, , xn } R，n 而其输出值为
y 1,1 或 1,0。则此时的M-P
模型就改进为离散感知器（因为其 输出还是离散的），简称为感知器。
此时感知器人工神经元结构及其数学描述如下：
n1
1
yi f (zi ) f ( j1 wij xij ) 1
1 1
4x1 2x2 3x3 6 0 4x1 2x2 3x3 6 0
第三章：感知器
3.1 单个感知器模型与解决问题的能力
对与（b）
y f (4x1 3x3 2x2 6)
1 1
4x1 2x2 3x3 6 0 4x1 2x2 3x3 6 0
第三章：感知器
3.1 单个感知器模型与解决问题的能力
u1
w1
则
u3
w3
w1 w3
u1
w2 w3
u2
u2
w2
w0
y
此平面与 权值及阈值有关,见图。
u
3
w3
u2
图 2-3-3 三维空间上的两类模式分类
第三章：感知器
3.1 单个感知器模型与解决问题的能力
感知器的分类定义
作为数学模型，我们对感知器作出如下归纳：
1.感知器是一个多输入、单输出的运算系统，表示一个神经元 的运算特性，它的输入状态向量记为：
表 2-3-3
u1 u2
y
00 0
u2
01 1
10 1
11 0
图 2-3-4
异或问题
u1
结论：单个感知器不能对线性不可分问题实现两类分类。
第三章：感知器
3.1 单个感知器模型与解决问题的能力
• 单层感知器工作原理
对于只有两个输入的判别边界是直线（如下式 所示）,选择合适的学习算法可训练出满意的 和 ， 当它用于两类模式的分类时，相当于在高维样本空 间中，用一个超平面将两类样本分开。
但 w, R 与w, Z 相比并无多大改进。
第三章：感知器
3.1 单个感知器模型与解决问题的能力
例：试说明下列两个M-P人工神经元是等价的。
分析：对于（a） y f (0.4x1 0.3x3 0.2x2 0.6)
1 1
0.4x1 0.3x3 0.2x2 0.6 0 0.4x1 0.3x3 0.2x2 0.6 0
根据各个图及M-P模型，我们有
（1）
{ y f (x1 x2 2)
1 0
x1 x2 2 0 x1 x2 2 0
{1
(x1, x2 ) {(1,1)}
0 (x1, x2 ) {(0,0),(0,1),(1,0)}
（2）
1 y f (x1 x2 1) { 0
x1 x2 1 0 x1 x2 1 0
第三章：感知器网络
145014208 王菁
第三章：感知器
▪ 人的视觉是重要的感觉器官，人通过视觉接受 的信息占全部信息量的80~85%。
▪ 感知器是模拟人的视觉，接受环境信息，并由 神经冲动进行信息传递的神经网络。
▪ 感知器分单层与多层，是具有学习能力的神经 网络。
第三章：感知器
3.1 单个感知器模型与解决问题的能力
第三章：感知器
3.2 单层感知器模型与解决问题的能力
在上一节中指出了线性单个感知神经网络只能实现两类 分类，如果要进行多于两类的分类将怎么办？生物医学已经 证明：生物神经系统是由一些相互联系的，并能互相传递信 息的神经细胞互连构成。因此这就使我们自然地想到是否可 将单个的感知神经元连成网络形成一个单层的网络？
第三章：感知器
3.6 有关的几个问题
人工神经网络常见的连接形式有：方式
1、单神经元（M-P模型、单感知器、单连续 感知机）；
2、单层前向连接的神经网络； 3、多层前向连接的神经网络（BP、RBF）； 4、单层带有反馈连接的神经网络（Hopfield 网）； 5、多层回归（递归）神经网络； 6、局部连接的人工神经网络（细胞神经网、 小脑模型等）。
此直线方程：
y w1u1 w2u2 0
则
u2
w2
w1 w2
u1
见图，此直线与权值及阈值 有关。
u0 1
u1 w1
w0
y
u
2
w2
(a) 分类器结构
u2
u1
(b) 平面上两类模式分界线
图 2-3-2 平面上两类模式分类
第三章：感知器
3.1 单个感知器模型与解决问题的能力
用图所示三输入 / 单输出的单层感知器，输入输出：
由相应的感知神经元组成的网络就称为相应神经网络，如 M-P神经网络、感知器神经网络、连续感知器神经网络。
第三章：感知器
3.1 单个感知器模型与解决问题的能力
例 线性不可分集合。
二维平面上的两类模式——异或（XOR）问题，见表。 二维平面中不存在一条直线，将输入模式分为两类，此输入 模式称线性不可分集合，见图。 可见：单层感知器不能解决异或问题。
第三章：感知器
3.6 有关的几个问题
对M-P人工神经元进行改进的主要方式
1、神经元的内部改造：对不同的人工神经元取不同的非线 性函数F（·）；对人工神经元的输入和输出做不同的限制： 离散的（某些离散点）和连续的（整个实数域）。 2、人工神经元之间的联接形式上进行改造——神经网络的 结构上的改造。 3、在人工神经网络权值和阈值取求的方法上改造——算法 的改进。 4、其它形式的改造，譬如（1）与（2）结合起来改进； （2）与（3）结合起来改进等等。
0
0
0
0
1
1
0
0
1
பைடு நூலகம்
0
1
1
0
1
1
0
0
1
0
1
1
1
1
1
1
0
0
0
第三章：感知器
3.1 单个感知器模型与解决问题的能力 且 x1、x2 [1,0] ，Y [1,0]
可以将图用 M P 模型来建立，Y 与 x1 、x2 之间的关系：
上面几个人工 神经元都满足M-P 模型。
第三章：感知器
3.1 单个感知器模型与解决问题的能力
f
(x)
1 1
x0 x0
或
1 x 0 f (x) 0 x 0
那么这个感知神经元被成为M-P模型。
b) 如果 xn ，Rn 但激励函数 f (x) 是离散的，那么这个
感知神经元被称为离散感知器——常简称为感知器。 C) 如果 xn Rn 且 f (x) 是连续函数，那么这个感知
神经元称为连续感知器。
zi 0 zi 0
第三章：感知器
3.1 单个感知器模型与解决问题的能力
用图所示二输入/单输出单层感知器，输入输出描述：
y
f (w1u1 w2u2
)
f (•)
1 0
, •0 , •0
即
y
1
0
, ,
w1u1 w2u2 w1u1 w2u2
可见：输入输出为线性可分集合，一定可找到一条直线，将输入模式分为两类，
1 {
(x1, x2 ) {(1,1), (1, 0), (0,1)}
0
(x1, x2 ) {(0, 0)}
第三章：感知器
3.1 单个感知器模型与解决问题的能力
（3）
y f (x) { 1 0
x0 x0
{ 1 x {0} 0 x {1}
显然是符合逻辑运算要求。
第三章：感知器
3.1 单个感知器模型与解决问题的能力
y
f (w1u1 w2u2 w3u3 )
f (•)
1 0
, ,
•0 •0
即
y
1
0
, w1u1 w2u2 w3u3 , w1u1 w2u2 w3u3
可见，输入输出为线性可分集合，一定可找到一个平面，
将输入模式分为两类，平面方程：
u0 1
u1
y w1u1 w2u2 w3u3 0
结构
第三章：感知器
3.2 单层感知器模型与解决问题的能力
例 线性不可分集合。
二维平面上的两类模式——异或（XOR）问题，见表。 二维平面中不存在一条直线，将输入模式分为两类，此输入 模式称线性不可分集合，见图。 可见：单层感知器不能解决异或问题。
表 2-3-3
u1 u2
y
00 0
u2
01 1
10 1