人工神经元模型及学习方法

• τij—— 输入输出间的突触时延； 输入输出间的突触时延； • Tj —— 神经元 的阈值； 神经元j的阈值 的阈值； • wij—— 神经元 到 j 的突触连接系数或称 神经元i到 权重值； 权重值； • f ( ) —神经元转移函数。 神经元转移函数。 神经元转移函数
o j (t + 1) = f {[
ne t ′j − T j = net j =
∑
ቤተ መጻሕፍቲ ባይዱi =0 =0
n
w ij x i = W T X j
综合以上各式，神经元模型可以简化为： oj=f(netj)=f (WjTX)
神经元的转移函数
神经元各种不同数学模型的主要区别在于 采用了不同的转移函数 转移函数，从而使神经元具 转移函数 有不同的信息处理特性。神经元的信息处 理特性是决定人工神经网络整体性能的三 三 大要素之一，反映了神经元输出与其激活 大要素之一 状态之间的关系，最常用的转移函数有4种 形式。
∑ w x (t )] −T
ij i i =1
n
j}
神经元的数学模型
ne t ′j ( t ) =
∑
n
w ij x i ( t )
i=1
net’j=WjTX
Wj=(w1 w2 … wn)T X=(x1 x2 … xn)T
x0=-1，w0=Tj 令 则有 -Tj=x0w0
神经元的数学模型
净输入与阈值之差可表示为：
满足y=x1.x2逻辑与关系。 。
逻辑或： 二个兴奋性输入） 令T=1，I=0，E=x1+x2（二个兴奋性输入） ， ， 当x1=1, x2=1, E=1+1=2, 当x1=1, x2=0, E=1+0=1, 当x1=0, x2=1, E=0+1=1, 当x1=0, x2=0, E=0+0=0, 满足y=x1+x2逻辑或关系 触发 y=1 触发 y=1 触发 y=1 不触发 y=0
(3)计算各节点的实际输出ojp(t)=sgn[WjT(t)Xp], j=1,2,...,m； (4)调整各节点对应的权值，Wj(t+1)= Wj(t)+η[djp-ojp(t)]Xp, j=1, 2,┄,m, 其中为学习率，用于控制调整速度，太大 会影响训练的稳定性，太小则使训练的收敛速度变慢， 一般取0＜η≤1； (5)返回到步骤(2)输入下一对样本，周而复始直到对所有 样本，感知器的实际输出与期望输出相等。
−x
f(x)=
2 1 + e− x
f (x) 1.0 0
−1 =
1 − e− x 1 + e− x
f (x) 1.0 0.5 x 0
x
-1.0
神经元的转移函数
(3)分段线性转移函数 分段线性转移函数
0 f(x)= x≤ 0
{ cx
1
f (x ) 1 .0
0 ＜ x≤ xc xc＜ x
x 0 xc
神经元的转移函数
假设3：空间整合特性和阈值特性
作为ANN的基本处理单元，必须对全部输入信号进 行整合，以确定各类输入的作用总效果，图(c)表示 组合输人信号的“总和值”，相应于生物神经元的 膜电位。神经元激活与否取决于某一阈值电平，即 只有当其输入总和超过阈值时, 神经元才被激活而 发放脉冲, 否则神经元不会产生输出信号。
人工神经元模型
MP MP模型、感知器模型及其训练学习算法
M-P模型
目前人们提出的神经元模型有很多，其中 最早提出且影响最大的，是1943年心理学 家McCulloch和数学家W.Pitts在分析总结神 经元基本特性的基础上首先提出的M-P模型。 指出了神经元的形式化数学描述和网络结 构方法，证明了单个神经元能执行逻辑功 能，从而开创了人工神经网络研究的时代。
逻辑非： 令T=0，E=0，I=xW=x（一个抑制性输入） ， ， （一个抑制性输入） 当x=1，I=1>0, ， 当x=0，I=0， ， ， 满足逻辑非关系 不触发y=0 不触发 触发y=1 触发
MP模型
能够构成逻辑与、或、非，就可进而组成任 意复杂的逻辑关系，因此，MP模型是按一定 方式组织起来，可以构成具有逻辑功能的神 经网络。 MP模型是最简单的网络，但是由于生物神经 MP 元本质上是模拟过程，过早地把物理量抽象 为0和1，会丢失许多有用信息，因此神经计 算应当将模拟的和数字的技术结合起来。 从最简化的观点看，仍具有一定指导意义。
输出
u w1 w2 w3
w0
阈值
输入
v1
v2
v3
感知器的功能
一个模式识别的简单问题： 一个模式识别的简单问题 某商贩有一个存储各种水果和蔬菜的货仓。 当将水果放进货仓时，不同类型的水果可能会 混在一起，所以商贩非常希望能够有一台帮他 将水果自动分类摆放的机器。
当每个水果通过这些传感器后，它就可以用 一个三维向量来表示。 外形 质地 P= 重量 1 一个标准的桔子可表示为： P1 = -1 -1 一个标准的苹果可表示为：
M-P模型的六点假定
关于神经元的信息处理机制，该模型在简 化的基础上提出了以下六点假定进行描述： 每个神经元都是一个多输入单输出的信息 处理单元 神经元输入分兴奋性输入和一致性输入两 种类型 神经元具有空间整合特性和阈值特性
神经元输入与输出间有固定的时滞，主要 取决于突触延搁 忽略时间整合作用和不应期 神经元本身是非事变的，即其突触时延和 突触强度均为常数
w0
阈值
输入
v1
v2
0 V2 = 1 1 1 V3 = 1 0
v3
0 V4 = 1 0
1 V1 = 0 1
例
用感知器实现逻辑“ 用感知器实现逻辑“与”功能
逻辑“ 逻辑“与”真值 表
感知器学习规则的训练步骤：
（1）权值初始化 （2）输入样本对 （3）计算输出 （4）根据感知器学习规则调整权值 （5）返回到步骤(2)输入下一对样本，周而 复始直到对所有样本，感知器的实际输出与 期望输出相等。 。
感知器模型应用领域
• 感知器模型应用领域： 可实现线性分类、预测等，应用于计 算机视觉、图像处理、模式识别、信号处 理、智能监控、机器人等不同领域。
感知器模型
o1
W1
…
Wj
oj
…
om
○
○ ○
…
W m○
○
x1
○
x2
○
…
xn
xi
X = ( x1 ,x 2 ,...x i ,...,x n ) T
O = ( o1 ,o 2 ,...o i ,...,o m ) T W j = ( w1 j ,w 2 j ,...w ij ,...,w nj )
T
j=1,2,…,m
MP模型应用
• MP模型应用： 可用于实现分类、模式识别等，当前 已经有许多成功的基于M-P神经元模型的神 经网络得到应用，如BP算法，这种算法是 实现人脸识别的主要算法之一。
感知器（Perceptron）模型
1958年，美国心理学家Frank Rosenblatt提出一种具有单层计算单元的 神经网络，成为Perceptron,即为感知器。 感知器是一种前馈网络，同层内无互连， 不同层间无反馈，由下层向上层传递。其 输入、输出均为离散值，神经元对输入加 权求和后，由阈值函数决定其输出。 单层感知器的结构与功能都非常简单，但 却是要就其他网络的基础。
神经元的转移函数
(1)阈值型转移函数 阈值型转移函数
f (x)
1 f(x)=
x≥ 0 x＜ 0
{
0
1.0
x 0
图中所示为单极性阈值型转移函数，具有这一 作用方式的神经元成为阈值型神经元，这是神经 元模型中最简单的一种，MP模型就属于这一类。
神经元的转移函数
(2)非线性转移函数 非线性转移函数
f(x) = 1 1+e
假设1：多输入单输出
图(a) 表明，正如生物神经元有许多激励输入 一祥，人工神经元也应该有许多的输入信号， 图中每个输入的大小用确定数值xi表示，它们同 时输入神经元j，神经元的单输出用oj表示。
假设2：输入类型：兴奋性和抑制性
生物神经元具有不同的突触性质和突触强度，其对输 入的影响是使有些输入在神经元产生脉冲输出过程中所 起的作用比另外一些输入更为重要。图(b)中对神经元 的每一个输入都有一个加权系数wij，称为权重值，其正 负模拟了生物神经元中突触的兴奋和抑制，其大小则代 表了突触的不同连接强度。
神经元的输出
图(d) 人工神经元的输出也同生物神经元一 样仅有一个，如用oj表示神经元输出，则输出 与输入之间的对应关系可用图(d)中的某种非线 性函数来表示，这种函数一般都是非线性的。
神经元模型示意图
神经元的数学模型
o j (t ) = f {[
∑w
i =1
n
ij xi ( t − τ ij )] −T j }
x1 0 0 1 1
x2 0 1 0 1
y 0 0 0 1
感知器结构
x1 x2
○ ○
0.5 0.5
○
0.75 -1
y
wix1+w2x2 -T=0 0.5x1+0.5x2-0.75=0
感知器的学习算法
感知器学习规则的训练步骤：
(1) 对各权值w0j(0),w1j(0),┄,wnj(0)，j=1, 2,┄,m （m为计算层的节点数）赋予较小的非零随机数； (2) 输入样本对{Xp,dp}，其中Xp=(-1,x1p,x2p,┄,xnp)， dp为期望的输出向量（教师信号），上标p代表 样本对的模式序号，设样本集中的样本总数为P， 则p=1,2,┄,P；
MP模型的逻辑表示
MP模型可以表示布尔逻辑关系（与 或 非） 例如逻辑与： ： 设T=2，I=0，E=x1W+x2W=x1+x2 ， ， 当x1=1，x2=1，E=1+1=2， 触发 ， ， ， 触发y=1 当x1=1，x2=0，E=1+0=1， 不触发 ， ， ， 不触发y=0 当x1=0，x2=1，E=0+1=1， 不触发 ， ， ， 不触发y=0 当x1=0，x2=0，E=0+0=0， 不触发 ， ， ， 不触发y=0
1 1 P2 = -1
输出
u w1 w2 w3
w0
阈值
输入
1 P1 = -1 -1
v1
v2
v3
0 W * = 1 0
1 P2 = 1 -1
w0 * = 0
输出
u w1 w2 w3
感知器模型
净输入：
net j =
∑
i =1 =1
n
wij x i
输出：
o j = sgn(net j − T j ) = sgn(
∑
i =0
n
wij xi ) = sgn(W T X ) j
感知器的功能
感知器是一种简单的非线性神经网络，在 线性神经元中加入了阈值函数，也称为线 性阈值元。它可接受实数型信号，而输出 二值离散量(0,1)。它可用于模式分类。
(4)概率型转移函数 概率型转移函数
P(1) =
1 1+e
− x/T
温度参数
MP模型神经元特性函数可表示为
y = f [∑ Wi xEi − T ]
1 y= 0
E = ∑ Wi xEi
E − T ≥ 0, 且I = 0 E − T < 0, 或I > 0
u的输入输出关系如表： E≥T，I=0 ， E≥T，I>0 ， E<T， I=0 ， E<T， I>0 ， y=1 0 0 0