人工神经网络

2、通用的神经元模型 、 y f（.）
I
∑
神经元处理 节点
输入向量 X = [ x0 , x1， ，x N－1 ] ......
权向量w = [ w0 , w1 ,......, wN −1 ]
净输入 I＝W X − θ = X W − θ = ∑ w j x j − θ
T T N −1 j =0
w0 w
W
(1) P×N
X1×N
P个
( 2)
f (.)
M ×P
Y1×P = X1×N ⋅ [W
(1)
(1) T
]N×P
]P×M
( 2) T
W
M个
f (.)
Y1×M
( 2)
= Y1×P ⋅ [W
(1) (1) T
( 2) T
= X1×N ⋅ [W = X1×N ⋅ W
(
]N×P ⋅ [W ⋅W
(1)
( 2) M ×P T
P×N
)
]P×M
T
= X1×N ⋅ [W ]N×M
3、反馈网络 、
输入
输出
i ωij ＝ωji j
注2：前向网络主要是函数映射。可用于模式识别和函数逼近和分类。 反馈网络按对能量函数的极小点的利用来分类。 有两种：（1）主要用作各种联想存储器 （2）主要用于求解最优化问题
二、工作方式及学习（训练） 工作方式及学习（训练）
细胞体
轴突
树突
神经末 梢
细胞体内核
突触
人脑包括1010～1011 个神经元，每个神经元平均与103～105个其他 10 10 神经元相连。连接部分——突触。 1、突触 一个细胞的轴突末梢（输出信号）通过突触，将信号输入给另一 个细胞的树突（树突负责接收信号） 2、突触间隙 在突触处，两个细胞并未直接连接，存在间隙。它是生物神经元 进行信息传递和存储的重要部位，也是电系统和化学系统的耦合 部位。（电－>化－>电反应） 3、加权 两个神经元之间信号传递时“耦合”紧密的“程度”。或者说突 触连接的“强度”。权值有极性（正负）大小之分。 4、兴奋性与抑制性突触 当突触前的一个神经元使突触后的神经元的电位提高并且使其膜 电位接近阈值，使后一个神经元变得易于兴奋，则称此突触为 “兴奋性突触”。 反之，当突触前的一个神经元使突触后的神经元的电位下降，使 后一个神经元难以兴奋，则称此突触为“抑制性突触”
b、对整个网络而言
Y＝ f ( XW 权矩阵：
T
− Θ ) = ( y 0 , y 1 ,..., y m −1 )
Θ = (θ 0 , θ 1 ,..., θ m −1 ) w 0,0 W0 M M W = wi ,0 W = i M M w m −1 , 0 W m −1 w 0 ,1 K K w 0 , N −1 M M M w i ,1 K K w i , N −1 . M M M w m −1,1 L w m −1, N −1
{( X 1.D1)..( X 2.D 2)....( Xk . Dk )......}
样本对集
调整 W 误 差 信 号 E
∑
输出
{X 1. X 2.... Xk.....}
{Y 1..Y 2....Yk.....}
实际响应
－ ＋
应有的响应
导师 图1 有监督学习的ANN
{D1.D 2...Dk....}
θ i ——第i个神经元的阈值净输入： I i =来自∑w xij jj
+ 1，当I i > θ i时 yi = － 1，当I i < θ i时
如果考虑输入至输出的延时作用（动态），表达式可修正为：
以上M-P模型只允许在二进制状态离散时间下操作，并且假设权值 和阈值固定不变。因此，它是最古老的神经元模型。
二、人工神经元模型
1、M-P模型
1943年ANN起始年代，Warren Mcculloch 和Walter Pitts提出 的第一个模型，简称M-P模型。
X1 X2
ωi1 ωi2 ωij
i
yi
Xj
ωiN
Xn
M-P模型的数学表达式：
x j——第i个神经元接收到的第j个神经元送入的信号（二值量 二值量） 二值量 wij—— 突触强度（第j个神经元与第i个神经元连接的权值）固定值 固定值
所研究的内容、 § 1、3 ANN所研究的内容、应用领域及存在的问题 、 所研究的内容 一、研究内容分为以下几个方面
1、生物原形的研究
从生物学、心理学、解剖学、脑科学、病理学等生物科学方面研 究神经细胞、神经网络、神经系统的生物原形结构及其功能机理。
2、建立理论模型（广义） 、建立理论模型（广义） 是对生物原形的抽象） （是对生物原形的抽象）
0、5
(3) s函数（又称sigmoid函数）
fs(u)
0
u 0
f (u ) = u
f s (u ) =
1 1 + e
u
−u
(2)硬限幅函数（包括符号函数）
fh(u) 1 0 u -1 +1
f (u ) = sgn(u )
0
u
f
h
1, u ≥ 0 (u ) = 0,u < 0
sgn(
+ 1, u > 0 u) = − 1, u ≤ 0
何为人工神经网络？特点？ § 1、2 何为人工神经网络？特点？
Artificial Neural Network 简写为ANN. 简写为 ANN是一种模拟人的脑神经结构及其功能的信息处理系统。 信息处理系统。 信息处理系统 ANN模拟和实现人在认知时的1、感知过程 2、形象思维过程 3、分布式记忆过程 4、自组织、自学习过程
三、存在的问题
1、迫切需要建立ANN的理论体系（需要宏观的理论指导） 目前尚未形成统一、完整的理论体系。 2、迫切需要硬件制作技术的新突破 3、ANN模型对生物神经网络的模拟逼进程度有待于进一步提高。
§ 1、4 从人脑神经元到人工神经元 一、生物神经元结构（人脑神经元细胞的基本结构） 生物神经元结构（人脑神经元细胞的基本结构）
2、多层前向网络（由单层级联而成） 、多层前向网络（由单层级联而成） y0 yi
… …
ym
输出层 隐含层 （一般1～2层）
…
输入层
。
。
… …
。
输入节点层 （零层）
x0
x1
xN −1
注1：构成多层网络时，各层间的功能函数 f (.) 应是非 线性的，否则再多层的功能只能相当于一层。 设：两层网络，功能函数 f (u) = u 是线性的。 T 将阈值放入X中， = X ⋅W Y
{. X 1. X 2.... Xk.....}
训练集 W（自动调节） 图2 无监督学习的ANN 输出
(2) 学习算法（学习规则） 学习算法（学习规则）
据生物原形的研究，建立神经元、神经网络的理论模型（概念 模型、知识模型、物理化模型、数学模型等）
3、技术模型的研究（网络模型与算法研究） 技术模型的研究（网络模型与算法研究） 是对理论模型的物理实现或数学描述） （是对理论模型的物理实现或数学描述）
在建立理论模型的基础上，构造具体的神经网络模型（以实现 计算机模拟或者准备制作硬件）包括对网络学习算法的研究。— —这是我们这门课程主要讨论的内容
1、工作方式 、 主要分两个阶段： 第一个阶段是学习期，此时各计算单元状态不变，各连线上的权值 可通过学习来修改。（记忆） 第二个阶段时工作期，此时各连接权固定，计算单元状态变化，以 达到某种稳定状态。（分类、识别、逼近、聚类、等） 2、学习（训练） 学习（训练） 学习 （1）学习方式： ）学习方式： （a）有监督的学习（有导师的学习）：在学习开始前，要提供由已知 输入向量和应该输出变量所构成的“样本对”集——（导师）。该 类学习多用为函数逼近、分类和模式识别等。 （b ）无监督的学习：学习开始前，只提供由已知输入向量所构成的 “样本”集（训练集）。该类学习多用为聚类。
ANN
2003年下学期硕士研究生课程 授课老师：常建平
第一章 绪论
§ 1、1 研究人工神经网络的意义
计算机与人脑相比存在某些缺陷 1、计算机串行的工作方式决定了它只具有“逻辑思维”能力，而不 具有“形象思维”能力。 2、计算机只能“被动”的执行人为它编写好的程序，没有“主动” 的“学习”能力。 3 3、计算机“一对一”的信息存储方式使得它没有容错性。
ym −1
Qm－1 ωm-1,N-1
ω0 ω ω0 01 j
0
ωij
。
。 … …
。 …
…
。
x0
x1
xj
x N −1
a、对第i个神经元而言
yi = f ( X W i
T
Wi = ( wi 0 , wi1 ,...wiN −1 ) − θ i ), 其中 X = ( x0 , x1 ,..., x N −1 )
4、人工神经网络应用系统 是依赖于技术模型研究的成果） （是依赖于技术模型研究的成果）
在构造作出的网络模型及算法的基础上，利用ANN组成实际的应 用系统。
二、应用领域
从学科领域讲， ANN可用于函数逼近、分类、模式识别、聚类、 优化、联想和概率密度估计等领域。 ANN能在一定程度上模拟生物神经系统的智慧和功能，使得它在 信息处理和智能科学中有着极其重要的地位，世界各国的科学家们 对神经网络这门科学给予了极大的关注，并且成为国际前沿研究的 热点 例如：美国国防部预研局（Denfense Adcanced Research Projects Agency ）资助众多科学家和军事专家，经过多方面严格而周密的 论证，决定把基于神经网络的自动目标识别、声纳信号处理、语音 识别、地震勘探信号处理等作为研究的重点，并认为他们是最有前 作为研究的重点， 作为研究的重点 途且能取得重大突破的应用领域。 途且能取得重大突破的应用领域。 以下是根据一些文献的介绍列出的ANN在一些领域中应用的情况： 1、模式识别与图像处理 、 印刷体和手写体字符识别、语音识别、指纹识别、人脸识别、签 印刷体和手写体字符识别、语音识别、指纹识别、人脸识别、 字识别、图像压缩复原、 序列分析、 字识别、图像压缩复原、DNA序列分析、癌细胞识别、心电图脑 序列分析 癌细胞识别、 电图识别、油汽藏检测、加速器故障检测、 电图识别、油汽藏检测、加速器故障检测、电路故障检测