1人工神经网络模型

第二讲
人工神经网络模型 应用与仿真
Applications & Simulation of Artificial Neural Network Models

人工神经网络的应用
人工神经网络的应用领域极其广泛， 比较擅长的应用领域包括： 模式识别 人工智能 控制工程 优化计算和联想记忆 信号处理

神经网络的软件仿真系统
基于传统计算机的软件仿真系统，通用性强， 为用户研究和设计神经网络提供了很好的开发平 台，因而被迅速推广。
最有代表性的神经计算商用软件有： RCS：1987年，Rochester 大学研制 P3：1986年，Ziper & Rabin 研制 MIRRORS：1988年， Maryland 大学研制 Neural Networks：1989年，Neural Ware公司 GKD：1990年，国防科技大学研制
信号可以是起刺激作用的，也可以是起抑制作用的， 即连接权的值（权值）可正、可负


每个神经元有一个阈值 神经元可以对接受的信号进行累积（加权）
神经元的兴奋程度（输出值的大小），取决于其传输 函数及其输入（输入信号的加权与阈值之和）

wk.baidu.com
人工神经元的一般模型
甲：讲了半天， 人工神经元就 是一个公式！ 太简单了吧？
smell
taste
seeing
大脑的组织结构和功能是人体器官中 最为复杂的，它接受外界信号、产生感觉、 形成意识、进行逻辑思维、发出指令产生 行为，掌管着人们的语言、思维、感觉、 情绪、运动等高级活动。
虽然人们还并不完全清楚生物神经网络是如 何进行工作的，但幻想构造一些“人工神经元”， 进而将它们以某种方式连接起来，以模拟“人脑” 的某些功能。 早在1943年，心理学家W. McCulloch和数学 家W. Pitts合作，从数理逻辑的角度，提出了神经 元和神经网络最早的数学模型（MP模型），标志 着神经网络研究的开端。 半个多世纪以来，神经网络经历了萌芽期、第 一次高潮期、反思低潮期、第二次高潮期、再认识 与应用研究期五个阶段。目前，神经网络已成为涉 及计算机科学、人工智能、脑神经科学、信息科学 和智能控制等多种学科和领域的一门新兴的前沿交 叉学科。

生物神经元的信息传递与处理
神经细胞单元的信息：宽度和幅度都相 同的脉冲串 。 兴奋与抑制：轴突输出的脉冲串的频率 高与低，决定神经细胞是兴奋还是抑制。 兴奋性的突触可能引起下一个神经细胞兴 奋，抑制性的突触使下一个神经细胞抑制。
膜电位：神经细胞的细胞膜将细胞体内 外分开，从而使细胞体内外有不同的电位， 一般内部电位比外部低，其内外电位差称 之为膜电位。
乙：我听 说……
甲：神经 网络真那 么神奇吗？

人工神经网络的模型
在人工神经网络的发展过程中，从不 同的角度对生物神经系统不同层次的描述 和模拟，提出了各种各样的神经网络模型， 其中具有代表性的网络模型有： 感知器 线性神经网络 BP网络 径向基函数网络 自组织网络 反馈网络

关于神经网络的实现技术
神经网络的实现技术可以分为全硬件实现和虚 拟实现两个方面。 全硬件实现研究的核心是神经器件的构造，其 主要研究方向有： 电子神经芯片的研究 光学神经芯片的研究 分子/生物神经芯片的研究
虚拟实现主要分为以下几类： 传统计算机上的软件仿真 神经计算的多机并行实现 神经网络加速器

甲：这样 便宜就有 水用了？！ 乙：想得 美，交了 钱别人才 放水的！
生物神经元的信息传递与处理示意图


生物神经元的基本特征
神经元具有感知外界信息或其它神经元信息的输入端 神经元具有向外界或其它神经元输出信息的输出端
神经元之间的连接强度（连接权）决定信号传递的强 弱，而且联接强度是可以随训练改变的
2 b2
2 lwS ,21,S1
2 n2
f2
2 nS 2
pR
iw 1,11, R S

1 bS1
n11 S
a1 1 S
f
1
2 aS 2

2 bS 2
f2

简单公式中的复杂问题
n yi f ( xi ) f wij pi i j 1

人工神经网络的分布式存储是如何实现的？ 信息分布存储在众多神经元的权值和阈值中。 神经元的权值和阈值是如何确定的？ 人工神经网络的学习与训练。

感知器模型
感知器神经元模型
p1 p2
单层感知器神经网络模 型
输入向量 网络层
1 n1
w1,1
w1, 2 w1, R b
n f
a
11 iw1,,1
1 a1
p1 p2
pR
b11

n1 2
a1 2
S1 R P R1 1 R IW1 n1
1
a
1
1 b2
+ b
1
S 1
pR
S 1
1
iw

感知器的学习规则
从 规则中可以看出，感知器神经网络的训练， 需要提供训练样本集，每个样本由神经网络的输 入向量和目标向量对构成，n个训练样本构成的 训练样本集为：
{p1 , t1},{p 2 , t 2 },,{p n , t n },
每一步学习过程，感知器神经元的权值阈值进 行调整的算法可表示为：

神经元的传输函数代表什么含义？它对神经元和 神经网络有什么影响？ 传输函数表示了神经元对输入信号加权的响应。 不同的传输函数，代表不同的神经元模型，进而 影响神经网络的结构。

ANN定义
人工神经网络（ANN — Artificial Neural Networks）是采用可物理实现的系统来模仿人脑神 经细胞结构和功能的系统。 从生物神经网络到人工神经网络的探索，虽然 经历了半个多世纪的里程，但探究大脑—思维—计 算之间的关系还刚刚开始，关于脑的计算原理及其 复杂性；关于学习、联想和记忆过程的机理及其模 拟等方面的研究道路还十分漫长。 未来的脑科学将加强与行为科学、认知科学和 信息科学的联系。脑科学与信息科学及技术的结 合将引起以脑为中心的科技革命 智能革命!

MATLAB及其工具箱
MATLAB 是 Math Works 公司于1982年推出 的一套高性能的数值计算的可视化软件，意为 “矩阵实验室”（MATrix LABoratory）。其强 大的扩展功能为各个领域的应用提供了基础，由 各领域的专家学者相继推出了各种MATLAB工 具箱。目前主要的工具箱包括： Communications Toolbox Control System Toolbox Filter Design Toolbox Fuzzy Logic Toolbox Image Processing Toolbox
信息的分布式存储及其 与信息处理的合二为一 具有学习能力以及自组 织、自学习性，善于联想、 综合和推广


人工神经网络的一般结构
网络层 1
11 iw1,,1
输入向量
网络层 2 f
1
p1 p2

n
1 1
a
1 2
1 1
, lw12,11
n12

f
a12 2
2 a2
b11

1 b2
n
1 2
f
1
a
b12

1,1 S1 ,R

1 bS1
n
1 S1
a1 1 S
S1 1
S1

感知器神经网络特点
阈值型传输函数
甲：什么是 感知器？ 乙：我在网 上看见……
单层网络
只适于解决线性可分问题
感知器神经网络的学习 训练：权值和阈值的调整过程被称为“训练”。 学习：神经网络在训练的过程中，便学到了把 输入空间影射到输出空间的能力，称之为神经网 络的“学习”，调整权值和阈值的算法称之为学 习规则或训练算法。
1
010 010 010 010
0
111 101 101 111

感知器的MATLAB仿真
问题分析 从数字1和0的二值化图像卡片可以看出， 每一个图像卡片可以分成43的矩形方块，假设 每个小方块有数字的笔画划过（即在小方块内 二值图像元素的值至少有一个不为0），则记为 1，否则记为0，那么图像卡片上所有小方块表 达了有0、1二值组成的一个模式（或向量）， 可以作为感知器神经网络的输入向量。 如果我们设计的感知器神经网络使得网络 的输出在图像卡片上的数字为奇数时输出为0， 偶数时输出为1，则可以完成其奇偶分类。

感知器的学习规则
感知器的学习是一种有教师学习方式，其学习 规则称之为规则。若以 t 表示目标输出，a 表 示实际输出，则
e t a
网络训练的目的，就是要使 t a。 当e=0时，得到最优的网络权值和阈值； 当e>0时，说明得到的实际输出小于目标输出， 应增加网络权值和阈值； 当e<0时，说明得到的实际输出大于目标输出， 应减小网络权值和阈值。

即 便 是 Pentium-II 微处理器，其时钟频 率 也 高 于 200MHz 。 相反地，一个神经元 的脉冲发放率典型值 仅 仅 在 100Hz的 范 围 内。计算机要快上百 万倍！但为何大脑能 够瞬间完成对飞机图 像的识别，计算机反 而对此的反应却如此 迟钝呢？



神经网络的特点
信息的并行协同处理
W(k 1) W(k ) epT
b(k 1) b(k ) e

感知器的MATLAB仿真
单层感知器的MATLAB仿真主要步骤： 以newp创建感知器神经网络 以train训练所创建的网络 以sim对训练后的网络进行仿真
单层感知器应用实例 设计一单层单输出感知器神经网络，进行 二值化图像卡片上数字0-9的奇偶分类。
乙：还是听 听再说……
n yi f ( xi ) f wij pi i j 1
What’s this？
Don’t ask me
Wait……….. I don’t know!
It’s a plane.


问题：
为什么100天的小孩没有 成人一样的识别能力呢？

MATLAB Neural Network Toolbox
Neural Network Toolbox4.0.2包含了170多种 工具箱函数，另外还提供了神经网络动态仿真环 境SIMULINK，允许用户自定义神经网络和自 定义网络函数。 在MATLAB神经网络仿真程序的设计中， 主要用到以下几个方面的NN Toolbox函数： 神经网络的创建/设计函数 初始化函数 训练/学习函数 网络仿真函数

MATLAB及其工具箱
目前主要的工具箱（续）： Instrument Control Toolbox Mapping Toolbox Model-Based Calibration Toolbox Predictive Control Toolbox Neural Network Toolbox Optimization Toolbox Differential Equation Toolbox Signal Processing Toolbox System Identification Virtual Reality Toolbox Wavelet Toolbox
第一讲
从生物神经网络到 人工神经网络
From Biological Neural Network To Artificial Neural Network
What’s this?
• 大脑
Brain
重量: 约1200－1500g 体积: 约600Cm3 神经元数: 约1011个
feeling
hearing

膜电位加权：突触使神经细胞的膜电位 发生变化，且电位的变化是可以累加的， 该神经细胞膜电位是它所有突触产生的电 位加权，当该神经细胞的膜电位升高到超 过一个阈值时，就会产生一个脉冲，从而 总和的膜电位直接影响该神经细胞兴奋发 放的脉冲数。

突触延迟：突触传递信息需要一定的延 迟，对温血动物，延迟时间为0.3~1.0ms。

生物神经元
神经末梢与突触：轴突末端有许多细的分枝， 轴突：神经元从细胞体伸出一根粗细均匀、表 称之为神经末梢，每一条神经末梢可以与其它神 树突：从细胞体延伸出象树枝一样向四处分散 面光滑的突起，长度从几个m到1m左右，称为 经元连接，其连接的末端称之为突触。其功能是 开来的的许多突起，称之为树突，其作用是感受 轴突，它的功能是传出从细胞体来的神经信息， 将轴突传出来的信息传给其它神经细胞，相当于 其它神经元的传递信号，相当于信息的输入通道。 相当于信息的输出通道。 信息的输入/输出接口。