智能传感器系统(第二版)(刘君华)1-5章 (1)

第6章 神经网络技术与其在智能传感器系统中的应用
图6-1 分层网络功能层次
第6章 神经网络技术与其在智能传感器系统中的应用
2. 所谓相互连接型网络， 是指网络中任意两个单元之间 是可达的， 即存在连接路径， 如图6-2所示。 在该网络结 构中， 对于给定的某一输入模式， 由某一初始网络参数出 发， 在一段给定的时间内网络处于不断改变输出模式的动 态变化之中。 最后， 网络可能会产生某一稳定输出模式， 但也有可能进入周期性振荡状态。 因此， 相互连接型网络 可以认为是一种非线性动力学系统。
式如下:
1
a
0
若 n≥ 0 其它
（6-7）
(2) 对称硬限幅函数： 函数曲线如图6-6(b)所示， 数
学表达式如下：
1
a
0
若 n≥ 0 其它
（6-8）
第6章 神经网络技术与其在智能传感器系统中的应用
图6-6 (a) 硬限幅函数； (b) 对称硬限幅函数
第6章 神经网络技术与其在智能传感器系统中的应用
数选为纯线性函数， 故节点i的输出为
Oi=pi 其中， pi为第i个节点的输入。
（6-10）
第6章 神经网络技术与其在智能传感器系统中的应用
（2） 隐层神经元作用函数。 隐层神经元作用函数选用 对数S型函数， 故节点j的输出为
O1 j
1 f (n1 j ) 1 en1 j
a1j
节点j的总输入：
为神经元的输出， 神经元的输入与输出关系的一般数学表
达式如下：
n
b
R i 1
pi
wli
a f (n)
（6-1）
第6章 神经网络技术与其在智能传感器系统中的应用
其中： n为该神经元（序号l）的总输入； f(n)为表示神经元 输入输出关系的函数， 称为作用函数、 响应函数或传递函 数。 当b=0时， 称为无偏置/无阈值神经元； 当b≠0时， 表 示当神经元所接受的输入达到一定强度后， 才能被激活， 称为有偏置/阈值神经元； 当R=1时， 为单输入神经元； 当 R>1时, 称为多输入或矢量输入神经元， 此时连接权wl1， wl2， …， wli， …， wlR组成一矢量。
第6章 神经网络技术与其在智能传感器系统中的应用 图6-3 神经元模型
第6章 神经网络技术与其在智能传感器系统中的应用
6.2.3
1. S S型作用函数反映了神经元的非线性输入输出特性， 它 又分为对数型、 正切型等多个类型。 (1) 对数型（logsig）： 输入输出特性采用对数函数表 示， 其函数曲线如图6-4(a)所示，数学表达式如下：
第6章 神经网络技术与其在智能传感器系统中的应用
第6章 神经网络技术与其在智能 传感器系统中的应用
6.1 概述 6.2 神经网络基础知识 6.3 示例
第6章 神经网络技术与其在智能传感器系统中的应用
6.1 概
人工神经网络(Artificial Neuron Networks， ANN）是由 大量的处理单元组成的非线性大规模自适应动力系统。 它 是在现代神经生理科学研究成果的基础上提出来的， 是人 们试图通过模拟大脑神经网络处理、 记忆信息的方式设计 的一种使之具有人脑那样的信息处理能力的新“机器”。
1
a
n
1
如果 n 1 如果 1 ≤ n ≤ 1 如果 1 n
（6-5）
(3) 纯线性函数： 函数曲线如图6-5(c)所示， 数学表达
式如下：
a=n
（6-6）
第6章 神经网络技术与其在智能传感器系统中的应用
3. 硬限幅型（hardlim
(1) 硬限幅函数: 函数曲线如图6-6(a)所示， 数学表达
第6章 神经网络技术与其在智能传感器系统中的应用
在确定了BP网络的结构后， 利用输入输出样本集对其 进行训练， 也即对网络的权值和偏置值（bias）进行学习和 调整， 以使网络实现给定的输入输出映射关系。 经过训练 的BP网络， 对于不是样本集中的输入， 也能给出合适的输 出， 这种性质称为泛化（generalization）功能。 因此， BP 神经网络具有拉格朗日（Lagrange）插值法、 牛顿(Newton) 插值法等类似的插值功能， 只是拉格朗日插值法和牛顿插 值法只能用于二维空间的曲线插值， 而BP神经网络可实现 多维空间的曲面插值。
第6章 神经网络技术与其在智能传感器系统中的应用
不同模型的处理功能差别主要反映在对中间层的处理上。 输出层将网络计算结果输出， 是与外部显示设备或执行机 构打交道的界面。 同层之间神经元互不相连， 相邻层神经 元之间的连接强度由连接权值表示。 wji为隐层第j个神经元 与输入层第i个神经元之间的连接权值； vkj为输出层第k个神 经元与隐层第 j个神经元之间的连接权值。
4. 高斯型函数（Gauss
高斯型函数的函数曲线如图6-7所示， 数学表达式如下：
a=e－n2
(6-9)
高斯函数的输出为1和0.5时所对应的输入之间的差值称
为函数的分散度（spread），明显地， 对应于式（6-9）的
分散度为0.833。 高斯神经元函数通常用作RBF网络的隐层
传递函数。
第6章 神经网络技术与其在智能传感器系统中的应用
图6-7 高斯型函数
第6章 神经网络技术与其在智能传感器系统中的应用
对于神经元作用函数的选择， 目前还没有定性的法则， 一般根据应用情况的不同而定，但对于S型非线性函数， 一 般用于多层神经网络的隐层， 而线性函数和限幅函数则多 用于神经网络的输出层。
大脑中的各个神经元之间的连接方式多种多样。 根据 大脑中神经元连接方式的不同，我们同样可以构造出各种各 样的人工神经网络模型。 就目前常用的比较成熟的网络而 言， 可以从不同的角度进行分类。
a
n
如果 0≤ n ≤ 1
(6-4)
1
如果 n 1
第6章 神经网络技术与其在智能传感器系统中的应用
图6-5 (a) 饱和线性函数； (b) 对称饱和线性函数； (c) 纯线性函数
第6章 神经网络技术与其在智能传感器系统中的应用
(2) 对称饱和线性函数： 函数曲线如图6-5(b)所示， 数 学表达式如下：
E
1 m2 2 k 1
dk
O2k
2
（6-15）
第6章 神经网络技术与其在智能传感器系统中的应用
（6-11）
R3
n1 j Oi Iwji b1 j i 1
（6-1２）
第6章 神经网络技术与其在智能传感器系统中的应用
（3） 输出层神经元作用函数。 输出层神经元作用函 数选对数S
节点k的输出：
1 O2k f (n2k ) 1 en2k
（6-13）
节点k的总输入:
l4
n2k O2 j Lwkj b2k j 1
第6章 神经网络技术与其在智能传感器系统中的应用
图6-2 相互连接型网络
第6章 神经网络技术与其在智能传感器系统中的应用
6.2.2
神经元是人工神经网络的基本单元， 图6-3所示为一个
简单的人工神经元模型。p1， p2， …，pi， …， pR表示神 经元（序号l）的R个输入； wlj表示该神经元（序号为l）与 前层第i个神经元的连接权值； b为偏置值， 又称阈值； a
第6章 神经网络技术与其在智能传感器系统中的应用
到19世纪70年代， 虽然由于人工智能、 专家系统的发 展， 使得神经网络的发展一度出现低潮， 但神经网络的研 究并没有因此停滞不前， 80年代神经网络又重新兴起。 目前神经网络广泛应用于传感器信息处理、 信号处理、 自 动控制、 知识处理、 运输与通信等领域。
第6章 神经网络技术与其在智能传感器系统中的应用
Konhonen曾给出一个神经网络的定义， 他指出神经网 络是由一些简单的（通常为自适应的）单元及其层次组织的 大规模并行联结构造的网络， 它致力于按照生物神经系统 的同样方式处理真实世界的客观事物， 从而反映了人脑功 能的若干特征， 但并非神经系统的真实描写， 而是它的简 化、 抽象和模拟。
第6章 神经网络技术与其在智能传感器系统中的应用
图6-8 BP网络模型
第6章 神经网络技术与其在智能传感器系统中的应用
图6-9 BP网络模型示意图
第6章 神经网络技术与其在智能传感器系统中的应用
3. BP
对于图6-9 所示BP网络模型的神经作用函数选用情况
如下：
（1） 输入层神经元作用函数。 输入层神经元作用函
第6章 神经网络技术与其在智能传感器系统中的应用
a
f
(n)
1 1 en
（6-2）
其中: n表示神经元的总输入； a 为神经元的输出。 函数f(n) 的值域为（0， 1）， 是一个单边函数； 如果将f(n)减去0.5 就可得到一个双边函数。
(2) 正切型(tansig)： 函数曲线如图6-4(b)所示， 数学表达 式如下：
2
a
1
1 e2n
（6-3）
第6章 神经网络技术与其在智能传感器系统中的应用
图6-4 S (a) 对数型sig函数； (b) 正切型sig函数
第6章 神经网络技术与其在智能传感器系统中的应用
2. 线性型(line) (1) 饱和线性函数：函数曲线如图6-5(a)所示， 数学表 达式如下：
0
如果 n < 0
第6章 神经网络技术与其在智能传感器系统中的应用
神经网络的研究可以追溯到19世纪40年代。 1943年， 心理学家麦克洛奇（W.McCulloch）和数理逻辑学家皮兹 （W.Pizz）在《数学生物物理公报（Bulletin of Mathematical Biophysics）》上发表了关于神经网络的数学模型。 这个模 型后来一直被称为M-P神经网络模型。 他们总结了神经元 的一些基本生理特征， 提出神经元形式化的数学描述和网 络的结构方法， 神经网络的研究从此开始了。