2人工神经网络导论第2章

w11、w12 …… w1R
2010-11-8
17
图2-5 多输入神经元
2010-11-8 18
该神经元有一个偏置值b， 该神经元有一个偏置值 ，它与所有输入的 加权和累加， 加权和累加，从而形成净输入 n ：
n = w11 p1 + w12 p2 + L + w1R pR + b
这个表达式也可以写成矩阵形式： 这个表达式也可以写成矩阵形式：
2010-11-8
23
2.2.3 网络结构 1．神经网络的层 ． 概念： 概念：层 是由S个神经元组成的单层网络 图2-7是由 个神经元组成的单层网络。 是由 个神经元组成的单层网络。 注意， 个输入中的每一个值均与每个神 注意，R个输入中的每一个值均与每个神 经元相连。权值矩阵现有S行 经元相连。权值矩阵现有 行。 通常， 通常，每层的输入个数并不等于该层中神 经元的数目（即R≠S） 经元的数目（ ）
对数- 形传输函数： ●对数-S 形传输函数： 对数-S 形（logsig）传输函数如图2-4 所示。
a = logsig(wp)
Log-Sigmoid 传输函数
a = logsig(wp + b)
单输入logsig神经元 神经元 单输入
对数-S形传输函数 图2-4 对数 形传输函数
2010-11-8 12
2010-11-8 3
2.2 原理和实例 本课中的图、 本课中的图、数学公式以及解释图和数 学公式的正文，将使用以下符号： 学公式的正文，将使用以下符号： • 标量：小写的斜体字母，如a,b,c。 标量：小写的斜体字母， • 向量：小写的黑正体字母，如a,b,c。 向量：小写的黑正体字母， a,b,c。 • 矩阵：大写的黑正体字母，如 A,B,C。 矩阵：大写的黑正体字母， A,B,C。
2010-11-8
20
概念： 概念：简化符号 本课程将采用简化符号来表示神经元。 本课程将采用简化符号来表示神经元。 图2-6 为利用这种符号所表示的多输入神经 元。
图2-6 具有R个输入的神经元的简化符号
2010-11-8 21
对于图2-1所示的单个神经元设输 例2.1 对于图 所示的单个神经元设输 分别采用hardlm, 入 p = 2, w = 1.2, b = -3，分别采用 hardlims, purelin,satlin,logsig传输函 传输函 求神经元的输出值。 数，求神经元的输出值。
该传输函数的输入在（ ， ） 该传输函数的输入在（-∞，+∞）之间 取值，输出则在0到 之间取值， 取值，输出则在 到1 之间取值，其数学表 达为： 达为：
1 a= -n 1+ e
本书所用的大多数传输函数在表2-1中 本书所用的大多数传输函数在表 中 都可以找到。当然， 都可以找到。当然，你也可以定义不同于 的传输函数。 表2-1的传输函数。 的传输函数
2010-11-8 7
2．传输函数 图2-1中的传输函数可以是累加器输出 净输入） 的线性或非线性函数 的线性或非线性函数。 （净输入）n的线性或非线性函数。可以用特 定的传输函数满足神经元要解决的特定问题。 定的传输函数满足神经元要解决的特定问题。 本书包括了各种不同的传输函数。 本书包括了各种不同的传输函数。下面将 讨论其中最常用的三种。 讨论其中最常用的三种。
第2章 神经元模型和网络结构
2010-11-8 1
2.1 目的 第1章给出了生物神经元和神经网络的 简述。现在来介绍简化的神经元数学模型， 简述。现在来介绍简化的神经元数学模型， 并解释这些人工神经元如何相互连接形成 并解释这些人工神经元如何 各种网络结构。另外， 各种网络结构。另外，本章还将通过几个 简单的实例阐述这些网络如何工作。 简单的实例阐述这些网络如何工作。 本书中将使用本章所引入的概念和符号。 本书中将使用本章所引入的概念和符号。
a = hardlim(wp)
2010-11-8
a = hardlim(wp + b)
9
单输入hardlim神经元 硬极限传输函数 单输入 神经元 图2-2 硬极限传输函数
图2-2的右图描述了使用硬极限传输函数的 的右图描述了使用硬极限传输函数的 单输入神经元的输入/输出特征曲线 输出特征曲线。 单输入神经元的输入 输出特征曲线。从中可 看出权值和偏置值的影响。注意， 看出权值和偏置值的影响。注意，两图之间 的图标代表硬极限传输函数。 的图标代表硬极限传输函数。在网络图中的 这个图标表示使用了该传输函数。 这个图标表示使用了该传输函数。
2010-11-8
8
●硬极限传输函数: 硬极限传输函数: 硬极限传输函数如图2 中的左图所示， 硬极限传输函数如图2-2 中的左图所示， 当函数的自变量小于0 函数的输出为0 当函数的自变量小于0时，函数的输出为0 ; 当函数的自变量大于或等于0 当函数的自变量大于或等于0时，函数的输出 用该函数可以把输入分成两类。 为1 。用该函数可以把输入分成两类。 第三、四章将广泛使用该传输函数。 第三、四章将广泛使用该传输函数。
2010-11-8
2
2.2 原理和实例 2.2.1 符号 神经网络是一门新兴学科。迄今为止， 神经网络是一门新兴学科。迄今为止，人 们还并没有对其建立严格的数学符号和结构化 表示。另外， 表示。另外，神经网络方面的论文和书籍均是 来自诸如工程、物理、 来自诸如工程、物理、心理学和数学等许多不 同领域，作者都习惯使用本专业的特殊词汇。 同领域，作者都习惯使用本专业的特殊词汇。 于是，神经网络的许多文献都难以阅读， 于是，神经网络的许多文献都难以阅读，概念 也较实际情况更为复杂。 也较实际情况更为复杂。 在本课中，我们尽可能地使用标准符号。 在本课中，我们尽可能地使用标准符号。
n = wp + b
其中单个神经元的权值矩阵W只有一列元素。 其中单个神经元的权值矩阵W只有一列元素。 神经元的输出可以写成： 神经元的输出可以写成：
a = f (wp + b）
2010-11-8 19
概念： 概念：权值下标 权值矩阵元素下标的第一个下标表示权值 相应连接所指定的目标神经元编号 目标神经元编号， 相应连接所指定的目标神经元编号，第二个 下标表示权值相应连接的源神经元编号 源神经元编号。 下标表示权值相应连接的源神经元编号。 据此， 的含义是： 据此，w12 的含义是：该权值表示从第二 个源神经元到第一个目标神经元的连接。 个源神经元到第一个目标神经元的连接。
(2.6)
2010-11-8
26
同样，具有 个神经元 个神经元、 同样，具有S个神经元、R 个输入的单层网 络能用简化的符号表示为图2-8 所示的形式。 所示的形式。 络能用简化的符号表示为图
图2-8 由S个神经元组成的层的简化表示
2010-11-8 27
2．多层神经网络 概念： 概念：层上标 1 第一层的值矩阵可以写为 W ,第二层的 第二层的 等等。如图2-9所 权值矩阵可以写为 W 2 ，等等。如图 所 示的三层网络就用了这种标记方法。 示的三层网络就用了这种标记方法。
p
w
Σ
b
n
f
a
1 a = f (wp + b)
2010-11-8
标量权值 得到 ，再将其送 标量输入 乘标量权值 得到wp， 入累加器。 入累加器。 另一个输入1 乘上偏置值b， ●另一个输入 乘上偏置值 ，再将其送入累 加器。 加器。 累加器输出通常被称为净输入n， ●累加器输出通常被称为净输入 ，它被送入 一个传输函数。 一个传输函数。 传输函数f中产生神经元的标量输出 中产生神经元的标量输出a。 ●传输函数 中产生神经元的标量输出 。 若将这个简单模型和第1章所讨论的生 若将这个简单模型和第 章所讨论的生 物神经元相对照， 物神经元相对照，则权值对应于突触的连 接强度，细胞体对应于累加器和传输函数， 接强度，细胞体对应于累加器和传输函数， 神经元输出代表轴突的信号。 神经元输出代表轴突的信号。
2010-11-8
10
●线性传输函数： 线性传输函数： 线性传输函数的输出等于输入（如图2-3 所 线性传输函数的输出等于输入（如图 示）:
a=n
a= purlin(wp)
a = purelin(wp + b)
单输入purelin神经元 线性传输函数 单输入 神经元 图2-3 线性传输函数
2010-11-8 11
2010-11-8 13
表2-1 传输函数 名 称 输入/输出 输入 输出 关系 硬极限函 a=0,n<0 数 a=1,n≥0 对称硬极 限函数 线性函数 饱和线性 函数
2010-11-8
图标 MATLAB 函数 Hardlim hardlims purelin stalin
14
a=-1,n<0 a=1,n≥0 a=n a=0 ,n<0 a=n,0≤n≤1 a=1,n>1
poslin
a=1,具有最大 具有最大n 具有最大 的神经元 竞争函数 a=0,所有其他的 所有其他的 神经元
2010-11-8
C
compot
16
3．多输入神经元 ． 概念：权值矩阵： 概念：权值矩阵： 通常，一个神经元有不止一个输入。 通常，一个神经元有不止一个输入。具 个输入的神经元如图2-5 所示。 所示。 有R个输入的神经元如图 个输入的神经元如图 其输入： 其输入：p1、p2 …… pR 分别对应权值矩阵W的元素 分别对应权值矩阵 的元素：
对称饱和 线性函数
a=-1 ,n<-1 a=n,-1≤n≤1 a=1,n>1
stalins
对数-S函 对数 函 数 双曲正切双曲正切 S函数 函数
2010-11-8
1 a= -n 1+ e
e n - e -n a= n -n e +e
logsig