第三章常用神经网络
3.1前馈型人工神经网络
前馈神经网络是神经网络中的一种典型分层结构，信息从输入层进入网络后逐层向前传递至
输出层。根据前馈网络中神经元转移函数、隐层数以及权值调整规则的不同，可以形成具有各种功
能特点的神经网络。
例如，如果转移函数采用线性阈值函数或符号函数且只有一个输出层（无隐层），或有一个以上的隐层，则分别称为单层感知器和多层感知器；如果转移函数采用非线性连续有界函数且只有一个输出层（无隐层），或有一个以上的隐层，则分别称为单层BP网络和多层BP网络。
3.1.1 线性阈值单元组成的前馈网络
这类前馈网络的转移函数采用线性阈值函数或符号函数。
1．单层感知器
1958年，美国心理学家Frank Rosenblat提出一种具有单层计算单元的神经网络，称为Perception，即感知器。感知器是模拟人的视觉接受环境信息，并由神经冲动进行信息传递。感知器研究中首次提出了自组织、自学习的思想，而且对所能解决的问题存在着收敛算法，并能从数学上严格证明，因而对神经网络的研究起了重要推动作用。单层感知器的结构与功能都非常简单，以
单层感知器（图3-1
神经元基本模型(即MP
基本模型。
1)
图3-1
为第j（j=1,2,…m
x n）T，通过一个阈值函数f(
从数学观点来说，
等于0时，输出为1
神经元的连接权值w ji
当输入为X，对于j
n
i
i ji
j
x w
s=∑
=1其输出为：
2 )(1
j n
i i ji j x w f y θ+=∑= （3-1）
转移函数f (?)是阈值函数（即单位阶跃函数），故： ???
???
?
<+≥+=∑∑==0
,00,11
1j n
i i ji
j n
i i ji
j x w
x w
y θθ (3-2)
通过转移函数，其输出只有两个状态，“1”或“0”，所以，它实际上是输入模式的分类器，即可以辨识输入模式属两类中的那一类。
当单层感知器模型只有1个输出结点时，称为简单感知器，其实就是MP 模型。
对于输出结点为的简单感知器，若输入向量的维数n=2,则向量X 用两维平面上的一个点来表示。设被观察的模式只有A 、B 两类，则：
（3-3）
A 、
B 两类分别属于集合R 1 (A ∈R 1)、R 2(B ∈R 2),且R 1与R 2是 线性可分的，如图3-2所示。
利用简单感知器的计算式（3-3）可以实现逻辑代数中的一些运算： （1）当取w 1=w 2=1, θ=-1.5时， 完成逻辑“与”的运算功 能，即 x 1∧x 2；
（2）当取w 1=w 2=1, θ=-0.5时，完成逻辑“或”的运算功能, 即x 1∨x 2；
（3）当取w 1= -1,w 2=0, θ= 1时，完成逻辑“非”的运算功能，
即x 。
若x 1与x 2分别取布尔值，逻辑运算列入表3-1中。
表3-1 逻辑运算表
若净输入为零，便得到一条线性的模式判别函数：
??
?→→=++=+=∑
=类类
B A x w x w f x w f y i i i 01)()(2
12211θθ图3-2 线性可分两维模式
3
02211=++θx w x w
设 w 1=w 2=1 θ= -1.5 则 x 1
有输入样本取为“0”和“1输入样本记为（x 1,x 2）：
(0,0),(0,1),(1,0),(1,1),用表“*图3-3a 所示。
若θ=-0.5,其他相同，则直线 x 1+x 2-0.5=0进行“或”运算，可分性如图3-3 b 所示。 2）单层感知器的学习方法
感知器的学习是有导师的学习，样本向量X 输入到感知器中，感知器的各处理单元按（3-1）式计算，得到实际输出yj,
算法就是前面介绍的感知器学习算法，一单层多结点感知器模型，（1（2）输入样本对{X p ,d p },样本对数望的输出向量（导师信号）；
（3）将X p )s g n
(p j jp X W y = （j=1,2,…，m （4）计算各结点对应的权值：
jp jp j j y d t W t W [)()1(-+=+?η其中η为学习率，一般取0<η<1,取值太大影响训练稳定性，太小则使训练的收敛速度变慢。 （5）返回步骤（2），输入下一对样本，周而复始直到d jp =y jp 即d jp -y jp =0为止。
例3-1 单神经元感知器有3个样本对，分别如下：
X 1=[1 -2 0 1 ]T d 1=-1 X 2=[0 1.5 -0.5 -1]T d 2=-1 X 3=[-1 1 0.5 -1]T d 3= 1
设初始权向量W o =[1 -1 0 0.5], η=0.1，试根据上面的学习规则训练感知器。 解：
（1）输入X 1,得
4 s 1=W o X 1=[1 -1 0 0.5]????
?
???????-1021=2.5
y 1=s gn (2.5)=1
?W 1=η(d 1-y 1)X 1T
= 0.1(-1-1)[1-2 0 1]=[-0.2 0.4 0 0.2]
W 1=W O +?W 1
=[1 -1 0 0.5]+[-0.2 0.4 0 0.2]=[0.8 -0.6 0 0.7] （2）输入X 2,得
s 2=W 1X 2=[0.8 -0.6 0 0.7] ????
?
????
???--15.05.10= -1.6 y 2=sgn (-1.6)= -1
由于y 2=d 2 故?W 2=0 , W 2=W 1+?W 2=W 1
（3）输入X 3, 得
S 3=W 2X 3=[0.8 -0.6 0 0.7] ????
?
???????-15.011= -2.1
故y 2=sgn (-2.1)= -1
所以 ?W 3=η(d 3-y 3)X 3T =0.1[1-(-1)][-1 1 0.5 -1]=[-0.2 0.2 0.1 -0.2]
W 4 =W 3+?W 3
=[0.8 -0.6 0 0.7]+[-0.2 0.2 0.1 -0.2]=[0.6 -0.4 0.1 0.5]
（4）重复以上三个步骤，即重新输入X 1、X 2和X 3并调整向权量，直到d p -y p =0(p=1,2,3)为止。
通过Rosenlatt 证明，当输入样本是线性可分时，不论初始权向量如何，经有限次修改，最终能找到一个权向量把n 维空间的两类模式用n-1维的超平面线性分开。
必须指出：初始值W 1不同，训练的结果W 也不同，但都能满足误差为零的要求；另外，收敛的速度与η值有关。
3） 单层感知器的局限性
1969年Minsky 和Papert 出版了《感知机》这本书，他们指出了简单感知器的局限性问题，只能解决一阶谓词逻辑和线性分类问题，不能解决高级阶谓词和非线性分类问题，如“异或”（XOR ）问题。
例如，表3-2给出一组通过异或计算样本，要求经过学习，感知器能产生相应的输出。 假定简单的感知器能解这个问题，那么，根据式（3-3），须满足下列四个不等式：
5
θ
θθθθ
θθθ-<+→<+?+?->→>+?+?->→>+?+?<→<+?+?2121121221210110010100000w w w w w w w w w w w w
从上述可以看出，4个等式无法同时满足，主要是2、3、4式是矛盾的。即无法使权重分别都大于-θ,同时权重和又小于-θ，即这组权重不存在。
现在用简单的几何图形来说明感知器的分类问题。当[x 1,x 2]T =[1,0]T 及[0,1]T 时，y=1，图（3-5）中用“*”表示；当[x 1,x 2]T =[0,0] T 及[1，1]T 时，y=0，图（3-5）用“o ”表示。这个四方形顶点，不存在一条直线将*与o 分开，所以简单感知器无法实现异或问题，这就是简单感知器的局限性。Minsky 和Paret 认为要解决高阶谓词和非线性问题，必须引入含有隐层单元的多层感知器。
6
)
5.111()5.111()5.011(21212211-?+?=+?-?-=-?+?=y y f z x x f y x x f y 该感知器的输入层和隐含层的连接；实际上就是在模式空间中用两个超平面去划分样本，如图3-7所示，两条直线为：
5
.1:5.0:212211=+=+x x L x x L
不难看出，输出层相当于一个逻辑“与”运算，这就构成了图3-7所示的两条直线内的区域，从而解决了“异域”这种非线性分类问题。
可以想象到，单隐层神经元数目的增加，可以在两维平面上构建任意的凸域。所谓凸域，就是
双表3-3直观形象地给出了不同隐层感知器的分类能力。
表3-3中，将转移函数限定为符号函数或单位跳跃函数，以便于直观描述感知器的分类能力。
表3-3 不同隐层数感知器的分类能力
7
3.1.2 非线性单元组成的前馈网络
这类前馈网络的转移函数采用非线性连续有界可导函数。 1、误差反向传播算法(BP 算法)的基本思想
含有隐层的多层前馈网络能大大提高网络的分类能力，但长期以来没有提出解决权值调整的有效算法。1986年，Rumelhart 和Mccelland 领导的科学家小组在《Parallel Distributed Processing 》一书中，对具有非线性转移函数的多层前馈网络的进行了详尽的分析，提出了误差反向传播(Error Back Proragation ，简称BP)算法，实现了Minsky 关于多层网络能够进行XOR 分类的设想。由于具有非线性连续有界可导转移函数的多层前馈网络的训练经常采用误差反向传播算法，因此人们也常把这种前馈网络直接称为BP 网络。
BP 算法的基本思想是，学习过程由信号的正向传播与误差的反向传播两个过程组成。正向传播时，输入样本从输入层传人，经各隐层逐层处理后，传向输出层。若输出层的实际输出与期望的输出(教师信号)不符，则转入误差的反向传播阶段；误差反传是将输出误差以某种形式通过隐层向输入层逐层反传，并将误差分摊给各层的所有单元，从而获得各层单元的误差信导，此误差信导即作为修正各单元权值的依据。这种信号正向传播与误差反向传播的各层权值调整过程，是周而复始地进行的。权值不断调整的过程，也就是网络的学习训练过程。此过程一直进行到网络输出的误差
2、单层BP 网络
图3-10是一单层BP 函数。
当网络实际输出j y 与期望输出j d 误差E ：
∑∑∑∑====-=-=-=m
j n
i i ji j m j j m j j j x w f d f d y d E 121
1
12
)]([21
[21)(21式（3-4沿负梯度方向调权值，即权值调整量与负梯度成正比，即：
)...2,1;
...2,1(n i m j w E w ji
ji ==??-=?η
（3-5）
8
)1,0(∈η为比例系数。由于BP 算法使权值调整沿负梯度方向变化，故该算法常被称为误差的
梯度下降算法。
现推导BP 算法：
输出层第j 单元的净输入：i n
i ji
j x w
s ∑==
1
（3-6）
输出层第j 单元的输出为：)(j j s f y = （3-7）
式（3-5）可写成：
ji
j j
ji
w s s E w E
???
??=
?? （3-8）
式（3-8）中，定义误差信号为j
j s E ??-
=δ，由式（3-6）
i ji
j x w s =??
式（3-8）可写成：
i j ji
x w E
δ-=??，于是式（3-5）可写为：
i j ji x w ηδ=? （3-9a ）
式（3-9a ）为BP 算法调整权值的元素式，也可写成向量式：
T T T T m j jm ji j j X X w w w W ηδδδδη==???=?]......[]......[11 （3-9b ）
式（3-9b ）中，T
n i x x x X ]......[1=，]......[1m j δδδδ=
调整后的权矩阵为（k 为迭代次数）:
T T X k W W k W k W ηδ+=?+=+)()()1( （3-10）
式（3-9a ）可进一步展开：
j
j j
j
j s y y E s E ???
??-
=??-
=δ （3-11）
式（3-11）第一项：)(])(21[1
2j j m
j j j j j y d y d y y E
--=-??=??∑= （3-12）
式（3-11）第二项：
)()](['j j j
j
j s f s f s s y =??
=
?? （3-13） 将式（3-11）、（3-12）、（3-13）代入（3-9a ）得到输出层BP 算法的最终形式：
i j j j i j ji x s f y d x w )()('-==?ηηδ （3-14）
比较（3-14）与（2-13）可知，BP 算法采用的就是δ学习规则。
下面对两种常用的转移函数讨论（3-14）的具体表达式。 (1) 单极性Sigmoid 函数，当取λ=1时
s
s e
e s
f --+=+=
11
11)(λ y y s f s f e e s e e ds s df s f s
s s s )1()](1)[(11111)1()()('2-=-=+-++=+==---- （3-15）
将式（3-15）代入（3-14）式，有:
i j j j j ji x y y y d w )1()(--=?η （3-16）
(2) 双极性Sigmoid 函数，当λ=1时
112112)(-+=-+=
--s
s e
e s
f λ )1(21)
1(2)('22
y e e s f s s -=+=-- （3-17） 将（3-17）代入（3-14）
i j j j x y y d w )1)((2
1
2ji --=?η （3-18）
上面推导了标准BP 算法的权值修改公式，于是可以得到BP 算法的训练步骤如下： 1） 预置权矩阵的初始值：)0(ji w ?为小的随机数； 2） 提供训练样本对],[11d X ，],[22d X ，…，],[P P d X ；
3） 输入样本对，计算)...,2,1(),(P p X W f y p j jp ==。]......[1jn ji j j w w w W =是W 矩阵的第j
行，也即输出接点j 的权值行向量。
4） 由式（3-14）调整权值，由式（3-10）得到调整后的权矩阵为:T
T
X k W k W ηδ+=+)()1(
5） 计算输出全局误差：∑∑∑∑∑=====-=-==P p m j jp jp P
p m j jp jp P p p y d y d E E 112
11
21)(21])(21[
6） 若E ≤ε（ε为预先选定的精度），则停止训练；否则，返回第3步。
10
1）权值修改公式的推导
仿照（3-9a ）式，可直接写出单隐层网络的输出层权值调整量（元素式），注意此时的输入为z k ，为了和隐层的误差信号区别，j 结点的误差信号加了脚标y ，即)()('
j y j j yj s f y d -=δ。
)...2,1;...2,1(q k m j z w k
yj jk ===?ηδ (3-19a)
Z W y ηδ=? (3-19b) 与（3-5）式同理，调整权值的原则显然应使误差不断地变小，因此应沿负梯度方向调权值，即权值调整量与负梯度成正比，对隐层有：
)...2,1;...2,1(n i q k v E
v ki
ki ==??-=?η
（3-20）
依照链定理:
ki
k
k ki v s s E v E ????=?? （3-21） 定义误差信号k zk
s E
??-=δ，又i n
i ki k x v s ∑==1
，所以i ki k x v s =??，则式（3-20）为：
i zk ki x v ηδ=? （3-22）
式（3-22）中：
k
k
k k zk s z z E s E ????-=??-
=δ （3-23） 误差函数仍按式（3-4）定义，则式（3-23）第一项为：
∑∑==??--=-??=??m j m j k j j j j j k k z y y d y d z z E 11
2
)
(])(21[ （3-24） 又)(k z k s f z =， 式（3-23）第二项为：
图3-11 单隐层BP 网络模型
11
)('k z k
k
s f s z =?? （3-25） )(j y j s f y = ，(3-24)中，依照链定理：
k
j j y k j
j k z s s f z s s Z ??=????=??)
('j j y y （3-26） 又∑==
q
k k jk
j z w
s 1
，故
jk k
j w z s =??
于是式（3-24）式可写为：
jk m
j yj jk j y m j j j k w w s f y d E
∑∑==-='--=Z ??1
1)()(δ （3-27） 将式（3-27）、（3-25）式代入（3-23）式，得隐层单元的误差信号：
)()(1
k z m j jk yj k k
k zk s f w s z z E '=????-=∑=δδ (3-28)
（3-28）式为计算隐层权值调整量ki υ?时，所要用到的隐层误差信号zk δ的计算式。
而
mk ym jk yj k y jk m
j yj
w w w w δδδδ
+++=∑=111
改写为向量表达式：
[]
y
k ym yj y mk
jk k m
j jk yj
W w w w w δδδδδ
=??????
??
?
?????????=∑= 111
若将（3-28）式代入（3-22），则得隐层各神经元权值调整量：
i k z y k i k z m
j jk yj i zk ki x s f W x s f w x )()()()(1
'='==?∑=δηδηηδυ (3-29a)
X V z ηδ=? (3-29b) 式中：
12 ??
??
???
?????????=??????
????
????????????==∑∑∑=?=??=zq zk z m i j z jq yj m j k z jk yj z m j j yj k z y k z f w s f w s f w s f W δδδδδδδδ
1q 1111')(s '()(')()(')()(
2） 标准BP 算法与累积误差算法
在每个样本对作用时，都对权矩阵V ,W 进行一次修改，这种BP 算法称为标准BP 算法。 在标准BP 算法中，每输入一个样本，都要回传误差并调整权值，这种对每个样本轮训的权值调整方法又称为单样本训练。由于单样本训练遵循的是只顾眼前的“本位主义”原则，只针对每个样本产生的误差进行调整，难免顾此失被，使整个训练的次数增加，导致收敛速度过慢。
由于BP 标准算法存在上述问题，因而提出了累积误差BP 算法，即将全部P 个样本对各作用 一次后按式（3-30）算出全局误差：
∑∑∑===-==P
p P p m
j jp jp p y d E E 1
112)(21全 （3-30）
上面计算的全局误差是按批处理方式进行训练的，称为批（Batch ）训练，或周期（epoch ）训
练。由于批训练遵循了以减小全局误差为目标的原则，因而可以保证全局误差向减小方向变化。在样本对数量较多时，批训练比单样本训练时的收敛速度快。
算出全局误差后，对各层权值进行一次修改，直到E 全小于预先设定的某一数值或达到了事先设定的学习次数为止。
必须指出，用（3-30）式来定义全局误差是不合理的，因为没有考虑样本对数P 及输出层结点数m 不同时对全局误差计算结果的影响，因为若P 、m 越大，E 全越大。所以合理的形式应该是消除P 、m 的影响，故全局误差应定义为称为均方根误差E rms （Root-Mean-Square Normolized Error ）：
∑∑==-=
P p m
j jp jp rms y d pm
E 11
2
)(1
（3-31）
E rms 给出了误差的绝对值，但未考虑网络输出值数量级的大小。比如，同样是E rms =5时，如
果输出值是百万数量级的，应该说网络性能是优良的；但如果输出值是十数量级的，则网络性能就
很差。因此，建议改用下式定义的相对误差：
13
∑∑∑===---=
m
j m
j
P p m
j jp jp
rel rms d d y d
pm
E 1
112
)
()(1 (3-32)
d m 为教师样本的平均值。
致于应该用那个公式计算全局误差，应取决于具体问题，其决定因素要看信号的平均值是否有意义，对大多数实际问题来说，它是无意义的，因此（3-31）式用得较多。
3） 单隐层BP 算法步骤
（1） 初始化，对权值阵V ,M 赋予随机数，样本对计数器p 置1、训练计数器k 置0、误
差E 全置0，学习率η设为0-1间的小数，确定训练精度ε及最大训练步数；
（2） 输入训练样本对[X p ，d p]（p=1,2…P ）的向量值；
（3） 计算累积误差∑∑==-=P p m j jp jp y d E 11
2
)(21全；
（4） 计算各层误差信号；
（5）
调整各层权值，调整输出层权值Z k W k W T
y ηδ+=+)()1(，调整隐层权值
X k V k V T z ηδ+=+)()1(
（6） 检查是否对网络所有样本对作用完p （7） 检查网络总误差是否达到精度要求，若E 全<ε，训练结束。否则E 全置0，p 置1，返回步骤（2） 4）BP 网络的能力 (1)非线性映射能力。 多层前馈网能学习和存储大量输入-输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供BP 网络进行学习训练，它便能完成由n 维输入空间到m 维输出空间的非线性映射。在工程上及许多技术领域中经常遇到这样的问题：对某输入-输出系统巳经积累了大量相关的输入-输出数据，但对其内部蕴涵的规律仍未掌握．因此无法用数学方法来描述该规律。这一类问题的共同特点是： ① 难以得到解析解； ② 缺乏专家经验； ③ 能够表示和转化为模式识别或非线性映射问题。 对于这类问题，多层前馈网络具有无可比拟的优势。 （2）泛化能力。 对于已学习好的网络，若遇到了未学习过的输入向量，也能映射出正确的输出，具有这种能力即是多隐层前馈网络的泛化能力，这个能力是衡量神经网络性能的一个重要方面。 如果用一组训练样本之外的典型样本对，去测试网络也能得到满意的结果，那么就说明网络的泛化能力很强，否则表明所选择的训练样本不具备代表性，不能体现源数据的整体特征，泛化能力弱。 为了获得较好的泛化能力，选择样本时应注意： 14 ① 练集和测试集应选择典型的样本； ② 训练集不同于测试集。 （3）容错能力。 多层前馈网格的魁力还在于，允许输入样本中带有较大的误差甚至个别错误。因为对权炬阵的调整过程也是从大量的样本对中提取统计特性的过程，反映正确规律的知识来自全体样本，个别样本中的误差不能左右对权矩阵的调整。 5）BP 算法的缺陷及改进 BP 算法的缺陷： (1) 易形成局部极小而得不到全局最优； (2) 训练次数多使得学习效率低，收敛速度慢； (3) 隐节点的选取缺乏理论指导； (4) 训练时学习新样本有遗忘旧样本的趋势。 针对上述问题，国内外已提出不少有效的改进算法方法。 BP 算法的改进 (1) 增加动量项 一些学者于1986年提出，标准BP 算法在调整权值时，只按k 时刻误差的梯度降方向 调整，而没有考虑k 时刻以前的梯度方向，从而常使训练过程发生振荡，收敛缓慢。为了提高网络的训练速度，可以在权值调整公式中增加一动量项。若用W 代表某层权矩阵，X 代表某层输入向量，则含有动量项的权值调整向量表达式为: )1()(-?+=?k W X k W αηδ 可以看出，增加动量项即从前一次权值调整量中取出一部分迭加到本次权值调整量中，α称为动量系数，一般α（0，1）。动量项反映了以前积累的调整经验，对于k 时刻的调整起阻尼作用。当误差曲面出现骤然起伏时，可减小振荡趋势，提高训练速度。目前，BP 算法中都增加了动量项，以至于有动量项的BP 算法成为一种新的标准算法。 (2) 自适应调节学习率 学习率η也称为步长，在标准BP 算法中定为常数，然而在实际应用中，很难确定一个从始至终都合适的最佳学习率。从误差曲面可以看出，在平坦区域内η太小会使训练次数增加，因而希望增大η值；而在误差变化剧烈的区域，η太大会因调整旦过大而跨过较窄的“坑凹”处，使训练出现振荡，反而使迭代次数增加。为了加速收敛过程，一个较好的思路是自适应改变学习率，使其该大时增大，该小时减小。 改变学习率的办法很多，其目的都是使其在整个训练过程中得到合理调节。这里介绍其中一种方法： 设一初始学习率，若经过一批次权值调整后使总误差上升，则本次调整无效，且)0(<=ββηη若经过一批次权值调整后使总误差下降，则本次调整有效，且)0(>=ββηη。 15 b p神经网络及m a t l a b实现 图1. 人工神经元模型 图中x1~xn是从其他神经元传来的输入信号，wij表示表示从神经元j到神经元i的连接权值，θ表示一个阈值 ( threshold )，或称为偏置( bias )。则神经元i的输出与输入的关系表示为： 图中 yi表示神经元i的输出，函数f称为激活函数 ( Activation Function )或转移函数 ( Transfer Function ) ，net称为净激活(net activation)。若将阈值看成是神经元i的一个输入x0的权重wi0，则上面的式子可以简化为： 若用X表示输入向量，用W表示权重向量，即： X = [ x0 , x1 , x2 , ....... , xn ] 则神经元的输出可以表示为向量相乘的形式： 若神经元的净激活net为正，称该神经元处于激活状态或兴奋状态(fire)，若净激活net为负，则称神经元处于抑制状态。 图1中的这种“阈值加权和”的神经元模型称为M-P模型 ( McCulloch-Pitts Model )，也称为神经网络的一个处理单元( PE, Processing Element )。 2. 常用激活函数 激活函数的选择是构建神经网络过程中的重要环节，下面简要介绍常用的激活函数。 (1) 线性函数 ( Liner Function ) (2) 斜面函数 ( Ramp Function ) (3) 阈值函数 ( Threshold Function ) 以上3个激活函数都属于线性函数，下面介绍两个常用的非线性激活函数。 (4) S形函数 ( Sigmoid Function ) 该函数的导函数： 前馈神经网络 前馈神经网络的结构一般包含输入层、输出层、及隐含层，隐含层可以是一层或多层。各神经元只接收前一层的输出作为自己的输入，并且将其输出给下一层，整个网络中没有反馈。每一个神经元都可以有任意多个输入，但只允许有一个输出。图1选择只含一个隐含层的前馈神经网络。其原理框图如图1所示。 图中，只有前向输出，各层神经元之间的连接用权值表示。设输入层有M 个输入信号，其中任一输入信号用i ()M i ,2,1 =表示；隐含层有N 个神经元，任一隐含层神经元用j ()N j ,2,1 =表示；输入层与隐含层间的连接权值为()n w ij ， ()N j M i ,2,1;,2,1 ==；隐含层与输出层的连接权值为()n w j 。假定隐含层神 经元的输入为()n u j ，输出为()n v j ；输出层神经元的输入为()n o ，网络总输出为 ()n x ~。则此神经网络的状态方程可表示为： ()()()∑+-==M i ij j i n y n w n u 11 ()()[] ()()?? ? ???∑+-===M i ij j j i n y n w f n u f n v 11 ()()()∑==N j j j n v n w n o 1 ()()[]()()?? ????==∑=N j j j n v n w f n o f n x 1~ 图1 三层前馈神经网络结构图 输入层 隐含层 输出层 (y n (1y n -(1y n M -+ 式中，()?f 表示隐含层、输出层的输入和输出之间的传递函数，也称为激励函数。 定义代价函数为瞬时均方误差： ()()()()[] ()()()2 12 2~?? ? ????? ????????-=-==∑=N j j j n v n w f n d n x n d n e n J 式中，()n d 为训练信号。 递归神经网络 对角递归神经网络 图2为典型的对角递归神经网络，它具有三层结构，分别为输入层，隐层和输出层，在隐层的权值叠加中，引入了输入的前一时刻的输出作为反馈控制信号。选用这种网络的优点是结构简单，易于实现，可以直观的体现反馈神经网络的结构模式和工作方式。 设输入层与隐层间的连接权值为()n w h ij ()k j m i ,2,1;,,1,0==，隐层与输 出层之间的权值为()n w o j ，递归层的权值为()n w d j 。设输入层的输入为()i n y -， 隐层的输入为()n u j ，输出为()n I j ，输出层的输入为()n v ，输出层的输出为()n x ~，则对角递归神经网络的状态方程为 ()()()()()10-+-=∑=n I n w i n y n w n u j d j m i h ij j 输入层 输出层 隐层 图2 对角递归神经网络的结构 ()y n ()1y n - ()1y n m -+ ()y n m - mj d 多层前馈神经网络 5 多层前馈网络及BP算法 多层前馈网络的反向传播 (BP)学习算法，简称BP算法，是有导师的学习，它是梯度下降法在多层前馈网中的应用。 (a) 网络结构 yu 见下图，、是网络的输入、输出向量，神经元用节点表示，网络由输入层、隐层和输出层节点组成，隐层可一层，也可多层(图中是单隐层)，前层至后层节点通过权联接。由于用BP学习算法，所以常称BP神经网络。 I:y:x:每个神经元(节点)的输入;每个神经元(节点)的输出;神经元j w:jji的第个输入。神经元到神经元的连接权 ij ,,y,f(x,,)节点的作用函数:, 为阈值(可设置一个偏置节点代替) 1,f可为线性函数，一般取为Sigmoid函数 , 为很小的数，如0.1 ,x/,1，e (b) BP学习算法 ? 已知网络的输入/输出样本，即导师信号。 ? BP学习算法由正向传播和反向传播组成: ? 正向传播是输入信号从输入层经隐层，传向输出层，若输出层得到了期望 的输出，则学习算法结束;否则，转至反向传播。 ? 反向传播是将误差(样本输出与网络输出之差)按原联接通路反向计算， 由梯度下降法调整各层节点的权值和阈值，使误差减小。 BP学习算法步骤如下: W(0)(1) 设置初始权值，它是较小的随机非零值。 (2) 给定输入/输出样本对，计算网络的输出。 ，，u,u,u,...,u设第p组样本输入: p1p2pnp ，，d,d,d,...,d,p,1,2,..,L 输出: p1p2pmp ypi节点在第组样本输入时，输出为 : ip ，， ，，y(t),fx(t),fw(t)I ----(1式) ,,,ipipijjpj，， Ijpi式中，是在第组样本输入时，节点的第个输入。 jp 1f(,)f(x)s取可微的型作用函数式 = -------(2式) ,x1，e可由输入层隐层至输出层，求得网络输出层节点的输出。 J(1) 计算网络的目标函数 ELp设为在第组样本输入时，网络的目标函数，取范数，则 p2 111222E(t),||d,y(t)||,[d,y(t)],e(t)--------(3式) ,,pppkpkpkp2222kk y(t)pkt式中，是在第组样本输入时，经次权值调整后网络的输出:是p k输出层第个节点。 E(t)J(t),网络的总目标函数: = ----------(4式) p p 作为对网络学习状况的评价。 (2) 判别 J(t),若 ? -------(5式) 第三章常用神经网络 3.1前馈型人工神经网络 前馈神经网络是神经网络中的一种典型分层结构，信息从输入层进入网络后逐层向前传递至 输出层。根据前馈网络中神经元转移函数、隐层数以及权值调整规则的不同，可以形成具有各种功 能特点的神经网络。 例如，如果转移函数采用线性阈值函数或符号函数且只有一个输出层（无隐层），或有一个以上的隐层，则分别称为单层感知器和多层感知器；如果转移函数采用非线性连续有界函数且只有一个输出层（无隐层），或有一个以上的隐层，则分别称为单层BP网络和多层BP网络。 3.1.1 线性阈值单元组成的前馈网络 这类前馈网络的转移函数采用线性阈值函数或符号函数。 1．单层感知器 1958年，美国心理学家Frank Rosenblat提出一种具有单层计算单元的神经网络，称为Perception，即感知器。感知器是模拟人的视觉接受环境信息，并由神经冲动进行信息传递。感知器研究中首次提出了自组织、自学习的思想，而且对所能解决的问题存在着收敛算法，并能从数学上严格证明，因而对神经网络的研究起了重要推动作用。单层感知器的结构与功能都非常简单，以 单层感知器（图3-1 神经元基本模型(即MP 基本模型。 1) 图3-1 为第j（j=1,2,…m x n）T，通过一个阈值函数f( 从数学观点来说， 等于0时，输出为1 神经元的连接权值w ji 当输入为X，对于j n i i ji j x w s=∑ =1其输出为： 2 )(1 j n i i ji j x w f y θ+=∑= （3-1） 转移函数f (?)是阈值函数（即单位阶跃函数），故： ??? ??? ? <+≥+=∑∑==0 ,00,11 1j n i i ji j n i i ji j x w x w y θθ (3-2) 通过转移函数，其输出只有两个状态，“1”或“0”，所以，它实际上是输入模式的分类器，即可以辨识输入模式属两类中的那一类。 当单层感知器模型只有1个输出结点时，称为简单感知器，其实就是MP 模型。 对于输出结点为的简单感知器，若输入向量的维数n=2,则向量X 用两维平面上的一个点来表示。设被观察的模式只有A 、B 两类，则： （3-3） A 、 B 两类分别属于集合R 1 (A ∈R 1)、R 2(B ∈R 2),且R 1与R 2是 线性可分的，如图3-2所示。 利用简单感知器的计算式（3-3）可以实现逻辑代数中的一些运算： （1）当取w 1=w 2=1, θ=-1.5时， 完成逻辑“与”的运算功 能，即 x 1∧x 2； （2）当取w 1=w 2=1, θ=-0.5时，完成逻辑“或”的运算功能, 即x 1∨x 2； （3）当取w 1= -1,w 2=0, θ= 1时，完成逻辑“非”的运算功能， 即x 。 若x 1与x 2分别取布尔值，逻辑运算列入表3-1中。 表3-1 逻辑运算表 若净输入为零，便得到一条线性的模式判别函数： ?? ?→→=++=+=∑ =类类 B A x w x w f x w f y i i i 01)()(2 12211θθ图3-2 线性可分两维模式 学习是神经网络一种最重要也最令人注目的特点。在神经网络的发展进程中，学习算法的研究有着十分重要的地位。目前，人们所提出的神经网络模型都是和学习算法相应的。所以，有时人们并不去祈求对模型和算法进行严格的定义或区分。有的模型可以有多种算法．而有的算法可能可用于多种模型。不过，有时人们也称算法为模型。 自从40年代Hebb提出的学习规则以来，人们相继提出了各种各样的学习算法。其中以在1986年Rumelhart等提出的误差反向传播法，即BP(error BackPropagation)法影响最为广泛。直到今天，BP算法仍然是自动控制上最重要、应用最多的有效算法。 1．2．1 神经网络的学习机理和机构 在神经网络中，对外部环境提供的模式样本进行学习训练，并能存储这种模式，则称为感知器；对外部环境有适应能力，能自动提取外部环境变化特征，则称为认知器。 神经网络在学习中，一般分为有教师和无教师学习两种。感知器采用有教师信号进行学习，而认知器则采用无教师信号学习的。在主要神经网络如BP网络，Hopfield网络，ART网络和Kohonen网络中；BP网络和Hopfield网络是需要教师信号才能进行学习的；而ART网络和 Kohonen网络则无需教师信号就可以学习。所谓教师信号，就是在神经网络学习中由外部提供的模式样本信号。 一、感知器的学习结构 感知器的学习是神经网络最典型的学习。 目前，在控制上应用的是多层前馈网络，这是一种感知器模型，学习算法是BP法，故是有教师学习算法。 一个有教师的学习系统可以用图1—7表示。这种学习系统分成三个部分：输入部，训练部和输出部。 图1-7 神经网络学习系统框图 神经网络算法详解 第0节、引例 本文以Fisher的Iris数据集作为神经网络程序的测试数据集。Iris数据集可以在https://www.doczj.com/doc/4e1593753.html,/wiki/Iris_flower_data_set 找到。这里简要介绍一下Iris数据集： 有一批Iris花，已知这批Iris花可分为3个品种，现需要对其进行分类。不同品种的Iris花的花萼长度、花萼宽度、花瓣长度、花瓣宽度会有差异。我们现有一批已知品种的Iris花的花萼长度、花萼宽度、花瓣长度、花瓣宽度的数据。 一种解决方法是用已有的数据训练一个神经网络用作分类器。 如果你只想用C#或Matlab快速实现神经网络来解决你手头上的问题，或者已经了解神经网络基本原理，请直接跳到第二节——神经网络实现。 第一节、神经网络基本原理 1. 人工神经元( Artificial Neuron )模型 人工神经元是神经网络的基本元素，其原理可以用下图表示： 图1. 人工神经元模型 图中x1~xn是从其他神经元传来的输入信号，wij表示表示从神经元j到神经元i的连接权值，θ表示一个阈值( threshold )，或称为偏置( bias )。则神经元i的输出与输入的关系表示为： 图中yi表示神经元i的输出，函数f称为激活函数 ( Activation Function )或转移函数( Transfer Function ) ，net称为净激活(net activation)。若将阈值看成是神经元i的一个输入x0的权重wi0，则上面的式子可以简化为： 若用X表示输入向量，用W表示权重向量，即： X = [ x0 , x1 , x2 , ....... , xn ] 则神经元的输出可以表示为向量相乘的形式： 若神经元的净激活net为正，称该神经元处于激活状态或兴奋状态(fire)，若净激活net 为负，则称神经元处于抑制状态。 图1中的这种“阈值加权和”的神经元模型称为M-P模型 ( McCulloch-Pitts Model )，也称为神经网络的一个处理单元( PE, Processing Element )。 2. 常用激活函数 激活函数的选择是构建神经网络过程中的重要环节，下面简要介绍常用的激活函数。 (1) 线性函数 ( Liner Function ) (2) 斜面函数 ( Ramp Function ) (3) 阈值函数 ( Threshold Function ) 前饋式類神經網路 1前言 前饋式類神經網路是第一個也是最簡單的類神經網路，它是由多層的神經元所組成，其訊息傳遞的方式是從輸入層經由隱藏層往輸出層的方向傳送，每一層神經元只會接受上層神經元所傳送過來的輸出值，不同於循環式網路（Recurrent network）。 2神經元 類神經網路最基本單位的是神經元（如圖1），神經元主要負責對資料的處理行為。在類神經網路中的某個神經元，可能接收一個到數個不等的輸入變數，變數的多寡取決於傳送到該神經元的輸入值個數。神經元接收輸入變數（I）後，視輸入變數的重要性，給予一個改變比重的參數，這些參數稱為配重值（Weight, ω），神經元會將所有輸入變數經由配重值的加權後累加，然後再與神經元中的偏移量（Bias, B）相加，會產生一個淨值（n），這個淨值將經由轉換函數的轉換，轉換出來的數值當成該神經元的輸出值。神經元的輸出值可以傳送到一個以上的神經元當作該神經元的輸入變數，或是當成網路的輸出值，一切依網路結構的情況而定。雖然，每個神經元可以同時接收一至多個不等的輸入變數，卻只有一個輸出值。神經元的計算公式如式（1）、（2）所示， ∑= +? = R j j j B I n 1 ω(1) ) (n f Y=(2)式中R為神經元輸入變數的個數，I1,I2,?,I R為神經元的輸入變數，ω1,ω2,?,ωR為神經元各個輸入變數的配重值，B為該神經元的偏移量，) (? f為神經元的轉換函數。 1 Y 輸入值單位神經元 Y=f(Wp+b) 圖.1神經元 神經元的轉換函數可能是線性函數或是非線性函數，依問題的需求不同所選擇的轉換函數也會不同，選擇一個適合特定問題的轉換函數，對描述輸入變數與輸出值之關係，是非常重要的。可是，轉換函數的種類有很多，要選擇一個最適合特定問題的轉換函數，需要藉由不斷的嘗試才能獲得。以下列出本研究所使用的十種轉換函數： 1. 硬限制函數(Hard Limit transfer function) ? ? ? ≥ < = 1 ) ( n if n if n f 2. 對稱硬限制函數(Symmetrical Hard Limit transfer function) ? ? ? ≥ < - = 1 1 ) ( n if n if n f 3. 飽和線性函數(Saturating Linear transfer function) ? ? ? ? ? > ≤ ≤ < = 1 1 1 ) ( n if n if n n if n f 4. 對稱飽和線性函數(Symmetrical Saturating Linear transfer function) ? ? ? ? ? > ≤ ≤ - - < - = 1 1 1 1 1 1 ) ( n if n if n n if n f 5. 正線性函數(Positive Linear transfer function) ? ? ? ≥ < = ) ( n if n n if n f 6. 線性函數(Linear transfer function) n n f= ) ( 7. S形函數(Sigmoid transfer function) 数学建模B P神经网 络论文 BP 神经网络 算法原理： 输入信号i x 通过中间节点（隐层点）作用于输出节点，经过非线形变换，产生输出信号k y ，网络训练的每个样本包括输入向量x 和期望输出量d ，网络输出值y 与期望输出值d 之间的偏差，通过调整输入节点与隐层节点的联接强度取值ij w 和隐层节点与输出节点之间的联接强度jk T 以及阈值，使误差沿梯度方向下降，经过反复学习训练，确定与最小误差相对应的网络参数（权值和阈值），训练即告停止。此时经过训练的神经网络即能对类似样本的输入信息，自行处理输出误差最小的经过非线形转换的信息。 变量定义： 设输入层有n 个神经元，隐含层有p 个神经元,输出层有q 个神经元 输入向量：()12,, ,n x x x x = 隐含层输入向量：()12,,,p hi hi hi hi = 隐含层输出向量：()12,,,p ho ho ho ho = 输出层输入向量：()12,,,q yi yi yi yi = 输出层输出向量：()12,,,q yo yo yo yo = 期望输出向量: ()12,, ,q do d d d = 输入层与中间层的连接权值: ih w 隐含层与输出层的连接权值: ho w 隐含层各神经元的阈值:h b 输出层各神经元的阈值: o b 样本数据个数: 1,2, k m = 激活函数: ()f ? 误差函数：21 1(()())2q o o o e d k yo k ==-∑ 算法步骤： Step1.网络初始化 。给各连接权值分别赋一个区间（-1，1）内的随机数，设定误差函数e ，给定计算精度值ε和最大学习次数M 。 Step2.随机选取第k 个输入样本()12()(),(), ,()n x k x k x k x k =及对应期望输出 ()12()(),(),,()q d k d k d k d k =o Step3.计算隐含层各神经元的输入()1 ()()1,2, ,n h ih i h i hi k w x k b h p ==-=∑和输出 ()()(())1,2, ,h h ho k f hi k h p ==及输出层各神经元的输入 ()1 ()()1,2, p o ho h o h yi k w ho k b o q ==-=∑和输出()()(())1,2, ,o o yo k f yi k o p == Step4.利用网络期望输出和实际输出，计算误差函数对输出层的各神经元的偏导数()o k δ。 o ho o ho yi e e w yi w ???=??? (()) () ()p ho h o o h h ho ho w ho k b yi k ho k w w ?-?==??∑ 2 1 1((()()))2(()())()(()())f (()) () q o o o o o o o o o o o o d k yo k e d k yo k yo k yi yi d k yo k yi k k δ=?-?'==--??'=---∑ Step5.利用隐含层到输出层的连接权值、输出层的()o k δ和隐含层的输出计算误差函数对隐含层各神经元的偏导数()h k δ。 PS：这篇介绍神经网络是很详细的，有一步一步的推导公式！神经网络是DL（深度学习）的基础。 如果对神经网络已经有所了解，可以直接跳到“三、BP算法的执行步骤“ 部分，算法框架清晰明了。 另外，如果对NN 很感兴趣，也可以参阅最后两篇参考博文，也很不错！ 学习是神经网络一种最重要也最令人注目的特点。在神经网络的发展进程中，学习算法的研究有着十分重要的地位。目前，人们所提出的神经网络模型都是和学习算法相应的。所以，有时人们并不去祈求对模型和算法进行严格的定义或区分。有的模型可以有多种算法．而有的算法可能可用于多种模型。不过，有时人们也称算法为模型。 自从40年代Hebb提出的学习规则以来，人们相继提出了各种各样的学习算法。其中以在1986年Rumelhart等提出的误差反向传播法，即BP(error BackPropagation)法影响最为广泛。直到今天，BP算法仍然是自动控制上最重要、应用最多的有效算法。 1．2．1 神经网络的学习机理和机构 在神经网络中，对外部环境提供的模式样本进行学习训练，并能存储这种模式，则称为感知器；对外部环境有适应能力，能自动提取外部环境变化特征，则称为认知器。 神经网络在学习中，一般分为有教师和无教师学习两种。感知器采用有教师信号进行学习，而认知器则采用无教师信号学习的。在主要神经网络如BP网络，Hopfield网络，ART网络和Kohonen 网络中；BP网络和Hopfield网络是需要教师信号才能进行学习的；而ART网络和Kohonen网络则无需教师信号就可以学习。所谓教师信号，就是在神经网络学习中由外部提供的模式样本信号。 一、感知器的学习结构 感知器的学习是神经网络最典型的学习。 目前，在控制上应用的是多层前馈网络，这是一种感知器模型，学习算法是BP法，故是有教师学习算法。 一个有教师的学习系统可以用图1—7表示。这种学习系统分成三个部分：输入部，训练部和输出部。 5 多层前馈网络及BP 算法 多层前馈网络的反向传播 （BP ）学习算法，简称BP 算法，是有导师的学习，它是梯度下降法在多层前馈网中的应用。 （a ） 网络结构 见下图，u 、 y 是网络的输入、输出向量，神经元用节点表示，网络由 输入层、隐层和输出层节点组成，隐层可一层，也可多层（图中是单隐层），前层至后层节点通过权联接。由于用BP 学习算法，所以常称BP 神经网络。 :x 每个神经元（节点）的输入；:y 每个神经元（节点）的输出；:j I 神经元 的第 j 个输入。:ij w 神经元j 到神经元i 的连接权 节点的作用函数：)(θ-=x f y , θ 为阈值（可设置一个偏置节点代替θ） f 可为线性函数，一般取为Sigmoid 函数 ξ /11x e -+, ξ为很小的数，如0.1 （b ） BP 学习算法 ? 已知网络的输入/输出样本，即导师信号。 ? BP 学习算法由正向传播和反向传播组成： ? 正向传播是输入信号从输入层经隐层，传向输出层，若输出层得到了期望的输出，则学习算法结束；否则，转至反向传播。 ? 反向传播是将误差(样本输出与网络输出之差）按原联接通路反向计算，由梯度下降法调整各层节点的权值和阈值，使误差减小。 BP 学习算法步骤如下： (1) 设置初始权值)0(W ，它是较小的随机非零值。 (2) 给定输入/输出样本对，计算网络的输出。 设第p 组样本输入：()np p p p u u u u ,...,,21= 输出：()L p d d d d m p p p p ,..,2,1,,...,,21== 节点i 在第 p 组样本输入时，输出为 ip y : ()?? ? ???==∑j jp ij ip ip I t w f t x f t y )()()( ----（1式） 式中，jp I 是在第 p 组样本输入时，节点 i 的第j 个输入。 )(?f 取可微的s 型作用函数式 )(x f = x e -+11 -------（2式） 可由输入层隐层至输出层，求得网络输出层节点的输出。 （1） 计算网络的目标函数 J 设p E 为在第 p 组样本输入时，网络的目标函数，取2L 范数，则 ∑∑=-=-= k kp k kp kp p p p t e t y d t y d t E )(21)]([21||)(||21)(2 222--------（3式） 式中， )(t y p 是在第p 组样本输入时，经t 次权值调整后网络的输出：k 是 输出层第k 个节点。 网络的总目标函数： )(t J =∑p p t E )( ----------（4式） 作为对网络学习状况的评价。 （2） 判别 若 )(t J ≤ε -------（5式） 算法结束；否则，至步骤（4）。式中，ε是预先确定的，0>ε. （3） 反向传播计算 由输出层，依据 J ，按梯度下降法反向计算，可逐层调整权值。 由式() k k k k k a a J a a ??-=+η1，取步长为常值，可得到神经元j 到神经元i 的 第三章径向基函数网络 (44) 3.1 径向基函数（Redial Basis Function，RBF） (44) 3.2 径向基函数参数的选取 (46) c的选取 (46) 3.2.1 基函数中心 p 3.2.2权系数 的确定 (47) 3.3 高斯条函数 (48) )(1 )(p h P p p λx g ?∑==第三章 径向基函数网络 径向基函数网络利用具有局部隆起的所谓径向基函数来做逼近或分类问题。它可以看作是一种前馈网络，所处理的信息在工作过程中逐层向前流动。虽然它也可以像BP 网络那样利用训练样本作有教师学习，但是其更典型更常用的学习方法则与BP 网络有所不同，综合利用了有教师学习和无教师学习两种方法。对于某些问题，径向基函数网络可能比BP 网络精度更高。 3.1 径向基函数（Redial Basis Function ，RBF ） [Powell 1985]提出了多变量插值的径向基函数方法。稍后[Broomhead 1988]成功地将径向基函数用于模式识别。径向基函数可以写成 ||)1 (||)(∑=-= P p p c x p x g ?λ (3.1.1) 其中N R x ∈表示模式向量；N P p p R c ?=1 }{ 是基函数中心；j λ是权系数；?是选定的非线性基函数。(3.1.1)可以看作是一个神经网络，输入层有N 个单元，输入模式向量x 由此进入网络。隐层有P 个单元，第p 个单元的输入为||||p p c x h -=，输出为)(p h ?。输出层1个单元， 输出为 。 假设给定了一组训练样本11},{R R y x N J j j j ??=。当j y 只取有限个值（例如，取0，1或±1）时，可以认为是分类问题；而当j y 可取任意实数时，视为逼近问题。网络学习（或训练）的任务就是利用训练样本来确定输入层到隐层的权向量p c 和隐层到输出层的权系数p λ，使得 J j y x g j j ,,1 ,)( == (3.1.2) 为此，当P J =时，可以简单地令 P p x c p p ,,1 , == (3.1.3) 这时(3.1.2)成为关于{}p λ的线性方程组，其系数矩阵通常可逆，因此有唯一解(参见[MC])。在实践中更多的情况是P J >。这时， (3.1.2)一般无解, 只能求近似解。我们将在下一节详细讨论这种情况。 常用的非线性基函数有以下几种： 1) 高斯基函数 确定了}{p c 后，可以选取如下的高斯基函数来构造径向基函数： )()(1x x g P p p p ∑==?λ (3.1.4a) 式中 一、原始依据（包括设计或论文的工作基础、研究条件、应用环境、工作目 的等。） 工作基础：了解C++的基本概念和语法，熟练使用Visual C++6.0软件。 研究条件：BP神经网络的基本原理以及图像处理的基本常识。 应用环境：基于BP神经网络的图片图像文件中的字符识别。 工作目的：掌握基于Visual C++6.0应用程序的开发。 了解人工智能的基本概念并掌握神经网络算法的基本原理。 掌握Visual C++6.0中的图片处理的基本过程。 二、参考文献 [1]人工智能原理及其应用，王万森，电子工业出版社，2007. [2]VC++深入详解，孙鑫，电子工业出版社，2006. [3]人工神经网络原理, 马锐，机械工业出版社，2010. [4]Visual C++数字图像处理典型案例详解，沈晶，机械工业出版社，2012. [5]Application of Image Processing to the Characterization of Nanostructures Manuel F. M. Costa，Reviews on Advanced Materials Science,2004. 三、设计（研究）内容和要求（包括设计或研究内容、主要指标与技术参数，并根据课题性质对学生提出具体要求。） 1、掌握C++的基本概念和语法。 2、掌握二维神经网络的基本原理。了解BP神经网络的基本概念。 3、完成Visual C++中对于图像的灰度、二值化等预处理。 4、完成基于样本的神经网络的训练以及图像中数字的识别，并对其性能进 行统计和总结，分析其中的不足。 指导教师（签字） 年月日 审题小组组长（签字） 年月日 PS:这篇介绍神经网络就是很详细得,有一步一步得推导公式！神经网络就是DL(深度学习)得基础。 如果对神经网络已经有所了解,可以直接跳到“三、BP算法得执行步骤“ 部分,算法框架清晰明了。 另外,如果对NN 很感兴趣,也可以参阅最后两篇参考博文,也很不错！ 学习就是神经网络一种最重要也最令人注目得特点。在神经网络得发展进程中,学习算法得研究有着十分重要得地位。目前,人们所提出得神经网络模型都就是与学习算法相应得。所以,有时人们并不去祈求对模型与算法进行严格得定义或区分。有得模型可以有多种算法.而有得算法可能可用于多种模型。不过,有时人们也称算法为模型。 自从40年代Hebb提出得学习规则以来,人们相继提出了各种各样得学习算法。其中以在1986年Rumelhart等提出得误差反向传播法,即BP(error BackPropagation)法影响最为广泛。直到今天,BP算法仍然就是自动控制上最重要、应用最多得有效算法。 1.2.1 神经网络得学习机理与机构 在神经网络中,对外部环境提供得模式样本进行学习训练,并能存储这种模式,则称为感知器;对外部环境有适应能力,能自动提取外部环境变化特征,则称为认知器。 神经网络在学习中,一般分为有教师与无教师学习两种。感知器采用有教师信号进行学习,而认知器则采用无教师信号学习得。在主要神经网络如BP网络,Hopfield网络,ART网络与Kohonen 网络中;BP网络与Hopfield网络就是需要教师信号才能进行学习得;而ART网络与Kohonen网络则无需教师信号就可以学习。所谓教师信号,就就是在神经网络学习中由外部提供得模式样本信号。 一、感知器得学习结构 感知器得学习就是神经网络最典型得学习。 目前,在控制上应用得就是多层前馈网络,这就是一种感知器模型,学习算法就是BP法,故就是有教师学习算法。 一个有教师得学习系统可以用图1—7表示。这种学习系统分成三个部分:输入部,训练部与输出部。 第一章概论 1.神经元的基本结构：处理单元（兴奋、抑制）、连接（输入、输出） 2.神经元模型-激励函数：硬极限激励函数、线性激励函数、对数-S形激励函数 3.人工神经网络的定义：由大量处理单元互联组成的非线性、自适应、分布式并行信息处 理系统。依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的，是一种基于统计的学习方法。 4.神经网络：神经元模型（激励函数）+网络结构+学习算法 5.神经网络的分类：（了解） 拓扑结构：前馈神经网络、递归（反馈）神经网络 按连续性：连续性、离散型 按学习方式：有监督学习、无监督学习 网络应用：自组织神经网络、联想记忆神经网络 6.神经网络分类 前馈神经网络：感知机、自适应线性元、多层感知机、深度学习网络 自组织神经网络（无监督学习）：自组织映射网络（SOM）、自适应谐振理论（ART）、径向基函数网络（RBF） 递归网络模型（简单反馈）：hopfield网络 7.神经网络的特点： 数量巨大（含有大量极其简单的处理单元）； 计算简单（每一个计算单元的处理简单）； 高度复杂的互连。 8.神经网络的特点： 非线性：大多数系统都是非线性的自适应：时变系统、非平稳随机过程分布式：并行计算、大规模并行表示 第二章前馈神经网络（感知机+自适用线性元+BP算法） 2.1感知机 1.感知机的特点：（针对之前神经运算模型的改进） 权值和偏置值能够解析确定，也能学习 二值、多值、连续模型都可以处理 对于线性可分问题，学习步数存在上限 2.感知机组成：一个具有线性组合功能的累加器+硬极限函数激励 3.感知机局限： 对于线性可分问题、学习过程一定收敛； 线性不可分问题：判定边界对震荡不休； 传输函数不可导 4.学习规模：初始化权值；计算输出值；调节权值以及偏置值；迭代完所有样本；判断结 束条件 5.输入向量归一化：很大或很小的输入向量都会导致感知机训练时间大幅度增加，因此对 输入向量归一化（除以向量的模） 6.学习率算法：加一个学习率系数 7.口袋算法：针对线性不可分问题，保留最佳的权值 主要区别在权值更新步骤：若当前权值能将训练样本正确分类，且能够正确分类的训练样本数量大于口袋中权值向量能够正确分类的训练样本数量，则以现权值向量代替原权值向量，并更新口袋中权值向量能够正确分类的样本个数。 若分类错误，则进行常规权值更新 第三章 前馈型神经网络模型 3.1 感知器（Perception ） 感知器（Perception ）是由美国学者F.Rosenblatt 于1957年提出的一个具有单层计算单元的神经网络。它在识别印刷体字符方面表现出了良好的性能，引起人们很多兴趣。后来许多改进型的感知器在文字识别、语音识别等应用领域取得了进展，使得早期的神经网络的研究达到了高潮。 感知器的输入可以是非离散量，它的权向量不仅是非离散量，而且可以学习调整。感知器是一个线性阈值单元组成的网络，可以对输入样本进行分类，而且多层感知器，在某些样本点上对函数进行逼近，虽然在分类和逼近的精度上都不及非线性单元组成的网络，但是可以对其他网络的分析提供依据。 3．1．1 单层感知器 一、单层感知器网络 图为一单层感知器神经网络，输入向量为X=（X 1,X 2,…,X n ），输出向量为Y=(Y 1,Y 2,…,Y n )。最简单的感知器仅有一个神经元。 1 122i n n 感知器的输入向量为X ∈R n , 权值向量为W ∈R n ，单元的输出为为Y ∈{1,-1}。其中： ∑==-=-=n i T T i i W X f XW f W X f Y 1 '')()()(θθ （3.1.1） 其中，X ˊ= (X ,-1),W ˊ= (W ,θ)。 ???<-≥==0 '',10 '',1)''sgn(T T T W X W X W X y (3.1.2) 与M-P 模型不同的是，权值W 可以通过学习训练而加以改变。 二、单层感知器的学习算法 令W n+1=θ, X n+1=-1, 则， )( 1 1 ∑+== n i i i W X f y (3.1.3) 具体算法如下： ①初始化 给W i (0)各赋一个较小的随机非零值。这里W i (t)为t 时刻第i 个输入的权值（1≤i ≤n ）,W n+1(t)为t 时刻的阈值。 ②输入样本 X=(X 1,X 2,…,X n ,T),T 称为教师信号，在两类样本分类中，如果X ∈A 类，则T=1；如果X ∈B 类，则T=-1。 ③计算实际输出 ))(()(1 1t W X f t Y n i i i ∑+== (3.1.4) ④修正权值 W i (t+1)= W i (t)+η(T-Y(t))X i i=(1,2,…,n,n+1) (3.1.5) 其中，0<η≤1用于控制修正速度，通常η不能太大，会影响W i (t)的稳定，也不能太小，会使W i (t)的收敛速度太慢。 ⑤转到②直到W 对一切样本均稳定不变为止。 用单层感知器可实现部分逻辑函数，如： X 1∧X 2： Y=1·X 1+1·X 2-2 即W 1=W 2=1,θ=2 X 1∨X 2： Y=1·X 1+1·X 2-0.5 即W 1=W 2=1,θ=0.5 ： Y=(-1)·X 1+0.5 即W 1=-1，θ=-0.5 三、单层感知器的局限性 1969年Minsky 和Papert 出版了《Perception 》一书，他们从数学上分析了单层感知器为代表的人工神经网络系统的功能和局限性，指出单层感知器仅能解决一阶谓词逻辑和线性分类问题，不能解决高阶谓词和非线性分类问题。为解决高阶谓词和非线性分类问题，必须引入含有隐层单元的多层感知器。书中举出了异或(XOR)问题不能使用单层感知器来解决。异或逻辑为2121X X X X - -- -∨，假定单层感知器能实现异或逻辑，那么， θ-+=2211X W X W Y ，要求： 表 3.1 - -X 精品文档 BP神经网络的优缺点介绍 人工神经网络（Artificial Neural Network）又称连接机模型，是在现代神经学、生物学、心理学等学科研究的基础上产生的，它反映了生物神经系统处理外界事物的基本过程，是在模拟人脑神经组织的基础上发展起来的计算系统，是由大量处理单元通过广泛互联而构成的网络体系，它具有生物神经系统的基本特征，在一定程度上反映了人脑功能的若干反映，是对生物系统的某种模拟，具有大规模并行、分布式处理、自组织、自学习等优点，被广泛应用于语音分析、图像识别、数字水印、计算机视觉等很多领域，取得了许多突出的成果。最近由于人工神经网络的快速发展，它已经成为模式识别的强有力的工具。神经网络的运用展开了新的领域，解决其它模式识别不能解决的问题，其分类功能特别适合于模式识别与分类的应用。多层前向BP网络是目前应用最多的一种神经网络形式, 它具备神经网络的普遍优点，但它也不是非常完美的, 为了更好的理解应用神经网络进行问题求解, 这里对它的优缺点展开一些讨论。 首先BP神经网络具有以下优点： 1) 非线性映射能力：BP神经网络实质上实现了一个从输入到输出的映射功能，数学理论证明三层的神经网络就能够以任意精度逼近任何非线性连续函数。这使得其特别适合于求解内部机制复杂的问题，即BP神经网络具有较强的非线性映射能力。 2) 自学习和自适应能力：BP神经网络在训练时，能够通过学习自动提取输出、输出数据间的“合理规则”，并自适应的将学习内容记忆于网络的权值中。即BP神经网络具有高度自学习和自适应的能力。 3) 泛化能力：所谓泛化能力是指在设计模式分类器时，即要考虑网络在保证对所需分类对象进行正确分类，还要关心网络在经过训练后，能否对未见过的模式或有噪声污染的模式，进行正确的分类。也即BP神经网络具有将学习成果应用于新知识的能力。 4) 容错能力：BP神经网络在其局部的或者部分的神经元受到破坏后对全局的训练结果不会造成很大的影响，也就是说即使系统在受到局部损伤时还是可以正常工作的。即BP神经网络具有一定的容错能力。 鉴于BP神经网络的这些优点，国内外不少研究学者都对其进行了研究，并运用网络解决了不少应用问题。但是随着应用范围的逐步扩大，BP神经网络也暴露出了越来越多的缺点和不足，比如： 精品文档 3.4几种典型的神经网络 神经网络除了前向型网络外，还有反馈型、随机型和自组织竞争型等类型，本节主要介绍这三种神经网络，以及多神经网络集成。 3.4.1 反馈型神经网络 反馈型神经网络又称为递归网络或回归网络，它是一种反馈动力学系统，比前向神经网络具有更强的计算能力。其中Hopfield 神经网络是其典型代表，也是得到最充分研究和应用的神经网络之一，它是由美国物理学家J.J.Hopfield 于1982年首先提出的，主要用于模拟生物神经网络的记忆机理。由于网络的运行是一个非线性的动力系统，所以比较复杂。因此Hopfield 为这类网络引入了一种稳定过程，即提出了神经网络能量函数（也称李雅普诺夫函数）的概念，使网络的运行稳定判断有了可靠而简便的依据。 Hopfield 神经网络已在联想记忆和优化计算中得到成功应用，并拓宽了神经网络的应用范围。另外，Hopfield 网络还有一个显著的优点，就是它与电子电路存在明显的对应关系，使得该网络易于理解和便于实现。 Hopfield 网络有离散型[1]（DHNN ）和连续型[2]（CHNN ）两种实用形式。离散型Hopfield 网络的结构比较简单，在实际工程中的应用比较广泛，因此本节重点介绍离散型Hopfield 网络，并作仿真分析。 1、离散Hopfield 神经网络模型 离散Hopfield 神经网络是一种单层反馈型非线性网络，每一个结点的输出均反馈到其他结点的输入，其工作原理如图3.4.1所示。 设有n 个神经元，()n v v v V ,,,21L 为神经网络的状态矢量，i v 为第i 个神经元的输出，输出取值为0 或者为1的二值状态。对任一神经元n v v v i ,,,,21L 为第i 个神经元的输入，它们对该神经元的影响程度用连接权in i i w w w ,,,21L 表示i θ为其阈值，则有： 图3.4.1 离散Hopfield 神经网络的工作原理图 ?? ?>>=0 1i i i Net Net v （3.4.1） 式中，∑≠=?= n i j j i j ij i v w Net ,1θ，称为单元i 的状态。 Hopfield 网络是对称网络，故ji ij w w =。当0=ii w 时，称为无自反馈的离散Hopfield 网络；反之，称为有自反馈的离散Hopfield 网络。 Hopfield 网络有两种工作方式： （1）异步方式：在任一时刻t ，只有某一个神经元按式（3.4.1）发生变化，而其余1?n 神经元的状态保持不变。 （2）同步方式：在任一时刻t ，有部分神经元按式（3.4.1）变化（部分同步）或所有神经元按式（3.4.1）变化（全并行方式）。 反馈神经网络的一个重要特点就是它具有稳定状态。 定义3.4.1 若神经网络从t = 0的任意一个初始状态)0(V 开始，存在一个有限的时刻，从该时刻后，神经网络状态不再发生变化，即： ()0)(>Δ=Δ+t t V t t V （3.4.2） 则称网络是稳定的。 Hopfield 神经网络是多个神经元相互结合的网络，它有两个最基本的最重要的约束条件： （1）神经元之间的相互结合强度是对称的，即ji ij w w =； （2）各神经元之间状态完全动态地异步变化。 基于这两个约束条件，我们来考察一下网络的状态变化规律，并给出计算机仿真。bp神经网络及matlab实现讲解学习
前馈神经网络和反馈神经网络模型
多层前馈神经网络
10-第三篇 第3章 常用神经网络
bp神经网络详解
神经网络算法详解
前馈神经网络
数学建模bp神经网络讲解学习
BP神经网络详细讲解
多层前馈神经网络new
第3章神经网络3-径向基函数网络(n)
本科毕业论文---基于bp神经网络的字符识别算法的实现正文
BP神经网络详细讲解
神经网络复习
第三章 前馈型神经网络模型
BP神经网络的优缺点资料讲解
第三章 神经网络3.4,3.5
相关主题
文本预览