20030303-hejianhua-神经网络讲义-part5-Hopfield网络
- 格式:ppt
- 大小:562.00 KB
- 文档页数:58
Hopfield 神经网络前馈(前向)网络和反馈网络是当前人工神经网络研究中最基本的两种网络模型。
1982年到1986年,美国物理学家Hopfield 陆续发表文章报导了对反馈神经网络理论与应用的研究成果,引起了人们广泛的兴趣,并且将这种单层反馈网络称为Hopfield 网络。
在单层全反馈网络中(基本Hopfield 网络中),节点之间相互连接,每个节点接收来自其它节点的输入,同时又输出给其它节点,每个神经元没有到自身的连接。
由于引入反馈,所以它是一个非线性动力学系统。
其结构如下所示:n1n32y y(a ) (b )图1 Hopfield 网络基本结构前馈网络大多表达的是输出与输入间的映射关系,一般不考虑输出与输入间在时间上的滞后效应;反馈网络需要考虑输出与输入间在时间上的延时,需要利用动态方程(差分方程或微分方程)描述神经元和系统的数学模型。
前馈网络的学习(训练)主要采用误差修正法,计算时间较长,收敛速度较慢;反馈网络(如Hopfield 网络)的学习主要采用Hebb 规则,收敛速度较快。
Hopfield 网络在应用上除可作为联想记忆与分类外,还可用于优化计算。
可以认为,Hopfield 网络的联想记忆和优化计算这两种功能是对偶的:当用于联想记忆时,通过样本模式的输入给定网络的稳定状态,经学习求得联接权值W ;当用于优化计算时,以目标函数和约束条件建立系统的能量函数来确定联接权值,当网络演变至稳定状态时即可得出优化计算问题的解。
Hopfield 网络神经元模型可以是离散变量,也可以连续取值。
一.离散Hopfield 网络 1.网络结构及性能描述:离散Hopfield 网络模型如图1所示。
设共有N 个神经元,ij 表示从神经元j 到神经元i 的联接权,j s 表示神经元j 的状态(取+1或-1),j v 表示神经元j 的净输入,有:⎪⎩⎪⎨⎧=+-⋅=∑=)](sgn[)1()()(1t v t s t s t v j j jNi i ji j θω,即:⎩⎨⎧<->+=+0)(,10)(,1)1(t v t v t s j j j (1) 或:⎪⎩⎪⎨⎧<-=>+=+0)(,10)(),(0)(,1)1(t v t v t s t v t s j j j j j当0)(=t v j 时可认为神经元的状态保持不变。
一、感知器的学习结构感知器的学习是神经网络最典型的学习。
目前,在控制上应用的是多层前馈网络,这是一种感知器模型,学习算法是BP法,故是有教师学习算法。
一个有教师的学习系统可以用图1—7表示。
这种学习系统分成三个部分:输入部,训练部和输出部。
神经网络学习系统框图1-7 图神经网络的学习一般需要多次重复训练,使误差值逐渐向零趋近,最后到达零。
则这时才会使输出与期望一致。
故而神经网络的学习是消耗一定时期的,有的学习过程要重复很多次,甚至达万次级。
原因在于神经网络的权系数W有很多分量W ,W ,----W ;也即是一n12个多参数修改系统。
系统的参数的调整就必定耗时耗量。
目前,提高神经网络的学习速度,减少学习重复次数是十分重要的研究课题,也是实时控制中的关键问题。
二、感知器的学习算法.感知器是有单层计算单元的神经网络,由线性元件及阀值元件组成。
感知器如图1-9所示。
图1-9 感知器结构感知器的数学模型:(1-12)其中:f[.]是阶跃函数,并且有(1-13)θ是阀值。
感知器的最大作用就是可以对输入的样本分类,故它可作分类器,感知器对输入信号的分类如下:即是,当感知器的输出为1时,输入样本称为A类;输出为-1时,输入样本称为B类。
从上可知感知器的分类边界是:(1-15)在输入样本只有两个分量X1,X2时,则有分类边界条件:(1-16)即W X +W X -θ=0 (1-17) 2121也可写成(1-18)这时的分类情况如固1—10所示。
感知器的学习算法目的在于找寻恰当的权系数w=(w1.w2,…,Wn),。
当d熊产生期望值xn),…,x2,(xt=x定的样本使系统对一个特.x分类为A类时,期望值d=1;X为B类时,d=-1。
为了方便说明感知器学习算法,把阀值θ并人权系数w中,同时,样本x也相应增加一个分量x 。
故令:n+1W =-θ,X =1 (1-19) n+1n+1则感知器的输出可表示为:(1-20)感知器学习算法步骤如下:1.对权系数w置初值对权系数w=(W.W ,…,W ,W )的n+11n2各个分量置一个较小的零随机值,但W =—g。
神经网络课程实验三h o p f i e l d 网络(M a t l a b)(共9页)-本页仅作为预览文档封面,使用时请删除本页-实验三 Hopfield 网络学习算法的简单应用1.不同印刷版本数字8的识别一. 实验目的1. 加深对Hopfield 网络学习算法的理解2. 通过实验了解Hopfield 学习算法的工作原理3. 通过上机实验掌握具体的实现方法二. 实验原理Hopfield 网络Hopfield 网络是一种具有全互联结构的递归神经网络,其具有反馈机制的非线性动力学系统,反映了生物神经系统结构的复杂性。
该网络一般分为离散型(DHNN )和连续型(CHNN )两种,其标准的网络能量函数可以表示为:12ij i j i ii j iE T VV I V =--∑∑∑.式中:ij T 是神经元i 和神经元j的连接权值;i I 是神经元i 的输入阈值;i V 和j V 分别是神经元i 和神经元j 的输出值。
在满足一定条件下,能量函数的能量在网络运行过程中不断减小,最后趋于稳定的平衡状态。
Hopfield 网络自提出以来,已成功应用于多个方面。
网络的定义一个 n 阶的 Hopfield 网络是一个五元组:(),,,,n F DHN G IF OF OA WA =其中:1)GF :规定 DHN (n ) 拓扑结构的扩展模糊图:(),(),()F F F F G N G E G A G =其中,N (G F ) = {N i (i )1i n } 是非空神经元集合,每一个神经元 N i 附有阈值i ;E (G F ) = {e ij1i,j n } 是边的集合,e ij 是 N i N j 的边; A (G F ) = (w ij )n n 是联系矩阵,w ij 是 N i N j 的联系效率。
2)IF N (G F ):输入域。
3)OF N (G F ):输出域。
4)WA :工作算法,令 o i (t ) {-1,1} 为 N i 在 t 时刻的状态,o (t ) =(o 1(t ),o 2(t ),…,o n (t ))T 为 N (G F )在 t 时刻的状态向量 (t=0,1,2,…),则::()()(,)I O I O WA IF OF →⊆o o o o o其中,o I {-1,1}nI 1 (n I n ) 和 o O {-1,1}nO 1 (n O n ) 分别为 IF和 OF 的状态向量。