连续型Hopfield神经网络
- 格式:ppt
- 大小:1.96 MB
- 文档页数:51
第5章Hopfield神经网络与联想记忆前面介绍了前向网络及其学习算法,对于所介绍的前向网络,从学习的观点来看,它是一个强有力的学习系统,系统结构简单、易于编程;从系统的观点来看,它是一个静态非线性映射,通过简单非线性处理单元的复合映射可获得复杂系统的非线性处理能力;从计算的观点来看,它并不是一强有力系统,缺乏丰富的动力学行为。
反馈神经网络是一个反馈动力学系统,具有更强的计算能力。
1982年美国物理学家J. Hopfield提出的单层全互连含有对称突触连接的反馈网络是最典型的反馈网络模型。
Hopfield 用能量函数的思想形成了一种新的计算方法,阐明了神经网络与动力学的关系,并用非线性动力学的方法来研究这种神经网络的特性,建立了神经网络稳定性判据,并指出信息存储在网络中神经元之间的连接上,形成了所谓的Hopfield网络,称之为离散Hopfield网络。
而且Hopfield还将该反馈网络同统计物理中的Ising模型相类比,把磁旋的向上和向下方向看成神经元的激活和抑制两种状态,把磁旋的的相互作用看成神经元的突触权值。
这种类推为大量的物理学理论和许多的物理学家进入神经网络领域铺平了道路。
1984年,Hopfield设计与研制了Hopfield网络模型的电路,指出神经元可以用运算放大器来实现,所有神经元的连接可用电子线路来模拟,称之为连续Hopfield网络。
用该电路Hopfield成功的解决了旅行商(TSP)计算难题(优化问题)。
Hopfield网络是神经网络发展历史上的一个重要的里程碑。
把神经网络看作一种非线性的动力学系统,并特别注意其稳定性研究的学科,被称为神经动力学(Neurodynamics)。
Hopfield神经网络可看作一种非线性的动力学系统,所以为了方便介绍Hopfield神经网络,本章首先简单介绍神经动力学。
前面介绍的单层前向网络和多层前向网络,其思路均是先介绍网络模型再介绍相应的学习算法。
Hopfield神经网络求解TSP问题1.什么是TSP问题旅行商问题,即TSP问题(Traveling Salesman Problem),也是最优化问题。
一个旅行商人要拜访n个城市,他必须选择所要走的路径,路径的限制是每个城市只能拜访一次,而且最后要回到原来出发的城市。
路径的选择目标是要求得的路径路程为所有路径之中的最小值。
用数学语言描述TSP如下 :设有限个城市集合 : C = { C1 , C 2 , … , Cn },每两个城市间的距离为 d(Ci,Cj)∈Z, 其中 Ci,Cj∈C( 1<=i , j <=n), 即求 minL=∑d(Ci,Cj)的值的问题。
有效路径的方案数目为Rn=((n-1)!/2),例如:R4=3,R5=12,R6=120,R10=181440可见路径总数,随n增大而急剧增长,当城市数目增加到一定的程度,计算量增加到无法进行的地步,所以要选择一种合理快速的算法,而不能对所有情况使用人工列举的方法。
2.Hopfield神经网络介绍人工神经网络(Artificial Neural Networks,简写为ANNs)也简称为神经网络(NNs)或称作连接模型(Connection Model),它是一种模仿动物神经网络行为特征,进行分布式并行信息处理的算法数学模型。
这种网络依靠系统的复杂程度,通过调整内部大量节点之间相互连接的关系,从而达到处理信息的目的.最基础的为BP、Hopfield网络等。
Hopfield网络是一种互连型网络的一种,它引入类似于Lyapunov 函数的能量函数概念,把神经网络的拓扑结构(用连接权矩阵表示)与所求问题(用目标函数描述)相对应,并将其转换为神经网动力学系统的演化问题。
3.神经元的数学模型人的大脑是由大量神经细胞或神经元组成的。
每个神经元可以看作为一个小的处理单元,这些神经元按照某种方式相互连接起来,构成大脑内部的生理神经元网络系统,他们中各个神经元之间连接的强弱不是固定不变的,而是按照外部的信号激励程度做自适应的变化,而每个神经元又随着接收到的多个激励信号的综合大小呈现兴奋或抑制状态。