hopfield神经网络模型
- 格式:ppt
- 大小:909.00 KB
- 文档页数:7
HopfieldNetwork霍普菲尔德⽹络⼊门简介Hopfield Network (霍普菲尔德⽹络),是 Hopfield 在1982年提出的⼀种基于能量的模型,发表的⽂章是 Neural networks and physical systems with emergent collective computational abilities。
基本结构如下图所⽰:⾸先我们来看Hopfield Network的⼀句话定义:Hopfield Network is a model that can reconstruct data after being fed with corrupt versions of the same data.也就是说利⽤Hopfield Network的过程是:some data→Hopfield Network→full data可以看到Hopfield Network的⼏个基本特点:只有单层神经元节点之间是全连接的只有输⼊,没有输出主要功能是:联想记忆 associatIve memory,例如重新构建图形。
假设我们在⽹络中存储了右侧的三张图⽚,如果我们只输⼊⼀部分图⽚,例如左侧的六张图⽚,⽹络可以从记忆中取出完整的图像。
Energy Function能量函数:Energy Function,可以看作⼀种代价函数。
这个概念最先在热⼒学中被提出,⽤来描述系统的能量值。
当能量函数求得的能量值达到最⼩值的时候,整个热⼒学系统达到稳定状态。
在深度学习之中,引⼊这个概念也是为了使模型达到稳定的状态。
Energy Based Models利⽤了能量函数的模型被称为Energy Based Models,EBM。
Energy Function for Images对于有d个像素的⿊⽩图像,假设每⼀个图像都有参数x={x j}1≤j≤d,那么我们可以建⽴如下形式的能量函数:如果我们有p个图像,我们就能得到基于E(x)的p个极⼩值。
Hopfield 神经网络前馈(前向)网络和反馈网络是当前人工神经网络研究中最基本的两种网络模型。
1982年到1986年,美国物理学家Hopfield 陆续发表文章报导了对反馈神经网络理论与应用的研究成果,引起了人们广泛的兴趣,并且将这种单层反馈网络称为Hopfield 网络。
在单层全反馈网络中(基本Hopfield 网络中),节点之间相互连接,每个节点接收来自其它节点的输入,同时又输出给其它节点,每个神经元没有到自身的连接。
由于引入反馈,所以它是一个非线性动力学系统。
其结构如下所示:n1n32y y(a ) (b )图1 Hopfield 网络基本结构前馈网络大多表达的是输出与输入间的映射关系,一般不考虑输出与输入间在时间上的滞后效应;反馈网络需要考虑输出与输入间在时间上的延时,需要利用动态方程(差分方程或微分方程)描述神经元和系统的数学模型。
前馈网络的学习(训练)主要采用误差修正法,计算时间较长,收敛速度较慢;反馈网络(如Hopfield 网络)的学习主要采用Hebb 规则,收敛速度较快。
Hopfield 网络在应用上除可作为联想记忆与分类外,还可用于优化计算。
可以认为,Hopfield 网络的联想记忆和优化计算这两种功能是对偶的:当用于联想记忆时,通过样本模式的输入给定网络的稳定状态,经学习求得联接权值W ;当用于优化计算时,以目标函数和约束条件建立系统的能量函数来确定联接权值,当网络演变至稳定状态时即可得出优化计算问题的解。
Hopfield 网络神经元模型可以是离散变量,也可以连续取值。
一.离散Hopfield 网络 1.网络结构及性能描述:离散Hopfield 网络模型如图1所示。
设共有N 个神经元,ij 表示从神经元j 到神经元i 的联接权,j s 表示神经元j 的状态(取+1或-1),j v 表示神经元j 的净输入,有:⎪⎩⎪⎨⎧=+-⋅=∑=)](sgn[)1()()(1t v t s t s t v j j jNi i ji j θω,即:⎩⎨⎧<->+=+0)(,10)(,1)1(t v t v t s j j j (1) 或:⎪⎩⎪⎨⎧<-=>+=+0)(,10)(),(0)(,1)1(t v t v t s t v t s j j j j j当0)(=t v j 时可认为神经元的状态保持不变。
Hopfield神经⽹络综述题⽬: Hopfield神经⽹络综述⼀、概述:1.什么是⼈⼯神经⽹络(Artificial Neural Network,ANN)⼈⼯神经⽹络是⼀个并⾏和分布式的信息处理⽹络结构,该⽹络结构⼀般由许多个神经元组成,每个神经元有⼀个单⼀的输出,它可以连接到很多其他的神经元,其输⼊有多个连接通路,每个连接通路对应⼀个连接权系数。
⼈⼯神经⽹络系统是以⼯程技术⼿段来模拟⼈脑神经元(包括细胞体,树突,轴突)⽹络的结构与特征的系统。
利⽤⼈⼯神经元可以构成各种不同拓扑结构的神经⽹络,它是⽣物神经⽹络的⼀种模拟和近似。
主要从两个⽅⾯进⾏模拟:⼀是结构和实现机理;⼆是从功能上加以模拟。
根据神经⽹络的主要连接型式⽽⾔,⽬前已有数⼗种不同的神经⽹络模型,其中前馈型⽹络和反馈型⽹络是两种典型的结构模型。
1)反馈神经⽹络(Recurrent Network)反馈神经⽹络,⼜称⾃联想记忆⽹络,其⽬的是为了设计⼀个⽹络,储存⼀组平衡点,使得当给⽹络⼀组初始值时,⽹络通过⾃⾏运⾏⽽最终收敛到这个设计的平衡点上。
反馈神经⽹络是⼀种将输出经过⼀步时移再接⼊到输⼊层的神经⽹络系统。
反馈⽹络能够表现出⾮线性动⼒学系统的动态特性。
它所具有的主要特性为以下两点:(1).⽹络系统具有若⼲个稳定状态。
当⽹络从某⼀初始状态开始运动,⽹络系统总可以收敛到某⼀个稳定的平衡状态;(2).系统稳定的平衡状态可以通过设计⽹络的权值⽽被存储到⽹络中。
反馈⽹络是⼀种动态⽹络,它需要⼯作⼀段时间才能达到稳定。
该⽹络主要⽤于联想记忆和优化计算。
在这种⽹络中,每个神经元同时将⾃⾝的输出信号作为输⼊信号反馈给其他神经元,它需要⼯作⼀段时间才能达到稳定。
2.Hopfield神经⽹络Hopfield⽹络是神经⽹络发展历史上的⼀个重要的⾥程碑。
由美国加州理⼯学院物理学家J.J.Hopfield 教授于1982年提出,是⼀种单层反馈神经⽹络。
Hopfield神经⽹络是反馈⽹络中最简单且应⽤⼴泛的模型,它具有联想记忆的功能。