当前位置：文档之家 › 第8章神经网络-Hopfield网络(论文资料)

第8章神经网络-Hopfield网络(论文资料)

  • 格式：ppt
  • 大小：690.02 KB
  • 文档页数：52

下载文档原格式

  / 52

合集下载

第8章 神经网络-Hopfield网络

第8章 神经网络-Hopfield网络

8.2.2 状态轨迹为极限环
如果在某些参数的情况下，状态N(t)的轨迹是一 个圆，或一个环，状态N(t)沿着环重复旋转，永不停 止，此时的输出A(t)也出现周期变化，即出现振荡， 如图8.4中C的轨迹即是极限环出现的情形。
对于DHNN，轨迹变化可能在两种状态下来回跳 动，其极限环为2。如果在r种状态下循环变化，称 其极限环为r。
对于CHNN，因为f(·)是连续的，因而，其轨迹 也是连续的，如图中B、C所示。
对于不同的连接权值wij和输入Pj(i, j=1, 2, … r)， 反馈网络状态轨迹可能出现以下几种情况。
8.2.1 状态轨迹为稳定点
状态轨迹从系统在t0时状态的初值N(t0)开始，经 过一定的时间t(t＞0)后，到达N(t0+t)。如果 N(t0+t+Δt)=N(t0+t)，Δt＞0，则状态N(t0+t)称为网络 的稳定点，或平衡点。
在人工神经网络中，由于输入、输出激活函数是 一个有界函数，虽然状态N(t)是发散的，但其输出A(t) 还是稳定的，而A（t）的稳定反过来又限制了状态的 发散。
一般非线性人工神经网络中发散现象是不会发生 的，除非神经元的输入输出激活函数是线性的。
目前的人工神经网络是利用第一种情况即稳定的专 门轨迹来解决某些问题的。
如果ai=f(ni)中的f(·)为一个连续单调上升的有界 函数，这类网络被称为连续型反馈网络。图8.3中所示 为一个具有饱和线性激活函数，它满足连续单调上升
的有界函数的条件，常作为连续型的激活函数。
图8.2 DHNN中的激活函数 图8.3 CHNN中的激活函数
8.2 状态轨迹
设状态矢量N=[n1, n2, …，nr]，网络的输出矢量 为A＝[a1，a2…，as]T ，

Hopfield神经网络模型与学习算法

Hopfield神经网络模型与学习算法
2015/8/11 15
2.9.3 Hopfield 神经网络的MATLAB实 现

MATLAB中与Hopfield网络有关的重要函数和功能
satlins( ) 功能 对称饱和线性传递函数 格式 A = satlins(N) A输出向量矩阵； N是由网络的输入向量组成的 S*Q矩阵，返回的矩阵 A与N的维数大小一致，A 的元素取值位于区间[0，1]内。当N中的元素介 于-1和1之间时，其输出等于输入；当输入值小 于-1时返回-1；当输入值大于1时返回1。
N N u dv d E d E dvi wij v j i I i i dt dvi dt Rj dt i 1 j 1
将下式代入得：
N dui u Ci wij v j I i i dt Ri j 1 N dE du dv Ci ( i ) i dt dt dt i 1
•在任一时刻，部分神经元或全部神经元的状 态同时改变。
2015/8/11
7
2.9.1离散Hopfield 神经网络

串行(异步)工作方式运行步骤 第一步 对网络进行初始化； 第二步 从网络中随机选取一个神经元； 第三步 按式(2-5)求出该神经元i的输出； 第四步 按式 (2-6) 求出该神经元经激活函数 处理后的输出，此时网络中的其他神经元的输 出保持不变； 第五步 判断网络是否达到稳定状态，若达 到稳定状态或满足给定条件则结束；否则转到 第二步继续运行。
2015/8/11
16
2.9.3 Hopfield 神经网络的MATLAB实 现 例2-8 设印刷体数字由10 10点阵构成，就

是将数字分成很多小方块，每个方块就对应数 字的一部分，构成数字本部分的方块用 1 表示， 空白处用-1表示。试设计一个Hopfield网络， 能够正确识别印刷体的数字。

Hopfield神经网络综述

Hopfield神经网络综述

H o p f i e l d神经网络综述(总19页)--本页仅作为文档封面，使用时请直接删除即可----内页可以根据需求调整合适字体及大小--题目： Hopfield神经网络综述一、概述：1.什么是人工神经网络（Artificial Neural Network，ANN)人工神经网络是一个并行和分布式的信息处理网络结构，该网络结构一般由许多个神经元组成，每个神经元有一个单一的输出，它可以连接到很多其他的神经元，其输入有多个连接通路，每个连接通路对应一个连接权系数。

人工神经网络系统是以工程技术手段来模拟人脑神经元（包括细胞体，树突，轴突）网络的结构与特征的系统。

利用人工神经元可以构成各种不同拓扑结构的神经网络，它是生物神经网络的一种模拟和近似。

主要从两个方面进行模拟：一是结构和实现机理；二是从功能上加以模拟。

根据神经网络的主要连接型式而言，目前已有数十种不同的神经网络模型，其中前馈型网络和反馈型网络是两种典型的结构模型。

1）反馈神经网络(Recurrent Network)反馈神经网络，又称自联想记忆网络，其目的是为了设计一个网络，储存一组平衡点，使得当给网络一组初始值时，网络通过自行运行而最终收敛到这个设计的平衡点上。

反馈神经网络是一种将输出经过一步时移再接入到输入层的神经网络系统。

反馈网络能够表现出非线性动力学系统的动态特性。

它所具有的主要特性为以下两点：（1）.网络系统具有若干个稳定状态。

当网络从某一初始状态开始运动，网络系统总可以收敛到某一个稳定的平衡状态；（2）.系统稳定的平衡状态可以通过设计网络的权值而被存储到网络中。

反馈网络是一种动态网络，它需要工作一段时间才能达到稳定。

该网络主要用于联想记忆和优化计算。

在这种网络中，每个神经元同时将自身的输出信号作为输入信号反馈给其他神经元，它需要工作一段时间才能达到稳定。

2.Hopfield神经网络Hopfield网络是神经网络发展历史上的一个重要的里程碑。

连续型Hopfield神经网络

连续型Hopfield神经网络

CHENLI
3
CHENLI
4
CHENLI
5
神经元具有以下特点： ➢ 神经元是一多输入、单输出元件。 ➢ 它具有非线性的输入、输出特性。
➢ 它具有可塑性，其塑性变化的部分主要是权值 的变化，这相当于生物神经元的突触部分的变 化。
➢ 神经元的输出响应是各个输入值的综合作用的 结果。
➢ 输入分为兴奋型（正值）和抑制型（负值）两 种。
1) 递归网络 此类网络中，多个神经元互连组织成一个互连神经网络。 有些神经网络输出被反馈至同层或前层神经元。因此， 信号能从正向和反向流通。Hopfield 网络、Elmman 网 络和Jordan 网络是递归网络中具有代表性的例子。递 归网络又叫反馈网络。
CHENLI
8
图a 单层反馈型网络
CHENLI
CHENLI
6
国际著名的神经网络研究专家， 第一家 神经计算机公司的创立者与领导人HechtNielsen 给人工神经网络下的定义就是： “人工神经网络是由人工建立的、以有向 图为拓扑结构的动态系统，它通过对连续 或断续的输入作状态响应而进行信息处 理。”
CHENLI
7
人工神经网络的结构分类
人工神经网络的结构基本上分为两类，即递归 网络和前馈网络。
9
2) 前馈网络
前馈网络具有递阶分层结构，由一些同层神经 元不存在互连的层级组成。从输入层至输出层 的信号通过单向连接流通；神经元从一层连接 至下一层，不存在同层神经元间的连接，前馈 网络的例子有多层感知器(MLP)，学习矢量化 (LVQ)网络、小脑膜型连接控制(CMCA)网络和数 据处理(GMDH)网络等。
CHENLI
17
Hopfield网络分为离散型和连续型两种， 都是对称互连网络（Wij=Wji）,根据节点状 态的取值来划分是离散型的还是连续型。 离散网络节点取{-1，+1}或{0，+1}，连 续网络节点状态在某个随机区间内连续取 值。

神经网络的应用论文

神经网络的应用论文

神经网络的原理及应用摘要：通过阅读相关文献，总结了神经网络方面的基本原理和应用。

首先介绍了Hopfield神经网络中的离散型网络，并介绍其实现交通标志的步骤。

随着神经网络的发展，其局限性日益凸显。

为此，科学家们提出了与其它方法结合的神经网络。

本文介绍了遗传算法优化BP神经网络的原理及在在坝基岩体渗透系数识别中的应用，还介绍了模糊神经网络的原理及在预测地基沉降量中的应用，最后介绍了小波神经网络的原理及在电力负荷预测中的应用。

关键字：神经网络、Hopfield、遗传算法、模糊神经网络、小波神经网络绪论Hopfield网络及学习算法最初是由美国物理学家J.J Hopfield于1982年首先提出的，曾经为人工神经网络的发展进程开辟了新的研究途径。

它利用与阶层型神经网络不同的结构特征和学习方法，模拟生物神经网络的记忆机理，获得了令人满意的结果。

Hopfield最早提出的网络是二值神经网络，神经元的输出只取1和0，所以，也称离散Hopfield神经网络（Discrete Hopfield Neural Network，DHNN）。

在离散Hopfield网络中，所采用的神经元是二值神经元，因此，所输出的离散值1和0分别表示神经元处于激活和抑制状态。

Hopfield神经网络是递归神经网络的一种，在函数优化和联想记忆等方面有大量的应用。

其运行机理与反馈神经网络有本质的区别，运行规律更加复杂。

神经网络由于高度复杂的非线性结构导致其内部存在大量的局部极值点，而传统的梯度下降法训练神经网络有可能收敛于局部极值点，造成神经网络性能变差，甚至无法使用。

随着现代非线性优化方法异军突起，特别是赫赫有名的遗传算法，具有极强的全局搜索能力，其收敛的有效性得到了理论和实践的充分检验。

因此，遗传神经网络是解决高复杂性情况下全局收敛问题的有效途径。

系统的复杂性与所要求的精确性之间存在着尖锐矛盾，模糊逻辑、神经网络和专家控制等智能系统为缓解这种矛盾提供了有效途径，但是这些系统单个运用时常常存在多种问题，因此人们便根据它们的优缺点提出了融合使用的新思路，如本文的模糊神经网络。

HopField神经网络解决旅行商问题

HopField神经网络解决旅行商问题

HopField 神经网络解决旅行商问题实验名称：用Hopfield 神经网络解决旅行商(TSP)问题实验内容：旅行商问题（TravellingSalesman Problem, 简记TSP ，亦称货郎担问题)：设有n 个城市和距离矩阵D=[dij]，其中dij 表示城市i 到城市j 的距离，i ，j=1，2 …n ，则问题是要找出遍访每个城市恰好一次的一条回路并使其路径长度为最短。

TSP 的一个解可表述为一个循环排列，假如有５个城市ABCD Ｅ顺序为如有５个城市顺序为Ｃ→A →Ｅ→Ｂ→Ｄ→Ｃ。

那么路线总长度为：D C BD EB AE CA d d d d d d ++++=TSP 问题综合了一大类组合优化问题的典型特征，属于NP 完全问题，不能在多项式时间内进行检验。

若使用动态规划的方法时间复杂性和空间复杂性都保持为n 的指数函数。

HNN 方法是解TSP 问题的另一种有效的方法，在城市数目比较小的情况下可以在较短的时间得到满意的结果。

算法分析：所用到的基本理论与方法，具体算法。

1.根据文献（1），HNN 解TSP 问题的具体步骤为：0、置t=0,A=1.5,D=1;1、读入N 城市之间的距离),,2,1,(n y x d xy =文件；2、计算神经元之间的权重和输入偏置 权重：n j i y x Dd A A T i j xy ij xy YjXi ,2,1,,,,1,,=---=-其中δδδ输入偏置： I=2A;3、)(t U xi 的初值在0附近随机产生（x,i=1,2,……，N ）;4、计算))/)(tanh(1(21)(0U t U t V xi xi +=， 这里2.00=U 5、利用神经元动态方程，计算∑∑==+=∆n y nj yj yjxi xi I V Tt u 11,)(6利用一阶尤拉法计算 ,5.0)()1()1(=∆∆⨯∆++=+t t t u t U t U xi xi xi ，这里7、如果系统达到平衡状态，那么终止程序，否则返回第4步。

Hopfield神经网络在有源电力滤波器谐波电流检测上的应用


Hopfield 神经网络
连续的Hopfield 连续的Hopfield网络 Hopfield网络
Ii Ri Ci
系统外部输入 细胞膜的传递电阻 细胞膜的输入电容
模拟生 物神经 元输出 的时间 常数
模拟 神经 元的 非线 性特 性
连续型Hopfield神经网络电子线路 图1 连续型 神经网络电子线路
下图3为未加有源电力滤波器时电源处提供的电流波形。
基于Hopfield网络的谐波检测
图3 未加有源电力滤波器时的电流波形
基于Hopfield网络的谐波检测
加入有源电力滤波器后，利用 hopfield 神经网络 算法对谐波电流进行检测，得到其中的3次、5次、7次谐 波波形如图4、5、6所示。
图4 检测到的三次谐波波形
Hopfield 神经网络
使目标函数最小。在无约束条件下，能量函数E设计为：
对于目标函数f(u)，一般总是取一个期望值与实际 值之差的平方或绝对值的标量函数，这样能够保证f(u) 总是大于零。根据Hopfield能量函数的要求，只要E在负 的方向上有界，即 ，同时， ，则系统 最后总能达到E的最小即 的稳定点，即 。 的点，此点同时又是系统
Hopfield 神经网络
图1网络能量函数定义为：
F-1(yi )
为 的逆函数。t 的逆函数。t 为神经网络 j= 1 模型的输出时间常数，上式第三项表示一种输入状态 和输出值关系的能量项。若该函数为单调递增且连续 可微函数， ，则随网络状态的变化，有
ni = ∑w yi −θi ij
n
Hopfield 神经网络
基于Hopfield网络的谐波检测
谐波检测原理：通常情况下，非线性负载电路中的负 谐波检测原理 载电流可以写成

第8章神经网络-Hopfield网络(论文资料)

2) 不稳定平衡点Nen：在某些特定的轨迹演化过程中， 网络能够到达稳定点Nen，但对于其它方向上的任意 一个小的区域N(σ)，不管N(σ)取多么小，其轨迹 在时间t以后总是偏离Nen；
3) 网络的解：如果网络最后稳定到设计人员期望的稳 定点，且该稳定点又是渐近稳定点，那么这个点称 为网络的解；
4) 网络的伪稳定点：网络最终稳定到一个渐近稳定点 上，但这个稳定点不是网络设计所要求的解，这个 稳定点为伪稳定点。
对于CHNN，因为f(·)是连续的，因而，其轨迹也 是连续的，如图中B、C所示。
对于不同的连接权值wij和输入Pj(i, j=1, 2, … r)， 反馈网络状态轨迹可能出现以下几种情况。
8.2.1 状态轨迹为稳定点
状态轨迹从系统在t0时状态的初值N(t0)开始，经 过一定的时间t(t＞0)后，到达N(t0+t)。如果 N(t0+t+Δt)=N(t0+t)，Δt＞0，则状态N(t0+t)称为网络 的稳定点，或平衡点。
霍普菲尔德网络是利用稳定吸引子来对信息进行 储存的，利用从初始状态到稳定吸引子的运行过程来 实现对信息的联想存取的。
通过对神经元之间的权和阈值的设计，要求单 层的反馈网络达到下列目标：
(1) 网络系统能够达到稳定收敛； (2) 网络的稳定点 ； (3) 吸引域的设计 。
8.3 离散型霍普菲尔德网络（DHNN）
如果把系统的稳定点视做一个记忆的话，那么从 初始状态朝这个稳定点移动的过程就是寻找该记忆的 过程。
状态的初始值可以认为是给定的有关该记忆的部 分信息，状态N(t)移动的过程，是从部分信息去寻找 全部信息，这就是联想记忆的过程。
如果把系统的稳定点考虑为一个能量函数的极小 点，在状态空间中，从初始状态N(t0)＝N(t0+t)，最后 到达N*。若N*为稳定点，则可以看作是N*把N(t0)吸引 了过去，在N(t0)时能量比较大，而吸引到N*时能量已 为极小了。

霍普菲尔德(Hopfield)神经网络概述


Hopfield网络的应用
组合优化 (TSP问题) 组合优化问题，就是在给定约束条件下， 求出使目标函数极小（或极大）的变量组 合问题。 将Hopfield网络应用于求解组合优化问题， 就是把目标函数转化为网络的能量函数， 把问题的变量对应于网络的状态。这样当 网络的能量函数收敛于极小值时，问题的 最优解也随之求出。
Hopfield网络的特点
单层反馈式网络
x1 o1 W x2 o2 … … xn
on
Hopfield网络的特点
灌输式学习方式 灌输式学习中网络权值不是通过训练逐渐 形成的，而是通过某种设计方法得到的。 权值一旦设计好就一次灌输给网络，不再 变动， 这种学习是死记硬背式的，而不是训练式 的。
Hopfield网络的特点
各神经元的状态在运行中不断更新
x1 o1 W x2 o2 … … xn
on
Hopfield网络的特点
首次引入能量函数
考虑了输入与输出的延迟因素
Hopfield网络的分类
根据激活函数的不同，可以分为： 离散型 Hopfield神经网络（DHNN） 1 netj ≥ 0 f(netj ) = sgn(netj ) = − 1 netj < 0 连续型 Hopfield神经网络（CHNN）
霍普菲尔德（Hopfield Hopfield） Hopfield 神经网络概述
旅行商问题(TSP)
旅行商问题（Traveling Saleman Problem， TSP）又译为旅行推销员问题、货郎担问题， 简称为TSP问题，是最基Байду номын сангаас的路线问题。
是指一名推销员要拜访多个地点时，如何 找到在拜访每个地 TSP问题点一次后再回 到起点的最短路径。

人工神经网络-连续型Hopfield神经网络


两点说明：
1）能量函数为反馈网络的重要概念。 根据能量函数可以方便的判断系统的稳定 性； 2）Hopfield选择的能量函数，只是保 证系统稳定和渐进稳定的充分条件，而不 是必要条件，其能量函数也不是唯一的。
* CHNN的几点结论
1）具有良好的收敛性； 2）具有有限个平衡点； 3）如果平衡点是稳定的，那么它也一定是渐进稳 定的； 4）渐进稳定平衡点为其能量函数的局部极小点； 5）能将任意一组希望存储的正交化矢量综合为网 络的渐进平衡点； 6）网络的存储信息表现为神经元之间互连的分布 式动态存储； 7）网络以大规模、非线性、连续时间并行方式处 理信息，其计算时间就是网络趋于平衡点的时间。
E 1 WijVj I i Ui Vi Ri j
由连续Hopfield运行方程可得
dVi d E dU i dU i C i C i C i f 1 i V dt dV Vi dt dVi i
将上式代入原式可得：
dV i dE C i dt dt j 1 f i V
WijViVj
i 1 j 1
n
n
ViIi
i 1
n
R i i
1
n
1
Vi
0
f 1 dV V
求取 其中：
dE
dt
dE dt
i
E dV i Vi dt
E 1 Vi 2
1 WijVj 2 j
W jiVj j
Ii
1
Ri
Ui
• 由于Wij=Wji 则有：
提 出
其原理与离散型Hopfield神经网络相似，它以模拟 量作为网络的输入输出量，各神经元采用并行方式工作
  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
在一个r维状态空间上，可以用一条轨迹来描述 状态变化情况。
从初始值N(t0)出发， N(t0+Δt)→N(t0+2Δt)→…→N(t0+mΔt)，这些在空 间上的点组成的确定轨迹，是演化过程中所有可能 状态的集合，我们称这个状态空间为相空间。
图8.4 三维空间中的状态轨迹
对于DHNN，因为N(t)中每个值只可能为±1，或 {0，1}，对于确定的权值wij，其轨迹是跳跃的阶梯式， 如图中A所示。
如果ai=f(ni)中的f(·)为一个连续单调上升的有界函 数，这类网络被称为连续型反馈网络。图8.3中所示为 一个具有饱和线性激活函数，它满足连续单调上升的 有界函数的条件，常作为连续型的激活函数。
图8.2 DHNN中的激活函数 图8.3 CHNN中的激活函数
8.2 状态轨迹
设状态矢量N=[n1, n2, …，nr]，网络的输出矢量 为A＝[a1，a2…，as]T ，
2) 不稳定平衡点Nen：在某些特定的轨迹演化过程中， 网络能够到达稳定点Nen，但对于其它方向上的任意 一个小的区域N(σ)，不管N(σ)取多么小，其轨迹 在时间t以后总是偏离Nen；
3) 网络的解：如果网络最后稳定到设计人员期望的稳 定点，且该稳定点又是渐近稳定点，那么这个点称 为网络的解；
4) 网络的伪稳定点：网络最终稳定到一个渐近稳定点 上，但这个稳定点不是网络设计所要求的解，这个 稳定点为伪稳定点。
根据这个道理，可以把这个能量的极小点作为一 个优化目标函数的极小点，把状态变化的过程看成是 优化某一个目标函数的过程。
8.2.3 混沌现象
如果状态N(t)的轨迹在某个确定的范围内运动， 但既不重复，又不能停下来，状态变化为无穷多个， 而轨迹也不能发散到无穷远，这种现象称为混沌 (chaos)。
在出现混沌的情况下，系统输出变化为无穷多个， 并且随时间推移不状态轨迹发散
如果状态N(t)的轨迹随时间一直延伸到无穷远，此 时状态发散，系统的输出也发散。
对于CHNN，因为f(·)是连续的，因而，其轨迹也 是连续的，如图中B、C所示。
对于不同的连接权值wij和输入Pj(i, j=1, 2, … r)， 反馈网络状态轨迹可能出现以下几种情况。
8.2.1 状态轨迹为稳定点
状态轨迹从系统在t0时状态的初值N(t0)开始，经 过一定的时间t(t＞0)后，到达N(t0+t)。如果 N(t0+t+Δt)=N(t0+t)，Δt＞0，则状态N(t0+t)称为网络 的稳定点，或平衡点。
即反馈网络从任一初始态P(0)开始运动，若存在 某一有限时刻t，从t以后的网络状态不再发生变化： P(t+Δt)= P(t)，Δt＞0，则称该网络是稳定的。
处于稳定时的网络状态叫做稳定状态，又称为定吸引子。
在一个反馈网络中，存在很多稳定点，根据不
同情况，这些稳定点可以分为：
1) 渐近稳定点：如果在稳定点Ne周围的N(σ)区域内， 从任一个初始状态N(t0)出发的每个运动，当t→∞时 都收敛于Ne，则称Ne为渐近稳定点。
DHNN的激活函数为二值型的，其输入、输出为 {0，1}的反馈网络，主要用于联想记忆。
CHNN的激活函数的输入与输出之间的关系为连 续可微的单调上升函数，主要用于优化计算。
8.1 霍普菲尔德网络模型
图8.1 反馈网络结构图
在反馈网络中，如果其激活函数f(·)是一个二值型 的硬函数，如图8.2所示，即ai＝sgn(ni)，i＝l, 2, … r， 则称此网络为离散型反馈网络；
第二，系统稳定的平衡状态可以通过设计网络的 权值而被存储到网络中。
霍普菲尔德网络是单层对称全反馈网络，根据其 激活函数的选取不同，可分为离散型的霍普菲尔德 网络(Discrete Hopfield Neural Network，简称DHNN) 和连续型的霍普菲尔德网络(Continuous Hopfield Neural Network，简称CHNN)。
1982年，美国加州工学院物理学家霍普菲尔德 (J．Hopfield)发表了一篇对人工神经网络研究颇有影 响的论文。
反馈网络能够表现出非线性动力学系统的动态特 性。它所具有的主要特性为以下两点：
第一、网络系统具有若干个稳定状态。当网络从 某一初始状态开始运动，网络系统总可以收敛到某一 个稳定的平衡状态；
如果把系统的稳定点视做一个记忆的话，那么从 初始状态朝这个稳定点移动的过程就是寻找该记忆的 过程。
状态的初始值可以认为是给定的有关该记忆的部 分信息，状态N(t)移动的过程，是从部分信息去寻找 全部信息，这就是联想记忆的过程。
如果把系统的稳定点考虑为一个能量函数的极小 点，在状态空间中，从初始状态N(t0)＝N(t0+t)，最后 到达N*。若N*为稳定点，则可以看作是N*把N(t0)吸引 了过去，在N(t0)时能量比较大，而吸引到N*时能量已 为极小了。
在人工神经网络中，由于输入、输出激活函数是 一个有界函数，虽然状态N(t)是发散的，但其输出A(t) 还是稳定的，而A（t）的稳定反过来又限制了状态的 发散。
一般非线性人工神经网络中发散现象是不会发生 的，除非神经元的输入输出激活函数是线性的。
目前的人工神经网络是利用第一种情况即稳定的专 门轨迹来解决某些问题的。
第8章 Hopfield反馈神经网络
内容安排
8.1 霍普菲尔德网络模型 8.2 状态轨迹 8.3 离散型霍普菲尔德网络（DHNN） 8.4 连续型霍普菲尔德网络
反馈网络(Recurrent Network)，又称自联想记忆 网络，其目的是为了设计一个网络，储存一组平衡点， 使得当给网络一组初始值时，网络通过自行运行而最 终收敛到这个设计的平衡点上。
8.2.2 状态轨迹为极限环
如果在某些参数的情况下，状态N(t)的轨迹是一 个圆，或一个环，状态N(t)沿着环重复旋转，永不停 止，此时的输出A(t)也出现周期变化，即出现振荡， 如图8.4中C的轨迹即是极限环出现的情形。
对于DHNN，轨迹变化可能在两种状态下来回跳 动，其极限环为2。如果在r种状态下循环变化，称 其极限环为r。