离散Hopfield神经网络的分类--高校科研能力评价

五.反馈（Hopfield）神经⽹络 前馈⽹络⼀般指前馈神经⽹络或前馈型神经⽹络。

它是⼀种最简单的神经⽹络，各神经元分层排列。

每个神经元只与前⼀层的神经元相连。

接收前⼀层的输出，并输出给下⼀层，数据正想流动，输出仅由当前的输⼊和⽹络权值决定，各层间没有反馈。

包括：单层感知器，线性神经⽹络，BP神经⽹络、RBF神经⽹络等。

递归神经⽹络（RNN）是两种⼈⼯神经⽹络的总称。

⼀种是时间递归神经⽹络（recurrent neural network），⼜名循环神经⽹络，包括RNN、LSTM、GRU等；另⼀种是结构递归神经⽹络（recursive neural network）。

反馈⽹络(Recurrent Network)，⼜称⾃联想记忆⽹络，输出不仅与当前输⼊和⽹络权值有关，还和⽹络之前输⼊有关。

其⽬的是为了设计⼀个⽹络，储存⼀组平衡点，使得当给⽹络⼀组初始值时，⽹络通过⾃⾏运⾏⽽最终收敛到这个设计的平衡点上。

包括Hopfield，Elman，CG，BSB，CHNN、DHNN等。

反馈⽹络具有很强的联想记忆和优化计算能⼒，最重要研究是反馈⽹络的稳定性（即其吸引⼦）离散Hopfield神经⽹络Hopfield神经⽹络是⼀种单层反馈，循环的从输⼊到输出有反馈的联想记忆⽹络。

离散型为DHNN（Discrete Hopfield Neural Network）和连续型CHNN（Continues Hopfield Neural Network）。

Hopfield最早提出的⽹络是⼆值神经⽹络，各神经元的激励函数为阶跃函数或双极值函数,神经元的输⼊、输出只取{0，1}或者{ -1，1}，所以也称为离散型Hopfield神经⽹络DHNN（Discrete Hopfiled Neural Network）。

在DHNN中，所采⽤的神经元是⼆值神经元；因此，所输出的离散值1和0或者1和-1分别表⽰神经元处于激活状态和抑制状态。

Hopfield 神经网络前馈（前向）网络和反馈网络是当前人工神经网络研究中最基本的两种网络模型。

1982年到1986年，美国物理学家Hopfield 陆续发表文章报导了对反馈神经网络理论与应用的研究成果，引起了人们广泛的兴趣，并且将这种单层反馈网络称为Hopfield 网络。

在单层全反馈网络中（基本Hopfield 网络中），节点之间相互连接，每个节点接收来自其它节点的输入，同时又输出给其它节点，每个神经元没有到自身的连接。

由于引入反馈，所以它是一个非线性动力学系统。

其结构如下所示：n1n32y y（a ） （b ）图1 Hopfield 网络基本结构前馈网络大多表达的是输出与输入间的映射关系，一般不考虑输出与输入间在时间上的滞后效应；反馈网络需要考虑输出与输入间在时间上的延时，需要利用动态方程（差分方程或微分方程）描述神经元和系统的数学模型。

前馈网络的学习（训练）主要采用误差修正法，计算时间较长，收敛速度较慢；反馈网络（如Hopfield 网络）的学习主要采用Hebb 规则，收敛速度较快。

Hopfield 网络在应用上除可作为联想记忆与分类外，还可用于优化计算。

可以认为，Hopfield 网络的联想记忆和优化计算这两种功能是对偶的：当用于联想记忆时，通过样本模式的输入给定网络的稳定状态，经学习求得联接权值W ；当用于优化计算时，以目标函数和约束条件建立系统的能量函数来确定联接权值，当网络演变至稳定状态时即可得出优化计算问题的解。

Hopfield 网络神经元模型可以是离散变量，也可以连续取值。

一．离散Hopfield 网络 1．网络结构及性能描述：离散Hopfield 网络模型如图1所示。

设共有N 个神经元，ij 表示从神经元j 到神经元i 的联接权，j s 表示神经元j 的状态（取＋1或－1），j v 表示神经元j 的净输入，有：⎪⎩⎪⎨⎧=+-⋅=∑=)](sgn[)1()()(1t v t s t s t v j j jNi i ji j θω，即：⎩⎨⎧<->+=+0)(,10)(,1)1(t v t v t s j j j （1） 或：⎪⎩⎪⎨⎧<-=>+=+0)(,10)(),(0)(,1)1(t v t v t s t v t s j j j j j当0)(=t v j 时可认为神经元的状态保持不变。

Hopfield神经⽹络综述题⽬： Hopfield神经⽹络综述⼀、概述：1.什么是⼈⼯神经⽹络（Artificial Neural Network，ANN)⼈⼯神经⽹络是⼀个并⾏和分布式的信息处理⽹络结构，该⽹络结构⼀般由许多个神经元组成，每个神经元有⼀个单⼀的输出，它可以连接到很多其他的神经元，其输⼊有多个连接通路，每个连接通路对应⼀个连接权系数。

⼈⼯神经⽹络系统是以⼯程技术⼿段来模拟⼈脑神经元（包括细胞体，树突，轴突）⽹络的结构与特征的系统。

利⽤⼈⼯神经元可以构成各种不同拓扑结构的神经⽹络，它是⽣物神经⽹络的⼀种模拟和近似。

主要从两个⽅⾯进⾏模拟：⼀是结构和实现机理；⼆是从功能上加以模拟。

根据神经⽹络的主要连接型式⽽⾔，⽬前已有数⼗种不同的神经⽹络模型，其中前馈型⽹络和反馈型⽹络是两种典型的结构模型。

1）反馈神经⽹络(Recurrent Network)反馈神经⽹络，⼜称⾃联想记忆⽹络，其⽬的是为了设计⼀个⽹络，储存⼀组平衡点，使得当给⽹络⼀组初始值时，⽹络通过⾃⾏运⾏⽽最终收敛到这个设计的平衡点上。

反馈神经⽹络是⼀种将输出经过⼀步时移再接⼊到输⼊层的神经⽹络系统。

反馈⽹络能够表现出⾮线性动⼒学系统的动态特性。

它所具有的主要特性为以下两点：（1）.⽹络系统具有若⼲个稳定状态。

当⽹络从某⼀初始状态开始运动，⽹络系统总可以收敛到某⼀个稳定的平衡状态；（2）.系统稳定的平衡状态可以通过设计⽹络的权值⽽被存储到⽹络中。

反馈⽹络是⼀种动态⽹络，它需要⼯作⼀段时间才能达到稳定。

该⽹络主要⽤于联想记忆和优化计算。

在这种⽹络中，每个神经元同时将⾃⾝的输出信号作为输⼊信号反馈给其他神经元，它需要⼯作⼀段时间才能达到稳定。

2.Hopfield神经⽹络Hopfield⽹络是神经⽹络发展历史上的⼀个重要的⾥程碑。

由美国加州理⼯学院物理学家J.J.Hopfield 教授于1982年提出，是⼀种单层反馈神经⽹络。

Hopfield神经⽹络是反馈⽹络中最简单且应⽤⼴泛的模型，它具有联想记忆的功能。

Hopfield神经⽹络神经⽹络分类多层神经⽹络：模式识别相互连接型⽹络：通过联想记忆去除数据中的噪声1982年提出的Hopfield神经⽹络是最典型的相互连结型⽹络。

联想记忆当输⼊模式为某种状态时，输出端要给出与之相应的输出模式。

如果输⼊模式与输出模式⼀致，称为⾃联想记忆，否则，称为异联想记忆。

Hopfield⽹络结构上，Hopfield神经⽹络是⼀种单层互相全连接的反馈型神经⽹络。

每个神经元既是输⼊也是输出，⽹络中的每⼀个神经元都将⾃⼰的输出通过连接权传送给所有其它神经元，同时⼜都接收所有其它神经元传递过来的信息。

即：⽹络中的神经元在t时刻的输出状态实际上间接地与⾃⼰t-1时刻的输出状态有关。

神经元之间互连接，所以得到的权重矩阵将是对称矩阵。

假设有n个单元组成的Hopfield神经⽹络，第i个单元在t时刻的输⼊记作ui(t)，输出记作xi(t)，连接权重为wij，阈值为bi(t)，则t+1时刻i单元的输出xi(t+1)可表⽰为：在Hopfield神经⽹络中，每个时刻都只有⼀个随机选择的单元会发⽣状态变化。

由于神经元随机更新，所以称此模型为离散随机型。

对于⼀个由n个单元组成的⽹络，如果要完成全部单元的状态变化，⾄少需要n个时刻。

根据输⼊模式联想输出模式时，需要事先确定连接权重wij，⽽连接权重wij要对输⼊模式的训练样本进⾏训练后才能确定。

和多层神经⽹络⼀样，⼀次训练并不能确定连接权重，⽽是要不断重复这个过程，直到满⾜终⽌判断条件，⽽这个指标就是Hopfield神经⽹络的能量函数E。

当输⼊模式与输出模式⼀致时，能量函数E的结果是0。

根据前⾯定义的状态变化规则改变⽹络状态时，上式中定义的能量函数E总是⾮递增的，即随时间的不断增加⽽逐渐减⼩，直到⽹络达到稳定状态为⽌。

Hopfield⽹络的优点单元之间的连接权重对称 (wij = wji)每个单元没有到⾃⾝的连接 (wii = 0)单元的状态采⽤随机异步更新⽅式，每次只有⼀个单元改变状态n个⼆值单元做成的⼆值神经⽹络，每个单元的输出只能是0或1的两个值问题当需要记忆的模式之间较为相似，或者需要记忆的模式太多时，Hopfield神经⽹络就不能正确地辨别模式。

离散型hopfield神经网络的数字识别作者：张林强来源：《科学导报·学术》2019年第18期摘要：近年，人们越来越对人工智能产生兴趣，越来越多的科研人员尝试着将hopfield神经网络在很多方面运用，这是一门能够解决很多传统方法不能够解决的问题，如水的质量评价，发电机运行状态，项目风险预测等。

不同领域的人们，正在利用离散型hopfield神经网络具有的联想记忆的功能来发掘新的思想和新的方法。

人类的进化归根是很多智能科技的进化。

而智能科学反过来对人类的发展起到很大的作用。

我们学习智能的数字识别和智能的控制，目的就是帮助人类的进步而服务。

因此，对智能科学的期待和发展以及应用，是我们人类发展和科学进步的必然结果。

关键词：离散型hopfield;数字识别;联想记忆;工具箱函数1.案例背景1.1项目需求分析在日常生活中，经常会遇到带噪声影响的字符辨别问题，如交通系统中汽车的车牌模糊不清，由于汽车在行驶过程中，要经受自然环境的风吹日晒，造成字体不够清晰，不能够辨别清楚。

作为字符识别的一部分，数字识别在银行，交通及企业票据管理方面有着很方便的应用。

目前，人工神经网络已经在我国的科学研究，企业生产和生活中有很大的影响。

人工神经网络作为生物进化论的一个成果，其延伸到各个工程领域，并吸引不同领域的专家在这方面的研究和开发，目前有很多种方法用于字符识别，主要分为神经网络的识别，概率统计识别和模糊识别等。

传统的数字识别方法在有干扰的情况下不能够很好的对数字识别，而离散型hopfield神经网络具有联系记忆的功能，利用这一功能对数字进行识别可以取得令人满意的效果，并且计算的收敛速度很快。

1.2离散hopfield神经网络概述Hopfield网络是神经网络研究上的一个重要的阶段。

其曾经为人工神经网络开辟了新的天地，Hopfield神经网络属于反馈神经网络类型。

与前向型神经网络不同，前向神经网络不考虑输出与输入之间在时间上的滞后影响，其输出与输入之间仅仅是一种映射关系。