下载文档原格式
五.反馈（Hopfield）神经⽹络 前馈⽹络⼀般指前馈神经⽹络或前馈型神经⽹络。
它是⼀种最简单的神经⽹络，各神经元分层排列。
每个神经元只与前⼀层的神经元相连。
接收前⼀层的输出，并输出给下⼀层，数据正想流动，输出仅由当前的输⼊和⽹络权值决定，各层间没有反馈。
包括：单层感知器，线性神经⽹络，BP神经⽹络、RBF神经⽹络等。
递归神经⽹络（RNN）是两种⼈⼯神经⽹络的总称。
⼀种是时间递归神经⽹络（recurrent neural network），⼜名循环神经⽹络，包括RNN、LSTM、GRU等；另⼀种是结构递归神经⽹络（recursive neural network）。
反馈⽹络(Recurrent Network)，⼜称⾃联想记忆⽹络，输出不仅与当前输⼊和⽹络权值有关，还和⽹络之前输⼊有关。
其⽬的是为了设计⼀个⽹络，储存⼀组平衡点，使得当给⽹络⼀组初始值时，⽹络通过⾃⾏运⾏⽽最终收敛到这个设计的平衡点上。
包括Hopfield，Elman，CG，BSB，CHNN、DHNN等。
反馈⽹络具有很强的联想记忆和优化计算能⼒，最重要研究是反馈⽹络的稳定性（即其吸引⼦）离散Hopfield神经⽹络Hopfield神经⽹络是⼀种单层反馈，循环的从输⼊到输出有反馈的联想记忆⽹络。
离散型为DHNN（Discrete Hopfield Neural Network）和连续型CHNN（Continues Hopfield Neural Network）。
Hopfield最早提出的⽹络是⼆值神经⽹络，各神经元的激励函数为阶跃函数或双极值函数,神经元的输⼊、输出只取{0，1}或者{ -1，1}，所以也称为离散型Hopfield神经⽹络DHNN（Discrete Hopfiled Neural Network）。
在DHNN中，所采⽤的神经元是⼆值神经元；因此，所输出的离散值1和0或者1和-1分别表⽰神经元处于激活状态和抑制状态。
Hopfield 神经网络前馈（前向）网络和反馈网络是当前人工神经网络研究中最基本的两种网络模型。
1982年到1986年，美国物理学家Hopfield 陆续发表文章报导了对反馈神经网络理论与应用的研究成果，引起了人们广泛的兴趣，并且将这种单层反馈网络称为Hopfield 网络。
在单层全反馈网络中（基本Hopfield 网络中），节点之间相互连接，每个节点接收来自其它节点的输入，同时又输出给其它节点，每个神经元没有到自身的连接。
由于引入反馈，所以它是一个非线性动力学系统。
其结构如下所示：n1n32y y（a ） （b ）图1 Hopfield 网络基本结构前馈网络大多表达的是输出与输入间的映射关系，一般不考虑输出与输入间在时间上的滞后效应；反馈网络需要考虑输出与输入间在时间上的延时，需要利用动态方程（差分方程或微分方程）描述神经元和系统的数学模型。
前馈网络的学习（训练）主要采用误差修正法，计算时间较长，收敛速度较慢；反馈网络（如Hopfield 网络）的学习主要采用Hebb 规则，收敛速度较快。
Hopfield 网络在应用上除可作为联想记忆与分类外，还可用于优化计算。
可以认为，Hopfield 网络的联想记忆和优化计算这两种功能是对偶的：当用于联想记忆时，通过样本模式的输入给定网络的稳定状态，经学习求得联接权值W ；当用于优化计算时，以目标函数和约束条件建立系统的能量函数来确定联接权值，当网络演变至稳定状态时即可得出优化计算问题的解。
Hopfield 网络神经元模型可以是离散变量，也可以连续取值。
一．离散Hopfield 网络 1．网络结构及性能描述：离散Hopfield 网络模型如图1所示。
设共有N 个神经元，ij 表示从神经元j 到神经元i 的联接权，j s 表示神经元j 的状态（取＋1或－1），j v 表示神经元j 的净输入，有：⎪⎩⎪⎨⎧=+-⋅=∑=)](sgn[)1()()(1t v t s t s t v j j jNi i ji j θω，即：⎩⎨⎧<->+=+0)(,10)(,1)1(t v t v t s j j j （1） 或：⎪⎩⎪⎨⎧<-=>+=+0)(,10)(),(0)(,1)1(t v t v t s t v t s j j j j j当0)(=t v j 时可认为神经元的状态保持不变。
神经网络简史自图灵提出“机器与智能”，一直就有两派观点，一派认为实现人工智能必须用逻辑和符号系统，这一派看问题是自顶向下的；还有一派认为通过仿造大脑可以达到人工智能，这一派是自底向上的，他们认定如果能造一台机器，模拟大脑中的神经网络，这台机器就有智能了。
前一派，我想用“想啥来啥”来形容；后一派就称之为“吃啥补啥”，估计他们的思想来源于中国古代的原始思维，套一句庸俗的哲学词，前者偏唯心，后者偏唯物。
这两派一直是人工智能领域里两个阶级、两条路线的斗争，这斗争有时还你死我活。
模拟神经网络的原创文章发表于1943年，两位作者都是传奇人物，麦卡洛可（McCulloch）和皮茨（Pitts)。
话分两头。
皮茨打小就喜欢数学和哲学，初中时还读过罗素的《数学原理》，还和罗素通信，罗素爱才，邀请他到英国跟随自己学习逻辑。
但皮茨家里是苦出身，连高中都读不起，英国留学自然未果。
他十五岁时，他爸强行要他退学上班，就像所有爱读书的穷孩子，皮茨一怒就离家出走了。
他打听到偶像罗素那时要到芝加哥大学任教，就只身来到芝加哥，还真见到了罗素，老罗遂把他推荐给那时也在芝加哥任教的卡尔纳普。
卡尔纳普想看看这孩子到底有多聪明，就把自己的《语言的逻辑句法》一书送给皮茨，没过一个月，皮茨就看完了，把写满笔记的原书还给卡尔纳普。
老卡惊为天人，于是给他在芝加哥大学安排了份打扫卫生的工作。
别看不起打扫卫生，电影《心灵捕手》（Good Will Hunting）里马特·达蒙饰演的角色也是在知名大学打扫卫生时，不小心解了道数学难题，引起老师的注意。
扫马路至少可避免流浪街头。
皮茨后来结识了也在芝加哥的麦卡洛可。
沃伦-麦卡洛可比皮茨大一辈，他本科在耶鲁学哲学和心理学，后在哥伦比亚得了心理学硕士和医学博士（MD)，其实医学博士和哲学博士不是一回事，MD不是学术学位，属终极职业学位，和MBA、MFA 差不多。
MD的那个D是指“医生”，PhD的D才是博士。
Hopfield神经⽹络综述题⽬： Hopfield神经⽹络综述⼀、概述：1.什么是⼈⼯神经⽹络（Artificial Neural Network，ANN)⼈⼯神经⽹络是⼀个并⾏和分布式的信息处理⽹络结构，该⽹络结构⼀般由许多个神经元组成，每个神经元有⼀个单⼀的输出，它可以连接到很多其他的神经元，其输⼊有多个连接通路，每个连接通路对应⼀个连接权系数。
⼈⼯神经⽹络系统是以⼯程技术⼿段来模拟⼈脑神经元（包括细胞体，树突，轴突）⽹络的结构与特征的系统。
利⽤⼈⼯神经元可以构成各种不同拓扑结构的神经⽹络，它是⽣物神经⽹络的⼀种模拟和近似。
主要从两个⽅⾯进⾏模拟：⼀是结构和实现机理；⼆是从功能上加以模拟。
根据神经⽹络的主要连接型式⽽⾔，⽬前已有数⼗种不同的神经⽹络模型，其中前馈型⽹络和反馈型⽹络是两种典型的结构模型。
1）反馈神经⽹络(Recurrent Network)反馈神经⽹络，⼜称⾃联想记忆⽹络，其⽬的是为了设计⼀个⽹络，储存⼀组平衡点，使得当给⽹络⼀组初始值时，⽹络通过⾃⾏运⾏⽽最终收敛到这个设计的平衡点上。
反馈神经⽹络是⼀种将输出经过⼀步时移再接⼊到输⼊层的神经⽹络系统。
反馈⽹络能够表现出⾮线性动⼒学系统的动态特性。
它所具有的主要特性为以下两点：（1）.⽹络系统具有若⼲个稳定状态。
当⽹络从某⼀初始状态开始运动，⽹络系统总可以收敛到某⼀个稳定的平衡状态；（2）.系统稳定的平衡状态可以通过设计⽹络的权值⽽被存储到⽹络中。
反馈⽹络是⼀种动态⽹络，它需要⼯作⼀段时间才能达到稳定。
该⽹络主要⽤于联想记忆和优化计算。
在这种⽹络中，每个神经元同时将⾃⾝的输出信号作为输⼊信号反馈给其他神经元，它需要⼯作⼀段时间才能达到稳定。
2.Hopfield神经⽹络Hopfield⽹络是神经⽹络发展历史上的⼀个重要的⾥程碑。
由美国加州理⼯学院物理学家J.J.Hopfield 教授于1982年提出，是⼀种单层反馈神经⽹络。
Hopfield神经⽹络是反馈⽹络中最简单且应⽤⼴泛的模型，它具有联想记忆的功能。
