Kosko型双向联想记忆与Hopfield神经网络的关系

《神经网络导论》实验二——双向联想记忆专业：信息与通信工程班级： 5030班学号： **********姓名：**一、实验目的熟悉Kosko型双向联想记忆网络的原理与结构，通过仿真实验掌握具体的实现方法，了解该网络的功能及性能，加深对该类网络的稳定状态和能量函数等概念的理解。

二、实验原理我们知道，联想记忆功能分为自联想和异联想，异联想也称为双向联想记忆，简写为BAM。

BAM存储器可存储两组矢量，若有如下N维矢量与P维矢量B：A=[a0,a1,…,a N−1]T∈{−1,1}NB=[b0,b1,…,b P−1]T∈{−1,1}P构成M对矢量(A s,B s)，s=0,1,…,M-1，将它们存入BAM存储器即可进行由A到B 或由B到A的双向联想，即给定A（或B）可经联想得到对应的标准样本B（或A），当有噪声或缺损时，联想功能可使样本对复原。

其实，人脑就具有根据相关线索回忆和恢复信息的能力。

例如，片断曲调往往可以唤起人们对整个乐曲的回忆；在人群中某人的背影就足以使我们想起一位老朋友。

人工神经网络力图实现这种功能。

Kosko的BAM网络就是其中的一种。

如图1所示，与矢量A相应的一层有N个节点，另一层对应矢量B，有P个节点，两层间双向连接。

假定B到A的传输为正向，正向的权矩阵为W，反之，A 到B为反向传输，权矩阵为W T。

如果输入矢量由上层加入，且相应于网络中B的稳定状态，则经W之作用产生A稳定状态。

同理，如果输入矢量在下层，且相应于网络中A的稳定状态，经W T之作用产生B稳定状态，当输入任意矢量时，网络要经若干次迭代计算演变至稳定状态，过程可示意为：WB (t )→A (t +1) W T A (t +1)→B (t +2) WB (t +2)→A (t +3)…直至A 、B 为稳态，演变过程结束。

网络学习遵从Hebb 规则，若给定M 个双极性矢量对：(A 0,B 0),(A 1,B 1),…,(A M−1,B M−1)则正、反向权矩阵为：W =∑A s B s TM−1s=0W T =∑B s A s T M−1s=0如果BAM 网络神经元函数阈值为0，则称为齐次BAM 网络，其能量函数为： E (A,B )=−12A T WB −12B T W TA =−A T WB若神经元非线性函数为f ，则描述齐次BAM 动态特性的差分方程为： 正向联想(B ⇒A)a i (t +1)=f[∑w ijb j (t)P j=1] (1)反向联想(A ⇒B)b J (t +2)=f[∑w ij a i (t +1)N i=1] (2)三、 实验内容3.1 连接权矩阵和能量值1.连接权矩阵对于给定的4对学习样本根据Hebb 规则计算网络的连接权矩阵，这里只计算正向传输（即从B 到A ）的权重连接矩阵，反向权矩阵为正向权矩阵的转置。

% ------------------------standard number array-----------------------zero=[-1 -1 -1 -1 -1 -1 -1 -1 -1 -1; -1 -1 -1 1 1 1 1 -1 -1 -1;...-1 -1 1 1 1 1 1 1 -1 -1; -1 1 1 1 -1 -1 1 1 1 -1;...-1 1 1 1 -1 -1 1 1 1 -1;-1 1 1 1 -1 -1 1 1 1 -1;...-1 1 1 1 -1 -1 1 1 1 -1;-1 1 1 1 -1 -1 1 1 1 -1 ;...-1 1 1 1 -1 -1 1 1 1 -1;-1 -1 1 1 1 1 1 1 -1 -1];one=[-1 -1 -1 -1 1 1 -1 -1 -1 -1;-1 -1 -1 -1 1 1 -1 -1 -1 -1;...-1 -1 -1 -1 1 1 -1 -1 -1 -1; -1 -1 -1 -1 1 1 -1 -1 -1 -1;...-1 -1 -1 -1 1 1 -1 -1 -1 -1; -1 -1 -1 -1 1 1 -1 -1 -1 -1;...-1 -1 -1 -1 1 1 -1 -1 -1 -1; -1 -1 -1 -1 1 1 -1 -1 -1 -1;...-1 -1 -1 -1 1 1 -1 -1 -1 -1; -1 -1 -1 -1 1 1 -1 -1 -1 -1];two=[-1 1 1 1 1 1 1 1 1 -1;-1 1 1 1 1 1 1 1 1 -1;...-1 -1 -1 -1 -1 -1 -1 1 1 -1;-1 -1 -1 -1 -1 -1 -1 1 1 -1;...-1 1 1 1 1 1 1 1 1 -1;-1 1 1 1 1 1 1 1 1 -1;...-1 1 1 -1 -1 -1 -1 -1 -1 -1;-1 1 1 -1 -1 -1 -1 -1 -1 -1;...-1 1 1 1 1 1 1 1 1 -1;-1 1 1 1 1 1 1 1 1 -1;...-1 -1 -1 -1 -1 -1 -1 -1 -1 -1;-1 -1 -1 -1 -1 -1 -1 -1 -1 -1];three=[-1 -1 1 1 1 1 1 1 -1 -1;-1 -1 1 1 1 1 1 1 1 -1;...-1 -1 -1 -1 -1 -1 -1 1 1 -1;-1 -1 -1 -1 -1 -1 -1 1 1 -1;...-1 -1 -1 -1 -1 -1 -1 1 1 -1; -1 -1 -1 -1 1 1 1 1 -1 -1;...-1 -1 -1 -1 1 1 1 1 -1 -1;-1 -1 -1 -1 -1 -1 -1 1 1 -1;...-1 -1 -1 -1 -1 -1 -1 1 1 -1;-1 -1 -1 -1 -1 -1 -1 1 1 -1;...-1 -1 1 1 1 1 1 1 1 -1;-1 -1 1 1 1 1 1 1 -1 -1];four=[ -1 1 1 -1 -1 -1 -1 1 1 -1;-1 1 1 -1 -1 -1 -1 1 1 -1;...-1 1 1 -1 -1 -1 -1 1 1 -1;-1 1 1 -1 -1 -1 -1 1 1 -1;...-1 1 1 -1 -1 -1 -1 1 1 -1;-1 1 1 1 1 1 1 1 1 -1;...-1 1 1 1 1 1 1 1 1 -1;-1 -1 -1 -1 -1 -1 -1 1 1 -1;...-1 -1 -1 -1 -1 -1 -1 1 1 -1;-1 -1 -1 -1 -1 -1 -1 1 1 -1;...-1 -1 -1 -1 -1 -1 -1 1 1 -1;-1 -1 -1 -1 -1 -1 -1 1 1 -1];six=[-1 1 1 1 1 1 1 -1 -1 -1;-1 1 1 1 1 1 1 -1 -1 -1 ;...-1 1 1 -1 -1 -1 -1 -1 -1 -1;-1 1 1 -1 -1 -1 -1 -1 -1 -1 ;...-1 1 1 -1 -1 -1 -1 -1 -1 -1;-1 1 1 1 1 1 1 -1 -1 -1 ;...-1 1 1 1 1 1 1 -1 -1 -1;-1 1 1 -1 -1 1 1 -1 -1 -1;...-1 1 1 -1 -1 1 1 -1 -1 -1;-1 1 1 -1 -1 1 1 -1 -1 -1;...-1 1 1 1 1 1 1 -1 -1 -1;-1 1 1 1 1 1 1 -1 -1 -1];point=[ -1 -1 -1 -1 -1 -1 -1 -1 -1 -1; -1 1 1 1 1 1 -1 -1 -1 -1;...-1 1 1 1 1 1 -1 -1 -1 -1; -1 1 1 1 1 1 -1 -1 -1 -1;...-1 1 1 1 1 1 -1 -1 -1 -1; -1 1 1 1 1 1 -1 -1 -1 -1;...-1 1 1 1 1 1 -1 -1 -1 -1; -1 -1 -1 -1 -1 -1 -1 -1 -1 -1;...-1 -1 -1 -1 -1 -1 -1 -1 -1 -1; -1 -1 -1 -1 -1 -1 -1 -1 -1 -1;...-1 -1 -1 -1 -1 -1 -1 -1 -1 -1; -1 -1 -1 -1 -1 -1 -1 -1 -1 -1];nine=[ -1 -1 -1 1 1 1 1 1 1 -1; -1 -1 -1 1 1 1 1 1 1 -1;...-1 -1 -1 1 1 -1 -1 1 1 -1; -1 -1 -1 1 1 -1 -1 1 1 -1;...-1 -1 -1 1 1 -1 -1 1 1 -1; -1 -1 -1 1 1 1 1 1 1 -1;...-1 -1 -1 1 1 1 1 1 1 -1; -1 -1 -1 -1 -1 -1 -1 1 1 -1;...-1 -1 -1 -1 -1 -1 -1 1 1 -1; -1 -1 -1 -1 -1 -1 -1 1 1 -1;...-1 -1 -1 1 1 1 1 1 1 -1; -1 -1 -1 1 1 1 1 1 1 -1];% ----------------------plot standard number figure-----------------ZERO=imresize(zero,20);subplot(3,3,1)imshow(ZERO)title('stand number')ONE=imresize(one,20);subplot(3,3,2)imshow(ONE)title('stand number')TWO=imresize(two,20);subplot(3,3,3)imshow(TWO)title('stand number')THREE=imresize(three,20);subplot(3,3,4)imshow(THREE)title('stand number')FOUR=imresize(four,20);subplot(3,3,5)imshow(FOUR)title('stand number')SIX=imresize(six,20);subplot(3,3,6)imshow(SIX)title('stand number')POINT=imresize(point,20);subplot(3,3,7)imshow(POINT)title('stand number')NINE=imresize(nine,20);subplot(3,3,8)imshow(NINE)title('stand number')% ----------------------create hopfield net--------------------------T=[zero;one;two;three;four;six;point;nine]';net=newhop(T);5%干扰的程序：% ------------------------standard number array-----------------------six=[-1 1 1 1 1 1 1 -1 -1 -1;-1 1 1 1 1 1 1 -1 -1 -1 ;...-1 1 1 -1 -1 -1 -1 -1 -1 -1;-1 1 1 -1 -1 -1 -1 -1 -1 -1 ;...-1 1 1 -1 -1 -1 -1 -1 -1 -1;-1 1 1 1 1 1 1 -1 -1 -1 ;...-1 1 1 1 1 1 1 -1 -1 -1;-1 1 1 -1 -1 1 1 -1 -1 -1;...-1 1 1 -1 -1 1 1 -1 -1 -1;-1 1 1 -1 -1 1 1 -1 -1 -1;...-1 1 1 1 1 1 1 -1 -1 -1;-1 1 1 1 1 1 1 -1 -1 -1];% ----------------------plot standard number figure-----------------SIX=imresize(six,20);subplot(2,1,1)imshow(SIX)title('stand number')% ----------------------create hopfield net--------------------------T=[six]';net=newhop(T);% ------------------------------generate noise----------------------------% -------------------------noise array(fixed noise)--------------% six=[-1 1 1 1 1 1 1 -1 -1 -1;-1 1 1 1 1 1 1 -1 -1 -1 ;...% -1 1 1 -1 -1 -1 -1 -1 -1 -1;-1 1 1 -1 -1 -1 -1 -1 -1 -1 ;...% -1 1 1 -1 -1 -1 -1 -1 -1 -1;-1 1 1 1 1 1 1 -1 -1 -1 ;... % -1 1 1 1 1 1 1 -1 -1 -1;-1 1 1 -1 -1 1 1 -1 -1 -1;... % -1 1 1 -1 -1 1 1 -1 -1 -1;-1 1 1 -1 -1 1 1 -1 -1 -1;...% -1 1 1 1 1 1 1 -1 -1 -1;-1 1 1 1 1 1 1 -1 -1 -1];% -----------------------noise array(rand noise)-----------------rand('state',0);for i=1:100a=rand;if a<0.05six(i)=-six(i);endendno1=six;% -------------------------plot noisy figure---------------subplot(2,1,2)NO1=imresize(no1,20);imshow(NO1)title('noisy number')10%干扰的程序：% ------------------------standard number array-----------------------six=[-1 1 1 1 1 1 1 -1 -1 -1;-1 1 1 1 1 1 1 -1 -1 -1 ;...-1 1 1 -1 -1 -1 -1 -1 -1 -1;-1 1 1 -1 -1 -1 -1 -1 -1 -1 ;...-1 1 1 -1 -1 -1 -1 -1 -1 -1;-1 1 1 1 1 1 1 -1 -1 -1 ;...-1 1 1 1 1 1 1 -1 -1 -1;-1 1 1 -1 -1 1 1 -1 -1 -1;...-1 1 1 -1 -1 1 1 -1 -1 -1;-1 1 1 -1 -1 1 1 -1 -1 -1;...-1 1 1 1 1 1 1 -1 -1 -1;-1 1 1 1 1 1 1 -1 -1 -1]; % ----------------------plot standard number figure-----------------SIX=imresize(six,20);subplot(2,1,1)imshow(SIX)title('stand number')% ----------------------create hopfield net--------------------------T=[six]';net=newhop(T);% ------------------------------generate noise----------------------------% -------------------------noise array(fixed noise)--------------% six=[-1 1 1 1 1 1 1 -1 -1 -1;-1 1 1 1 1 1 1 -1 -1 -1 ;... % -1 1 1 -1 -1 -1 -1 -1 -1 -1;-1 1 1 -1 -1 -1 -1 -1 -1 -1 ;...% -1 1 1 -1 -1 -1 -1 -1 -1 -1;-1 1 1 1 1 1 1 -1 -1 -1 ;...% -1 1 1 1 1 1 1 -1 -1 -1;-1 1 1 -1 -1 1 1 -1 -1 -1;...% -1 1 1 -1 -1 1 1 -1 -1 -1;-1 1 1 -1 -1 1 1 -1 -1 -1;...% -1 1 1 1 1 1 1 -1 -1 -1;-1 1 1 1 1 1 1 -1 -1 -1];% -----------------------noise array(rand noise)-----------------rand('state',0);for i=1:100a=rand;if a<0.1six(i)=-six(i);endendno1=six;% -------------------------plot noisy figure---------------subplot(2,1,2)NO1=imresize(no1,20);imshow(NO1)title('noisy number')20%干扰的程序：% ------------------------standard number array-----------------------six=[-1 1 1 1 1 1 1 -1 -1 -1;-1 1 1 1 1 1 1 -1 -1 -1 ;...-1 1 1 -1 -1 -1 -1 -1 -1 -1;-1 1 1 -1 -1 -1 -1 -1 -1 -1 ;...-1 1 1 -1 -1 -1 -1 -1 -1 -1;-1 1 1 1 1 1 1 -1 -1 -1 ;...-1 1 1 1 1 1 1 -1 -1 -1;-1 1 1 -1 -1 1 1 -1 -1 -1;...-1 1 1 -1 -1 1 1 -1 -1 -1;-1 1 1 -1 -1 1 1 -1 -1 -1;...-1 1 1 1 1 1 1 -1 -1 -1;-1 1 1 1 1 1 1 -1 -1 -1];% ----------------------plot standard number figure-----------------SIX=imresize(six,20);subplot(2,1,1)imshow(SIX)title('stand number')% ----------------------create hopfield net--------------------------T=[six]';net=newhop(T);% ------------------------------generate noise----------------------------% -------------------------noise array(fixed noise)--------------% six=[-1 1 1 1 1 1 1 -1 -1 -1;-1 1 1 1 1 1 1 -1 -1 -1 ;... % -1 1 1 -1 -1 -1 -1 -1 -1 -1;-1 1 1 -1 -1 -1 -1 -1 -1 -1 ;...% -1 1 1 -1 -1 -1 -1 -1 -1 -1;-1 1 1 1 1 1 1 -1 -1 -1 ;...% -1 1 1 1 1 1 1 -1 -1 -1;-1 1 1 -1 -1 1 1 -1 -1 -1;...% -1 1 1 -1 -1 1 1 -1 -1 -1;-1 1 1 -1 -1 1 1 -1 -1 -1;...% -1 1 1 1 1 1 1 -1 -1 -1;-1 1 1 1 1 1 1 -1 -1 -1];% -----------------------noise array(rand noise)-----------------rand('state',0);for i=1:100a=rand;if a<0.2six(i)=-six(i);endendno1=six;% -------------------------plot noisy figure---------------subplot(2,1,2)NO1=imresize(no1,20);imshow(NO1)title('noisy number')30%干扰的程序：% ------------------------standard number array-----------------------six=[-1 1 1 1 1 1 1 -1 -1 -1;-1 1 1 1 1 1 1 -1 -1 -1 ;...-1 1 1 -1 -1 -1 -1 -1 -1 -1;-1 1 1 -1 -1 -1 -1 -1 -1 -1 ;...-1 1 1 -1 -1 -1 -1 -1 -1 -1;-1 1 1 1 1 1 1 -1 -1 -1 ;...-1 1 1 1 1 1 1 -1 -1 -1;-1 1 1 -1 -1 1 1 -1 -1 -1;...-1 1 1 -1 -1 1 1 -1 -1 -1;-1 1 1 -1 -1 1 1 -1 -1 -1;...-1 1 1 1 1 1 1 -1 -1 -1;-1 1 1 1 1 1 1 -1 -1 -1];% ----------------------plot standard number figure-----------------SIX=imresize(six,20);subplot(2,1,1)imshow(SIX)title('stand number')% ----------------------create hopfield net--------------------------T=[six]';net=newhop(T);% ------------------------------generate noise----------------------------% -------------------------noise array(fixed noise)--------------% six=[-1 1 1 1 1 1 1 -1 -1 -1;-1 1 1 1 1 1 1 -1 -1 -1 ;...% -1 1 1 -1 -1 -1 -1 -1 -1 -1;-1 1 1 -1 -1 -1 -1 -1 -1 -1 ;...% -1 1 1 -1 -1 -1 -1 -1 -1 -1;-1 1 1 1 1 1 1 -1 -1 -1 ;... % -1 1 1 1 1 1 1 -1 -1 -1;-1 1 1 -1 -1 1 1 -1 -1 -1;...% -1 1 1 -1 -1 1 1 -1 -1 -1;-1 1 1 -1 -1 1 1 -1 -1 -1;...% -1 1 1 1 1 1 1 -1 -1 -1;-1 1 1 1 1 1 1 -1 -1 -1];% -----------------------noise array(rand noise)-----------------rand('state',0);for i=1:100a=rand;if a<0.3six(i)=-six(i);endendno1=six;% -------------------------plot noisy figure---------------subplot(2,1,2)NO1=imresize(no1,20);imshow(NO1)title('noisy number')。

五.反馈（Hopfield）神经⽹络 前馈⽹络⼀般指前馈神经⽹络或前馈型神经⽹络。

它是⼀种最简单的神经⽹络，各神经元分层排列。

每个神经元只与前⼀层的神经元相连。

接收前⼀层的输出，并输出给下⼀层，数据正想流动，输出仅由当前的输⼊和⽹络权值决定，各层间没有反馈。

包括：单层感知器，线性神经⽹络，BP神经⽹络、RBF神经⽹络等。

递归神经⽹络（RNN）是两种⼈⼯神经⽹络的总称。

⼀种是时间递归神经⽹络（recurrent neural network），⼜名循环神经⽹络，包括RNN、LSTM、GRU等；另⼀种是结构递归神经⽹络（recursive neural network）。

反馈⽹络(Recurrent Network)，⼜称⾃联想记忆⽹络，输出不仅与当前输⼊和⽹络权值有关，还和⽹络之前输⼊有关。

其⽬的是为了设计⼀个⽹络，储存⼀组平衡点，使得当给⽹络⼀组初始值时，⽹络通过⾃⾏运⾏⽽最终收敛到这个设计的平衡点上。

包括Hopfield，Elman，CG，BSB，CHNN、DHNN等。

反馈⽹络具有很强的联想记忆和优化计算能⼒，最重要研究是反馈⽹络的稳定性（即其吸引⼦）离散Hopfield神经⽹络Hopfield神经⽹络是⼀种单层反馈，循环的从输⼊到输出有反馈的联想记忆⽹络。

离散型为DHNN（Discrete Hopfield Neural Network）和连续型CHNN（Continues Hopfield Neural Network）。

Hopfield最早提出的⽹络是⼆值神经⽹络，各神经元的激励函数为阶跃函数或双极值函数,神经元的输⼊、输出只取{0，1}或者{ -1，1}，所以也称为离散型Hopfield神经⽹络DHNN（Discrete Hopfiled Neural Network）。

在DHNN中，所采⽤的神经元是⼆值神经元；因此，所输出的离散值1和0或者1和-1分别表⽰神经元处于激活状态和抑制状态。

时滞双向联想记忆神经网络系统的Hopf分支郭灿【摘要】研究了具有四个神经元的多时滞双向联想记忆神经网络系统,通过分析特征方程,得出了线性稳定性的条件, 同时给出了存在Hopf分支的充分条件.%In this paper, abidirectional associative memory(BAM) neural network with four neurons and multiple delays is considered.By analyzing the associated characteristic equation, the conditions of linear stability are obtained while the sufficient conditions of Hopf bifurcation are given.【期刊名称】《湘南学院学报》【年(卷),期】2017(038)002【总页数】5页(P8-11,40)【关键词】分支;稳定性;时滞;神经网络【作者】郭灿【作者单位】广告培正学院计算机科学与工程系, 广东广州 510830【正文语种】中文【中图分类】O175.15双向联想记忆[1](Bidirectional Associative Memory,简称BAM)神经网络是一种具有两层神经元的神经网络，它是Kosko将单层联想记忆神经网络推广到双层双向而得到的,它们广泛应用在模式识别﹑水文学﹑地震学﹑自动化控制﹑信号处理﹑动态图像处理等领域.用以下微分方程描述时滞双向联想记忆神经网络:其中aij,bij,(i,j∈N(1,n):1,2,…)是两层神经细胞间连接权值, μi和νj表示神经细胞内部的衰减速率；Ii和Ij表示外部输入;fi和gj表示为激励函数；τji,γij,(i,j∈N(1,n))表示为时滞.在许多科学家的不懈努力之下,双向联想记忆神经网络取得了许多丰硕的研究成果(见[2-11]),使得其理论日臻成熟.本文主要研究时滞四神经元的双向联想记忆神经网络的分支性质.假设从I-层到J-层的时滞是τ1, 而从J-层到I-层的时滞是τ2, I-层只有一个神经元，但是J-层有三个神经元.由下列微分方程可以描述出这个简单的BAM神经网络:其中μi>0(i=1,2,3,4),cj1(j=2,3,4)和c1i(i=2,3,4)是常数.本文的目的在于研究系统(1.2)的Hopf分支和零解稳定性.以τ=τ1+τ2为研究参数,当τ经过一个特定的值时零解丧失稳定性并产生 Hopf分支.令u1(t)=x1(t-τ1),u2(t)=y1(t),u3(t)=y2(t),u4(t)=y3(t),τ=τ1+τ2系统(1.2)可以写成：假设(H1)f1∈c1,fi(0)=0,对于i=1,2,3,4在假设(H1)下线性化系统(2.1)得其中βij=cijfj′(0)系统(2.2)对应的特征方程是即若方程(2.4)的所有根都有负实部, 则平衡点(0,0,0)具有稳定性.就只需要研究方程(2.4)的根的分布.我们看一下以下这个方程的根的分布其中ai,bj∈R(i=0,1,2,3;j=0,1,2),≠0,a1=[(μ3+μ4)μ1μ2+(μ1+μ2)μ3μ4],a2=μ1μ2+μ3+μ4+(μ1+μ2)(μ3+μ4),a3=μ1+μ2+μ3+μ4,a0=μ1μ2μ3μ3b2=-(β12β21+β13β31+β14β41),b1=-[β12β21(μ3+μ4)+β13β31(μ2+μ4)+β14β41(μ3+μ2)]b0=-(β12β21μ3μ4+β13β31μ2μ4+β14β41μ3μ2)令μ32>0,,r=-2a0a2+a12+2b0b2-b12,,注意到, 当且仅当ω4-a3ω3i-a2ω2+a1ωi+a0+(b1ωi+b0-b2ω2)(cosωτ-isinωτ)=0时iω(ω>0)是方程(2.5)的根.实部和虚部分离, 得两个方程平方后相加, 得再令z=ω2, 则方程(2.7)变为引理 2.1 (1) 如q>0,r>0,s≥0，则方程(2.8)没有正根.(2)如果q>0,r>0,s<0，则方程(2.8)仅有一个正根.证明：令h(z)=z4+pz3+qz2+rz+s, (1)因为p>0,q>0,r>0,s≥0,则有h(z)>0对于z∈(0,∞). 因此方程(2.8)没有正根.(2)因为p>0,q>0,r>0,s<0,则有h′(z)=4z3+3pz2+2qz+r>0,对于z∈(0,∞)注意到s<0，h(0)<0,(z)=∞,则方程(2.8)仅有一个正根. 证毕.在s<0的条件下, 方程(2.8)仅有一个正根z0，令定义,j=0,1,2,…则±iω0是方程(2.5)的一对纯虚根,其中τ,j=0,1,2,….引理 2.2 假设 a0+b0>0,a3(a2+b2)-(a1+b1)>0,(a1+b1)[a3(a2+b2)-(a1+b1)] (a0+b0)>0,a0-b0<0，则当τ∈[0,τ0)时, 方程(2.5)的所有根都具有负实部.证明当τ=0 时, 方程(2.5)变为由罗斯-霍维茨准则可知, 当方程(2.11)的所有的根有负实部.由a0-b0>0可知s<0.由引理2.1的(2)可知方程(2.8)具有一个正根. 当τj时,方程(2.5)有纯虚根,是τ>0的方程(2.5)在虚半轴上有根的第一个值. 证毕.令λ(τ)=α(τ)+iω(τ)为方程(2.5)的根且满足α()=0,ω()=ω0.引理 2.3 若引理2.2的条件满足,则±iω0是方程(2.5)的一对纯虚根，且τ,α′()>0.证明：方程(2.5)两边对于τ求导得由方程(2.5)进一步得其中∆.证毕.由引理2.1-2.3得到以下结果.定理 2.4 假设a0+b0>0,a3(a2+b2)-(a1+b1)>0,(a1+b1)(a0+b0)>0.(1)如果a0-b0≥0，当τ≥0时，方程(2.5)的所有的根都有负实部; (2)如果a0-b0<0，对于τ∈[0,τ0)，方程(2.5)的所有的根都有负实部.当τ>时, 方程(2.5)至少有一个根有正实部;当τ,j=0,1,2…时,方程(2.5)有一对纯虚根±iω0，当τ时, 除±iω0以外,方程(2.5)的其他根都是有负实部的. 其中ω0和是由(2.9)和(2.10)所定义的.现在再看看系统(2.1)，可以注意到a0+b0=μ1μ2μ3μ4-(β12β21μ3μ4+β13β31μ2μ4+β14β41μ3μ2)a0-b0=μ1μ2μ3μ4+(β12β21μ3μ4+β13β31μ2μ4+β14β41μ3μ2)(*)=a3(a3+b2)-(a1+b1)=(μ1+μ2)(μ3+μ4)-β12β21(μ1+μ2)-β13β31(μ1+μ3)-β14β41(μ1+μ4)(**)=(a1+b1)(a0+b0)=(*)-(我们得到这部分的主要结果.定理 2.5 假设μ1μ2μ3μ4-(β12β21μ3μ4+β13β31μ2μ4+β14β41μ3μ2)>0，(*)>0和(**)>0成立.(1)如果μ1μ2μ3μ4+(β12β21μ3μ4+β13β31μ2μ4+β14β41μ3μ2)≥0，则对于一切τ≥0系统(2.1)的零解是渐近稳定的, 即系统(2.1)是绝对稳定的.(2)如果μ1μ2μ3μ4+(β12β21μ3μ4+β13β31μ2μ4+β14β41μ3μ2)<0，则当τ∈[0,τ0)时, 系统(2.1)的零解是渐近稳定的, 当τ>时，系统(2.1)是不稳定的. (3)如果条件(2)成立, 则当τ，,j=0,1,2,…时，系统(2.1)在(0,0,0)产生Hopf分支.这里是(2.10)所定义的.以下面系统为例:令p=16,q=71,r=56,s=-144而且h(z)=z4+pz3+qz3+rz+s有一个正实根z0=1和三个负实根，ω0=1, τ=arcsin()+2jπ，其中τ=τ1+τ2,模拟结果如下图所示【相关文献】[1]Kosko B. Adaptive bi-directional Associative Memories[J]. Applied Optics, 1987, 26(23): 4947-4960.[2]Yang Y. Hopf bifurcation in a two-predator, one-predator, one-prey system with time delay[J]. Appl Math Comput，2009, 214(1):228-235.[3]Giannakopoulos F, Zapp A. Bifurcations in a planar system of differential delayed neural activity [J]. Physica D ,2001,159:215-232.[4]Xiaocai Z, Zuoliang X, Changjian W. Hopf bifurcation for neutral-type neural network model with two delays[J]. Applied Mathematics and Computation, 2016, 285:17-31. [5]Wu J. Stable phase-locked periodic solutions in a delay differential system [J]. J Diff Eqs, 2003, 194: 237-286.[6] Wu J. Introduction to Neural Dynamics and Signal Transmission Delay[M].Berlin:Walther de Gruyter, 2001.[7]Guo S, Huang L. Hopf bifurcating peoriodic orbits in a ring of neurons with delays[J]. Physica D, 2003, 183:19-44.[8]Wu J. Symmetric functional-differential equations and neural networks with memory[J]. Trans Am Math Soc, 1998, 350: 4799-4838.[9]Olien L, J Blair. Bifurcations, stability, and monotonicity properties of a delayed neural network model[J]. Physica D, 1997, 102:349-363.[10]Baird B. A Bifurcation theory approach to vector field programming for periodic attractors[J]. In: Proc IJCNN Vol I San Diego, 1989, 381-388.[11]Gopalsamy K, L Leung. Delay induced periodicity in a neural netlet of exictation and inhibition[J]. Physica D, 1996, 89: 395-426.。

Hopfield 神经网络前馈（前向）网络和反馈网络是当前人工神经网络研究中最基本的两种网络模型。

1982年到1986年，美国物理学家Hopfield 陆续发表文章报导了对反馈神经网络理论与应用的研究成果，引起了人们广泛的兴趣，并且将这种单层反馈网络称为Hopfield 网络。

在单层全反馈网络中（基本Hopfield 网络中），节点之间相互连接，每个节点接收来自其它节点的输入，同时又输出给其它节点，每个神经元没有到自身的连接。

由于引入反馈，所以它是一个非线性动力学系统。

其结构如下所示：n1n32y y（a ） （b ）图1 Hopfield 网络基本结构前馈网络大多表达的是输出与输入间的映射关系，一般不考虑输出与输入间在时间上的滞后效应；反馈网络需要考虑输出与输入间在时间上的延时，需要利用动态方程（差分方程或微分方程）描述神经元和系统的数学模型。

前馈网络的学习（训练）主要采用误差修正法，计算时间较长，收敛速度较慢；反馈网络（如Hopfield 网络）的学习主要采用Hebb 规则，收敛速度较快。

Hopfield 网络在应用上除可作为联想记忆与分类外，还可用于优化计算。

可以认为，Hopfield 网络的联想记忆和优化计算这两种功能是对偶的：当用于联想记忆时，通过样本模式的输入给定网络的稳定状态，经学习求得联接权值W ；当用于优化计算时，以目标函数和约束条件建立系统的能量函数来确定联接权值，当网络演变至稳定状态时即可得出优化计算问题的解。

Hopfield 网络神经元模型可以是离散变量，也可以连续取值。

一．离散Hopfield 网络 1．网络结构及性能描述：离散Hopfield 网络模型如图1所示。

设共有N 个神经元，ij 表示从神经元j 到神经元i 的联接权，j s 表示神经元j 的状态（取＋1或－1），j v 表示神经元j 的净输入，有：⎪⎩⎪⎨⎧=+-⋅=∑=)](sgn[)1()()(1t v t s t s t v j j jNi i ji j θω，即：⎩⎨⎧<->+=+0)(,10)(,1)1(t v t v t s j j j （1） 或：⎪⎩⎪⎨⎧<-=>+=+0)(,10)(),(0)(,1)1(t v t v t s t v t s j j j j j当0)(=t v j 时可认为神经元的状态保持不变。

Hopfield神经⽹络综述题⽬： Hopfield神经⽹络综述⼀、概述：1.什么是⼈⼯神经⽹络（Artificial Neural Network，ANN)⼈⼯神经⽹络是⼀个并⾏和分布式的信息处理⽹络结构，该⽹络结构⼀般由许多个神经元组成，每个神经元有⼀个单⼀的输出，它可以连接到很多其他的神经元，其输⼊有多个连接通路，每个连接通路对应⼀个连接权系数。

⼈⼯神经⽹络系统是以⼯程技术⼿段来模拟⼈脑神经元（包括细胞体，树突，轴突）⽹络的结构与特征的系统。

利⽤⼈⼯神经元可以构成各种不同拓扑结构的神经⽹络，它是⽣物神经⽹络的⼀种模拟和近似。

主要从两个⽅⾯进⾏模拟：⼀是结构和实现机理；⼆是从功能上加以模拟。

根据神经⽹络的主要连接型式⽽⾔，⽬前已有数⼗种不同的神经⽹络模型，其中前馈型⽹络和反馈型⽹络是两种典型的结构模型。

1）反馈神经⽹络(Recurrent Network)反馈神经⽹络，⼜称⾃联想记忆⽹络，其⽬的是为了设计⼀个⽹络，储存⼀组平衡点，使得当给⽹络⼀组初始值时，⽹络通过⾃⾏运⾏⽽最终收敛到这个设计的平衡点上。

反馈神经⽹络是⼀种将输出经过⼀步时移再接⼊到输⼊层的神经⽹络系统。

反馈⽹络能够表现出⾮线性动⼒学系统的动态特性。

它所具有的主要特性为以下两点：（1）.⽹络系统具有若⼲个稳定状态。

当⽹络从某⼀初始状态开始运动，⽹络系统总可以收敛到某⼀个稳定的平衡状态；（2）.系统稳定的平衡状态可以通过设计⽹络的权值⽽被存储到⽹络中。

反馈⽹络是⼀种动态⽹络，它需要⼯作⼀段时间才能达到稳定。

该⽹络主要⽤于联想记忆和优化计算。

在这种⽹络中，每个神经元同时将⾃⾝的输出信号作为输⼊信号反馈给其他神经元，它需要⼯作⼀段时间才能达到稳定。

2.Hopfield神经⽹络Hopfield⽹络是神经⽹络发展历史上的⼀个重要的⾥程碑。

由美国加州理⼯学院物理学家J.J.Hopfield 教授于1982年提出，是⼀种单层反馈神经⽹络。

Hopfield神经⽹络是反馈⽹络中最简单且应⽤⼴泛的模型，它具有联想记忆的功能。

基于MapReduce模型的Hopfield神经网络联想记忆算法曾俊【摘要】Hopfield network is a widely used neural network for its excellent performance in associative memory and fault tolerantproperty.However,on cloud computing platform,it is not able to store high-dimensional mode in a single computer and to acquire good performance when come across massive data.Besides,the data storage in traditional associative memory networks is distributed,this enables the MapReduce structure can well solve the parallelisation and distribution problems.According to the principle above,we put forward an algorithm of MRHAM (MapReduce-based Hopfield Network for Associative Memory) which uses MapReduce architecture to implement largescale parallelised processing on traditional Hopfield associative memory algorithm.It is verified through experiment that the performance of MRHAM algorithm acquired in massive amount of data is better than that of the traditional Hopfield associative memory algorithm; this has important significance to massive data for content-based storage and associativememory.%Hopfield神经网络以良好的联想记忆功能、容错性而得到广泛的应用.然而,云计算平台下,面对海量数据时它并不能在单机上存储高维度模式以及获得良好的性能.另外,传统的联想记忆网络数据分布存储,使得MapReduce结构可以很好地解决并行化和分布性的问题.根据以上原理,提出一种MRHAM(MapReduce-based Hopfield Network for Association Memory)算法,对传统的Hopfield联想记忆算法采用MapReduce架构实现大规模并行化处理.通过实验验证在大规模数据量下获得比传统Hopfield联想记忆算法更好的性能,对于海量数据的基于内容存储、联想记忆有重要意义.【期刊名称】《计算机应用与软件》【年(卷),期】2013(030)008【总页数】4页(P267-270)【关键词】MapReduce;Hopfield;联想记忆;云平台;大规模数据【作者】曾俊【作者单位】长江师范学院数学与计算机学院重庆408100【正文语种】中文【中图分类】TP183Hopfield神经网络是一种应用十分广泛的单层反馈神经网络，它具有良好的优化能力和联想记忆能力，广泛用于优化计算和联想记忆。

神经网络导论-双向联想记忆神经网络是近年来备受研究和关注的领域，是模拟人类神经系统，集成大量的神经元并通过神经元之间的连接形成模型的计算系统。

神经网络的主要功能是通过学习和训练实现对数据的处理和分析，这种能力被广泛应用于数据挖掘、图像识别、自然语言处理等领域。

双向联想记忆是神经网络中常用的一种模型，其基本概念和模型结构将在下面的内容中详细介绍。

双向联想记忆基本概念双向联想记忆是一种基于神经网络模型的学习和记忆方式，其主要思想是将输入数据通过神经网络的连接和计算结构进行映射，形成一个输入和输出之间的联想记忆关系。

双向联想记忆通常要求输入和输出之间都是向量形式的数据，然后通过神经元之间的连接生成权重矩阵，将各种输入和输出信息进行相应的映射，从而实现数据的记忆和关联。

双向联想记忆模型结构双向联想记忆模型的基本结构包括输入层、输出层和隐藏层三个部分。

输入层接收输入的向量数据，经过神经元之间的连接计算后发送到隐藏层，隐藏层对这些数据进行处理和加工，并将处理结果发送到输出层。

输出层接收隐藏层发送的数据，经过神经元之间的连接计算后将输出结果发送到下一级处理层或输出层。

在双向联想记忆模型中，输入与输出彼此兼容，输入层和输出层都可以为任意维度的向量或矩阵。

隐藏层的神经元数量和维度也是可以调整的，不同的数量和维度可以实现不同的学习和记忆效果。

双向联想记忆的应用和优势双向联想记忆在许多领域都有广泛的应用，其中最常见的应用是在自然语言处理和图像识别领域。

在自然语言处理应用中，双向联想记忆可以识别和理解语句中的关键词汇，并将其映射为对应的含义和语义。

在图像识别领域，双向联想记忆可以通过对图像信息进行处理和分析，实现对图像中物体的定位和识别。

双向联想记忆在处理复杂数据和分析复杂场景时具有优势，其具有较高的自适应性和变换鲁棒性，可以有效处理各种数据变换和噪声干扰。

双向联想记忆是神经网络中一种广泛应用的学习和记忆方式，其基本概念和模型结构都较为简单明了。