状态反馈的人工神经网络的学习算法

状态反馈的人工神经网络的学习算法 摘要：递归神经网络的大多数研究和应用主要集中在单位反馈递归神经网络上面，这个系统的动态过程通常是由动态反馈所决定,所以很难控制它的动态过程,也因此它的应用收到了很大的限制。

递归反馈系数隐含着神经网络的动态性能，不同的状态反馈系数意味着不同的动态性能，也因此，对于神经网络的状态反馈有着奇迹重要的理论意义和应用价值。

对于这个缺点，我们提出了一种由状态反馈动态进化神经元的模型和由状态反馈神经元与学习算法组成的系统。

对于这种神经网络，它的静态质量提供了神经网络的静态表征，而状态反馈系数则表明了神经网络的动态性能。

不仅静态质量可以通过学习静态知识得到更正，动态反馈系数也可以在动态知识的学习中的到更正。

它不仅可以学习静态知识，也可以学习动态知识。

不仅可以记忆静态信息，也可以记忆动态信息。

它成为了一个真正的具有动态特征的神经网络。

在本文最后我们以定理的形式列举了此递归神经网络的静态质量和动态递归系数学习算法。

关键词：人工神经网络；学习算法；状态反馈 一、概述人工神经网络理论主要研究人工神经网络的构造、学习算法和机遇生物神经系统工作原理的聚合。

早期的神经网络结构是单一的，学习算法是简单的，表意也是清楚的。

它已经被广泛深入的学习。

早期的神经网络所确定的关系通常是输入与输出的静态关系，而实际上，所有控制对象的应用通常都是动态的。

因此实际上静态神经网络模型无法描述系统的动态表征。

能够描述动态表征的神经网络应该包含动态系数并且能够储存动态信息。

为了实现这个功能，系统里通常会有延时反馈或者信息反馈，这种系统被称作递归神经系统或者状态反馈神经系统。

递归神经系统已经成为一个广泛研究的课题。

递归神经系统演化过程的定量研究是一个重大的课题。

近年来，许多学者应用非线性动态系统的递归神经网络建立数学模型。

系统的输出仅仅由动态系统的条件和外部输入决定，递归神经网络本身将是一个非线性的动态系统，因此，学习它的状态演变是非常必要的。

递归系数意味着神经系统的动态表征，而不同的递归系数意味着不同的动态过程。

它决定着动态神经系统的响应形式。

然而，到目前为止在应用中，反馈递归神经系统通常以常系数1进行循环，也就是单位递归神经系统。

如果用递归神经系统来达到动态系统过程，一个简单的方法就是转变动态途径变为景泰途径。

研究表明，前馈神经系统的学习算法仍然被用于反馈递归神经系统的学习算法。

进过训练，神经系统的输出被反馈单元反馈到输入端以实现迭代预测。

这使得递归神经系统的应用变得十分的局限。

因此，反馈递归神经系统及其性能变得具有十分重大的理论意义和应用价值。

如何设计一个简单的结构而得到一个明确的神经网络的物理意义就变成了一项十分具有挑战性的工作。

为此，我们设计了一种具有不同动态反馈系数的动态过程神经网络，以使得神经网络不仅能够学习静态知识，也能学习动态知识；不仅能够记忆静态信息，也能够记忆动态信息。

这是一种真正的动态特性神经网络。

二、状态反馈动态神经模型神经元模型直接与神经网络的性能有关。

从不同方向输入的神经元递归输入信号经过了空间和时间的加权变成了神经元函数s()t 。

最后通过非线性转换完成非线性变换。

神经元模型在神经网络性能中扮演着重要的角色，它可以直接的显示神经系统的动态性能，因此，一个合理的神经元模型是必须的。

图1所示为状态反馈的动态神经元模型。

根据神经元的时间和空间特性，它的函数可以表示为：s()()()()(1)()ni i t w t x t t s t b t λ=+--∑（1）此处，()i x t 是神经元的第i 次输入，()i w t 是第i 次输入加权，()t λ是状态反馈，此时神经元输出为：()(())y t f s t = （2）为了方便书写，神经元临界值()b t 可以被写成加权数0()w t ，输入0()x t 为常数-1，这样方程（1）可以被写成：s()()()()(1)ni i i t w t x t t s t λ==+-∑（3）由此可见，加权函数()i w t 表示着神经元的静态特性，我们可以叫它静态权重。

状态反馈函数()t λ表示着神经元的动态表现，称作动态反馈系数。

这个神经模型不仅能够显示神经元的静态记忆特性，也可以表示动态演变性能。

这个模型称作状态反馈神经元模型。

三、状态反馈神经元模型神经系统处理信息的能力不仅与神经元性能有关，还与神经系统的构造有关，后者直接决定着神经系统的性能。

因此，神经系统的结构研究是十分必要的。

状态反馈神经模型依照信息流动的方向与网络结合。

为了方便计算，假设不同的层面上没有信息传递，这样，具有不同反馈系数的前反馈神经系统模型就可以建立起来，如图2所示。

假设状态反馈神经系统模型输入模式向量是12()((),(),...,())T n u t u t u t u t =，动态方程状态向量为12()((),(),...,())Tp s t s t s t s t =，反馈系数向量为12()((),(),...,())Tp t t t t λλλλ=，隐藏的输出模式向量为12()((),(),...,())Tp x t x t x t x t =；输出模式向量为12()((),(),...,())Tm y t y t y t y t =；从输入到隐藏的加权矩阵为{()},1,2,...,,1,2,...,ji w t i n j p ==，从隐藏函数到输出的加权矩阵为{()},1,2,...,,1,2,...,kj w t j p k m ==，隐藏函数的神经元极值为{()},1,2,...,j b t j p =；输出极值为{()},1,2,...,k b t k m =。

四、状态反馈神经系统的学习算法人工神经网络处理信息的性能不仅与结构有关，还与神经元的加权参数，神经元的活跃方程等等有关。

如果神经网络的机构相同而参量不同，也可以显示出不同的特性。

通常来说，一旦神经网络的结构和活跃方程确定了，神经网络的性能就主要决定于神经元的关系参数。

神经元参数可以从学习外部环境中得到，在应用中也是会产生变化的。

这就需要对神经系统的学习算法进行研究了 A 、前转换过程当状态反馈神经系统输入层面的神经元接收到输入信号时，输入信号进入输入层，一层一层的到达输出层面。

当输入新号转换到第一级隐藏层是，在第一级隐藏层的低j 个神经元的所有输入累积为：1111111s ()()()()()(1)njji i j j j i t w t x t b t t s t λ==-+-∑ （4）第一级隐藏层的第j 个神经元的响应为：112()(())()j j j y t f s t x t ==（5）此处，1()ji w t 是与第一层第j 个神经元和第i 个输入有关的加权系数，上标1代表第一层，下标j 代表第j 个神经元，下标i 代表第i 个输入信号，()j t λ代表第j 个神经元的状态反馈系数。

在第k-1层，第j 个神经元的输入累积是：1s ()()()()()(1)nk k k k k kjji i j j j i t w t x t b t t s t λ==-+-∑ （6）它的输出为：1()(())()k k k j j j y t f s t x t +==（7）（m-1）层的输入为：1111111s()()()()()(1)nm m m m m m jji i j j ji t w t x t b t t s t λ------==-+-∑ （8）输出为：112()(())()m m m j j jy t f s t x t ---== （9）输出层面第k 个神经元的输入累加为：1s ()()()()()(1)nm m m m m m jji i j j j i t w t x t b t t s t λ==-+-∑ （10）输出为：()(()),1,2,...,m mj j y t f s t k m == （11）输入信号传输是输入型号逐层的经过神经元最后到达输出层并在神经元中形成响应的过程。

B 、状态反馈神经系统学习从神经系统信号传递的过程我们可以看到神经系统输出是一个机遇输入信号()i u t ，加权函数()ji w t 和状态反馈函数()j t λ的一个方程。

如果输入信号不变，系统的加权函数()ji w t 和状态反馈函数()j t λ进行调整，那么系统的输出将会随着变化。

因此，加权函数()ji w t 和状态反馈函数()j t λ可以进行调整以改进系统的性能，使得系统的性能达到预期的要求。

他们的不同在于，加权函数用来调整系统的静态特征而状态反馈函数用来调整系统的动态性能。

学习算法在研究最小误差性能方程中是必须的。

此算法中应用的方法是非线性过程的变形下调，也就是，权重可以被负斜率误差方程进行更正。

为了说明误差斜率算法，首先，定义期望输出值()m k d t 与真实输出值()mk y t 差的平方和为误差性能方程()E t ，表示为：22111()(()())()()22m m m k k k E t d t y t d t y t ==-=-∑（12）此处，()m k d t 输出层m 中的第k 个神经元的期望输出值，是一个指导信号；()mk y t 是第k个神经元的输出值。

误差性能方程()E t 随着关联权重而呈梯度下降的改变，这时对于输出()mk y t 误差()E t 的局部导数要求随着误差梯度下降而改变。

将误差()E t 定义扩大到隐藏层，就有：21211()(()()){()22(()...(()()()(1))...()(1))}m m mm k k k k pnm k k k k m m kj ji i j j k k j i E t d t y t d t f w t f w t x t t s t t s t λλ====-=-+-++-∑∑∑ （13）由此我们可以看到，神经网络输出误差是一个权重()kkj w t 和状态反馈()k i t λ的方程，所以权重()kkj w t 和状态反馈()k i t λ的调整时改变系统误差()E t 的方法。

很显然，静态权重和状态反馈系数可以进行调整，目标是减小实际输出值和期望输出值的误差。

因此，静态权重和状态反馈系数可以进行调整，以使得其改变与误差的负梯度成比例。

也就是：()()()()k ji k ji E t w t t w t η∂∆=-∂（14）()()()()k j kj E t t t t λβλ∂∆=-∂ （15）此处，负号表明梯度下降，系数()(0,1)t η∈和()(0,1)t β∈是比例系数，就是在训练中的学习效率。

由此我们可以看到状态反馈神经系统学习算法属于Delta 学习方法，通常被称作误差梯度下降算法。