3.4几种典型的神经网络
神经网络除了前向型网络外，还有反馈型、随机型和自组织竞争型等类型，本节主要介绍这三种神经网络，以及多神经网络集成。
3.4.1 反馈型神经网络
反馈型神经网络又称为递归网络或回归网络，它是一种反馈动力学系统，比前向神经网络具有更强的计算能力。其中Hopfield 神经网络是其典型代表，也是得到最充分研究和应用的神经网络之一，它是由美国物理学家J.J.Hopfield 于1982年首先提出的，主要用于模拟生物神经网络的记忆机理。由于网络的运行是一个非线性的动力系统，所以比较复杂。因此Hopfield 为这类网络引入了一种稳定过程，即提出了神经网络能量函数（也称李雅普诺夫函数）的概念，使网络的运行稳定判断有了可靠而简便的依据。
Hopfield 神经网络已在联想记忆和优化计算中得到成功应用，并拓宽了神经网络的应用范围。另外，Hopfield 网络还有一个显著的优点，就是它与电子电路存在明显的对应关系，使得该网络易于理解和便于实现。
Hopfield 网络有离散型[1]（DHNN ）和连续型[2]（CHNN ）两种实用形式。离散型Hopfield 网络的结构比较简单，在实际工程中的应用比较广泛，因此本节重点介绍离散型Hopfield 网络，并作仿真分析。 1、离散Hopfield 神经网络模型
离散Hopfield 神经网络是一种单层反馈型非线性网络，每一个结点的输出均反馈到其他结点的输入，其工作原理如图3.4.1所示。
设有n 个神经元，()n v v v V ,,,21L 为神经网络的状态矢量，i v 为第i 个神经元的输出，输出取值为0
或者为1的二值状态。对任一神经元n v v v i ,,,,21L 为第i 个神经元的输入，它们对该神经元的影响程度用连接权in i i w w w ,,,21L 表示i θ为其阈值，则有：
图3.4.1 离散Hopfield 神经网络的工作原理图
??
?>>=0
1i i i Net Net v （3.4.1）
式中，∑≠=?=
n
i
j j i j
ij
i v
w Net ,1θ，称为单元i 的状态。
Hopfield 网络是对称网络，故ji ij w w =。当0=ii w 时，称为无自反馈的离散Hopfield 网络；反之，称为有自反馈的离散Hopfield 网络。
Hopfield 网络有两种工作方式：
（1）异步方式：在任一时刻t ，只有某一个神经元按式（3.4.1）发生变化，而其余1?n 神经元的状态保持不变。
（2）同步方式：在任一时刻t ，有部分神经元按式（3.4.1）变化（部分同步）或所有神经元按式（3.4.1）变化（全并行方式）。
反馈神经网络的一个重要特点就是它具有稳定状态。
定义3.4.1 若神经网络从t = 0的任意一个初始状态)0(V 开始，存在一个有限的时刻，从该时刻后，神经网络状态不再发生变化，即：
()0)(>Δ=Δ+t t V t t V （3.4.2）
则称网络是稳定的。
Hopfield 神经网络是多个神经元相互结合的网络，它有两个最基本的最重要的约束条件： （1）神经元之间的相互结合强度是对称的，即ji ij w w =；
（2）各神经元之间状态完全动态地异步变化。
基于这两个约束条件，我们来考察一下网络的状态变化规律，并给出计算机仿真。
()t u i 是：
()()∑≠?=i
j i j ij i t v w t u θ （3.4.3）
这时，用符号函数作用于()t u i ，就得到1+t 时刻第i 个神经元的输出值()1+t v i 。因此，在这种模型中，
当某神经元输入端所接受的信号强度超过()t u i 的某个阈值i θ时，该神经元将触发成兴奋状态，基于上述讨论，Hopfield 神经网络模型状态的变化规则为：
（1）在网络中随机地选择一个神经元。
（2）求所选神经元()N i i ≤≤1的输入总合：()()∑≠?=i
j i
j
ij
i t v w t u θ
。
（3）根据()t u i 的值大小，更新神经元i 的状态：
()()
()().
01;
110=+=+≥t v else
t v t u if i i i
（4）神经元i 以外的神经元j 的状态不变化：()()t v t v j i =+1。
（5）转向（1）。
上面变化规则的第（1）步是随机地选择一个神经元，第（4）步是所选神经元以外的神经元状态不变化，这样的操作不断反复，从而实现了Hopfield 网络状态的异步变化[3]。
例：数字识别
为了验证Hopfield 网络的性能，本节将其应用于印刷体数字识别中，以求实现正确识别的目的。由于篇幅有限，我们只举阿拉伯数字1和2为例。
假设网络由10个初始稳态值0-9构成，即可以记忆10种数字。每个稳态由1010×的矩阵构成，该矩阵用于模拟阿拉伯数字点阵。所谓数字点阵，就是将数字划分成许多小方块，每一个小方块都对应着一部分数字。这里
图3.4.2 数字1的数字点阵 图3.4.3 受噪声污染的数字1的数字点阵
由此得出数字1和2的点阵表示形式分别为：
One=[-1 -1 -1 1 1 1 1 -1 -1 -1; -1 -1 -1 1 1 1 1 -1 -1 -1; -1 -1 -1 1 1 1 1 -1 -1 -1; -1 -1 -1 1 1 1 1 -1 -1 -1; -1 -1 -1 1 1 1 1 -1 -1 -1; -1 -1 -1 1 1 1 1 -1 -1 -1; -1 -1 -1 1 1 1 1 -1 -1 -1; -1 -1 -1 1 1 1 1 -1 -1 -1; -1 -1 -1 1 1 1 1 -1 -1 -1; -1 -1 -1 1 1 1 1 -1 -1 -1];
Two=[1 1 1 1 1 1 1 1 -1 -1; 1 1 1 1 1 1 1 1 -1 -1; -1 -1 -1 -1 -1 -1 1 1 -1 -1; -1 -1 -1 -1 -1 -1 1 1 -1 -1; 1 1 1 1 1 1 1 1 -1 -1; 1 1 1 1 1 1 1 1 -1 -1; 1 1 -1 -1 -1 -1 -1 -1 -1 -1; 1 1 -1 -1 -1 -1 -1 -1 -1 -1; 1 1 1 1 1 1 1 1 -1 -1; 1 1 1 1 1 1 1 1 -1 -1];
利用这两个向量构建一个训练样本T=[One; Two]’，并由此构造一个Hopfield 网络用以识别受到噪声污染的其他数字样本。所谓噪声实际上就是数字点阵中的某些位发生畸变，如由原来的1畸变为-1，或者相反，如图3.4.3所示即为受到噪声污染的数字1 的点阵形式。
这里给出一个受到噪声污染的数字样本2的点阵如下：
Two2=[1 1 1 -1 1 1 -1 1 -1 -1; 1 1 1 1 1 1 1 1 -1 -1; -1 1 -1 1 -1 -1 1 1 -1 -1; -1 -1 1 -1 1 -1 1 1 -1 -1; 1 1 1 1 1 1 1 1 -1 -1; 1 1 1 1 1 1 1 1 -1 -1; 1 1 -1 -1 -1 -1 -1 -1 -1 -1; 1 1 -1 -1 -1 -1 -1 -1 -1 -1; 1 1 1 -1 1 1 1 1 -1 -1; 1 1 -1 1 1 1 1 1 -1 -1];
将上述待测样本输入已构建好的Hopfield 网络，网络输出结果与训练样本数字2的正常点阵一致，说明此网络对于识别受噪声污染的数字样本是有效的，且识别效果显著。由此，可将Hopfield 神经网络推广到其他识别领
2、连续型Hopfield 网络
将离散的Hopfield 神经网络模型扩展到连续时间域中，得到连续型Hopfield 网络。其网络的连接方式不变，仍然是全互连对称结构。
()???
?
????
?
=+?=?=∑=i i i i i n
j i j ij i u f v s u dt du v s ,1
,
1
τθω （3.4.4） 与离散的HNN 相比较，式（3.4.4）多了一个一阶惯性环节（连续时间动力学方程）。实际上，离散的HNN 中直接有i i s u =。特别要注意的第二个差异是：函数()?f 是连续的S 型函数，不再是二值函数。
连续型的Hopfield 神经网络有如下一些特性：
（1）系统在运行过程中，其能量函数将会逐渐减小到某一极小状态； （2）系统的极小状态一般不止一个，存在有效个平衡点；
（3）连续型Hopfield 神经网络可以用模拟电路实现。电路中的放大器和电阻电容等器件的电气特性在物理上对生物神经网络的某些特征有较好的模拟。
我们知道，Hopfield 网络要求每个神经元与其它神经元全连接。可是在真实神经网络里并没有这种要求，特别是在视觉初级加工的神经网络中，每个神经细胞（即神经元）与相近的神经细胞之间的连接较强，而远离该神经细胞的连接权弱。视觉处理就是利用这种连接权的方向进行方向检测、边缘提取等工作。CNN （Cellular Neural Network ）网络就是基于这种背景而实现的一种局部连接的、权可设计的神经网络，这种网络对二维图像的初级加工特别有用，现已形成了一个新的学科分支，它的实现比Hopfield 网络容易，网络的芯片也已不断出现，这是一个值得注意的领域。
在CNN 基础上，根据神经元局部连接的思想，出现了区组设计（Block Design ）型神经网络（简称BDNN ），这是一种网络拓扑结构十分对称均衡的局部型连接网络，它在显著地减少Hopfield 全互连网络的连接权数的同时，还能保持各神经元间有紧密成都基本相同的耦合关系。 参考文献
[1] Hopfield J J. Neural Network and Physical Systems With Emergent Collective Computational Abilities. Proc. Natl. Acad. Scien USA 1982,79:2445-2558 [2] Hopfield J J. Neurons With Graded Response Have Collective Computational Properties Like Those of Two State Neurons. ibid, 1984,81:3088-3092 [3] 杨建刚.人工神经网络实用教程.杭州:浙江大学出版社,2001
3.4.2 随机型神经网络
前面讨论的前向型和反馈型神经网络都是确定性的网络，组成它们的
神经元均为确定性的，即给定神经元的输入和输出就是确定的，但在生物
神经元中由于有各种各样的干扰，实际上是很难实现的。同时人工神经元的硬件实现也会有各种扰动，从而带来某些不确定性，因此研究随机神经元显得必要且必需，1984年Hinton 等人提出了一种随机型神经网络―Boltzmann 机（Boltzmann Machine ，BM ）网络[1,2]，它借助统计物理学的方
法，采用模拟退火过程来模拟外界环境，较好的解决了摆脱能量局部极小状态，进入能量全局最小状态的问题。其网络结构与上节提到的离散Hopfield 网络结构相似，由N 个神经元组成，每个神经元取0-1二值输出，且神经元之间以对称连接权相互连接。与Hopfield 网络不同的是，
BM 网络通常将整个神经元分为可视层和隐含层两大部分。可视层又可分为输入部分和输出部分，但它与一般阶层网络的区别在于它没有明显的层次界限，且神经元之间不是单向连接而是双向连接的，如图3.4.3所示。
可视层 隐含层
图3.4.3 BM 网络结构BM 网络可以看作对二次组合优化问题的模拟退火算法的具体实现，同时它还可以模拟外界的概率分布，实现概率意义下的联想记忆。
1、模拟退火算法
高温状态下的物质降温使其内能随之下降，如果降温过程充分缓慢，则在降温过程中物质体系始终处于平衡状态，从而降到某一低温使其内能可达到最小，称这种降温为退火过程，模仿退火过程的寻优方法称为模拟退火（Simulated Annealing ，SA ）算法[3,4]，大致步骤如下：
（1）随机给定初始状态，设定合理的退火策略（即选取参数值，包括初始温度0T 、降温的规律等）；
（2）令x x x Δ+='
（x Δ为小的均匀分布的随机扰动）。计算()
()x E x E E ?=Δ'
；
（3）若0<ΔE ，则接受'
x 为新的状态，否则以概率()?????
?Δ?=kT E
P exp 接受'x ，其中k 为波尔兹曼常数（具体做法是产生0到1间的随机数a ，若a P >则接受'
x 为新状态，否则仍停留在状态x ）；
（4）重复（2）、（3）步直至系统达到平衡状态；
（5）按第（1）步给定的退火规律降温，再重复执行（2）~（4）步，直至0=T 或某一预定的低温。 由以上步骤可见，0>ΔE 时仍有一定概率（T 越高概率越大）接受'
x ，因而可跳出局部极小点。理论上说温度T 的下降应不快于()()t T t T ln 10
+=
，K ,3,2,1=t 。0T 为起始高温，t 为时间变量。实际常用公式
()()10?=t aT t T ，其中98.085.0≤≤a 。
上面描述的是SA 的主要步骤。为加速收敛，不少学者提出了一些改进方法，如快速SA ，自适应SA 等。
2、玻耳兹曼机
BM 网络除了可以通过模拟退火算法解决优化组合问题外，还可以通过网络训练模拟外界给出的极率分布，实现概率意义下的联想记忆。联想记忆分为自联想记忆和互联想记忆两种模式。当把一组记忆模式及其极率分布函数提供给BM 网络的可视层后，网络按照一定的学习规则进行学习，学习结束后，当网络状态按照工作规则进行不断转移时，网络的各个状态间按照记忆的学习模式的极率分布出现，即概率大的状态出现的频率高，极率小的状态出现的频率低。这种概率意义下的联想记忆就称为自联想记忆。
如果将某个记忆模式提供给网络的输入部分，同时，在输出部分按照给定的概率分布给出一组目标输出模式。此时给出的概率分布函数实际上是输出模式相对于输入模式的条件概率分布。BM 网络正是通过记忆这种条件概率分布函数来完成互联想记忆的。无论是自联想记忆还是互联想记忆，其实质都是通过学习目标概率分布函数，将其记忆并在以后的回想过程中将这一概率分布再现出来。由于篇幅有限，本节只简单介绍自联想记忆学习规则，并举例说明。
自联想记忆学习规则如下：假设网络的共有N 个神经元，其中可视层有n 个神经元，隐含层有n N m ?=个神经元。可视层有n
p 2=个状态，隐含层有m
q 2=个状态，整个网络则有N
M 2=个状态。各层的状态可表示为：可视层状态()n a u u u U L ,,21=，隐含层状态()m b u u u U L ,,21=，其中p a L ,2,1=，
q b L ,2,1=。整个网络的状态的概率分布函数为()b a U U Q ,，网络的连接权值和输出闭值分别为ij w 和j θ，i 、N j L ,2,1=，网络在第k 个状态时的能量为()b a k U U E ,。学习过程如下：
（1）初始化。将连接权ij w 赋予区间[-1,1]之间的随机值，并令0=j θ；
（2）按给定的外界极率（目标概率分布）()a U P 将网络可视层的各神经元固定在某一状态
()n a u u u U L ,,21=；
（3）从温度0T 开始，按照网络工作规则（即模拟退火算法）对网络隐含层的各神经元的输出进行状态更新，直到达到温度d T 下的平衡状态()m b u u u U L ,,21=；
（4）在隐含层的平衡状态下，保持温度d T 不变，再进行L 次全网络的状态更新，每次更新后，当神经元i 和j 同时为1时，计算下式（学习过程）：
1+=++ij ij n n （3.4.5）
（5）重新从温度0T 开始，按照网络工作规则对全网络神经元状态i u 进行更新达到温度d T 下的平衡状态
()m n n n n u u u u u u U +++=,,,,,,2121L L ，N m n ≤+；
（6）在网络的平衡状态下，保持温度d T 不变，再进行L 次全网络的状态更新，每次更新后，当神经元i 和j 同时为1时，计算下式（反学习过程）：
1+=??ij ij n n （3.4.6）
（7）返回步骤（2），一共进行M 次循环，并要求p M >，p 为可视层的状态个数。 （8）计算对称概率+
ij P ，?
ij P ：
???
???
?×=×=??++ij ij ij ij n L M P n L M P 11 i 、N j L ,2,1= （3.4.7）
（9）按照下式调整网络的连接权值ij w ：
()
d ij ij ij ij T P P w w /?+?+=ε i 、N j L ,2,1= （3.4.8）
（10）返回步骤（2），直到循环次数大于或等于预先设定的值Y 。
举例：自联想记忆
设一个含有两个神经元的网络，一个为可视层神经元0V ，一个为隐含层神经元1V 。两个神经元各有
0-1两种状态，可视层输出为1的概率为0.1，网络结构如图3.4.4所示。
图3.4.4 含有两个神经元的BM 网络结构设网络权值1001?=w ，1010=w ，网络初始温度为1000=T ，10=d T ，以快速降温的方式，按照模拟
退火算法对网络进行状态更新，以得到进行学习和训练之前的状态概率分布，即网络状态的初始分布情况，如表3.4.1所示。
表3.4.1 网络状态的初始分布
网络状态 可视层 隐含层
对应能量 状态出现的理论概率 状态出现的实际
概率 0 0 0.0000 0.0000 0.1310 0 1 -8.0000 0.0000 0.2530 1 0 -10.0000 0.0000 0.3580 1 1 -8.0000 0.0000 0.2580
网络状态对应的能量按照下式计算：
∑≠=+?=N
i
j j i i j i ij i u u u w E 1
21θ （3.4.9）
其中，N 为网络状态的个数，这里4=N 。
网络各个状态出现的理论概率的计算式如下：
???
?
????=?=∑=N
i i i i T E Z Z T E E Q 1)/exp()/exp()( （3.4.10） 由表3.4.1可得网络可视层输出为1的概率为0.3580+0.2580=0.6160。
已知()()110===U P U P a ，设1000=L ，100=M ，6=Y ，1.0=ε。然后进行网络学习，每次循环后，网络可视层输出为1的概率分布如表3.4.2所示。
表3.4.2 网络可视层输出为1的概率分布
1 2 3 4 5 6 0.3190 0.3190 0.2260 0.2260 0.1590 0.1390
网络学习结束后，以网络温度1000=T ，10=d T 的快速降温方式，按照网络工作规则，令网络进行回想。网络连接权的初始值为7656.1601?=w ，7656.1610=w ，网络的回想结果如表3.4.3所示。
表3.4.3 网络回想结果
网络状态 可视层 隐含层
对应能量 状态出现的理论概率 状态出现的实际
概率 0 0 0.0000 0.4922 0.1460 0 1 -16.9858 0.4219 0.7560 1 0 7.8008 0.0156 0.0430 1 1 7.5806 0.0703 0.0550
由表3.4.3可得网络可视层输出为1的概率为0.0430+0.0550=0.0980。可见网络的实际概率分布接近于希望概率分布0.1。 参考文献
[1] Hinton G E, Sejnowskii T J, Ackley D H. Boltzmann machine: constraint satisfaction networks that learn. CMU-CS 84-119, Carnegie-Mellon Univ.,1984 [2] Ackley D H, Hinton G E, Sejnowskii T J. A learning algorithm for boltzmann machines. Cognitive Science,1985,9:147-169 [3] 庄镇泉,等. 神经网络与神经计算机.北京: 科学出版社,1992
[4]
康立山,谢云等.非数值并行算法—模拟退火算法. 北京: 科学出版社,1997
3.4.3 自组织竞争型神经网络
尽管人脑具有大量的细胞，但生物研究表明作用并不相同。在空间中处于不同位置的脑细胞区域控制着人体不同部位的运动。同样，处在不同区域的细胞对来自某一方面的刺激信号的敏感程度也不一样。这种特定细胞对特定信号的特别反应能力似乎是有后来的经历和训练形成的。Kohonen 正是根据人脑的这一特点于1984年提出了自组织映射理论，由此产生了自组织竞争型网络（SOFM ），亦称Kohonen 自组织网络，这类神经网络的特点是能识别环境的特征，且自动聚类。并在特征抽取和大规模数据处理中已有极为成功的应用。
自组织竞争神经网络是一种以无师学习方式进行网络训练的，具有自组织功能的神经网络，网络通过自身训练，自动对输入模式进行分类。其基本思想是：网络竞争层各神经元竞争对输入模式的响应机会，最后仅一个神经元成为竞争的胜者，并对那些与获胜神经元有关的各连接权朝着更有利于它竞争的方向调整，这样获胜神经元就表示对输入模式的分类。除了竞争方法外，还有通过抑制手段获胜的方法，即网络竞争层各神经元都能抑制所有其他神经元对输入模式的响应机会，从而使自己成为获胜者[1,2]。因此，自组织竞争人工神经网络自组织自适应的能力进一步拓宽了神经网络在模式识别、分类方面的应用[3]。
基本竞争型神经网络由输入层和竞争层组成，输入层有N 神经元，竞争层有M 个神经元，其网络基本结构如图3.4.5所示。
其中，网络的连接权为}{ij W ，N i ,,2,1L =，M j L ,2,1=，且约束条件为：
11
=∑=N
i ij
W
（3.4.11）
网络的T 个二值输入学习模式为：),,(21k
N k
k
k p p p P L =，与其对应的竞争层输出模式为
),,(21k
M k k k a a a A L =，T k ,,2,1L =。
网络的学习规则为：
（1）初始化。按照式（3.4.11）的约束条件，赋予}{ij W 为[0,1]区间内的随机值，N i ,,2,1L =，
M j L ,2,1=；
（2）任选T 个学习模式中的一个模式k P 提供给网络的输入层； （3）按照下面的公式计算竞争层各神经元的输入值j S ；
k i N
i ij j P W S ∑==1
（N i ,,2,1L =） （3.4.12）
（4）按照“胜者为王”的原则，以j S （M j L ,2,1=）中最大值所对应的神经元作为胜者，将其输出设置为1，而其他所有神经元的输出状态值为0，即：
()
?????≠=≠>=j
i a j i S S a j i j j ,0,1 （3.4.13）
（5）与获胜神经元相连的各连接权按照下式进行修正，而其他所有连接权值不变； ij ij ij w w w Δ+=
)(ij k
i ij w m
p w ?=Δη N i ,,2,1L =（10<<η） （3.4.14）
其中，η为学习系数，m 为第k 个学习模式),,(21k
N k k k p p p P L =中元素为1的个数。
（6）选取另一个学习模式，返回（3），直至T 个学习模式全部提供给网络；
（7）返回（2），直至各连接权的调整量变得很小为止。 以上的学习规则可分析如下：
第一，式（3.4.14）中的学习系数η反映了学习过程中连接权调整量的大小。
第二，由式（3.4.14）可见，当i P 为 1 时，竞争层获胜神经元j 与输入层神经元i 之间的连接权值ij W 在满足式（1）的约束条件下有1 第三，当同一学习模式反复提供给网络学习后，则这一模式前次所对应的竞争层获胜神经元的输入值j S 会逐渐增大，继续保持其王者地位；而当与这学习模式以非常接近的模式提供给网络时，也将促使同一神经元在竞争中获胜。因此在网络回想时，就可根据所记忆的学习模式按照（3.4.14）对输入模式作出最临近分类，即以竞争层获胜神经元素表示分类结果。 此外，自组织竞争网络也可以用有师学习方式来训练网络。在此情况下，每一学习模式的归类是已知的。当输入的模式提供给网络后，按规则选取获胜神经元。若获胜的神经元是该模式的恰当分类，则将该神经元对应的连接权向量向该模式靠拢的方向调整即可。这种有教学习可以缩短学习时间，同时也能提高分类精度。 参考文献 [1] Marco S, Ortega A. Gas Identification with tin oxide sensor array and self-organizing maps: asative correction of sensor drifts[J]. IEEE Transactions on Instrumentation and Measurement, 1998, 47(1):316-320 [2] 袁曾任.人工神经元网络及其应用[M].北京:清华大学出版社,1999 [3] 太惠玲,谢光忠,蒋亚东. 运用自组织竞争网络进行气体定性分析的研究. 中国工程科学,2006,1(8):81-84 [4] 温岩,张晨侠.自组织竞争网络模型在地震预报研究中的应用. 东北地震研究,2003,19(4): 3.5 多神经网络集成 3.5.1 群体平均法 这是一种最简单的方式，个体网络可用同一结构，输入（训练样本）也相同，只是初始条件不同。这相当于各网络的输出都对应于误差的一个局部极小点。最后各个体网络输出取平均（或加权平均，即线性组合）作为最后结果，.从方差与偏置观点看，可以证明最后结果降低了方差[1]。 下面介绍一种多网络集成的构造和训练算法（CNNE ）[2]，包括单元网络个数及其规模的选择，以及训练算法等。整个过程的流程如图3.5.1，具体步骤如下： （1）选定初始的最小系统，可只包含两个单元网络，单元网络均为单隐层，输入及输出层的节点数有问题确定，开始时可只设置一个隐节点。对初始权值赋小的随机数，并表示为I （表示未建造好的网络）。 （2）通过训练样本用负相关学习算法[2]，部分的训练单元网络，训练周期数τ由用户设置，达到预定周期数即停止，不管是否收敛。 （3）用交叉检验（CV ）集的样本检验系统的误差，若不满足要求，则认为单元网络未充分训练，或系统结构欠缺，转入下一步。否则，终止训练转入第（8）步。整体系统的误差按下式计算： ()()∑∑==?? ? ????=N n M i i n d n F M N E 12 11211 100 （3.5.1） 其中N 是检验集中样本数，M 是单元网络数，()n F i 是输入样本n 时第i 个单元网络输出，()n d 是应有输出。 （4）对每一单元网络I ，检查是否满足停止构建的条件（构建包括进一步训练或增加隐单元），若不满足则认为它尚未训练好，仍标以I 并转入第（2）步继续训练；否则，转入系统整体结构改进。 （5）对每一标识I 的单元网络重复第（4）步，满足停止构建条件的标以F 。否则保持标识I 。 （6）若所有标识I 的单元网络都可标识F ，则在系统中增加一新的单元网络，对新网络初始化，并标识为I ，转入第（2）步，否则，继续。 （7）对每一标识I 的单元网络增加一个隐节点，转入第（2）步。 （8）利用测试集，检查整个系统的精度（这一步不属于CNNE ，仅为检查整个系统的性能）。 增加节点和停止构建网络用同一判据，即单元对系统的贡献i C ： ?? ?????=i i E E C 11 100 （3.5.2） 其中E 是包含单元网络i 时系统的误差，i E 是不含i 时系统的误差。 按上述判据，当任一标识I 的网络i 经过一定周期数τ训练后，其贡献i C 的改进小于阈值ε，即 ()()ετ≤?+t C t C i i ， L ,3,2,τττ=t （3.5.3） 对i 增加一个隐节点。 另一判据用于判断单元网络构建过程是否可以停止，当某一标识I 的单元网络i 通过增加某一（由用户设定的）h m 个隐节点，它对系统的贡献不再改进。即 ()()m c m m C i h i ≤+=， L ,2,1=m （3.5.4） 停止构建单元网络。 图3.5.1 CNNE 的流程图 参考文献 [1] Haykin S Y. Neural Networks, a Comprehensive Foundation. Macmilan College Publishing Company,1999 [2] Islam M.et al. A Construction Algorithm for Training Cooperative NN Ensembles. IEEE Trans NN,2003,14: 820-834 3.5.2 Boosting 法 利用某学习算法来识别一组概念，如果识别正确率很高，那么这组概念是强可学习的；如果识别正确率仅比随机猜测略好，那么这组概念是弱可学习的。Kearns 和Valiant [1,2]提出了弱学习算法与强学习算法的等价性问题，即是否可以将弱学习算法提升成强学习算法。如果二者等价，那么在学习概念时，只要找到一个比随机猜测略好的弱学习算法，就可以将其提升为强学习算法，而不必直接去找通常情况下很难获得的强学习算法。1990年Schapire [3]通过一个构造性方法对该问题作出了肯定的证明，其构造过程就是最初的Boosting 算法。1995年Freud 和Schapire 提出了效率更高的AdaBoost （Adaptive Boosting —自适应增强）算法，并使Boosting 算法非常容易地应用到实际问题中[4,5]。 Boosting 方法是一种用来提高弱分类算法准确度的方法，其基本思想是通过构造一个预测函数系列，然后以一定的方式将他们组合成一个预测函数。他是一种框架算法主要是通过对样本集的操作获得样本子集，然后用弱分类算法在样本子集上训练生成一系列的基分类器。他可以用来提高其他弱分类算法的识别率，也就是将其他的弱分类算法作为基分类算法放于Boosting 框架中，通过Boosting 框架对训练样本集的操作，得到不同的训练样本子集，用该样本子集去训练生成基分类器；每得到一个样本集就用该基分类算法在该样本集上产生一个基分类器，这样在给定训练轮数n 后，就可产生n 个基分类器，然后Boosting 框架算法将这n 个基分类器进行加权融合，产生一个最后的结果分类器，在这n 个基分类器中，每个单个的分类器的识别率不一定很高，但他们联合后的结果有很高的识别率，这样便提高了该弱分类算法的识别率在产生单个的基分类器时可用相同的分类算法，也可用不同的分类算法，这些算法一般是不稳定的弱分类算法，如神经网络（BP ），决策树（C4.5）等。 AdaBoost （Adaptive Boosting —自适应增强）算法是Boosting 家族最具代表性的算法，之后出现的各种Boosting 算法都是在AdaBoost 算法的基础之上发展而来的。对AdaBoost 算法的研究应用大多集中在分类问题中，近年来也出现了一些在回归问题上的研究。AdaBoost 算法流程如下： 输入：样本集()(){}N N y x y x S ,,,,11L =其中X x i ∈，表示样本条件属性组成的向量 }{1,1?∈i y 表示样本决策属性；设定训练轮数为T ；初始化分发权值向量：D ＝（1/N ,…,1/N ），即初始为均匀分布； 对于T t ,,1L =，执行以下操作： （1）用分发权值向量t D 训练基分类器()t t D y x R h ,,=；R 为一弱的分类算法； （2）计算错误率：()()[]∑=≠= N i i i t t t y x h I i D 1 ε，I 为指示函数； （3）计算基分类器的权值：t t t a εε?=1ln 2 1； （4）更改权值： ()()()()()??? ? ? ??≠==?+i i t t a t i i t t a t t y x h if Z e i D y x h if Z e i D i D t t ,,1 其中()t t t Z εε?=12 是归一化因子，在权值比例不变得情况下，使得()11 1=∑=+N i t i D ； 最后输出为()()?? ? ???=∑=T t t t x h a x H 1sgn 。 Boosting 算法有很多优点：易于编程；除了迭代次数外不需要调整参数；不需要弱学习器的先验知识，可以 灵活地和任意方法结合寻找弱假设；对噪音不敏感；各轮训练集不独立，当前选择与前轮的学习结果有关，目前在分类、建模、图像分割、数据挖掘等领域均已得到简单而有效的应用。 参考文献 [1] Keams M, Valiant L G. Learning Boolean Formulae or Factoring. Technical Report TR-1488, Cambridge, MA: Havard University Aliken Computation Laboratory, 1988 [2] Keams M,Valiant L G. Crytographic Limitation on Learning Boolean Formulae and Finite Automata. In: Proceedings of the 21st Annual ACM Symposium on Theory of Computing, New York, NY:ACM press,1989:433-444 [3] Schapire R E.The Strength of Weak Leamability.Machine Learning,1990,(5):197-227 [4] Freund Y. Boosting a Weak Algorithm by https://www.doczj.com/doc/b012704170.html,rmation and Computation, 1995, 121 (2):256-285 [5] Freund Y, Schapire R E.A Decision-theoretic Generalization of Online Learning and an Application to Boosting. Journal of Computer and System Sciences, 1997, 55(1):119-139 3.5.3 混合专家网络 从原理上说，神经网络能逼近任意复杂的非线性函数。但正如以前所分析的，随着问题复杂程度的增加，训练一个复杂网络所需样本量和学习时间都急剧增加，而且得到的复杂网络往往并不能解释问题的层次和结构。一种有效的方法是把复杂的问题分解为简单的子问题，这就是“分而治之”的思想。在统计和机器学习中，分而治之（Divide-and-Conquer ）的方法非常普遍。如分类与回归树（CART ）算法[1]、多变量自适应回归样条（MATS ）[2]和决策树的归纳（ID3）算法[3,4]等，它们都把输入空间划分成区域，在每一区域用一个简单的函数来做拟合。但分而治之也会带来一些问题，由于对输入空间划分后，每区的数据较少，这样对该区拟和时方差较大，即划分后可以减少偏置，但方差成为主要问题，特别对于高维空间，问题更为突出。所以上述算法中，尽量用很简单的函数（要估计的参数很少）去拟合区域中的数据，以缓和方差的矛盾。当然在具体实现中，如何合理划分区域时非常关键的，这往往需要利用先验知识。 混合专家网络（Mixture of Experts ，ME ）的结构如图3.5.2。它包括k 个模块（子网络）和一个控制（协调） 图3.5.2 混合专家网络结构图 下面分析其工作过程[5]。设训练样本由输入向量x 与应有输出d 组成，i y 为第i 个模块的输出，i g 为门网的第i 个输出单元的输出向量，y 为整个系统的输出，则有 ∑==k i i i y g y 1 （3.5.5） 假定{x ,d }是由一些不同的回归模型产生的，则对第i 个模块，其应有输出为 ()i i i x F d ε== k i ,,2,1L = （3.5.6） 为简单计，假定i ε为零均值、协方差阵为I 的随机向量，此时各专家网的输出本身并不是一个多元高斯分布，而是它的条件均值，即 i i y μ= k i ,,2,1L = （3.5.7） 其中i μ（是x 的函数）为 []()x F i x d E i i ==,μ k i ,,2,1L = （3.5.8） 为简单计，设k 个专家网的ε是一样的，即 k εεε===L 21 （3.5.9） 则当给定输入向量x ，且选择第i 个专家网后，应由输出d 服从下属多元高斯分布： ()????????= 22 1 exp 21,i i i y d i x d f π k i ,,2,1L = （3.5.10） 可把系统总输出当作各应有输出的组合（k 个分布的线性组合），即有 ()()????????= =∑∑==21 121 exp 21,i i k i i k i i i i y d g i x d f g x d f π （3.5.11） 学习的目的是使系统输出能逼近产生{x ,i d }的概率分布。由于i y 是个专家网的权系数i ω的函数，所以要 学的参数是k 个权矩阵k w w w ,,,21K ，以及各i g ，把它们记为[]T k w w w W L 21=，[]T k g g g g L 21=，为 此，可用最大似然法，即使下述对数似然函数最大： ()()????????==∑=21 21 exp ln ln ,i i k i i i y d g x d f g W l （3.5.12） 其中i g 还应满足下述条件： 10≤≤i g ，i ? 11 =∑=k i i g （3.5.13） 为此，可引入中间变量i μ，它与g 的关系为 ∑== k i u u i i i e e g 1 （3.5.14） 可以把个专家网的输出i y 看作待求的条件均值，i g 为先验概率，则第i 个网输出的后验概率为 ∑=????????? ???????=k i i i i i i i i y d g y d g h 1 2221 exp 21 exp k i ,,2,1L = （3.5.15） 且i h 也满足i h i ≤≤0，i ?，而 ∑==k i i h 1 1。 此外，人类在认识世界过程中是有层次性的，先总体然后再细节，与模块化一样，层次性在生物感知系统中 也是存在的，因此还可以将混合专家模型进一步扩展为分层混合专家模型（HME ），即为一个树结构的模型，其应用效果显著。 参考文献 [1] Breiman L, et al. Classification and Regression Trees. Wadsworth International Group, Belmont, CA,1984 [2] Friedman J H. Multivariate Adaptive Regression Splines. The Annals of Statistics, 1991,19:1-141 [3] Quinlan J R. Induction of Decision Trees. Machine Learning, 1986,1:81-106 [4] Cios K J, et al. A Machine Learning Method for Generation of a NN Architecture: A Continuous ID3 Algorithm. IEEE Trans NN,1992,3:280-290 [5] Jacob R A, et al. Adaptive Mixtures of Local Experts. Neural Computation,1991,3: 79-87 第4章 SOM 自组织特征映射神经网络 生物学研究表明，在人脑的感觉通道上，神经元的组织原理是有序排列的。当外界的特定时空信息输入时，大脑皮层的特定区域兴奋，而且类似的外界信息在对应的区域是连续映像的。生物视网膜中有许多特定的细胞对特定的图形比较敏感，当视网膜中有若干个接收单元同时受特定模式刺激时，就使大脑皮层中的特定神经元开始兴奋，输入模式接近，与之对应的兴奋神经元也接近；在听觉通道上，神经元在结构排列上与频率的关系十分密切，对于某个频率，特定的神经元具有最大的响应，位置相邻的神经元具有相近的频率特征，而远离的神经元具有的频率特征差别也较大。大脑皮层中神经元的这种响应特点不是先天安排好的，而是通过后天的学习自组织形成的。 据此芬兰Helsinki 大学的Kohonen T.教授提出了一种自组织特征映射网络（Self-organizing feature Map ，SOM ），又称Kohonen 网络[1-5]。Kohonen 认为，一个神经网络接受外界输入模式时，将会分为不同的对应区域，各区域对输入模式有不同的响应特征，而这个过程是自动完成的。SOM 网络正是根据这一看法提出的，其特点与人脑的自组织特性相类似。 4.1 竞争学习算法基础[6] 4.1.1 自组织神经网络结构 1．定义 自组织神经网络是无导师学习网络。它通过自动寻找样本中的内在规律和本质属性，自组织、自适应地改变网络参数与结构。 2．结构 层次型结构，具有竞争层。典型结构：输入层＋竞争层。如图4-1所示。 竞争层 输入 层 图4-1 自组织神经网络结构 · 输入层：接受外界信息，将输入模式向竞争层传递，起“观察”作用。 竞争层：负责对输入模式进行“分析比较”，寻找规律，并归类。 4.1.2 自组织神经网络的原理 1．分类与输入模式的相似性 分类是在类别知识等导师信号的指导下，将待识别的输入模式分配到各自的模式类中，无导师指导的分类称为聚类，聚类的目的是将相似的模式样本划归一类，而将不相似的分离开来，实现模式样本的类内相似性和类间分离性。由于无导师学习的训练样本中不含期望输出，因此对于某一输入模式样本应属于哪一类并没有任何先验知识。对于一组输入模式，只能根据它们之间的相似程度来分为若干类，因此，相似性是输入模式的聚类依据。 2．相似性测量 神经网络的输入模式向量的相似性测量可用向量之间的距离来衡量。常用的方法有欧氏距离法和余弦法两种。 （1）欧式距离法 设i X X ,为两向量，其间的欧式距离 T i i i X X X X X X d ))((--= -= （4-1） d 越小，X 与i X 越接近，两者越相似，当0=d 时，i X X =；以T d =（常数）为判据，可对输入向量模式进行聚类分析： 由于312312,,d d d 均小于T ，465645,,d d d 均小于T ,而)6,5,4(1=>i T d i , )6,5,4(2=>i T d i , )6,5,4(3=>i T d i ， 故将输入模式654321,,,,,X X X X X X 分为类1和类2两大类，如图4-2所示。 （2）余弦法 设i X X ,为两向量，其间的夹角余弦 i T X X XX = ?cos （4-2） ?越小，X 与i X 越接近，两者越相似；当?＝0时，?cos ＝1，i X X =；同样以0??=为 判据可进行聚类分析。 前馈神经网络 前馈神经网络的结构一般包含输入层、输出层、及隐含层，隐含层可以是一层或多层。各神经元只接收前一层的输出作为自己的输入，并且将其输出给下一层，整个网络中没有反馈。每一个神经元都可以有任意多个输入，但只允许有一个输出。图1选择只含一个隐含层的前馈神经网络。其原理框图如图1所示。 图中，只有前向输出，各层神经元之间的连接用权值表示。设输入层有M 个输入信号，其中任一输入信号用i ()M i ,2,1 =表示；隐含层有N 个神经元，任一隐含层神经元用j ()N j ,2,1 =表示；输入层与隐含层间的连接权值为()n w ij ， ()N j M i ,2,1;,2,1 ==；隐含层与输出层的连接权值为()n w j 。假定隐含层神 经元的输入为()n u j ，输出为()n v j ；输出层神经元的输入为()n o ，网络总输出为 ()n x ~。则此神经网络的状态方程可表示为： ()()()∑+-==M i ij j i n y n w n u 11 ()()[] ()()?? ? ???∑+-===M i ij j j i n y n w f n u f n v 11 ()()()∑==N j j j n v n w n o 1 ()()[]()()?? ????==∑=N j j j n v n w f n o f n x 1~ 图1 三层前馈神经网络结构图 输入层 隐含层 输出层 (y n (1y n -(1y n M -+ 式中，()?f 表示隐含层、输出层的输入和输出之间的传递函数，也称为激励函数。 定义代价函数为瞬时均方误差： ()()()()[] ()()()2 12 2~?? ? ????? ????????-=-==∑=N j j j n v n w f n d n x n d n e n J 式中，()n d 为训练信号。 递归神经网络 对角递归神经网络 图2为典型的对角递归神经网络，它具有三层结构，分别为输入层，隐层和输出层，在隐层的权值叠加中，引入了输入的前一时刻的输出作为反馈控制信号。选用这种网络的优点是结构简单，易于实现，可以直观的体现反馈神经网络的结构模式和工作方式。 设输入层与隐层间的连接权值为()n w h ij ()k j m i ,2,1;,,1,0==，隐层与输 出层之间的权值为()n w o j ，递归层的权值为()n w d j 。设输入层的输入为()i n y -， 隐层的输入为()n u j ，输出为()n I j ，输出层的输入为()n v ，输出层的输出为()n x ~，则对角递归神经网络的状态方程为 ()()()()()10-+-=∑=n I n w i n y n w n u j d j m i h ij j 输入层 输出层 隐层 图2 对角递归神经网络的结构 ()y n ()1y n - ()1y n m -+ ()y n m - mj d 基于人工神经网络的预测研究文献综述专业：电子信息工程班级：08级2班作者：刘铭指导老师：熊朝松 引言 随着多媒体和网络技术的飞速发展及广泛应用，人工神经网络已被广泛运用于各种领域，而它的预测功能也在不断被人挖掘着。人工神经网络是一种旨在模仿人脑结构及其功能的信息处理系统。现代计算机构成单元的速度是人脑中神经元速度的几百万倍，对于那些特征明确，推理或运算规则清楚地可编程问题，可以高速有效地求解，在数值运算和逻辑运算方面的精确与高速极大地拓展了人脑的能力，从而在信息处理和控制决策等方面为人们提供了实现智能化和自动化的先进手段。但由于现有计算机是按照冯·诺依曼原理，基于程序存取进行工作的，历经半个多世纪的发展，其结构模式与运行机制仍然没有跳出传统的逻辑运算规则，因而在很多方面的功能还远不能达到认得智能水平。随着现代信息科学与技术的飞速发展，这方面的问题日趋尖锐，促使科学和技术专家们寻找解决问题的新出路。当人们的思想转向研究大自然造就的精妙的人脑结构模式和信息处理机制时，推动了脑科学的深入发展以及人工神经网络和闹模型的研究。随着对生物闹的深入了解，人工神经网络获得长足发展。在经历了漫长的初创期和低潮期后，人工神经网络终于以其不容忽视的潜力与活力进入了发展高潮。这么多年来，它的结构与功能逐步改善，运行机制渐趋成熟，应用领域日益扩大，在解决各行各业的难题中显示出巨大的潜力，取得了丰硕的成果。通过运用人工神经网络建模，可以进行预测事物的发展，节省了实际要求证结果所需的研究时间。 正是由于人工神经网络是一门新兴的学科，它在理论、模型、算法、应用和时限等方面都还有很多空白点需要努力探索、研究、开拓和开发。因此，许多国家的政府和企业都投入了大量的资金，组织大量的科学和技术专家对人工神经网络的广泛问题立项研究。从人工神经网络的模拟程序和专用芯片的不断推出、论文的大量发表以及各种应用的报道可以看到，在这个领域里一个百家争鸣的局面已经形成。 为了能深入认识人工神经网络的预测功能，大量收集和阅读相关资料是非常必要的。搜集的资料范围主要是大量介绍人工神经网路，以及认识和熟悉了其中重要的BP网络。参考的著作有：马锐的《人工神经网络原理》，胡守仁、余少波的《神经网络导论》以及一些相关论文，董军和胡上序的《混沌神经网络研究进展和展望》，朱大奇的《人工神经网络研究现状及其展望》和宋桂荣的《改进BP算法在故障诊断中的应用》，这些 第三章常用神经网络 3.1前馈型人工神经网络 前馈神经网络是神经网络中的一种典型分层结构，信息从输入层进入网络后逐层向前传递至 输出层。根据前馈网络中神经元转移函数、隐层数以及权值调整规则的不同，可以形成具有各种功 能特点的神经网络。 例如，如果转移函数采用线性阈值函数或符号函数且只有一个输出层（无隐层），或有一个以上的隐层，则分别称为单层感知器和多层感知器；如果转移函数采用非线性连续有界函数且只有一个输出层（无隐层），或有一个以上的隐层，则分别称为单层BP网络和多层BP网络。 3.1.1 线性阈值单元组成的前馈网络 这类前馈网络的转移函数采用线性阈值函数或符号函数。 1．单层感知器 1958年，美国心理学家Frank Rosenblat提出一种具有单层计算单元的神经网络，称为Perception，即感知器。感知器是模拟人的视觉接受环境信息，并由神经冲动进行信息传递。感知器研究中首次提出了自组织、自学习的思想，而且对所能解决的问题存在着收敛算法，并能从数学上严格证明，因而对神经网络的研究起了重要推动作用。单层感知器的结构与功能都非常简单，以 单层感知器（图3-1 神经元基本模型(即MP 基本模型。 1) 图3-1 为第j（j=1,2,…m x n）T，通过一个阈值函数f( 从数学观点来说， 等于0时，输出为1 神经元的连接权值w ji 当输入为X，对于j n i i ji j x w s=∑ =1其输出为： 2 )(1 j n i i ji j x w f y θ+=∑= （3-1） 转移函数f (?)是阈值函数（即单位阶跃函数），故： ??? ??? ? <+≥+=∑∑==0 ,00,11 1j n i i ji j n i i ji j x w x w y θθ (3-2) 通过转移函数，其输出只有两个状态，“1”或“0”，所以，它实际上是输入模式的分类器，即可以辨识输入模式属两类中的那一类。 当单层感知器模型只有1个输出结点时，称为简单感知器，其实就是MP 模型。 对于输出结点为的简单感知器，若输入向量的维数n=2,则向量X 用两维平面上的一个点来表示。设被观察的模式只有A 、B 两类，则： （3-3） A 、 B 两类分别属于集合R 1 (A ∈R 1)、R 2(B ∈R 2),且R 1与R 2是 线性可分的，如图3-2所示。 利用简单感知器的计算式（3-3）可以实现逻辑代数中的一些运算： （1）当取w 1=w 2=1, θ=-1.5时， 完成逻辑“与”的运算功 能，即 x 1∧x 2； （2）当取w 1=w 2=1, θ=-0.5时，完成逻辑“或”的运算功能, 即x 1∨x 2； （3）当取w 1= -1,w 2=0, θ= 1时，完成逻辑“非”的运算功能， 即x 。 若x 1与x 2分别取布尔值，逻辑运算列入表3-1中。 表3-1 逻辑运算表 若净输入为零，便得到一条线性的模式判别函数： ?? ?→→=++=+=∑ =类类 B A x w x w f x w f y i i i 01)()(2 12211θθ图3-2 线性可分两维模式 第四章人工神经网络与深度学习课题名称：人工神经网络与深度学习 学习过程： 络曾历经质疑、批判与冷落，同时也几度繁荣并取得了许多瞩目的成就。从20世纪40年代的M-P神经元和Hebb学习规则，到50年代的Hodykin-Huxley方程感知器模型与自适应滤波器，再到60年代的自组织映射网络、神经认知机、自适应共振网络，许多神经计算模型都发展成为信号处理、计算机视觉、自然语言处理与优化计算等领域的经典方法，为该领域带来了里程碑式的影响。目前模拟人脑复杂的层次化认知特点的深度学习已经成为类脑智能中的一个重要研究方向。通过增加网络层数所构造的“深层神经网络”使机器能够获得“抽象概念”能力，在诸多领域都取得了巨大的成功，又掀起了神经网络研究和应用的一个新高潮。 (三)神经元 人脑中的信息处理单元是神经细胞，而人工神经网络的计算单元就是人工神经元,，一个人工神经元的结构如图所示。 （1）来自其他神经元的输入信号为（x1, x2, ..., xn）。 （2）每一个输入信号都有一个与之对应的突触权重（w1, w2, ..., wn），权重（weight）的高低反映了输入信号对神经元的重要性。 （3）线性聚合器（∑）将经过加权的输入信号相加，生成一个“激活电压”（activation voltage）。 （4）激活阈值（activation threshold）或bias（θ）给神经元的输出设置一个阈值。 （5）激活电位（activation potential）u是线性聚合器和激活阈值之差，如果u≥0，神经元产生的就是兴奋信号，如果u<0，神经元产生的是抑制信号。 （6）激活函数（activation function）g将神经元的输出限制在一个合理的范围内。 （7）神经元产生的输出信号（y），可以传递给与之相连的其他神经元。 将上述信息用公式可表示为： 基于动态BP神经网络的预测方法及其应用来源：中国论文下载中心 [ 08-05-05 15:35:00 ] 作者：朱海燕朱晓莲黄頔编辑：studa0714 摘要人工神经网络是一种新的数学建模方式，它具有通过学习逼近任意非线性映射的能力。本文提出了一种基于动态BP神经网络的预测方法，阐述了其基本原理，并以典型实例验证。 关键字神经网络，BP模型，预测 1 引言 在系统建模、辨识和预测中，对于线性系统，在频域，传递函数矩阵可以很好地表达系统的黑箱式输入输出模型；在时域，Box-Jenkins方法、回归分析方法、ARMA模型等，通过各种参数估计方法也可以给出描述。对于非线性时间序列预测系统，双线性模型、门限自回归模型、ARCH模型都需要在对数据的内在规律知道不多的情况下对序列间关系进行假定。可以说传统的非线性系统预测，在理论研究和实际应用方面，都存在极大的困难。相比之下，神经网络可以在不了解输入或输出变量间关系的前提下完成非线性建模[4，6]。神经元、神经网络都有非线性、非局域性、非定常性、非凸性和混沌等特性，与各种预测方法有机结合具有很好的发展前景，也给预测系统带来了新的方向与突破。建模算法和预测系统的稳定性、动态性等研究成为当今热点问题。目前在系统建模与预测中，应用最多的是静态的多层前向神经网络，这主要是因为这种网络具有通过学习逼近任意非线性映射的能力。利用静态的多层前向神经网络建立系统的输入/输出模型，本质上就是基于网络逼近能力，通过学习获知系统差分方程中的非线性函数。但在实际应用中，需要建模和预测的多为非线性动态系统，利用静态的多层前向神经网络必须事先给定模型的阶次，即预先确定系统的模型，这一点非常难做到。近来，有关基于动态网络的建模和预测的研究，代表了神经网络建模和预测新的发展方向。 2 BP神经网络模型 BP网络是采用Widrow-Hoff学习算法和非线性可微转移函数的多层网络。典型的BP算法采用梯度下降法，也就是Widrow-Hoff算法。现在有许多基本的优化算法，例如变尺度算法和牛顿算法。如图1所示，BP神经网络包括以下单元：①处理单元(神经元)（图中用圆圈表示），即神经网络的基本组成部分。输入层的处理单元只是将输入值转入相邻的联接权重，隐层和输出层的处理单元将它们的输入值求和并根据转移函数计算输出值。②联接权重(图中如V,W)。它将神经网络中的处理单元联系起来，其值随各处理单元的联接程度而变化。③层。神经网络一般具有输入层x、隐层y和输出层o。④阈值。其值可为恒值或可变值，它可使网络能更自由地获取所要描述的函数关系。⑤转移函数F。它是将输入的数据转化为输出的处理单元，通常为非线性函数。 神经网络典型模型的比较研究 杜华英1，赵跃龙2 （中南大学信息科学与工程学院，湖南长沙 410083） 摘要神经网络是近年来发展起来的一门新兴学科，具有较高的研究价值，本文介绍了神经网络的基本概念，针对神经网络在不同的应用领域如何选取问题，对感知器、BP网络、Hopfield网络和ART网络四种神经网络模型在优缺点、有无教师方式、学习规则、正反向传播、应用领域等方面进行了比较研究。可利用其特点有针对性地将神经网络应用于计算机视觉、图像处理、模式识别、信号处理、智能监控、机器人等不同领域。 关键词神经网络；感知器；BP网络；Hopfield网络；ART网络 1 引言 人工神经网络（Artificial Neural Network, ANN）是模仿生物神经网络功能的一种经验模型。生物神经元受到传入的刺激，其作出的反应又从输出端传到相连的其它神经元，输入和输出之间的变换关系一般是非线性的。神经网络是由若干简单元件及其层次组织，以大规模并行连接方式构造而成的网络，按照生物神经网络类似的方式处理输入的信息。模仿生物神经网络而建立的人工神经网络，对输入信号有功能强大的反应和处理能力。 若干神经元连接成网络，其中的一个神经元可以接受多个输入信号，按照一定的规则转换为输出信号。由于神经网络中神经元间复杂的连接关系和各神经元传递信号的非线性方式，输入和输出信号间可以构建出各种各样的关系，因此在运行网络时，可视为一个“黑箱”模型，不必考虑其内部具体情况。人工神经网络模拟人类部分形象思维的能力，是模拟人工智能的一条途径，特别是可以利用人工神经网络解决人工智能研究中所遇到的一些难题。目前，人工神经网络理论的应用已经渗透到多个领域，在计算机视觉、图像处理、模式识别、信号处理、智能监控、机器人等方面取得了可喜的进展。 2 神经网络的典型模型 在人们提出的几十种神经网络模型中，人们用得较多的是感知器、BP网络、Hopfield 网络和ART网络。 2.1 感知器[2] 罗森勃拉特（Rosenblatt）于1957年提出的感知器模型是一组可训练的分类器，为最古老的ANN之一，现已很少使用。然而，它把神经网络的研究从纯理论探讨引向了工程上的实现，在神经网络的发展史上占有重要的地位。尽管它有较大的局限性，甚至连简单的异或(XOR)逻辑运算都不能实现，但它毕竟是最先提出来的网络模型，而且它提出的自组织、自学习思想及收敛算法对后来发展起来的网络模型都产生了重要的影响，甚至可以说，后来发展的网络模型都是对它的改进与推广。 最初的感知器是一个只有单层计算单元的前向神经网络，由线性阈值单元组成，称为单层感知器，后来针对其局限性进行了改进，提出了多层感知器。 1杜华英(1975—)，女，江西樟树人，惠州学院成教处计算机工程师，主研人工智能，中南大学信息科学与工程学院在读工程硕士。 2赵跃龙(1958—)，男，湖南湘潭人，中南大学信息科学与工程学院计算机系教授，主要从事计算机体系结构、磁盘阵列、计算机控制、神经网络应用等方面的研究。 前饋式類神經網路 1前言 前饋式類神經網路是第一個也是最簡單的類神經網路，它是由多層的神經元所組成，其訊息傳遞的方式是從輸入層經由隱藏層往輸出層的方向傳送，每一層神經元只會接受上層神經元所傳送過來的輸出值，不同於循環式網路（Recurrent network）。 2神經元 類神經網路最基本單位的是神經元（如圖1），神經元主要負責對資料的處理行為。在類神經網路中的某個神經元，可能接收一個到數個不等的輸入變數，變數的多寡取決於傳送到該神經元的輸入值個數。神經元接收輸入變數（I）後，視輸入變數的重要性，給予一個改變比重的參數，這些參數稱為配重值（Weight, ω），神經元會將所有輸入變數經由配重值的加權後累加，然後再與神經元中的偏移量（Bias, B）相加，會產生一個淨值（n），這個淨值將經由轉換函數的轉換，轉換出來的數值當成該神經元的輸出值。神經元的輸出值可以傳送到一個以上的神經元當作該神經元的輸入變數，或是當成網路的輸出值，一切依網路結構的情況而定。雖然，每個神經元可以同時接收一至多個不等的輸入變數，卻只有一個輸出值。神經元的計算公式如式（1）、（2）所示， ∑= +? = R j j j B I n 1 ω(1) ) (n f Y=(2)式中R為神經元輸入變數的個數，I1,I2,?,I R為神經元的輸入變數，ω1,ω2,?,ωR為神經元各個輸入變數的配重值，B為該神經元的偏移量，) (? f為神經元的轉換函數。 1 Y 輸入值單位神經元 Y=f(Wp+b) 圖.1神經元 神經元的轉換函數可能是線性函數或是非線性函數，依問題的需求不同所選擇的轉換函數也會不同，選擇一個適合特定問題的轉換函數，對描述輸入變數與輸出值之關係，是非常重要的。可是，轉換函數的種類有很多，要選擇一個最適合特定問題的轉換函數，需要藉由不斷的嘗試才能獲得。以下列出本研究所使用的十種轉換函數： 1. 硬限制函數(Hard Limit transfer function) ? ? ? ≥ < = 1 ) ( n if n if n f 2. 對稱硬限制函數(Symmetrical Hard Limit transfer function) ? ? ? ≥ < - = 1 1 ) ( n if n if n f 3. 飽和線性函數(Saturating Linear transfer function) ? ? ? ? ? > ≤ ≤ < = 1 1 1 ) ( n if n if n n if n f 4. 對稱飽和線性函數(Symmetrical Saturating Linear transfer function) ? ? ? ? ? > ≤ ≤ - - < - = 1 1 1 1 1 1 ) ( n if n if n n if n f 5. 正線性函數(Positive Linear transfer function) ? ? ? ≥ < = ) ( n if n n if n f 6. 線性函數(Linear transfer function) n n f= ) ( 7. S形函數(Sigmoid transfer function) 石家庄铁道学院2006-2007学年第2学期 04级本科班期末考试试卷 试题答案 课程名称：神经网络导论任课教师：井海明考试时间：60 分钟 学号：姓名：班级： 考试性质（学生填写）：正常考试（）缓考补考（）重修（）提前修读（） 一、写出用感知器将平面上两个点分开的程序设计思想。（10分） 答：用感知器的算法来解决此问题是通过学习找到一条直线，将这两个点分为上下两部分，这两个点分别落在直线的上部和下部。 二、BP和Hopfield有何区别。（10分） 从学习观点来看，通过对前向多层人工神经网络的结构、功能和学习算法等的认识， 可知前向多层人工神经网络是一种强有力的学习系统，其结构简单容易编程；从系统观来看，前向网络是一种静态非线性影射，通过简单的非线性处理神经元的复合影射可以获得复杂的非线性处理能力；但是，从计算观来看，前向网络并不是一种强有力的计算系统，它缺乏丰富的动力学行为。大部分前向网络都是学习网络，并不重视系统的动力学行为。 一个前向确定的网络结构（拓扑结构和加权矢量），定义了一个从输入矢量到输出矢量之间的关系，我们利用这种影射关系实现分类和联想功能，前向网络具有很强的模式识别和分类能力。 大部分前向网络都是学习网络，并不重视系统的动力学行为。 三、Hopfield网络有哪些关键概念。（10分） 网络的稳定点 一个非线性网络能够有很多个稳定点，对权值的设计，要求其中的某些稳定点是所要 求的解。对于用做联想记忆的反馈型网络，希望稳定点就是一个记忆，那么记忆容量就与 稳定点的数量有关，希望记忆的量越大，那么，稳定点的数目也越大，但稳定点数目的 增加可能会引起吸引域的减小，从而使联想功能减弱。对于用做优化的反馈网络，由于目标函数(即系统中的能量函数)往往要求只有一个全局最小。那么稳定点越多，陷入局部最小的可能性就越大，因而要求系统的稳定点越少越好。 吸引域的设计 希望的稳定点有尽可能大的吸引域，而非希望的稳定点的吸引域要尽可能的小。因为 状态空间是一个多维空间，状态随时间的变化轨迹可能是多种形状，吸引域就很难用一个明确的解析式来表达，这在设计时要尽可能考虑。 五、论文（60分） 四、画出BP网络的结构图并写出正向传播和误差反向传播的公式。（10分） 输出层的权值调整公式为 第2 层神经元权值调整公式为 第三章径向基函数网络 (44) 3.1 径向基函数（Redial Basis Function，RBF） (44) 3.2 径向基函数参数的选取 (46) c的选取 (46) 3.2.1 基函数中心 p 3.2.2权系数 的确定 (47) 3.3 高斯条函数 (48) )(1 )(p h P p p λx g ?∑==第三章 径向基函数网络 径向基函数网络利用具有局部隆起的所谓径向基函数来做逼近或分类问题。它可以看作是一种前馈网络，所处理的信息在工作过程中逐层向前流动。虽然它也可以像BP 网络那样利用训练样本作有教师学习，但是其更典型更常用的学习方法则与BP 网络有所不同，综合利用了有教师学习和无教师学习两种方法。对于某些问题，径向基函数网络可能比BP 网络精度更高。 3.1 径向基函数（Redial Basis Function ，RBF ） [Powell 1985]提出了多变量插值的径向基函数方法。稍后[Broomhead 1988]成功地将径向基函数用于模式识别。径向基函数可以写成 ||)1 (||)(∑=-= P p p c x p x g ?λ (3.1.1) 其中N R x ∈表示模式向量；N P p p R c ?=1 }{ 是基函数中心；j λ是权系数；?是选定的非线性基函数。(3.1.1)可以看作是一个神经网络，输入层有N 个单元，输入模式向量x 由此进入网络。隐层有P 个单元，第p 个单元的输入为||||p p c x h -=，输出为)(p h ?。输出层1个单元， 输出为 。 假设给定了一组训练样本11},{R R y x N J j j j ??=。当j y 只取有限个值（例如，取0，1或±1）时，可以认为是分类问题；而当j y 可取任意实数时，视为逼近问题。网络学习（或训练）的任务就是利用训练样本来确定输入层到隐层的权向量p c 和隐层到输出层的权系数p λ，使得 J j y x g j j ,,1 ,)( == (3.1.2) 为此，当P J =时，可以简单地令 P p x c p p ,,1 , == (3.1.3) 这时(3.1.2)成为关于{}p λ的线性方程组，其系数矩阵通常可逆，因此有唯一解(参见[MC])。在实践中更多的情况是P J >。这时， (3.1.2)一般无解, 只能求近似解。我们将在下一节详细讨论这种情况。 常用的非线性基函数有以下几种： 1) 高斯基函数 确定了}{p c 后，可以选取如下的高斯基函数来构造径向基函数： )()(1x x g P p p p ∑==?λ (3.1.4a) 式中 第一章概论 1.神经元的基本结构：处理单元（兴奋、抑制）、连接（输入、输出） 2.神经元模型-激励函数：硬极限激励函数、线性激励函数、对数-S形激励函数 3.人工神经网络的定义：由大量处理单元互联组成的非线性、自适应、分布式并行信息处 理系统。依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的，是一种基于统计的学习方法。 4.神经网络：神经元模型（激励函数）+网络结构+学习算法 5.神经网络的分类：（了解） 拓扑结构：前馈神经网络、递归（反馈）神经网络 按连续性：连续性、离散型 按学习方式：有监督学习、无监督学习 网络应用：自组织神经网络、联想记忆神经网络 6.神经网络分类 前馈神经网络：感知机、自适应线性元、多层感知机、深度学习网络 自组织神经网络（无监督学习）：自组织映射网络（SOM）、自适应谐振理论（ART）、径向基函数网络（RBF） 递归网络模型（简单反馈）：hopfield网络 7.神经网络的特点： 数量巨大（含有大量极其简单的处理单元）； 计算简单（每一个计算单元的处理简单）； 高度复杂的互连。 8.神经网络的特点： 非线性：大多数系统都是非线性的自适应：时变系统、非平稳随机过程分布式：并行计算、大规模并行表示 第二章前馈神经网络（感知机+自适用线性元+BP算法） 2.1感知机 1.感知机的特点：（针对之前神经运算模型的改进） 权值和偏置值能够解析确定，也能学习 二值、多值、连续模型都可以处理 对于线性可分问题，学习步数存在上限 2.感知机组成：一个具有线性组合功能的累加器+硬极限函数激励 3.感知机局限： 对于线性可分问题、学习过程一定收敛； 线性不可分问题：判定边界对震荡不休； 传输函数不可导 4.学习规模：初始化权值；计算输出值；调节权值以及偏置值；迭代完所有样本；判断结 束条件 5.输入向量归一化：很大或很小的输入向量都会导致感知机训练时间大幅度增加，因此对 输入向量归一化（除以向量的模） 6.学习率算法：加一个学习率系数 7.口袋算法：针对线性不可分问题，保留最佳的权值 主要区别在权值更新步骤：若当前权值能将训练样本正确分类，且能够正确分类的训练样本数量大于口袋中权值向量能够正确分类的训练样本数量，则以现权值向量代替原权值向量，并更新口袋中权值向量能够正确分类的样本个数。 若分类错误，则进行常规权值更新 第三章 前馈型神经网络模型 3.1 感知器（Perception ） 感知器（Perception ）是由美国学者F.Rosenblatt 于1957年提出的一个具有单层计算单元的神经网络。它在识别印刷体字符方面表现出了良好的性能，引起人们很多兴趣。后来许多改进型的感知器在文字识别、语音识别等应用领域取得了进展，使得早期的神经网络的研究达到了高潮。 感知器的输入可以是非离散量，它的权向量不仅是非离散量，而且可以学习调整。感知器是一个线性阈值单元组成的网络，可以对输入样本进行分类，而且多层感知器，在某些样本点上对函数进行逼近，虽然在分类和逼近的精度上都不及非线性单元组成的网络，但是可以对其他网络的分析提供依据。 3．1．1 单层感知器 一、单层感知器网络 图为一单层感知器神经网络，输入向量为X=（X 1,X 2,…,X n ），输出向量为Y=(Y 1,Y 2,…,Y n )。最简单的感知器仅有一个神经元。 1 122i n n 感知器的输入向量为X ∈R n , 权值向量为W ∈R n ，单元的输出为为Y ∈{1,-1}。其中： ∑==-=-=n i T T i i W X f XW f W X f Y 1 '')()()(θθ （3.1.1） 其中，X ˊ= (X ,-1),W ˊ= (W ,θ)。 ???<-≥==0 '',10 '',1)''sgn(T T T W X W X W X y (3.1.2) 与M-P 模型不同的是，权值W 可以通过学习训练而加以改变。 二、单层感知器的学习算法 令W n+1=θ, X n+1=-1, 则， )( 1 1 ∑+== n i i i W X f y (3.1.3) 具体算法如下： ①初始化 给W i (0)各赋一个较小的随机非零值。这里W i (t)为t 时刻第i 个输入的权值（1≤i ≤n ）,W n+1(t)为t 时刻的阈值。 ②输入样本 X=(X 1,X 2,…,X n ,T),T 称为教师信号，在两类样本分类中，如果X ∈A 类，则T=1；如果X ∈B 类，则T=-1。 ③计算实际输出 ))(()(1 1t W X f t Y n i i i ∑+== (3.1.4) ④修正权值 W i (t+1)= W i (t)+η(T-Y(t))X i i=(1,2,…,n,n+1) (3.1.5) 其中，0<η≤1用于控制修正速度，通常η不能太大，会影响W i (t)的稳定，也不能太小，会使W i (t)的收敛速度太慢。 ⑤转到②直到W 对一切样本均稳定不变为止。 用单层感知器可实现部分逻辑函数，如： X 1∧X 2： Y=1·X 1+1·X 2-2 即W 1=W 2=1,θ=2 X 1∨X 2： Y=1·X 1+1·X 2-0.5 即W 1=W 2=1,θ=0.5 ： Y=(-1)·X 1+0.5 即W 1=-1，θ=-0.5 三、单层感知器的局限性 1969年Minsky 和Papert 出版了《Perception 》一书，他们从数学上分析了单层感知器为代表的人工神经网络系统的功能和局限性，指出单层感知器仅能解决一阶谓词逻辑和线性分类问题，不能解决高阶谓词和非线性分类问题。为解决高阶谓词和非线性分类问题，必须引入含有隐层单元的多层感知器。书中举出了异或(XOR)问题不能使用单层感知器来解决。异或逻辑为2121X X X X - -- -∨，假定单层感知器能实现异或逻辑，那么， θ-+=2211X W X W Y ，要求： 表 3.1 - -X 3.4几种典型的神经网络 神经网络除了前向型网络外，还有反馈型、随机型和自组织竞争型等类型，本节主要介绍这三种神经网络，以及多神经网络集成。 3.4.1 反馈型神经网络 反馈型神经网络又称为递归网络或回归网络，它是一种反馈动力学系统，比前向神经网络具有更强的计算能力。其中Hopfield 神经网络是其典型代表，也是得到最充分研究和应用的神经网络之一，它是由美国物理学家J.J.Hopfield 于1982年首先提出的，主要用于模拟生物神经网络的记忆机理。由于网络的运行是一个非线性的动力系统，所以比较复杂。因此Hopfield 为这类网络引入了一种稳定过程，即提出了神经网络能量函数（也称李雅普诺夫函数）的概念，使网络的运行稳定判断有了可靠而简便的依据。 Hopfield 神经网络已在联想记忆和优化计算中得到成功应用，并拓宽了神经网络的应用范围。另外，Hopfield 网络还有一个显著的优点，就是它与电子电路存在明显的对应关系，使得该网络易于理解和便于实现。 Hopfield 网络有离散型[1]（DHNN ）和连续型[2]（CHNN ）两种实用形式。离散型Hopfield 网络的结构比较简单，在实际工程中的应用比较广泛，因此本节重点介绍离散型Hopfield 网络，并作仿真分析。 1、离散Hopfield 神经网络模型 离散Hopfield 神经网络是一种单层反馈型非线性网络，每一个结点的输出均反馈到其他结点的输入，其工作原理如图3.4.1所示。 设有n 个神经元，()n v v v V ,,,21L 为神经网络的状态矢量，i v 为第i 个神经元的输出，输出取值为0 或者为1的二值状态。对任一神经元n v v v i ,,,,21L 为第i 个神经元的输入，它们对该神经元的影响程度用连接权in i i w w w ,,,21L 表示i θ为其阈值，则有： 图3.4.1 离散Hopfield 神经网络的工作原理图 ?? ?>>=0 1i i i Net Net v （3.4.1） 式中，∑≠=?= n i j j i j ij i v w Net ,1θ，称为单元i 的状态。 Hopfield 网络是对称网络，故ji ij w w =。当0=ii w 时，称为无自反馈的离散Hopfield 网络；反之，称为有自反馈的离散Hopfield 网络。 Hopfield 网络有两种工作方式： （1）异步方式：在任一时刻t ，只有某一个神经元按式（3.4.1）发生变化，而其余1?n 神经元的状态保持不变。 （2）同步方式：在任一时刻t ，有部分神经元按式（3.4.1）变化（部分同步）或所有神经元按式（3.4.1）变化（全并行方式）。 反馈神经网络的一个重要特点就是它具有稳定状态。 定义3.4.1 若神经网络从t = 0的任意一个初始状态)0(V 开始，存在一个有限的时刻，从该时刻后，神经网络状态不再发生变化，即： ()0)(>Δ=Δ+t t V t t V （3.4.2） 则称网络是稳定的。 Hopfield 神经网络是多个神经元相互结合的网络，它有两个最基本的最重要的约束条件： （1）神经元之间的相互结合强度是对称的，即ji ij w w =； （2）各神经元之间状态完全动态地异步变化。 基于这两个约束条件，我们来考察一下网络的状态变化规律，并给出计算机仿真。 神经网络考试重点 1、熵和信息的关系、性质，什么叫熵，条件熵、联合熵、互信息之间的关系，K-L 散度的定义（K-L 极小等于极大似然估计）。第十章 答：熵H(X)：表示每一个消息所携带的信息的平均量。在H(X)中X 不是H(X)的变量，而是一个随机变量的标记。 条件熵：给定Y 时X 的条件熵为H(X|Y)=H(X,Y)—H(Y) 具有性质：0<=H(X|Y)<=H(X) 条件熵H(X|Y)表示在观测到系统输出Y 后，对X 保留的不确定性度量。 H(X,Y)是X 和Y 的联合熵，由 ∑∑∈∈=X Y y ),(log ),(-Y H(X,x y x p y x p ） 定义，其中，p(x,y)是离散随机变量X 和Y 的联合概率质量函数，而x 和y 表示它们各自的字母表。 互信息：I(X;Y)=H(X)—H(X|Y)= ∑∑∈∈? ?? ? ? ?X Y y )()(),(log ),(x y p x p y x p y x p 熵是互信息的一个特例。 熵H(X)表示在没有观测系统输出前我们对系统输入的不确定性，条件熵H(X|Y)表示在观测到系统输出后对系统的不确定性，差H(X)—H(X|Y)表示观察到系统输出之后我们对系统输入的不确定性的减少。 信息的属性： （1）X 和Y 的互信息具有对称性：I(X;Y)=I(Y;X) （2）X 和Y 的互信息总是非负的：0Y)I(X;≥ （3）X 和Y 的互信息也可以用Y 的熵表示为：I(X;Y)=H(Y)—H(Y|X) 定义 )(X f x 和)(X g x 的K-L 散度为： dx X g X f X f g D x x x x f x ? ∞∞ -??? ? ??=)()(log )( I(X;Y)=Y X f f |D Y X,f 总的来说，X 和Y 之间的互信息等于联合概率密度函数 ),(,y x f Y X 以及概率密度函数)(X f x 和 )(Y f y 的乘积的K-L 散度。 2、ICA 原理，推导过程、数学模型、降维。简述PCA 原理（第一个成分如何得来，第一、二个成分关系），推导过程（方差最大）。ICA 与PCA 的差异。 答：ICA 的原理： 无噪声信号模型为： X=As ， 其中，A 为信号混合矩阵，x 是N 维观测信号向量，s 是M (N>M) 维原始信号向量。 X=kA. s/k 信号S 放大 k 倍与A 的相应列缩小k 倍的结果相同，从而决定了ICA 得到的信号存在强 关于人工神经网络的学习方法 信计一班陈思为0857129 摘要：人工神经网络是一种新的数学建模方式，它具有通过学习逼近任意非线性映射的能力。本文提出了一种基于动态BP神经网络的猜测方法，阐述了其基本原理，并以典型实例验证。关键字：神经网络，BP模型。 引言： 在系统建模、辨识和猜测中，对于线性系统，在频域，传递函数矩阵可以很好地表达系统的黑箱式输入输出模型；在时域，Box－Jenkins方法、回归分析方法、ARMA模型等，通过各种参数估计方法也可以给出描述。对于非线性时间序列猜测系统，双线性模型、门限自回归模型、ARCH模型都需要在对数据的内在规律知道不多的情况下对序列间关系进行假定。可以说传统的非线性系统猜测，在理论研究和实际应用方面，都存在极大的困难。相比之下，神经网络可以在不了解输入或输出变量间关系的前提下完成非线性建模[4，6]。神经元、神经网络都有非线性、非局域性、非定常性、非凸性和混沌等特性，与各种猜测方法有机结合具有很好的发展前景，也给猜测系统带来了新的方向与突破。建模算法和猜测系统的稳定性、动态性等研究成为当今热点问题。目前在系统建模与猜测中，应用最多的是静态的多层前向神经网络，这主要是因为这种网络具有通过学习逼近任意非线性映射的能力。利用静态的多层前向神经网络建立系统的输入/输出模型，本质上就是基于网络逼近能力，通过学习获知系统差分方程中的非线性函数。但在实际应用中，需要建模和猜测的多为非线性动态系统，利用静态的多层前向神经网络必须事先给定模型的阶次，即预先确定系统的模型，这一点非常难做到。近来，有关基于动态网络的建模和猜测的研究，代表了神经网络建模和猜测新的发展方向。 正文： 2BP神经网络模型BP网络是采用Widrow－Hoff学习算法和非线性可微转移函数的多层网络。典型的BP算法采用梯度下降法，也就是Widrow－Hoff算法。现在有许多基本的优化算法，例如变尺度算法和牛顿算法。 BP神经网络包括以下单元： ①处理单元（神经元），即神经网络的基本组成部分。输入层的处理单元只是将输入值转入相邻的联接权重，隐层和输出层的处理单元将它们的输入值求和并根据转移函数计算输出值。 ②联接权重。它将神经网络中的处理单元联系起来，其值随各处理单元的联接程度而变化。 ③层。神经网络一般具有输入层x、隐层y和输出层o。④阈值。其值可为恒值或可变值，它可使网络能更自由地获取所要描述的函数关系。⑤转移函数F。它是将输入的数据转化为输出的处理单元，通常为非线性函数。 BP神经网络结构。 1基本算法BP算法主要包含4步，分为向前传播和向后传播两个阶段：1）向前传播阶段从样本集中取一个样本，将Xp输入网络；计算相应的实际输出Op在此阶段，信息从输入层经过逐级的变换，传送到输出层。这个过程也是网络在完成练习后正常运行时的执行过程。2）向后传播阶段计算实际输出Op与相应的理想输出Yp的差；按极小化误差的方式调整权矩阵。这两个阶段的工作受到精度要求的控制，在这里取作为网络关于第p个样本的误差测度，而将网络关于整个样本集的误差测度定义为。 基本算法流程。2动态BP神经网络猜测算法在经典的BP算法以及其他的练习算法中都有很多变量，这些练习算法可以确定一个ANN结构，它们只练习固定结构的ANN权值。在自动设计ANN结构方面，也已有较多的尝试，比如构造性算法和剪枝算法。前一种是先随机化 https://www.doczj.com/doc/b012704170.html,/forum.php?mod=viewthread&tid=192 1神经网络的教材哪本比较经典 神经网络原理 Simon Haykin ? 叶世?史忠植译 神经网络设计 神经网络书籍 神经网络模型及其matlab仿真程序设计 周开利 （对神经网络工具箱函数及里面神经网络工具箱的神经网络模型的网络对象及其属性做了详细的论述，后者在神经网络理论与matlab7实现那本书里面是没有的） 神经网络理论与matlab7实现 （这本书对初学这入门还是挺不错的，看过了，就对matlab神经网络工具箱有教好的了解）神经网络设计（我认为这是一本很好的书，讲理论不是很多，看过之后就会对神经网络的原理有更好的了解） 神经网络结构设计的理论与方法（这本书对提高网络的泛化能力的一些方法做了讲述，并且书后有程序，对网络结构的设计应该是挺有帮助的） 摘自给初学matlab神经网络的一点建议 2 神经网络理论的发展与前沿问题 神经网络理论的发展与前沿问题 刘永? 摘要系统地论述了神经网络理论发展的历史和现状，在此基础上，对其主要发展趋向和所涉及的前沿问题进行了阐述．文中还作了一定的评论，并提出了新的观点．关键词神经网络理论，神经计算，进化计算，基于神经科学和数学的研? 查看原文 3 神经网络的权值和阈值分别是个什么概念？？ 权值和阈值是神经元之间的连接，将数据输入计算出一个输出，然后与实际输出比较，误差反传，不断调整权值和阈值 假如p1=[1 1 -1]'; p2=[1 -1 -1]'; 属于不同的类 须设计分类器将他们分开 这里用单层神经元感知器 初始权值 w=[0.2 0.2 0.3] b=-0.3 输出 a1 a2 a1=hardlims(w*p1+b) a2=hardlims(w*p2+b) 如果不能分开，还须不断调整w,b 这里说明一下权值w 阈值b 而已 简单地说，阈值也可以看作一维权值，只不过它所对应的那一维样本永远是 -1（也有的书上第4章 SOM自组织特征映射神经网络
前馈神经网络和反馈神经网络模型
基于人工神经网络预测探究文献综述
10-第三篇 第3章 常用神经网络
AI翻转课堂教案-第4章 人工神经网络与深度学习教案
神经网络分析应用
神经网络典型模型的比较研究
前馈神经网络
神经网络试题答案
第3章神经网络3-径向基函数网络(n)
神经网络复习
第三章 前馈型神经网络模型
第三章 神经网络3.4,3.5
神经网络考试重点
关于人工神经网络的学习方法
神经网络基础问题整理
相关主题
文本预览