神经网络课程小论文

1.4 人工神经网络的基本学习算法
1.4.1 有教师学习（监督学习）
P 输入
神经网络 （学习系统）
a 期望输出
e 误差信号
误差分析 t
期望输出
1.4.2 无教师学习（无监督学习）
P 输入
神经网络 （学习系统）
a期望输出
1.4.3 强化学习（再励学习）
P 输入
神经网络 （学习系统）
评价信息
外部环境
a 期望输出
神经网络的硬件实现可追溯到 60 年代，当时有几家公司和研究机构试图用 硬件来实现神经元，最为著名的便是感知机和 ADALINE 神经网络模型的实现。 当时 CornellAeronautical 实验室(现在名为 CALSPAN Corporation)的 Rosenblatt 从理论上和实现上描述了感知机。ADALINE 神经网络模型则是由斯坦福人学的 Widrow 提出的。感知机和 ADALINE 均为单个神经元模型，它们均能接受多路 输入，并能自适应地修改与这些输入相对应的突触强度(互连权值)，然而它们在 实现上有所不同。在感知机中，其突触强度通过一种电子机械的方法来改变(通 过一个电动马达的转动来改变突触强度)，这种实现有许多缺点，如体积大，价 格高，运行不可靠等。Widrow 的 ADALINE 实现中则用电阻的方法来表示突触 强度。
人工神经网络吸取了生物神经网络的许多优点，因而有其固有的特点[3]： （1）高度的并行性 人工神经网络由许多相同的简单处理单元并列组合而成，虽然每个单元的结 构和功能比较简单，但大量简单处理单元的并行行动，使其对信息的处理能力与 效果惊人。 （2）高度的非线性全局作用 当对系统对于设计人员来说，很透彻或者很清楚时，则一般利用数值分析， 偏微分方程等数学工具建立精确的数学模型，但当对系统很复杂，或者系统未知， 系统信息量很少时，建立精确的数学模型很困难时，神经网络的非线性映射能力 则表现出优势，因为它不需要对系统进行透彻的了解，但是同时能达到输入与输 出的映射关系，这就大大简化设计的难度。 （3）良好的容错性与联想记忆能力 人工神经网络通过自身的网络结构能够实现对信息的记忆，所记忆的信息存 储在神经元之间的权值中。从单个权值中看不出所存储的信息内容，因而是分布
2.3 BP 神经网络的算法及其改进算法
BP 算法最初是由 P.Werbos 于 1974 年开发出的一种反向传播迭代梯度算法， 用于求解前馈型网络的实际输出与期望输出之间的最小均方差值。在 1986 年， 以 E.Rumelhart 和 R.J.Williams 等人为首的研究小组独立地提出了 BP 的完整学习 算法，用于前向神经网络的学习与训练。它具有和 MLP 相同的网络结构，都是 由输入层、隐含层和输出层组成，相邻层之间的各神经元实现连接，即下一层的 每一个神经元与上一层的每一个神经元都实现全连接，而每一层的各神经元之间 无连接。BP 网络采用有教师的学习方式，神经元单元为 S 型激励函数，连续的
人工神经网络（Artificial Neural Networks，ANNs），是人脑或自然神经网络 对信息感知与处理等智能行为的抽象和模拟，是一种分布式并行处理系统，它具 有自组织、自学习、自适应和非线性动态处理的特性。可以实现人脑的概括、类 比和推广能力，因而可以从大量数据中提取所需要的信息，通过联想记忆和推理 等能力来获取所需要的数据。目前，已经开发和应用的神经网络有 30 多种，比 较典型的有以下几种[1-2]：感知器（Perceptron），多层感知器（MLP），BP 前向 网络，Hopfield 网络和竞争型（Kohonen）神经网络。可以说人工神经网络就是 模拟人思维的第二种方式。
2 BP 神经网络模型概述 2.1 BP 神经网络的概念
BP 神经网络是一种基于误差反向传播（Back propagation）算法的多层前馈 网络（Multiple-layer feed forward network），是一种非线性系统辨识工具，其结 构简单，可操作性强，能模拟任意的非线性输入输出关系，目前在故障诊断和预
1.2 人工神经网络的工作原理及特点
人工神经网络是由大量的简单基本元件——神经元相互联接而成的自适应 非线性动态系统。每个神经元的结构和功能比较简单，但大量神经元组合产生的 系统行为却非常复杂。人工神经网络首先要以一定的学习准则进行学习，然后才 能工作,它反映了人脑功能的若干基本特性，但并非生物系统的逼真描述，只是 某种模仿、简化和抽象。与数字计算机比较，人工神经网络在构成原理和功能特 点等方面更加接近人脑，它不是按给定的程序一步一步地执行运算，而是能够自 身适应环境、总结规律、完成某种运算、识别或过程控制。
在进行神经网络的研究中，要使神经网络在实际中能进行有效的应用，或是
支持更好的神经网络研究，神经网络实现技术必须能够支持大规模的神经网络模 型的神经计算，同时要能尽可能地缩短神经计算的时间，达到实时的水平。但是 现有的各种神经网络软件模拟环境所能支持模拟神经网络模型的规模及神经计 算速度都还远远达不到研究和应用所需要的水平。因此，开展大规模的硬件实现 的神经网络计算机的研制势在必行。
经的神经元模型如图 2.1 所示。其中 p 为输入向量，W 为权向量，b 为阈值，f 为传递函数，a 为神经元的输出。所有的输入 P 通过一个权重 w 进行加权求和后 加上阈值 b 再经传递函数 f 的作用后即为该神经元的输出。传递函数可以是任何 可微的函数，BP 神经网络常用的函数有 Sigmoid 型和线性型。神经网络的拓扑 结构是指神经元之间的互连结构，图 2.2 是一个三层的网络结构。BP 神经网络 由输入层、输出层以及一个或多个隐含节点互连而成的一种多层网，这种结构使 多层前馈网络可在输入和输出间建立合适的线性和非线性关系。
1965 年至 1980 年，除 Adaptronics Corp(现为 Division of Flow General Crop) 之外，其它一些研究实体在神经网络实现上没有做更多的工作。Adaptronics 的 Louis Gilstrap 和 Roger Barron 在 1974 年开发了第一块神经元芯片。1982 年美国 的物理学家 Hopfield 发表论文，提出神经网络的一种数学模型，即 Hopfield 神 经网络模型，并研究了它的动力学性质。两年以后，他设计出了电子线路模拟这 种网络 的性质 ，认 为 这种网 络可以 解决 数 学上著 名的 TSP 问 题 (Traveling Salesman Problem)。次年，美国加州理工学院和贝尔实验室合作研制成 256 个神 经元(在四分之一平方英寸芯片上，由 2.5*10^4 个晶体管和 1.0*10^5 个电阻集成) 和 64 个可编程神经元。
神经网络实现的另一种方法是在传统计算机上通过编写支持软件来模拟神 经 网 络 计 算 。 这 种 软 件 模 拟 神 经 计 算 机 很 有 代 表 性 的 是 :1983 年 RobertHechtNielsen 和 Todd Gutschow 在 TRW 的 AI 中心所推出的 Mark I 及改进 MarkII;1986 年 Zipser 和 Rabin 所推出的 P3 系统:1987 年 Rochester 大学推出的 RCS;1988 年 Maryland 大学的 MIRRORS 系统;国防科技大学于 1990 年推出的性 能可与上述系统媲美的 GKD-NNSS 软件模拟神经计算机。为了解决软件模拟神 经计算机处理速度慢的问题，可以在通用机上插入神经网络加速板，形成神经计 算机工作站。1985 年 TRW 公司推出了 Mark III 神经计算机，Mark III 包含有 8 个处理板，可以并行操作，每个处理板可以仿真 1064 个虚拟的神经元。随后 TRW 公司在 1985 年至 1986 年又开发出了 Mark IV 神经计算机。在研制神经网络加速 板的基础上，为更好地支持神经计算，一种更好的实现方法便是构成神经网络专 用并行处理阵列机。这些系统的处理速度和神经网络加速板相比，有明显提高。
神经网络分析设计综述
摘要：本综述先后介绍了人工神经网络的概念、工作原理及特点，同时也阐述
了人工神经网络的国内外研究现状及趋势，列举了人工神经网络的基本学习算法 及应用领域。最后选取了人工神经网络之一的 BP 网络对其进行了详细阐述。
关键词：人工神经网络；学习算法；BP 网络
1 神经网络概述 1.1 人工神经网络的概念
经网络学习训练的过程，此过程一直进行到网络输出的误差减少到可以接受的程
度，或者预先设定的学习次数为止。BP 神经网络是目前应用较为广泛的一种神 经网络，其理论发展也相当成熟，且现有的数学软件 MATLAB 已经开发 BP 神 经网络的工具箱[5]。
构造一个 BP 神经元网络需要确定其处理单元——神经元的特性和网络的拓 扑结构。神经元是网络的最基本的组成部分，一般来说，一个有 R 个输入的神
以设计为单隐层或者多隐层结构；最后一个隐层传递到输出层各神经元的信息，
经进一步处理后，完成一次学习的正向传播处理过程，由输出层向外界输出信息
处理结果。当实际输出与期望输出不符时，进入误差的反向传播阶段。误差通过
输出层，按误差梯度下降的方式修正各层权值，向隐层、输入层逐层反传。周而
复始的信息正向传播和误差反向传播过程，是各层权值不断调整的过程，也是神
测上运用比较广泛。BP 神经网络模型拓扑结构包括输入层（input）、隐层(hide layer)和输出层(output layer)。它由信息的正向传播和误差的反向传播两个过程组 成。输入层各神经元负责接收来自外界的输入信息，并传递给中间层各神经元；
中间层是内部信息处理层，负责信息变换，根据信息变化能力的需求，中间层可
1.5 人工神经网络的应用领域
随着人工神经网络技术的发展，其用途日益广泛，应用领域也在不断拓展， 已在各个工程领域得到广泛的应用。总而言之，人工神经网络技术可用于如下信 息处理工作：函数逼近，感知觉模拟，多目标跟踪，联想记忆及数据恢复等。具 体而言，其主要用于解算以下几类问题[4]：
（1）模式信息处理和模式识别 人工神经网络特别适宜解算这类问题，形成了新的模式信息处理技术。这方 面的主要应用有：图形、符号、手写体、及语音识别等目标识别，药物构效关系 等化学模式信息辨识等。 （2）最优化问题计算 人工神经网络大部分模型是非线性动态系统，若将所计算问题的目标函数与 网络某种能量函数对应起来，网络动态向能量函数极小值方向移动的过程可视作 优化问题的解算过程。网络的动态过程就是优化问题计算过程，稳态点则是优化 问题的局部或全局最优动态过程解。 （3）信息的智能化处理 神经网络技术能对不完整信息进行补全，根据已学会的知识和处理问题的经 验对复杂问题作出合理的判断决策，给出较满意的解答，或对未来过程作出有效 的预测和估计。 （4）复杂控制 神经网络在诸如机器人运动控制等复杂控制问题方面有独到之处。它更适宜 于组成快速实时自适应控制系统。
式的存储方式。这使得网络具有良好的容错性，并能进行聚类分析、特征提取、 等模式信息处理工作：又宜于做模式分类、模式联想等模式识别工作。
（4）十分强的自适应、自学习功能 人工神经网络可以通过训练和学习来获得网络的权值和结构，呈现出很强的 自学习能力和对环境的自适应能力。
1.3 人工神经网络的国内外研究现状及趋势
p1
p2 p3
W1,1
∑n f a
…
pR
W1,R
b
p1
W1,1
p2
p3
……
∑ n1
b1
∑ n2
b2
pR
Ws,R ∑ ns
bs
输入层 隐含层
a1
a2
……
as
输出层
图 2.1 神经Biblioteka Baidu模型
图 2.2 三层 BP 神经网络
2.2 BP 神经网络的应用
BP 网络主要应用在[6]：
（1）函数逼近：用输入矢量和相应的输出矢量训练一个网络逼近一个函数；
（2）模式识别和分类：用一个特定的输出矢量将它与输入矢量联系起来；把 输入矢量以所定义的合适方式进行分类；
（3）数据压缩：减少输出矢量维数以便于传输或存储； （4）具有将强泛化性能：使网络平滑地学习函数，使网络能够合理地响应被 训练以外的输入泛化性能只对被训练的输入／输出对最大值范围内的数据有效， 即网络具有内插值特性，不具有外插值性。超出最大训练值的输入必将产生大的 输出误差。