人工神经网络

摘要人工神经网络（Artificial Neural Network，即ANN ），是20世纪80 年代以来人工智能领域兴起的研究热点。

它从信息处理角度对人脑神经元网络进行抽象，建立某种简单模型，按不同的连接方式组成不同的网络。

在工程与学术界也常直接简称为神经网络或类神经网络。

神经网络是一种运算模型，由大量的节点（或称神经元）之间相互联接构成。

每个节点代表一种特定的输出函数，称为激励函数（activation function）。

每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。

网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。

而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。

【关键词】人工智能、计算智能、神经科学1.人工神经网络的基本特征人工神经网络是由大量处理单元互联组成的非线性、自适应信息处理系统。

它是在现代神经科学研究成果的基础上提出的，试图通过模拟大脑神经网络处理、记忆信息的方式进行信息处理。

人工神经网络具有四个基本特征：1）非线性非线性关系是自然界的普遍特性。

大脑的智慧就是一种非线性现象。

人工神经元处于激活或抑制二种不同的状态，这种行为在数学上表现为一种非线性人工神经网络关系。

具有阈值的神经元构成的网络具有更好的性能，可以提高容错性和存储容量。

2）非局限性一个神经网络通常由多个神经元广泛连接而成。

一个系统的整体行为不仅取决于单个神经元的特征，而且可能主要由单元之间的相互作用、相互连接所决定。

通过单元之间的大量连接模拟大脑的非局限性。

联想记忆是非局限性的典型例子。

3）非常定性人工神经网络具有自适应、自组织、自学习能力。

神经网络不但处理的信息可以有各种变化，而且在处理信息的同时，非线性动力系统本身也在不断变化。

经常采用迭代过程描写动力系统的演化过程。

4）非凸性一个系统的演化方向，在一定条件下将取决于某个特定的状态函数。

例如能量函数，它的极值相应于系统比较稳定的状态。

非凸性是指这种函数有多个极值，故系统具有多个较稳定的平衡态，这将导致系统演化的多样性。

2.人工神经网络的发展历史1943年，心理学家W.S.McCulloch和数理逻辑学家W.Pitts建立了神经网络和数学模型，称为MP模型。

他们通过MP模型提出了神经元的形式化数学描述和网络结构方法，证明了单个神经元能执行逻辑功能，从而开创了人工神经网络研究的时代。

1949年，心理学家提出了突触联系强度可变的设想。

60年代，人工神经网络得到了进一步发展，更完善的神经网络模型被提出人工神经网络，其中包括感知器和自适应线性元件等。

M.Minsky等仔细分析了以感知器为代表的神经网络系统的功能及局限后，于1969年出版了《Perceptron》一书，指出感知器不能解决高阶谓词问题。

他们的论点极大地影响了神经网络的研究，加之当时串行计算机和人工智能所取得的成就，掩盖了发展新型计算机和人工智能新途径的必要性和迫切性，使人工神经网络的研究处于低潮。

在此期间，一些人工神经网络的研究者仍然致力于这一研究，提出了适应谐振理论（ART网）、自组织映射、认知机网络，同时进行了神经网络数学理论的研究。

以上研究为神经网络的研究和发展奠定了基础。

1982年，美国加州工学院物理学家J.J.Hopfield 提出了Hopfield神经网格模型，引入了“计算能量”概念，给出了网络稳定性判断。

1984年，他又提出了连续时间Hopfield神经网络模型，为神经计算机的研究做了开拓性的工作，开创了神经网络用于联想记忆和优化计算的新途径，有力地推动了神经网络的研究，1985年，又有学者提出了波耳兹曼模型，在学习中采用统计热力学模拟退火技术，保证整个系统趋于全局稳定点。

1986年进行认知微观结构地研究，提出了并行分布处理的理论。

1986年，Rumelhart, Hinton, Williams发展了BP算法。

Rumelhart和McClelland出版了《Parallel distribution processing: explorations in the microstructures of cognition》。

迄今，BP算法已被用于解决大量实际问题。

1988年，Linsker对感知机网络提出了新的自组织理论，并在Shanon信息论的基础上形成了最大互信息理论，从而点燃了基于NN的信息应用理论的光芒。

1988年，Broomhead和Lowe用径向基函数(Radial basis function, RBF)提出分层网络的设计方法，从而将NN的设计与数值分析和线性适应滤波相挂钩。

90年代初，Vapnik等提出了支持向量机(Support vector machines, SVM)和VC(Vapnik-Chervonenkis)维数的概念。

人工神经网络的研究受到了各个发达国家的重视，美国国会通过决议将1990年1月5日开始的十年定为“脑的十年”，国际研究组织号召它的成员国将“脑的十年”变为全球行为。

在日本的“真实世界计算（RWC）”项目中，人工智能的研究成了一个重要的组成部分。

3.人工神经网络的网络模型人工神经网络模型主要考虑网络连接的拓扑结构、神经元的特征、学习规则等。

目前，已有近40种神经网络模型，其中有反传网络、感知器、自组织映射、Hopfield网络、波耳兹曼机、适应谐振理论等。

根据连接的拓扑结构，神经网络模型可以分为：前向网络网络中各个神经元接受前一级的输入，并输出到下一级，网络中没有反馈，可以用一个有向无环路图表示。

这种网络实现信号从输入空间到输出空间的变换，它的信息处理能力来自于简单非线性函数的多次复合。

网络结构简单，易于实现。

反传网络是一种典型的前向网络。

反馈网络网络内神经元间有反馈，可以用一个无向的完备图表示。

这种神经网络的信息处理是状态的变换，可以用动力学系统理论处理。

系统的稳定性与联想记忆功能有密切关系。

Hopfield网络、波耳兹曼机均属于这种类型。

4.人工神经网络的分析方法研究神经网络的非线性动力学性质，主要采用动力学系统理论、非线性规划理论和统计理论，来分析神经网络的演化过程和吸引子的性质，探索神经网络的协同行为和集体计算功能，了解神经信息处理机制。

为了探讨神经网络在整体性和模糊性方面处理信息的可能，混沌理论的概念和方法将会发挥作用。

混沌是一个相当难以精确定义的数学概念。

一般而言，“混沌”是指由确定性方程描述的动力学系统中表现出的非确定性行为，或称之为确定的随机性。

“确定性”是因为它由内在的原因而不是外来的噪声或干扰所产生，而“随机性”是指其不规则的、不能预测的行为，只可能用统计的方法描述。

混沌动力学系统人工神经网络的主要特征是其状态对初始条件的灵敏依赖性，混沌反映其内在的随机性。

混沌理论是指描述具有混沌行为的非线性动力学系统的基本理论、概念、方法，它把动力学系统的复杂行为理解为其自身与其在同外界进行物质、能量和信息交换过程中内在的有结构的行为，而不是外来的和偶然的行为，混沌状态是一种定态。

混沌动力学系统的定态包括：静止、平稳量、周期性、准同期性和混沌解。

混沌轨线是整体上稳定与局部不稳定相结合的结果，称之为奇异吸引子。

一个奇异吸引子有如下一些特征：（1）奇异吸引子是一个吸引子，但它既不是不动点，也不是周期解；（2）奇异吸引子是不可分割的，即不能分为两个以及两个以上的吸引子；（3）它对初始值十分敏感，不同的初始值会导致极不相同的行为。

5.人工神经网络的特点优点神经网络的研究可以分为理论研究和应用研究两大方面。

理论研究可分为以下两类：1、利用神经生理与认知科学研究人类思维以及智能机理。

2、利用神经基础理论的研究成果，用数理方法探索功能更加完善、性能更加优越的神经网络模型，深入研究网络算法和性能，如：稳定性、收敛性、容错性、鲁棒性等；开发新的网络数理理论，如：神经网络动力学、非线性神经场等。

应用研究可分为以下两类：1、神经网络的软件模拟和硬件实现的研究。

2、神经网络在各个领域中应用的研究。

这些领域主要包括：模式识别、信号处理、知识工程、专家系统、优化组合、机器人控制等。

随着神经网络理论本身以及相关理论、相关技术的不断发展，神经网络的应用定将更加深入。

6.人工神经网络的发展趋势人工神经网络特有的非线性适应性信息处理能力，克服了传统人工智能方法对于直觉，如模式、语音识别、非结构化信息处理方面的缺陷，使之在神经专家系统、模式识别、智能控制、组合优化、预测等领域得到成功应用。

人工神经网络与其它传统方法相结合，将推动人工智能和信息处理技术不断发展。

近年来，人工神经网络正向模拟人类认知的道路上更加深入发展，与模糊系统、遗传算法、进化机制等结合，形成计算智能，成为人工智能的一个重要方向，将在实际应用中得到发展。

将信息几何应用于人工神经网络的研究，为人工神经网络的理论研究开辟了新的途径。

神经计算机的研究发展很快，已有产品进入市场。

光电结合的神经计算机为人工神经网络的发展提供了良好条件。

神经网络在很多领域已得到了很好的应用，但其需要研究的方面还很多。

其中，具有分布存储、并行处理、自学习、自组织以及非线性映射等优点的神经网络与其他技术的结合以及由此而来的混合方法和混合系统，已经成为一大研究热点。

由于其他方法也有它们各自的优点，所以将神经网络与其他方法相结合，取长补短，继而可以获得更好的应用效果。

目前这方面工作有神经网络与模糊逻辑、专家系统、遗传算法、小波分析、混沌、粗集理论、分形理论、证据理论和灰色系统等的融合。

7.人工神经网络的应用1）信息处理：现代信息处理要解决的问题是很复杂的，人工神经网络具有模仿或代替与人的思维有关的功能，可以实现自动诊断、问题求解，解决传统方法所不能或难以解决的问题。

2）生物信号的检测与分析：大部分医学检测设备都是以连续波形的方式输出数据的，这些波形是诊断的依据。

3）风险评估：风险是指在从事某项特定活动的过程中，因其存在的不确定性而产生的经济或财务的损失、自然破坏或损伤的可能性。

防范风险的最佳办法就是事先对风险做出科学的预测和评估。