下载文档原格式
人工神经网络综述〔摘要〕本文使用通谷易懂的语言从物理概念上深入浅出地介绍了人工神经网络的工作原理、特点及几种典型神经网络，避免出现繁琐的公式及数学推导。
希望能通过本文引起广大科研工作者对人工神经网络的认识和重视。
1 神经元模型的提出“人工神经网络”(ARTIFICIAL NEURAL NETWORK，简称A.N.N.)是在对人脑组织结构和运行机智的认识理解基础之上模拟其结构和智能行为的一种工程系统。
早在本世纪40年代初期，心理学家McCulloch、数学家Pitts就提出了人工神经网络的第一个数学模型，从此开创了神经科学理论的研究时代。
其后，F.Rosenblatt、Widrow和Hopf、J.J.Hopfield等学者又先后提出了感知模型，使得人工神经网络技术得以蓬勃发展。
神经系统的基本构造是神经元(神经细胞)，它是处理人体内各部分之间相互信息传递的基本单元。
据神经生物学家研究的结果表明，人的一个大脑一般有～个神经元。
如图1所示，每个神经元都由一个细胞体，一个连接其他神经元的轴突和一些向外伸出的其它较短分支——树突组成。
轴突的功能是将本神经元的输出信号(兴奋)传递给别的神经元。
其末端的许多神经末梢使得兴奋可以同时传送给多个神经元。
树突的功能是接受来自其它神经元的兴奋。
神经元细胞体将接受到的所有信号进行简单地处理(如：加权求和，即对所有的输入信号都加以考虑且对每个信号的重视程度——体现在权值上——有所不同)后由轴突输出。
神经元的树突与另外的神经元的神经末梢相连的部分称为突触。
图1 神经元结构图图2 神经元模型对应于图1，可以很容易的建立起神经元的模型，如图2所示。
大脑之所以能够处理极其复杂的分析、推理工作，一方面是因为其神经元个数的庞大，另一方面还在于神经元能够对输入信号进行非线性处理。
因此，对图2可进一步建立起更接近于工程的数学模型，如图3所示，它是一个多输入单输出的非线性器件。
其中的权值W即代表神经元之间的连接强度，f(x)为非线性函数。
神经网络的发展历程与应用神经网络是一种仿生的人工智能技术，它模拟了人类大脑中神经元之间的连接和信息传递方式，具有自学习和适应性强的特点。
神经网络的发展历程可以追溯到上世纪50年代，经过了长期的理论研究和应用实践，如今已经成为了人工智能领域中的重要技术之一。
本文将从神经网络的发展历程、基本模型、优化算法以及应用领域等方面进行介绍。
一、神经网络的发展历程神经网络的发展历程可以分为三个阶段，分别是感知机、多层前馈神经网络和深度学习。
1. 感知机感知机是神经网络的起源，由美国心理学家罗森布拉特于1957年提出。
感知机是一种单层神经网络，由若干感知器（Perceptron）组成。
每个感知器接收输入信号并进行加权和，然后经过一个阈值函数得到输出。
该模型的最大缺点是只能处理线性可分问题，无法解决非线性问题。
2. 多层前馈神经网络为了克服感知机的局限性，科学家们开始尝试使用多层前馈神经网络来处理非线性问题。
多层前馈神经网络由输入层、隐藏层和输出层组成。
每个神经元都有一个激活函数，用于将输入信号转换为输出。
这种结构可以处理非线性问题，并且可以通过反向传播算法来训练网络参数。
多层前馈神经网络在图像识别、语音识别、自然语言处理等领域得到了广泛应用。
3. 深度学习深度学习是指使用多层神经网络来学习高层次特征表示的一种机器学习方法。
深度学习在计算机视觉、自然语言处理等领域有着广泛的应用。
其中最著名的就是卷积神经网络（CNN）和循环神经网络（RNN）。
卷积神经网络主要用于图像识别和分类问题，循环神经网络主要用于序列预测和语言建模。
二、神经网络的基本模型神经网络的基本模型可以分为三类，分别是前馈神经网络、反馈神经网络和自组织神经网络。
1. 前馈神经网络前馈神经网络是指信息只能从输入层到输出层流动的神经网络。
其中最常用的是多层前馈神经网络，它由多个隐藏层和一个输出层组成。
前馈神经网络的训练主要使用反向传播算法。
2. 反馈神经网络反馈神经网络是指信息可以从输出层到输入层循环反馈的神经网络。
人工神经网络的研究进展与应用人工神经网络是一种基于神经元模型的计算机模型，它能够通过学习和适应提高自己的性能，从而解决各种复杂的问题。
近年来，随着科学技术的不断进步，人工神经网络的研究和应用也越来越广泛，本文将以此为主题，探讨其研究进展和应用。
一、人工神经网络的发展历程人工神经网络的概念最早可以追溯到1943年，当时生物学家麦卡洛克和数学家皮茨在研究海马的神经元模型时，提出了“神经元网络”的概念。
然而，由于当时计算机技术的不发达，研究进展缓慢，直到20世纪80年代，人工神经网络才开始进入蓬勃发展期。
在接下来的几十年里，人工神经网络不断得到完善和改进。
1986年，加利福尼亚大学教授里夫金首次提出了反向传播算法，从理论上提高了神经网络的学习能力；1998年，Yan LeCun等人在训练卷积神经网络上取得了突破性的进展，为语音识别、图像识别等领域的应用奠定了基础；2006年，西谷和众人提出了深层神经网络，在语音识别、自然语言处理、图像处理等领域取得了重大突破。
二、人工神经网络的应用领域1. 图像识别人工神经网络在图像识别领域的应用非常广泛。
以2012年ImageNet大规模视觉识别挑战赛为例，该比赛采用卷积神经网络进行图像识别，识别准确率达到了85.4%，远高于传统算法。
2. 语音识别人工神经网络在语音识别领域也有广泛的应用。
在过去的十年里，深度神经网络被广泛用于语音识别，取得了显著的进展。
例如，微软研究院的DeepSpeech就是一种深度神经网络模型，能够通过学习进行语音识别并生成相应的文本。
3. 金融分析人工神经网络在金融领域也有广泛的应用。
例如，在股票交易中，人工神经网络能够通过学习历史股价数据，预测未来的股票价格走势。
此外，人工神经网络还可以用于信用评估、风险管理等方面，为金融决策提供有力的辅助。
4. 医学诊断人工神经网络在医学诊断领域也有广泛的应用。
例如，在疾病诊断方面，人工神经网络能够通过学习医学数据，对病情进行准确的判断和诊断。
人工神经网络在机械工程领域中的研究与应用摘要:人工神经网络在机械工程领域中的研究与应用日益受到重视。
对于故障诊断与预测，人工神经网络可以通过学习和识别机械系统中的故障特征模式来准确地诊断故障并预测故障发生的可能性。
在智能控制与优化方面，人工神经网络能够根据输入数据的变化进行实时调整，并优化机械系统的性能。
此外，人工神经网络还可用于机器视觉与图像处理、设备状态监测与维护以及运动规划与路径优化等领域。
关键词：人工神经网络;机械工程领域;研究与应用引言人工神经网络是一种模拟大脑神经元连接方式的计算模型，拥有学习和适应能力。
随着人工智能技术的发展，人工神经网络在机械工程领域中被广泛研究和应用。
本论文将对人工神经网络在机械工程领域中的研究和应用进行综述，并探讨其未来的发展趋势。
1.人工神经网络概述人工神经网络（Artificial Neural Networks，ANN）是一种受到生物神经元系统启发的计算模型。
它由多个人工神经元节点组成，并通过节点之间的连接进行信息传递与处理。
人工神经网络具有学习和适应能力，能够通过从输入-输出数据对的训练中自动调整连接权重，从而实现对模式识别、分类、函数逼近等任务的解决。
人工神经网络的结构可以分为三层：输入层、隐藏层和输出层。
输入层接收外部数据作为模型的输入，隐藏层是一个或多个包含若干节点的中间层，用于提取和组合输入数据的特征。
输出层产生最终的输出结果。
节点之间的连接具有权重，用来调节信号的传递效果。
节点根据输入信号和连接的权重，通过激活函数进行处理，并传递给下一层的节点。
2.人工神经网络在机械工程中的优势与挑战2.1优势人工神经网络能够处理非线性关系，对于复杂的机械系统行为可以提供更准确的建模和预测。
机械工程涉及到许多非线性问题，例如材料的非线性特性、结构的非线性响应等，传统的线性模型可能无法完全描述这些情况，而人工神经网络能够较好地应对非线性问题。
人工神经网络具有自适应和学习能力，能够从大量的数据中进行模式识别和知识提取。
神经网络模型的研究现状及应用随着近年来人工智能技术的进步，神经网络模型成为了热门研究领域之一。
神经网络模型是一种模仿生物神经网络结构与功能，并且进行信息处理的复杂数学模型。
神经网络模型已经被广泛应用于语音识别、图像处理、语言翻译、自动驾驶等领域，成为智能化时代的重要工具。
一、神经网络模型的研究现状神经网络模型的发展可以追溯到上世纪60年代，随着计算能力的提升和数学算法的不断发展，神经网络模型得以不断完善。
目前，神经网络模型经历了多个版本的迭代更新，其中比较重要的有感知器、多层感知器、全连接神经网络、卷积神经网络、循环神经网络等。
感知器是最早出现的神经网络模型，由于其简单、易于实现等优点被广泛应用于数值预测等领域。
但是感知器的局限性也很明显，比如只能处理线性可分的问题，所以在处理更加复杂的问题上显得不太够用。
多层感知器是感知器的升级版，通过增加隐藏层使得神经网络模型可以处理非线性问题。
全连接神经网络则进一步加强了神经元之间的连接，实现了更加高效的信息交流。
卷积神经网络则是基于孪生神经元的结构，可以更加有效地处理图像、语音等信息。
而循环神经网络则可以更好地处理时序性数据，如自然语言处理等系统。
除了上述几种比较经典的神经网络模型外，还有一些衍生出来的新型神经网络模型，如生成对抗网络、变分自编码器等，这些模型都有着新增加的特性，可以应用在更多的领域。
二、神经网络模型的应用随着神经网络模型的不断升级和完善，越来越多的领域都开始尝试引入神经网络模型，并且取得了一定的成效。
在语音识别领域，谷歌的语音识别系统就采用了卷积神经网络和递归网络的方法，大大提升了语音的识别精度。
在图像识别领域，卷积神经网络已经成为了不可或缺的技术，诸如谷歌、微软、Facebook等巨头公司都将其应用在了图像识别领域，并且在ImageNet大规模视觉识别竞赛中取得了不俗的成绩。
在自然语言处理领域，循环神经网络和长短时记忆网络已经成为了解决序列化任务的必备工具。
BP神经网络及深度学习研究摘要：人工神经网络是一门交叉性学科，已广泛于医学、生物学、生理学、哲学、信息学、计算机科学、认知学等多学科交叉技术领域，并取得了重要成果。
BP（Back Propagation）神经网络是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。
本文将主要介绍神经网络结构，重点研究BP神经网络原理、BP神经网络算法分析及改进和深度学习的研究。
关键词：BP神经网络、算法分析、应用1 引言人工神经网络（Artificial Neural Network，即ANN ），作为对人脑最简单的一种抽象和模拟，是人们模仿人的大脑神经系统信息处理功能的一个智能化系统，是20世纪80 年代以来人工智能领域兴起的研究热点。
人工神经网络以数学和物理方法以及信息处理的角度对人脑神经网络进行抽象，并建立某种简化模型，旨在模仿人脑结构及其功能的信息处理系统。
人工神经网络最有吸引力的特点就是它的学习能力。
因此从20世纪40年代人工神经网络萌芽开始，历经两个高潮期及一个反思期至1991年后进入再认识与应用研究期，涌现出无数的相关研究理论及成果，包括理论研究及应用研究。
最富有成果的研究工作是多层网络BP算法，Hopfield网络模型，自适应共振理论，自组织特征映射理论等。
因为其应用价值，该研究呈愈演愈烈的趋势，学者们在多领域中应用[1]人工神经网络模型对问题进行研究优化解决。
人工神经网络是由多个神经元连接构成，因此欲建立人工神经网络模型必先建立人工神经元模型，再根据神经元的连接方式及控制方式不同建立不同类型的人工神经网络模型。
现在分别介绍人工神经元模型及人工神经网络模型。
1.1 人工神经元模型仿生学在科技发展中起着重要作用，人工神经元模型的建立来源于生物神经元结构的仿生模拟，用来模拟人工神经网络[2]。
人们提出的神经元模型有很多，其中最早提出并且影响较大的是1943年心理学家McCulloch和数学家W. Pitts在分析总结神经元基本特性的基础上首先提出的MP模型。
神经网络的发展与应用人工神经网络，简称神经网络，是一种模拟人脑神经系统的计算模型，它通过模拟神经元之间的信息传递和计算过程，实现了信息处理和智能决策。
从20世纪50年代起，神经网络就开始吸引越来越多的研究者，至今已有数十年的发展历程。
本文将回顾神经网络的发展史，介绍其主要应用场景和未来趋势。
一、神经网络的发展历史题海战术是练好神经网络的关键。
在1960年代到1980年代，美国、英国、日本、德国等国家和地区的专家纷纷投身于神经网络的研究当中。
这一时期，神经网络的基本理论，包括前馈神经网络、反馈神经网络、Hopfield 网络、Boltzmann机等模型先后被提出。
其中，前馈神经网络主要用于解决分类、识别、回归等问题，反馈神经网络主要用于时序预测、神经信号处理、优化问题等；而Hopfield网络和Boltzmann机则用于解决优化问题和联想记忆问题。
然而，由于数据量小、计算能力有限、学习算法不稳定等因素的限制，神经网络的应用一度受到限制。
1990年代以后，随着计算机和网络技术的迅速发展，大数据时代的到来，神经网络得到了前所未有的发展机遇。
神经网络的各个领域都经历了飞跃式的发展，特别是深度学习的应用，更是引领了神经网络技术的潮流。
二、神经网络的应用场景神经网络已经成为人工智能、机器学习中最重要的技术手段之一，几乎涉及到所有方面的应用场景。
以下将介绍几个具有代表性的应用案例。
1. 图像识别在图像识别领域，卷积神经网络(CNN)是当今最流行的神经网络之一。
它可以对图像进行特征提取和识别，广泛应用于人脸识别、车辆识别、智能安防等领域。
例如，当今最先进的人脸识别技术，就是基于CNN网络实现的。
2. 语音识别语音识别是另一个广泛应用神经网络的领域。
深度循环神经网络(RNN)和长短时记忆网络(LSTM)都是可以处理语音信号序列的网络模型，它们的应用范围包括语音识别、文本转语音(ConvTTS)等，可以极大地提高语音识别的准确率和稳定性。
神经网络的现状与发展趋势一、引言人工神经网络（Artificial Neural Network, ANN）是一种通过模拟人类神经系统实现信息处理、表达和识别的计算模型。
自 1943 年 McCulloch 和 Pitts 提出 ANNs 模型以来，神经网络成为了人工智能领域研究的热点之一，并在计算机视觉、语音识别、自然语言处理、数据挖掘、模式识别等方面取得了卓越成果。
随着技术和应用的不断深入，神经网络技术也在不断发展和成熟。
本文将阐述神经网络的现状与发展趋势。
二、神经网络的现状1.神经网络应用领域广泛神经网络现在应用在各个领域中，包括医疗、金融、保险、制造业、游戏等。
在医疗领域中，神经网络广泛应用于癌症筛查、药物研发、疾病预测等方面；在金融领域中，神经网络被用于股票价格预测、风险评估、欺诈检测等方面；在游戏领域中，神经网络被广泛用于图像处理、行为预测等方面。
神经网络在这些领域中具有较高的精度和灵活性，成为了人工智能技术中不可或缺的一部分。
2.深度学习技术的广泛应用深度学习作为神经网络技术的分支之一，逐渐成为了人工智能应用的主流。
深度学习通过多个隐层来逐步提取数据的高层次特征，大幅度提高了模型的准确性和鲁棒性。
目前，深度学习模型已经迅速应用于语音识别、机器翻译、自然语言处理、图像、视频等多个领域中。
深度学习的发展极大地促进了人工智能技术的研究和应用。
3.大数据技术的支持大数据技术是神经网络技术得以快速发展和应用的重要因素。
神经网络需要大量的数据进行训练和调整，而大数据时代的到来使得海量数据的存储和挖掘变得更加容易。
此外，人工智能应用也逐渐从精准分析转向预测和决策，并需要从大规模数据中发现规律和趋势。
大数据技术在神经网络技术的发展和应用中发挥了重要的作用。
三、神经网络的发展趋势1.自适应神经网络的发展传统的神经网络技术需要大量的人工调试和参数设置，而自适应神经网络技术可以根据自身的表现动态调整参数，自我进化。
人工神经网络的发展综述作者：夏瑜潞来源：《电脑知识与技术》2019年第20期摘要：人工神经网络（ANN）是人工智能领域中十分重要的运算模型，ANN通过模拟人类大脑的结构和逻辑，来处理复杂的问题。
本文首先介绍了ANN的起源和发展，其次描述了全连接神经网络和深度神经网络的结构，其中具体介绍了卷积神经网络及其应用，最后探讨了ANN的未来发展目标，并提出了对未来工作的期望。
关键词：人工智能;神经网络;卷积神经网络;图像识别中图分类号：TP391; ; ; 文献标识码：A文章编号：1009-3044（2019）20-0227-03开放科学（资源服务）标识码（OSID）：Abstract： Artificial neural networks （ANNs） are important computational models in the field of artificial intelligence. ANNs deal with complex problems by simulating the structure and logic of the human brain. This paper first introduces the origin and development of ANN， and secondly describes the structure of fully connected neural network and deep neural network. The convolutional neural network and its application are introduced in detail. Finally， it discusses the future development goals of ANN and puts forward expectations for future work.Key words： Artificial Intelligence; Neural Network; Convolutional Neural Networks; Image Recognition1引言实现人工智能（Artificial Intelligence，AI）是人类长期以来共同追求的目标。
本栏目责任编辑：唐一东人工智能及识别技术Computer Knowledge And Technology 电脑知识与技术2008年第4卷第3期（总第30期）人工神经网络研究与发展综述王辉（新疆石油学院，新疆乌鲁木齐830000）摘要：本文综述了神经网络理论发展的历史和现状，讨论了人工神经网络的两个主要研究方向:神经网络的VC 维计算和神经网络的数据挖掘，也介绍了神经网络计算理论、方法、应用等不同层面的一些重要研究领域。
关键词：神经网络；VC 维；数据挖掘中图分类号：TP183文献标识码：A 文章编号：1009-3044(2008)30-0710-02A Review of the Research and Development of the Artificial Neural Nets WANG Hui(Xinjiang Petroleum Institute,Urumqi 830000,China)Abstract:This paper reviews the history and the current situation of the theory of neural nets.It discusses two aspects:the Vapnik-Cher -vonenkis dimension calculation and the data mining in neural nets.It also touches upon such research areas as calculation theory,methods and application of neural nets.Key words:neural nets;Vapnik-Chervonenkis dimension;Data Mining1引言本世纪初，科学家们就一直探究大脑构筑函数和思维运行机理。
特别是近二十年来。
对大脑有关的感觉器官的仿生做了不少工作，人脑含有数亿个神经元，并以特殊的复杂形式组成在一起，它能够在计算某些问题（如难以用数学描述或非确定性问题等）时，比目前最快的计算机还要快许多倍。
大脑的信号传导速度要比电子元件的信号传导要慢百万倍，然而，大脑的信息处理速度比电子元件的处理速度快许多倍，因此科学家推测大脑的信息处理方式和思维方式是非常复杂的，是一个复杂并行信息处理系统。
1943年McCulloch 和Pitts 结合了神经生理学和数理逻辑的研究描述了一个神经网络的逻辑演算。
他们的神经元模型假定遵循一种所谓“有或无”(all-or-none)规则。
如果如此简单的神经元数目足够多和适当设置突触连接并且同步操作，McCulloch 和Pitts 证明这样构成的网络原则上可以计算任何可计算的函数，这标志着神经网络学科的诞生。
2发展历史及现状2.1人工神经网络理论的形成早在40年代初，神经解剖学、神经生理学、心理学以及人脑神经元的电生理的研究等都富有成果。
其中，神经生物学家McCulloch 提倡数字化具有特别意义。
他与青年数学家Pitts 合作[1]，从人脑信息处理观点出发，采用数理模型的方法研究了脑细胞的动作和结构及其生物神经元的一些基本生理特性，他们提出了第一个神经计算模型，即神经元的阈值元件模型，简称MP 模型，他们主要贡献在于结点的并行计算能力很强，为计算神经行为的某此方面提供了可能性，从而开创了神经网络的研究。
50年代初，神经网络理论具备了初步模拟实验的条件。
Rochester ，Holland 与IBM 公司的研究人员合作，他们通过网络吸取经验来调节强度，以这种方式模拟Hebb 的学习规则，在IBM701计算机上运行，取得了成功，几乎有大脑的处理风格。
但最大规模的模拟神经网络也只有1000个神经元，而每个神经元又只有16个结合点。
再往下做试验，便受到计算机的限制。
人工智能的另一个主要创始人Minsky 于1954年对神经系统如何能够学习进行了研究，并把这种想法写入他的博士论文中，后来他对Rosenblatt 建立的感知器(Perceptron)的学习模型作了深入分析。
2.2第一阶段的研究与发展1958年计算机科学家Rosenblatt 基于MP 模型，增加了学习机制，推广了MP 模型。
他证明了两层感知器能够将输入分为两类，假如这两种类型是线性并可分，也就是一个超平面能将输入空间分割，其感知器收敛定理：输入和输出层之间的权重的调节正比于计算输出值与期望输出之差。
他提出的感知器模型，首次把神经网络理论付诸工程实现。
1960年Widrow 和Hoff 提出了自适应线性元件ADACINE 网络模型，是一种连续取值的线性网络，主要用于自适应系统。
他们研究了一定条件下输入为线性可分问题，期望响应与计算响应的误差可能搜索到全局最小值，网络经过训练抵消通信中的回波和噪声，它还可应用在天气预报方面。
这是第一个对实际问题起作用的神经网络。
可以说，他们对分段线性网络的训练有一定作用，是自适应控制的理论基础。
Widrow 等人在70年代，以此为基础扩充了ADALINE 的学习能力，80年代他们得到了一种多层学习算法。
Holland 于1960年在基因遗传算法及选择问题的数学方法分析和基本理论的研究中，建立了遗传算法理论。
遗传算法是一种借鉴生物界自然选择和自然遗传机制的高度并行、随机、自适应搜索算法，从而开拓了神经网络理论的一个新的研究方向。
1976年Grossberg 提出自适应共振理论(ART)，这是感知器较完善的模型，即superrised 学习方式。
本质上说，仍是一种unsuperrised 学习方式。
随后，他与Carpenter 一起研究ART 网络，它有两种结构ART1和ART2，能够识别或分类任意多个复杂的二元输入图像，其学习过程有自组织和自稳定的特征，一般认为它是一种先进的学习模型。
另外还有Werbos 提出的BP 理论以及提出的反向传播原理；收稿日期：2008-08-01作者简介：王辉，男，新疆石油学院计算机科学与技术系资深讲师，1998年于西安石油大学计算机系获得工学士，现于北京石油大学计算机系攻读硕士，一直致力于软件技术开发的研究，主要研究方向：人工智能，神经网络，软件设计模式与构架。
ISSN 1009-3044Computer Knowledge And Technology 电脑知识与技术Vol.4,No.3,October 2008,pp.710-711E-mail:eduf@ Tel:+86-551-56909635690964710王辉：人工神经网络研究与发展综述Fukushima提出了视觉图象识别的Neocognitron模型这些研究成果坚定的神经网络理论的继续研究。
2.3第二次研究的高潮阶段Hopfield于1982年至1986年提出了神经网络集体运算功能的理论框架，随后，引起许多学者研究Hopfield网络的热潮，对它作改进、提高、补充、变形等，至今仍在进行，推动了神经网络的发展。
1983年Kirkpatrick等人先认识到模拟退火算法可应用于NP 完全组合优化问题的求解。
这种思想最早是由Metropolis等人在1953年提出的，即固体热平衡问题，通过模拟高温物体退火过程的方法，来找全局最优或近似全局最优，并给出了算法的接受准则。
这是一种很有效的近似算法。
1984年Hinton等人提出了Boltzmann 机模型，借用统计物理学中的概念和方法，引入了模拟退火方法，可用于设计分类和学习算法方面，并首次表明多层网络是可训练的。
Sejnowski于1986年对它进行了改进，提出了高阶Boltzmann机和快速退火等。
1986年Rumelhart和McClelland合著的Parallel Distributed Processing:Exploratio n in the Microstructures of Cognition两卷书出版，对神经网络的进展起了极大的推动作用。
它展示了PDP研究集团的最高水平，包括了物理学、数学、分子生物学、神经科学、心理学和计算机科学等许多相关学科的著名学者从不同研究方向或领域取得的成果。
他们建立了并行分布处理理论，主要致力于认知的微观研究。
尤其是，Rumelhart提出了多层网络Back-Propagation法或称Error Propagation法，这就是后来著名的BP算法。
2.4新发展阶段90年代以来，人们较多地关注非线性系统的控制问题，通过神经网络方法来解决这类问题已取得了突出的成果，它是一个重要的研究领域。
1990年Narendra和Parthasarathy提出了一种推广的动态神经网络系统及其连接权的学习算法，它可表示非线性特性，增强了鲁棒性。
他们给出了一种新的辨识与控制方案，以multilayer网络与recarrent网络统一的模型描述非线性动态系统，并提出了动态BP参数在线调节方法。
尤其是进化计算的概念在1992年形成，促进了这一理论的发展。
1993年诞生了国际性杂志Evo-lutionary Computation。
近几年它成为一个热点研究领域。
1993年Yip和Pao提出了一种带区域指引的进化模拟退火算法，他们将进化策略引入区域指引，它经过选优过程，最终达到求解问题的目的。
从上述各个阶段发展轨迹来看，神经网络理论有更强的数学性质和生物学特征，尤其是神经科学、心理学和认识科学等方面提出一些重大问题，是向神经网络理论研究的新挑战，因而也是它发展的最大机会。
90年代神经网络理论日益变得更加外向，注视着自身与科学技术之间的相互作用，不断产生具有重要意义的概念和方法，并形成良好的工具。
3神经网络的发展趋势3.1神经网络VC维计算神经计算技术已经在很多领域得到了成功的应用，但由于缺少一个统一的理论框架，经验性成分相当高。
最近十年里，很多研究者都力图在一个统一的框架下来考虑学习与泛化的问题。
PAC(Probably Approximately Correct)学习模型就是这样一个框架。
作为PAC学习的核心以及学习系统学习能力的度量，VC维(Vapnik-Chervonenkis dimension)在确定神经网络的容量(capacity)、泛化能力(generalization)、训练集规模等的关系上有重要作用。
如果可以计算出神经网络的VC维，则我们可以估计出要训练该网络所需的训练集规模；反之，在给定一个训练集以及最大近似误差时，可以确定所需要的网络结构。
Anthony将VC维定义为：设F为一个从n维向量集X到{0,1}的函数族，则F的VC维为X的子集E的最大元素数，其中E满足：对于任意S哿E，总存在函数f s∈F，使得当x∈S时f s(x)=1，x埸S但x∈E时f s(x)=0。
