神经网络最新发展综述
学校：上海海事大学
专业：物流工程
姓名：周巧珍
学号：201530210155
神经网络最新发展综述
摘要：作为联接主义智能实现的典范，神经网络采用广泛互联的结构与有效的学习机制来模拟人脑信息处理的过程，是人工智能发展中的重要方法，也是当前类脑智能研究中的有效工具。目前，模拟人脑复杂的层次化认知特点的深度学习成为类脑智能中的一个重要研究方向。通过增加网络层数所构造的“深层神经网络”使机器能够获得“抽象概念”能力，在诸多领域都取得了巨大的成功，又掀起了神经网络研究的一个新高潮。本文分8个方面综述了其当前研究进展以及存在的问题，展望了未来神经网络的发展方向。
关键词: 类脑智能；神经网络；深度学习；大数据
Abstract: As a typical realization of connectionism intelligence, neural network, which tries to mimic the information processing patterns in the human brain by adopting broadly interconnected structures and effective learning mechanisms, is an important branch of artificial intelligence and also a useful tool in the research on brain-like intelligence at present. Currently, as a way to imitate the complex hierarchical cognition characteristic of human brain, deep learning brings an important trend for brain-like intelligence. With the increasing number of layers, deep neural network entitles machines the capability to capture “abstract concepts” and it has achieved great success in various fields, leading a new and advanced trend in neural network research. This paper summarizes the latest progress in eight applications and existing problems considering neural network and points out its possible future directions.
Key words : artificial intelligence; neural network; deep learning; big data
1 引言
实现人工智能是人类长期以来一直追求的梦想。虽然计算机技术在过去几十年里取得了长足的发展，但是实现真正意义上的机器智能至今仍然困难重重。伴随着神经解剖学的发展，观测大脑微观结构的技术手段日益丰富，人类对大脑组织的形态、结构与活动的认识越来越深入，人脑信息处理的奥秘也正在被逐步揭示。如何借助神经科学、脑科学与认知科学的研究成果，研究大脑信息表征、转换机理和学习规则，建立模拟大脑信息处理过程的智能计算模型，最终使机器掌握人类的认知规律，是“类脑智能”的研究目标。
类脑智能是涉及计算科学、认知科学、神经科学与脑科学的交叉前沿方向。类脑智能的
实现离不开大脑神经系统的研究。众所周知，人脑是由几十多亿个高度互联的神经元组成的复杂生物网络，也是人类分析、联想、记忆和逻辑推理等能力的来源。神经元之间通过突触连接以相互传递信息，连接的方式和强度随着学习发生改变，从而将学习到的知识进行存储。模拟人脑中信息存储和处理的基本单元-神经元而组成的人工神经网络模型具有自学习与自组织等智能行为，能够使机器具有一定程度上的智能水平。神经网络的计算结构和学习规则遵照生物神经网络设计，在数字计算机中，神经细胞接收周围细胞的刺激并产生相应输出信号的过程可以用“线性加权和”及“函数映射”的方式来模拟，而网络结构和权值调整的过程用优化学习算法实现。按照该方式建立的这种仿生智能计算模型虽然不能和生物神经网络完全等价和媲美，但已经在某些方面取得了优越的性能。
目前神经网络已经发展了上百种模型，在诸如手写体识别、显著性检测、语音识别和图像识别、模式识别、人机交互、优化算法、深度学习等技术领域取得了非常成功的应用。2.各领域简单介绍
2.1手写体识别
2009年，认识到自由手写文本是一个具有挑战性的任务。草书分割或重叠的字符的困难，与需要利用周围的环境相结合，导致了较低的识别率，即使是当时最好的识别。Graves Alex等人[1]提出了一种基于一种新型的递归神经网络，专门为序列标注任务设计的，其中数据是很难段和含有远距离双向的相互依存关系的一种方法。在两个大型无约束手写数据库的实验中，该方法实现了对在线数据79.7％，而上的脱机数据74.1％的单词识别精度，显著超越国家的最先进的基于HMM的系统。此外，证明了网络的鲁棒性词汇的大小，测量其隐层的个人影响力。
2010年，Ciresan D.C.等人[2]使用整个未变形的训练集进行验证，不浪费训练图像。原始灰度图像的像素强度的范围从0（背景）到255（最高前景强度）。每幅图像的28×28 =784个像素被映射到真实值在[1.0，1.0]，和被馈送到对NN输入层。使用2至9隐藏层和单位数目不等的隐藏单元来培养MLPs，。大多是每一层隐藏单元的数量向输出层（表1）降低，但不都是这样。结合AF NE（旋转，缩放和水平剪切）和弹性变形，在每一个初划时代整个MNIST训练集被变形。小型网络初步实验得到一些参数。表1的结果表明：极具竞争力的MNIST手写基准，单精度浮点基于GPU的神经网络超越所有先前报告的结果，其中包括涉及专门的架构，无监督的训练前，学习机等分类训练集足够大小的组合更为复杂的方法获得的通过适当地变形的图像被获得。当然，这种方法并不局限于手写，显然为许多视觉和其他
模式识别问题带来了很大的希望。
表1 MNIST测试的错误率
2012年，Alexander Goltsev等人[3]对图像识别（名为里拉的功能）的手写体数字识别的任务进行了研究。两个神经网络分类被认为-改性3层感知里拉和模块化组件的神经网络。提出的特征选择的方法，用于分析形成在神经网络分类器的初步学习过程的连接权重。在使用的手写体数字的MNIST数据库的实验中，特征选择过程允许减少的特征数目（从60000至7000）保可比的识别能力，同时加速计算。里拉感知和模块化装配神经网络的实验比较完成的，这表明了模块化组装神经网络的识别能力是有所好转。
2.2显著性检测
2015年，Wang L.J等人[4]由局部估计和全局搜索整合提出了一个深度网络的显著性检测算法。在局部估计阶段，我们通过使用局部学习功能的补丁，在全局搜索阶段，局部的显着图与全局的对比度和几何信息一起作为整体特征描述SETOF目标和IDATE区域.深层神经网络（DNN-G）进行训练来进行预测。如图1。
图1 局部估计和全局搜索结合结构图
由于低层次的显著性线索或先验不能够产生足够好的显着性检测结果，特别是当显著对象在低对比度的背景与混乱的视觉外观中的时候。Zhao R等人[5]提出一个为显著
性检测的多情景深度学习框架，该框架采用深度卷积神经网络在图像中去检测目标的显著性，全局背景和局部背景综合考虑，共同塑造一个统一的多背景深度学习框架。为深度卷积神经网络提供更好的初始化，探究了不同的预训练策略和一个设计用多背景模型适应显著性检测的特殊任务预训练方案。在五个公共数据集实验，结果表明不错。
整体多环境模型：
超像素中心的输入窗口的预测是通过估计显着性概率执行的。
score(x gc , x lc ) = P(y = 1 | x gc , x lc ; θ 1 ), （1）
x gc,x lc分别是全局背景和局部背景模型倒数第二层的输出，y是中心超像素的显著性预测，
y=1时是显著性超像素，y=0时是背景。
训练了一个二元分类在最后一个网络层的顶部，为了分类背景和显著性，通过在分类结果和全局标签之间统一的函数的最小值。
L( θ; {x (i)gc ,x(i)lc,y (i) } mi=1 ) （2）
框架的参数可以分为几个部分。
θ j = { w gc,j , w lc,j , α, β} w gc，j是全局背景模型中神经网络的最后一层参数，
w lc,j是局部背景模型的最后一层参数，α,β是一个含糊不清的模型功能控制局部背景模型的需要的参数。
目的是推断标签的概率同时通过俩个组件。
2.3语音识别
隐马尔可夫模型（HMM）已经被国家认可的声学建模的最先进的技术，尽管他们不切实际的独立性假设和隐藏状态的非常有限的代表能力。坚定信念网络（动态贝叶斯）被证明是对各种机器学习问题非常有效，Mohamed A.R等人[6]在2011年采用动态Bayesian声学建模。在标准TIMIT语料库，动态贝叶斯网在TIMIT核心试验等的电话实现了23.0％的错误率。
高斯混合模型是用于模拟隐马尔可夫模型的语音识别的发光分布的显性技术。Mohamed A.R[7]在2012年证明，在TIMIT数据集可以通过包含的特征和非常大量的参数，用
很多层深神经网络代替高斯混合模型来实现更好的手机识别。这些网络的第一预训练如光谱特征向量的窗的多层生成模型，而不利用任何区别信息。一旦生成前培训设计的功能，使用反向传播小幅调整功能，在预测单音隐马尔可夫模型的状态的概率分布时进行微调，以使他们更好地进行判别。
E v ,? θ =? w ij H j =1V i =1v i ?j ? b i v i V i =1? a j ?j H j =1 (1)
P v θ = e ?E (v ,?))
? e ?u (2)
P ?j =1 v ,θ =σ(a j + w ij V i =1v i ) (3) P v i =1 ?,θ =σ(b i + w ij H j =1?j ) (4) ?w ij ∞
P v i ?,θ =N ( b i + w ij H j =1?i ,1) (7)
Dahl G.E.等人[8]在2012年提出了一种新的上下文相关（CD ）模型，它采用深信念网络进行电话确认,对大词汇量语音识别（LVSR ）。该坚定信念网络训练前的算法是一个强大的和经常有用的方法来初始化深神经网络，可以帮助优化并降低泛化误差。在一个具有挑战性的商业搜索数据实验显示，CD-DNN-HMM 模型可以显著优于传统的语境依赖性高斯混合模型（GMM ）-HMMs ，精度提高5.8％和9.2％。
图2 混合架构图
2.4图像识别
2009年，Lisheng Xu等人[9]为了在脉诊用小样本自动区分脉冲模式，根据专家的中国传统脉诊知识脉冲图像进行分类的模糊神经网络的设计。所设计的分类器可以使硬判定和软判定识别精度在90.25％，这比由反向传播神经网络所取得的结果有更好的识别精度。
2010年，R. Thilepa等人[10]将ART1神经网络算法用于识别彩色图像，从而加快了图像处理与识别进程的进程。一般的自适应共振理论-1（ART-1）网络仅用于处理二进制数位，但是他们也将其用于图像识别。给定的事实限制信息的丢失，两种不同颜色的其中一个原始图像内可表示为识别过程二进制颜色的相同的值。方法具有吸引力是因为它的低计算开销和改进的性能，克服了具有较少数目的神经元的神经网络的一些问题。
Holota, Radek[11]在2012年，研究了利用神经网络对彩色图像识别的可能性。提出了一种新的修改后单一层，适合在（色相饱和度值）HSV 颜色空间，识别的最小/最大节点。
2.5模式识别
蛋白质是具有不同功能的关键生物分子。以生产更多的数据（基因组学，蛋白质组学）更新的技术不是可以手动注释，预测其结构的硅片的方法和有它们的功能后，已被命名结构生物信息学的圣杯。成功的二级结构预测提供了直接的三级结构建模的起点；此外，它提高了序列分析和序列结构的结构和功能测定结合。使用机器学习和数据挖掘过程中，P.V. Nageswara Rao等人[12]在2010年开发了基于统计了从组件氨基酸序列预测蛋白质二级结构模式识别技术。通过应用这种技术，Q8的业绩得分达到了72.3％。这与其他建立的技术当预测是在单个序列单独作出比较好，如NN-I和GOR IV其中实现的Q3分值分别64.05％和63.19％。
Carrieri A H[13]在2008年将人工神经网络的系统建立用于在穆勒矩阵的形式可以通过偏振光散射签名模式识别检测氨基酸，糖，和其它固体有机物。向后误差传播和自适应梯度下降的方法进行网络训练。培训的产物是一个权重矩阵，当作为一个过滤器施加洞察分析物的其线索易感穆勒矩阵差元素的基础上的存在。此滤波器功能可以被实现为软件或硬件模块，以将来差分吸收穆勒矩阵光谱仪。
训练对R中区分两个不相交集的径向基函数（RBF）神经网络问题（N），网络参数可通过最小化测量成功的在识别的训练模式的给定数量的程度的误差函数来确定。Lampariello F, 和Sciandrone M[14]在2008年考虑到分类问题，其中目标是获得该网络的输出采取高于或低于固定阈值的具体特征，提出了一种方法替代一个利用最小二乘的误差函数。特别是，该
问题在非线性不等式的系统，以及一个适当的误差函数，它仅取决于违反不等式的形式配制，结果表明，在模式识别RBF网络训练了该方法的有效性，主要是在节省计算时间方面。
2.6人机交互
2008年，Peter Wentworth[15]提出手势点矢量化过程。n（X，Y）输入序列坐标进行预处理到载体序列，然后将其传递到用于分类训练的神经网络。相比原始（X，Y），使用的这个手势识别坐标性能提高。也可以引入缩放以提高性能。下表列出了代表一个手势点的矢量。
图3 手势矢量化过程
手势识别是开发替代人机交互的重要方式。它使人类以更自然的方式与机器的接口。用于识别人的手势，有几种算法是可用的。有使用MATLAB进行手势识别几种方法。人工神经网络有在不断变化的环境的灵活性。2011年，Shweta K. Yewale 等人[16]提出了人工神经网络的手势识别的概述。它也描述了使用神经网络手势识别的方法。人工神经网络适用于多变量非线性问题。它有一个快速的计算能力。神经网络的泛化的能力使他们的手势识别的自然。
图4 手势识别系统
由于要达到简化计算机的使用和全面提升用户体验的目的，人机界面变得越来越复杂。研究表明，大多数人机交互来自非语言通信，用户情绪检测是可以采取提升整体用户体验的一个方向。M. Karthigayan等人[17]在2008年提出，通过施加边缘检测和用于确定最佳正确和不正确省略号遗传算法能精确描述的眼睛和嘴部的形状获得的面部区域信息的某些方法。Damir Filko,和Goran Martinovic′[18]在2013年运用主成分分析和神经网络分析关键的面部区域提出了人类情感识别的系统。所提出的系统已经被训练并在FEEDTUM数据库上进行测试，
并取得了正确识别比较高的平均分，因此表现出对未来发展的诺言。
图5 使用图片自动识别人的情感的系统
2.7优化算法
单数的非线性优化虽然在很多实际应用中经常遇到，但一直都是一个难题。在过去的几十年中，经典的数字技术已被提出以处理单数的问题。然而，由于数值不稳定和计算复杂度高的问题，一直没有找到满意的解决方案为止。2013年，Rendong Ge[19]考虑有界变量的约束，而不是常见的无约束模型单优化问题，提出一种新的神经网络模型解决有界变量的凸优化问题。在一个秩缺陷的假设，原本困难的问题是通过强制执行期限转化为非单数约束优化问题。通过使用增广拉格朗日方法和投影技术，证明了所提出的连续模型可以解决单数的优化问题。数值模拟进一步证实所提出的神经网络的方法的有效性。
图6 所提出的神经网络模型的逻辑图
Alireza Hosseini[20]在2016年提出了一种基于包容差异的神经网络融合的方法解决非光滑优化问题。对于一般的微分，证明了如果它的右手边集值映射满足一定的条件，那么，微分包含解轨迹收敛到最优解集的优化问题相应的应对措施。基于所获得的方法论，介绍了求解非光滑优化问题的新递归神经网络。目标函数并不需要对R N为凸起也没有新的神经网络模型，不需要任何惩罚参数。此外对于微的情况下，实施了新的神经网络的电路图。
2016年，?ukasz Dr?g[21]提出利用人工神经网络，提出来控制有效载荷的位置的优化。
2.8深度学习
深度学习算法应用到遥感图像分类[22]、多媒体检索[23]、交通流预测[24]和盲图像质量评价[25]等领域，取得了较传统方法更优的效果。
纽约大学的Yann LeCun、蒙特利尔大学的Yoshua Bengio 和斯坦福大学的Andrew Ng等人分别在深度学习领域展开了研究，并提出了自编码器[26,27,28,29,30]、深度置信网[31,32,33,34,35]、卷积神经网络等深度模型[36,37,38,39,40]，在多个领域得到了应用。
图7 自编码示意图
自编码器（Autoencoder）是一种无监督的特征学习网络，它利用反向传播算法，让目标输出值等于输入值，其结构如图7所示。自编码器试图学习一个恒等函数，当隐藏层的数目小于输入层的数目时可以实现对信号的压缩表示，获得对输入数据有意义的特征表示。通常隐层权值矩阵和输出层权值矩阵互为转置，这样大大减少了网络的参数个数。当输入数据中包含噪声时，自编码器的性能将会受到影响。为了使自编码器更加鲁棒，2008 年Yoshua Bengio 等人提出了去噪自编码器（Denoising Autoencoder）的概念，在输入数据进行映射之前先对其添加随机噪声，然后将加噪后的数据进行编码和解码操作，并希望解码出来的输出信号能够逼近原来的干净输入信号。去噪自编码器的原理图如图8所示。
图8 去噪声自编码器示意图
其中，x是原始信号，*x 是加噪后的信号，h 是编码后的信号，y 是解码后的信号，d(x,y)是原始信号和解码后信号的差异，通常希望其越小越好。通过在原始信号中加入一定量的随机噪声来模拟真实数据中存在的干扰，可以更加鲁棒地从数据中学习到有意义的特征。如果将稀疏性引入到自编码器中还可以得到另一种被称为稀疏自编码器（Sparse Autoencoder）的网络，这种网络限制每次获得的编码尽量稀疏，从而来模拟人脑中神经元刺激和抑制的规律。同时，将若干个自编码器堆叠在一起可以形成栈式自编码器，这种深层网络能学习到输入信号的层次化表示，更有利于提取数据中所蕴含的抽象特征。一个简单的栈式自编码器的结构如图9所示。首先，将原始数据x输入到栈式自编码器中，通过第一层的编码得到原始数据的一阶特征表示1h ，然后将此一阶特征作为下一个自编码器的输入，对其进行进一步的编码得到二阶特征2h ，如此重复进行直到编码完毕。编码后的各阶特征便构成了对原始数据的层次化描述，可以用于后续的分类和识别任务中。在训练阶段，首先从第一层开始，按照单个自编码器的训练方式逐层训练网络参数，接着将最后一层的输出和期望输出的误差进行逐层反向传播，微调网络各层的参数。
图9 栈式自编码器示意图
Deliang Wang等人[41]使用深度神经网络估计语音的非负激活矩阵，用以从噪声中提取干净语音信息，并获得了比Masking 和NMF 方法更好的提取效果。Wanli Ouyang 等人[42]将行人检测问题中的特征提取、变形和遮挡处理以及分类四个模块统一于深度学习框架之下，通过各部分之间的协同来达到整体性能的提升，并在最大的行人检测数据库Caltech上，以9%的优势超越之前最好的方法。类似地，在姿态估计问题上也将视觉表象得分、表象混合类型和变形三类信息结合起来，统一于多源深度模型之中，在三组基准数据集上较现有方法性能提高8.6%[43]。Naiyan Wang 等人[44]通过离线的方式从自然图像中训练了用于描述待跟踪物体特征的堆栈去噪自编码器，在复杂场景中可以提取出更加通用的特征用于分类，并在一些具有挑战性的视频序列上获得了比经典方法更准确的跟踪精度和更低的时间开销。Yi Sun等人[45]将卷积神经网络和受限玻尔兹曼机结合起来，组成了混合的深度神经网络用于人脸验证，在LFW数据集上获得了更优的验证性能。在通用结构的设计上，Yangqing Jia等人[46]开发了深度卷积网络模型Caffe，可用于大规模工业应用领域，并且已被用作多个问题的求解方案。Jie Zhang 等人[47]提出了Coarse-to-fine 的自编码网络CFAN 用于人脸对准，首先用第一组堆栈自编码网络（Stacked Auto-encoder Networks, SANs）来快速预测脸部的特征点，之后用第二组堆栈自编码网络来对其修正，在三组数据集上CFAN都取得了实时且最优的性能。在遥感领域，Jun Yue等人将卷积神经网络用于高光谱图像分类[48]、Weixun Zhou 等人将自编码器用于高分辨遥感影像的检索任务[49]，并获得了较为满意的分类和检索结果。目前，深度网络的自动特征提取能力正受到自然、生物医学和遥感等多个领域的广泛关注，并且基于深度网络的方法在多个任务上都显示出了优越的性能，在未来将会有更加广阔的应用前景[51,52]。
3总结和展望
作为联接主义智能实现的典范，人工神经网络采用广泛互联的结构与有效的学习机制来模拟人脑智能信息处理的过程，是人工智能发展历程中的重要方法，也是类脑智能研究中的有效工具。本文介绍了神经网络在近年发展状况。未来基于神经网络的类脑智能的研究还有许多亟待解决的问题与挑战：
（1）认知神经网络
尽管深度神经网络在语音识别和图像/视频识别等任务中显示出很大的成功，现有的人工神经网络结构还远远不及生物神经网络结构复杂，仍然是对生物神经系统信息处理的初级模拟，这是制约神经网络智能化水平的一个重要瓶颈。目前深层神经网络仅能完成一些简单的语音与视觉理解任务，在理论上还存在很多局限，训练网络的学习算法目前也十分有限。另一方面，神经认知计算科学对视觉注意力、推理、抉择、学习等认知功能的研究方兴未艾。如何从脑科学和神经认知科学寻找借鉴，从理论上发展出功能更加强大的类脑计算模型如认知神经网络，来解决人工智能面临的局限，将有可望实现更高层次的类脑智能。
（2）主动神经网络
生物个体在于环境接触过程中，智能水平会得到提高。人脑可以在没有监督信息时主动地从周围环境中学习，实现对客观世界中物体的区分。因此，如果要实现更加高级的智能行为，现有神经网络的发展需要突破利用神经元与网络结构的结构模拟思路，从结构模拟向功能模拟乃至行为模拟转换，借鉴人与环境之间的交互过程，主动且自动的完成增强学习，以摆脱对监督信息的依赖，在更严苛的环境下完成学习任务，这也是实现高级类脑智能的可能途径。
（3）感知-理解-决策神经网络
类脑智能行为可以大概归结为“感知”、“理解”与“决策”三个方面。目前的神经网络模型的功能大都局限在对数据的理解层面，而事实上一个高级的智能机器应该具有环境感知与推理决策的功能。如何发展具有环境感知、数据理解以及推理决策能力的网络模型，也是实现高级类脑智能的必然要求。
（4）复杂神经网络实现
机器计算能力的提高曾经将神经网络重新拉回大众关注的视野。对于许多互联网公司来说，如何实现对海量大数据的快速高效训练是深层神经网络走向实用化的重要标志。现有的Hadoop 平台不适合迭代运算、SGD 又不能依并行方式工作、而GPU 在训练DNN 时仍然显得比较吃力。同时，平台的能耗问题也成为制约其进一步发展的主要因素。为迎接未来深度学习在产业化过程中的挑战，高性能并行加速计算平台的开发成为当务之急。另一方面，
生物神经元之间的连接带有随机和动态性，而不是如人工神经网络那样确定和一成不变，如何用计算机硬件或者算法来模拟这一过程虽极具挑战但意义重大。
（5）深度神经网络
深层神经网络一个最主要的特点在于其具有大量可调的自由参数，这使得其构建起的模型具有较高的灵活性。但另一方面却缺乏有力的理论指导和支撑，大多数情况下仍过分依赖于经验，带有一定程度的随机性。如此复杂的模型很容易在特定数据集上得到近乎理想的拟合效果，然而在推广泛化性能上却往往很难得到保障。为防止过拟合带来的问题，今后应当在数据的规模、网络的结构以及模型的正则化等方面开展工作，使得深度神经网络更好地发挥其功能。
（6）大数据深度学习
深度学习的兴起很大程度上归功于海量可用的数据。当前，实验神经科学与各个工程应用领域给我们带来了呈指数增长的海量复杂数据，通过各种不同的形态被呈现出来（如文本、图像、音频、视频、基因数据、复杂网络等），且具有不同的分布，使得神经网络所面临的数据特性发生了本质变化。这给统计学习意义下的神经网络模型的结构设计、参数选取、训练算法，以及时效性等方面都提出了新的挑战。因此，如何针对大数据设计有效的深度神经网络模型与学习理论，从指数增长的数据中获得指数增长的知识，是深度学习深化研究中必须面临的挑战。
参考文献
[1] Graves A., Liwicki M., Fernandez S. et al., A novel connectionist system for unconstrained handwriting recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(5): 855-868
[2] Ciresan D.C., Meier U., Gambardella L.M. and Schmidhuber J.. Deep, big, simple neural nets for handwritten digit recognition. Neural Computation, 2010, 22(12): 3207-3220 [3] Alexander Goltsev,Vladimir Gritsenko.Investigation of efficient features for image recognition by neural networks. Neural Networks, 2012:28
[4] Wang L.J., Lu H.C., Ruan X. and Yang M.H.. Deep networks for saliency detection via local estimation and global search. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Boston, USA, 2015: 3183-3192
[5] Li G.B. and Yu Y.Z.. Visual saliency based on multiscale deep features. Proceedings of the
IEEE Conference on Computer Vision and Pattern Recognition. Boston, USA, 2015: 5455-5463
[6] Zhao R., Ouyang W.L., Li H.S. and Wang X.G.. Saliency detection by multi-context deep learning. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Boston, USA, 2015: 1265-1274
[7] Mohamed A.R., Dahl G. and Hinton G.E.. Deep belief networks for phone recognition. Proceedings of the IEEE International Conference on Acoustics, Speech and Signal Processing. Prague, Czech Republic, 2011:5060-5063
[8] Mohamed A.R., Dahl G. and Hinton G..E. Acoustic modeling using deep belief networks. IEEE Transactions on Audio, Speech, and Language Processing, 2012, 20(1):14-22 [9] LiahengXu, Max Q.-H. Meng, Kuanquan Wang, Lu Wang,Naiminili . Pulse images recognition using fuzzy neural network. Expert Syst. Appl.,2009:36
[10] R. Thilepa, M. Thanikachalam. A New Process of Color Images Recognition by Using ART-1 Neural Network. Computer and Information Science, 2010, 4: 1
[11] Holota, Radek.COLOUR IMAGE RECOGNITION BASED ON SINGLE-LAYER NEURAL NETWORKS OF MIN/MAX NODES. Neural Network World, 2012, 22 (4):395-405
[12] P.V. Nageswara Rao et. al. Protein Secondary Structure Prediction using Pattern Recognition Neural Network. International Journal of Engineering Science and Technology, 2010, 2(6): 1752-1757
[13] Carrieri A H.Neural network pattern recognition by means of differential absorption Mueller matrix spectroscopy. Applied optics, 2008, 38 (17):3759-66
[14] Lampariello F, Sciandrone M.Efficient training of RBF neural networks for pattern recognition. IEEE Transactions on Neural Networks, 2008, 12 (5):1235-42
[15]Peter Wentworth, An Investigation into Gesture Recognition in BingBee using Neural Nets in MATLAB. RHODES University, 2008,11
[16]Shweta K. Yewale et al. ARTIFICIAL NEURAL NETWORK APPROACH FOR HAND GESTURE RECOGNITION. International Journal of Engineering Science and Technology (IJEST),2011,3(4) [17] M. Karthigayan, M. Rizon, R. Nagarajan, and S. Yaacob, Genetic algorithm and neural network for face emotion recognition. Affective Computing, 2008: 57–68
[18] Damir Filko, Goran Martinovic′.Emotion Recognition System by a Neural Network Based
FacialExpression Analysis. AUTOMATIKA ,2013, 2(54), 263–272
[19] Rendong Ge#, Lijun Liu, Yi Xu. Neural Network Approach for Solving Singular Convex Optimization with Bounded Variables.Open Journal of Applied Sciences, 2013, (3):285-292 [20] Alireza Hosseini. A non-penalty recurrent neural network for solving a class of constrained optimization problems.Neural Networks, 2016, 73
[21] Lukasz Dr?g. Model of an artificial neural network for optimization of payload positioning in sea waves. Ocean Engineering, 2016
[22] Chen Y.S., Lin Z.H., Zhao X., Wang G. and Gu Y.F.. Deep learning-based classification of hyperspectral data. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2014, 7(6): 2094-2107
[23] Zhao X.Y., Li X. and Zhang Z.F.. Multimedia retrieval via deep learning to rank. IEEE Signal Processing Letters, 2015, 22(9): 1487-1491
[24] Huang W.H., Song G.J., Hong H.K. and Xie K.Q.. Deep architecture for traffic flow prediction: deep belief networks with multitask learning. IEEE Transactions on Intelligent Transportation Systems, 2014, 15(5): 2191-2201
[25] Hou W.L., Gao X.B., Tao D.C. and Li X.L.. Blind image quality assessment via deep learning. IEEE Transactions on Neural Networks and Learning Systems, 2015, 26(6): 1275-1286
[26] Rifai S., Vincent P., Muller X., Glorot X. and Bengio Y.. Contractive auto-encoders: explicit invariance during feature extraction. Proceedings of the International Conference on Machine Learning. Bellevue , USA, 2011: 833-840
[27] Hinton G..E., Krizhevsky A. and Wang S.. Transforming auto-encoders. Proceedings of the International Conference on Artificial Neural Networks. Espoo, Finland, 2011: 44-51
[28] Socher R., Huang E.H., Pennington J., Ng A.Y. and Manning C.D.. Dynamic pooling and unfolding recursive autoencoders for paraphrase detection. Proceedings of the Neural Information and Processing Systems. Granada, Spain, 2011: 801-809
[29] Hinton G.E. and Zemel R.S.. Autoencoders, minimum description length, and helmholtz free energy. Proceedings of the Neural Information and Processing
Systems. Denver, USA, 1993: 1-9
[30] Chen M., Xu Z., Winberger K.Q. and Sha F.. Marginalized denoising autoencoders for domain adaptation. Proceedings of the International Conference on Machine Learning. Edinburgh , UK, 2012.
[31] Lee H., Grosse R., Ranganath R. and Ng A.Y.. Convolutional deep belief networks for scalable unsupervised learning of hierarchical representations. Proceedings of the International Conference on Machine Learning. Montreal, Canada, 2009: 609-616
[32] Krizhevsky A.. Convolutional deep belief networks on CIFAR-10. Toronto, CA: University of Toronto, Unpublished manuscript, 2010
[33] Lee H., Ekanadham C. and Ng A.Y.. Sparse deep belief net model for visual area V2. Proceedings of the Neural Information and Processing Systems. Vancouver , Canada, 2007: 873-880
[34] Lee H., Pham P., Largman Y. and Ng A.Y.. Unsupervised feature learning for audio classification using convolutional deep belief networks. Proceedings of the Neural Information and Processing Systems. Vancouver, Canada, 2009: 1096-1104 [35] Ranzato M., Boureau Y. and Yann. L.C.. Sparse feature learning for deep belief networks. Proceedings of the Neural Information and Processing Systems. Vancouver, Canada, 2007: 1185-1192
[36] Jain V. and Seung S.H.. Natural image denoising with convolutional networks. Proceedings of the Neural Information and Processing Systems. Vancouver, Canada, 2008: 769-776 [37] Le Q., Ngiam J., Chen Z.H., Chia D.J., Koh P.W. and Ng A.Y.. Tiled convolutional neural networks. Proceedings of the Neural Information and Processing Systems. Vancouver, Canada, 2010: 1279-1287
[38] Taylor G., Fergus R., Yann. L.C. and Bregler C.. Convolutional learning of spatio-temporal features. Proceedings of the European Conference on Computer Vision, Heraklion, Greece, 2010: 140-153
[39] Desjardins G. and Bengio Y.. Empirical evaluation of convolutional RBMs for vision. Montrea, Canada: University of Montrea, Technical Report: 1327, 2008
[40] Kavukcuoglu K., Sermanet P. and Boureau Y.L.. Learning convolutional
feature hierarchies for visual recognition. Proceedings of the Neural Information and Processing Systems. Granada, Spain, 2010: 1090-1098
[41] Williamson D.S., Wang Y.X. and Wang D.L.. Estimating nonnegative matrix model activations with deep neural networks to increase perceptual speech quality. Journal of the Acoustical Society of America, 2015, 138(3): 1399-1407
[42] Ouyang W.L. and Wang X.G.. Joint deep learning for pedestrian detection. Proceedings of the IEEE International Conference on Computer Vision. Sydney, Australia, 2013, 2056-2063
[43] Ouyang W.L., Chu X. and Wang X.G.. Multi-source deep learning for human pose estimation. Proceedings of the IEEE International Conference on Computer Vision and Pattern Recognition. Columbus, OH, USA, 2014, 2337-2344
[44] Wang N.Y. and Yeung D.Y.. Learning a deep compact image representation for visual tracking. Proceedings of the Neural Information and Processing Systems. Lake Tahoe, Nevada, USA, 2013: 809-817
[45] Sun Y., Wang X.G. and Tang X.O.. Hybrid deep learning for face verification. Proceedings of the IEEE International Conference on Computer Vision. Sydney, Australia, 2013, 1489-1496
[46] Jia Y.Q., Shelhamer E., Donahue J., Karayev S., Long J., Girshick R., Guadarrama S. and Darrell T.. Caffe: convolutional architecture for fast feature embedding. Proceedings of the ACM International Conference on Multimedia. Orlando, FL, USA, 2014, 675-678
[47] Zhang J., Shan S.G., Kan M.N. and Chen X.L.. Coarse-to-fine auto-encoder networks (CFAN) for real-time face alignment. Proceedings of the European Conference on Computer Vision, Zurich, Switzerland, 2014: 1-16
[48] Yue J., Zhao W.Z., Mao S.J. and Liu H.. Spectral–spatial classification of hyperspectral images using deep convolutional neural networks. Remote Sensing Letters, 2015, 6(6): 468-477
[49] Zhou W.X., Shao Z.F., Diao C.Y. and Cheng Q.M.. High-resolution remote-sensing imagery retrieval using sparse features by auto-encoder. Remote Sensing Letters, 2015, 6(10): 775-783
[50] Ji S.W., Xu W., Yang M. and Yu K.. 3D convolutional neural networks for human action recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(1): 221-231 [51] Lin Y.Q., Zhang T., Zhu S.H. and Yu K.. Deep coding networks. Proceedings of the Neural Information and Processing Systems. Vancouver, Canada, 2010: 1405-1413
模糊神经网络技术研究的现状及展望 摘要：本文对模糊神经网络技术研究的现状进行了综述，首先介绍了模糊控制技术和神经网络技术的发展，然后结合各自的特点讨论了模糊神经网络协作体的产生以及优越性，接着对模糊神经网络的常见算法、结构确定、规则的提取等进行了阐述，指出了目前模糊神经网络的研究发展中还存在的一些问题，并对模糊神经网络的发展进行了展望。 关键字：模糊控制；神经网络；模糊神经网络 引言 系统的复杂性与所要求的精确性之间存在尖锐的矛盾。为此，通过模拟人类学习和自适应能力，人们提出了智能控制的思想。控制理论专家Austrom（1991）在IFAC大会上指出：模糊逻辑控制、神经网络与专家控制是三种典型的智能控制方法。通常专家系统建立在专家经验上，并非建立在工业过程所产生的操作数据上，且一般复杂系统所具有的不精确性、不确定性就算领域专家也很难把握，这使建立专家系统非常困难。而模糊逻辑和神经网络作为两种典型的智能控制方法，各有优缺点。模糊逻辑与神经网络的融合——模糊神经网络由于吸取了模糊逻辑和神经网络的优点，避免了两者的缺点，已成为当今智能控制研究的热点之一了。 1 模糊神经网络的提出 模糊集理论由美国著名控制论专家L.A.Zadeh于1965年创立[1]。1974年，英国著名学者E.H.Mamdani将模糊逻辑和模糊语言用于工业控制，提出了模糊控制论。至今，模糊控制已成功应用在被控对象缺乏精确数学描述及系统时滞、非线性严重的场合。 人工神经网络理论萌芽于上世纪40年代并于80年代中后期重掀热潮，其基本思想是从仿生学的角度对人脑的神经系统进行功能化模拟。人工神经网络可实现联想记忆，分类和优化计算等功能，在解决高度非线性和严重不确定系统的控制问题方面，显示了巨大的优势和潜力 模糊控制系统与神经网络系统具有整体功能的等效性[2]，两者都是无模型的估计器，都不需要建立任何的数学模型，只需要根据输入的采样数据去估计其需要的决策：神经网络根据学习算法，而模糊控制系统则根据专家提出的一些语言规则来进行推理决策。实际上，两者具有相同的正规数学特性，且共享同一状态空间[3]。 另一方面，模糊控制系统与神经网络系统具有各自特性的互补性[。神经网络系统完成的是从输入到输出的“黑箱式”非线性映射，但不具备像模糊控制那样的因果规律以及模糊逻辑推理的将强的知识表达能力。将两者结合，后者正好弥补前者的这点不足，而神经网络的强大自学习能力则可避免模糊控制规则和隶属函数的主观性，从而提高模糊控制的置信度。 因此，模糊逻辑和神经网络虽然有着本质上的不同，但由于两者都是用于处理不确定性问题，不精确性问题，两者又有着天然的联系。Hornik和White(1989)证明了神经网络的函数映射能力[4]；Kosko(1992)证明了可加性模糊系统的模糊逼近定理(FAT，Fuzzy Approximation Theorem)[5]；Wang和Mendel(1992)、Buckley和Hayashi(1993)、Dubots 和Grabish(1993)、Watkins(1994)证明了各种可加性和非可加性模糊系统的模糊逼近定理[6]。这说明模糊逻辑和神经网络有着密切联系，正是由于这类理论上的共性，才使模糊逻辑
题目：Hopfield神经网络综述 一、概述： 1.什么是人工神经网络（Artificial Neural Network，ANN) 人工神经网络是一个并行和分布式的信息处理网络结构，该网络结构一般由许多个神经元组成，每个神经元有一个单一的输出，它可以连接到很多其他的神经元，其输入有多个连接通路，每个连接通路对应一个连接权系数。 人工神经网络系统是以工程技术手段来模拟人脑神经元（包括细胞体，树突，轴突）网络的结构与特征的系统。利用人工神经元可以构成各种不同拓扑结构的神经网络，它是生物神经网络的一种模拟和近似。主要从两个方面进行模拟：一是结构和实现机理；二是从功能上加以模拟。 根据神经网络的主要连接型式而言，目前已有数十种不同的神经网络模型，其中前馈型网络和反馈型网络是两种典型的结构模型。 1）反馈神经网络(Recurrent Network) 反馈神经网络，又称自联想记忆网络，其目的是为了设计一个网络，储存一组平衡点，使得当给网络一组初始值时，网络通过自行运行而最终收敛到这个设计的平衡点上。反馈神经网络是一种将输出经过一步时移再接入到输入层的神经网络系统。 反馈网络能够表现出非线性动力学系统的动态特性。它所具有的主要特性为以下两点：（1）.网络系统具有若干个稳定状态。当网络从某一初始状态开始运动，网络系统总可以收敛到某一个稳定的平衡状态； （2）.系统稳定的平衡状态可以通过设计网络的权值而被存储到网络中。 反馈网络是一种动态网络，它需要工作一段时间才能达到稳定。该网络主要用于联想记忆和优化计算。在这种网络中，每个神经元同时将自身的输出信号作为输入信号反馈给其他神经元，它需要工作一段时间才能达到稳定。 2.Hopfiel d神经网络 Hopfield网络是神经网络发展历史上的一个重要的里程碑。由美国加州理工学院物理学家J.J.Hopfield 教授于1982年提出，是一种单层反馈神经网络。Hopfiel d神经网络是反馈网络中最简单且应用广泛的模型，它具有联想记忆的功能。 Hopfield神经网络模型是一种循环神经网络，从输出到输入有反馈连接。在输入的激励下，会产生不断的状态变化。 反馈网络有稳定的，也有不稳定的，如何判别其稳定性也是需要确定的。对于一个Hopfield 网络来说，关键是在于确定它在稳定条件下的权系数。 下图中，第0层是输入，不是神经元；第二层是神经元。
神经网络最新发展综述 学校：上海海事大学 专业：物流工程 姓名：周巧珍 学号：201530210155
神经网络最新发展综述 摘要：作为联接主义智能实现的典范，神经网络采用广泛互联的结构与有效的学习机制来模拟人脑信息处理的过程，是人工智能发展中的重要方法，也是当前类脑智能研究中的有效工具。目前，模拟人脑复杂的层次化认知特点的深度学习成为类脑智能中的一个重要研究方向。通过增加网络层数所构造的“深层神经网络”使机器能够获得“抽象概念”能力，在诸多领域都取得了巨大的成功，又掀起了神经网络研究的一个新高潮。本文分8个方面综述了其当前研究进展以及存在的问题，展望了未来神经网络的发展方向。 关键词: 类脑智能；神经网络；深度学习；大数据 Abstract: As a typical realization of connectionism intelligence, neural network, which tries to mimic the information processing patterns in the human brain by adopting broadly interconnected structures and effective learning mechanisms, is an important branch of artificial intelligence and also a useful tool in the research on brain-like intelligence at present. Currently, as a way to imitate the complex hierarchical cognition characteristic of human brain, deep learning brings an important trend for brain-like intelligence. With the increasing number of layers, deep neural network entitles machines the capability to capture “abstract concepts” and it has achieved great success in various fields, leading a new and advanced trend in neural network research. This paper summarizes the latest progress in eight applications and existing problems considering neural network and points out its possible future directions. Key words : artificial intelligence; neural network; deep learning; big data 1 引言 实现人工智能是人类长期以来一直追求的梦想。虽然计算机技术在过去几十年里取得了长足的发展，但是实现真正意义上的机器智能至今仍然困难重重。伴随着神经解剖学的发展，观测大脑微观结构的技术手段日益丰富，人类对大脑组织的形态、结构与活动的认识越来越深入，人脑信息处理的奥秘也正在被逐步揭示。如何借助神经科学、脑科学与认知科学的研究成果，研究大脑信息表征、转换机理和学习规则，建立模拟大脑信息处理过程的智能计算模型，最终使机器掌握人类的认知规律，是“类脑智能”的研究目标。 类脑智能是涉及计算科学、认知科学、神经科学与脑科学的交叉前沿方向。类脑智能的
题目： Hopfield神经网络综述 一、概述： 1.什么是人工神经网络（Artificial Neural Network，ANN) 人工神经网络是一个并行和分布式的信息处理网络结构，该网络结构一般由许多个神经元组成，每个神经元有一个单一的输出，它可以连接到很多其他的神经元，其输入有多个连接通路，每个连接通路对应一个连接权系数。 人工神经网络系统是以工程技术手段来模拟人脑神经元（包括细胞体，树突，轴突）网络的结构与特征的系统。利用人工神经元可以构成各种不同拓扑结构的神经网络，它是生物神经网络的一种模拟和近似。主要从两个方面进行模拟：一是结构和实现机理；二是从功能上加以模拟。 根据神经网络的主要连接型式而言，目前已有数十种不同的神经网络模型，其中前馈型网络和反馈型网络是两种典型的结构模型。 1）反馈神经网络(Recurrent Network) 反馈神经网络，又称自联想记忆网络，其目的是为了设计一个网络，储存一组平衡点，使得当给网络一组初始值时，网络通过自行运行而最终收敛到这个设计的平衡点上。反馈神经网络是一种将输出经过一步时移再接入到输入层的神经网络系统。 反馈网络能够表现出非线性动力学系统的动态特性。它所具有的主要特性为以下两点：（1）.网络系统具有若干个稳定状态。当网络从某一初始状态开始运动，网络系统总可以收敛到某一个稳定的平衡状态； （2）.系统稳定的平衡状态可以通过设计网络的权值而被存储到网络中。 反馈网络是一种动态网络，它需要工作一段时间才能达到稳定。该网络主要用于联想记忆和优化计算。在这种网络中，每个神经元同时将自身的输出信号作为输入信号反馈给其他神经元，它需要工作一段时间才能达到稳定。 2.Hopfield神经网络 Hopfield网络是神经网络发展历史上的一个重要的里程碑。由美国加州理工学院物理学家J.J.Hopfield 教授于1982年提出，是一种单层反馈神经网络。Hopfield神经网络是反馈网络中最简单且应用广泛的模型，它具有联想记忆的功能。 Hopfield神经网络模型是一种循环神经网络，从输出到输入有反馈连接。在输入的激励下，会产生不断的状态变化。 反馈网络有稳定的，也有不稳定的，如何判别其稳定性也是需要确定的。对于一个Hopfield 网络来说，关键是在于确定它在稳定条件下的权系数。 下图中，第0层是输入，不是神经元；第二层是神经元。
神经网络的应用及其发展 [摘要] 该文介绍了神经网络的发展、优点及其应用和发展动向，着重论述了神经网络目前的几个研究热点，即神经网络与遗传算法、灰色系统、专家系统、模糊控制、小波分析的结合。 [关键词]遗传算法灰色系统专家系统模糊控制小波分析 一、前言 神经网络最早的研究20世纪40年代心理学家Mcculloch和数学家Pitts合作提出的，他们提出的MP模型拉开了神经网络研究的序幕。神经网络的发展大致经过三个阶段：1947~1969年为初期，在这期间科学家们提出了许多神经元模型和学习规则，如MP模型、HEBB学习规则和感知器等；1970~1986年为过渡期，这个期间神经网络研究经过了一个低潮，继续发展。在此期间，科学家们做了大量的工作，如Hopfield教授对网络引入能量函数的概念，给出了网络的稳定性判据，提出了用于联想记忆和优化计算的途径。1984年，Hiton教授提出Boltzman机模型。1986年Kumelhart等人提出误差反向传播神经网络，简称BP 网络。目前，BP网络已成为广泛使用的网络；1987年至今为发展期，在此期间，神经网络受到国际重视，各个国家都展开研究，形成神经网络发展的另一个高潮。神经网络具有以下优点： (1) 具有很强的鲁棒性和容错性，因为信息是分布贮于网络内的神经元中。 (2) 并行处理方法，使得计算快速。 (3) 自学习、自组织、自适应性，使得网络可以处理不确定或不知道的系统。 (4) 可以充分逼近任意复杂的非线性关系。 (5) 具有很强的信息综合能力，能同时处理定量和定性的信息，能很好地协调多种输入信息关系，适用于多信息融合和多媒体技术。 二、神经网络应用现状 神经网络以其独特的结构和处理信息的方法，在许多实际应用领域中取得了显著的成效，主要应用如下： (1) 图像处理。对图像进行边缘监测、图像分割、图像压缩和图像恢复。
人工神经网络概论 梁飞 （中国矿业大学计算机科学与技术学院信科09-1班，江苏，徐州，221116） 摘要：进入21世纪以来，神经网络近来越来越受到人们的关注，因为神经网络可以很容易的解决具有上百个参数的问题，它为大复杂度问题提供了解决一种相对来说比较有效的简单方法。人工神经网络是涉及神经科学、思维科学、人工智能、计算机科学等多个领域的交叉学科。本文简要介绍了人工神经网络的工作原理、属性、特点和优缺点、网络模型、发展历史及它的应用和发展前景等。 关键词：人工神经网络；人工智能；神经网络；神经系统 1．人工神经网络的简介 人工神经网络（Artificial Neural Networks,简写为 ANN），一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。人工神经网络具有自学习和自适应的能力，可以通过预先提供的一批相互对应的输入－输出数据，分析掌握两者之间潜在的规律，最终根据这些规律，用新的输入数据来推算输出结果，这种学习分析的过程被称为“训练”。 2．人工神经网络的工作原理 人脑的处理机制极其复杂，从结构上看它是包含有140亿神经细胞的大规模网络。单个神经细胞的工作速度并不高，但它通过超并行处理使得整个系统实现处理的高速性和表现的多样性。 因此，从处理的角度对人脑进行研究，并由此研制出一种象人脑一样能够“思维”的智能计算机和智能处理方法，一直是人工智能追求的目标。 人脑神经系统的基本构造单元是神经细胞，也称神经元。它和人体中其他细胞的关键区别在于具有产生、处理和传递信号的功能。每个神经元都包括三个主要部分:细胞体、树突和轴突。树突的作用是向四方收集由其他神经细胞传来的信息，轴突的功能是传出从细胞体送来的信息。每个神经细胞所产生和传递的基本信息是兴奋或抑制。在两个神经细胞之间的相互接触点称为突触。从信息的传递过程来看，一个神经细胞的树突，在突触处从其他神经细胞接受信号。这些信号可能是兴奋性的，也可能是抑制性的。所有树突接受到的信号都传到细胞体进行综合处理，如果在一个时间间隔内，某一细胞接受到的兴奋性信号量足够大，以致于使该细胞被激活，而产生一个脉冲信号。这个信号将沿着该细胞的轴突传送出去，并通过突触传给其他神经细胞.神经细胞通过突触的联接形成神经网络。
人工神经网络综述 摘要：人工神经网络是属于人工智能的一个组成部分，它的提出是基于现代神经科学的相关研究，并且在诸多领域得到了广泛的应用，为人工智能化的发展提供了强大的动力。首先论述了人工神经网络的发展历程，并介绍了几种常见的模型及应用现状，最后总结了当前存在的问题及发展方向。 关键词：神经网络、分类、应用 0引言 多年以来，科学家们不断从医学、生物学、生理学、哲学、信息学、计算机科学、认知学、组织协同学等各个角度探索人脑工作的秘密，希望能制作模拟人脑的人工神经元。特别是近二十年来。对大脑有关的感觉器官的仿生做了不少工作，人脑含有数亿个神经元，并以特殊的复杂形式组成在一起，它能够在计算某些问题（如难以用数学描述或非确定性问题等）时，比目前最快的计算机还要快许多倍。大脑的信号传导速度要比电子元件的信号传导要慢百万倍，然而，大脑的信息处理速度比电子元件的处理速度快许多倍，因此科学家推测大脑的信息处理方式和思维方式是非常复杂的，是一个复杂并行信息处理系统。在研究过程中，近年来逐渐形成了一个新兴的多学科交叉技术领域，称之为“人工神经网络”。神经网络的研究涉及众多学科领域，这些领域互相结合、相互渗透并相互推动。 1人工神经网络概述 1.1人工神经网络的发展 人工神经网络是20世纪80年代以来人工智能领域中兴起的研究热点，因其具有独特的结构和处理信息的方法，使其在许多实际应用中取得了显著成效。 1.1.1人工神经网络发展初期 1943年美国科学家家Pitts和MeCulloch从人脑信息处理观点出发，采用数理模型的方法研究了脑细胞的动作和结构及其生物神经元的一些基本生理特性，他们提出了第一个神经计算模型，即神经元的阈值元件模型，简称MP模型，这是人类最早对于人脑功能的模仿。他们主要贡献在于结点的并行计算能力很强，为计算神经行为的某此方面提供了可能性，从而开创了神经网络的研究。1958年Frank Rosenblatt提出了感知模型(Pereeptron)，用来进行分类，并首次把神经网络的研究付诸于工程实践。1960年Bernard Widrow等提出自适应线形元件ADACINE网络模型，用于信号处理中的自适应滤波、预测和模型识别。 1.1.2人工神经网络低谷时期
BP神经网络及深度学习研究 摘要：人工神经网络是一门交叉性学科，已广泛于医学、生物学、生理学、哲学、信息学、计算机科学、认知学等多学科交叉技术领域，并取得了重要成果。BP（Back Propagation）神经网络是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。本文将主要介绍神经网络结构，重点研究BP神经网络原理、BP神经网络算法分析及改进和深度学习的研究。 关键词：BP神经网络、算法分析、应用 1 引言 人工神经网络（Artificial Neural Network，即ANN ），作为对人脑最简单的一种抽象和模拟，是人们模仿人的大脑神经系统信息处理功能的一个智能化系统，是20世纪80 年代以来人工智能领域兴起的研究热点。人工神经网络以数学和物理方法以及信息处理的角度对人脑神经网络进行抽象，并建立某种简化模型，旨在模仿人脑结构及其功能的信息处理系统。 人工神经网络最有吸引力的特点就是它的学习能力。因此从20世纪40年代人工神经网络萌芽开始，历经两个高潮期及一个反思期至1991年后进入再认识与应用研究期，涌现出无数的相关研究理论及成果，包括理论研究及应用研究。最富有成果的研究工作是多层网络BP算法，Hopfield网络模型，自适应共振理论，自组织特征映射理论等。因为其应用价值，该研究呈愈演愈烈的趋势，学者们在多领域中应用[1]人工神经网络模型对问题进行研究优化解决。 人工神经网络是由多个神经元连接构成，因此欲建立人工神经网络模型必先建立人工神经元模型，再根据神经元的连接方式及控制方式不同建立不同类型的人工神经网络模型。现在分别介绍人工神经元模型及人工神经网络模型。 1.1 人工神经元模型 仿生学在科技发展中起着重要作用，人工神经元模型的建立来源于生物神经元结构的仿生模拟，用来模拟人工神经网络[2]。人们提出的神经元模型有很多，其中最早提出并且影响较大的是1943年心理学家McCulloch和数学家W. Pitts 在分析总结神经元基本特性的基础上首先提出的MP模型。该模型经过不断改进后，形成现在广泛应用的BP神经元模型。人工神经元模型是由人量处理单元厂泛互连而成的网络，是人脑的抽象、简化、模拟，反映人脑的基本特性。一般来说，作为人工神经元模型应具备三个要素： (1)具有一组突触或连接，常用表示神经元i和神经元j之间的连接强度。 w ij (2)具有反映生物神经元时空整合功能的输入信号累加器。
目录 1 人工神经网络算法的工作原理 (3) 2 人工神经网络研究内容 (4) 3 人工神经网络的特点 (5) 4 典型的神经网络结构 (6) 4.1 前馈神经网络模型 (6) 4.1.1 自适应线性神经网络(Adaline) (6) 4.1.1.1网络结构 (6) 4.1.1.2学习算法步骤 (7) 4.1.1.3优缺点 (7) 4.1.2单层感知器 (8) 4.1.2.1网络结构 (8) 4.1.2.2学习算法步骤 (9) 4.1.2.3优缺点 (9) 4.1.3多层感知器和BP算法 (10) 4.1.3.1网络结构： (10) 4.1.3.2 BP算法 (10) 4.1.3.3算法学习规则 (11) 4.1.3.4算法步骤 (11) 4.1.3.5优缺点 (12) 4.2反馈神经网络模型 (13) 4.2.1 Hopfield神经网络 (13) 4.2.1.1网络结构 (13) 4.2.1.2 学习算法 (15) 4.2.1.3 Hopfield网络工作方式 (15) 4.2.1.4 Hopfield网络运行步骤 (15) 4.2.1.5优缺点 (16) 4.2.2海明神经网络（Hamming） (16) 4.2.2.1网络结构 (16) 4.2.2.2学习算法 (17) 4.2.2.3特点 (18) 4.2.3双向联想存储器（BAM） (19) 4.2.3.1 网络结构 (19) 4.2.3.2学习算法 (19) 4.2.3.4优缺点 (21) 5.人工神经网络发展趋势以及待解决的关键问题 (22) 5.1 与小波分析的结合 (22) 5.1.1小波神经网络的应用 (23) 5.1.2待解决的关键技术问题 (23) 5.2混沌神经网络 (23) 5.2.1混沌神经网络的应用 (24) 5.2.2待解决的关键技术问题 (24)
人工智能发展综述 摘要:概要的阐述下人工智能的概念、发展历史、当前研究热点和实际应用以及未来的发展趋势。 关键词:人工智能; 前景; 发展综述 人工智能(Artificial Intelligence)自1956 年正式问世以来的五十年间已经取得了长足的进展,由于其应用的极其广泛性及存在的巨大研究开发潜力, 吸引了越来越多的科技工作者投入人工智能的研究中去。尤其是八十年代以来出现了世界范围的开发新技术的高潮，许多发达国家的高科技计划的重要内容是计算机技术,而尤以人工智能为其基本重要组成部分。人工智能成为国际公认的当代高技术的核心部分之一。 1什么是人工智能 美国斯坦福大学人工智能研究中心尼尔逊教授给人工智能下了这样一个定义:人工智能是关于知识的学科, 是怎样表示知识以及怎样获得知识并使用知识的科学。从人工智能所实现的功能来定义是智能机器所执行的通常与人类智能有关的功能,如判断、推理、证明、识别学习和问题求解等思维活动。这些反映了人工智能学科的基本思想和基本内容, 即人工智能是研究人类智能活动的规律。若是从实用观点来看,人工智能是一门知识工程学:以知识为对象,研究知识的获取、知识的表示方法和知识的使用。 从计算机应用系统的角度出发，人工智能是研究如何制造智能机器或智能系统，来模拟人类智能活动的能力，以延伸人们智能的科学。如果仅从技术的角度来看，人工智能要解决的问题是如何使电脑表现智能化，使电脑能更灵活方效地为人类服务。只要电脑能够表现出与人类相似的智能行为,就算是达到了目的，而不在乎在这过程中电脑是依靠某种算法还是真正理解了。人工智能就是计算机科学中涉及研究、设计和应用智能机器的—个分支，人工智能的目标就是研究怎样用电脑来模仿和执行人脑的某些智力功能，并开发相关的技术产品，建立有关的理论。 2 人工智能历史 当然，人工智能的发展也并不是一帆风顺的，人工智能的研究经历了以下几
基于人工神经网络的预测研究文献综述专业：电子信息工程班级：08级2班作者：刘铭指导老师：熊朝松 引言 随着多媒体和网络技术的飞速发展及广泛应用，人工神经网络已被广泛运用于各种领域，而它的预测功能也在不断被人挖掘着。人工神经网络是一种旨在模仿人脑结构及其功能的信息处理系统。现代计算机构成单元的速度是人脑中神经元速度的几百万倍，对于那些特征明确，推理或运算规则清楚地可编程问题，可以高速有效地求解，在数值运算和逻辑运算方面的精确与高速极大地拓展了人脑的能力，从而在信息处理和控制决策等方面为人们提供了实现智能化和自动化的先进手段。但由于现有计算机是按照冯·诺依曼原理，基于程序存取进行工作的，历经半个多世纪的发展，其结构模式与运行机制仍然没有跳出传统的逻辑运算规则，因而在很多方面的功能还远不能达到认得智能水平。随着现代信息科学与技术的飞速发展，这方面的问题日趋尖锐，促使科学和技术专家们寻找解决问题的新出路。当人们的思想转向研究大自然造就的精妙的人脑结构模式和信息处理机制时，推动了脑科学的深入发展以及人工神经网络和闹模型的研究。随着对生物闹的深入了解，人工神经网络获得长足发展。在经历了漫长的初创期和低潮期后，人工神经网络终于以其不容忽视的潜力与活力进入了发展高潮。这么多年来，它的结构与功能逐步改善，运行机制渐趋成熟，应用领域日益扩大，在解决各行各业的难题中显示出巨大的潜力，取得了丰硕的成果。通过运用人工神经网络建模，可以进行预测事物的发展，节省了实际要求证结果所需的研究时间。 正是由于人工神经网络是一门新兴的学科，它在理论、模型、算法、应用和时限等方面都还有很多空白点需要努力探索、研究、开拓和开发。因此，许多国家的政府和企业都投入了大量的资金，组织大量的科学和技术专家对人工神经网络的广泛问题立项研究。从人工神经网络的模拟程序和专用芯片的不断推出、论文的大量发表以及各种应用的报道可以看到，在这个领域里一个百家争鸣的局面已经形成。 为了能深入认识人工神经网络的预测功能，大量收集和阅读相关资料是非常必要的。搜集的资料范围主要是大量介绍人工神经网路，以及认识和熟悉了其中重要的BP网络。参考的著作有：马锐的《人工神经网络原理》，胡守仁、余少波的《神经网络导论》以及一些相关论文，董军和胡上序的《混沌神经网络研究进展和展望》，朱大奇的《人工神经网络研究现状及其展望》和宋桂荣的《改进BP算法在故障诊断中的应用》，这些
WIND 一、人工神经网络理论概述 (一人工神经网络基本原理 神经网络 (Artificialneuralnet work , ANN 是由大量的简单神经元组成的非线性系统,每个神经元的结构和功能都比较简单,而大量神经元组合产生的系统行为却非常复杂。人工神经元以不同的方式,通过改变连接方式、神经元的数量和层数,组成不同的人工神经网络模型 (神经网络模型。 人工神经元模型的基本结构如图 1所示。图中X=(x 1, x 2, … x n T ∈ R n 表示神经元的输入信号 (也是其他神经元的输出信号 ; w ij 表示 神经元 i 和神经元 j 之间的连接强度,或称之为权值; θj 为神经元 j 的阀值 (即输入信号强度必须达到的最小值才能产生输出响应 ; y i 是神经元 i 的输出。其表达式为 y i =f( n j =i Σw ij x j +θi 式中, f (
·为传递函数 (或称激活函数 ,表示神经元的输入 -输出关系。 图 1 (二人工神经网络的发展 人工神经网络 (ArtificialNeuralNetwork 是一门崭新的信息处理科学,是用来模拟人脑结构和智能的一个前沿研究领域,因其具有独特的结构和处理信息的方法,使其在许多实际应用中取得了显著成效。人工神经网络系统理论的发展历史是不平衡的,自 1943年心理学家 McCulloch 与数学家 Pitts 提出神经元生物学模型 (简称MP-模型以来,至今已有 50多年的历史了。在这 50多年的历史中,它的发展大体上可分为以下几个阶段。 60年代末至 70年代,人工神经网络系统理论的发展处于一个低潮时期。造成这一情况的原因是人工神经网络系统理论的发展出现了本质上的困难,即电子线路交叉极限的困难。这在当时条件下,对神经元的数量 n 的大小受到极大的限制,因此它不可能去完成高度智能化的计算任务。 80年代中期人工神经网络得到了飞速的发展。这一时期,多种模型、算法与应用问题被提出,主要进展如:Boltzmann 机理论的研究, 细胞网络的提出,性能指标的分析等。 90年代以后,人工神经网络系统理论进入了稳健发展时期。现在人工神经网络系统理论的应用研究主要是在模式识别、经济管理、优化控制等方面:与数学、统计中的多个学科分支发生联系。 (三人工神经网络分类 人工神经网络模型发展到今天已有百余种模型,建造的方法也是多种多样,有出自热力学的、数学方法的、模糊以及混沌方法的。其中 BP 网络(BackPropagationNN 是当前应用最为广泛的一种人工神经网络。在人工神经网络的实际应用中, 80%~90%的人工神经网络模型是采用 BP 网络或它的变化形式,它也
动态神经网络综述 摘要 动态神经网络(DNN)由于具有很强的学习能力和逼近任意非线性函数的特点而被广泛应用。本文系统介绍了该网络的几种常见模型，并在此基础之上介绍它的基本学习算法、功能、应用领域、实际推广。 关键词：动态神经网络，模型，功能，算法，应用 Abstract Dynamic Neural Network (DNN) has been widely applied by means of the strong ability of learning and the characteristic of approximating any nonlinear function. The paper mainly introduces several models of common dynamic neural network, and dynamic neural network's function, basic algorithm, application and promotion. Keywords: DNN, Models , Function , Algorithm , Application
1、绪论 人工神经网络（Artificial Neural Networks，简写为ANNs）是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点（或称神经元）和之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数（activation function）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达[1]。 神经网络按是否含有延迟或反馈环节，以及与时间是否相关分为静态神经网络和动态神经网络,其中含有延迟或反馈环节，与时间直接有关的神经网络称为动态神经网络[2]。动态神经网络具有很强的学习能力和逼近任意非线性函数的特点,自20世纪80年代末以来,将动态神经网络作为一种新的方法引入复杂非线性系统建模中引起了工程控制领域许多学者的关注[3]。动态神经网络现在已经广泛地用于模式识别、语音识别、图象处理、信号处理、系统控制、AUV自适应航向和机器人控制、故障检测、变形预报、最优化决策及求解非线性代数问题等方面。 本文第二章主要介绍了动态神经网络的分类，基本模型和算法；第三章主要介绍了动态神经网络的应用；第四章简要介绍了神经网络的改进方法。 2、DNN网络的基本模型和算法 根据结构特点，可以将动态神经网络分为3类:全反馈网络结构,部分反馈网络结构以及无反馈的网络结构。 反馈网络(Recurrent Network),又称自联想记忆网络,如下图所示: 图2-1 反馈网络模型 反馈网络的目的是为了设计一个网络，储存一组平衡点，使得当给网络一组初始值时，网络通过自行运行而最终收敛到这个设计的平衡点上。 反馈网络能够表现出非线性动力学系统的动态特性。它所具有的主要特性为以下两点： 第一、网络系统具有若干个稳定状态。当网络从某一初始状态开始运动，网络系统总可以收敛到某一个稳定的平衡状态； 第二、系统稳定的平衡状态可以通过设计网络的权值而被存储到网络中。 反馈网络根据信号的时间域的性质的分类为
深度神经网络全面概述从基本概念到实际模型和硬件基础 深度神经网络(DNN)所代表的人工智能技术被认为是这一次技术变革的基石(之一)。近日，由IEEE Fellow Joel Emer 领导的一个团队发布了一篇题为《深度神经网络的有效处理：教程和调研(Efficient Processing of Deep Neural Networks: A Tutorial and Survey)》的综述论文，从算法、模型、硬件和架构等多个角度对深度神经网络进行了较为全面的梳理和总结。鉴于该论文的篇幅较长，机器之心在此文中提炼了原论文的主干和部分重要内容。 目前，包括计算机视觉、语音识别和机器人在内的诸多人工智能应用已广泛使用了深度神经网络(deep neural networks，DNN)。DNN 在很多人工智能任务之中表现出了当前最佳的准确度，但同时也存在着计算复杂度高的问题。因此，那些能帮助DNN 高 效处理并提升效率和吞吐量，同时又无损于表现准确度或不会增加硬件成本的技术是在人工智能系统之中广泛部署DNN 的关键。 论文地址： 本文旨在提供一个关于实现DNN 的有效处理(efficient processing)的目标的最新进展的全面性教程和调查。特别地，本文还给出 了一个DNN 综述——讨论了支持DNN 的多种平台和架构，并强调了最新的有效处理的技术的关键趋势，这些技术或者只是通过改善硬件设计或者同时改善硬件设计和网络算法以降低DNN 计算成本。本文也会对帮助研究者和从业者快速上手DNN 设计的开发资源做一个总结，并凸显重要的基准指标和设计考量以评估数量快速增长的DNN 硬件设计，还包括学界和产业界共同推荐的算法联合设计。 读者将从本文中了解到以下概念：理解DNN 的关键设计考量;通过基准和对比指标评估不同的DNN 硬件实现;理解不同架构和平台之间的权衡;评估不同DNN 有效处理技术的设计有效性;理解最新的实现趋势和机遇。 一、导语 深度神经网络(DNN)目前是许多人工智能应用的基础[1]。由于DNN 在语音识别[2] 和图像识别[3] 上的突破性应用，使用DNN 的应用量有了爆炸性的增长。这些DNN 被部署到了从自动驾驶汽车[4]、癌症检测[5] 到复杂游戏[6] 等各种应用中。 在这许多领域中，DNN 能够超越人类的准确率。而DNN 的出众表现源于它能使用统计学习方法从原始感官数据中提取高层特征，在大量的数据中获得输入空间的有效表征。这与之前使用手动提取特征或专家设计规则的方法不同。 然而DNN 获得出众准确率的代价是高计算复杂性成本。虽然通用计算引擎(尤其是GPU)，已经成为许多DNN 处理的砥柱， 但提供对DNN 计算更专门化的加速方法也越来越热门。本文的目标是提供对DNN、理解DNN 行为的各种工具、有效加速计算的各项技术的概述。 该论文的结构如下： ?Section II 给出了DNN 为什么很重要的背景、历史和应用。 ?Section III 给出了DNN 基础组件的概述，还有目前流行使用的DNN 模型。 ?Section IV 描述了DNN 研发所能用到的各种资源。 ?Section V 描述了处理DNN 用到的各种硬件平台，以及在不影响准确率的情况下改进吞吐量(thoughtput)和能量的各种优化方法(即产生bit-wise identical 结果)。 ?Section VI 讨论了混合信号回路和新的存储技术如何被用于近数据处理(near-data processing)，从而解决DNN 中数据流通时面临的吞吐量和能量消耗难题。 ?Section VII 描述了各种用来改进DNN 吞吐量和能耗的联合算法和硬件优化，同时最小化对准确率的影响。 ?Section VIII 描述了对比DNN 设计时应该考虑的关键标准。
人工神经网络研究综述 一、引言 人工神经网络是模仿生理神经网络的结构和功能而设计的一种信息处理系统。它从信息处理角度对人脑神经元网络进行抽象，建立某种简单模型，按不同的连接方式组成不同的网络[1]。大量的人工神经元以一定的规则连接成神经网络，神经元之间的连接及各连接权值的分布用来表示特定的信息。神经网络分布式存储信息，具有很高的容错性。每个神经元都可以独立的运算和处理接收到的信息并输出结果，网络具有并行运算能力，实时性非常强。神经网络对信息的处理具有自组织、自学习的特点，便于联想、综合和推广。神经网络以其优越的性能应用在人工智能、计算机科学、模式识别、控制工程、信号处理、联想记忆等极其广泛的领域[2]。 二、人工神经网络概述 (一)定义： 关于它的定义有很多种，而Hecht-Nielsen给出的神经网络定义最具有代表意义：神经网络是一种并行的分布式信息处理结构，它通过称为连接的单向信号通路将一些处理单元互连而成。每一个处理单元都有一个单输出到所期望的连接。每一个处理单元传送相同的信号即处理单元输出信号。处理单元的输出信号可以是任一种所要求的数学类型。在每一个处理单元中执行的信息处理在它必须完全是局部的限制下可以被任意定义，即它必须只依赖于处理单元所接受的输入激励信号的当前值和处理单元本身所存储记忆的值[3-5]。 (二)基本原理： 1、人工神经元模型 神经元是人工神经网络的基本处理单元，是生物神经元的抽象、简化和模拟。抽象是从数学角度而言，模拟是以神经元的结构和功能而言。 2、神经网络结构 神经网络结构和工作机理基本上是以人脑的组织结构和活动规律为背景的，它反映了脑的某些基本特征，但并不是要对人脑部分的真正实现，可以说它是某种抽象、简化或模仿。如果将大量功能简单的形式神经元通过一定的拓扑结构组织起来，构成群体并行分布式处理的计算结构，那么这种结构就是人工神经网络，在不引起混淆的情况下，统称为神经网络。 (三)人工神经网络的基本属性 1、非线性：人脑的思维是非线性的，故人工神经网络模拟人的思维也应是非线性的。 2、非局域性：非局域性是人的神经系统的一个特性，人的整体行为是非局域性的最明显体现。神经网络以大量的神经元连接模拟人脑的非局域性，它的分布存储是非局域性的一种表现。 3、非定常性：神经网络是模拟人脑思维运动的动力学系统，它应按不同时刻的外界刺激对自己的功能进行修改，故而它是一个时变的系统。 4、非凸性：神经网络的非凸性即是指它有多个极值，也即系统具有不只一个的较稳定的平衡状态，这种属性会使系统的演化多样化。 三、人工神经网络模型模型 (一)人工神经网络模型的分类 1、按照网络的结构区分，则有前向网络和反馈网络。 2、按照学习方式区分，则有教师学习和无教师学习网络。
神经网络的应用及其发展 来源：辽宁工程技术大学作者：苗爱冬 [摘要] 该文介绍了神经网络的发展、优点及其应用和发展动向，着重论述了神经网络目前的几个研究热点，即神经网络与遗传算法、灰色系统、专家系统、模糊控制、小波分析的结合。 [关键词]遗传算法灰色系统专家系统模糊控制小波分析 一、前言 神经网络最早的研究20世纪40年代心理学家Mcculloch和数学家Pitts 合作提出的，他们提出的MP模型拉开了神经网络研究的序幕。神经网络的发展大致经过三个阶段：1947~1969年为初期，在这期间科学家们提出了许多神经元模型和学习规则，如MP模型、HEBB学习规则和感知器等；1970~1986年为过渡期，这个期间神经网络研究经过了一个低潮，继续发展。在此期间，科学家们做了大量的工作，如Hopfield教授对网络引入能量函数的概念，给出了网络的稳定性判据，提出了用于联想记忆和优化计算的途径。1984年，Hiton教授提出Boltzman机模型。1986年Kumelhart等人提出误差反向传播神经网络，简称BP 网络。目前，BP网络已成为广泛使用的网络；1987年至今为发展期，在此期间，神经网络受到国际重视，各个国家都展开研究，形成神经网络发展的另一个高潮。神经网络具有以下优点： (1) 具有很强的鲁棒性和容错性，因为信息是分布贮于网络内的神经元中。 (2) 并行处理方法，使得计算快速。 (3) 自学习、自组织、自适应性，使得网络可以处理不确定或不知道的系统。 (4) 可以充分逼近任意复杂的非线性关系。 (5) 具有很强的信息综合能力，能同时处理定量和定性的信息，能很好地协调多种输入信息关系，适用于多信息融合和多媒体技术。 二、神经网络应用现状 神经网络以其独特的结构和处理信息的方法，在许多实际应用领域中取得了显著的成效，主要应用如下： (1) 图像处理。对图像进行边缘监测、图像分割、图像压缩和图像恢复。 (2) 信号处理。能分别对通讯、语音、心电和脑电信号进行处理分类；可用于海底声纳信号的检测与分类，在反潜、扫雷等方面得到应用。 (3) 模式识别。已成功应用于手写字符、汽车牌照、指纹和声音识别，还可用于目标的自动识别和定位、机器人传感器的图像识别以及地震信号的鉴别等。 (4) 机器人控制。对机器人眼手系统位置进行协调控制，用于机械手的故障诊断及排除、智能自适应移动机器人的导航。 (5) 卫生保健、医疗。比如通过训练自主组合的多层感知器可以区分正常心跳和非正常心跳、基于BP网络的波形分类和特征提取在计算机临床诊断中的应用。 (6) 焊接领域。国内外在参数选择、质量检验、质量预测和实时控制方面都
神经网络综述 宁波工程学院Ningbo University of Technology 摘要： 神经网络可以指向两种，一个是生物神经网络，一个是人工神经网络。 生物神经网络：一般指生物的大脑神经元，细胞，触点等组成的网络，用于产生生物的意识，帮助生物进行思考和行动。 人工神经网络：是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。在工程与学术界也常直接简称为“神经网络”或类神经网络。 Neural network can point the two, the one is biological neural network,the other one is artificial neural network. Biological neural networkis a kind likes Structure of synaptic connection of brain that can do the mathematical model of information processing .Biological neural networkis is uesd to produce biological consciousness, help to think and act. Artificial neural network is an abstraction and simulation of the basic characteristics of the human brain; and also it is a kind of imitating the behavior characteristics of Animal neural networks for distributed parallel algorithm which is for mathematical model of information processing. 人的大脑和计算机技术一直是科技前沿的研究方向，自从神经网络的出现，两个不相干的领域慢慢地结合在一起。但是神经网络是什么？有哪些作用？下面给出解释。 定义： 思维学普遍认为，人类大脑的思维有三种基本方式，分为抽象（逻辑）思维、形象（直观）思维和灵感（顿悟）思维。逻辑性的思维是根据逻辑规则进行推理的过程，这一过程可以写成指令，让计算机执行，获得结果。而直观性（形象）的思维是将分布式存储的信息综合起来，结果是忽然间产生想法或解决问题的办法。这种思维方式的有以下两个特点：一是信息通过神经元上的兴奋模式分布储在网络上；二是信息处理通过神经元之间同时相互作用的动态过程来完成的。人工神经网络就是模拟第二种人类思维方式。人工神经网络是由大量具备简单功能的人工神经元相互联接而成的自适应非线性动态系统。虽然单个神经元的结构和功能比较简单，但大量神经元连接构成的网络系统行为却异常复杂。人工神经网络基本功能模仿了人脑行为的若干基本特征，反映了人脑的基本功能，但并非人脑的真实写照，只是某种对人脑模仿、简化和抽象。人工神经网络具有并行信息处理特征，依靠网络系统的复杂程度，通过调整内部大量节点之间相互连接的关系，适应环境、总结规则、完成某种运算、识别或过程控制，从而达到处理信息的目的。