神 经 网 络 综 述
- 格式:doc
- 大小:44.00 KB
- 文档页数:6
文献综述电气工程及自动化BP神经网络研究综述摘要:现代信息化技术的发展,神经网络的应用范围越来越广,尤其基于BP算法的神经网络在预测以及识别方面有很多优势。
本文对前人有关BP神经网络用于识别和预测方面的应用进行归纳和总结,并且提出几点思考方向以作为以后研究此类问题的思路。
关键词:神经网络;数字字母识别;神经网络的脑式智能信息处理特征与能力使其应用领域日益扩大,潜力日趋明显。
作为一种新型智能信息处理系统,其应用贯穿信息的获取、传输、接收与加工各个环节。
具有大家所熟悉的模式识别功能,静态识别例如有手写字的识别等,动态识别有语音识别等,现在市场上这些产品已经有很多。
本文查阅了中国期刊网几年来的相关文献包括相关英文文献,就是对前人在BP神经网络上的应用成果进行分析说明,综述如下:(一)B P神经网络的基本原理BP网络是一种按误差逆向传播算法训练的多层前馈网络它的学习规则是使用最速下降法,通过反向传播来不断调整网络的权值和阀值,使网络的误差平方最小。
BP网络能学习和存贮大量的输入- 输出模式映射关系,而无需事前揭示描述这种映射关系的数学方程.BP神经网络模型拓扑结构包括输入层(input)、隐层(hide layer)和输出层(output layer),如图上图。
其基本思想是通过调节网络的权值和阈值使网络输出层的误差平方和达到最小,也就是使输出值尽可能接近期望值。
(二)对BP网络算法的应用领域的优势和其它神经网络相比,BP神经网络具有模式顺向传播,误差逆向传播,记忆训练,学习收敛的特点,主要用于:(1)函数逼近:用输入向量和相应的输出向量训练一个网络以逼近一个函数;(2)模式识别:用一个待定的输出向量将它与输入向量联系起来;(3)数据压缩:减少输出向量维数以便于传输或存储;(4)分类:把输入向量所定义的合适方式进行分类;]9[BP网络实质上实现了一个从输入到输出的映射功能,,而数学理论已证明它具有实现任何复杂非线性映射的功能。
bp神经网络的应用综述近年来,人工神经网络(ANN)作为一种神经网络形式在不断发展,因其计算能力强,对现实世界较好地识别和适应能力,已得到越来越广泛的应用,其中,BP神经网络是最典型的人工神经网络之一。
BP神经网络是指以马尔可夫随机过程为基础的反向传播算法,具有自组织学习、泛化、模糊推理的特点,具有非常广泛的应用场景。
它可以用来解决实际问题。
首先,BP神经网络可以用来解决分类问题。
它可以根据给定的输入向量和输出向量,训练模型以分类相关的输入特征。
这种模型可以用来解决工业控制问题、专家系统任务等。
例如,BP神经网络可以用来识别照片中的面孔,帮助改进自动门的判断等。
此外,BP神经网络还可以用于计算机视觉,即以计算机图像识别的形式进行图像处理。
通常,计算机视觉技术需要两个步骤,即识别和分析。
在识别步骤中,BP神经网络可以被用来识别图片中的特征,例如物体的形状、大小、颜色等;在分析步骤中,BP神经网络可以用来分析和判断图片中的特征是否满足要求。
此外,BP神经网络还可以用于机器人技术。
它可以用来识别机器人环境中的物体,从而帮助机器人做出正确的动作。
例如,利用BP神经网络,机器人可以识别障碍物并做出正确的行动。
最后,BP神经网络还可以用于未来的驾驶辅助系统中。
这种系统可以利用各种传感器和摄像机,搜集周围环境的信息,经过BP神经网络分析,判断当前环境的安全程度,及时采取措施,以达到更好的安全驾驶作用。
综上所述,BP神经网络具有自组织学习、泛化、模糊推理的特点,拥有非常广泛的应用场景,可以用于分类问题、计算机视觉、机器人技术和驾驶辅助系统等。
然而,BP神经网络也存在一些问题,例如训练时间长,需要大量的训练数据,容易受到噪声攻击等。
因此,研究人员正在积极改进BP神经网络,使其能够更好地解决各种问题。
人工神经网络综述摘要:人工神经网络是属于人工智能的一个组成部分,它的提出是基于现代神经科学的相关研究,并且在诸多领域得到了广泛的应用,为人工智能化的发展提供了强大的动力.首先论述了人工神经网络的发展历程,并介绍了几种常见的模型及应用现状,最后总结了当前存在的问题及发展方向。
关键词:神经网络、分类、应用0引言多年以来,科学家们不断从医学、生物学、生理学、哲学、信息学、计算机科学、认知学、组织协同学等各个角度探索人脑工作的秘密,希望能制作模拟人脑的人工神经元.特别是近二十年来. 对大脑有关的感觉器官的仿生做了不少工作,人脑含有数亿个神经元,并以特殊的复杂形式组成在一起,它能够在计算某些问题(如难以用数学描述或非确定性问题等)时,比目前最快的计算机还要快许多倍。
大脑的信号传导速度要比电子元件的信号传导要慢百万倍,然而,大脑的信息处理速度比电子元件的处理速度快许多倍,因此科学家推测大脑的信息处理方式和思维方式是非常复杂的,是一个复杂并行信息处理系统.在研究过程中,近年来逐渐形成了一个新兴的多学科交叉技术领域,称之为“人工神经网络”。
神经网络的研究涉及众多学科领域,这些领域互相结合、相互渗透并相互推动.1 人工神经网络概述1.1 人工神经网络的发展人工神经网络是20世纪80年代以来人工智能领域中兴起的研究热点,因其具有独特的结构和处理信息的方法,使其在许多实际应用中取得了显著成效。
1。
1。
1 人工神经网络发展初期1943年美国科学家家Pitts和MeCulloch从人脑信息处理观点出发,采用数理模型的方法研究了脑细胞的动作和结构及其生物神经元的一些基本生理特性,他们提出了第一个神经计算模型,即神经元的阈值元件模型,简称MP 模型,这是人类最早对于人脑功能的模仿。
他们主要贡献在于结点的并行计算能力很强,为计算神经行为的某此方面提供了可能性,从而开创了神经网络的研究.1958年Frank Rosenblatt提出了感知模型(Pereeptron),用来进行分类,并首次把神经网络的研究付诸于工程实践。
神经网络模型在旅游领域的应用研究文献综述在当今信息技术高度发达的时代,神经网络作为一种重要的人工智能技术,被广泛应用于各个领域中。
旅游作为人们精神文化需求的重要组成部分,也受益于神经网络模型的研究与应用。
本文将对神经网络在旅游领域的应用进行综述,旨在深入探讨神经网络模型对旅游的促进作用,并展望未来的发展趋势。
一、神经网络模型在旅游推荐系统中的应用旅游推荐系统是利用神经网络模型对用户的历史行为和个人偏好进行分析,从而提供个性化的旅游推荐服务。
该模型通过学习用户的购物记录、点评内容以及社交网络信息等数据,建立个性化的旅游推荐模型,从而提高用户的满意度和旅游业的效益。
通过神经网络模型的应用,旅游推荐系统能够更加准确地理解用户的需求,精准推荐旅游线路、景点和酒店等,为用户提供更好的旅游体验。
二、神经网络模型在旅游市场预测中的应用旅游市场预测是指根据历史数据和市场环境分析,运用神经网络模型对未来旅游市场的需求、趋势和变化进行预测。
通过建立适当的神经网络结构和算法模型,可以更加精确地预测未来旅游市场的供求关系,为旅游从业者提供决策支持。
神经网络模型的应用将有效地为旅游企业的市场调研和战略制定提供科学依据,优化资源配置,提高市场竞争力。
三、神经网络模型在旅游交通路线规划中的应用旅游交通路线规划是指根据旅游者的出发点、目的地以及时间等要素,通过神经网络模型的学习和优化,给出最佳的旅游交通路线。
旅游者可以通过相关的应用程序,在输入出发地和目的地后,神经网络模型会根据历史数据和实时交通状况,给出最准确、最优化的交通路线,为旅游者提供便利和舒适的出行体验。
四、神经网络模型在旅游风险评估中的应用旅游风险评估是指对旅游目的地的安全性和可靠性进行评估和预测。
神经网络模型通过对历史旅游安全数据的学习与分析,可以建立旅游风险评估模型,对旅游目的地进行风险指数评估,并提供相应的风险和安全建议。
这对于旅游者在选择旅游目的地和制定旅游计划时非常重要,能够避免潜在的危险和风险,提高旅游的安全性和质量。
神经网络与人工神经网络控制综述摘要:本文阐述了人工神经网络和神经网络控制的基本概念、特点以及两者之间的关系,着重介绍了人工神经网络的工作原理和神经网络控制技术的应用,并对该技术的发展趋势做出了预测。
关键词:神经元;人工神经网络;神经网络控制;应用Abstract:It expounds the basic concepts, characteristics of the artificial neural network and neural network control and the relationship between them, and the basic principle of artificial neural networks and applications of neural network control technology are emphatically introduced, then the development trend of the technology has been forecasted.Keyword: Nerve Cell; Artificial Neural Networks; Neural Network Control; Application 1 人工神经网络与神经网络控制的基本概念和特点人工神经网络是由大量处理单元互联组成的非线性、自适应信息处理系统。
它是在现代神经科学研究成果的基础上提出的,试图通过模拟大脑神经网络处理、记忆信息的方式进行信息处理。
基于人工神经网络的控制(ANN—based Control)简称神经网络控制(Neural Control)。
[1]1.1人工神经网络1.1.1 生物神经元模型自20世纪40年代,随着神经解剖学、神经生理学以及神经元的电生理过程等的研究取得突破性进展,人们对人脑的结构、组成及最基本工作单元有了越来越充分的认识。
神经网络最新发展综述学校:上海海事大学专业:物流工程姓名:周巧珍学号:201530210155神经网络最新发展综述摘要:作为联接主义智能实现的典范,神经网络采用广泛互联的结构与有效的学习机制来模拟人脑信息处理的过程,是人工智能发展中的重要方法,也是当前类脑智能研究中的有效工具。
目前,模拟人脑复杂的层次化认知特点的深度学习成为类脑智能中的一个重要研究方向。
通过增加网络层数所构造的“深层神经网络”使机器能够获得“抽象概念”能力,在诸多领域都取得了巨大的成功,又掀起了神经网络研究的一个新高潮。
本文分8个方面综述了其当前研究进展以及存在的问题,展望了未来神经网络的发展方向。
关键词: 类脑智能;神经网络;深度学习;大数据Abstract: As a typical realization of connectionism intelligence, neural network, which tries to mimic the information processing patterns in the human brain by adopting broadly interconnected structures and effective learning mechanisms, is an important branch of artificial intelligence and also a useful tool in the research on brain-like intelligence at present. Currently, as a way to imitate the complex hierarchical cognition characteristic of human brain, deep learning brings an important trend for brain-like intelligence. With the increasing number of layers, deep neural network entitles machines the capability to capture “abstract concepts” and it has achieved great success in various fields, leading a new and advanced trend in neural network research. This paper summarizes the latest progress in eight applications and existing problems considering neural network and points out its possible future directions.Key words : artificial intelligence; neural network; deep learning; big data1 引言实现人工智能是人类长期以来一直追求的梦想。
网络天地175动态学习深度神经网络综述田晓艳摘要:深度神经网络是一种非常有效的机器学习方法,然而传统的算法均无法处理动态问题。
因此,介绍了一种最近提出的能够动态学习的深度神经网络永续学习机算法。
该算法能够实现对新增数据的动态学习,并且算法执行速度较快。
通过对文献的分析表明,该算法是一种拥有非常广泛应用价值的深度学习算法。
关键词:动态学习;深度;神经网络1、永续学习机模型的实现永续记忆的原理与实现方法永续记忆的最终目的是能够实现永续学习,也就是对于新的数据信息能够动态的学习出新的分类。
以MNIST 手写数字数据集为例,让模型学习识别出一组图像,在MNIST 手写数字数据集中取出前75个数字图像,并将它们分配给任意类别。
这样就存了75个唯一类,每一个类与一个唯一的特定数字相关联。
该模型的任务就是要识别图像并为其分配正确的类。
将75个数字中的前50传统的通过训练学习的样例,剩余的25个作为动态学习的样例。
前50个训练样本采用典型的SGD 训练并在训练后丢弃,也就是说这50个样例在后面的学习中不能被用来同化新类别样例。
后25个样例采用PSGD 训练并被阻止插入。
存储与召回DNN 模型为了实现存储与召回,设计两个相应的DNN 模型。
存储DNN 是大小为784×100×75的典型的分类器,Softmax 输出层对应于75个分类。
除了50个训练类别之外,75个可能的分类还提供25个冗余(未使用)分类,以供后续学习训练。
存储DNN 将图像作为输入,将生成的类作为输出。
召回DNN 的大小为75x100x784,以分类作为输入,并在输出处合成训练图像。
两个DNN 均使用带偏置项的Sigmoids 激活函数 ,在输出层使用零偏置(zero-bias)。
存储和召回DNN 均是独立训练的,仅使用前50个图像,采用非批处理随机梯度下降进行100次full-sweep 迭代[ , ]。
使用平行(100x )抖动w/ dropout 正则化策略进行训练。
神经网络分析范文神经网络分析,简称"NN",是一种模仿人脑神经网络系统的计算模型。
通过构建多层的神经元网络,进行数据处理与分析。
在深度学习领域,神经网络是应用最为广泛的算法之一、本文将分析神经网络的原理、应用以及未来发展方向。
1.神经网络原理神经网络由一个或多个神经元层组成,每层神经元与下一层神经元完全相连,形成一个拓扑结构。
每个神经元接收来自上一层神经元的输入,并通过自身的权重和激活函数进行处理,最后将结果传递给下一层神经元。
通过反向传播算法,神经网络可以自动调整权重,使得输出结果与实际结果之间的误差最小化。
2.神经网络应用神经网络在各个领域中有广泛的应用,包括图像识别、语音识别、自然语言处理等。
在图像识别领域,神经网络可以通过学习大量的图像数据,实现对图像中物体的自动识别。
在语音识别领域,神经网络可以通过学习大量的语音数据,实现对语音的自动转换和理解。
在自然语言处理领域,神经网络可以通过学习大量的文本数据,实现对语义的理解和推理。
3.神经网络的优势和局限性神经网络具有如下优势:首先,神经网络可以通过学习大量的数据,发现其中的模式和规律,实现自动化的数据分析。
其次,神经网络具有良好的泛化能力,可以通过学习训练数据,推导出未知数据的特征和类别。
然而,神经网络也存在一些局限性,例如,神经网络训练过程中需要大量的计算资源和时间。
而且,神经网络的结构和参数较为复杂,需要经验丰富的专家进行设计和调优。
4.神经网络的发展方向神经网络在过去几年中取得了显著的进展,但仍存在一些挑战和问题。
未来,神经网络的发展方向主要包括以下几个方面:首先,改进和优化神经网络的结构和参数,以提高模型的准确性和效率。
其次,研究和开发新的神经网络算法,以满足不同领域中数据分析的需求。
再次,加强神经网络的可解释性,使得模型的输出结果能够被人理解和解释。
最后,研究和开发更高效的神经网络训练方法,以提高模型的训练速度和效果。
人工神经网络综述引言人工神经网络(Artificial Neural Network,简称ANN)可以概括的定义为:由大量简单的高度互连的处理元素(神经元)所组成的复杂网络计算系统。
它是在现代神经科学研究成果基础上提出的,反映了人脑功能的若干基本特征,是模拟人工智能的一条重要途径。
最普通形式的神经网络就是对人脑完成特定任务或感兴趣功能的方法进行建模的机器。
人工神经网络既可以用硬件实现,也可以用软件实现;既可以看做一种计算模式,也可以看做一种认知模式。
因此,从某种意义上说,人工神经网络、并行分布处理(Parallel Distributed Processing,简称PDP)、神经计算机是同一概念。
神经网络在两个方面与人脑相似:①神经网络获取的知识是从外界环境中学习得来的;②互连神经元的连接强度,即突触权值,用于存储获取的知识。
1神经网络基础知识1.1神经元模型神经元是神经网络的基本处理单元,它是人工神经网络的设计基础。
人工神经网络是模拟或学习生物神经网络(Biological Neural Network,BNN)信息处理功能的信息处理模型。
因此,要了解人工神经元模型首先必须了解生物神经元模型。
1.1.1生物神经元的结构生物神经元是大脑的基本单元。
虽然存在多种生物神经元,但其基本结构是相似的,即一个生物神经元由一个细胞体、大量的树突和轴突构成。
细胞体相当于一个初等处理器,由细胞核、细胞质和细胞膜等组成。
树突也称枝晶,为细胞体向外伸出的许多树状分枝,它相当于细胞的输入端,接受来自四面八方的传入神经冲动、兴奋或抑制信号。
轴突即神经纤维,是由细胞体向外伸出的最长的一条分枝。
轴突相当于细胞的输出电缆,其端部有许多神经末梢作为信号输出端子,用于传出神经冲动、兴奋或抑制信号。
神经元之间通过轴突(输出)与树突(输入)相互连接,其接合部称为突触,即神经冲动通过突触从一个神经元传递到另一个神经元。
它决定了神经元之间的联接强度和性质(兴奋或抑制)。
神经网络系统辨识综述目前,国内外有许多利用神经网络来模拟设备性能、预测负荷的成功例子。
1993 年,美国的Mistry和Nair成功开发了一个用来决定预期平均满意率(PMV)和温湿度参数的神经网络模型。
1994 年,Curtiss利用神经网络模型成功地模拟了一台往复压缩式的冷水机组和其它暖通空调设备的性能。
随后,Darred和Curtiss利用神经网络模型成功地预测了冷水机组的冷负荷和耗电量。
在国内,也有利用神经网络对暖通空调优化控制、对空调器进行仿真研究的成功例子。
神经网络之所以能够在国内外得到如此广泛的应用是因为:a)神经网络具有模拟高度非线性系统的优点;b)神经网络具有较强的学习能力、容错能力和联想能力;c)神经网络具有较强的自适应能力。
例如可通过重新训练网络进行设备特性的动态校准功能,这也是它优于其它控制方法的主要特点。
此外,神经网络模型还具有建模时间短、易于进行计算机模拟的优点。
对于智能建筑,其热动力学参数模型本质上为分布参数系统,应用系统辨识也很难获得其精确的数学模型,控制效果可想而知,而人工神经网络允许在模型理论不完善的情况下,构成一种具有自学习、自适应的体系结构,在与外界信息的交互作用中,形成一种非线性映射或线性动力学系统,以正确反映输入和输出关系而不必预先知道这种关系的精确数学模型。
神经网络在线性系统辨识中的应用自适应线性(Adaline-Mada Line)神经网络作为神经网络的初期模型与感知机模型相对应,是以连续线性模拟量为输入模式,在拓扑结构上与感知机网络十分相似的一种连续时间型线性神经网络。
这种网络模型是美国学者Widrow和Hoff于1960 年提出的,简称Adaline网络,它主要用于自适应系统等连续可调过程,还可以用于天气预报、语言识别、心电图诊断、图像分析等领域。
由于该网络能逼近任意连续的线性函数,因此该网络可用于线性系统辨识,具体的方法是:将连续输入信号的采样值经不同延时后,作为网络的输入模式,被辨识系统数据量的采样值作为网络的希望输出模式。
人脑神经网络结构研究综述引言:人脑是自然界最为复杂的生物智慧体之一,其神经网络结构的研究一直是神经科学领域的重要课题。
人类对于理解人脑的运作原理以及开发人工智能系统具有重要意义。
本文将对人脑神经网络结构的研究进行综述,讨论相关研究的进展以及取得的成果。
一、神经元:人脑神经网络的基本构成单位神经元是神经系统的基本构成单位,在人类大脑中以数以亿计的数量密集分布。
神经元通过轴突和树突之间形成的神经连接(突触)进行信息传递和交流。
根据功能不同,神经元可分为感觉神经元、运动神经元和连合神经元等。
二、人脑神经网络的分层结构人脑神经网络的结构分为多个层次,每个层次由特定类型的神经元构成特定的神经回路。
这些层次包括大脑皮层、白质纤维束、脑区连接等。
大脑皮层是人脑最上层的结构,负责高级认知功能,包括感知、运动、语言和决策等。
白质纤维束则连接不同脑区,形成信息传递的管道。
三、大脑皮层的神经网络结构大脑皮层是人脑最为复杂的结构之一,其神经网络可由多个功能区域组成,每个功能区域负责不同的认知功能。
这些功能区域之间通过神经纤维捆绑在一起,形成复杂的神经回路。
研究表明,大脑皮层的组织方式可分为柱状结构和列状结构。
四、脑区连接的研究与进展脑区连接研究是人脑神经网络结构研究的重要方向之一。
通过分析人脑不同脑区之间的连接情况,可以揭示大脑在不同认知任务中的信息流动方式。
常用的脑成像技术,如功能性磁共振成像(fMRI)和脑电图(EEG)等,为研究人脑神经网络的脑区连接提供了重要工具。
五、人脑神经网络模型研究人脑神经网络模型是对人脑神经网络结构进行数学建模和仿真的研究。
目前,一些研究人员尝试使用深度学习模型来模拟人脑的神经网络,如卷积神经网络(CNN)和循环神经网络(RNN)等。
这些模型在视觉、语音和自然语言处理等任务中取得了显著的成果。
六、人工智能与人脑神经网络的关联人脑神经网络的研究对于人工智能的发展具有重要意义。
通过深入研究人脑神经网络结构,我们可以更好地理解人类智慧的本质,并借鉴其结构和功能来改进人工智能系统。
bp神经网络的应用综述近年来,随着人工智能(AI)发展的飞速发展,神经网络技术也在迅速发展。
BP神经网络是一种能够将输入大量信息并有效学习并做出正确决策的广泛应用的深度学习算法。
它的强大的学习能力令人印象深刻,从很多方面来看都是一种具有潜在潜力的技术。
在科学和工程方面,BP神经网络的应用非常广泛。
它可以用于模式识别,数据挖掘,图像处理,语音识别,机器翻译,自然语言处理和知识发现等等。
当可用的数据量很大时,BP神经网络可以有效地自动分析和提取有用的信息,从而有效地解决问题。
例如,在图像处理领域,BP神经网络可以用于图像分类、目标检测和图像语义分析。
它能够以准确的速度检测目标图像,包括人脸、行人、汽车等等,这在过去难以实现。
在机器翻译等技术中,BP神经网络可以用于语义分析,以确定机器翻译的正确语义。
此外,BP神经网络还可以用于人工智能的自动控制,例如机器人与机器人感知、模式识别、语音识别和控制系统。
除此之外,BP神经网络还可以用作在计算机游戏和科学研究中的决策支持系统,以便帮助决策者做出正确的决策。
总而言之,BP神经网络是一种具有广泛应用的深度学习算法,它能够自动处理大量复杂的信息,并能够做出正确的决策。
它可以用于各种科学和工程任务,如模式识别、机器翻译、图像处理、语音识别、机器人感知及自动控制等领域。
此外,它还可以用于决策支持系统,以便帮助决策者做出正确的决策。
BP神经网络在许多领域都具有巨大的潜力,希望以后能得到更多的研究和应用。
因为随着计算机技术的发展,BP神经网络在未来有望发挥更大的作用,帮助人们实现和科学研究的突破。
BP神经网络的潜力巨大,尽管它的应用前景十分广阔,但许多研究仍然存在挑战。
因此,有必要开展更多的研究,并利用其强大的特性,尽可能多地发掘它的潜力,以便最大限度地利用它的优势。
我们期待着BP神经网络会给人类的发展带来更多的惊喜。
神 经 网 络 综 述 摘 要 作为一门活跃的边缘性交叉学科,神经网络的研究与应用正成为人工智能、 认识科学、神经生理学、 非线性动力学等相关专业的热点。近十几年来,针对神经网络的学术研究大量涌现,它们当中提出上百种的神经网络模型,其应用涉及模式识别﹑联想记忆、信号处理、自动控制﹑组合优化﹑故障诊断及计算机视觉等众多方面,取得了引人注目的进展。 关键词:神经网络,研究与应用,发展 引 言 人类关于认知的探索由来已久。早在公元前400 年左右,希腊哲学家柏拉图(Plato)和亚里士多德(Asidtole)等,就曾对人类认知的性质和起源进行过思考,并发表了有关记忆和思维的论述。在此及以后很长的一段时间内,由于科学技术发展水平所限,人们对人脑的认识主要停留在观察和猜测的基础之上,缺乏有关人脑内部及其工作原理的科学依据, 因而进展缓慢。直到20世纪40 年代,随着神经解剖学、神经生理学以及神经元的电生理过程等的研究取得突破性进展,人们对人脑的结构、组成及最基本工作单元有了越来越充分的认识,在此基本认识的基础上,以数学和物理方法以及信息处理的角度对人脑神经网络进行抽象,并建立简化的模型,称为人工神经网络ANN(Artificial Neural Network),为叙述方便将人工神经网络直接称之为神经网络。
1 神经网络的定义 目前,关于神经网络的定义尚不统一,按美国神经网络学家Hecht Nielsen 的观点,神经网络的定义是:“神经网络是由多个非常简单的处理单元彼此按某种方式相互连接而形成的计算机系统,该系统靠其状态对外部输入信息的动态响应来处理信息”。综合神经网络的来源﹑特点和各种解释,它可简单地表述为:人工神经网络是一种旨在模仿人脑结构及其功能的信息处理系统。
2 神经网络的基本模型 人工神经元的研究源于脑神经元学说,19世纪末,在生物、生理学领域,Waldeger等人创建了神经元学说。人们开始认识到,复杂的神经系统是由数目繁多的神经元组合而成。 神经元由细胞及其发出的许多突起构成。细胞体内有细胞核,突起的作用是传递信息。作为引入输入信号的若干个突起称为“树突”或“晶枝”(dendrite),而作为输出端的突起只有一个称为“轴突”(axon)。 树突是细胞体的延伸部,它由细胞体发出后逐渐变细,全长各部位都可与其它神经元的轴突末稍相互联系,形成所谓“突触”(synapse)。突触可分为兴奋性与抑制性两种类型,它相应于神经元之间耦合的极性。每个神经元的突触数目有所不同,最高可达105 个,各神经元之间的连接强度和极性有所不同,并且都可调整,基于这一特性,人脑具有存储信息的功能。 对于这样一种多输入、单输出的基本单元可以进一步从生物化学、电生物学、数学等方面给出描述其功能的模型。从信息处理观点考察,为神经元构作了各种形式的数学模型。 利用大量神经元相互连接组成的人工神经网络,将显示出人脑的若干特征,人工神经网络也具有初步的自适应与自组织能力。同一网络因学习方式及内容不同可具有不同的功能。人工神经网络是一个具有学习能力的系统,可以发展知识,以至超过设计者原有的知识水平。通常,它的学习(或训练)方式可分为两种,一种是有监督(supervised)或称有导师的学习,这时利用给定的样本标准进行分类或模仿;另一种是无监督(unsupervised)学习或称无导师学习,这时,只规定学习方式或某些规则,而具体的学习内容随系统所处环境(即输入信号情况)而异,系统可以自动发现环境特征和规律性,具有更近似于人脑的功能。
3 人工神经网络的特性 人工神经网络与人脑以及冯·诺依曼计算机相比有如下特点: 1)大规模并行处理 人脑神经元之间传递脉冲信号的速度远低于冯·诺依曼计算机的工作速度,前者为毫秒量级,后者的时钟频率通常可达108Hz或更高的速率。但是,由于人脑是一个大规模并行与串行组合处理系统,因而在许多问题上可以做出快速判断、决策和处理,其速度可以远高于串行结构的冯·诺依曼计算机。人工神经网络的基本结构模仿人脑,具有并行处理的特征,可以大大提高工作速度。 2)分布式存储 人脑存储信息的特点是利用突触效能的变化来调整存储内容,也即信息储存在神经元之间连接强度的分布上,存储区与运算区合为一体。虽然人脑每日有大量神经细胞死亡,但不影响大脑的功能,局部损伤可能引起功能衰退,但不会突然丧失功能。 冯·诺依曼计算机具有相互独立的存储器和运算器,知识存储与数据运算互不相关,只有通过人的编程给出指令使之沟通,这种沟通不能超越程序编写者的预想。元件的局部损伤或程序中的微小错误都可能引起严重的失常。 3)自适应(学习)过程 人类大脑有很强的自适应与自组织特性。后天的学习与训练可以开发许多各具特色的活动功能。如盲人的听觉和触觉非常灵敏,聋哑人善于运用手势,训练有素的运动员可以表现出非凡的运动技巧等等。 冯·诺依曼计算机强调程序编写,系统的功能取决于程序给出的知识和能力。显然,对于上述智能活动要加以总结并编制程序将十分困难。 人工神经网络也具有初步的自适应与自组织能力。在学习和训练过程中改变突触权重值,以适应周围环境的要求。同一网络因学习方式及内容不同可具有不同功能。人工神经网络是一个有学习能力的系统,可以发展知识,以致超过设计者原有的知识水平。
4 人工神经网络的基本功能 人工神经网络是一种旨在模仿人脑结构及其功能的信息处理系统。因此,它在功能上具有某些智能特点。 1)联想记忆功能 由于神经网络具有分布存储信息和并行计算的性能,因此它具有对外界刺激和输入信息进行联想记忆的能力。这种能力是通过神经元之间的协同结构及信息处理的集体行为而实现的。神经网络通过预先存储信息和学习机制进行自适应训练,可以从不完整的信息和噪声干扰中恢复原始的完整的信息。这一功能使神经网络在图像复原﹑语音处理﹑模式识别与分类方面具有重要的应用前景。 2)分类与识别功能 神经网络对外界输入样本有很强的识别与分类能力。对输入样本的分类实际上是在样本空间找出符合分类要求的分割区域,每个区域内的样本属于一类。 3)优化计算功能 优化计算是指在已知的约束条件下,寻找一组参数组合,使该组合确定的目标函数达到最小。将优化约束信息(与目标函数有关)存储于神经网络的连接权矩阵之中,神经网络的工作状态以动态系统方程式描述。设置一组随机数据作为起始条件,当系统的状态趋于稳定时,神经网络方程的解作为输出优化结果。优化计算在TSP及生产调度问题上有重要应用。 4)非线性映射功能 在许多实际问题中,如过程控制﹑系统辨识﹑故障诊断﹑机器人控制等诸多领域,系统的输入与输出之间存在复杂的非线性关系,对于这类系统,往往难以用传统的数理方程建立其数学模型。神经网络在这方面有独到的优势,设计合理的神经网络通过对系统输入输出样本进行训练学习,从理论上讲,能够以任意精度逼近任意复杂的非线性函数。神经网络的这一优良性能使其可以作为多维非线性函数的通用数学模型。如小脑模型神经网络在线辨识算法,就是一种典型的非线性映射。
5 人工神经网络的应用领域 1988年,在Darpa的“神经网络研究报告”中列举了各种神经网络的应用。其中第一个应用就是大约在1984年的自适应频道均衡器。这个设备在商业上取得了极大的成功。它用一个单神经元网络来稳定电话系统中长距离传输的声音信号。Darpa报告还列出了其它一些神经网络在商业领域的应用,如单词识别器﹑过程监控器﹑声纳分类器﹑风险分析系统等。目前神经网络的应用领域正在不断扩大,它不仅可以广泛应用于工程﹑科学和数学领域,也可广泛应用于医学﹑商业﹑金融甚至于文学领域。 1)信息领域 神经网络作为一种新型智能信息处理系统,其应用贯穿信息的获取﹑传输﹑接收与加工利用等各个环节。 ①信号处理 ②模式识别 ③数据压缩 2)自动化领域 20世纪80年代以来,神经网络和控制理论相结合,发展为自动控制领域的一个前沿学科――神经网络控制。它是智能控制的一个重要分支,为解决复杂的非线性﹑不确定﹑不确知系统的控制问题开辟了一条新的途径。神经网络用于控制领域,已取得了以下主要进展。 ①系统辨识 ②神经控制器 ③智能监测 3)工程领域 20世纪80年代以来神经网络的理论研究已在众多的工程领域取得了丰硕的应用成果。 ①汽车工程 ②军事工程 ③化学工程 ④水利工程 ⑤制造工程 ⑥航空航天工程 ⑦气象工程 4)医学领域 ①检测数据分析 ②生物活性研究 ③医学专家系统 ④生物信息学 5)经济领域 ①信贷分析 ②市场预测 6 人工神经网络发展展望 经过近半个世纪的发展,神经网络理论在模式识别、自动控制、信号处理、辅助决策、人工智能等众多研究领域取得了广泛的成功。关于学习、联想和记忆等具有智能特点过程的机理及其模拟方面的研究正受到越来越多的重视。目前神经网络研究与发展主要集中在以下几个方面: 1)神经生理学、神经解剖学研究的发展 通过神经网络研究的发展,我们对人脑一些局部功能的认识已经有所提高,如对感知器的研究,对视觉处理网络的研究,对存储与记忆问题的研究等都取得一定的成功,但遗憾的是,这些成功一方面还远不够完善,另一方面,在对人脑作为一个整体的功能的解释上还几乎起不上任何帮助。科学家已经积累了大量关于大脑组成、大脑外形、大脑运转基本要素等知识,但仍无法解答有关大脑信息处理的一些实质问题。整体功能决不是局部功能的简单组合而是一个质的飞跃,人脑的知觉和认知等过程是包含着一个复杂的动态系统中对大量神经元活动进行整合的统一性行动。由于我们对人脑完整工作过程几乎没有什么认识,连一个稍微完善的令人可以接受的假设也没有,这造成神经网络研究始终缺乏一个明确的大方向。这方面如果不能有所突破,神经网络研究将始终限于模仿人脑局部功能的缓慢的摸索过程当中,而难以达到研究水平的质的飞跃。 2)与之相关的数学领域的研究与发展 神经元的以电为主的生物过程在认识上一般采用非线性动力学模型,其动力学演变过程往往是非常复杂的,神经网络这种强的生物学特征和数学性质,要求有更好的数学手段。而我们知道,对解决非线性微分方程这样的问题,稍微复杂一些的便没有办法利用数学方法求得完整的解。这使得在分析诸如一般神经网络的自激振荡、稳定性、混沌等问题时常常显得力不从心,更不用说,当我们面对人脑这样的由成千上万个神经元网络子系统组成的巨系统,而每个子系统(具有某种特定功能)又可能由成千上万个神经元组成,每个神经元本身是一个基本的非线性环节。因此可以认为,当今神经网络理论的发展,已经客观要求有关数学领域必须有所发展,并大胆预期一种更简洁、更完善和更有效的非线性系统表达与分析的数学方法是这一领域数学发展的主要目标之一。 3)神经网络应用的研究与发展 从神经网络发展过程来看,理论研究经常走在前列,有时会超出实际使用阶段。虽然说理论研究和实际应用可以相辅相成,但实际需求总是科技发展的主要推动力。目前,在神经网络实用上,虽然有不少实际应用成果报道,如智能控制﹑模式识别﹑机器人控制及故障诊断等。但真正成熟的应用还比较少见。 4)神经网络硬件的研究与发展 要真正实现神经网络计算机,则神经网络芯片设计与生产技术必须有实质性的进展。目前,在单片上集成数百个神经元的制作技术已经没有困难,但这种水平与神经网络实际应用