人工神经网络的算法及其在化工
中的应用
摘要
摘要
数据挖掘技术是当今一项新兴技术，它综合运用人工智能、计算智能、模式识别、数理统计等先进技术从大量数据信息中挖掘和发现有价值和隐含的知识。人工神经网络是由大量同时也是很简单的处理单元广泛连接构成的复杂网络系统。它具有自学习、高容错和高度非线性描述能力等优点，使其在化工领域得到了广泛的应用。这些应用主要包括：故障诊断、过程控制、物性估算、专家系统和建筑节能等。但人工神经网络在化工领域的进一步应用还有赖于对化工领域问题的抽提（即符合神经网络的输入输出表达）及网络本身性能优化的进一步研究。
关键词：数据挖掘技术；人工神经网络；化工应用
1 数据挖掘技术
1.1数据挖掘技术概述
化工生产在生产产品的同时，也产生大量关于生产过程的信息。这些信息的有效利用极大地促进了化工生产的科学管理和生产优化，与此同时，日益积累的信息也带来了许多新的挑战和问题，如信息过量、信息真假难辨、信息安全隐患、信息矛盾等。面对这一挑战，数据挖掘技术应运而生，并显示了强大的生命力。[1]
数据挖掘是一门交叉学科，涉及到机器学习、模式识别、统计学、智能数据库、知识获取、数据可视化、高性能计算机和专家系统等多个领域。数据挖掘的两个高层次目标是预测和描述。预测的基本任务包括分类、回归、时间序列分析和预测。描述的基本任务包括聚类、总结、关联规则和序列发现。
数据库技术只是将数据有效地组织和存储在数据库中，并对这些数据作一些简单分析，大量隐藏在数据内部的有用信息无法得到。而机器学习、模式识别、统计学等领域却有大量提取知识的方法，但没有和实际应用中的海量数据结合起来，很大程度上只是对实验数据或学术研究发挥作用。数据挖掘从一个新的角度将数据库技术、机器学习、模式识别和统计学等领域结合起来，从更深层次中发掘存在于数据内部有效的、新颖的、具有潜在效用的乃至最终可理解的模式。
1.2 数据挖掘技术分类
数据挖掘技术通常可以分为一下几种方法：[2]
(1) 数学统计方法
数学统计方法主要用于完成总结知识和关联知识挖掘。它利用统计学、
1
概率论的原理对关系中各属性进行统计分析，建立一个数学模型或统计模型，以找出他们之间的关系和规律。常用的统计方法包括判别分析、因子分析、相关分析、回归分析、偏最小二乘回归（PLS）和聚类法等。
(2) 决策树
决策树技术主要用于分类、聚类和预测的预测建模技术。它利用信息论中的互信息（信息增益）寻找数据库中具有最大信息量的字段，建立决策树的一个结点，再根据字段的不同取值建立树的分枝，在每个分枝子集中重复建立下层结点和分枝，这样便生成一颗决策树。接着对决策树进行剪枝处理，再把决策树转化为规则，利用这些规则可对新事例进行分类。典型决策树方法有分类回归树（CART）、ID3和C4.5等。
(3) 模式识别方法
模式识别是数据挖掘的主要方法之一。它是一种借助于计算机对信息进行处理、判决分类的数学统计方法。模式识别方法大致可以分为统计模式识别和句法模式识别两大类。统计模式识别将每个样本用特征参数表示为多维空间中的一个点，根据“物以类聚”的原理，同类或相似的样本间的距离应较近，不同类的样本间的距离应较远。这样，就可以根据各样本点间的距离或距离的函数来判别、分类，并利用分类结果预报未知。统计模式识别是工业优化中的常用方法。
(4) 人工神经网络方法
人工神经网络方法用于分类、聚类、特征挖掘、预测和模式识别。神经网络方法模仿动物的脑神经元结构，以M-P模型（由Mceulloch和Pitts提出）和Hebb学习规则为基础。在本质上是一个分布式矩阵结构，通过对训练数据的挖掘，逐步计算（包括反复迭代或累加计算）神经网络连接的权值。
(5) 遗传算法
2
遗传算法主要用于解决全局优化问题，适用于分类和关联规则挖掘等。遗传算法是一种基于达尔文进化论中基因重组、突变和自然选择等概念的算法，具有随机性和自适应性等特点。从一个初始规则集团（如知识基因）开始，逐代地通过交换对象成员（杂交、基因突变）产生群体（繁殖），评价并择优复制（适者生存，不适者淘汰），逐代积累计算，最终得到最优的或是近似最优的知识集。
(6) 粗糙集方法
粗糙集方法用于数据简化（例如，删除与任务无关的记录或字段）、数据意义评估、对象相似或差异性分析、因果关系及范式挖掘等。Rough Set 理论是Pawlak在20世纪80年代提出来的，用于研究非精确性和不确定性知识的表达、学习、归纳等方法的。主要思想如下：在数据库中将行元素看成对象，列元素是属性，把对象的属性分为条件属性和决策属性，按各属性值是否相同划分等价类。等价关系R定义为不同对象在某个（或几个）属性上取值相同，这些满足等价关系的对象组成的集合称为该等价关系R的等价类。
(7) 支持向量机方法
支持向量机方法主要用于有限数据的分类、回归和预报建模。早在20世纪60年代，以数学家V apnik为代表的学派就开始努力建立一套能保证从有限样本得出预报能力最强数学模型的“统计学习理论”(statistical learning theory，简称SLT)并于1992年和1995年先后提出分类和回归的支持向量机算法(support vector machine ，简称SVM)。支持向量机的基本思想可以概括为：首先通过非线性变换将输入空间变换到一个高维空间，然后在这个新空间中求取最优线性分类面，而这种非线性变换是通过定义适当的内积函数实现的。SLT和SVM算法在很大程度上解决了模型选择与过拟合问题，小
3
样本、非线性和维数灾难问题，局部最小点问题等。
(8) 可视化技术
可视化是计算机应用技术的发展趋势，也是数据挖掘的研究方向之一。可视化数据分析技术拓宽了传统的图表功能，用直观图形式将信息模式、数据关联或趋势呈现给决策者，使之能交互分析数据关系，如把数据库中多维数据变成多种图形对揭示数据总体状况、内在本质及规律至关重要。可视化技术将人的观察力和智能融入数据挖掘系统，极大提升了系统挖掘的速度、层次和内容。
2. 神经网络方法概述
2.1 神经网络方法的发展
从1943年心理学家W.S.McCu lloch和数学家W.Pitts研究并提出M-P 神经元到今天，人类对神经网络的研究已过了半个多世纪的历程。进入80年代后期，在美国、日本等一些工业发达国家里，掀起了一股竞相研究神经网络的热潮，神经网络的研究进入复苏阶段，特别是1986年Rumelhart和McCelland为首的科学小组提出的误差逆传播学习网络及其学习算法，已成为至今影响最大的一种网络学习法。到了21世纪，神经网络技术逐渐趋于成熟和理智。[3]
人工神经元网络（Artificial Neural Network，简称ANN）是模仿人类脑神经活动的一种人工智能技术，是由大量的同时也是很简单的处理单元广泛连接构成的复杂网络系统。人工神经网络是建立在现代神经科学研究基础上的一种抽象数学模型，它反映了大脑功能的基本特征，但并非逼真地描写，只是某种简化、抽象和模拟。给ANN 一些样本，ANN通过自学习可以掌握样本规律，在输入新的数据和状态信息时，可用ANN进行自动推理和控
4
5
制。由于反向传递学习算法BP 网络和Hopfield 网络的出现与再次兴起，使其应用领域不断扩大。
2.2 神经网络方法分类
人工神经网络有多种算法，但可粗略地分为两类：有教师学习的人工神经网络和无教师学习的人工神经网络。前者主要是对已知样本进行训练，然后对未知样本进行预测。此类方法的典型代表是误差反向传播(BP, Back Propagation)人工神经网络。后者亦称自组织人工神经网络，无须对已知样本进行训练，则可用于化合物的分类，如Kohonen 神经网络和Hopfield 神经网。
2.3 BP 神经网络算法
在以上各种算法中，应用得最多的是BP 人工神经网络[4]。从结构上讲，BP 网络是典型的多层网络，分为输人层、隐含层和输出层，层与层之间采用完全互连方式，同一层单元间不存在相互连接。BP 网络的第一层即输入层，接受外界输入，最后一层即输出层，产生输出。在输入层和输出层之间，有若干个隐含层。在各层之间，只有相邻层的神经元之间存在联系。对输入X 进行某种函数运算，即得到神经元的输出Y 。在化工的应用领域中，常用的函数形式是S 型函数F(x)。
()()1
F 1exp x x =+-
BP 算法的具体步骤是：
（1）初始化，即随机地设置各层权重系数和值；
（2）将训练样本数据X 加到网络输入端，计算各层的输出Y ，将输出值与期望值相比得到误差信号；
（3）根据误差信号重新调整连接权重；
（4）如果小于预定误差，则认为网络已收敛而停止学习，反之，则返回（2）继续学习（3）。
算法框图如下：
图1 BP算法框图
3. 神经网络方法应用
化工行业有着生产过程复杂、对象特性多变、间歇或半连续生产过程多、有一定的危险性及污染环境等特点，使得化工领域需要一个技术及环境的改支撑环境，对其进一步发展有很大的促进作用。ANN在化工中的应用主要在以下几个领域：故障诊断、过程控制、物性估算、专家系统和建筑节能。
6
3.1故障诊断
当系统的某个环节发生故障时，若不及时处理，就可能引起故障扩大并导致重大事故的发生。因此建立高效的、准确的实时故障检测和诊断系统，消除故障隐患，及时排除故障，确保安全、平稳、优质的生产，已成为整个生产过程的关键所在。故障诊断是ANN最有应用价值的领域[5]：
(1)通过训练ANN，可形成和存储有关过程知识并直接从定量的历史故障信息中学习；
(2)ANN具有滤出噪音及在噪音情况下得出结论的能力，使ANN适合于在线故障诊断和检测；
(3)ANN 具有分辨原因及故障类型的能力。
常用故障诊断方法是反向传播的方法(BP网)和径向偏置函数网络(RBF 网)，但另一方面模糊神经元网络作为一种更接近人脑思维的网络，可能是解决此问题的关键和研究方向。
神经网络用于故障诊断和校正不必建立严格的系统公式或其它数学模型，经数据样本训练后可准确、有效地侦破和识别过失误差，同时校正测量数据中的随机误差。与直接应用非线性规划的校正方法相比，神经网络的计算速度快，在化工过程的实时数据校正方面具有明显的优势。然而现有的神经网络软件，直接应用于测量数据校正时，需要进行离线的训练，难以同数据校正系统有机地相结合；其次，为适应化工过程数据的复杂性，需要提高神经网络算法的训练速度和收敛性[6]。
3.2 过程控制
随着化学工业的不断发展，对化工过程控制的要求日益严厉。常规的控制系统有时会显得力不从心，而神经网络本身所具有的优点正好能满足控制
7
过程的主要要求：
——处理日益复杂的系统的需要；
——过程设计要求日益增高的需要；
——减少不确定因素及环境要求的需要。
神经网络的出现及应用也变得自然。随着ANN 研究的不断深入，神经网络越来越多地应用于控制领域的各个方面，从过程控制、机器人控制、生产制造、模式识别直到决策支持神经网络都有应用。ANN可以成功地建立流程和控制参数间的非线性关系及构造相关的数学模型，并可跟踪瞬息过程及具有稳健功能等，因此可有效地用于化工过程最优化和控制。
1986年，Rumelhart第一次将ANN用于控制界。神经元网络用于控制有两种方法，一种用来构造模型，主要利用对象的先验信息，经过误差校正反馈，修正网络权值，最终得到具有因果关系的函数，实现状态估计，进而推断控制；另一种直接充当控制器，就像PID控制器那样进行实时控制。神经元网络用于控制，不仅能处理精确知识，也能处理模糊信息。Hussain 认为神经网络在化工过程控制领域的应用主要在三个方面：预测控制、反向模型基础控制和适应控制。而在控制工艺中，神经网络用得最多的便是预测控制工艺。
Edwards和Goh阐述了ANN用于优化控制相对其它传统的线性参数模型的一些优点。这种预测控制算法是以模型为基础的，同时包含了预测的原理，可以灵活方便地处理输入输出等的约束问题。图2展示了神经网络的预测控制策略。
3.3 物性估算
用神经网络来解决估算物质的性质必须解决三个基本问题，第一个是对
8
图2 神经网络的预测控制策略
物质的表征问题；第二个是采用何种神经网络及其算法问题；第三个是神经网络输入与输出数据的归一化问题。无论采用哪种方法对数据进行处理，当用经过训练的神经网络进行物性估计时，不能将网络直接的输出值作为物性预估值，而是要进行反归一化处理，也就是说，神经网络的输出值再乘上一个系数，这个系数就是前面进行归一化处理时对数据的除数，相乘后得到的值作为物性估算值。
神经网络用于物性估算，目前采用的就是BP网络或在此基础上的各种改进形式。既然网络形式已经确定，那么剩下的问题就是BP网络本身所需要解决的问题。BP网络进行训练运行时需要解决的问题就是各层的神经元数目，其它问题均可以交给计算机去处理解决。
近年来，将ANN用于估算有机物的物性参数已有一些研究，张向东[7]采用ANN对有机物的一些基础物性进行预测，表征分子采用分子描述码、分子片、分子距离边数矢量等一些特殊参数，其报道的预测结果均优于或接近数学回归法的预测结果，然而，这些表征分子的特殊参数表征方式复杂，且往往还需要其他精确的不易获得的物性参数；陈海松[8]采用基团法用ANN 对有机物的沸点焓进行了很好的估算。基团贡献法表征分子具有简单易用，不需或少用其他附加参数的特点，而ANN极强的自学习、自拟和模式识别
9
的能力还使网络能考虑到基团的相互作用，表明ANN在物性估算方法具有很大的应用前景。文献用改进后的神经网络BP算法SSBP，对纯物质的常压沸点进行估算和研究。Prasad等人利用神经网络对有机化合物的物理性质进行了预测，并与传统的基团贡献法比较，可以得到更为准确的物性参数。而后，董新法、方利国等人将神经网络在物性估算中的应用作了一个全面而又简要的讲解，并提出神经网络在物性估算中潜在的应用前景，为其发展及其以后的应用研究提供了很好的工作平台。
3.4 专家系统
ANN具有良好的逼近任意复杂的非线性系统的能力，近年来被广泛应用于化学化工过程的模拟与预测[9]，包括在能量模型、建筑节能方面都有应用[10]。当今大多数楼宇的HV AC系统都采用集散控制系统，它们依靠高速可靠的网络通信与强大的DDC(直接数字控制期)或子站来实现各项功能，这些都为ANN的实际应用创造了条件。
专家系统发展至今，存在许多理论和技术问题，如知识表示、知识获取、知识验证等。而神经元网络有着许多诱人的特点：表达一求解问题可用连接模型表示；学习一网络连接权值可用训练获得，概括一连接模型具有健壮性，抽取一连接模型具有创新能力；并行一连接模型适合于硬件并行实现。因此，将两者有机地结合起来，将有着一种有益的互补作用，使人工智能在实时应用、知识获取、执行效率等方面都会有很大改善。
借助神经元网络方法建立神经逻辑网络，通过已知样本的学习获得权值矩阵。它一方面等价于推理网络的可信度矩阵，这样构成的推理机可完成如下任务：用部分输入信息进行推理，能寻找未知输入变量，解释推理结果。另一方面也可作为专家系统的规则，既可作为知识获取工具，又可存取知识，作为一个知识库。
10
杜文莉[11]等以精对苯二甲酸结晶过程为研究对象，提出一种基于神经网络模型的实时专家控制系统，该方法利用神经网络建模技术获取对象的机理知识，通过对影响模型特性的多个变量进行分析，自动得到常规专家控制系统难于获取的定性、定量知识，并按分级递阶的启发式搜索机制，实现了对工业过程对象的实时控制。实际应用表明：该方法不但克服了以往专家系统知识获取的瓶颈，而且有效实现了人机对话的功能，便于现场操作和更改专家知识库，为化工过程的多变量控制提供了新的思路。
3.5 建筑节能上的应用
随着经济的发展，供暖范围日益扩大，空调建筑迅速增加，建筑能耗增长的速度将远远高于能源生产增长的速度，从而成为制约国家经济发展的一个重要因素。神经网络可以充分逼近任意复杂的非线性关系，且具有分布存储、自适应和自组织等突出特点。应用最为广泛的BP网络模型技术成熟，结构简单，工作状态稳定，可把一组样本的I/O问题变为一个非线性优化问题。如果用BP网络来处理建筑节能的评价问题，就可以通过学习，自动归纳掌握各指标影响节能综合指标的规律，并将各指标权重以相对联系的方式隐含于网络之中，从而使建筑节能效果的评价既具有客观规律性，又达到简单适用的目的[12]。
建筑节能作为中国节能工作的重要组成部分，当前的技术水平还比较低下，神经网络作为一种抽象模型，采用人工智能的方法进行数据知识的萃取，有极其优越的条件和精确度，只要选取的网络结构和训练方式得当，并有足够的数据供网络训练，理论上神经网络模型能够以任意精度逼近实际的物理模型。
11
4 结论
数据挖掘技术是一项非常有前途的应用技术，它能从数据库中提取出有效的模式和感兴趣的知识。数据挖掘最令人激动的新的研究领域可能是将统计学、数据库、数据自动分析和归约及与其他相关领域融合在一起。
神经网络在化学工程中得到广泛应用，并得到了丰富与发展。人们对生物神经系统的认识与研究还很不够，所使用的神经元网络模型无论是结构还是网络规模都是真实神经元网络的极简单模拟。神经元网络的研究结果迄今大多停在仿真或实验室研究阶段。完整、系统的理论体系及大量艰难而富有挑战性的理论问题尚未解决，真正应用成功的实例也有待于进一步发展。
目前，人工神经网络在各个领域中的应用都在向人工智方向发展。不断丰富基础理论和开展应用研究、完善ANN术的可靠性、开发基于ANN的智能性化工优化专家系统软件对于我国的化工发展具有重要意义。
12
参考文献
[1]俞章毅，夏陆岳，潘海天．数据挖掘技术及其在化工过程中的应用[J]．浙江化工．2003，34（9）：24-26．
[2]杨善升，陆文聪，陈念贻．数据挖掘技术在化工优化中的应用[J]．江苏化工．2004，32（4）:1-4．
[3]王聃，方利国．神经网络在化工应用中的研究进展[J]．广东化工．2007，34（10）：52-55．
[4]冉清，刘莹．人工神经网络及其在化工领域中的应用[J]．广东化工．2001（2）：32-34．
[5]王克峰，袁一．神经元网络在化学工程中的应用与发展[J]．化工进展，1996，(3)：17-21．
[6]潘吉铮，周传光，钱宇．基于神经网络的化工过程测量数据在线校正技术的研究[J]．高校化学工程学报，2003，17(6)：319-324．
[7]张向东，赵立群，等．人工神经网络法预测有机物基础物性[J]．化工学报，1995，46(1)：66．
[8]陈海松，王福安，等．纯物质汽化热的人工神经网络算法估算[J]．高校化学工程报，1998，12(4)：375．
[9]魏奇业，李谦．基于神经网络的精馏塔动态模拟[J]．吉林化工学院学报，2004，21(3)：10-15．
[10]K aratasou S，Santamouris M，Geros V．Modeling and predicting building’s energy use with artificial neural networks：Methods and results[J]．Energy and Buildings，2006，(38)：949-958．
[11]杜文莉，钱锋．基于神经网络的实时专家控制系统及其PTA工业应
13
用[J]．控制与决策，2005，20(6)：694-697．
[12]丁力行．建筑节能综合评价指标体系的建立[J]．建筑，2003，(12)：19-22．
14
人工神经网络原理及实际应用 摘要：本文就主要讲述一下神经网络的基本原理，特别是BP神经网络原理，以及它在实际工程中的应用。 关键词：神经网络、BP算法、鲁棒自适应控制、Smith－PID 本世纪初，科学家们就一直探究大脑构筑函数和思维运行机理。特别是近二十年来。对大脑有关的感觉器官的仿生做了不少工作，人脑含有数亿个神经元，并以特殊的复杂形式组成在一起，它能够在“计算＂某些问题（如难以用数学描述或非确定性问题等）时，比目前最快的计算机还要快许多倍。大脑的信号传导速度要比电子元件的信号传导要慢百万倍，然而，大脑的信息处理速度比电子元件的处理速度快许多倍，因此科学家推测大脑的信息处理方式和思维方式是非常复杂的，是一个复杂并行信息处理系统。1943年Macullocu和Pitts融合了生物物理学和数学提出了第一个神经元模型。从这以后，人工神经网络经历了发展，停滞，再发展的过程，时至今日发展正走向成熟，在广泛领域得到了令人鼓舞的应用成果。本文就主要讲述一下神经网络的原理，特别是BP神经网络原理，以及它在实际中的应用。 1.神经网络的基本原理 因为人工神经网络是模拟人和动物的神经网络的某种结构和功能的模拟，所以要了解神经网络的工作原理，所以我们首先要了解生物神经元。其结构如下图所示： 从上图可看出生物神经元它包括，细胞体：由细胞核、细胞质与细胞膜组成；
轴突：是从细胞体向外伸出的细长部分，也就是神经纤维。轴突是神经细胞的输出端，通过它向外传出神经冲动；树突：是细胞体向外伸出的许多较短的树枝状分支。它们是细胞的输入端，接受来自其它神经元的冲动；突触：神经元之间相互连接的地方，既是神经末梢与树突相接触的交界面。 对于从同一树突先后传入的神经冲动，以及同一时间从不同树突输入的神经冲动，神经细胞均可加以综合处理，处理的结果可使细胞膜电位升高；当膜电位升高到一阀值（约40mV），细胞进入兴奋状态，产生神经冲动，并由轴突输出神经冲动；当输入的冲动减小，综合处理的结果使膜电位下降，当下降到阀值时。细胞进入抑制状态，此时无神经冲动输出。“兴奋”和“抑制”，神经细胞必呈其一。 突触界面具有脉冲/电位信号转换功能，即类似于D/A转换功能。沿轴突和树突传递的是等幅、恒宽、编码的离散电脉冲信号。细胞中膜电位是连续的模拟量。 神经冲动信号的传导速度在1～150m/s之间，随纤维的粗细，髓鞘的有无而不同。 神经细胞的重要特点是具有学习功能并有遗忘和疲劳效应。总之，随着对生物神经元的深入研究，揭示出神经元不是简单的双稳逻辑元件而是微型生物信息处理机制和控制机。 而神经网络的基本原理也就是对生物神经元进行尽可能的模拟，当然，以目前的理论水平，制造水平，和应用水平，还与人脑神经网络的有着很大的差别，它只是对人脑神经网络有选择的，单一的，简化的构造和性能模拟，从而形成了不同功能的，多种类型的，不同层次的神经网络模型。 2.BP神经网络 目前，再这一基本原理上已发展了几十种神经网络，例如Hopficld模型，Feldmann等的连接型网络模型，Hinton等的玻尔茨曼机模型，以及Rumelhart 等的多层感知机模型和Kohonen的自组织网络模型等等。在这众多神经网络模型中，应用最广泛的是多层感知机神经网络。 这里我们重点的讲述一下BP神经网络。多层感知机神经网络的研究始于50年代，但一直进展不大。直到1985年，Rumelhart等人提出了误差反向传递学习算法（即BP算），实现了Minsky的多层网络设想，其网络模型如下图所示。它可以分为输入层，影层（也叫中间层），和输出层，其中中间层可以是一层，也可以多层，看实际情况而定。
人工神经网络的发展与应用 神经网络发展 启蒙时期 启蒙时期开始于1980年美国著名心理学家W．James关于人脑结构与功能的研究，结束于1969年Minsky和Pape~发表的《感知器》(Perceptron)一书。早在1943年，心理学家McCulloch和数学家Pitts合作提出了形式神经元的数学模型(即M—P模型)，该模型把神经细胞的动作描述为：1神经元的活动表现为兴奋或抑制的二值变化；2任何兴奋性突触有输入激励后，使神经元兴奋与神经元先前的动作状态无关；3任何抑制性突触有输入激励后，使神经元抑制；4突触的值不随时间改变；5突触从感知输入到传送出一个输出脉冲的延迟时问是0．5ms。可见，M—P模型是用逻辑的数学工具研究客观世界的事件在形式神经网络中的表述。现在来看M—P 模型尽管过于简单，而且其观点也并非完全正确，但是其理论有一定的贡献。因此，M—P模型被认为开创了神经科学理论研究的新时代。1949年，心理学家D．0．Hebb 提出了神经元之间突触联系强度可变的假设，并据此提出神经元的学习规则——Hebb规则，为神经网络的学习算法奠定了基础。1957年，计算机学家FrankRosenblatt提出了一种具有三层网络特性的神经网络结构，称为“感知器”(Perceptron)，它是由阈值性神经元组成，试图模拟动物和人脑的感知学习能力，Rosenblatt认为信息被包含在相互连接或联合之中，而不是反映在拓扑结构的表示法中；另外，对于如何存储影响认知和行为的信息问题，他认为，存储的信息在神经网络系统内开始形成新的连接或传递链路后，新 的刺激将会通过这些新建立的链路自动地激活适当的响应部分，而不是要求任何识别或坚定他们的过程。1962年Widrow提出了自适应线性元件(Ada—line)，它是连续取值的线性网络，主要用于自适应信号处理和自适应控制。 低潮期 人工智能的创始人之一Minkey和pape~经过数年研究，对以感知器为代表的网络系统的功能及其局限性从数学上做了深入的研究，于1969年出版了很有影响的《Perceptron)一书，该书提出了感知器不可能实现复杂的逻辑函数，这对当时的人工神经网络研究产生了极大的负面影响，从而使神经网络研究处于低潮时期。引起低潮的更重要的原因是：20世纪7O年代以来集成电路和微电子技术的迅猛发展，使传统的冯·诺伊曼型计算机进入发展的全盛时期，因此暂时掩盖了发展新型计算机和寻求新的神经网络的必要性和迫切性。但是在此时期，波士顿大学的S．Grossberg教授和赫尔辛基大学的Koho—nen教授，仍致力于神经网络的研究，分别提出了自适应共振理论(Adaptive Resonance Theory)和自组织特征映射模型(SOM)。以上开创性的研究成果和工作虽然未能引起当时人们的普遍重视，但其科学价值却不可磨灭，它们为神经网络的进一步发展奠定了基础。 复兴时期 20世纪80年代以来，由于以逻辑推理为基础的人工智能理论和冯·诺伊曼型计算机在处理诸如视觉、听觉、联想记忆等智能信息处理问题上受到挫折，促使人们
人工神经网络的发展及应用 西安邮电学院电信系樊宏西北电力设计院王勇日期：2005 1-21 1 人工神经网络的发展 1．1 人工神经网络基本理论 1．1．1 神经生物学基础生物神经系统可以简略地认为是以神经元为信号的处理单元，通过广泛的突触联系形成的信息处理集团，其物质结构基础和功能单元是脑神经细胞，即神经元(neuron) 。 (1)神经元具有信号的输人、整合、输出三种主要功能作用行为，结构如图1 所示： (2)突触是整个神经系统各单元间信号传递驿站，它构成各神经元之间广泛的联接。 (3)大脑皮质的神经元联接模式是生物体的遗传性与突触联接强度可塑性相互作用的产物，其变化是先天遗传信息确定的总框架下有限的自组织过程。 1．1．2 建模方法神经元的数量早在胎儿时期就已固定，后天的脑生长主要是指树突和轴突从神经细胞体中长出并形成突触联系，这就是一般人工神经网络建模方法的生物学依据。人脑建模一般可有两种方法：①神经生物学模型方法，即根据微观神经生物学知识的积累，把脑神经系统的结构及机理逐步解释清楚，在此基础上建立脑功能模型；②神 经计算模型方法，即首先建立粗略近似的数学模型并研究该模型的动力学特性，然后冉与真实对象作比较（仿真处理方法）。1．1．3 概
念人工神经网络用物理町实现系统采模仿人脑神经系统的结构和功能，是一门新兴的前沿交义学科，其概念以T．Kohonen．Pr 的论述 最具代表性：人工神经网络就是由简单的处理单元（通常为适应性神经元，模型见图2）组成的并行互联网络，它的组织能够模拟生物神 经系统对真实世界物体所作出的交互反应。 1．2 人工神经网络的发展 人工神经网络的研究始于40 年代初。半个世纪以来，经历了兴起、高潮与萧条、高潮及稳步发展的较为曲折的道路。1943 年，心理学家W．S．Mcculloch 和数理逻辑学家W．Pitts 提出了M—P 模型， 这是第一个用数理语言描述脑的信息处理过程的模型，虽然神经元的功能比较弱，但它为以后的研究工作提供了依据。1949 年，心理学家D. O. Hebb提出突触联系可变的假设，根据这一假设提出的学习规律为神经网络的学习算法奠定了基础。1957 年，计算机科学家Rosenblatt 提出了著名的感知机模型，它的模型包含了现代计算机的一些原理，是第一个完整的人工神经网络。1969 年，美国著名人工智能学者M．Minsky 和S．Papert 编写了影响很大的Perceptron 一书，从理论上证明单层感知机的能力有限，诸如不能解决异或问题，而且他们推测多层网络的感知能也不过如此，在这之后近10 年，神经网络研究进入了一个缓慢发展的萧条期。美国生物物理学家J．J．Hopfield 于1982年、1984 年在美国科学院院刊发表的两篇文章，有力地推动了神经网络的研究，引起了研究神经网络的
人工神经网络 系别：计算机工程系 班级： 1120543 班 学号： 13 号 姓名： 日期：2014年10月23日
人工神经网络 摘要：人工神经网络是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点（或称神经元）之间相互联接构成，由大量处理单元互联组成的非线性、自适应信息处理系统。它是在现代神经科学研究成果的基础上提出的，试图通过模拟大脑神经网络处理、记忆信息的方式进行信息处理。 关键词：神经元；神经网络；人工神经网络；智能； 引言 人工神经网络的构筑理念是受到生物（人或其他动物）神经网络功能的运作启发而产生的。人工神经网络通常是通过一个基于数学统计学类型的学习方法（Learning Method ）得以优化，所以人工神经网络也是数学统计学方法的一种实际应用，通过统计学的标准数学方法我们能够得到大量的可以用函数来表达的局部结构空间，另一方面在人工智能学的人工感知领域，我们通过数学统计学的应用可以来做人工感知方面的决定问题(也就是说通过统计学的方法，人工神经网络能够类似人一样具有简单的决定能力和简单的判断能力)，这种方法比起正式的逻辑学推理演算更具有优势。 一、人工神经网络的基本原理 1-1神经细胞以及人工神经元的组成 神经系统的基本构造单元是神经细胞，也称神经元。它和人体中其他细胞的关键区别在于具有产生、处理和传递信号的功能。每个神经元都包括三个主要部分:细胞体、树突和轴突。树突的作用是向四方收集由其他神经细胞传来的信息，轴突的功能是传出从细胞体送来的信息。每个神经细胞所产生和传递的基本信息是兴奋或抑制。在两个神经细胞之间的相互接触点称为突触。简单神经元网络及其简化结构如图2-2所示。 从信息的传递过程来看，一个神经细胞的树突，在突触处从其他神经细胞接受信号。 这些信号可能是兴奋性的，也可能是抑制性的。所有树突接受到的信号都传到细胞体进行综合处理，如果在一个时间间隔内，某一细胞接受到的兴奋性信号量足够大，以致于使该细胞被激活，而产生一个脉冲信号。这个信号将沿着该细胞的轴突传送出去，并通过突触传给其他神经细胞.神经细胞通过突触的联接形成神经网络。 图1-1简单神经元网络及其简化结构图 （1）细胞体 （2）树突 （3）轴突 （4）突触
人工神经网络及其应用实例人工神经网络是在现代神经科学研究成果基础上提出的一种抽 象数学模型，它以某种简化、抽象和模拟的方式，反映了大脑功能的 若干基本特征，但并非其逼真的描写。 人工神经网络可概括定义为：由大量简单元件广泛互连而成的复 杂网络系统。所谓简单元件，即人工神经元，是指它可用电子元件、 光学元件等模拟，仅起简单的输入输出变换y = σ (x)的作用。下图是 3 中常用的元件类型： 线性元件：y = 0.3x，可用线性代数法分析，但是功能有限，现在已不太常用。 2 1.5 1 0.5 -0.5 -1 -1.5 -2 -6 -4 -2 0 2 4 6 连续型非线性元件：y = tanh(x)，便于解析性计算及器件模拟，是当前研究的主要元件之一。
离散型非线性元件： y = ? 2 1.5 1 0.5 0 -0.5 -1 -1.5 -2 -6 -4 -2 2 4 6 ?1, x ≥ 0 ?-1, x < 0 ，便于理论分析及阈值逻辑器件 实现，也是当前研究的主要元件之一。 2 1.5 1 0.5 0 -0.5 -1 -1.5 -2 -6 -4 -2 2 4 6
每一神经元有许多输入、输出键，各神经元之间以连接键（又称 突触）相连，它决定神经元之间的连接强度（突触强度）和性质（兴 奋或抑制），即决定神经元间相互作用的强弱和正负，共有三种类型： 兴奋型连接、抑制型连接、无连接。这样，N个神经元（一般N很大）构成一个相互影响的复杂网络系统，通过调整网络参数，可使人工神 经网络具有所需要的特定功能，即学习、训练或自组织过程。一个简 单的人工神经网络结构图如下所示： 上图中，左侧为输入层（输入层的神经元个数由输入的维度决定），右侧为输出层（输出层的神经元个数由输出的维度决定），输入层与 输出层之间即为隐层。 输入层节点上的神经元接收外部环境的输入模式，并由它传递给 相连隐层上的各个神经元。隐层是神经元网络的内部处理层，这些神 经元在网络内部构成中间层，不直接与外部输入、输出打交道。人工 神经网络所具有的模式变换能力主要体现在隐层的神经元上。输出层 用于产生神经网络的输出模式。 多层神经网络结构中有代表性的有前向网络（BP网络）模型、
人工神经网络在蕨类植物生长中的应用 摘要：人工神经网络(ARTIFICIAL NEURAL NETWORK，简称ANN)是目前国际上一门发展迅速的前沿交叉学科。为了模拟大脑的基本特性，在现代神经科学研究的基础上，人们提出来人工神经网络的模型。根据此特点结合蕨类植物的生长过程进行了蕨类植物生长的模拟。结果表明，人工神经网络的模拟结果是完全符合蕨类植物的生长的，可有效的应用于蕨类植物的生长预测。 关键词：人工神经网络；蕨类植物；MATLAB应用 一人工神经网络的基本特征 1、并行分布处理：人工神经网络具有高度的并行结构和并行处理能力。这特别适于实时控制和动态控制。各组成部分同时参与运算，单个神经元的运算速度不高，但总体的处理速度极快。 2、非线性映射：人工神经网络具有固有的非线性特性，这源于其近似任意非线性映射(变换)能力。只有当神经元对所有输入信号的综合处理结果超过某一门限值后才输出一个信号。因此人工神经网络是一种具有高度非线性的超大规模连续时间动力学系统。 3、信息处理和信息存储合的集成：在神经网络中，知识与信息都等势分布贮存于网络内的各神经元，他分散地表示和存储于整个网络内的各神经元及其连线上，表现为神经元之间分布式的物理联系。作为神经元间连接键的突触，既是信号转换站，又是信息存储器。每个神经元及其连线只表示一部分信息，而不是一个完整具体概念。信息处理的结果反映在突触连接强度的变化上，神经网络只要求部分条件，甚至有节点断裂也不影响信息的完整性，具有鲁棒性和容错性。 4、具有联想存储功能：人的大脑是具有联想功能的。比如有人和你提起内蒙古，你就会联想起蓝天、白云和大草原。用人工神经网络的反馈网络就可以实现这种联想。神经网络能接受和处理模拟的、混沌的、模糊的和随机的信息。在处理自然语言理解、图像模式识别、景物理解、不完整信息的处理、智能机器人控制等方面具有优势。 5、具有自组织自学习能力：人工神经网络可以根据外界环境输入信息，改变突触连接强度，重新安排神经元的相互关系，从而达到自适应于环境变化的目的。 二人工神经网络的基本数学模型 神经元是神经网络操作的基本信息处理单位（图1）。神经元模型的三要素为： (1) 突触或联接，一般用，表尔神经元和神经元之间的联接强度，常称之为权值。 (2) 反映生物神经元时空整合功能的输入信号累加器。 图1 一个人工神经元（感知器）和一个生物神经元示意图 (3) 一个激活函数用于限制神经元输出（图2），可以是阶梯函数、线性或者是指数形式的
人工神经网络概述及其在分类中的应用举例 人工神经网络(ARTIFICIAL NEURAL NETWORK，简称ANN)是目前国际上一门发展迅速的前沿交叉学科。为了模拟大脑的基本特性，在现代神经科学研究的基础上，人们提出来人工神经网络的模型。人工神经网络是在对人脑组织结构和运行机智的认识理解基础之上模拟其结构和智能行为的一种工程系统。 神经网络在2个方面与人脑相似： (1) 人工神经网络获取的知识是从外界环境中学习得来的。 (2) 互连神经元的连接强度，即突触权值，用于存储获取的信息。他既是高度非线性动力学系统，又是自适应组织系统，可用来描述认知、决策及控制的智能行为。神经网络理论是巨量信息并行处理和大规模并行计算的基础。 一人工神经网络的基本特征 1、并行分布处理：人工神经网络具有高度的并行结构和并行处理能力。这特别适于实时控制和动态控制。各组成部分同时参与运算，单个神经元的运算速度不高，但总体的处理速度极快。 2、非线性映射：人工神经网络具有固有的非线性特性，这源于其近似任意非线性映射(变换)能力。只有当神经元对所有输入信号的综合处理结果超过某一门限值后才输出一个信号。因此人工神经网络是一
种具有高度非线性的超大规模连续时间动力学系统。 3、信息处理和信息存储合的集成：在神经网络中，知识与信息都等势分布贮存于网络内的各神经元，他分散地表示和存储于整个网络内的各神经元及其连线上，表现为神经元之间分布式的物理联系。作为神经元间连接键的突触，既是信号转换站，又是信息存储器。每个神经元及其连线只表示一部分信息，而不是一个完整具体概念。信息处理的结果反映在突触连接强度的变化上，神经网络只要求部分条件，甚至有节点断裂也不影响信息的完整性，具有鲁棒性和容错性。 4、具有联想存储功能：人的大脑是具有联想功能的。比如有人和你提起内蒙古，你就会联想起蓝天、白云和大草原。用人工神经网络的反馈网络就可以实现这种联想。神经网络能接受和处理模拟的、混沌的、模糊的和随机的信息。在处理自然语言理解、图像模式识别、景物理解、不完整信息的处理、智能机器人控制等方面具有优势。 5、具有自组织自学习能力：人工神经网络可以根据外界环境输入信息，改变突触连接强度，重新安排神经元的相互关系，从而达到自适应于环境变化的目的。 6、软件硬件的实现：人工神经网络不仅能够通过硬件而且可借助软件实现并行处理。近年来，一些超大规模集成电路的硬件实现已经问世，而且可从市场上购到，这使得神经网络具有快速和大规模处理能力的实现网络。许多软件都有提供了人工神经网络的工具箱（或软件包）如Matlab、Scilab、R、SAS等。 二人工神经网络的基本数学模型
人工神经网络及其应用 摘要：神经网络是新技术领域中的一个时尚词汇。很多人听过这个词，但很少人真正明白它是什么。本文的目的是介绍关于人工神经网络的基本包括它的背景，发展，发展前景。 关键词：神经网络，发展，背景。 1 人工神经网络产生的背景 自古以来，关于人类智能本源的奥秘，一直吸引着无数哲学家和自然科学家的研究热情。生物学家、神经学家经过长期不懈的努力，通过对人脑的观察和认识，认为人脑的智能活动离不开脑的物质基础，包括它的实体结构和其中所发生的各种生物、化学、电学作用，并因此建立了神经元网络理论和神经系统结构理论，而神经元理论又是此后神经传导理论和大脑功能学说的基础。在这些理论基础之上，科学家们认为，可以从仿制人脑神经系统的结构和功能出发，研究人类智能活动和认识现象。另一方面，19世纪之前，无论是以欧氏几何和微积分为代表的经典数学，还是以牛顿力学为代表的经典物理学，从总体上说，这些经典科学都是线性科学。然而，客观世界是如此的纷繁复杂，非线性情况随处可见，人脑神经系统更是如此。复杂性和非线性是连接在一起的，因此，对非线性科学的研究也是我们认识复杂系统的关键。为了更好地认识客观世界，我们必须对非线性科学进行研究。人工神经网络作为一种非线性的、与大脑智能相似的网络模型，就这样应运而生了。所以，人工神经网络的创立不是偶然的，而是20世纪初科学技术充分发展的产物。 2 人工神经网络的发展 人工神经网络的研究始于40年代初。半个世纪以来，经历了兴起、高潮与萧条、高潮及稳步发展的远为曲折的道路。 1943年，心理学家W.S.Mcculloch和数理逻辑学家W.Pitts 提出了M—P模型，这是第一个用数理语言描述脑的信息处理过程的模型，虽然神经元的功能比较弱，但它为以后的研究工作提供了依据。1949年，心理学家D.O.Hebb提出突触联系可变的假设，根据这一假设提出的学习规律为神经网络的学习算法奠定了基础。1957 年，计算机科学家Rosenblatt 提出了著名的感知机模型，它的模型包含了现代计算机的一些原理，是第一个完整的人工神经网络，第一次把神经网络研究付诸工程实现。由于可应用于模式识别，联想记忆等方面，当时有上百家实验室投入此项研究，美国军方甚至认为神经网络工程应当比“原子弹工程”更重要而给予巨额资助，并在声纳信号识别等领域取得一定成绩。1960年，B.Windrow和E.Hoff提出了自适应线性单元，它可用于自适应滤波、预测和模式识别。至此，人工神经网络的研究工作进入了第一个高潮。 1969年，美国著名人工智能学者M.Minsky和S.Papert编写了影响很大的Perceptron一书，从理论上证明单层感知机的能力有限，诸如不能解决异或问题，而且他们推测多层网络的感知机能力也不过如此，他们的分析恰似一瓢冷水，很多学者感到前途渺茫而纷纷改行，原先参与研究的实验室纷纷退出，在这之后近10年，神经网络研究进入了一个缓慢发展的萧条期。这期间，芬兰学者T.Kohonen 提出了自组织映射理论，反映了大脑神经细胞的自组织特性、记忆方式以及神经细胞兴奋刺激的规律；美国学者S.A.Grossberg的自适应共振理论（ART ）；日本学者K.Fukushima提出了认知机模型；ShunIchimari则致力于神经网络
BP神经网络原理及应用 1 人工神经网络简介 1.1生物神经元模型 神经系统的基本构造是神经元（神经细胞），它是处理人体内各部分之间相 互信息传递的基本单元。据神经生物学家研究的结果表明，人的大脑一般有1011 个神经元。每个神经元都由一个细胞体，一个连接其他神经元的轴突1010 和一些向外伸出的其它较短分支——树突组成。轴突的功能是将本神经元的输出信号（兴奋）传递给别的神经元。其末端的许多神经末梢使得兴奋可以同时送给多个神经元。树突的功能是接受来自其它神经元的兴奋。神经元细胞体将接受到的所有信号进行简单地处理后由轴突输出。神经元的树突与另外的神经元的神经末梢相连的部分称为突触。 1.2人工神经元模型 神经网络是由许多相互连接的处理单元组成。这些处理单元通常线性排列成组，称为层。每一个处理单元有许多输入量，而对每一个输入量都相应有一个相关 联的权重。处理单元将输入量经过加权求和，并通过传递函数的作用得到输出量，再传给下一层的神经元。目前人们提出的神经元模型已有很多，其中提出最早且影 响最大的是1943年心理学家McCulloch和数学家Pitts在分析总结神经元基本特
性的基础上首先提出的M-P 模型，它是大多数神经网络模型的基础。 )()(1∑=-=n i j i ji j x w f t Y θ （1.1） 式(1.1)中为神经元单元的偏置（阈值），ji w 为连接权系数（对于激发状态， ji w 取正值，对于抑制状态，ji w 取负值） ，n 为输入信号数目，j Y 为神经元输出，t 为时间，f()为输出变换函数，有时叫做激发或激励函数，往往采用0和1二值函数或Ｓ形函数。 1.3人工神经网络的基本特性 人工神经网络由神经元模型构成；这种由许多神经元组成的信息处理网络具有并行分布结构。每个神经元具有单一输出，并且能够与其它神经元连接；存在许多（多重）输出连接方法，每种连接方法对应一个连接权系数。严格地说，人工神经网络是一种具有下列特性的有向图： （１）对于每个节点存在一个状态变量xi ； （２）从节点i 至节点j ，存在一个连接权系数wji ； （３）对于每个节点，存在一个阈值； （４）对于每个节点，定义一个变换函数(,,),j i ji j f x w i j θ≠,对于最一般的情况，此函数取()j ji i j i f w x θ-∑形式。 1.4 人工神经网络的主要学习算法 神经网络主要通过两种学习算法进行训练，即指导式（有师）学习算法和非指导式（无师）学习算法。此外，还存在第三种学习算法，即强化学习算法；可把它看做有师学习的一种特例。 （１）有师学习 有师学习算法能够根据期望的和实际的网络输出(对应于给定输入)间的差来调整神经元间连接的强度或权。因此，有师学习需要有个老师或导师来提供期望或目标输出信号。有师学习算法的例子包括规则、广义规则或反向传播算法以及LVQ 算法等。 （２）无师学习 无师学习算法不需要知道期望输出。在训练过程中，只要向神
人工神经网络概述及其在分类中的应用举例 秦兴德（周末班）学号：08200203 人工神经网络(ARTIFICIAL NEURAL NETWORK，简称ANN)是目前国际上一门发展迅速的前沿交叉学科。为了模拟大脑的基本特性，在现代神经科学研究的基础上，人们提出来人工神经网络的模型。人工神经网络是在对人脑组织结构和运行机智的认识理解基础之上模拟其结构和智能行为的一种工程系统。 神经网络在2个方面与人脑相似： (1) 人工神经网络获取的知识是从外界环境中学习得来的。 (2) 互连神经元的连接强度，即突触权值，用于存储获取的信息。他既是高度非线性动力学系统，又是自适应组织系统，可用来描述认知、决策及控制的智能行为。神经网络理论是巨量信息并行处理和大规模并行计算的基础。 一人工神经网络的基本特征 1、并行分布处理：人工神经网络具有高度的并行结构和并行处理能力。这特别适于实时控制和动态控制。各组成部分同时参与运算，单个神经元的运算速度不高，但总体的处理速度极快。 2、非线性映射：人工神经网络具有固有的非线性特性，这源于其近似任意非线性映射(变换)能力。只有当神经元对所有输入信号的综合处理结果超过某一门限值后才输出一个信号。因此人工神经网络是一种具有高度非线性的超大规模连续时间动力学系统。 3、信息处理和信息存储合的集成：在神经网络中，知识与信息都等势分布贮存于网络内的各神经元，他分散地表示和存储于整个网络内的各神经元及其连线上，表现为神经元之间分布式的物理联系。作为神经元间连接键的突触，既是信号转换站，又是信息存储器。每个神经元及其连线只表示一部分信息，而不是一个完整具体概念。信息处理的结果反映在突触连接强度的变化上，神经网络只要求部分条件，甚至有节点断裂也不影响信息的完整性，具有鲁棒性和容错性。 4、具有联想存储功能：人的大脑是具有联想功能的。比如有人和你提起内蒙古，你就会联想起蓝天、白云和大草原。用人工神经网络的反馈网络就可以实现这种联想。神经网络能接受和处理模拟的、混沌的、模糊的和随机的信息。在处理自然语言理解、图像模式识别、景物理解、不完整信息的处理、智能机器人控制等方面具有优势。 5、具有自组织自学习能力：人工神经网络可以根据外界环境输入信息，改变突触连接强度，重新安排神经元的相互关系，从而达到自适应于环境变化的目的。 6、软件硬件的实现：人工神经网络不仅能够通过软件而且可借助软件实现并行处理。近年来，一些超大规模集成电路的硬件实现已经问世，而且可从市场上购到，这使得神经网络具有快速和大规模处理能力的实现网络。许多软件都有提供了人工神经网络的工具箱（或软件包）如Matlab、Scilab、R、SAS等。 二人工神经网络的基本数学模型