人工神经网络（ArtificialNeuralNetworks，简写为ANNs）也简称为神经网络（NNs）或称作连接模型（ConnectionistModel），它是一种模范动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。
神经网络是：
思维学普遍认为，人类大脑的思维分为抽象（逻辑）思维、形象（直观）思维和灵感（顿悟）思维三种基本方式。
逻辑性的思维是指根据逻辑规则进行推理的过程；它先将信息化成概念，并用符号表示，然后，根据符号运算按串行模式进行逻辑推理；这一过程可以写成串行的指令，让计算机执行。然而，直观性的思维是将分布式存储的信息综合起来，结果是忽然间产生想法或解决问题的办法。这种思维方式的根本之点在于以下两点:1.信息是通过神经元上的兴奋模式分布储在网络上;2.信息处理是通过神经元之间同时相互作用的动态过程来完成的。
人工神经网络就是模拟人思维的第二种方式。这是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。
研究内容
神经网络的研究内容相当广泛，反映了多学科交叉技术领域的特点。目前，主要的研究工作集中在以下几个方面：
（1）生物原型研究
从生理学、心理学、解剖学、脑科学、病理学等生物科学方面研究神经细胞、神经网络、神经系统的生物原型结构及其功能机理。
（2）建立理论模型
根据生物原型的研究，建立神经元、神经网络的理论模型。其中包括概念模型、知识模型、物理化学模型、数学模型等。
（3）网络模型与算法研究
在理论模型研究的基础上构作具体的神经网络模型，以实现计算机模拟或准备制作硬件，包括网络学习算法的研究。这方面的工作也称为技术模型研究。
神经网络用到的算法就是向量乘法，并且广泛采用符号函数及其各种逼近。并行、容错、可以硬件实现以及自我学习特性，是神经网络的几个基本优点，也是神经网络计算方法与传统方法的区别所在。
（4）人工神经网络应用系统
在网络模型与算法研究的基础上，利用人工神经网络组成实际的应用系统，例如，完成某种信号处理或模式识别的功能、构作专家系统、制成机器人等等。
纵观当代新兴科学技术的发展历史，人类在征服宇宙空间、基本粒子，生命起源等科学技术领域的进程中历经了崎岖不平的道路。我们也会看到，探索人脑功能和神经网络的研究将伴随着重重困难的克服而日新月异。
人工神经网络的工作原理
“人脑是如何工作的？”
“人类能否制作模拟人脑的人工神经元？”
多少年以来，人们从医学、生物学、生理学、哲学、信息学、计算机科学、认知学、组织协同学等各个角度企图认识并解答上述问题。在寻找上述问题答案的研究过程中，近年来逐渐形成了一个新兴的多学科交叉技术领域，称之为“神经网络”。神经网络的研究涉及众多学科领域，这些领域互相结合、相互渗透并相互推动。不同领域的科学家又从各自学科的兴趣与特色出发，提出不同的问题，从不同的角度进行研究。
人工神经网络首先要以一定的学习准则进行学习，然后才能工作。现以人工神经网络对手写“A”、“B”两个字母的识别为例进行说明，规定当“A”输入网络时，应该输出“1”，而当输入为“B”时，输出为“0”。
所以网络学习的准则应该是：如果网络作出错误的的判决，则通过网络的学习，应使得网络减少下次犯同样错误的可能性。首先，给网络的各连接权值赋予(0，1)区间内的随机值，将“A”所对应的图象模式输入给网络，网络将输入模式加权求和、与门限比较、再进行非线性运算，得到网络的输出。在此情况下，网络输出为“1”和“0”的概率各为50%，也就是说是完全随机的。这时如果输出为“1”(结果正确)，则使连接权值增大，以便使网络再次遇到“A”模式输入时，仍然能作出正确的判断。
如果输出为“0”(即结果错误)，则把网络连接权值朝着减小综合输入加权值的方向调整，其目的在于使网络下次再遇到“A”模式输入时，减小犯同样错误的可能性。如此操作调整，当给网络轮番输入若干个手写字母“A”、“B”后，经过网络按以上学习方法进行若干次学习后，网络判断的正确率将大大提高。这说明网络对这两个模式的学习已经获得了成功，它已将这两个模式分布地记忆在网络的各个连接权值上。当网络再次遇到其中任何一个模式时，能够作出迅速、准确的判断和识别。一般说来，网络中所含的神经元个数越多，则它能记忆、识别的模式也就越多。
心理学家和认知科学家研究神经网络的目的在于探索人脑加工、储存和搜索信息的机制，弄清人脑功能的机理，建立人类认知过程的微结构理论。
生物学、医学、脑科学专家试图通过神经网络的研究推动脑科学向定量、精确和理论化体系发展，同时也寄希望于临床医学的新突破；信息处理和计算机科学家研究这一问题的目的在于寻求新的途径以解决目前不能解决或
解决起来有极大困难的大量问题，构造更加逼近人脑功能的新一代计算机。
人工神经网络是由大量的简单基本元件——神经元相互联接而成的自
适应非线性动态系统。每个神经元的结构和功能比较简单，但大量神经元组合产生的系统行为却非常复杂。
人工神经网络反映了人脑功能的若干基本特性，但并非生物系统的逼真描述，只是某种模仿、简化和抽象。
与数字计算机比较，人工神经网络在构成原理和功能特点等方面更加接近人脑，它不是按给定的程序一步一步地执行运算，而是能够自身适应环境、总结规律、完成某种运算、识别或过程控制。
人工神经元的研究起源于脑神经元学说。19世纪末，在生物、生理学领域，Waldeger等人创建了神经元学说。人们认识到复杂的神经系统是由数目繁多的神经元组合而成。大脑皮层包括有100亿个以上的神经元，每立方毫米约有数万个，它们互相联结形成神经网络，通过感觉器官和神经接受来自身体内外的各种信息，传递至中枢神经系统内，经过对信息的分析和综合，再通过运动神经发出控制信息，以此来实现机体与内外环境的联系，协调全身的各种机能活动。
神经元也和其他类型的细胞一样，包括有细胞膜、细胞质和细胞核。但是神经细胞的形态比较特殊，具有许多突起，因此又分为细胞体、轴突和树突三部分。细胞体内有细胞核，突起的作用是传递信息。树突是作为引入输入信号的突起，而轴突是作为输出端的突起，它只有一个。
树突是细胞体的延伸部分，它由细胞体发出后逐渐变细，全长各部位都可与其他神经元的轴突末梢相互联系，形成所谓“突触”。在突触处两神经元并未连通，它只是发生信息传递功能的结合部，联系界面之间间隙约为（15～50)×10米。突触可分为兴奋性与抑制性两种类型，它相应于神经元之间耦合的极性。每个神经元的突触数目正常，最高可达10个。各神经元之间的连接强度和极性有所不同，并且都可调整、基于这一特性，人脑具有存储信息的功能。利用大量神经元相互联接组成人工神经网络可显示出人的大脑的某些特征。下面通过人工神经网络与通用的计算机工作特点来对比一下：
若从速度的角度出发，人脑神经元之间传递信息的速度要远低于计算机，前者为毫秒量级，而后者的频率往往可达几百兆赫。但是，由于人脑是一个大规模并行与串行组合处理系统，因而，在许多问题上可以作出快速判断、决策和处理，其速度则远高于串行结构的普通计算机。人工神经网络的基本结构模仿人脑，具有并行处理特征，可以大大提高工作速度。
人脑存贮信息的特点为利用突触效能的变化来调整存贮内容，也即信息存贮在神经元之间连接强度的分布上，存贮区与计算机区合为一体。虽然人脑每日有大量神经细胞死亡（平均每小时约一千个），但不影响大脑的正常思维活动。
普通计算机是具有相互独立的存贮器和运算器，知识存贮与数据运算互不相关，只有通过人编出的程序使之沟通，这种沟通不能超越程序编制者的预想。元器件的局部损坏及程序中的微小错误都可能引起严重的失常。
人类大脑有很强的自适应与自组织特性，后天的学习与训练可以开发许多各具特色的活动功能。如盲人的听觉和触觉非常灵敏；聋哑人善于运用手势；训练有素的运动员可以表现出非凡的运动技巧等等。
普通计算机的功能取决于程序中给出的知识和能力。显然，对于智能活动要通过总结编制程序将十分困难。
人工神经网络也具有初步的自适应与自组织能力。在学习或训练过程中改变突触权重值，以适应周围环境的要求。同一网络因学习方式及内容不同
可具有不同的功能。人工神经网络是一个具有学习能力的系统，可以发展知识，以致超过设计者原有的知识水平。通常，它的学习训练方式可分为两种，一种是有监督或称有导师的学习，这时利用给定的样本标准进行分类或模仿；另一种是无监督学习或称无为导师学习，这时，只规定学习方式或某些规则，则具体的学习内容随系统所处环境（即输入信号情况）而异，系统可以自动发现环境特征和规律性，具有更近似人脑的功能。
人工神经网络早期的研究工作应追溯至20世纪40年代。下面以时间顺序，以著名的人物或某一方面突出的研究成果为线索，简要介绍
人工神经网络的发展历史
1943年，心理学家W·Mcculloch和数理逻辑学家W·Pitts在分析、总结神经元基本特性的基础上首先提出神经元的数学模型。此模型沿用至今，并且直接影响着这一领域研究的进展。因而，他们两人可称为人工神经网络研究的先驱。
1945年冯·诺依曼领导的设计小组试制成功存储程序式电子计算机，标志着电子计算机时代的开始。1948年，他在研究工作中比较了人脑结构与存储程序式计算机的根本区别，提出了以简单神经元构成的再生自动机网络结构。但是，由于指令存储式计算机技术的发展非常迅速，迫使他放弃了神经网络研究的新途径，继续投身于指令存储式计算机技术的研究，并在此领域作出了巨大贡献。虽然，冯·诺依曼的名字是与普通计算机联系在一起的，但他也是人工神经网络研究的先驱之一。
50年代末，F·Rosenblatt设计制作了“感知机”，它是一种多层的神经网络。这项工作首次把人工神经网络的研究从理论探讨付诸工程实践。当时，世界上许多实验室仿效制作感知机，分别应用于文字识别、声音识别、声纳信号识别以及学习记忆问题的研究。然而，这次人工神经网络的研究高潮未能持续很久，许多人陆续放弃了这方面的研究工作，这是因为当时数字计算机的发展处于全盛时期，许多人误以为数字计算机可以解决人工智能、模式识别、专家系统等方面的一切问题，使感知机的工作得不到重视；其次，当时的电子技术工艺水平比较落后，主要的元件是电子管或晶体管，利用它们制作的神经网络体积庞大，价格昂贵，要制作在规模上与真实的神经网络相似是完全不可能的；另外，在1968年一本名为《感知机》的著作中指出线性感知机功能是有限的，它不能解决如异感这样的基本问题，而且多层网络还不能找到有效的计算方法，这些论点促使大批研究人员对于人工神经网络的前景失去信心。60年代末期，人工神经网络的研究进入了低潮。
另外，在60年代初期，Widrow提出了自适应线性元件网络，这是一种连续取值的线性加权求和阈值网络。后来，在此基础上发展了非线性多层自适应网络。当时，这些工作虽未标出神经网络的名称，而实际上就是一种人工神经网络模型。
随着人们对感知机兴趣的衰退，神经网络的研究沉寂了相当长的时间。80年代初期，模拟与数字混合的超大规模集成电路制作技术提高到新的水平，完全付诸实用化，此外，数字计算机的发展在若干应用领域遇到困难。这一背景预示，向人工神经网络寻求出路的时机已经成熟。美国的物理学家Hopfield于1982年和1984年在美国科学院院刊上发表了两篇关于人工神经
网络研究的论文，引起了巨大的反响。人们重新认识到神经网络的威力以及付诸应用的现实性。随即，一大批学者和研究人员围绕着 Hopfield提出的方法展开了进一步的工作，形成了80年代中期以来人工神经网络的研究热潮。
研究方向
神经网络的研究可以分为理论研究和应用研究两大方面。
理论研究可分为以下两类：
1、利用神经生理与认知科学研究人类思维以及智能机理。
2、利用神经基础理论的研究成果，用数理方法探索功能更加完善、性能更加优越的神经网络模型，深入研究网络算法和性能，如：稳定性、收敛性、容错性、鲁棒性等；开发新的网络数理理论，如：神经网络动力学、非线性神经场等。
应用研究可分为以下两类：
1、神经网络的软件模拟和硬件实现的研究。
2、神经网络在各个领域中应用的研究。这些领域主要包括：
模式识别、信号处理、知识工程、专家系统、优化组合、机器人控制等。随着神经网络理论本身以及相关理论、相关技术的不断发展，神经网络的应用定将更加深入。
《数值分析》与《数学实验》专业实训 报告书 题目基于BP神经网络预测方法的预测 模型 一、问题描述 建立基于BP神经网络的信号回归模型，来预测某一组数据。 二、基本要求 1.熟悉掌握神经网络知识； 2.学习多层感知器神经网络的设计方法和Matlab实现； 3.学习神经网络的典型结构； 4.了解BP算法基本思想，设计BP神经网络架构； 5.谈谈实验体会与收获。 三、数据结构 BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层（input）、隐层(hide layer)和输出层(output layer)。 BP神经网络算法: 神经网络由神经元和权重构成，神经元即为：输入节点，输出节点和隐层结点三部分；权重是各个神经元相互连接的强度。神经网络通过训练，从样本中学习知识，并且将知识以数值的形式存储于连接权中。神经网络的分类过程分成两部分，首先学习网络的权重，利用一些已知的数据训练网络得到该类数据模型的权重；接着根据现有的网络结构和权重等参数得到未知样本的类别。BP算法被称作反向传播算法，主要思想是从前向后（正向）逐层传播信
息；从后向前（反向）逐层传播输出层的误差，间接算出隐层误差。 四、实验内容 人工神经网络是用来模拟人脑结构及智能特点的一个前沿研究领域,它的一个重要特点是通过网络学习达到其输出与期望输出相符的结果,具有很强的自学习、自适应、鲁棒性、容错性及存储记忆的能力.人工神经网络系统评价方法以其超凡的处理复杂非线性问题的能力独树一帜,这种评价方法忠实于客观实际,不带任何人为干预的成分,是一种较好的动态评 价方法. 近年来,人工神经网络的研究和应用受到了国内外的极大重视. 在人工神经网络中有多种模型,其中BP 神经网络模型最成熟,其应用也最为广泛. BP 神经网络是一种具有两层或两层以上的阶层型神经网络,层间神经元实现全连接,即下层的每个神经元与上层的每个神经元都实现权连接,而层内各神经元间无连接. 典型的BP 网络是三层前馈阶层网络,即:输入层、隐含层和输出层. 源程序： %======原始数据输入======== p=[2845 2833 4488;2833 4488 4554;4488 4554 2928;4554 2928 3497;2928 3497 2261;... 3497 2261 6921;2261 6921 1391;6921 1391 3580;1391 3580 4451;3580 4451 2636;... 4451 2636 3471;2636 3471 3854;3471 3854 3556;3854 3556 2659;3556 2659 4335;... 2659 4335 2882;4335 2882 4084;4335 2882 1999;2882 1999 2889;1999 2889 2175;... 2889 2175 2510;2175 2510 3409;2510 3409 3729;3409 3729 3489;3729 3489 3172;... 3489 3172 4568;3172 4568 4015;]'; %===========期望输出======= t=[4554 2928 3497 2261 6921 1391 3580 4451 2636 3471 3854 3556 2659 ... 4335 2882 4084 1999 2889 2175 2510 3409 3729 3489 3172 4568 4015 ... 3666]; ptest=[2845 2833 4488;2833 4488 4554;4488 4554 2928;4554 2928 3497;2928
龙源期刊网 https://www.doczj.com/doc/e211400251.html, 基于BP神经网络和SVM的分类方法研究作者：王宏涛孙剑伟 来源：《软件》2015年第11期 摘要：介绍了BP神经网络和SVM算法的分类原理。附加动量因子和随机梯度下降法是对BP神经网络进行优化的重要方法，利用Google实验室的MNIST手写数字库研究了动量因子和随机数以及SVM不同核函数对分类性能影响，为实际应用中模型的选择提供一定依据。同时也研究了两个算法在不同样本数下的性能表现，实验表明样本数较少时SVM比BP具有更高的泛化能力。最后结合两个算法特点，给出层次分类法并做为今后研究方向。 关键词：MNIST数字库；BP神经网络；支持向量机；分类性能 中图分类号：TP391.41 文献标识码：A DOI：10.3969/j.issn.1003-6970.2015.11.024 0 引言 很多实际应用问题都可归为分类问题，如故障诊断、模式识别等，分类过程包括分类器构造和运用模型进行分类两个步骤。神经网络和支持向量机（SVM）是分类领域中两种重要方法。神经网络是模拟人脑神经系统的数学模型，具有高度并行性、较强的自学习自适应和联想记忆功能特点。Vapnik在20世纪90年代基于统计学习理论提出支持向量机，它是借助最优化方法解决问题的，求解支持向量转化为解凸二次优化问题，它能够获得全局最优解，是结构风险最小化的算法。经过多年发展神经网络和支持向量机在很多领域取得成功，但是神经网络和支持向量机参数选择没有理论上支撑，参数选择优化是算法应用成功的关键，挖掘模型参数对算法性能影响具有重要意义。本文在Google的手写数字库上研究了BP（Back Propagation）神经网络和支持向量机的附加动量因子、随机数和不同核函数等变量对准确率、计算时间以及收敛曲线的影响，比较两个算法在不同训练样本数时性能表现。最后结合BP神经网络算法和SVM的各自特点提出分层分类模型，该方法适用于具有结构分解、功能分解特点的对象，为复杂对象分类提供了一种思路。 1 BP神经网络和SVM算法 1.1 BP神经网络技术 神经网络是对人脑的抽象、模拟和简化的信息处理模型，其中神经元数学模型、网络连接方式以及神经网络学习方式是神经网络的三个关键。神经网络原理是利用网络的学习和记忆功能，让神经网络学习各个类别中的样本特征，在遇到待识别样本时神经网络利用记住的特征信
人工神经网络原理及实际应用 摘要：本文就主要讲述一下神经网络的基本原理，特别是BP神经网络原理，以及它在实际工程中的应用。 关键词：神经网络、BP算法、鲁棒自适应控制、Smith－PID 本世纪初，科学家们就一直探究大脑构筑函数和思维运行机理。特别是近二十年来。对大脑有关的感觉器官的仿生做了不少工作，人脑含有数亿个神经元，并以特殊的复杂形式组成在一起，它能够在“计算＂某些问题（如难以用数学描述或非确定性问题等）时，比目前最快的计算机还要快许多倍。大脑的信号传导速度要比电子元件的信号传导要慢百万倍，然而，大脑的信息处理速度比电子元件的处理速度快许多倍，因此科学家推测大脑的信息处理方式和思维方式是非常复杂的，是一个复杂并行信息处理系统。1943年Macullocu和Pitts融合了生物物理学和数学提出了第一个神经元模型。从这以后，人工神经网络经历了发展，停滞，再发展的过程，时至今日发展正走向成熟，在广泛领域得到了令人鼓舞的应用成果。本文就主要讲述一下神经网络的原理，特别是BP神经网络原理，以及它在实际中的应用。 1.神经网络的基本原理 因为人工神经网络是模拟人和动物的神经网络的某种结构和功能的模拟，所以要了解神经网络的工作原理，所以我们首先要了解生物神经元。其结构如下图所示： 从上图可看出生物神经元它包括，细胞体：由细胞核、细胞质与细胞膜组成；
轴突：是从细胞体向外伸出的细长部分，也就是神经纤维。轴突是神经细胞的输出端，通过它向外传出神经冲动；树突：是细胞体向外伸出的许多较短的树枝状分支。它们是细胞的输入端，接受来自其它神经元的冲动；突触：神经元之间相互连接的地方，既是神经末梢与树突相接触的交界面。 对于从同一树突先后传入的神经冲动，以及同一时间从不同树突输入的神经冲动，神经细胞均可加以综合处理，处理的结果可使细胞膜电位升高；当膜电位升高到一阀值（约40mV），细胞进入兴奋状态，产生神经冲动，并由轴突输出神经冲动；当输入的冲动减小，综合处理的结果使膜电位下降，当下降到阀值时。细胞进入抑制状态，此时无神经冲动输出。“兴奋”和“抑制”，神经细胞必呈其一。 突触界面具有脉冲/电位信号转换功能，即类似于D/A转换功能。沿轴突和树突传递的是等幅、恒宽、编码的离散电脉冲信号。细胞中膜电位是连续的模拟量。 神经冲动信号的传导速度在1～150m/s之间，随纤维的粗细，髓鞘的有无而不同。 神经细胞的重要特点是具有学习功能并有遗忘和疲劳效应。总之，随着对生物神经元的深入研究，揭示出神经元不是简单的双稳逻辑元件而是微型生物信息处理机制和控制机。 而神经网络的基本原理也就是对生物神经元进行尽可能的模拟，当然，以目前的理论水平，制造水平，和应用水平，还与人脑神经网络的有着很大的差别，它只是对人脑神经网络有选择的，单一的，简化的构造和性能模拟，从而形成了不同功能的，多种类型的，不同层次的神经网络模型。 2.BP神经网络 目前，再这一基本原理上已发展了几十种神经网络，例如Hopficld模型，Feldmann等的连接型网络模型，Hinton等的玻尔茨曼机模型，以及Rumelhart 等的多层感知机模型和Kohonen的自组织网络模型等等。在这众多神经网络模型中，应用最广泛的是多层感知机神经网络。 这里我们重点的讲述一下BP神经网络。多层感知机神经网络的研究始于50年代，但一直进展不大。直到1985年，Rumelhart等人提出了误差反向传递学习算法（即BP算），实现了Minsky的多层网络设想，其网络模型如下图所示。它可以分为输入层，影层（也叫中间层），和输出层，其中中间层可以是一层，也可以多层，看实际情况而定。
神经网络在数据挖掘中的应用
————————————————————————————————作者：————————————————————————————————日期： ?
神经网络在数据挖掘中的应用 摘要：给出了数据挖掘方法的研究现状,通过分析当前一些数据挖掘方法的局限性,介绍一种基于关系数据库的数据挖掘方法——神经网络方法,目前,在数据挖掘中最常用的神经网络是ＢＰ网络。在本文最后，也提出了神经网络方法在数据挖掘中存在的一些问题． 关键词：BＰ算法;神经网络;数据挖掘 １．引言 在“数据爆炸但知识贫乏”的网络时代,人们希望能够对其进行更高层次的分析，以便更好地利用这些数据。数据挖掘技术应运而生。并显示出强大的生命力。和传统的数据分析不同的是数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识。所得到的信息具有先未知，有效性和实用性三个特征。它是从大量数据中寻找其规律的技术,主要有数据准备、规律寻找和规律表示三个步骤。数据准备是从各种数据源中选取和集成用于数据挖掘的数据；规律寻找是用某种方法将数据中的规律找出来;规律表示是用尽可能符合用户习惯的方式(如可视化)将找出的规律表示出来。数据挖掘在自身发展的过程中，吸收了数理统计、数据库和人工智能中的大量技术。作为近年来来一门处理数据的新兴技术，数据挖掘的目标主要是为了帮助决策者寻找数据间潜在的关联(Rｅｌation），特征(Pattern)、趋势(Tｒend)等，发现被忽略的要素，对预测未来和决策行为十分有用。 数据挖掘技术在商业方面应用较早，目前已经成为电子商务中的关键技术。并且由于数据挖掘在开发信息资源方面的优越性,已逐步推广到保险、医疗、制造业和电信等各个行业的应用。 数据挖掘(Dａta Ｍiｎing)是数据库中知识发现的核心，形成了一种全新的应用领域。数据挖掘是从大量的、有噪声的、随机的数据中，识别有效的、新颖的、有潜在应用价值及完全可理解模式的非凡过程。从而对科学研究、商业决策和企业管理提供帮助。 数据挖掘是一个高级的处理过程,它从数据集中识别出以模式来表示的知识。它的核心技术是人工智能、机器学习、统计等，但一个ＤM系统不是多项技术的简单组合,而是一个完整的整体，它还需要其它辅助技术的支持，才能完成数据采集、预处理、数据分析、结果表述这一系列的高级处理过程。所谓高级处理过程是指一个多步骤的处理过程,多步骤之间相互影响、反复调整,形成一种螺旋式上升过程。最后将分析结果呈现在用户面前。根据功能，整个DM系统可以大致分为三级结构。 神经网络具有自适应和学习功能，网络不断检验预测结果与实际情况是否相符。把与实际情况不符合的输入输出数据对作为新的样本，神经网络对新样本进行动态学习并动态改变网络结构和参数,这样使网络适应环境或预测对象本身结构和参数的变化，从而使预测网络模型有更强的适应性,从而得到更符合实际情况的知识和规则，辅助决策者进行更好地决策。而在ANN的
一前言 让我们来看一个经典的神经网络。这是一个包含三个层次的神经网络。红色的是输入层，绿色的是输出层，紫色的是中间层（也叫隐藏层）。输入层有3个输入单元，隐藏层有4个单元，输出层有2个单元。后文中，我们统一使用这种颜色来表达神经网络的结构。 图1神经网络结构图 设计一个神经网络时，输入层与输出层的节点数往往是固定的，中间层则可以自由指定； 神经网络结构图中的拓扑与箭头代表着预测过程时数据的流向，跟训练时的数据流有一定的区别； 结构图里的关键不是圆圈（代表“神经元”），而是连接线（代表“神经元”之间的连接）。每个连接线对应一个不同的权重（其值称为权值），这是需要训练得到的。 除了从左到右的形式表达的结构图，还有一种常见的表达形式是从下到上来
表示一个神经网络。这时候，输入层在图的最下方。输出层则在图的最上方，如下图： 图2从下到上的神经网络结构图 二神经元 2.结构 神经元模型是一个包含输入，输出与计算功能的模型。输入可以类比为神经元的树突，而输出可以类比为神经元的轴突，计算则可以类比为细胞核。 下图是一个典型的神经元模型：包含有3个输入，1个输出，以及2个计算功能。 注意中间的箭头线。这些线称为“连接”。每个上有一个“权值”。
图3神经元模型 连接是神经元中最重要的东西。每一个连接上都有一个权重。 一个神经网络的训练算法就是让权重的值调整到最佳，以使得整个网络的预测效果最好。 我们使用a来表示输入，用w来表示权值。一个表示连接的有向箭头可以这样理解： 在初端，传递的信号大小仍然是a，端中间有加权参数w，经过这个加权后的信号会变成a*w，因此在连接的末端，信号的大小就变成了a*w。 在其他绘图模型里，有向箭头可能表示的是值的不变传递。而在神经元模型里，每个有向箭头表示的是值的加权传递。 图4连接（connection） 如果我们将神经元图中的所有变量用符号表示，并且写出输出的计算公式的话，就是下图。
概率神经网络概述 令狐采学 概率神经网络（Probabilistic Neural Network ，PNN ）是由D. F. Specht 在1990年提出的。主要思想是贝叶斯决策规则，即错误分类的期望风险最小，在多维输入空间内分离决策空间。它是一种基于统计原理的人工神经网络，它是以Parazen 窗口函数为激活函数的一种前馈网络模型。PNN 吸收了径向基神经网络与经典的概率密度估计原理的优点，与传统的前馈神经网络相比，在模式分类方面尤其具有较为显著的优势。 1.1 概率神经网络分类器的理论推导 由贝叶斯决策理论： w w w i j i x then i j x p x p if ∈≠?>→ →→ , )|()|( （1-1） 其中)|()()|(w w w i i i x p p x p → → = 。 一般情况下，类的概率密度函数)|(→x p w i 是未知的，用高斯核的Parzen 估计如下：
) 2exp(1 1 )|(2 2 1 2 2σ σ π→ → -∑ - = =→ x x N w ik N i k l l i i x p （1-2） 其中，→ x ik 是属于第w i 类的第k 个训练样本，l 是样本向量的维数，σ是平滑参数，N i 是第w i 类的训练样本总数。 去掉共有的元素，判别函数可简化为： ∑-=→ → → - = N ik i k i i i x x N w g p x 1 2 2 ) 2exp()()(σ （1-3） 1.2 概率神经元网络的结构模型 PNN 的结构以及各层的输入输出关系量如图1所示，共由四层组成，当进行并行处理时，能有效地进行上式的计算。 图1 概率神经网络结构 如图1所示，PNN 网络由四部分组成：输入层、样本层、求和层和竞争层。PNN 的工作过程：首先将输入向量→ x 输入到输入层，在输入层中，网络计算输入向量与训练样本向量之间
5.4 BP神经网络的基本原理 BP（Back Propagation）网络是1986年由Rinehart和 McClelland为首的科学家小组提出，是一种按误差逆传播算 法训练的多层前馈网络，是目前应用最广泛的神经网络模型 之一。BP网络能学习和存贮大量的输入-输出模式映射关系， 而无需事前揭示描述这种映射关系的数学方程。它的学习规 则是使用最速下降法，通过反向传播来不断调整网络的权值 和阈值，使网络的误差平方和最小。BP神经网络模型拓扑结 构包括输入层（input）、隐层(hide layer)和输出层(output layer)（如图5.2所示）。 5.4.1 BP神经元 图5.3给出了第j个基本BP神经元（节点），它只模仿了生物神经元所具有的三个最基本 也是最重要的功能：加权、求和与转移。其中x 1、x 2 …x i …x n 分别代表来自神经元1、2…i…n 的输入；w j1、w j2 …w ji …w jn 则分别表示神经元1、2…i…n与第j个神经元的连接强度，即权 值；b j 为阈值；f(·)为传递函数；y j 为第j个神经元的输出。 第j个神经元的净输入值为： （5.12） 其中： 若视，，即令及包括及，则
于是节点j的净输入可表示为： （5.13）净输入通过传递函数（Transfer Function）f (·)后，便得到第j个神经元的输出: （5.14） 式中f(·)是单调上升函数，而且必须是有界函数，因为细胞传递的信号不可能无限增加，必有一最大值。 5.4.2 BP网络 BP算法由数据流的前向计算（正向传播）和误差信号的反向传播两个过程构成。正向传播时，传播方向为输入层→隐层→输出层，每层神经元的状态只影响下一层神经元。若在输出层得不到期望的输出，则转向误差信号的反向传播流程。通过这两个过程的交替进行，在权向量空间执行误差函数梯度下降策略，动态迭代搜索一组权向量，使网络误差函数达到最小值，从而完成信息提取和记忆过程。 5.4.2.1 正向传播 设 BP网络的输入层有n个节点，隐层有q个节点，输出层有m个节点，输入层与隐层之间的权值为，隐层与输出层之间的权值为，如图5.4所示。隐层的传递函数为f (·)， 1 (·)，则隐层节点的输出为（将阈值写入求和项中）： 输出层的传递函数为f 2
（一）三层神经网络 1)该模型的参数通过两个步骤训练获得：在该网络的第一层，将输入映射 至隐藏单元激活量的权值可以通过稀疏自编码器训练过程获得。 在第二层，将隐藏单元映射至输出的权值可以通过 logistic 回归或 softmax 回归训练获得。 2)在描述上述过程时，假设采用了“替代(Replacement)”表示而不是“级联 (Concatenation)”表示。在替代表示中，logistic 分类器所看到的训练样 本格式为；而在级联表示中，分类器所看到的训练样本格式 为。在级联表示神经网络中，输入值也直接被输入 至 logistic 分类器。 3)在训练获得模型最初参数（利用自动编码器训练第一层，利用 logistic/softmax 回归训练第二层）之后，可以进一步修正模型参数，进而降低训练误差。具体来说，可以对参数进行微调，在现有参数的基础上采用梯度下降或者 L-BFGS 来降低已标注样本集 上的训练误差。 微调的作用在于，已标注数据集也可以用来修正权值，这样可以对 隐藏单元所提取的特征做进一步调整。
对于微调来说，级联表示相对于替代表示几乎没有优势。因此，如果需要开展微调，通常使用替代表示的网络。但是如果不开展微调，级联表示的效果有时候会好得多。 通常仅在有大量已标注训练数据的情况下使用微调。在这样的情况下，微调能显著提升分类器性能。如果有大量未标注数据集（用于非监督特征学习/预训练），却只有相对较少的已标注训练集，微调的作用非常有限。 （二）深度网络 深度神经网络，即含有多个隐藏层的神经网络。通过引入深度网络，可以计算更多复杂的输入特征。因为每一个隐藏层可以对上一层的输出进行非线性变换，因此深度神经网络拥有比“浅层”网络更加优异的表达能力。 1.深度神经网络的优势 1)当训练深度网络的时候，每一层隐层应该使用非线性的激活函数。这 是因为多层的线性函数组合在一起本质上也只有线性函数的表达能力（例如，将多个线性方程组合在一起仅仅产生另一个线性方程）。因此，在激活函数是线性的情况下，相比于单隐藏层神经网络，包含多隐藏层的深度网络并没有增加表达能力。 2)深度网络最主要的优势在于，它能以更加紧凑简洁的方式来表达比浅层网络 大得多的函数集合。即可以找到一些函数，这些函数可以用层网络简洁地表达出来（这里的简洁是指隐层单元的数目只需与输入单元数目呈多项式 关系）。但是对于一个只有层的网络而言，除非它使用与输入单元 数目呈指数关系的隐层单元数目，否则不能简洁表达这些函数。 3)当处理对象是图像时，使用深度网络，能够学习到“部分-整体”的分解关 系。例如，第一层可以学习如何将图像中的像素组合在一起来检测边缘，第二层可以将边缘组合起来检测更长的轮廓或者简单的“目标的部件”，在更深的层次上，可以将这些轮廓进一步组合起来以检测更为复杂的特征。 这种分层计算很好地模仿了大脑皮层对输入信息的处理方式。视觉图像在人脑中是分多个阶段进行处理的，首先是进入大脑皮层的“V1”区，然后紧跟着进入大脑皮层“V2”区，以此类推。 2.训练深度网络的困难 目前主要使用的学习算法是：首先随机初始化深度网络的权重，然后使用有 监督的目标函数在有标签的训练集上进行训练。其中通过使用梯度下降法来降低训练误差，这种方法通常不是十分凑效。
BP神经网络课程设 计
《数值分析》与《数学实验》专业实训 报告书 题目基于BP神经网络预测方法的预测 模型 一、问题描述 建立基于BP神经网络的信号回归模型，来预测某一组数据。 二、基本要求 1.熟悉掌握神经网络知识； 2.学习多层感知器神经网络的设计方法和Matlab实现； 3.学习神经网络的典型结构； 4.了解BP算法基本思想，设计BP神经网络架构； 5.谈谈实验体会与收获。 三、数据结构 BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，经过反向传播来不断调整网络的权值和阈值，使网络
的误差平方和最小。BP神经网络模型拓扑结构包括输入层（input）、隐层(hide layer)和输出层(output layer)。 BP神经网络算法: 神经网络由神经元和权重构成，神经元即为：输入节点，输出节点和隐层结点三部分；权重是各个神经元相互连接的强度。神经网络经过训练，从样本中学习知识，而且将知识以数值的形式存储于连接权中。神经网络的分类过程分成两部分，首先学习网络的权重，利用一些已知的数据训练网络得到该类数据模型的权重；接着根据现有的网络结构和权重等参数得到未知样本的类别。BP算法被称作反向传播算法，主要思想是从前向后（正向）逐层传播信息；从后向前（反向）逐层传播输出层的误差，间接算出隐层误差。 四、实验内容 人工神经网络是用来模拟人脑结构及智能特点的一个前沿研究领域,它的一个重要特点是经过网络学习达到其输出与期望输出相符的结果,具有很强的自学习、自适应、鲁棒性、容错性及存储记忆的能力.人工神经网络系统评价方法以其超凡的处理复杂非线性问题的能力独树一帜,这种评价方法忠实于客观实际,不带任何人为干预的成分,是一种较好的动态评价方法. 近年来,人工神经网络的研究和应用受到了国内外的极大重视. 在人工神经网络中有多种模型,其中BP 神经网络模型最成熟,其应用也最为广泛. BP 神经网络是一种具有两层或两层以上的阶层型神经网络,层
第一节、神经网络基本原理 1. 人工神经元( Artificial Neuron )模型 人工神经元是神经网络的基本元素，其原理可以用下图表示： 图1. 人工神经元模型 图中x1~xn是从其他神经元传来的输入信号，wij表示表示从神经元j 到神经元i的连接权值，θ表示一个阈值( threshold )，或称为偏置( bias )。则神经元i的输出与输入的关系表示为： 图中yi表示神经元i的输出，函数f称为激活函数( Activation Function )或转移函数( Transfer Function ) ，net称为净激活(net activation)。若将阈值看成是神经元i的一个输入x0的权重wi0，则上面的式子可以简化为：
若用X表示输入向量，用W表示权重向量，即： X = [ x0 , x1 , x2 , ....... , xn ] 则神经元的输出可以表示为向量相乘的形式： 若神经元的净激活net为正，称该神经元处于激活状态或兴奋状态(fire)，若净激活net为负，则称神经元处于抑制状态。 图1中的这种“阈值加权和”的神经元模型称为M-P模型 ( McCulloch-Pitts Model )，也称为神经网络的一个处理单元( PE, Processing Element )。 2. 常用激活函数 激活函数的选择是构建神经网络过程中的重要环节，下面简要介绍常用的激活函数。 (1) 线性函数( Liner Function ) (2) 斜面函数( Ramp Function ) (3) 阈值函数( Threshold Function )
图2 . 阈值函数图像 以上3个激活函数都是线性函数，下面介绍两个常用的非线性激活函数。 (4) S形函数( Sigmoid Function ) 该函数的导函数： (5) 双极S形函数
图同构问题的决策神经网络模型 南晋华，齐欢 (华中科技大学控制科学与工程系武汉430074) 摘要图的同构问题是研究两个图之间相互关系范畴。这对图表面上似乎不同，但本质上完全相同。由于图的同构问题在以系统建模、电路布线等众多问题中有直接的应用，因而，吸引了不少的学者从事这方面的研究。本文意在建立一种局域连接的、模拟人脑决策思维模式的、可用于优化信息处理的神经网络模型。文中在过去建立求解图的同构问题人工神经网络模型的基础上，拟应用人脑决策局域化的思想，提出了一种新的用于图的同构问题的人工神经网络模型。该模型中增加了一个自然的约束条件，加快了运算速度。 关键词图；同构；决策；神经网络 中图分类号TP301 The decision-making neural networks model for solving the graph isomorphism problem NAN Jin-Hua1)QI Huan1) 1) (Department of Control Science and Engineering，Huazhong University of Science and Technology，Wuhan 430074) Abstract The graph isomorphism problem is to study the relationship between two graphs which seem to be different, but essentially identical. This problem can be widely used in the system modeling, circuit wiring and many other issues. Therefore, this paper is aimed to establish a kind of neural networks model that are of local-connection, simulation human’s decision-making thinking, and also can be applied to solve the optimization for information. On this basis, we use a natural constraint in this model in order to speed up the operations, and then a new artificial neural network model is proposed to solve the graph isomorphism problem. Keywords Graph; Isomorphism; Decision-making; Neural networks model 1引言 图的同构问题不仅是数学，特别是图论自身学科研究中的一个核心内容，而且具有良好的应用背景，在工程技术领域，特别是大系统建模、电路设计、机械设计、模式识别以及系统建模中有着广泛的应用。对于系统建模，如果能够证明需建模型与已知模型同构，则可以节省大量人力物力财力。多数学者认为图的同构判定问题属于NP-完全问题。但至今没有定论，即它究竟是P问题还是NP问题？目前关于图的同构问题的判定性算法不少，有诸如经典判定算法[1-8]、对在实际工程中有着广泛应用的图的拟同构问题算法[9-12]、进化计算方法[13]、人工神经网络求解算法[14-18] 以及最新的DNA计算模型[19-20]等。在经典的图同构算法中，在此主要介绍两种算法，一种是所谓的矢量列表法，另一种是回溯算法。 研究图的同构问题，一个重要的环节是如何表示图的信息。在这个问题上，Comeil 与Hffman等人曾引入“模块”这一概念来表示各个顶点及其邻接顶点信息。在此基础上Riaz提出一种有效的判定图同构问题的算法-矢量列表法，即把各顶点所代表的信息用模块表示，所有模块组合在一起构成矢量列表。设计算法依次比较各模块，最终得到
神经网络与支持向量机的竞争与协作 简单介绍了神经网络与支持向量机，对比分析两者的优缺点，提出了神经网络与支持向量机的协作发展，为两者实际应用的缺欠领域创造更多可能。 标签：神经网络；支持向量机；竞争；协作 人工神经网络（Artificial Neural Network，ANN）与支持向量机（Support Vector Machine，SVM）都是非线性分类模型。1986年，Rummelhart与McClelland创造出前馈型神经网络学习算法，简称BP算法。Vapnik等人于1992年提出支持向量机的概念。神经网络为包含输入、输出以及隐含层的非线性模型，隐含层可以是单层也可以是多层，支持向量机则运用核理论将非线性问题转换为线性问题。神经网络与支持向量机同为统计学习的代表方法，其中神经网络建立在传统统计学的基础上，支持向量机则建立在统计学理论的基础上。传统统计学假定样本数据无限大，从而推导出各种算法，得到其统计性质及其渐进理论。而在实际应用中，样本数为有限数据，对神经网络算法造成了限制。为了对比分析，研究者分别对BP神经网络与支持向量机进行仿真实验，得出支持向量机具有更强的逼近能力这一结果。但从后文所述支持向量机的优缺点来看，当训练样本规模较大时，运用支持向量机的算法很难实现。一直以来，神经网络与支持向量机处于“竞争”的关系，但无论是神经网络还是支持向量机，都做不到完美无缺。 1 人工神经网络 1.1 神经网络特点 神经网络是由大量的神经细胞（亦称神经元）组成，这些神经细胞具有很高的互连程度，构成了神经网络复杂的并行结构。神经网络结构来源于对人脑结构的模仿，因而也反映了人脑的基本结构与基本特征，构成了类似人脑结构复杂程度的学习与运算系统。为前馈网络选择适当的隐含层数目与隐含层节点数目，便能以任意精度逼近非线性函数。在工业过程的控制与建模操作中，神经网络技术得以广泛应用并成果显著。神经网络具有以下特点：在线及离线学习，自学习和自适应不确定的系统；能够辨识非线性系统，逼近任意非线性函数；讯息分布存储、并行处理，因而容错性强且处理速度快；通过神经网络运算，解决自动控制计算的许多问题。具有以上特点，使神经网络良好的应用于自动控制领域。 1.2 神经网络缺陷 神经网络的缺陷性主要表现为：网络结构需事先确定，训练过程不断修正，无法保证最优网络；通过实验调整网络权系数，且有局限性；样本数目足够多时结果质量好，但需要大量训练时间；出现无法得到最优解的情况，易陷入局部最优；目前收敛速度的决定条件无法判断，定量分析训练过程的收敛速度无法实现；经验风险最小化原则的基础下，无法保证优化时神经网络的泛化能力。前馈型神经网络普遍运用于自动控制领域，但实际应用中存在的问题却不容忽视，在经验
基于神经网络的高管层决策支持系统 摘要：本文针对中国企业中常见的高管层计算机水平较低，决策经验化等现象，使用人工神经网络设计了决策支持系统，阐明了基于人工神经网络的决策可以有 效地帮助企业高管层进行科学管理。 关键词：神经网络决策支持系统 引言 随着当今社会的发展，我们正处于一个信息爆炸的时代。每天被海量信息所 包围，如何从这些信息中甄选出有用的信息，以便做出正确的决策，这几乎是每 一个企业的高层管理者所关心的问题。随着信息技术的发展，决策支持系统的出现，管理者可以使用决策支持系统处理大量信息而不必为冗余信息所干扰，这样 就大大提高了决策的科学性与准确性。 1 基础理论概述 1.1 决策支持系统概述决策支持系统(Decision Support System，简称DSS)是辅 助决策者通过数据、模型和知识，以人机交互方式进行半结构化或非结构化决策 的计算机应用系统，它为决策者提供分析问题、建立模型、模拟决策过程和方案 的环境，调用各种信息资源和分析工具，帮助决策者提高决策水平和质量。 决策支持系统的核心是数据库和模型库，一个典型的数据支持系统还包括对 话管理器。管理者和决策者可以根据存储在数据库中的大量数据进行定性分析， 并借助模型库进行定量分析。 1.2 神经网络概述神经网络（Neuronic Network）一种模仿动物神经网络行为 特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。从概念 上讲，神经网络包含三个层次的虚拟神经元，一个是输入层，一个是输出层，在 它们中间的是隐藏层，当然可能有多个隐藏层。神经网路的有点有：①学习，并根据新环境自行调整；②进行大量的并行处理；③可以在信息不完整或信息结 构不够良好的情况下工作；④可以大量处理变量间有依赖关系的信息；⑤分析 信息的非线性关系，又称曲线回归分析。 2 系统仿真及应用 2.1 仿真实现用户由终端输入数据，数据会根据事先预设的判断条件判断数 据是否合法，如果数据非法，为了系统安全（如保证企业机密不会泄露），系统 会报告数据错误，之后推出程序；而对于合法数据，则可以存储到数据库当中。 对于存储到数据库中的数据，则可以结合其它情况进行调用判断，如果条件 不够充分，系统就会显示无法调用；如果条件允许，则调用决策支持系统。而使 用决策支持系统帮助决策这项工作则是通过神经网络算法对存储的数据进行处理 完成的。这些数据主要是企业的经营状况指标，而神经网络模型会事先接受训练，学会根据这些指标判断企业的经营状况是否良好，发展的潜力有多大等等。形化 的形式输出处理的结果。 2.2 管理层应用在实际应用中，公司的高管层可以根据本公司的实际情况设 置训练条件，这些情况包括公司的经营状况、发展前景以及管理者自身的水平等。例如，管理人员可以将公司的财务数据输入系统，或是将同行业的其它公司的数 据输入系统，经过训练的系统会自动输出公司的财务分析评价报告，或者是行业 对比报告，有助于决策者的判断，尤其是对于一些关键问题，例如企业是否盈利、企业经营概况是否良好、企业出现问题能否及时发现并应对、企业今后的发展趋
基于数据数量对支持向量机和BP神经网络性能分析 摘要 本文在阐述创新型预测模型理论的基础上，分别利用基于BP神经网络和支持向量机的玉米开盘预测模型，在样本大小不同情况下对玉米开盘价格指数进行了研究和预测。研究结果表明，基于支持向量机的预测模型在预测精度、运算时间、最优性等方面均优于基于BP神经网络的预测模型。 近年来，以GARCH类模型、SV类模型等为代表的预测模型在资产价格预测方面获得了广泛的应用，但是这些模型在研究中往往受到样本数据分布、样本容量等方面的限制。因此，包括以神经网络、支持向量机等智能算法为基础的创新型预测模型，在金融资产价格预测方面得到了广泛的应用。本文在阐述创新型预测模型理论的基础上，分别利用基于神经网络、支持向量机的预测模型，在不同样本大小的基础上，就玉米开盘价格分别用支持向量机和单隐层和双隐层的BP神经网络做预测，比较预测结果，对比分析支持向量机和BP神经网络在样本大小不同的情况下两者的性能分析。 关键词：支持向量回归BP神经网络libsvm工具箱
一、模型介绍 1、模型介绍1.1 支持向量机回归 1.1.1 支持向量机回归模型的介绍 在机器学习中，支持向量机（SVM，还支持矢量网络）是与相关的学习算法有关的监督学习模型，可以分析数据，识别模式，用于分类和回归分析。给定一组训练样本，每个标记为属于两类，一个SVM 训练算法建立了一个模型，分配新的实例为一类或其他类，使其成为非概率二元线性分类。一个SVM 模型的例子，如在空间中的点，映射，使得所述不同的类别的例子是由一个明显的差距是尽可能宽划分的表示。新的实施例则映射到相同的空间中，并预测基于它们落在所述间隙侧上属于一个类别。 除了进行线性分类，支持向量机可以使用所谓的核技巧，它们的输入隐含映射成高维特征空间中有效地进行非线性分类。1.1.2 支持向量回归求解过程图 1.1.3核函数的介绍 利用支持向量机解决回归问题时，需要根据求解问题的特性，通过使用恰当的核函数来代替内积。这个核函数不仅要在理论上要满足Mercer 条件，而且在实际应用中要能够反映训练样本数据的分布特性。因此，在使用支持向量机解决某一特定的回归问题时，选择适当的核函数是一个关键因素。在实际的应用中，最常用的核函数有4种：线性核、多项式核、径向基（简称RBF）核、多层感知机核等。函数关系表达式分别如下： （1）线性核函数 ) (),(x x x x K i i ?=
神经网络的基本原理 在神经网络系统中，其知识是以大量神经元互连和各互连的权值表示。神经网络映射辨识方法主要通过大量的样本进行训练，经过网络内部自适应算法不断调整其权值，以达到目的。状态识别器就隐含在网络中，具体就在互连形式与权值上。在网络的使用过程中，对于特定的输入模式，神经网络通过前向计算，产生一输出模式，通过对输出信号的比较和分析可以得到特定解。目前，神经网络有近40多种类型，其中BP 网络是最常用和比较重要的网络之一，本文就应用BP 网络进行齿轮计算中相应数据图表的识别映射。 BP 网络模型处理信息的基本原理是：输入信号X i 通过中间节点（隐层点）作用于输出节点，经过非线形变换，产生输出信号Y k ，网络训练的每个样本包括输入向量X 和期望输出量t ，网络输出值Y 与期望输出值t 之间的偏差，通过调整输入节点与隐层节点的联接强度取值W ij 和隐层节点与输出节点之间的联接强度T jk 以及阈值，使误差沿梯度方向下降，经过反复学习训练，确定与最小误差相对应的网络参数（权值和阈值），训练即告停止。此时经过训练的神经网络即能对类似样本的输入信息，自行处理输出误差最小的经过非线形转换的信息。 BP 网络的学习过程是通过多层误差修正梯度下降法进行的，称为误差逆传播学习算法。误差逆传播学习通过一个使误差平方和最小化过程完成输入到输出的映射。在网络训练时，每一个输入、输出模式集在网络中经过两遍传递计算：一遍向前传播计算，从输入层开始，传播到各层并经过处理后，产生一个输出，并得到一个该实际输出和所需输出之差的差错矢量；一遍反向传播计算，从输出层至输入层，利用差错矢量对连接权值和阀值，进行逐层修改。 经过训练好的BP 网络即可付诸应用。学习后的网络，其连接权值和阀值均已确定。此时，BP 模型就建立起来了。网络在回想时使用正向传播公式即可。 BP 网络由输入层结点，输出层结点和隐含层结点构成，相连层用全互连结构。图1为典型的三层结构网络模型。 图1 三层网络结构图 神经网络的工作过程主要分为两个阶段：一个是学习期，通过样本学习修改各权值，达到一稳定状态；一个是工作期，权值不变，计算网络输出。 BP 网络的学习过程由正向传播和反向传播两部分组成。在正向传播过程中，输入信息从输入层经隐含层单元逐层处理，并传向输出层，每一层神经元的状态只影响下一层神经元的状态。如果在输出层不能得到期望的输出，则转入反向传播，将误差信号沿原来的路径返回，通过修改各层神经元的权值，使得误差信号最小。当给定一输入模式 12(,,...,)m X x x x =和希望输出模式12(,,...,)n Y y y y = 时，网络的实际输出和实际误差，可用下列公式求出：
二．神经网络控制 §2.1 神经网络基本概念 一. 生物神经元模型：<1>P7 生物神经元,也称作神经细胞,是构成神经系统的基本功能单元。虽然神经元的形态有极大差异,但基本结构相似。本目从信息处理和生物控制的角度,简述其结构和功能。 1.神经元结构 神经元结构如图2－1所示 图2－1
1) 细胞体：由细胞核、细胞质和细胞膜等组成。 2) 树突：胞体上短而多分支的突起，相当于神经元的输入端，接收传入的神经冲 动。 3) 轴突：胞体上最长枝的突起，也称神经纤维。端部有很多神经末梢，传出神经 冲动。 4) 突触：是神经元之间的连接接口，每一个神经元约有104～106 个突触，前一个 神经元的轴突末梢称为突触的前膜，而后一个神经元的树突称为突触的后膜。一个神经元通过其轴突的神经末梢经突触，与另一个神经元的树突连接，以实现信息传递。由于突触的信息传递是特性可变的，随着神经冲动传递方式的变化，传递作用强弱不同，形成了神经元之间连接的柔性，称为结构的可塑性。 5） 细胞膜电位：神经细胞在受到电的、化学的、机械的刺激后能产生兴奋，此时细胞膜内外由电位差，称为膜电位。其电位膜内为正，膜外为负。 2. 神经元功能 1） 兴奋与抑制：传入神经元的冲动经整和后使细胞膜电位提高，超过动作电 位的阈值时即为兴奋状态，产生神经冲动，由轴突经神经末梢传出。传入神经元的冲动经整和后使细胞膜电位降低，低于阈值时即为抑制状态，不产生神经冲动。 2） 学习与遗忘：由于神经元结构的可塑性，突触的传递作用可增强与减弱， 因此神经元具有学习与遗忘的功能。 二．人工神经元模型 ,<2>P96 人工神经元是对生物神经元的一种模拟与简化。它是神经网络的基本处理单元。图2－2显示了一种简化的人工神经元结构。它是一个多输入单输出的非线形元件。 图2－2 其输入、输出的关系可描述为 =-= n j i j ji i Q X W I 1 2－1 )I (f y i i = 其中i X (j=1、2、……、n)是从其他神经元传来的输入信号；