人工神经网络及其应用
1. 人工神经网络发展前景
人工神经网络（Artificial Neural Networks，NN）是由大量的、简单的处理单元（称为神经元）广泛地互相连接而形成的复杂网络系统，它反映了人脑功能的许多基本特征，是一个高度复杂的非线性动力学系统。神经网络具有大规模并行、分布式存储和处理、自组织、自适应和自学习能力，特别适合处理需要同时考虑许多因素和条件的、不精确和模糊的信息处理问题。神经网络的发展与神经科学、数理科学、认知科学、计算机科学、人工智能、信息科学、控制论、机器人学、微电子学、心理学、微电子学、心理学、光计算、分子生物学等有关，是一门新兴的边缘交叉学科。
神经网络具有非线性自适应的信息处理能力，克服了传统人工智能方法对于直觉的缺陷，因而在神经专家系统、模式识别、智能控制、组合优化、预测等领域得到成功应用[2]。神经网络与其他传统方法相组合，将推动人工智能和信息处理技术不断发展。近年来，神经网络在模拟人类认知的道路上更加深入发展，并与模糊系统、遗传算法、进化机制等组合，形成计算智能，成为人工智能的一个重要方向。
1.1 人工神经网络的研究背景和意义
人工神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应[5]。
人工神经网络就是模拟人思维的一种方式，是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。
近年来通过对人工神经网络的研究，可以看出神经网络的研究目的和意义有以下三点：（1）通过揭示物理平面与认知平面之间的映射，了解它们相互联系和相互作用的机理，从而揭示思维的本质，探索智能的本源。（2）争取构造出尽可能与人脑具有相似功能的计算机，即神经网络计算机。（3）研究仿照脑神经系统的人工神经网络，将在模式识别、组合优化和决策判断等方面取得传统计算机所难以达到的效果。
人工神经网络特有的非线性适应性信息处理能力，克服了传统人工智能方法对于直觉，如模式、语音识别、非结构化信息处理方面的缺陷，使之在神经专家系统、模式识别、智能控制、组合优化、预测等领域得到成功应用。人工神经网络与其它传统方法相结合，将推动人工智能和信息处理技术不断发展。近年来，人工神经网络正向模拟人类认知的道路上更加深入发展，与模糊系统、遗传算法、进化机制等结合，形成计算智能，成为人工智能的一个重要方向，将在实际应用中得到发展。将信息几何应用于人工神经网络的研究，为人工神经网络的理论研究开辟了新的途径。神经计算机的研究发展很快，已有产品进入市场。光电结合的神经计算机为人工神经网络的发展提供了良好条件。
1.2 神经网络的发展与研究现状
1.2.1神经网络的发展
神经网络起源于20世纪40年代，至今发展已半个多世纪，大致分为三个阶段【7】。
1）20世纪50年代-20世纪60年代：第一次研究高潮
自1943年M-P模型开始，至20世纪60年代为止，这一段时间可以称为神经网络系统理论发展的初期阶段。这个时期的主要特点是多种网络的模型的产生与学习算法的确定。
2）20世纪60年代-20世纪70年代：低潮时期
到了20世纪60年代，人们发现感知器存在一些缺陷，例如，它不能解决异或问题，因而研究工作趋向低潮。不过仍有不少学者继续对神经网络进行研究。
Grossberg提出了自适应共振理论；Kohenen提出了自组织映射；Fukushima提出了神经认知网络理论；Anderson提出了BSB模型；Webos提出了BP理论等。这些都是在20世纪70年代和20世纪80年代初进行的工作。
3）20世纪80年代-90年代：第二次研究高潮
进入20世纪80年代，神经网络研究进入高潮。这个时期最具有标志性的人物是美国加州工学院的物理学家John Hopfield。他于1982年和1984年在美国科学院院刊上发表了两篇文章，提出了模拟人脑的神经网络模型，即最著名的Hopfield模型。Hopfield网络是一个互连的非线性动力学网络，它解决问题的方法是一种反复运算的动态过程，这是符号逻辑处理方式做不具备的性质。20世纪80年代后期到90年代初，神经网络系统理论形成了发展的热点，多种模型、算法和应用被提出，研究经费重新变得充足，使得研究者们完成了很多有意义的工作。
1.2.2 神经网络的现状
进入20世纪90年代以来，神经网络由于应用面还不够宽，结果不够精确，存在可信度问题，从而进入了认识与应用研究期。
1）开发现有模型的应用，并在应用中根据实际运行情况对模型、算法加以改造，以提高网络的训练速度和运行的准确度。
2）充分发挥两种技术各自的优势是一个有效方法。
3）希望在理论上寻找新的突破，建立新的专用/通用模型和算法。
4）进一步对生物神经系统进行研究，不断地丰富对人脑的认识。
1.3 神经网络的研究内容和目前存在的问题
1.3.1 神经网络的研究内容
神经网络的研究内容相当广泛，反映了多科学交叉技术领域的特点。目前，主要的研究工作集中在以下四方面[6]：
（1）生物原型研究：从生理学、心理学、解剖学、脑科学、病理学生物科学方面研究神经细胞、神经网络、神经系统的生物原型结构及其功能机理。
（2）建立理论模型：根据生物圆形的研究，建立神经元、神经网络的理论模型，其中包括概念模型、知识模型、物理化学模型、数学模型等。
（3）网络模型与算法研究：在理论模型研究的基础上构成具体的神经网络模型，以实现计算机模拟或准备制作硬件，包括网络学习算法的研究。这方面的工作也称为技术模型研究。
（4）神经网络应用系统：在网络模型与算法研究的基础上，利用神经网络组成实际的应用系统，例如，完成某种信号处理或模式识别的功能、构成专家系统、制成机器人等。
1.3.2 神经网络研究目前存在的问题
人工神经网络的发展具有强大的生命力。当前存在的问题是智能水平还不高，许多应用方面的要求还不能得到很好的满足；网络分析与综合的一些理论性问题还未得到很好的解决。例如，由于训练中稳定性的要求学习率很小，所以梯度下降法使得训练很忙动量法因为学习率的提高通常比单纯的梯度下降法要快，但在实际应用中还是很慢[7]。针对千变万化的应用对象，各类复杂的求解问题，编制一些特定的程序、软件求解，耗费了大量的人力和物力。而这些软件往往只针对某一方面的问题有效，并且在人机接口、用户友好性等诸多方面存在一定的缺陷。在微机飞速发展的今天，很多都已不能满足发展的需要。
2. 人工神经网络种类及其应用领域
2.1 人工神经网络种类
2.1.1 小波神经网络
小波神经网络是20世纪90年代初结合小波分析理论和神经网络两者的优点而提出的一种前馈型神经网络。其基本思想是用小波元代替神经元，通过仿射变换建立起小波变换与网络系数之间的连接，并应用于逼近L(Rn)中的函数f(x)。结合小波变换良好的时频局域化性质和传统神经网络的自学习功能，使得小波神经网络具有如下特点：小波基元及整个网络的确定有可靠的理论依据，可以避免BP网络等结构设计的盲目性；网络权系数和学习目标函数的凸性，使网络从根本上避免了局部最优等非线性化问题；有较强的函数学习能力和推广能力。
小波分析的基本思想是用一簇数去表示或逼近一函数或信号，这簇函数称为小波函数系。它是通过一母波(mother wave let)函数的伸缩和平移构成的。
小波神经网络由于把神经网络的自学习特性和小波的局部特性结合起来，具有自适应分辨性和良好的容错能力，因此特别适合应用在函数逼近、系统辩识、数据压缩等领域。但是，小波网络也还有待改进。例如在高维数据处理方面小波神经网络的研究还很少，这是由于多维小波理论构造比较复杂所决定的。所以小波网络的发展还取决于小波理论的进一步研究。智能研究的实践表明,单纯依赖某种理论和技术是不现实的。因此今后小波神经网络的研究应注意结合吸收模糊、分形、混沌、进化计算等交叉学科的研究成果,以开拓小波神经网络研究的更为广阔的前景。
2.1.2 模糊神经网络
模糊神经网络这一新兴领域的开拓者应该归功为美国南加利福尼亚大学信号和图像处理研究所长
B.kosko教授。1987年，B.kosko率先将模糊数学与神经网络相结合,提出了模糊神经网络的概念。在这之后短短的几年时间内，模糊神经网络的理论及应用获得了迅速的发展，各种新的模糊神经网络模型的提出以及与其相适应的学习算法的研究不仅加速了模糊神经网络理论的完善，而且在实际中得到了广泛的应用，其成果层出不穷。近年来，各种杂志、刊物发表了大量有关模糊神经网络的文献,IEEE Trana on Neural Network 还出版了有关这方面的专辑，并涌现了不少的专著。
模糊神经网络主要有三种结构(1)输入信号为普通变量,连接权为模糊变量；(2)输入信号为模糊变量,连
接权为普通变量; (3)输入信号与连接权均为模糊变量。根据网型及学习算法中的点积运算是使用模糊逻辑运算(fuzzy logicoperations)还是使用模糊算术运算(fuzzy arithmeti coperations)，而分成常规型(regular)和混合型(hybrid)模糊神经网络。近年来,模糊神经网络的研究已取得了一些成果，主要体现在以下几个方面:
(1)模糊系统与神经网络系统作为一般自适应模型无关估计的研究。我们所处理的任何过程与系统均可用激励与响应的映射来表征,即任何对象都可以用一自适应模型无关函数估计器特性来概述。神经网络作为一般函数估计器,已被广泛地适用于各种应用领域。模糊系统作度逼近一个紧致域上的任意连续函数,Wang利用Stone - Weiestrass定理证明了具有积推理、中心反模糊化、高斯型隶属函数的模糊系统也能以任意的精度逼近任一闭子集上的实连续函数。
(2)利用神经网络对模糊控制规则的获取、细化等方面的研究。模糊控制器设计的关键就是模糊建模,然而经典方法都很难有效地辨识规则和细调隶属函数,对于专家难以表达的可采用聚类(或矢量量化)的方法从
专家的行为特性中获取有用的启发知识。Kosko利用矢量量化对积空间进行聚类,以获得模糊规则。在专家知识无法用语言表达时,采用无导师的规则聚类算法从经验数据中获取知识是十分必要的，这就使得研究成功的规则获取算法成为目前模糊神经网络研究的重要方法之一。然后,还要利用实际目标系统对所获得的规则进行细化。
(3)在神经网络学习算法中引入模糊控制技术的研究。传统的神经网络学习算法(特别是BP算法)存在学习周期长,甚至常常陷入局部极小值点的缺陷,为了加快学习速度，改善学习算法的性能，可以对网络的学习性能进行分析，利用获取适当的启发式知识来控制学习算法，在学习算法中引入模糊控制技术，就能动态地调整网络的学习过程,使传统的静态学习算法动态化,如Arabshahi等人给出的层状感知器的后向传播算法的模糊逻辑控制技术，Choi等人利用启发式知识的模糊逻辑控制器来调整传统神经网络训练中的网络参数,且将注意力集中在ART和BP的学习参数的控制中。近年来，国内有很多学者对于神经网络的训练算法进行了研究,主要集中在解决神经网络训练的快速性、全局优化技术和泛化能力上。王凌等提出了全局训练算法(IBPM)以及退火策略，李杰等对神经网络的泛化能力进行了研究。
模糊神经网络融合了神经网络和模糊逻辑特点，它从提高神经网络的启发性、透明性和鲁棒性出发,将模糊化概念与模糊推理规则引入神经网络的神经元、连接权和网络学习中。模糊神经网络可以有效地发挥模糊逻辑与神经网络的各自优势,弥补各自的不足。正如模糊集合论创立者Zadeh教授在第6届IFAC世界大会中指出的那样，“工业过程软测量中模糊逻辑与神经网络的融合技术必将是今后发展的重点，它越来越受到学术界和工程界的广泛关注”。虽然目前国内外对模糊神经网络的研究较多，但绝大多数均集中于BP神经网络与模糊逻辑融合的模糊神经网络，由于BP网络本身存在的一些固有缺陷，造成了融合后的网络也存在着一些缺陷。这些缺陷主要有：学习收敛速度慢,容易陷入局部极小，实时学习能力差和泛化能力有待增强。因此，当前迫切需要根据工业过程实时控制的要求，进一步开拓研究新型模糊神经网络，并探讨其在工业过程中的应用。
2.1.3 进化神经网络
近年来,越来越多的研究人员正在从事神经网络(NN)与进化算法(EA)相结合的研究工作，从而开辟了新的进化神经网络研究领域。可以说它是神经网络与进化算法的跨学科结合的产物,尽管它们的思想都萌芽于20世纪中叶，但二者的结合却是20世纪末的事情。人们想通过研究进化神经网络更好地理解学习与进化的相互关系，并且这一主题已成为人工生命领域中十分活跃的课题。
进化神经网络的主要研究内容为:如何对神经网络的结构进行编码,即网络参数编码的确定，包括选择待编码的参数、为各参数分配串长、定义串值与参数值之间的映射关系等。
基于传统BP神经网络存在的问题,本文将遗传算法与BP网络有机结合起来,提出了进化神经网络学习算法。该算法主要按照传统BP学习算法的过程进行学习,当学习过程处于局部极小时,就开始使用遗传算法产生新的子代，从这些新的子代和他们的父代中选择一个具有最优适合度的染色体作为新的起点，经过交叉、变异得出新的权值,实现搜索全局最优解。由此可见,该算法的复杂度并没有太大的增加，同时又保证了学习过程的全局收敛性，大大加快了学习的收敛速度。基于遗传算法的进化神经网络学习算法的一般过程可以描述为:
(1)初始化。对于给定神经元结构，初始化权值和阈值矢量，即对它们赋以[-0.5，0.5]之间的随机数。
(2)按顺序取一样本，输入到网络中。
(3)计算第n次迭代时神经网络对应的能量函数。
(4)如果能量函数E(n)小于允许误差，即E(n)≤ε(ε>0的给定小数) ,则停止迭代从而完成神经网络的学习过程；否则，利用BP算法调整网络权值。
(5)计算误差梯度：ΔE=[E(n)-E(n-τ)]/τ其中，τ为估计误差梯度的窗口尺寸。如果ΔE小于梯度阈值且E(n)>ε，这时认为神经网络已经处于局部极小状态，则需要利用进化算法优化神经网络的连接权。
(6)染色体编。随机产生初始化种群Q={X1，X2，…，XN}，其中Xi(i=1，2，…，N)对应网络的一个权值分布。染色体Xi=[W1，W2，…，WM]，Wk(k=1，2，…，M)表示网络中某两个结点间的权值。对这些权值进行初始化，即对它们赋以[-0.5，0.5]之间的随机数。
(7)染色体评价。为了评价解群中各个解的质量，必须建立一个适应度函数。BP神经网络一般以系统总能量函数作为网络训练的评判标准,当网络的总能量E小于某一设定值时,网络训练结束。对于每个染色体Xi。
(8)染色体选择。对已经排好序的染色体设定选择概率,最终选择出最好的染色体。
(9)交叉。根据给定的交叉概率选择父代直到找出优于父代的后代。
(10)变异。码链中某一位数字发生变异的概率由变异概率决定，变异的目的是挖掘群体中染色体的多样性,克服有可能限于局部解的弊病。首先根据变异概率确定要变异的染色体父代，然后对每次变异结果,还原出神经网络并进行性能评估，如果后代优于父代，则停止变异；否则，对该父代进行下一次变异，直到找出优于父代的后代。
(11)经过以上操作得出新的权值。如果网络总能量E小于允许误差，则停止进化，输出进化结果。否则,转步骤(8)，进入新一轮的交叉、变异操作。
2.1.4 混沌神经网络
目前,人们已提出了各种混沌神经网络模型,其中最具代表性的模型有三大类,即:由Aihara根据动物实
验提出的混沌神经网络模型;由Lnoue以及Kaneko等提出的耦合混沌神经元网络模型；由Chen和Aihara、Wang和Smith以及Hayakwa等提出的将传统的Hopfield神经网络进行适当的变换之后得到的一些具有混沌特性的神经网络模型。
对于混沌神经网络的研究同其他神经网络的研究一样主要是集中在三个方面,即时理论研究、应用研究和实现研究。主要有：提出具有混沌特性的新型神经元；对现在混沌神经网络特性进行分析并加以改进;对混沌神经网络中的混沌加以控制；小尺寸混沌神经网络特性分析等。
对于混沌神经网络的应用研究主要包括:混沌神经网络用于模式识别和图像处理；混沌神经网络用于优化和控制；混沌神经网络用于通信及语音处理；对于混沌神经网络的实现研究主要是究怎样以电路的方式来实现混沌神经元和混沌神经网络。
2.2 人工神经网络应用
神经网络理论的应用取得了令人瞩目的发展，特别是在人工智能、自动控制、计算机科学、信息处理、机器人、模式识别、CAD/CAM等方面都有重大的应用实例。下面列出一些主要应用领域[4]：
(1)模式识别和图像处理。印刷体和手写字符识别、语音识别、签字识别、指纹识别、人体病理分析、目标检测与识别、图像压缩和图像复制等。
(2)控制和优化。化工过程控制、机器人运动控制、家电控制、半导体生产中掺杂控制、石油精炼优化控制和超大规模集成电路布线设计等。
(3)预报和智能信息管理。股票市场预测、地震预报、有价证券管理、借贷风险分析、IC卡管理和交通管理。
(4)通信。自适应均衡、回波抵消、路由选择和A TM网络中的呼叫接纳识别和控制。
(5)空间科学。空间交汇对接控制、导航信息智能管理、飞行器制导和飞行程序优化管理等。
3. 人工神经网络BP算法在电能质量中的应用
人工神经网络BP算法在农村电力短期负荷多变量预测结构发生了重大变化，探索一种人工神经网络BP 算法在农村电力短期负荷的多变量质量检测相空间融合方案,以及新型智能电网中的物联网信息聚合技术，和每一分量质量检测采用互信息法进行最佳延迟时间的选择，及最优嵌入维数则采用最小BP算法，预测误差法进行电压波形发生畸变引起电压波动和闪变以及三相不平衡。
3.1 电能质量新技术研究
人工神经网络BP算法在农村电力短期负荷多变量预测结构发生了重大变化，探索一种神经网络BP算法在农村电力短期负荷的多变量质量检测相空间融合方案以及新型智能电网中的物联网信息聚合技术，同时针对每一分量质量检测采用互信息法进行最佳延迟时间的选择,最优嵌入维数则采用最小BP算法预测误差法进行电压波形发生畸变成引起电压波动和闪变以及三相不平衡等,对供电电能质量造成严重的干扰或“污染”。
3.2 电能质量检测新技术
3.2.1 当前电能质量检测原理
对电能质量进行监测是获得电能质量信息的直接途径，虽然只局限于持续性和稳定性指标的检测，而传统的基于有效值的检测技术由于时间窗太长，仅测有效值已不能精确描述实际的电能质量问题，因此需发展满足以下要求的新检测技术：(1)能捕捉快速瞬时干扰的波形；(2)需要测量各次谐波以及间谐波的幅值、相位，需要有足够高的采样速率，以便能测得相当高次谐波的信息；(3)建立有效的分析和自动辨识系统,使之能反映各种电能质量指标的特征及其随时间的变化规律。
3.2.2 电能质量新技术应用
基于电能质量在硬件和软件上应用平台主要有数字信息聚合技术处理、物联网信息聚合技术等新技术以及新的如小波变换的BP算法。电能质量检测对于系统实时性和支持复杂算法的特殊要求，提出一种基于双
CPU的嵌入式实时系统解决方案。基于连续小波变换的信号奇异性检测原理及其在电能质量暂态信号检测中的应用进行了详细的研究，通过基于标准偏差估计的小波消噪算法，有效排除了噪声干扰,实现了精确的故障时刻定位。基于小波变换的理论，结合电能质量检测数据的特点，将基于小波变换系数的门限方法应用于电能质量检测数据的压缩。基于电能质量检测系统的组成部分和该系统不但能实现电网数据的精确采样分析电网的各项电能质量指标,并以直观的图形显示出来。
3.3 电能质量新技术分析原理
电能质量的分析计算涉及对各种干扰源和电力系统的数学算法，由于干扰源性质各异，干扰的频谱从0Hz 到GHz的广宽范围内，建立干扰源和物联网聚合电网元件准确的数学模型有时困难很大，有赖于电网基础资料的可信度。近年来，基于数字技术的各种分析方法已在以下电能质量领域中得到应用：分析谐波在网络中的分布波形畸变及在网络中的传播；分析各种电能质量控制装置在解决相关问题方面的作用；多个控制装置的协调以及与其他控制器的综合控制等问题。目前所采用的方法为：
(1)时域仿真方法该方法在电能质量分析中的应用最为广泛，其主要的用途是利用各种时域仿真程序对电能质量问题中的各种暂态现象进行研究。
(2)频域分析方法该方法主要用于谐波问题的分析计算，包括频率扫描，谐波潮流计算等。即在非线性负载的动态特性，常规的谐波潮流计算法基础上，对非线性负载进行仿真计算，从而得到动态谐波潮流解。
(3)基于变换的方法这里主要指Fourier变换方法、短时Fourier变换方法和小波变换方法。作为经典的信号分析方法Fourier变换具有正交、完备等许多优点,而且有象FFT这样的快速Fourier算法，因此已在电能质量分析领域中得到广泛应用。但在运用FR时，必须满足以下条件:满足采样定理的要求,即采样频率必须是最高信号频率的两倍以上；被分析的波形必须是稳态的、随时间周期变化。
3.4 电能质量研究中的人工智能新技术
(1)专家系统成本较高且在开发过程中耗时过长，但依然出现了很多应用。这些主要体现在对畸变的电压和波形进行分类；对电能质量问题的解决方案在专家系统架构下进行开发；测量和分析电能质量及电力系统电磁兼容性和识别电能质量可扩展的系统。
(2)根据历史数据和一些影响负荷变化的因素变量来推断将来时刻的负荷值。具有原理和结构简单、研究速度快、外推特性好的等特点。也存在历史数据要求高、无法详细地考虑各种影响负荷的因素,模型初始化难度较大，需要丰富的经验和较高的技巧的缺陷。
(3)滑法指数平滑法是一种曲线拟合法，在短期负荷研究中，一般用过去数周的同类型日的相同时刻的负荷组成一组时间上有序的观测值，然后对该数组进行加权平均就得到所需的负荷值。
(4)序列法就是根据负荷的历史资料设法建立时间序列的数学模型，并在该模型的基础上建立负荷研究的数学表达式，对未来的负荷进行研究。
(5)神经网络BP算法在农村电力短期负荷预测的主要思想是把电能质量检测分析监控分为两个阶段:第一阶段(正向传播过程)，给出输入电能质量检测分析监控信息采集通过输入电能质量检测分析监控层经隐含层逐
层处理中心数据采集来的信息并计算每个单元各个节点的实际输出电能质量检测分析监控技术；第二阶段(反向过程)，若在输出层未能得到中心数据采集期望的输出值，则逐层递归地计算实际输出电能质量检测分析监控与期望输出电能质量检测分析监控短期负荷之差值(即误差)，以便根据电能质量检测分析监控短期负荷此差值调结权值，就是可对每一个电能质量检测分析监控短期负荷权值计算出接收单元的误差值与发送单元的激活值的积。因为这个积和误差对权重的(负)微商成正比(又称梯度下降算法)，把它叫做权重误差微商。电能质量检测分析监控短期负荷规则的指导思想：对电网权值和阈值的修正要沿着表现函数下降最快的方向—负梯度方向。
3.5 结语
基于人工神经网络BP算法在电能质量检测分析监控新技术应用研究两个趋势：其中之一就是全智能控制化，自动对电能质量问题进行识别和数据处理，从而实现全面的无人监控功能；另一个则是通信技术远程化和同时针对每一分量混沌时间序列采用互信息法进行最佳延迟时间的选择，最优嵌入维数则采用最小BP算法预测误差法进行确定。所以远程化就可以适应不同层次的监控要求，从而使电能质量的监控点能够分布到电网中的任何地方，并且具有良好的在线功能。利用计算机VPN和以太网网络技术的更新融合，为不同地点供电系统电能质量的远程集中监测和分析数据建立主要包括GPRS授时技术进行与GIS多点同步采样，同时建立WEB网络平台和大型数据库管理供电网络运行数据供电系统的稳定。
4.课程设计
4.1 问题的提出
BP网有很强的映射能力，主要用于模式识别分类，函数逼近，函数压缩等。本文通过示例来说明BP 网在函数逼近方面的应用。
要求设计一个简单的BP网，实现对非线性函数的逼近。通过改变该函数的参数以及BP网络隐层神经元的数目，来观察训练时间以及训练误差的变化情况。
将要逼近的非线性函数设为正弦函数，其频率参数ｋ可以调节。
ｋ=1;
p=[-1: .05 : 1];
t=sin(k*pi*p);
假定频率的参数k=1,绘制此函数的曲线，如下图1所示。
plot(p,t,’-‘)
title(‘受逼近的非线性函数’)；
xlabel(‘时间’)；
ylabel(‘非线性函数’)
图1
4.2 网络的建立
应用函数newff（）建立BP网络结构，为二层BP神经网络。隐层神经元数目n可以改变，暂设为n=10，输出层又一个神经元。选择隐层和输出层神经元传递函数为
Tansigg函数和purelin函数，网络训练用算法用Levenberg-Marquardt算法trainlm.
n=10;
net=newff(minmax(p),[n,1],{‘tansig’,’purelin’},’trainlm’);
对于该初始网络，可以用sim()函数观察网络输出。
y1=sim(net,p);
同时绘制网络输出曲线，并与原函数相比较，结果如图2所示。
图2
figure ;
plot(p,t,’-’,p,y1,’--’);
title(‘未训练网络的输出结果’)；
xlabel(‘时间’)；
ylabel(‘仿真输出-- 原函数-’);
因为使用newff()函数建立网络时，权值和阈值的初始华是随机的，所以网络输出结果很差，根本达不到函数逼近的目的，并且每次运行的结果也有所不同。
4.3 网络训练
应用函数train（）对网络进行训练之前，需要预先设置训练参数。将训练时间设置为50，训练精度设置0.01，其余参数使用缺省值。
训练后得到的误差变化过程如图3。
图3
net.trainParam.epochs=50;
net.trainParam.goal=0.01;
net=train(net,p,t);
TRAINLM,Epoch 0/50,MSE 5.08746/0.01,Gradient 194.374/1e-010
TRAINLM,Epoch 2/50,MSE 0.00114024/0.01,Gradient 0.974127/1e-010
TRAINLM,Performance goal met.
从以上结果可以看出，网络训练速度很快，经过一次循环迭代过程就达到了呀求的精度。
4.4 网络测试
对于训练好的网络进行仿真：
y2=sim(net,p);
绘制网络输出曲线，并与原始非线性函数曲线以及未训练网络的输出结果曲线比较，如图4所示。
图4
figure ;plot(p,t,’-’,p,y1,’--’,p,y2,’- -’);
Title(‘训练后网络的输出结果’)；
xabel(‘时间’)；
ylabel(‘仿真输出’);
从图4可以看出，得到的曲线和原始的非线性函数曲线很接近呢。这说明进过训练后，BP网络对非线性函数的逼近效果相当好。
4.5 比较证明
下面通过增加非线性函数频率和减小隐层神经元数目来加以证明
（1）频率参数设为k=2,隐层神经元数目还是n=10,非线性函数曲线如图5，得到未训练网络的输出结果如图6，训练后网络的输出结果如图7，得到训练后网络的输出结果如图8。
图5 图6
图7 图8
（2）频率参数设为k=1,隐层神经元的数目n=5,非线性函数曲线如图9，得到未训练网络的输出结果如图10，训练后网络的输出结果如图11，得到训练后网络的输出结果如图12。
图9 图10
图11 图12
4.6 讨论
改变非线性韩式的频率和BP网络隐层神经元的数目，对于函数逼近的效果有一定影响。网络非线性程度越高，对于BP网络的要求越高，则相同的网络逼近效果要差一些；隐层神经元的数目对于网络逼近效果也又一定影响，一般说来，隐层神经元的数目越多，则BP网络逼近非线性函数的能力越强，而同时网络训练所用的时间相对来说要长一些。
4.7 BP网在函数逼近的程序
(1)k=1;n=10
p=[-1: .05 : 1];
t=sin(k*3.14.*p);
plot(p,t,'-')
title('受逼近的非线性函数')
xlabel('时间')
ylabel('非线性函数')
n=10;
net=newff(minmax(p),[n,1],{'tansig','purelin'},'trainlm'); y1=sim(net,p);
figure ;
plot(p,t,'-',p,y1,'--')
title('未训练网络的输出结果')
xlabel('时间')
ylabel('仿真输出-- 原函数-')
net.trainParam.epochs=50;
net.trainParam.goal=0.01;
net=train(net,p,t);
y2=sim(net,p);
figure ;
plot(p,t,'-',p,y1,'--',p,y2,'-.')
title('训练后网络的输出结果')
xlabel('时间')
ylabel('仿真输出')
(2) k=2; n=10
p=[-1: .05 : 1];
t=sin(k*3.14.*p);
plot(p,t,'-')
title('受逼近的非线性函数')
xlabel('时间')
ylabel('非线性函数')
n=10;
net=newff(minmax(p),[n,1],{'tansig','purelin'},'trainlm'); y1=sim(net,p);
figure ;
plot(p,t,'-',p,y1,'--')
title('未训练网络的输出结果')
xlabel('时间')
ylabel('仿真输出-- 原函数-')
net.trainParam.epochs=50;
net.trainParam.goal=0.01;
net=train(net,p,t);
y2=sim(net,p);
figure ;
plot(p,t,'-',p,y1,'--',p,y2,'-.')
title('训练后网络的输出结果')
xlabel('时间')
ylabel('仿真输出')
(3)k=1,n=5
p=[-1: .05 : 1];
t=sin(k*3.14.*p);
plot(p,t,'-')
title('受逼近的非线性函数')
xlabel('时间')
ylabel('非线性函数')
n=5;
net=newff(minmax(p),[n,1],{'tansig','purelin'},'trainlm');
y1=sim(net,p);
figure ;
plot(p,t,'-',p,y1,'--')
title('未训练网络的输出结果')
xlabel('时间')
ylabel('仿真输出-- 原函数-')
net.trainParam.epochs=50;
net.trainParam.goal=0.01;
net=train(net,p,t);
y2=sim(net,p);
figure ;
plot(p,t,'-',p,y1,'--',p,y2,'-.')
title('训练后网络的输出结果')
xlabel('时间')
ylabel('仿真输出')
参考文献:
[1] 郑君里,杨行峻.《人工神经网络》. 北京:高等教育出版社,1992.5:15-30
[2] 郝中华.《B P神经网络的非线性思想》. 洛阳师范学院学报2008.3(4)
[3] 巨军让，卓戎.《B P神经网络在Matlab中的方便实现》.新疆石油学院学报.2008.2(1)
[4] 蒋宗礼.《人工神经网络导论》. 高等教育出版社，2001.5:15-90
[5] 闻新、周露、王丹力、熊晓英.《MATLAB神经网络应用设计.科学出版社》，2001.5:10-50
[6] 葛哲学、孙志强编著 .《神经网络与matlab2007实现》. 北京：电子工业出版社，2007.9:1-5
[7] 董长虹编著 .《Matlab神经网络与应用》. 北京：国防工业出版社，2007.9:1-13
[8] 胡守仁，等.《神经网络导论》.长沙：国防科技大学出版社，1993:23-45
[9] 张玲，张钹.《人工神经网络理及应用》. 浙江：浙江科技大学出版社，1997.5:20-62
[10] Neural Network Tolbox User’s, The MathWorks. Inc,2003:16-27
[11] Matlab user’s Guide. The MathWorks.Inc,2003:23-27
[12] Neural Network Toolbox. Mathworks,2007:1-13
[13] Philip D. Wasserman， Neural Computing: Theory and Practice，Van Nostrand Reinhold，1989.
[14] 李学桥.《神经网络工程应用》. 重庆：重庆大学出版社，1995.6:20-73
[15] 楼顺天，等.《基于Matlab的系统分析与设计---神经网络》. 西安：西安电子科技大学出版社，2000.8:23-40
[16] 周开利，康耀红编著.《神经网络模型及其MATLAB仿真程序设计》.2006:10-43
[17] 魏海坤.《神经网络结构设计的理论与方法》.国防工业出版社，2005.9:20-30
人工神经网络原理及实际应用 摘要：本文就主要讲述一下神经网络的基本原理，特别是BP神经网络原理，以及它在实际工程中的应用。 关键词：神经网络、BP算法、鲁棒自适应控制、Smith－PID 本世纪初，科学家们就一直探究大脑构筑函数和思维运行机理。特别是近二十年来。对大脑有关的感觉器官的仿生做了不少工作，人脑含有数亿个神经元，并以特殊的复杂形式组成在一起，它能够在“计算＂某些问题（如难以用数学描述或非确定性问题等）时，比目前最快的计算机还要快许多倍。大脑的信号传导速度要比电子元件的信号传导要慢百万倍，然而，大脑的信息处理速度比电子元件的处理速度快许多倍，因此科学家推测大脑的信息处理方式和思维方式是非常复杂的，是一个复杂并行信息处理系统。1943年Macullocu和Pitts融合了生物物理学和数学提出了第一个神经元模型。从这以后，人工神经网络经历了发展，停滞，再发展的过程，时至今日发展正走向成熟，在广泛领域得到了令人鼓舞的应用成果。本文就主要讲述一下神经网络的原理，特别是BP神经网络原理，以及它在实际中的应用。 1.神经网络的基本原理 因为人工神经网络是模拟人和动物的神经网络的某种结构和功能的模拟，所以要了解神经网络的工作原理，所以我们首先要了解生物神经元。其结构如下图所示： 从上图可看出生物神经元它包括，细胞体：由细胞核、细胞质与细胞膜组成；
轴突：是从细胞体向外伸出的细长部分，也就是神经纤维。轴突是神经细胞的输出端，通过它向外传出神经冲动；树突：是细胞体向外伸出的许多较短的树枝状分支。它们是细胞的输入端，接受来自其它神经元的冲动；突触：神经元之间相互连接的地方，既是神经末梢与树突相接触的交界面。 对于从同一树突先后传入的神经冲动，以及同一时间从不同树突输入的神经冲动，神经细胞均可加以综合处理，处理的结果可使细胞膜电位升高；当膜电位升高到一阀值（约40mV），细胞进入兴奋状态，产生神经冲动，并由轴突输出神经冲动；当输入的冲动减小，综合处理的结果使膜电位下降，当下降到阀值时。细胞进入抑制状态，此时无神经冲动输出。“兴奋”和“抑制”，神经细胞必呈其一。 突触界面具有脉冲/电位信号转换功能，即类似于D/A转换功能。沿轴突和树突传递的是等幅、恒宽、编码的离散电脉冲信号。细胞中膜电位是连续的模拟量。 神经冲动信号的传导速度在1～150m/s之间，随纤维的粗细，髓鞘的有无而不同。 神经细胞的重要特点是具有学习功能并有遗忘和疲劳效应。总之，随着对生物神经元的深入研究，揭示出神经元不是简单的双稳逻辑元件而是微型生物信息处理机制和控制机。 而神经网络的基本原理也就是对生物神经元进行尽可能的模拟，当然，以目前的理论水平，制造水平，和应用水平，还与人脑神经网络的有着很大的差别，它只是对人脑神经网络有选择的，单一的，简化的构造和性能模拟，从而形成了不同功能的，多种类型的，不同层次的神经网络模型。 2.BP神经网络 目前，再这一基本原理上已发展了几十种神经网络，例如Hopficld模型，Feldmann等的连接型网络模型，Hinton等的玻尔茨曼机模型，以及Rumelhart 等的多层感知机模型和Kohonen的自组织网络模型等等。在这众多神经网络模型中，应用最广泛的是多层感知机神经网络。 这里我们重点的讲述一下BP神经网络。多层感知机神经网络的研究始于50年代，但一直进展不大。直到1985年，Rumelhart等人提出了误差反向传递学习算法（即BP算），实现了Minsky的多层网络设想，其网络模型如下图所示。它可以分为输入层，影层（也叫中间层），和输出层，其中中间层可以是一层，也可以多层，看实际情况而定。
浅谈人工神经网络 一、人工神经网络的发展 1943年，心理学家W.S.McCulloch和数理逻辑学家W.Pitts建立了神经网络和数学模型，称为MP模型。他们通过MP模型提出了神经元的形式化数学描述和网络结构方法，证明了单个神经元能执行逻辑功能，从而开创了人工神经网络研究的时代。1984年，美国加州工学院物理学家J.J.Hopfield提出了连续时间Hopfield神经网络模型，为神经计算机的研究做了开拓性的工作，开创了神经网络用于联想记忆和优化计算的新途径，有力地推动了神经网络的研究，1986年进行认知微观结构地研究，提出了并行分布处理的理论。近20年来，神经网络的软件模拟得到了广泛研究和应用，发展速度惊人。 二、人工神经网络的原理 人工神经网络是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。在工程与学术界也常直接简称为“神经网络”或类神经网络。神经网络是一种运算模型，由大量的节点（或称“神经元”，或“单元”）和之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数（activation function）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重（weight），这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。 它的构筑理念是受到生物（人或其他动物）神经网络功能的运作启发而产生的。人工神经网络通常是通过一个基于数学统计学类型的学习方法（Learning Method）得以优化，所以人工神经网络也是数学统计学方法的一种实际应用，通过统计学的标准数学方法我们能够得到大量的可以用函数来表达的局部结构空间，另一方面在人工智能学的人工感知领域，我们通过数学统计学的应用可以来做人工感知方面的决定问题(也就是说通过统计学的方法，人工神经网络能够类似人一样具有简单的决定能力和简单的判断能力)，这种方法比起正式的逻辑学推理演算更具有优势。 三、人工神经网络的应用范围及热点 计算机人工神经网络是一门应用广泛，涉及多学科交叉、综合的前沿学科。人工神经网络是在对人脑神经网络的基本研究的基础上，采用数理方法和信息处理的角度对人脑神经网络进行抽象，并建立的某种简化模型。突破了传统的以线性处理为基础的数字电子计算机的局限，标志着人们智能信息处理能力和模拟人
基于人工神经网络的通信信号分类识别 冯 涛 (中国电子科技集团公司第54研究所,河北石家庄050081) 摘 要 通信信号的分类识别是一种典型的统计模式识别问题。系统地论述了通信信号特征选择、特征提取和分类识别的原理和方法。设计了人工神经网络分类器,包括神经网络模型的选择、分类器的输入输出表示、神经网络拓扑结构和训练算法,并提出了分层结构的神经网络分类器。 关键词 模式识别;特征提取;分类器;神经网中图分类号 TP391 文献标识码 A Classification and Identification of Communication Signal Using Artificial Neural Networks FE NG Tao (T he 54th Research Institute of CETC,Shijia zhuan g Hebei 050081,China) Abstract The classification and identificati on of communication signal is a typical statistical pattern identification.The paper discusses the theory and method of feature selection,feature extraction and classi fication &identificaiton of communication signal.A classifier based on artificial neural networks is designed,includin g the selection of neural network model,the input and output expression of the classifier,neural network topology and trainin g algorithm.Finally a hierarchical archi tecture classifier based on artificial neural networks is presented. Key words pattern recognition;features extraction;classifier;neural networks 收稿日期:2005-12-16 0 引言 在通信对抗侦察中,侦察接收设备在截获敌方通信信号后,必须经过对信号的特征提取和对信号特征的分析识别,才能变为有价值的通信对抗情报。通过对信号特征的分析识别,可以得到信号种类、通信体制、网路组成等方面的情报,从而为研究通信对抗策略、研制和发展通信对抗装备提供重要参考依据。 1 通信信号分类识别的原理 通信信号的分类识别是一种典型的模式识别应用,其作用和目的就是将某一接收到的信号正确地归入某一种类型中。一般过程如图1 所示。 图1 通信信号分类识别的一般过程 下面简单介绍这几部分的作用。 信号获取:接收来自天线的信号x (t),并对信号进行变频、放大和滤波,输出一个中频信号; A/D 变换:将中频模拟信号变换为计算机可以运算的数字信号x (n); 以上2步是信号空间x (t)到观察空间x (n )的变换映射。 特征提取:为了有效地实现分类识别,必须对原始数据进行变换,得到最能反映分类差别的特征。这些特征的选择和提取是非常重要的,因为它强烈地影响着分类器的设计和性能。理想情况下,经过特征提取得到的特征向量对不同信号类型应该有明显的差别; 分类器设计和分类决策:分类问题是根据识别对象特征的观察值将其分到某个类别中去。首先,在样本训练集基础上确定合适的规则和分类器结构,然后,学习训练得到分类器参数。最后进行分类决策,把待识别信号从特征空间映射到决策空间。 2 通信信号特征参数的选择与特征提取 2 1 通信信号特征参数的选择 选择好的特征参数可以提高低信噪比下的正确 识别率,降低分类器设计的难度,是基于统计模式识别方法最为关键的一个环节。试图根据有限的信号 信号与信息处理 24 2006Radio Engineering Vo1 36No 6
人工神经网络（ANN）又称神经网络，是在现代神经科学研究成果的基础上，对生物神经系统的结构和功能进行数学抽象、简化和模仿而逐步发展起来的一种新型信息处理和计算系统。由于人工神经网络具有自学习、高容错、高度非线性描述能力等优点，现已广泛应用于经济、机器人和自动控制、军事、医疗、化学等领域［l ~ 3］，并取得了许多成果。本文简要介绍人工神经网络的原理和特点，论述人工神经网络在高分子科学与工程领域的应用。 橡胶配方是决定橡胶制品性能的关键因素，由于材料配方与制品性能之间存在很复杂的非线性关系，多数情况下无法建立完整精确的理论模型，只能借助于回归方法得到经验公式。 传统的回归方法存在以下局限性： (1)使用不同的回9j方法可获得不同的经验公式，导致经验公式的繁多和不一致； (2)当配方项目及性能指标项目较多时，采用回归公式无法完全再现实验数据； (3)当实验进一步完善，实验数据增多的时候．其他人员再进行回归时，如果无法找到原来的回归方法、程序和实验数据，原来的回归公式将不能被利用，造成一定的浪费。随着计箅机的发展而出现的人工神经网络是人工智能方法．它不像回归方法那样，需预先给定基本函数，而是以实验数据为基础．经过有限次的迭代计算而获得的一个反映实验数据内在联系的数学模型，具有极强的非线性处理、自组织调整、自适应学习及容错抗噪能力，特别适用于研究像材料配方与制品性能之间关系的复杂非线性系统特性【¨】。因此，人们开始将人工神经网络应用于橡胶配方设计”J。 随着橡胶制品在各领域应用的拓展，橡胶配方设计变得越来越重要。人们进行橡胶配方设计主要有3个目的：提高制品的性能；改善加工工艺；降低生产成本。传统的橡胶配方设计方法有全因素设计、正交试验设计n_3]、均匀设计[4‘60等，而这些配方设计试验数据的处理方法无外乎方差分析和回归分析口]。由于材料的配方和性能之问存在非常复杂的非线性关系，回归分析只适合于单目标优化数据处理的模型，对于不同的性能，需要建立不同的模型，因此将其应用于配方设计有一定的局限性。近年来，发展日趋成熟的人工神经网络技术，尤其是BP神经网络凭借其结构简单、收敛速度快、预测精度高等优势越来越多地应用到橡胶配方设计试验中。 1橡胶配方设计 1．1橡胶配方设计概述 配方设计¨J是橡胶工业中的首要技术问题，在橡胶工业中占有重要地位。所谓配方设计，就是根据产品的性能要求和工艺条件，通过试验、优化、鉴定，合理地选用原材料，确定各种原材料的用量配比关系。 橡胶配方人员的主要工作就是要确定一系列变量对橡胶各项性能的定量或定性影响。变量可以是硫化剂、促进剂、填充剂、防老剂等，也可以是加工：[艺条件(如硫化温度、硫化时间等)，总之是配方人员可能控制或测得的变量。橡胶各项基本性能包括拉伸强度、撕裂强度、硬度、定伸应力等物理机械性能，以 及加工性能、光洁度、外观等。 橡胶配方设计常常是多变量的试验设计，配方设计理论和试验设计方法对于 配方设计具有重要意义。
X X X X大学 研究生考查课 作业 课程名称：智能控制理论与技术 研究生姓名：学号： 作业成绩： 任课教师(签名) 交作业日时间：2010年12月22日
人工神经网络(artificial neural network，简称ANN)是在对大脑的生理研究的基础上，用模拟生物神经元的某些基本功能元件(即人工神经元)，按各种不同的联结方式组成的一个网络。模拟大脑的某些机制，实现某个方面的功能，可以用在模仿视觉、函数逼近、模式识别、分类和数据压缩等领域，是近年来人工智能计算的一个重要学科分支。 人工神经网络用相互联结的计算单元网络来描述体系。输人与输出的关系由联结权重和计算单元来反映，每个计算单元综合加权输人，通过激活函数作用产生输出，主要的激活函数是Sigmoid函数。ANN有中间单元的多层前向和反馈网络。从一系列给定数据得到模型化结果是ANN的一个重要特点，而模型化是选择网络权重实现的，因此选用合适的学习训练样本、优化网络结构、采用适当的学习训练方法就能得到包含学习训练样本范围的输人和输出的关系。如果用于学习训练的样本不能充分反映体系的特性，用ANN也不能很好描述与预测体系。显然，选用合适的学习训练样本、优化网络结构、采用适当的学习训练方法是ANN的重要研究内容之一，而寻求应用合适的激活函数也是ANN研究发展的重要内容。由于人工神经网络具有很强的非线性多变量数据的能力，已经在多组分非线性标定与预报中展现出诱人的前景。人工神经网络在工程领域中的应用前景越来越宽广。 1人工神经网络基本理论[1] 1.1神经生物学基础 可以简略地认为生物神经系统是以神经元为信号处理单元,通过广泛的突触联系形成的信息处理集团,其物质结构基础和功能单元是脑神经细胞即神经元(neu ron)。(1)神经元具有信号的输入、整合、输出三种主要功能作用行为。突触是整个神经系统各单元间信号传递驿站,它构成各神经元之间广泛的联接。(3)大脑皮质的神经元联接模式是生物体的遗传性与突触联接强度可塑性相互作用的产物,其变化是先天遗传信息确定的总框架下有限的自组织过程。 1.2建模方法 神经元的数量早在胎儿时期就已固定,后天的脑生长主要是指树突和轴突从神经细胞体中长出并形成突触联系,这就是一般人工神经网络建模方法的生物学依据。人脑建模一般可有两种方法:①神经生物学模型方法,即根据微观神经生物学知识的积累,把脑神经系统的结构及机理逐步解释清楚,在此基础上建立脑功能模型。②神经计算模型方法,即首先建立粗略近似的数学模型并研究该模型的动力学特性,然后再与真实对象作比较(仿真处理方法)。 1.3概念 人工神经网络用物理可实现系统来模仿人脑神经系统的结构和功能,是一门新兴的前沿交叉学科,其概念以T.Kohonen.Pr的论述最具代表性:人工神经网络就是由简单的处理单元(通常为适应性)组成的并行互联网络,它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。 1.4应用领域 人工神经网络在复杂类模式识别、运动控制、感知觉模拟方面有着不可替代的作用。概括地说人工神经网络主要应用于解决下述几类问题:模式信息处理和模式识别、最优化问题、信息的智能化处理、复杂控制、信号处理、数学逼近映射、感知觉模拟、概率密度函数估计、化学谱图分析、联想记忆及数据恢复等。 1.5理论局限性 (1)受限于脑科学的已有研究成果由于生理试验的困难性,目前对于人脑思维与记忆机制的认识尚很肤浅,对脑神经网的运行和神经细胞的内部处理机制还没有太多的认识。 (2)尚未建立起完整成熟的理论体系目前已提出的众多人工神经网络模型,归纳起来一般都是一个由节点及其互连构成的有向拓扑网,节点间互连强度构成的矩阵可通过某种学
基于LVQ神经网络的人脸朝向识别 摘要人脸识别是当今模式识别和人工智能的一个重要的研究方向。人脸的朝向识别是一个复杂的模式识别问题。在实际应用中，大量图像和视频源中人脸的位置、朝向、旋转角度都是不固定的，这大大增加了人脸识别的难度。为了解决这些问题，本实验采用了LVQ神经网络模型对图像中的人脸朝向识别进行研究。本实验基于matlab平台设计LVQ神经网络，实现对人脸朝向的判断。实验结果表明，LVQ神经网络可以根据输入图像的二值信息，以较高的准确率判别该图像中的人脸朝向。 关键字：人脸朝向识别；LVQ神经网络；matlab；特征提取 人脸识别是一个活跃的研究领域。尽管相对于虹膜和指纹识别，人脸识别的准确还比较低，但人脸的易采集、非接触的优点，让人脸识别受到越来越多的关注。人脸识别对人脸位置和状态都有一定的限制，实际应用中，图像和视频源 中人脸的位置，朝向和旋转都不是固定的，这就为我们后续的人脸识别有了更大的难度。 在人脸识别的研究领域中，人脸朝向识别是其中的一个分支。在以往的研究中，绝大多数的研究人员希望能够消除人脸朝向在人脸识别中的不良影响，但在复杂的实际环境中，我们无法忽略人脸朝向对人脸识别的影响。因此，对人脸朝向的判定和识别是非常有必要和有意义的。 1LVQ神经网络 学习向量量化(Learning Vector Quantization，LVQ)神经网络，属于前向神经网络类型，在模式识别和优化领域有着广泛的应用。LVQ神经网络由三层组成，即输入层、隐含层和输出层，网络在输入层与隐含层间为全连接，而在隐含层与输出层间为部分连接，每个
输出层神经元与隐含层神经元的不同组相连接。隐含层和输出层神经元之间的连接权值固定为1。输入层和隐含层神经元间连接的权值建立参考矢量的分量（对每个隐含神经元指定一个参考矢量）。在网络训练过程中，这些权值被修改。隐含层神经元（或称为Kohnen神经元）和输出神经元都具有二进制输出值。当某个输入模式被送至网络时，参考矢量最接近输入模式的隐含神经元因获得激发而赢得竞争，因而允许它产生一个“1”，而其它隐含层神经元都被迫产生“0”。与包含获胜神经元的隐含层神经元组相连接的输出神经元也发出“1”，而其它输出神经元均发出“0”。产生“1”的输出神经元给出输入模式的类，由此可见，每个输出神经元被用于表示不同的类。 2人脸朝向识别的设计 2.1问题描述 现采集到一组不同人脸朝向的图像，这组图像来自于10个人，每人5张图片，人脸朝向分为：左方、左前方、正面、右前方、右方，如图2-1所示。创建一个LVQ神经网络，对给出的人脸进行朝向的判定与识别。 2-1人脸朝向识别图 2.2建立模型 2.2.1设计思路 通过观察不难发现，当人脸朝向不同的方向时，眼睛在图像中的位置差别较大。所以，将眼睛位置的特征信息作为LVQ神经网络识别的输入，将5个朝向作为其输出。在对训练
人工神经网络发展前景 姓名 单位 摘要 在分析人工神经网络的发展过程、基本功能、应用范围的基础上，着重论述了神经网络与专家系统、模糊技术、遗传算法、灰色系统及小波分析的融合。 关键词 英文摘要 英文关键词 1前言 人工神经网络的发展起源于何时，说法不一。一般认为，其起源可追溯到Warren WcCulloch和Walter Pitts提出的MP模型。从此拉开了神经网络的序幕。20世纪50年代后期，Frank Rosenblatt定义了一种以后常用的神经网络结构，称为感知器。这是人工神经网络第一个实际应用；20世纪60年代，Bernard Widrow和Ted Hoff提出了一个新的学习算法用于训练自适应线性神经网络；20世纪70年代，Grossberg 提出了自适应共振理论。他研究了两种记忆机制（短期记忆和长期记忆），提出了一种可视系统的自组织神经网络，这是一种连续时间竞争网络，是构成自适应谐振理论网络基础；20世纪80年代，Hopfield 及一些学者提出了Hopfield网络模型，这是一种全连接的反馈网络。此外，Hinton等提出了Boltzman机。Kumellhart等人提出误差反向
传播神经网络，简称BP网络。目前BP神经网络已成为广泛使用的网络。 2应用现状 神经网络以及独特的结构和处理信息的方法，在许多实际应用领域中取得了显著的成效，主要应用如下： 1）信号处理。神经网络广泛应用于自适应信号处理和非线性信号处理中。前者如信号的自适应滤波、时间序列预测、谱估计、噪声消除等；后者如非线性滤波、非线性预测、非线性编码、调制/解调等。2）模式识别。神经网络不仅可以处理静态模式如固定图像、固定能谱等，还可以处理动态模式如视频图像、连续语音等。 3）系统识别。基于神经网络的系统辨识是以神经网络作为被识对象的模型，利用其非线性特性，可建立非线性系统的静态或动态模型。 4)智能检测。在对综合指标的检测（例如对环境舒适度这类综合指标检测）中，以神经网络作为智能检测中的信息处理联想等数据融合处理，从而实现单一传感器不具备的功能。 5）汽车工程。神经网络在汽车刹车自动控制系统中也有成功的应用，该系统能在给定刹车距离、车速和最大减速度的情况下，以人体能感受到的最小冲击实现平稳刹车，而不受路面坡度和车重影响。 6）化学工程。神经网络在光谱分析、判定化学反应的生成物、判定离子浓度及研究生命体中某些化合物的含量与生物活性的对应关系都有广泛应用并取得了一定成果。 7）卫生保健、医疗。比如通过训练自主组合的多层感知器可以区分
1. 引言 (2) 2. 在农业生产管理与决策中的应用 (2) 2.1. 在农业机械化中的应用 (2) 2.2. 在智能农业专家系统中的应用 (3) 3. 在预测和估产中的应用 (3) 3.1. 在农作物虫情预测中的应用 (3) 3.2. 在作物水分和营养胁迫诊断及产量估测中的应用 (4) 4. 在分类鉴别与图像处理中的应用 (5) 5. 结束语 (5)
BP 神经网络的研究与应用 摘要: 本文概述了BP 神经网络在农机总动力预测、农业专家系统信息决策、虫情测报、农作物水分和养分胁迫、土壤墒情、变量施肥、分类鉴别和图像处理等领域的应用情况，总结了人工神经网络模型的优点，指出其在精准农业和智能农业中的重要理论技术支撑作用。 关键词: BP神经网络; 农业工程; 农业专家系统; 变量施肥; 土壤墒情 Research and Application of BP Neural Network Abstract: Application of BP neural network in prediction of total power in agriculture machinery，information decision-making by agricultural experts system，pest forecast，crops to water stress and nutrient stress，soil moisture condition，variable rate fertilization，identification and image processing were overviewed．Characteristics of artificial neural network model were summed．Supporting role for important theory and technology in precision agriculture and intelligent agriculture were pointed． Key words: BP neural network，Agricultural engineering，Agricultural experts system，Variable rate fertilization，Soil moisture condition
目录 1 人工神经网络算法的工作原理 (3) 2 人工神经网络研究内容 (4) 3 人工神经网络的特点 (5) 4 典型的神经网络结构 (6) 4.1 前馈神经网络模型 (6) 4.1.1 自适应线性神经网络(Adaline) (6) 4.1.1.1网络结构 (6) 4.1.1.2学习算法步骤 (7) 4.1.1.3优缺点 (7) 4.1.2单层感知器 (8) 4.1.2.1网络结构 (8) 4.1.2.2学习算法步骤 (9) 4.1.2.3优缺点 (9) 4.1.3多层感知器和BP算法 (10) 4.1.3.1网络结构： (10) 4.1.3.2 BP算法 (10) 4.1.3.3算法学习规则 (11) 4.1.3.4算法步骤 (11) 4.1.3.5优缺点 (12) 4.2反馈神经网络模型 (13) 4.2.1 Hopfield神经网络 (13) 4.2.1.1网络结构 (13) 4.2.1.2 学习算法 (15) 4.2.1.3 Hopfield网络工作方式 (15) 4.2.1.4 Hopfield网络运行步骤 (15) 4.2.1.5优缺点 (16) 4.2.2海明神经网络（Hamming） (16) 4.2.2.1网络结构 (16) 4.2.2.2学习算法 (17) 4.2.2.3特点 (18) 4.2.3双向联想存储器（BAM） (19) 4.2.3.1 网络结构 (19) 4.2.3.2学习算法 (19) 4.2.3.4优缺点 (21) 5.人工神经网络发展趋势以及待解决的关键问题 (22) 5.1 与小波分析的结合 (22) 5.1.1小波神经网络的应用 (23) 5.1.2待解决的关键技术问题 (23) 5.2混沌神经网络 (23) 5.2.1混沌神经网络的应用 (24) 5.2.2待解决的关键技术问题 (24)
人工神经网络的发展与应用 神经网络发展 启蒙时期 启蒙时期开始于1980年美国著名心理学家W．James关于人脑结构与功能的研究，结束于1969年Minsky和Pape~发表的《感知器》(Perceptron)一书。早在1943年，心理学家McCulloch和数学家Pitts合作提出了形式神经元的数学模型(即M—P模型)，该模型把神经细胞的动作描述为：1神经元的活动表现为兴奋或抑制的二值变化；2任何兴奋性突触有输入激励后，使神经元兴奋与神经元先前的动作状态无关；3任何抑制性突触有输入激励后，使神经元抑制；4突触的值不随时间改变；5突触从感知输入到传送出一个输出脉冲的延迟时问是0．5ms。可见，M—P模型是用逻辑的数学工具研究客观世界的事件在形式神经网络中的表述。现在来看M—P 模型尽管过于简单，而且其观点也并非完全正确，但是其理论有一定的贡献。因此，M—P模型被认为开创了神经科学理论研究的新时代。1949年，心理学家D．0．Hebb 提出了神经元之间突触联系强度可变的假设，并据此提出神经元的学习规则——Hebb规则，为神经网络的学习算法奠定了基础。1957年，计算机学家FrankRosenblatt提出了一种具有三层网络特性的神经网络结构，称为“感知器”(Perceptron)，它是由阈值性神经元组成，试图模拟动物和人脑的感知学习能力，Rosenblatt认为信息被包含在相互连接或联合之中，而不是反映在拓扑结构的表示法中；另外，对于如何存储影响认知和行为的信息问题，他认为，存储的信息在神经网络系统内开始形成新的连接或传递链路后，新 的刺激将会通过这些新建立的链路自动地激活适当的响应部分，而不是要求任何识别或坚定他们的过程。1962年Widrow提出了自适应线性元件(Ada—line)，它是连续取值的线性网络，主要用于自适应信号处理和自适应控制。 低潮期 人工智能的创始人之一Minkey和pape~经过数年研究，对以感知器为代表的网络系统的功能及其局限性从数学上做了深入的研究，于1969年出版了很有影响的《Perceptron)一书，该书提出了感知器不可能实现复杂的逻辑函数，这对当时的人工神经网络研究产生了极大的负面影响，从而使神经网络研究处于低潮时期。引起低潮的更重要的原因是：20世纪7O年代以来集成电路和微电子技术的迅猛发展，使传统的冯·诺伊曼型计算机进入发展的全盛时期，因此暂时掩盖了发展新型计算机和寻求新的神经网络的必要性和迫切性。但是在此时期，波士顿大学的S．Grossberg教授和赫尔辛基大学的Koho—nen教授，仍致力于神经网络的研究，分别提出了自适应共振理论(Adaptive Resonance Theory)和自组织特征映射模型(SOM)。以上开创性的研究成果和工作虽然未能引起当时人们的普遍重视，但其科学价值却不可磨灭，它们为神经网络的进一步发展奠定了基础。 复兴时期 20世纪80年代以来，由于以逻辑推理为基础的人工智能理论和冯·诺伊曼型计算机在处理诸如视觉、听觉、联想记忆等智能信息处理问题上受到挫折，促使人们
人工神经网络及其应用 1. 人工神经网络发展前景 人工神经网络（Artificial Neural Networks，NN）是由大量的、简单的处理单元（称为神经元）广泛地互相连接而形成的复杂网络系统，它反映了人脑功能的许多基本特征，是一个高度复杂的非线性动力学系统。神经网络具有大规模并行、分布式存储和处理、自组织、自适应和自学习能力，特别适合处理需要同时考虑许多因素和条件的、不精确和模糊的信息处理问题。神经网络的发展与神经科学、数理科学、认知科学、计算机科学、人工智能、信息科学、控制论、机器人学、微电子学、心理学、微电子学、心理学、光计算、分子生物学等有关，是一门新兴的边缘交叉学科。 神经网络具有非线性自适应的信息处理能力，克服了传统人工智能方法对于直觉的缺陷，因而在神经专家系统、模式识别、智能控制、组合优化、预测等领域得到成功应用[2]。神经网络与其他传统方法相组合，将推动人工智能和信息处理技术不断发展。近年来，神经网络在模拟人类认知的道路上更加深入发展，并与模糊系统、遗传算法、进化机制等组合，形成计算智能，成为人工智能的一个重要方向。 1.1 人工神经网络的研究背景和意义 人工神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应[5]。 人工神经网络就是模拟人思维的一种方式，是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。 近年来通过对人工神经网络的研究，可以看出神经网络的研究目的和意义有以下三点：（1）通过揭示物理平面与认知平面之间的映射，了解它们相互联系和相互作用的机理，从而揭示思维的本质，探索智能的本源。（2）争取构造出尽可能与人脑具有相似功能的计算机，即神经网络计算机。（3）研究仿照脑神经系统的人工神经网络，将在模式识别、组合优化和决策判断等方面取得传统计算机所难以达到的效果。 人工神经网络特有的非线性适应性信息处理能力，克服了传统人工智能方法对于直觉，如模式、语音识别、非结构化信息处理方面的缺陷，使之在神经专家系统、模式识别、智能控制、组合优化、预测等领域得到成功应用。人工神经网络与其它传统方法相结合，将推动人工智能和信息处理技术不断发展。近年来，人工神经网络正向模拟人类认知的道路上更加深入发展，与模糊系统、遗传算法、进化机制等结合，形成计算智能，成为人工智能的一个重要方向，将在实际应用中得到发展。将信息几何应用于人工神经网络的研究，为人工神经网络的理论研究开辟了新的途径。神经计算机的研究发展很快，已有产品进入市场。光电结合的神经计算机为人工神经网络的发展提供了良好条件。 1.2 神经网络的发展与研究现状 1.2.1神经网络的发展
1 第八章人工神经网络吉林大学地面机械仿生技术教育部重点实验室 张锐
2 8.1 神经网络的基本概念及组成特性 8.1.1 生物神经元的结构与功能特性 从广义上讲，神经网络通常包括生物神经网络与人工神经网络两个方面。生物神经网络是指由动物的中枢神经系统及周围神经系统所构成的错综复杂的神经网络，它负责对动物肌体各种活动的管理，其中最重要的是脑神经系统。 人工神经网络是指模拟人脑神经系统的结构和功能，运用大量的软、硬件处理单元，经广泛并行互连，由人工方式建立起来的网络系统。 生物神经元就通常说的神经细胞，是构成生 物神经系统的最基本单元，简称神经元。 神经元主要由三个部分构成，包括细胞体、 轴突和树突，其基本结构如图所示。 1. 生物神经元的结构 生物神经元结构 吉林大学地面机械仿生技术教育部重点实验室 张锐
3 从生物控制论的观点来看，作为控制和信息处理基本单元的神经元，具有下列一些功能与特性。 2. 神经元的功能特性 （1）时空整合功能 神经元对于不同时间通过同一突触传入的信息，具有时间整合功能；对于同一时间通过不同突触传入的信息，具有空间整合功能。两种功能相互结合，使生物神经元具有时空整合的输入信息处理功能。 （2）神经元的动态极化性 尽管不同的神经元在形状及功能上都有明显的不同，但大多数神经元都是以预知的确定方向进行信息流动的。 （3）兴奋与抑制状态 神经元具有两种常规工作状态，即兴奋状态与抑制状态。 （4）结构的可塑性 突触传递信息的特性是可变的，随着神经冲动传递方式的变化，其传递作用可强可弱，所以神经元之间的连接是柔性的，这称为结构的可塑性。 吉林大学地面机械仿生技术教育部重点实验室 张锐
本文首先分析了图像识别技术以及bp神经网络算法，然后详细地阐述了人工神经网络图像识别技术。 【关键词】人工神经网络 bp神经网络图像识别识别技术 通常而言，所谓图像处理与识别，便是对实际图像进行转换与变换，进而达到识别的目的。图像往往具有相当庞大的信息量，在进行处理图像的时候要进行降维、数字化、滤波等程序，以往人们进行图像识别时采用投影法、不变矩法等方法，随着计算机技术的飞速发展，人工神经网络的图像识别技术将逐渐取代传统的图像识别方法，获得愈来愈广泛的应用。 1 人工神经网络图像识别技术概述 近年来，人工智能理论方面相关的理论越来越丰富，基于人工神经网络的图像识别技术也获得了非常广泛的应用，将图像识别技术与人工神经网络技术结合起来的优点是非常显著的，比如说： （1）由于神经网络具有自学习功能，可以使得系统能够适应识别图像信息的不确定性以及识别环境的不断变化。 （2）在一般情况下，神经网络的信息都是存储在网络的连接结构以及连接权值之上，从而使图像信息表示是统一的形式，如此便使得知识库的建立与管理变得简便起来。 （3）由于神经网络所具有的并行处理机制，在处理图像时可以达到比较快的速度，如此便可以使图像识别的实时处理要求得以满足。 （4）由于神经网络可增加图像信息处理的容错性，识别系统在图像遭到干扰的时候仍然能正常工作，输出较准确的信息。 2 图像识别技术探析 2.1 简介 广义来讲，图像技术是各种与图像有关的技术的总称。根据研究方法以及抽象程度的不同可以将图像技术分为三个层次，分为：图像处理、图像分析以及图像理解，该技术与计算机视觉、模式识别以及计算机图形学等学科互相交叉，与生物学、数学、物理学、电子学计算机科学等学科互相借鉴。此外，随着计算机技术的发展，对图像技术的进一步研究离不开神经网络、人工智能等理论。 2.2 图像处理、图像识别与图像理解的关系 图像处理包括图像压缩、图像编码以及图像分割等等，对图像进行处理的目的是判断图像里是否具有所需的信息并滤出噪声，并对这些信息进行确定。常用方法有灰度，二值化，锐化，去噪等；图像识别则是将经过处理的图像予以匹配，并且对类别名称进行确定，图像识别可以在分割的基础之上对所需提取的特征进行筛选，然后再对这些特征进行提取，最终根据测量结果进行识别；所谓图像理解，指的是在图像处理与图像识别的基础上，根据分类作结构句法分析，对图像进行描述与解释。所以，图像理解包括图像处理、图像识别和结构分析。就图像理解部分而言，输入是图像，输出是对图像的描述解释。 3 人工神经网络结构和算法 在上个世纪八十年代，mcclelland与rumelhant提出了一种人工神经网络，截止现在，bp神经网络已经发展成为应用最为广泛的神经网络之一，它是一种多层前馈神经网络，包括输入层、输出层和输入层输出层之间隐藏层，如图1所示，便是一种典型的bp神经网络结构。 bp神经网络是通过不断迭代更新权值使实际输入与输出关系达到期望，由输出向输入层反向计算误差，从而通过梯度下降方法不断修正各层权值的网络。 bp神经网络结构算法如下所述： （1）对权值矩阵，学习速率，最大学习次数，阈值等变量和参数进行初始化设置； （2）在黑色节点处对样本进行输入；
人工神经网络的发展及应用 西安邮电学院电信系樊宏西北电力设计院王勇日期：2005 1-21 1 人工神经网络的发展 1．1 人工神经网络基本理论 1．1．1 神经生物学基础生物神经系统可以简略地认为是以神经元为信号的处理单元，通过广泛的突触联系形成的信息处理集团，其物质结构基础和功能单元是脑神经细胞，即神经元(neuron) 。 (1)神经元具有信号的输人、整合、输出三种主要功能作用行为，结构如图1 所示： (2)突触是整个神经系统各单元间信号传递驿站，它构成各神经元之间广泛的联接。 (3)大脑皮质的神经元联接模式是生物体的遗传性与突触联接强度可塑性相互作用的产物，其变化是先天遗传信息确定的总框架下有限的自组织过程。 1．1．2 建模方法神经元的数量早在胎儿时期就已固定，后天的脑生长主要是指树突和轴突从神经细胞体中长出并形成突触联系，这就是一般人工神经网络建模方法的生物学依据。人脑建模一般可有两种方法：①神经生物学模型方法，即根据微观神经生物学知识的积累，把脑神经系统的结构及机理逐步解释清楚，在此基础上建立脑功能模型；②神 经计算模型方法，即首先建立粗略近似的数学模型并研究该模型的动力学特性，然后冉与真实对象作比较（仿真处理方法）。1．1．3 概
念人工神经网络用物理町实现系统采模仿人脑神经系统的结构和功能，是一门新兴的前沿交义学科，其概念以T．Kohonen．Pr 的论述 最具代表性：人工神经网络就是由简单的处理单元（通常为适应性神经元，模型见图2）组成的并行互联网络，它的组织能够模拟生物神 经系统对真实世界物体所作出的交互反应。 1．2 人工神经网络的发展 人工神经网络的研究始于40 年代初。半个世纪以来，经历了兴起、高潮与萧条、高潮及稳步发展的较为曲折的道路。1943 年，心理学家W．S．Mcculloch 和数理逻辑学家W．Pitts 提出了M—P 模型， 这是第一个用数理语言描述脑的信息处理过程的模型，虽然神经元的功能比较弱，但它为以后的研究工作提供了依据。1949 年，心理学家D. O. Hebb提出突触联系可变的假设，根据这一假设提出的学习规律为神经网络的学习算法奠定了基础。1957 年，计算机科学家Rosenblatt 提出了著名的感知机模型，它的模型包含了现代计算机的一些原理，是第一个完整的人工神经网络。1969 年，美国著名人工智能学者M．Minsky 和S．Papert 编写了影响很大的Perceptron 一书，从理论上证明单层感知机的能力有限，诸如不能解决异或问题，而且他们推测多层网络的感知能也不过如此，在这之后近10 年，神经网络研究进入了一个缓慢发展的萧条期。美国生物物理学家J．J．Hopfield 于1982年、1984 年在美国科学院院刊发表的两篇文章，有力地推动了神经网络的研究，引起了研究神经网络的
《神经网络原理》 一、填空题 1、从系统的观点讲，人工神经元网络是由大量神经元通过极其丰富和完善的连接而构成的自适应、非线性、动力学系统。 2、神经网络的基本特性有拓扑性、学习性和稳定收敛性。 3、神经网络按结构可分为前馈网络和反馈网络，按性能可分为离散型和连续型，按学习方式可分为有导师和无导师。 4、神经网络研究的发展大致经过了四个阶段。 5、网络稳定性指从t=0时刻初态开始，到t时刻后v(t+△t)=v(t)，(t>0)，称网络稳定。 6、联想的形式有两种，它们分是自联想和异联想。 7、存储容量指网络稳定点的个数，提高存储容量的途径一是改进网络的拓扑结构，二是改进学习方法。 8、非稳定吸引子有两种状态，一是有限环状态，二是混沌状态。 9、神经元分兴奋性神经元和抑制性神经元。 10、汉明距离指两个向量中对应元素不同的个数。 二、简答题 1、人工神经元网络的特点？ 答：（1）、信息分布存储和容错性。 （2）、大规模并行协同处理。 （3）、自学习、自组织和自适应。
（4）、人工神经元网络是大量的神经元的集体行为，表现为复杂的非线性动力学特性。 （5）人式神经元网络具有不适合高精度计算、学习算法和网络设计没有统一标准等局限性。 2、单个神经元的动作特征有哪些？ 答：单个神经元的动作特征有：（1）、空间相加性；（2）、时间相加性；（3）、阈值作用；（4）、不应期；（5）、可塑性；（6）疲劳。 3、怎样描述动力学系统？ 答：对于离散时间系统，用一组一阶差分方程来描述： X(t+1)=F[X(t)]； 对于连续时间系统，用一阶微分方程来描述： dU(t)/dt=F[U(t)]。 4、F(x)与x 的关系如下图，试述它们分别有几个平衡状态，是否为稳定的平衡状态？ 答：在图（1）中，有两个平衡状态a 、b ，其中，在a 点曲线斜率|F ’(X)|>1，为非稳定平稳状态；在b 点曲线斜率|F ’(X)|<1 ，为稳定平稳状态。 X X
https://www.doczj.com/doc/242282832.html,/s/blog_5bbd6ec00100b5nk.html 人工神经网络算法(2008-11-20 17:24:22) 标签：杂谈 人工神经网络算法的作用机理还是比较难理解，现在以一个例子来说明其原理。这个例子是关于人的识别技术的，在门禁系统，逃犯识别，各种验证码破译，银行预留印鉴签名比对,机器人设计等领域都有比较好的应用前景，当然也可以用来做客户数据的挖掘工作，比如建立一个能筛选满足某种要求的客户群的模型。 机器识别人和我们人类识别人的机理大体相似，看到一个人也就是识别对象以后，我们首先提取其关键的外部特征比如身高，体形，面部特征，声音等等。根据这些信息大脑迅速在内部寻找相关的记忆区间，有这个人的信息的话，这个人就是熟人，否则就是陌生人。 人工神经网络就是这种机理。假设上图中X(1)代表我们为电脑输入的人的面部特征，X(2)代表人的身高特征X(3)代表人的体形特征X(4)代表人的声音特征W(1)W(2)W(3)W(4)分别代表四种特征的链接权重，这个权重非常重要，也是人工神经网络起作用的核心变量。 现在我们随便找一个人阿猫站在电脑面前，电脑根据预设变量提取这个人的信息，阿猫面部怎么样，身高多少，体形胖瘦，声音有什么特征，链接权重初始值是随机的，假设每一个W均是0.25,这时候电脑按这个公式自动计 算,Y=X(1)*W(1)+X(2)*W(2)+X(3)*W(3)+X(4)*W(4)得出一个结果Y,这个Y要和一个门槛值（设为Q）进行比较，如果Y>Q,那么电脑就判定这个人是阿猫,否则判定不是阿猫.由于第一次计算电脑没有经验,所以结果是随机的.一般我们设定是正确的,因为我们输入的就是阿猫的身体数据啊. 现在还是阿猫站在电脑面前,不过阿猫怕被电脑认出来,所以换了一件衣服,这个行为会影响阿猫的体形,也就是X(3)变了,那么最后计算的Y值也就变了,它和Q比较的结果随即发生变化,这时候电脑的判断失误,它的结论是这个人不是阿猫.但是我们告诉它这个人就是阿猫,电脑就会追溯自己的判断过程,到底是哪一步出错了,结果发现原来阿猫体形X(3)这个 体征的变化导致了其判断失误,很显然,体形X(3)欺骗了它,这个属性在人的识别中不是那 么重要,电脑自动修改其权重W(3),第一次我对你是0.25的相信,现在我降低信任值,我0.10的相信你.修改了这个权重就意味着电脑通过学习认为体形在判断一个人是否是自己认识的人的时候并不是那么重要.这就是机器学习的一个循环.我们可以要求阿猫再穿一双高跟皮鞋改变一下身高这个属性,让电脑再一次进行学习,通过变换所有可能变换的外部特征,轮换让电脑学习记忆,它就会记住阿猫这个人比较关键的特征,也就是没有经过修改的特征.也就是电脑通过学习会总结出识别阿猫甚至任何一个人所依赖的关键特征.经过阿猫的训练电脑,电脑已经非常聪明了,这时你在让阿猫换身衣服或者换双鞋站在电脑前面,电脑都可以迅速的判断这个人就是阿猫.因为电脑已经不主要依据这些特征识别人了,通过改变衣服,身高骗不了它.当然,有时候如果电脑赖以判断的阿猫关键特征发生变化,它也会判断失误.我们就