b p神经网络及m a t l a b实现
图1. 人工神经元模型 图中x1~xn是从其他神经元传来的输入信号，wij表示表示从神经元j到神经元i的连接权值，θ表示一个阈值 ( threshold )，或称为偏置( bias )。则神经元i的输出与输入的关系表示为： 图中 yi表示神经元i的输出，函数f称为激活函数 ( Activation Function )或转移函数 ( Transfer Function ) ，net称为净激活(net activation)。若将阈值看成是神经元i的一个输入x0的权重wi0，则上面的式子可以简化为： 若用X表示输入向量，用W表示权重向量，即： X = [ x0 , x1 , x2 , ....... , xn ]
则神经元的输出可以表示为向量相乘的形式： 若神经元的净激活net为正，称该神经元处于激活状态或兴奋状态(fire)，若净激活net为负，则称神经元处于抑制状态。 图1中的这种“阈值加权和”的神经元模型称为M-P模型 ( McCulloch-Pitts Model )，也称为神经网络的一个处理单元( PE, Processing Element )。 2. 常用激活函数 激活函数的选择是构建神经网络过程中的重要环节，下面简要介绍常用的激活函数。 (1) 线性函数 ( Liner Function ) (2) 斜面函数 ( Ramp Function ) (3) 阈值函数 ( Threshold Function ) 以上3个激活函数都属于线性函数，下面介绍两个常用的非线性激活函数。 (4) S形函数 ( Sigmoid Function ) 该函数的导函数：
BP神经网络 摘要：人工神经网络是近年来的热点研究领域,是人类智能研究的重要组成部分。 BP神经网络作为目前应用较多的一种神经网络结构，具有良好的逼近性能，且 结构简单，性能优良。但仍存在收敛速度慢，易陷入局部极小值的问题，通过附 加动量项法、自适应学习率法、数据归一化法、遗传算法等，可大幅度改善其性 能，可广泛应用于多输入多输出的非线性系统。 1.绪论 1.1人工神经网络概述 人工神经网络（Artificial Neural Network），简称神经网络（NN），是由大量处理单元（神经元）组成的非线性大规模自适应系统。它具有自组织，自适应和自学习能力，以及具有非线性、非局域性，非定常性和非凸性等特点。它是在现代神经科学研究成果的基础上提出的，试图通过模拟大脑神经网络处理，记忆信息的方式设计一种新的机器使之具有人脑那样的信息处理能力。 神经网络作为计算智能与控制的重要分支，在控制领域具有如下优点： 1）能逼近任意L2范数上的非线性函数； 2）信息分布式存储与处理，鲁棒性和容错性强； 3）便于处理多输入多输出问题； 4）具有实现高速并行计算的潜力； 5）具有学习能力，对环境变化具有自适应性，对模型依赖性不强，主要用于解决非线性系统的控制问题。 同时，神经网络控制在多种控制结构中得到应用，如PID控制、模型参考自适应控制、前馈反馈控制、内模控制、逆系统控制、预测控制等。 目前神经网络的研究主要集中在三个方面：理论研究、实现技术研究、应用研究。 1.2 BP神经网络概述 BP神经网络是1986年由Rumelhart和McClelland一同提出的一种多层前馈神经网络。该网络采用BP算法——一种误差反向传播（Back Propagation）算法，其方法是依据负梯度下降方向迭代调整网络的权值和阀值以实现训练误差目标函数的最小化。 由于BP神经网络在实际应用中存在着收敛速度慢、网络结构难以确定、容易陷入局部极小值、泛化能力不强的缺陷，近年来，许多学者为满足实际应用中需要提出了许多改进方法，在网络自身性能的改善方面做了大量而有实际意义的工作，并且在BP神经网络的理论方面的研究和实际问题上应用也取得了丰硕的成果。对BP神经网络的理论研究，概括起来大致分为三个方面：改进激励函数，权值选取优化和网络拓扑结构。 1.3本文研究内容
声明：应部分读者的要求，本书第9章增加“机器人神经网络自适应控制”一节，图序、公式序顺延。 9.7 机器人神经网络自适应控制 机器人学科是一门迅速发展的综合性前沿学科，受到工业界和学术界的高度重视。机器人的核心是机器人控制系统，从控制工程的角度来看，机器人是一个非线性和不确定性系统，机器人智能控制是近年来机器人控制领域研究的前沿课题，已取得了相当丰富的成果。 机器人轨迹跟踪控制系统的主要目的是通过给定各关节的驱动力矩，使得机器人的位置、速度等状态变量跟踪给定的理想轨迹。与一般的机械系统一样，当机器人的结构及其机械参数确定后，其动态特性将由动力学方程即数学模型来描述。因此，可以采用自动控制理论所提供的设计方法，采用基于数学模型的方法设计机器人控制器。但是在实际工程中，由于机器人是一个非线性和不确定性系统，很难得到机器人精确的数学模型。 采用神经网络，可实现对机器人动力学方程中未知部分的精确逼近，从而实现无需建模的控制。本节讨论如何利用神经网络控制和李雅普诺夫（Lyapunov ）方法设计机器人轨迹跟踪控制的问题，以及如何分析控制系统的稳定性和收敛性。 9.7.1 机器人动力学模型及其结构特性 n 关节机械手动态方程可表示为： ()()()(),d ++++=M q q V q q q G q F q ττ （9.30） 其中，n R ∈q 为关节转动角度向量，()M q 为n n ?维正定惯性矩阵，(),V q q 为n n ?维向心哥氏力矩，()G q 为1?n 维惯性矩阵，()F q 为1?n 维摩擦力，d τ为未知有界的外加干扰，n R ∈τ为各个关节运动的转矩向量，即控制输入。 机器人动力学系统具有如下动力学特性： 特性1：惯量矩阵M(q)是对称正定阵且有界； 特性2：矩阵(),V q q 有界； 特性3：()()2,-M q C q q 是一个斜对称矩阵，即对任意向量ξ，有 ()()()2,0T -=ξ M q C q q ξ (9.31)
X X X X大学 研究生考查课 作业 课程名称：智能控制理论与技术 研究生姓名：学号： 作业成绩： 任课教师(签名) 交作业日时间：2010年12月22日
人工神经网络(artificial neural network，简称ANN)是在对大脑的生理研究的基础上，用模拟生物神经元的某些基本功能元件(即人工神经元)，按各种不同的联结方式组成的一个网络。模拟大脑的某些机制，实现某个方面的功能，可以用在模仿视觉、函数逼近、模式识别、分类和数据压缩等领域，是近年来人工智能计算的一个重要学科分支。 人工神经网络用相互联结的计算单元网络来描述体系。输人与输出的关系由联结权重和计算单元来反映，每个计算单元综合加权输人，通过激活函数作用产生输出，主要的激活函数是Sigmoid函数。ANN有中间单元的多层前向和反馈网络。从一系列给定数据得到模型化结果是ANN的一个重要特点，而模型化是选择网络权重实现的，因此选用合适的学习训练样本、优化网络结构、采用适当的学习训练方法就能得到包含学习训练样本范围的输人和输出的关系。如果用于学习训练的样本不能充分反映体系的特性，用ANN也不能很好描述与预测体系。显然，选用合适的学习训练样本、优化网络结构、采用适当的学习训练方法是ANN的重要研究内容之一，而寻求应用合适的激活函数也是ANN研究发展的重要内容。由于人工神经网络具有很强的非线性多变量数据的能力，已经在多组分非线性标定与预报中展现出诱人的前景。人工神经网络在工程领域中的应用前景越来越宽广。 1人工神经网络基本理论[1] 1.1神经生物学基础 可以简略地认为生物神经系统是以神经元为信号处理单元,通过广泛的突触联系形成的信息处理集团,其物质结构基础和功能单元是脑神经细胞即神经元(neu ron)。(1)神经元具有信号的输入、整合、输出三种主要功能作用行为。突触是整个神经系统各单元间信号传递驿站,它构成各神经元之间广泛的联接。(3)大脑皮质的神经元联接模式是生物体的遗传性与突触联接强度可塑性相互作用的产物,其变化是先天遗传信息确定的总框架下有限的自组织过程。 1.2建模方法 神经元的数量早在胎儿时期就已固定,后天的脑生长主要是指树突和轴突从神经细胞体中长出并形成突触联系,这就是一般人工神经网络建模方法的生物学依据。人脑建模一般可有两种方法:①神经生物学模型方法,即根据微观神经生物学知识的积累,把脑神经系统的结构及机理逐步解释清楚,在此基础上建立脑功能模型。②神经计算模型方法,即首先建立粗略近似的数学模型并研究该模型的动力学特性,然后再与真实对象作比较(仿真处理方法)。 1.3概念 人工神经网络用物理可实现系统来模仿人脑神经系统的结构和功能,是一门新兴的前沿交叉学科,其概念以T.Kohonen.Pr的论述最具代表性:人工神经网络就是由简单的处理单元(通常为适应性)组成的并行互联网络,它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。 1.4应用领域 人工神经网络在复杂类模式识别、运动控制、感知觉模拟方面有着不可替代的作用。概括地说人工神经网络主要应用于解决下述几类问题:模式信息处理和模式识别、最优化问题、信息的智能化处理、复杂控制、信号处理、数学逼近映射、感知觉模拟、概率密度函数估计、化学谱图分析、联想记忆及数据恢复等。 1.5理论局限性 (1)受限于脑科学的已有研究成果由于生理试验的困难性,目前对于人脑思维与记忆机制的认识尚很肤浅,对脑神经网的运行和神经细胞的内部处理机制还没有太多的认识。 (2)尚未建立起完整成熟的理论体系目前已提出的众多人工神经网络模型,归纳起来一般都是一个由节点及其互连构成的有向拓扑网,节点间互连强度构成的矩阵可通过某种学
基于人工神经网络的通信信号分类识别 冯 涛 (中国电子科技集团公司第54研究所,河北石家庄050081) 摘 要 通信信号的分类识别是一种典型的统计模式识别问题。系统地论述了通信信号特征选择、特征提取和分类识别的原理和方法。设计了人工神经网络分类器,包括神经网络模型的选择、分类器的输入输出表示、神经网络拓扑结构和训练算法,并提出了分层结构的神经网络分类器。 关键词 模式识别;特征提取;分类器;神经网中图分类号 TP391 文献标识码 A Classification and Identification of Communication Signal Using Artificial Neural Networks FE NG Tao (T he 54th Research Institute of CETC,Shijia zhuan g Hebei 050081,China) Abstract The classification and identificati on of communication signal is a typical statistical pattern identification.The paper discusses the theory and method of feature selection,feature extraction and classi fication &identificaiton of communication signal.A classifier based on artificial neural networks is designed,includin g the selection of neural network model,the input and output expression of the classifier,neural network topology and trainin g algorithm.Finally a hierarchical archi tecture classifier based on artificial neural networks is presented. Key words pattern recognition;features extraction;classifier;neural networks 收稿日期:2005-12-16 0 引言 在通信对抗侦察中,侦察接收设备在截获敌方通信信号后,必须经过对信号的特征提取和对信号特征的分析识别,才能变为有价值的通信对抗情报。通过对信号特征的分析识别,可以得到信号种类、通信体制、网路组成等方面的情报,从而为研究通信对抗策略、研制和发展通信对抗装备提供重要参考依据。 1 通信信号分类识别的原理 通信信号的分类识别是一种典型的模式识别应用,其作用和目的就是将某一接收到的信号正确地归入某一种类型中。一般过程如图1 所示。 图1 通信信号分类识别的一般过程 下面简单介绍这几部分的作用。 信号获取:接收来自天线的信号x (t),并对信号进行变频、放大和滤波,输出一个中频信号; A/D 变换:将中频模拟信号变换为计算机可以运算的数字信号x (n); 以上2步是信号空间x (t)到观察空间x (n )的变换映射。 特征提取:为了有效地实现分类识别,必须对原始数据进行变换,得到最能反映分类差别的特征。这些特征的选择和提取是非常重要的,因为它强烈地影响着分类器的设计和性能。理想情况下,经过特征提取得到的特征向量对不同信号类型应该有明显的差别; 分类器设计和分类决策:分类问题是根据识别对象特征的观察值将其分到某个类别中去。首先,在样本训练集基础上确定合适的规则和分类器结构,然后,学习训练得到分类器参数。最后进行分类决策,把待识别信号从特征空间映射到决策空间。 2 通信信号特征参数的选择与特征提取 2 1 通信信号特征参数的选择 选择好的特征参数可以提高低信噪比下的正确 识别率,降低分类器设计的难度,是基于统计模式识别方法最为关键的一个环节。试图根据有限的信号 信号与信息处理 24 2006Radio Engineering Vo1 36No 6
12、智能算法 12.1 人工神经网络 1、人工神经网络的原理假如我们只知道一些输入和相应的输出，但是不清楚这些输入和输出之间的具体关系是什么，我们可以把输入和输出之间的未知过程看成是一个“网络”,通过不断的网络输入和相应的输出进行“训练”（学习），网络根据输入和对应输出不断调整连接网络的权值，直到满足我们的目标要求，这样就训练好了一个神经网络，当我们给定一个输入， 网络就会计算出一个相应的输出。 2、网络结构神经网络一般有一个输入层，多个隐层，和一个输出层。隐层并非越多越好。如下图所示： 神经网络工具箱几乎 MATLAB 12.2 Matlab 神经网络工具箱 BP 网络和涵盖了所有的神经网络的基本常用模型，如感知器、nntool nftool,nctool,nprtool,nntraintool 和等。它由RBFNN 函数逼近和数据拟合、信息处理和预测、神经网组成。主要应用于
在实际应用中，针对具体的问题，首先络控制和故障诊断等领域。．需要分析利用神经网络来解决问题的性质，然后依据问题的特点，提取训练和测试数据样本，确定网络模型，最后通过对网络进行训练、仿真等检验网络的性能是否满足要求。具体过程如下： (1)确定信息表达的方式，主要包括数据样本已知；数据样本之间相互关系不明确；输入/输出模式为连续的或离散的；数据样本的预处理；将数据样本分成训练样本和测试样本。 (2)网络模型的确定。确定选择何种神经网络以及网络层数。 (3)网络参数的选择，如输入输出神经元个数的确定，隐层神经元的个数等。 (4)训练模式的确定，包括选择合理的训练算法、确定合适的训练步数、指定适当的训练目标误差等 (5)网络测试，选择合理的样本对网络进行测试。 简单来讲就是三个步骤：建立网络(newXX)—训练网络(trainXX)—仿真网络(sim) 12.3 BP 神经网络的 Matlab 相关函数 BP 算法的基本思想：学习过程由信号的正向传播与误差的反向传播两个过程组成。正向传播时，输入样本从输入层传入，经各隐层逐层处理后，传向输出层。若输出层的实际输出与期望输出（教师信号）不符，则转入误差的反向传播阶段。误差反传是将输出误差以某种形式通过隐层向输入层逐层反传，并将误差分摊给各层的所有单元，从而获得各层单元的误差信号，此误差信号作为修正各单元权
第一节、神经网络基本原理 1. 人工神经元( Artificial Neuron )模型 人工神经元是神经网络的基本元素，其原理可以用下图表示： 图1. 人工神经元模型 图中x1~xn是从其他神经元传来的输入信号，wij表示表示从神经元j 到神经元i的连接权值，θ表示一个阈值( threshold )，或称为偏置( bias )。则神经元i的输出与输入的关系表示为： 图中yi表示神经元i的输出，函数f称为激活函数( Activation Function )或转移函数( Transfer Function ) ，net称为净激活(net activation)。若将阈值看成是神经元i的一个输入x0的权重wi0，则上面的式子可以简化为：
若用X表示输入向量，用W表示权重向量，即： X = [ x0 , x1 , x2 , ....... , xn ] 则神经元的输出可以表示为向量相乘的形式： 若神经元的净激活net为正，称该神经元处于激活状态或兴奋状态(fire)，若净激活net为负，则称神经元处于抑制状态。 图1中的这种“阈值加权和”的神经元模型称为M-P模型 ( McCulloch-Pitts Model )，也称为神经网络的一个处理单元( PE, Processing Element )。 2. 常用激活函数 激活函数的选择是构建神经网络过程中的重要环节，下面简要介绍常用的激活函数。 (1) 线性函数( Liner Function ) (2) 斜面函数( Ramp Function ) (3) 阈值函数( Threshold Function )
图2 . 阈值函数图像 以上3个激活函数都是线性函数，下面介绍两个常用的非线性激活函数。 (4) S形函数( Sigmoid Function ) 该函数的导函数： (5) 双极S形函数
神经网络自适应控制 学院：电气工程与自动化学院 专业：控制科学与工程 姓名：兰利亚 学号： 1430041009 日期： 2015年6月25日
神经网络间接自适应控制 摘要：自适应模糊控制系统对参数变化和环境变化不敏感,能用于非线性和多变 量复杂对象,不仅收敛速度快,鲁棒性好,而且可以在运行中不断修正自己的控制 规则来改善控制性能,因而受到广泛重视。间接自适应控制是通过在线辨识的到 控制对象的模型。神经网络作为自适应控制器，具有逼近任意函数的能力。 关键词：神经网络间接自适应控制系统辨识 一、引言 自适应控制系统必须完成测量性能函数、辨识对象的动态模型、决定控制 器如何修改以及如何改变控制器的可调参数等功能。自适应控制有两种形式： 一种是直接自适应控制，另一种是间接自适应控制。直接自适应控制是根据实 际系统性能与理想性能之间的偏差，通过一定的方法来直接调整控制器的参 数。 二、间接自适应系统分析与建模 2.1系统的分析 系统过程动态方程：y(k+1)= -0.8y(k)/(1+y2(k))+u(k),参考系统模型 由三阶差分方程描述： ym(k+1)=0.8ym(k)+1.2ym(k-1)+0.2ym(k-2)+r(k) 式中，r(k)是一个有界的参考输入。如果输出误差ec(k)定义为 ec(k)=y(k)-ym(k),则控制的目的就是确定一个有界的控制输入u(k),当k趋于 正无穷时，ec(k)=0.那么在k阶段，u(k)可以从y(k)和它的过去值中计算得 到： u(k)=0.8y(k)/(1+y2(k))+0.8y(k)+1.2y(k-1)+0.2y(k-2)+r(k) （1） 于是所造成的误差方程为： ec(k+1)=0.8ec(k)+1.2ec(k-1)+0.2ec(k-2) （2） 因为参考模型是渐进稳定的，所以对任意的初始条件，它服从当k趋于无穷， ec(k)=0。在任何时刻k，用神经元网络N2计算过程的输入控制，即 u(k)=-N[y(k)]+0.8y(k)+1.2y(k-1)+0.2y(k-2)+r(k) （3） 由此产生非线性差分方程：y(k+1)=-0.8y(k)/(1+y2(k))+N[y(k)] +0.8y(k)+ 1.2y(k-1)+0.2y(k-2)+r(k) （4） 故设计的要点是设计一个神经网络来逼近0.8y(k)/(1+y2(k))。 2.2系统的建模设计过程 第一步，用BP神经网络逼近，神经网络的结构包含三层：输入层、隐含层 和输出层。BP网络的训练过程如下：正向传播是输入信号从输入层经隐层传向 输出层，若输出层得到了期望的输出，则学习算法结束；否则，转至反向传 播。 第二步，输入测试样本，对神经网络的逼近程度进行测试，将测试后的期
人工神经网络学习心得 时间如白马过隙，很快八周的人工神经网络学习即将结束，仿佛昨天才刚刚开始学习这门课程，在这段时间的学习中，我有起初对神经网络的不了解到现在的熟悉和掌握，这其中的变化，是我知识提高的过程。我在这个过程中有一些自己的体会和感想。 我是一名学习控制科学和工程的研究生，起初对于神经网络的认识很肤浅，由于我相应知识的欠缺，想要理解神经网络的结构会很不容易。在开始的几节课中，老师给我们讲了神经网络的发展史、结构和原理，当时感觉有压力、紧张。因为我感觉和生物的神经学差不多，一开始接触觉得它不是一门智能控制学，而是一门生物学，所以只能慢慢学习和理解，最终完成课程的学习。虽然相比于其他学过的课程，我对这门学科的了解稍微逊色点，但我还不是一个害怕困难的人，越是困难我越是会迎头前进的，不会倒下，去努力掌握这些知识。 接下来的几周，是老师的授课过程，说实话老师讲的论文我听的不太懂，讲的软件的应用也是一知半解……有种痛苦的感觉，好像什么也没学到，问了其他同学，他们也有同样的感觉，哦，原来都一样啊，没事，那就继续坚持吧…… 过了这个彷徨期，该是呐喊的时候了，该写期末作业了，开始做题的时候还挺紧张，害怕题很难做，找了很多资料，照葫芦画瓢，硬着头皮写，写完了之后有一点小小的成就感，我终于给做出来了，可当时我们还是不知道如RBF网络和BP网络怎么应用，只是有那么点熟悉，有那么点感觉。
最重要的时刻到了，在课堂中老师提的问题，我显得是那么生疏，满脸的惆怅，对问题不知所措，迷茫与疲惫缠绕着我的身心。每次上课之前我都要花上一段时间去预习课程内容，但是每次看的都是一脸迷茫，一知半解。老师所说的每一句话，我要想半天才会明白过来。这事我猜知道，基础是多么的重要，而且我知道学习知识最重要的是要学会应用和实践。不然就只能只上谈兵，但是一到应用我就不知从何下手。因此，我知道我还有很长的路要走。 其中的辛酸与乐趣大概也只有一块学习的学友们了解。在这近两个月中我们体会到了坚持的力量。遇到问题，不能退缩，只能前进。坚持就是胜利。问题只有在不断的思考和学习中才能解决。同时，也能是自己得到提高。 经过几周的的学习我对神经网络的理解能力明显有所提高。在神经网络中我们可以用跳跃性的思维去思考问题，这锻炼了我们的跨越式思维，提高了我们的能力，增强了我们的自信心，在人生道路上选择的关键时刻起了很大的作用，让我们明白了独立思考，开阔眼界，在科研方面所发挥的重要作用，使我们“学以致用，终生受益。 在此，我们要感谢授课的李晓强老师，谢谢李老师在这近两个月来对我们的关心。通过这八周的学习，锻炼了我的能力；增加了对人工神经网络知识的了解；提高了创新意识和解决问题的能力。
自动控制理的研究离不开人类社会的发展。电子计算机的迅速发展、计算和信息处理的水平提高不断地促使着自动控制理论向更复杂的方向发展。自适应控制的提出是针对系统的非线性、不确定性、复杂性。它的研究主要目标不再是被控对象而是控制系统本身。自上世纪年代初神经网络控制系统，提出了基于理论和应用方面都有了新的突破。 MATLAB简介 MATLAB是美国MathWorks公司开发的用于教育、工程与科学计算的软件产品，它向用户提供从概念设计、数据分析、算法开发、建模仿真到实时实现的理想集成环境，是国际控制界公认的标准计算软件。经过十多年的不断地完善和扩充，MATLAB已经拥有了数十个工具箱和功能模块，可以实现数值分析、优化、统计偏微分方程数值解、自动控制、信号处理、图像处理、声音处理、系统建模等诸多领域的计算和图形显示功能。 MATLAB提供了一种用于编程的高级语言——M语言。M语言是一种面向科学与工程计算的高级语言，其最大的特点是简单和直接。它允许用数学形式的语言编写程序，MATLAB的程序文件和脚本文件通常保存为后缀为“.m”的文件，可以称之为M文件。MATLAB是一种基于不限维数组数据类型的内部交互系统，它既能够进行矩阵和向量计算，也能够采用特定的方法在标量语言中编写程序。它采用一些常用的数学符号来表示问题及其解决方案，将计算、可视化和编程等功能集成于一个简单、易用的开发环境中，为用户工作平台的管理和数据的输入/输出提供了便利的方法，同时还提供了M文件的扩展和管理工具。 神经网络自适应控制 人工神经网络ANN( Ar tif icial Neur al Netw ork) 简称神经网络，是在现代神经学的基础上提出来的，是对人脑或自然神经网络基本特征的抽象和模拟。神经网络很早之前就被证明出来有逼近任意连续有界非线性函数的特殊能力。因此它有很多优点，比如强鲁棒性、容错性、强自适应能力强等。复杂的系统控制提供了一条全新的思路和选择。神经网络控制系统的结构形式有很多种，本文着重介绍神经网络自适应控制方法。一般包括补偿器和自适应处理单元。自适应控制系统的本质是一个非线性随机控制系统，很难为其找到合适的数学模型。为了充分发挥出自适应控制系统的优越性能，提高控制系统的鲁实时性、容错性、鲁棒性以及控制系统参数的自适应能力，能更有效地实现对一些非线性复杂过程系统的
《神经网络原理》 一、填空题 1、从系统的观点讲，人工神经元网络是由大量神经元通过极其丰富和完善的连接而构成的自适应、非线性、动力学系统。 2、神经网络的基本特性有拓扑性、学习性和稳定收敛性。 3、神经网络按结构可分为前馈网络和反馈网络，按性能可分为离散型和连续型，按学习方式可分为有导师和无导师。 4、神经网络研究的发展大致经过了四个阶段。 5、网络稳定性指从t=0时刻初态开始，到t时刻后v(t+△t)=v(t)，(t>0)，称网络稳定。 6、联想的形式有两种，它们分是自联想和异联想。 7、存储容量指网络稳定点的个数，提高存储容量的途径一是改进网络的拓扑结构，二是改进学习方法。 8、非稳定吸引子有两种状态，一是有限环状态，二是混沌状态。 9、神经元分兴奋性神经元和抑制性神经元。 10、汉明距离指两个向量中对应元素不同的个数。 二、简答题 1、人工神经元网络的特点？ 答：（1）、信息分布存储和容错性。 （2）、大规模并行协同处理。 （3）、自学习、自组织和自适应。 （4）、人工神经元网络是大量的神经元的集体行为，表现为复杂
的非线性动力学特性。 （5）人式神经元网络具有不适合高精度计算、学习算法和网络设计没有统一标准等局限性。 2、单个神经元的动作特征有哪些？ 答：单个神经元的动作特征有：（1）、空间相加性；（2）、时间相加性；（3）、阈值作用；（4）、不应期；（5）、可塑性；（6）疲劳。 3、怎样描述动力学系统？ 答：对于离散时间系统，用一组一阶差分方程来描述： X(t+1)=F[X(t)]； 对于连续时间系统，用一阶微分方程来描述： dU(t)/dt=F[U(t)]。 4、F(x)与x 的关系如下图，试述它们分别有几个平衡状态，是否为稳定的平衡状态？ 答：在图（1）中，有两个平衡状态a 、b ，其中，在a 点曲线斜率|F ’(X)|>1，为非稳定平稳状态；在b 点曲线斜率|F ’(X)|<1，为稳定平稳状态。 在图（2）中，有一个平稳状态a ，且在该点曲线斜率|F ’(X)|>1，为非稳定平稳状态。
神经网络实学习例子 1通过神经网络滤波和信号处理，传统的sigmoid函数具有全局逼近能力，而径向基rbf函数则具有更好的局部逼近能力，采用完全正交的rbf径向基函 数作为激励函数，具有更大的优越性，这就是小波神经网络，对细节逼近能力 更强。 BP网络的特点①网络实质上实现了一个从输入到输出的映射功能，而数学 理论已证明它具有实现任何复杂非线性映射的功能。这使得它特别适合于求解 内部机制复杂的问题。我们无需建立模型，或了解其内部过程，只需输入，获 得输出。只要BPNN结构优秀，一般20个输入函数以下的问题都能在50000次 的学习以内收敛到最低误差附近。而且理论上，一个三层的神经网络，能够以 任意精度逼近给定的函数，这是非常诱人的期望；②网络能通过学习带正确答 案的实例集自动提取"合理的"求解规则，即具有自学习能力；③网络具有一定 的推广、概括能力。bp主要应用回归预测(可以进行拟合，数据处理分析，事 物预测，控制等)、分类识别(进行类型划分，模式识别等)，在后面的学习中，都将给出实例程序。但无论那种网络，什么方法，解决问题的精确度都无法打 到100%的，但并不影响其使用，因为现实中很多复杂的问题，精确的解释是毫 无意义的，有意义的解析必定会损失精度。BP注意问题1、BP算法的学习速度 很慢，其原因主要有：a由于BP算法本质上为梯度下降法，而它所要优化的目 标函数又非常复杂，因此，必然会出现"锯齿形现象"，这使得BP算法低效； 结论4：由上表可以看出，后者的初始权值比较合适些，因此训练的时间 变短， 误差收敛速度明显快些。因此初始权值的选取对于一个网络的训练是很重 要的。 1.4，用最基本的BP算法来训练BP神经网络时，学习率、均方 误差、权值、阈值的设置都对网络的训练均有影响。综合选取合理的值， 将有
人工神经网络评价法 第一节思想和原理 在当今社会，面临许许多多的选择或决策问题。人们通过分析各种影响因素，建立相应的数学模型，通过求解最优解来得到最佳方案。由于数学模型有较强的条件限制，导致得出的最佳方案与现实有较大误差。只有重新对各种因素进行分析，重新建立模型，这样存在许多重复的工作，而且以前的一些经验性的知识不能得到充分利用。为了解决这些问题，人们提出模拟人脑的神经网络工作原理，建立能够“学习”的模型，并能将经验性知识积累和充分利用，从而使求出的最佳解与实际值之间的误差最小化。通常把这种解决问题的方法称之为人工神经网络（Artificial Neural Network）。 人工神经网络主要是由大量与自然神经细胞类似的人工神经元互联而成的网络。各种实验与研究表明：人类的大脑中存在着由巨量神经元细胞结合而成的神经网络，而且神经元之间以某种形式相互联系。人工神经网络的工作原理大致模拟人脑的工作原理，它主要根据所提供的数据，通过学习和训练，找出输入与输出之间的内在联系，从而求取问题的解。人工神经网络反映了人脑功能的基本特性，但并不是生物神经系统的逼真描述，只是一定层次和程度上的模仿和简化。强调大量神经元之间的协同作用和通过学习的方法解决问题是人工神经网络的重要特征。 人工神经网络是模仿生物神经网络功能的一种经验模型，首先根据输入的信息建立神经元，通过学习规则或自组织等过程建立相应的非线性数学模型，并不断进行修正，使输出结果与实际值之间差距不断缩小。人工神经网络通过样本的“学习和培训”，可记忆客观事物在空间、时间方面比较复杂的关系，它能够把问题的特征反映在神经元之间相互联系的权值中，所以，把实际问题特征参数输入后，神经网络输出端就能给出解决问题的结果。 神经网络的特点是，神经网络将信息或知识分布储存在大量的神经元或整个系统中。它具有全息联想的特征，具有高速运算的能力，具有很强的适应能力，具有
本文首先分析了图像识别技术以及bp神经网络算法，然后详细地阐述了人工神经网络图像识别技术。 【关键词】人工神经网络 bp神经网络图像识别识别技术 通常而言，所谓图像处理与识别，便是对实际图像进行转换与变换，进而达到识别的目的。图像往往具有相当庞大的信息量，在进行处理图像的时候要进行降维、数字化、滤波等程序，以往人们进行图像识别时采用投影法、不变矩法等方法，随着计算机技术的飞速发展，人工神经网络的图像识别技术将逐渐取代传统的图像识别方法，获得愈来愈广泛的应用。 1 人工神经网络图像识别技术概述 近年来，人工智能理论方面相关的理论越来越丰富，基于人工神经网络的图像识别技术也获得了非常广泛的应用，将图像识别技术与人工神经网络技术结合起来的优点是非常显著的，比如说： （1）由于神经网络具有自学习功能，可以使得系统能够适应识别图像信息的不确定性以及识别环境的不断变化。 （2）在一般情况下，神经网络的信息都是存储在网络的连接结构以及连接权值之上，从而使图像信息表示是统一的形式，如此便使得知识库的建立与管理变得简便起来。 （3）由于神经网络所具有的并行处理机制，在处理图像时可以达到比较快的速度，如此便可以使图像识别的实时处理要求得以满足。 （4）由于神经网络可增加图像信息处理的容错性，识别系统在图像遭到干扰的时候仍然能正常工作，输出较准确的信息。 2 图像识别技术探析 2.1 简介 广义来讲，图像技术是各种与图像有关的技术的总称。根据研究方法以及抽象程度的不同可以将图像技术分为三个层次，分为：图像处理、图像分析以及图像理解，该技术与计算机视觉、模式识别以及计算机图形学等学科互相交叉，与生物学、数学、物理学、电子学计算机科学等学科互相借鉴。此外，随着计算机技术的发展，对图像技术的进一步研究离不开神经网络、人工智能等理论。 2.2 图像处理、图像识别与图像理解的关系 图像处理包括图像压缩、图像编码以及图像分割等等，对图像进行处理的目的是判断图像里是否具有所需的信息并滤出噪声，并对这些信息进行确定。常用方法有灰度，二值化，锐化，去噪等；图像识别则是将经过处理的图像予以匹配，并且对类别名称进行确定，图像识别可以在分割的基础之上对所需提取的特征进行筛选，然后再对这些特征进行提取，最终根据测量结果进行识别；所谓图像理解，指的是在图像处理与图像识别的基础上，根据分类作结构句法分析，对图像进行描述与解释。所以，图像理解包括图像处理、图像识别和结构分析。就图像理解部分而言，输入是图像，输出是对图像的描述解释。 3 人工神经网络结构和算法 在上个世纪八十年代，mcclelland与rumelhant提出了一种人工神经网络，截止现在，bp神经网络已经发展成为应用最为广泛的神经网络之一，它是一种多层前馈神经网络，包括输入层、输出层和输入层输出层之间隐藏层，如图1所示，便是一种典型的bp神经网络结构。 bp神经网络是通过不断迭代更新权值使实际输入与输出关系达到期望，由输出向输入层反向计算误差，从而通过梯度下降方法不断修正各层权值的网络。 bp神经网络结构算法如下所述： （1）对权值矩阵，学习速率，最大学习次数，阈值等变量和参数进行初始化设置； （2）在黑色节点处对样本进行输入；
阶段学习报告 摘要：现阶段已学习过神经网络中的Hebb学习，感知器，自适应线性神经元和多层前向网络，本文对上述规则进行总结，分析各种规则之间的关系及它们之间的异同，并介绍它们各自的典型应用。 关键字：Hebb学习感知器自适应线性神经元多层前向网络 引言 神经网络技术[1]中，对神经网络的优化一直是人们研究的热点问题。1943年心理学家Warren McCulloch和数理逻辑学家Walter Pitts首先提出人工神经元模型；1949年心理学家Donald O.Hebb提出了神经网络联想式学习规则，给出了神经网络的学习方法；1957年美国学者Frank Rosenblatt和其它研究人员提出了一种简单的且具有学习能力的神经网络——感知器（Perceptron），并给出了感知器学习规则；1960年Bernard Widrow和他的研究生Marcian Hoff提出了自适应线性神经元，并给出了Widrow-Hoff学习算法；之后神经网络研究陷入低潮，直至80年代，改进的（多层）感知器网络和相应学习规则的提出才为克服这些局限性开辟了新的途径。 本文结构如下：首先介绍感知器模型，Hebb学习，自适应线性神经元和多层前向网络；其次分析上述规则之间的关系和异同；最后给出它们的典型应用。
第一章 典型的神经网络学习方法 1.1 Hebb 学习规则[2] Hebb 规则是最早的神经网络学习规则之一，是一种联想式学习方法，由Donald Hebb 在1949年作为大脑的一种神经元突触调整的可能机制而提出，从那以后Hebb 规则就一直用于人工神经网络的训练。这一学习规则可归纳为“当某一突触连接两端的神经元同时处于激活状态(或同为抑制)时，该连接的强度应增加，反之应减弱”。 学习信号简单的等于神经元的输出： ()T j r f W X = (1-1) 权向量的调整公式为 ()T j j W f W X X η= (1-2) 权值的调整量与输入输出的乘积成正比。经常出现的模式对权向量有最大的影响。为此，Hebb 学习规则需先设定权饱和值，以防止输入和输出正负始终一致时出现权值无限制增长。 Hebb 学习规则是一种无教师的学习方法，它只根据神经元连接间的激活水平改变权值，因此这种方法又称为相关学习或并联学习。 1.2 感知器学习规则[3] 感知器是第一个完整的人工神经网络，它具有联想记忆的功能。 θ∑)(x f 1u 1w x y 2 u i u n u 2w i w n w 图1 单层感知器神经元模型 对于图1给出的感知器神经元，其净输入x 及输出y 为： ) (2211x f y u w u w u w u w x n n i i =++++++=θ (1-3) 若令[]n i w w w w 21=w ，则： )(θ+=u w f y (1-4)
SOM神经网络
第4章 SOM自组织特征映射神经网络 生物学研究表明，在人脑的感觉通道上，神经元的组织原理是有序排列的。当外界的特定时空信息输入时，大脑皮层的特定区域兴奋，而且类似的外界信息在对应的区域是连续映像的。生物视网膜中有许多特定的细胞对特定的图形比较敏感，当视网膜中有若干个接收单元同时受特定模式刺激时，就使大脑皮层中的特定神经元开始兴奋，输入模式接近，与之对应的兴奋神经元也接近；在听觉通道上，神经元在结构排列上与频率的关系十分密切，对于某个频率，特定的神经元具有最大的响应，位置相邻的神经元具有相近的频率特征，而远离的神经元具有的频率特征差别也较大。大脑皮层中神经元的这种响应特点不是先天安排好的，而是通过后天的学习自组织形成的。 据此芬兰Helsinki大学的Kohonen T.教授提出了一种自组织特征映射网络（Self-organizing feature Map，SOM），又称Kohonen网络[1-5]。Kohonen认为，一个神经网络接受外界输入模式时，将会分为不同的对应区
域，各区域对输入模式有不同的响应特征，而这个过程是自动完成的。SOM网络正是根据这一看法提出的，其特点与人脑的自组织特性相类似。 4.1 竞争学习算法基础[6] 4.1.1 自组织神经网络结构 1．定义 自组织神经网络是无导师学习网络。它通过自动寻找样本中的内在规律和本质属性，自组织、自适应地改变网络参数与结构。 2．结构 层次型结构，具有竞争层。典型结构：输入层＋竞争层。如图4-1所示。 … 竞争层 … 图4-1 自组织神经网络结构 ·输入层：接受外界信息，将输入模式向竞争 层传递，起“观察”作用。
9.3 Neural Networks Neural networks are an interesting topic for artificial intelligence researchers. Since they are related to man’s nervous system construction, the results of their investigations form a foundation on which hypotheses describing the working of a brain can be built [1]. Neural Network Objectives Although various neural network models to a greater or a lesser extent remind one of the actual neural network, nevertheless they do differ from it (apart from cases where such models are constructed with the intention of an exact simulation). The purpose of the limits imposed is to simplify the reasoning, and to enable the executability of algorithms devised [2]. Artificial neural networks enable the execution of certain intelligent operations, e.g. associations. The analysis of these networks also provides interesting conclusions on parallel processing. Neural cells are characterized by a very long response (reaction) time (i.e. they work slowly), but because of [3] the massively parallel processing man is capable of instant execution of tasks for which conventional sequential machines require significantly more time; for instance, image recognition. Investigations of such processes will eventually lead to the design of fast algorithms that use the parallelism of artificial neurons. Parallel processing is especially important in building search algorithms employing neural networks. In the last couple of years electronic cubes containing more and more densely packed neural networks have appeared. Neural Network Structure A neural network is a set of processing units (nodes) joined by links through which they communicate. Each unit is characterized by its activation state which changes in time. From the current unit's activation state a signal it sends into the network is calculated [4]. This signal is carried over the links to other nodes. During the transmission it may be weakened or strengthened, depending upon the link's characteristics. Signals reaching a unit from its neighbors are combined into an input signal, from which the next activation state of that unit is computed [5]. Network definition comprises descriptions of the following elements: ?set of nodes ?links ?rules for calculating the input signal ?activation function ?output signal function We should start the characterization of processing units (neurons) by first indicating the significance of each unit. In some of the systems, single nodes clearly represent defined objects, features or concepts. This representation method is called local. Its opposite is a distributed representation, where single units denote not whole concepts but rather their abstract parts which do not have a representation in the language in which the working of a network is interpreted [6]. Only subsets of the whole network form full concept descriptions. A processing unit executes a simple sequence of operations: receives signals from neighbors, computes its activation state, and sends that state into the network. Not all units have to have the same characteristics (activation function, input signal), although networks