神经网络模式识别Matlab程序识别加入20%噪声的A-Z26个字母。（20%噪声情况下，完全能够识别）clear;close all; clc; [alphabet,targets]=prprob; [R,Q]=size(alphabet); [S2,Q]=size(targets); S1=10; P=alphabet; net=newff(minmax(P),[S1,S2],{'logsig''logsig'},'traingdx'); net.LW{2,1}=net.LW{2,1}*0.01; net.b{2}=net.b{2}*0.01; T=targets; net.performFcn='sse'; net.trainParam.goal=0.1; net.trainParam.show=20; net.trainParam.epochs=5000; net.trainParam.mc=0.95; [net,tr]=train(net,P,T); netn=net; netn.trainParam.goal=0.6; netn.trainParam.epochs=300; T=[targets targets targets targets]; for pass=1:10; P=[alphabet,alphabet,... (alphabet+randn(R,Q)*0.1),... (alphabet+randn(R,Q)*0.2)]; [netn,tr]=train(netn,P,T); end netn.trainParam.goal=0.1; netn.trainParam.epochs=500; netn.trainParam.show=5; P=alphabet; T=targets; [netn,tr]=train(netn,P,T); noise_percent=0.2; for k=1:26 noisyChar=alphabet(:,k)+randn(35,1)*noise_percent; subplot(6,9,k+floor(k/9.5)*9); plotchar(noisyChar); de_noisyChar=sim(net,noisyChar); de_noisyChar=compet(de_noisyChar);
神经网络动态系统的辨识与控制 摘要： 本论文表明神经网络对非线性动态系统进行有效的辨识与控制。本论文的侧重点是辨识与控制模型，并论述了动态反向传播以及静态反向传播方法在参数调节中的作用。在所介绍的模型中，加法器与重复网络结构的内部相连很独特，所以很有必要将他们统一起来进行研究。由仿真结果可知辨识与自适应控制方案的提出是可行的。整篇论文中都介绍到基本的概念和定义，也涉及了必须提出的学术性问题， 简介 用数学系统理论处理动态系统的分析与合成在过去的五十年里已经被列为应用广泛的权威科学原理了。权威系统理论最先进的地方定义于基于线性代数以及复合变量理论的先进技术线性操作器以及线性常微分方程。由于动态系统的设计技术与它们的稳定特性密切相关，线性时间不变系统的充分必要条件在上世纪已经产生了，所以已经建立了动态系统的著名设计方法。相反，只要在系统对系统基础上就可以基本上建立非线性系统的稳定性，因此对于大部分系统没有同时满足稳定性、鲁棒性以及良好动态响应的设计程序并不希奇。 过去三十年来，对线性、非时变和具有不确定参数的对象进行辨识与自适应控制的研究已取得了很大的进展。但是在这些研究中辨识器和控制器的结构选取和保证整个系统全局稳定性的自适应调参规律的构成等，都是建立在线性系统理论基础上的[1]。在本论文中，我们感兴趣的是神经网络非线性动态系统的控制与辨识。由于很少有可以直接应用的非线性系统理论结果存在，所以必须密切关注这个问题以及辨识器和控制器结构的选择和调整参数适应性规则的通用性问题。 在人工神经网络领域里，有两类网络今年来最引人注目：它们是（1）多层神经网络（2）回归神经网络。多层神经网络被证实在解决模式辨识问题[2]-[5]上非常成功。而回归神经网络则经常用于联想记忆以及制约优化问题的解决[[6]-[9]。从系统理论的观点来看，多层网络呈现静态非线性映射，而回归网络则通过非线性动态反馈系统显现。尽管两种网络存在外观上的不同外，但是很有必要将他们用统一成更一般化的网络。事实上，笔者确信将来会越来越多的用到动态因素以及反馈，这导致包括两种网络的复杂系统的产生。这样，将两个网络统一起来就成为必要。在本文的第三章，这个观点会得到进一步的阐述。 本文用了三个主要目标。第一个也是最重要的一个目标是在未知非线性动态系统中为自适应控制利用神经网络提出辨识以及控制器结构。当未知参数线性系
人工神经网络模式识别 一、人工神经网络模式识别 1、人工神经网络的概述 人工神经网络从人脑的生理学和心理学角度出发，通过模拟人脑的工作机理，实现机器的部分智能行为，是从微观结构和功能上对人脑进行抽象和简化，是模拟人类智能的一条重要途径。具体的模式识别是多种多样的，如果从识别的基本方法上划分，传统的模式识别大体分为统计模式识别和句法模式识别，在识别系统中引入神经网络是一种近年来发展起来的新的模式识别方法。尽管引入神经网络的方法和引入网络的结构可以各不相同，但都可称为神经网络模式识别。而且这些识别方法在解决传统方法较难处理的某些问题上带来了新的进展和突破，因而得到了人们越来越多的重视和研究。 人工神经元网络(Artificial Neural Network)简称神经网络，是基于日前人们对自然神经系统的认识而提出的一些神经系统的模型，一般是由一系列被称为神经元的具有某种简单计算功能的节点经过广泛连接构成的一定网络结构，而其网络连接的权值根据某种学习规则在外界输入的作用下不断调节，最后使网络具有某种期望的输出特性。神经网络的这种可以根据输入样本学习的功能使得它非常适合于用来解决模式识别问题，这也是神经网络目前最成功的应用领域之一。 2、神经网络进行模式识别的方法和步骤 神经网络模式识别的基本方法是，首先用己知样本训练神经网络，使之对不同类别的己知样本给出所希望的不同输出，然后用该网络识别未知的样本，根据各样本所对应的网络输出情况来划分未知样本的类别。神经网络进行模式识别的一般步骤如图2-1所示，分为如下几个部分： 预处理 样本获取常规处理特征变换神经网络识别 图 2-1 神经网络模式识别基本构成 1、样本获取 这一步骤主要是为了得到一定数量的用于训练和识别的样本。
人工神经网络控制 摘要: 神经网络控制，即基于神经网络控制或简称神经控制，是指在控制系统中采用神经网络这一工具对难以精确描述的复杂的非线性对象进行建模，或充当控制器，或优化计算，或进行推理，或故障诊断等，亦即同时兼有上述某些功能的适应组合，将这样的系统统称为神经网络的控制系统。本文从人工神经网络，以及控制理论如何与神经网络相结合，详细的论述了神经网络控制的应用以及发展。 关键词: 神经网络控制；控制系统；人工神经网络 人工神经网络的发展过程 神经网络控制是20世纪80年代末期发展起来的自动控制领域的前沿学科之一。它是智能控制的一个新的分支，为解决复杂的非线性、不确定、不确知系统的控制问题开辟了新途径。是（人工）神经网络理论与控制理论相结合的产物，是发展中的学科。它汇集了包括数学、生物学、神经生理学、脑科学、遗传学、人工智能、计算机科学、自动控制等学科的理论、技术、方法及研究成果。 在控制领域，将具有学习能力的控制系统称为学习控制系统，属于智能控制系统。神经控制是有学习能力的，属于学习控制，是智能控制的一个分支。神经控制发展至今，虽仅有十余年的历史，已有了多种控制结构。如神经预测控制、神经逆系统控制等。 生物神经元模型 神经元是大脑处理信息的基本单元，人脑大约含1012个神经元，分成约1000种类型，每个神经元大约与102~104个其他神经元相连接，形成极为错综复杂而又灵活多变的神经网络。每个神经元虽然都十分简单，但是如此大量的神经元之间、如此复杂的连接却可以演化出丰富多彩的行为方式，同时，如此大量的神经元与外部感受器之间的多种多样的连接方式也蕴含了变化莫测的反应方式。 图1 生物神经元传递信息的过程为多输入、单输出，神经元各组成部分的功能来看，信息的处理与传递主要发生在突触附近，当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度，即超过其阈值电位后，突触前膜将向突触间隙释放神经传递的化学物质，突触有两
摘要：基于视觉理论的神经网络模式识别理论的研究一直是非常活跃的学科，被认为是神经网络应用最成功的一个方面，它的发展与神经网络理论可以说是同步的。几乎所有现有的神经网络物理模型都在模式识别领域得到了成功的应用，神经网络理论取得进步会给模式识别理论的发展带来鼓舞；相反，模式识别理论的进步又会大大推动神经网络理论的长足发展。它们的关系是相互渗透的。 关键词：神经网络；模式识别 Abstract: The research of pattern recognition theories according to the neural network mode of sense of vision theories has been very active in academics, neural network has been thought one of the most successful applications , its development can been seen as the same step with the neural network theories.Almost all existing physics model of the neural network all identified realm to get success in the mode of application, neural network theories' progress will give the development of the pattern recognition theories much encourage;Contrary, the pattern recognition theories of progress again consumedly push neural network theories of substantial development.Their relations permeate mutually. Key word: neural network; pattern recognition
实验七基于神经网络的模式识别实验 一、实验目的 理解BP神经网络和离散Hopfield神经网络的结构和原理，掌握反向传播学习算法对神经元的训练过程，了解反向传播公式。通过构建BP网络和离散Hopfield 网络模式识别实例，熟悉前馈网络和反馈网络的原理及结构。 二、实验原理 BP学习算法是通过反向学习过程使误差最小，其算法过程从输出节点开始，反向地向第一隐含层(即最接近输入层的隐含层)传播由总误差引起的权值修正。BP网络不仅含有输入节点和输出节点，而且含有一层或多层隐(层)节点。输入信号先向前传递到隐节点，经过作用后，再把隐节点的输出信息传递到输出节点，最后给出输出结果。 离散Hopfield神经网络的联想记忆过程分为学习和联想两个阶段。在给定样本的条件下，按照Hebb学习规则调整连接权值，使得存储的样本成为网络的稳定状态，这就是学习阶段。联想是指在连接权值不变的情况下，输入部分不全或者受了干扰的信息，最终网络输出某个稳定状态。 三、实验条件 Matlab 7.X 的神经网络工具箱：在Matlab 7.X 的命令窗口输入nntool，然后在键盘上输入Enter键，即可打开神经网络工具箱。 四、实验内容 1.针对教材P243例8.1，设计一个BP网络结构模型（63-6-9），并以教材图8.5 为训练样本数据，图8.6为测试数据。 （1）运行train_data.m和test_data.m文件，然后从Matlab工作空间导入（Import）训练样本数据（inputdata10，outputdata10）和测试数据（testinputdata，testoutputdata），其次新建一个神经网络（New Network），选择参数如下表1，给出BP神经网络结构图。
实验七：基于神经网络的模式识别实验 一、实验目的 理解BP神经网络和离散Hopfield神经网络的结构和原理，掌握反向传播学习算法对神经元的训练过程，了解反向传播公式。通过构建BP网络和离散Hopfield网络模式识别实例，熟悉前馈网络和反馈网络的原理及结构。 综合掌握模式识别的原理，了解识别过程的程序设计方法。 二、实验内容 熟悉模式识别的理论方法，用选择一种合适的识别方法，对图像中的字符（英文字母）进行识别，能够区分出不同的形态的26个字母。 在Matlab中，采用BP神经网络，对读取的数据进行训练，进而识别。 1. 程序设计 (1)程序各流程图 实验中主程序流程图如图4-1所示：
图4-1主程序流程图 其中图像预处理的流程如图4-2 所示： 图4-2图像预处理的流程神经网络训练的具体流程如图4-3所示：
图4-3 神经网络训练流程 (2)程序清单 %形成用户界面 clear all; %添加图形窗口 H=figure('Color',[0.85 0.85 0.85],... 'position',[400 300 500 400],... 'Name','基于BP神经网络的英文字母识别',... 'NumberTitle','off',... 'MenuBar','none'); %画坐标轴对象，显示原始图像 h0=axes('position',[0.1 0.6 0.3 0.3]); %添加图像打开按钮 h1=uicontrol(H,'Style','push',... 'Position',[40 100 80 60],... 'String','选择图片',... 'FontSize',10,... 'Call','op'); %画坐标轴对象，显示经过预处理之后的图像 h2=axes('position',[0.5 0.6 0.3 0.3]); %添加预处理按钮
基于神经网络模型的最新系统辨识算法 摘要：神经网络具有大规模并行分布式结构、自主学习以及泛化能力，因此可以利用神经网络来解决许多传统方法无法解决的问题。神经网络应用在非线性系统的辨识中有良好的结果。本文在阅读大量参考文献的基础上，对最新的基于神经网络的系统辨识算法进行总结。 关键字：神经网络；系统辨识；辨识算法 The latest algorithm about identification system based on neural network model Abstract: Neural network has large parallel distributed structure, learning by itself and has generalization ability. So neural network is used to solve many questions which traditional method cannot. Neural network is well applied to nonlinear system which has got good achievements in identification system. Based on most of documents, the paper summaries the latest algorithm about identification system based on neural network model. Keywords:Neural network, identification system, identification algorithm 0 前言 在国内，系统辨识也取得了许多成绩，尽管成果丰硕，但传统辨识法仍存在不少局限：传统辨识法较适用于输入端中扰动水平比较低的控制系统，对于具有外界干扰的控制系统，就会出现计算量大、鲁棒性不够好的问题；最小二乘法及其相关改进算法一般利用梯度算法进行信息搜索，容易陷入局部极小值。鉴于此，神经网络控制在系统辨识中得到了新的应用。本文在阅读大量文献后，针对国内基于神经网络的结合其他算法的最新辨识算法进行综述分析。 1 神经网络的应用优势 神经网络的吸引力在于：能够充分逼近任意复杂的非线性关系，能够学习适应不确定性系统的动态特性；所有定量或定性的信息都分布储存于网络内的各个神经元，所以有很强的鲁棒性和容错性；采用并行分
四、神经网络系统辨识分析（25分） 用BP 神经网络进行系统在线逼近的原理框图如图3所示 ) (k y n (k u (k y 图3 图4 假设某控制对象的模型为2 3 )1(1) 1()()(-+-+ =k y k y k u k y ，采样时间取t=1ms ，输入信号 t)sin(650.)u(π=k 。采用的BP 神经网络结构如图4所示，权值ij w 和2j w 的初值取 [-1，+1] 之间的随机值，权值采用δ学习算法，学习速率η取0.50，动量因子α取0.05。试分析神经网络在线逼近的运行过程，并作Matlab 仿真。 题目四、需要阐述清楚BP 网络逼近控制对象的工作原理和学习过程 BP 算法的基本思想是：对于一个输入样本,经过权值、阈值和激励函数运算后，得到一个输出y n (k)，然后让它与期望的样本y(k)进行比较，若有偏差，则从输出开始反向传播该偏差，进行权值、阈值调整，使网络输出逐渐与希望输出一致。 BP 算法由四个过程组成：输入模式由输入层经过中间层向输出层的“模式顺传播”过程，网络的希望输出与网络的实际输出之间的误差信号由输出层经过中间层向输入层逐层修正连接权的“误差逆传播”过程，由“模式顺传播”与“误差逆传播”的反复交替进行的网络“记忆训练”过程，网络趋向于收敛即网络的全局误差趋向极小值的 “学习收敛”过程。 BP 网络（Back Propagation ），该网络是一种单向传播的多层前向网络。误差 反向传播的BP 算法简称BP 算法，其基本思想是梯度下降法。它采用梯度搜索技术，以期使网络的实际输出值与期望输出值的误差均方值为最小。 BP 网络特点: （1）是一种多层网络，包括输入层、隐含层和输出层； （2）层与层之间采用全互连方式，同一层神经元之间不连接； （3）权值通过δ学习算法进行调节；
神经网络的应用及其发展
神经网络的应用及其发展 来源：辽宁工程技术大学作者： 苗爱冬 [摘要] 该文介绍了神经网络的发展、优点及其应用和发展动向，着重论述了神经网络目前的几个研究热点，即神经网络与遗传算法、灰色系统、专家系统、模糊控制、小波分析的结合。 [关键词]遗传算法灰色系统专家系统模糊控制小波分析 一、前言 神经网络最早的研究20世纪40年代心理学家Mcculloch和数学家Pitts 合作提出的，他们提出的MP模型拉开了神经网络研究的序幕。神经网络的发展大致经过三个阶段：1947~1969年为初期，在这期间科学家们提出了许多神经元模型和学习规则，如MP模型、HEBB学习规则和感知器等；1970~1986年为过渡期，这个期间神经网络研究经过了一个低潮，继续发展。在此期间，科学家们做了大量的工作，如Hopfield教授对网络引入能量函数的概念，给出了网络的稳定性判据，提出了用于联想记忆和优化计算的途径。1984年，Hiton教授提出Boltzman机模型。1986年Kumelhart等人提出误差反向传播神经网络，简称BP网络。目前，BP网络已成为广泛使用的网络；1987年至今为发展期，在此期间，神经网络受到国际重视，各个国家都展开研究，形成神经网络发展的另一个高潮。神经网络具有以下优点： (1) 具有很强的鲁棒性和容错性，因为信息是分布贮于网络内的神经元中。 (2) 并行处理方法，使得计算快速。 (3) 自学习、自组织、自适应性，使得网络可以处理不确定或不知道的系统。 (4) 可以充分逼近任意复杂的非线性关系。 (5) 具有很强的信息综合能力，能同时处理定量和定性的信息，能很好地协调多种输入信息关系，适用于多信息融合和多媒体技术。 二、神经网络应用现状 神经网络以其独特的结构和处理信息的方法，在许多实际应用领域中取得了显著的成效，主要应用如下： (1) 图像处理。对图像进行边缘监测、图像分割、图像压缩和图像恢复。 (2) 信号处理。能分别对通讯、语音、心电和脑电信号进行处理分类；可用于海底声纳信号的检测与分类，在反潜、扫雷等方面得到应用。 (3) 模式识别。已成功应用于手写字符、汽车牌照、指纹和声音识别，还可用于目标的自动识别和定位、机器人传感器的图像识别以及地震信号的鉴别
系统辨识课程综述 作者姓名：王瑶 专业名称：控制工程 班级：研硕15-8班
系统辨识课程综述 摘要 系统辨识是研究建立系统数学模型的理论与方法。虽然数学建模有很长的研究历史，但是形成系统辨识学科的历史才几十年在这短斩的几十年里，系统辨识得到了充足的发展，一些新的辨识方法相继问世，其理论与应用成果覆盖了自然科学和社会科学的各个领域。而人工神经网络的系统辨识方法的应用也越来越多，遍及各个领域。本文简单介绍了系统辨识的基本原理，系统辨识的一些经典方法以及现代的系统辨识方法，其中着重介绍了基于神经网络的系统辨识方法：首先对神经网络系统便是方法与经典辨识法进行对比，显示出其优越性，然后再通过对改进后的算法具体加以说明，最后展望了神经网络系统辨识法的发展方向。 关键字：系统辨识；神经网络；辨识方法 0引言 辨识、状态估计和控制理论是现代控制理论三个相互渗透的领域。辨识和状态估计离不开控制理论的支持，控制理论的应用又几乎不能没有辨识和状态估计技术。随着控制过程复杂性的提高，控制理论的应用日益广泛，但其实际应用不能脱离被控对象的数学模型。然而在大多数情况下，被控对象的数学模型是不知道的，或者在正常运行期间模型的参数可能发生变化，因此利用控制理论去解决实际问题时，首先需要建立被控对象的数学模型。所以说系统辨识是自动化控制的一门基础学科。 图1.1系统辨识、控制理论与状态估计三者之间的关系 随着社会的进步 ,越来越多的实际系统变成了具有不确定性的复杂系统 ,经典的系统辨识方法在这些系统中应用 ,体现出以下的不足 : (1) 在某些动态系统中 ,系统的输入常常无法保证 ,但是最小二乘法的系统辨
模糊神经网络模式识别 function retstr = FnnTrain(dt,ld,tt,sp) retstr=-1; %%%% 输入参数赋值开始%%%%%%%%%%%%%%%%%%%%%%% % 方便调试程序用，程序调试时去掉这部分的注释 % dt=4; %学习阈值 % ld=0.05; %学习进度 % tt=10; %训练次数 % sp='data\sample.txt'; %一个点的监测数据 %%%% 输入参数赋值结束%%%%%%%%%%%%%%%%%%%%%%%% global recordDimention; global sampleNumber; global weightNumber; global distanceThread; global WW; global learningDegree; global epochsNumber; distanceThread=dt; learningDegree=ld; traintimes=tt; A=load(sp); [Arow Acol]=size(A); %样本个数 sampleNumber=Arow; recordDimention=Acol; disp(sampleNumber); WW=A(1,:); WW=[WW [1]]; weightNumber=1; epochsNumber=1; for jj=2:1:sampleNumber TrainNN2(A(jj,:)); end for jt=1:traintimes-1 for jt2=1:sampleNumber TrainNN2(A(jj,:)); end end % 将训练结果写入权值文件 dlmwrite('data\w.dat',WW,'\t'); % % 训练子函数
人工神经网络 系别：计算机工程系 班级： 1120543 班 学号： 13 号 姓名： 日期：2014年10月23日
人工神经网络 摘要：人工神经网络是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点（或称神经元）之间相互联接构成，由大量处理单元互联组成的非线性、自适应信息处理系统。它是在现代神经科学研究成果的基础上提出的，试图通过模拟大脑神经网络处理、记忆信息的方式进行信息处理。 关键词：神经元；神经网络；人工神经网络；智能； 引言 人工神经网络的构筑理念是受到生物（人或其他动物）神经网络功能的运作启发而产生的。人工神经网络通常是通过一个基于数学统计学类型的学习方法（Learning Method）得以优化，所以人工神经网络也是数学统计学方法的一种实际应用，通过统计学的标准数学方法我们能够得到大量的可以用函数来表达的局部结构空间，另一方面在人工智能学的人工感知领域，我们通过数学统计学的应用可以来做人工感知方面的决定问题(也就是说通过统计学的方法，人工神经网络能够类似人一样具有简单的决定能力和简单的判断能力)，这种方法比起正式的逻辑学推理演算更具有优势。 一、人工神经网络的基本原理 1-1神经细胞以及人工神经元的组成 神经系统的基本构造单元是神经细胞，也称神经元。它和人体中其他细胞的关键区别在于具有产生、处理和传递信号的功能。每个神经元都包括三个主要部分:细胞体、树突和轴突。树突的作用是向四方收集由其他神经细胞传来的信息，轴突的功能是传出从细胞体送来的信息。每个神经细胞所产生和传递的基本信息是兴奋或抑制。在两个神经细胞之间的相互接触点称为突触。简单神经元网络及其简化结构如图2-2所示。 从信息的传递过程来看，一个神经细胞的树突，在突触处从其他神经细胞接受信号。这些信号可能是兴奋性的，也可能是抑制性的。所有树突接受到的信号都传到细胞体进行综合处理，如果在一个时间间隔内，某一细胞接受到的兴奋性信号量足够大，以致于使该细胞被激活，而产生一个脉冲信号。这个信号将沿着该细胞的轴突传送出去，并通过突触传给其他神经细胞.神经细胞通过突触的联接形成神经网络。
神经网络系统辨识综述 目前，国内外有许多利用神经网络来模拟设备性能、预测负荷的成功例子。1993 年，美国的Mistry和Nair成功开发了一个用来决定预期平均满意率(PMV)和温湿度参数的神经网络模型。1994 年，Curtiss利用神经网络模型成功地模拟了一台往复压缩式的冷水机组和其它暖通空调设备的性能。随后，Darred和Curtiss利用神经网络模型成功地预测了冷水机组的冷负荷和耗电量。在国内，也有利用神经网络对暖通空调优化控制、对空调器进行仿真研究的成功例子。神经网络之所以能够在国内外得到如此广泛的应用是因为： a)神经网络具有模拟高度非线性系统的优点； b)神经网络具有较强的学习能力、容错能力和联想能力； c)神经网络具有较强的自适应能力。 例如可通过重新训练网络进行设备特性的动态校准功能，这也是它优于其它控制方法的主要特点。此外，神经网络模型还具有建模时间短、易于进行计算机模拟的优点。对于智能建筑，其热动力学参数模型本质上为分布参数系统，应用系统辨识也很难获得其精确的数学模型，控制效果可想而知，而人工神经网络允许在模型理论不完善的情况下，构成一种具有自学习、自适应的体系结构，在与外界信息的交互作用中，形成一种非线性映射或线性动力学系统，以正确反映输入和输出关系而不必预先知道这种关系的精确数学模型。 神经网络在线性系统辨识中的应用 自适应线性(Adaline-Mada Line)神经网络作为神经网络的初期模型与感知机模型相对应，是以连续线性模拟量为输入模式，在拓扑结构上与感知机网络十分相似的一种连续时间型线性神经网络。这种网络模型是美国学者Widrow和Hoff
第六章神经网络在模式识别中的应用 模式识别模拟的是人类一部分智能—识别、判断能力，而人类的智能活动都是在大脑的神经系统中完成的，如果我们能够模拟人类大脑的工作机理来实现识别系统，应该能够取得好的效果。人工神经网络的研究证实在这方面所进行的探索。 6.1 人工神经网络的基础知识 一、人工神经网络的发展历史 1943年，心理学家McCulloch和数学家Pitts提出了形式神经元的数学模型； 1949年，心理学家Hebb提出了神经元学习的准则； 20世纪50年代末，Rosenblatt提出了感知器模型，引起了神经元研究的广泛兴趣； 1969年，Minsky等人指出了感知器的局限性，神经网络的研究热潮下降； 1982年，Hopfield提出了一种神经网络的动力学模型，可以用于联想记忆和优化计算； 1986年，Rumelhart等人提出了多层感知器模型，克服了感知器模型的局限性，使得人工神经网络的研究再度受到重视。 二、生物神经元 一个典型的神经元（或称神经细胞）可以看作有三部分组成：细胞体，树突和轴突。 树突是神经元的生物信号输入端，与其它的神经元相连；轴突是神经元的信号输出端，连接到其它神经元的树突上；神经元有两种状态：兴奋和抑制，平时神经元都处于抑制状态，轴突没有输入，当神经元的树突输入信号大到一定程度，超过某个阈值时，神经元有抑制状态转为兴奋状态，同时轴突向其它神经元发出信号。 三、人工神经元
人工神经元是仿照生物神经元提出的，神经元可以有N 个输入：12,,,N x x x ，每个输入端与神经元之间有一定的联接权值：12,,,N w w w ，神经元总的输入为对每个输入的加权求和，同时减去阈值θ： 1 N i i i u w x θ== -∑ 神经元的输出y 是对u 的映射： ()1N i i i y f u f w x θ=?? ==- ??? ∑ f 称为输出函数，可以有很多形式。当f 为阈值函数时，神经元就可以看作是一个线 性分类器。 ()1, 00, x f x x >?=? ≤? 当取f 为Sigmoid 函数时，神经元完成的是连续的线性映射： ()11x f x e -=+ [0,1] ()2211x f x e -= -+ [-1,1] 一个神经元的结构可以简化为下图的形式： x 1x 2 x N 其中输入矢量为增广矢量，最后一维1N x =，用N w 代替阈值θ。
模式识别就是机器识别、计算机识别或者机器自动化识别，目的在于让机器自动识别事物，使机器能做以前只能由人类才能做的事，具备人所具有的对各种事物与现象进行分析、描述与判断的部分能力。它研究的目的就是利用计算机对物理对象进行分类，在错误概率最小的条件下，使识别的结果尽量与客观事物相符合。 随着人们对人工神经网络的不断地认识，神经网络是指用大量的简单计算单元构成的非线性系统,它在一定程度和层次上模仿了人脑神经系统的信息处理、存储及检索功能，因而具有学习、记忆和计算等智能处理功能。这样人们利用人工神经网络具有高度的并行性，高度的非线性全局作用以及良好的容错性与联想记忆功能，并且具有良好的自适应、自学习功能等突出特点，可运用MATLAB神经网络工具箱中的神经网络模型，对经过训练的神经网络可以有效地提取信号、语音、图像等感知模式的特征，并能解决现有启发式模式识别系统不能很好解决的不变量探测、抽象和概括等问题。这样神经网络可应用于模式识别的特征提取、聚类分析、边缘检测、信号增强以及噪声抑制、数据压缩等各个环节。使用机器来进行模式的识别是一项非常有用的工作，能够辨别符号等系列的机器是很有价值的。目前，模式识别技术可以应用指纹识别、IC卡技术应用、字符识别等实例。模式识别成为人工神经网络特别适宜求解的一类问题。因此，神经网络技术在模式识别中也得到广泛应用与发展。 关键词：模式识别；人工神经网络；神经网络模型；神经网络技术
Pattern Recognition is the machine identification, computer identification or identification of machine automation, machine aimed at automatic identification of things to do before the machine can only be made by man can do, with people with all kinds of things and on an analysis of the phenomenon, described with the ability to determine the part. It is the purpose of the study of the physical object to use the computer for classification, the probability of the smallest in the wrong conditions, so that the results of recognition as far as possible in line with objective things. As artificial neural network to recognize the continuing, neural network refers to a large number of simple calculation unit consisting of non-linear system, which to some extent and level system to imitate the human brain's information processing, storage and retrieval functions, which has learning, memory and computing functions such as intelligent processing. Such people to use artificial neural network with a high degree of parallelism, the overall role of a high degree of non-linear and good fault tolerance and associative memory function, and have good self-adaptive, self-learning function, such as prominent features, the availability of MATLAB neural network toolbox The neural network model trained neural network can effectively extract the signal, voice, video and other features of perceptual patterns and heuristics to solve the existing pattern recognition systems are not well resolved invariant detection, such as abstract and summary issues. This neural network pattern recognition can be applied to feature extraction, clustering analysis, edge detection, signal enhancement and noise suppression, data compression, such as various links. The use of machines for pattern recognition is a very useful work, such as series of symbols to identify the machines are of great value. At present, the pattern recognition technology can be applied to fingerprint identification, IC card technology applications, such as examples of character recognition. Artificial neural network pattern recognition has become especially suitable for solving a class of problem. Therefore, the neural network pattern recognition technology is also widely used and development. Key words：pattern recognition；artificial neural network；neural network model；neural network technology
２００７，４３（３１）神经网络辨识器 被辨识系统 ｙ（ｋ）ｅ （ｋ）ｙ !（ｋ）ｕ （ｋ）－ ＋图１系统辨识原理框图 １引言 动态系统的控制通常需要在无需预先知道精确的对象和 环境知识时便能实现，因此寻求适当的方法以解决不确定性的、高度复杂的动态系统辨识是控制理论研究的一个重要分支。神经网络是由大量处理单元广泛互连而成的网络，具有大规模并行模拟处理能力和很强的自适应、自组织、自学习能力，因而近年来在系统建模、辨识与控制中受到普遍重视。在自动控制领域，基于线性系统理论对被控系统进行辩识并修正参数的方法能较好地应用于线性系统，但很难推广到复杂的非线性系统。神经网络所具有的非线性变换特性和高度并行运算能力为系统辨识，尤其是非线性系统的辨识提供了有效的方法。 目前，系统辩识中应用最多的是多层前向网络，多层前向网络具有逼近任意连续非线性函数的能力，但这种网络结构一般是静态的，而人们更关心控制系统的动态特性，这恰恰是ＢＰ神经网络等前馈网络所缺乏的。与静态前馈型神经网络不同，动态递归网络通过存储内部状态，使其具备映射动态特征的功能，从而使系统具有适应时变特性的能力，更适合于非线性动态系统的辩识。动态递归神经网络是控制系统建模和辨识中极具发展潜力的网络，本文利用改进的动态递归Ｅｌｍａｎ神经网络实现对非线性动态系统的辨识。 ２神经网络非线性系统辨识原理 假定拟辨识对象为非线性离散时间系统，或者可以离散化 为这样的系统，用ＮＡＲＭＡ模型来描述： ｙ（ｋ）＝ｆ（ｙ（ｋ－１），…，ｙ（ｋ－ｎ），ｕ（ｋ－１），…，ｕ（ｋ－ｍ））（１） 式中，ｎ、ｍ分别为模型输出ｙ（ｔ）和输入ｕ（ｔ）的阶次，ｆ（? ）是非线性函数。 如果ｆ（? ）未知时，不确定系统的辨识问题可以描述为寻求一数学模型，使得模型的输出ｙ!（?）和被辨识系统的输出ｙ（?） 尽量接近。神经网络具有通过恰当选择网络层次和隐层单元数，能够以任意精度逼近任意连续非线性函数的特性，因此可作为辨识模型，用来对非线性系统进行辨识。 由图１所示的系统辨识原理可以看出，辨识模型和被辨识 系统具有相同的输入，定义误差ｅ（ｋ）＝ｙ!（ｋ）－ｙ（ｋ），用于对神经 网络进行学习和修正。 基于Ｅｌｍａｎ神经网络的非线性动态系统辨识 高钦和１，２，王孙安１ ＧＡＯＱｉｎ－ｈｅ１，２，ＷＡＮＧＳｕｎ－ａｎ１ １．西安交通大学机械工程学院，西安７１００２８２．第二炮兵工程学院，西安７１００２５ １．ＳｃｈｏｏｌｏｆＭｅｃｈａｎｉｃａｌＥｎｇｉｎｅｅｒｉｎｇ，Ｘｉ’ａｎＪｉａｏｔｏｎｇＵｎｉｖｅｒｓｉｔｙ，Ｘｉ’ａｎ７１００２８，Ｃｈｉｎａ２．ＳｅｃｏｎｄＡｒｔｉｌｌｅｒｙＥｎｇｉｎｅｅｒｉｎｇＣｏｌｌｅｇｅ，Ｘｉ’ａｎ７１００２５，ＣｈｉｎａＥ－ｍａｉｌ：ｇａｏ２０２＠ｙａｈｏｏ．ｃｏｍ．ｃｎ ＧＡＯＱｉｎ－ｈｅ，ＷＡＮＧＳｕｎ－ａｎ．ＩｄｅｎｔｉｆｉｃａｔｉｏｎｏｆｎｏｎｌｉｎｅａｒｄｙｎａｍｉｃｓｙｓｔｅｍｂａｓｅｄｏｎＥｌｍａｎｎｅｕｒａｌｎｅｔｗｏｒｋ．Ｃｏｍｐｕｔｅｒ ＥｎｇｉｎｅｅｒｉｎｇａｎｄＡｐｐｌｉｃａｔｉｏｎｓ，２００７，４３ （３１）：８７－８９．Ａｂｓｔｒａｃｔ：Ｔｈｅｔｈｅｏｒｙａｎｄｍｅｔｈｏｄｏｆｄｙｎａｍｉｃｓｙｓｔｅｍｉｄｅｎｔｉｆｉｃａｔｉｏｎｂｙｄｙｎａｍｉｃｒｅｃｕｒｒｅｎｔｎｅｕｒａｌｎｅｔｗｏｒｋａｒｅｓｔｕｄｉｅｄ．Ａｎｉｍｐｒｏｖｅｄ Ｅｌｍａｎｎｅｕｒａｌｎｅｔｗｏｒｋｉｓｓｕｃｃｅｓｓｆｕｌｌｙｕｓｅｄｔｏｉｄｅｎｔｉｆｙｔｈｅｎｏｎｌｉｎｅａｒｄｙｎａｍｉｃｓｙｓｔｅｍｅｖｅｎｔｈｏｕｇｈｗｉｔｈｏｕｔａｎｙｐｒｉｏｒｉｎｆｏｒｍａｔｉｏｎｏｆｉｄｅｎｔｉｆｉｅｄｓｙｓｔｅｍ．ＳｉｍｕｌａｔｉｏｎｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅＥｌｍａｎｎｅｕｒａｌｎｅｔｗｏｒｋｈａｓｈｉｇｈｅｒｌｅａｒｎｉｎｇｓｐｅｅｄａｎｄｂｅｔｔｅｒｇｅｎｅｒａｌｉｚａｔｉｏｎａｂｉｌｉｔｙｔｈａｎｔｈｅｆｅｅｄｆｏｒｗａｒｄｎｅｕｒａｌｎｅｔｗｏｒｋ，ａｎｄｔｈａｔｉｔｉｓｓｕｉｔａｂｌｅｆｏｒｔｈｅｎｏｎｌｉｎｅａｒｄｙｎａｍｉｃｓｙｓｔｅｍｉｄｅｎｔｉｆｉｃａｔｉｏｎ． Ｋｅｙｗｏｒｄｓ：ｎｏｎｌｉｎｅａｒｓｙｓｔｅｍｉｄｅｎｔｉｆｉｃａｔｉｏｎ；ｄｙｎａｍｉｃｓｙｓｔｅｍ；ｄｙｎａｍｉｃｒｅｃｕｒｒｅｎｔｎｅｕｒａｌｎｅｔｗｏｒｋ；Ｅｌｍａｎｎｅｕｒａｌｎｅｔｗｏｒｋ 摘 要：研究了应用动态递归神经网络实现动态系统辨识的原理和方法，在没有被辨识对象的先验知识情况下，通过改进的Ｅｌ－ ｍａｎ网络实现了非线性动态系统的辨识。 仿真结果表明，与前馈网络相比，Ｅｌｍａｎ网络具有学习速度快、泛化能力强的特点，可用较小的网络结构实现高阶系统的辨识，适用于具有本质非线性动态系统的辨识。关键词：非线性系统辨识；动态系统；动态递归神经网络；Ｅｌｍａｎ网络文章编号：１００２－８３３１（２００７）３１－００８７－０３ 文献标识码：Ａ 中图分类号：ＴＰ１８３ 作者简介：高钦和（１９６８－），男，西安交通大学博士后，第二炮兵工程学院副教授，主要研究方向为发射系统仿真与自动检测；王孙安（１９５７－），男， 教授，博士，主要研究方向为机电系统与工业过程的计算机智能监控。 ＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇａｎｄＡｐｐｌｉｃａｔｉｏｎｓ计算机工程与应用８７