《神经网络基础与运用》学习体会
姓名：袁晓懿学号：0610220527
导师：廖桂生课程属性：限选课
当前我们学习的《神经网络基础与运用》，可以说是利用人工构造的神经元，经过不同模式的训练，达到模拟生物神经元功能的目的。从1984年单神经元网络被用来稳定电话系统中长距离传输的声音信号以来，神经网络的应用已经覆盖了航空、电子、金融、医疗、电信、交通等各个行业。可以想象，随着神经网络科学研究的逐步深入以及应用领域的不断拓广，神经网络必将产生更加深远的影响。
一、神经网络发展简述
神经网络这一学科领域，最早可以追溯到19世纪末或者20世纪初，这一时期研究对象主要集中于学习、视觉和条件反射等一般理论，并没有涉及有关神经元工作的数学模型。现代神经网络研究的开始是以20世纪40年代，Warren McCulloch和Walter Pitts从原理上证明人工神经网络可以计算任何算术和逻辑函数为标志。60年代，由于缺乏新思想和用于实验的高性能计算机，动摇了人们对神经网络的研究兴趣。到了80年代，随着个人计算机和工作站能力的急剧增强和广泛应用，以及不断引入的新概念，克服了摆在神经网络研究面前的障碍，人们对神经网络的研究热情空前高涨。
二、四种网络模型学习规则
截至目前，我们主要学习了四种网络模型，即：感知机、有监督的Hebb网络、Widrow-Hoff 模型和反向传播模型。此外，我们还从一个模式识别问题上，引出了竞争网络（hamming网络）和Hopfield网络。下面，我就各个网络模型的学习规则谈一些体会。
（一）感知机学习规则
1943年，Warren McCulloch和Walter Pitts最早提出了一种人工神经元模型，把神经元输入信号的加权和与其阈值相比较以确定神经元的输出。如果加权和小于阈值，则该神经元的输出值为0；如果加权和大于阈值，则该神经元的输出值为1。但由于没有找到训练这一网络的方法，因此必须设计这些神经元网络的参数以实现特定的功能。上世纪50年代，Frank Rosenblatt等研究人员提出了一种感知机的神经网络，引入了用于训练神经网络解决模式识别问题的学习规则，并证明了只要求解问题的权值存在，那么其学习规则通常会收敛到正确的权值上。但是，感知机网络却存在一定的局限性，其只能解决模式识别中的线性可分问题。正是由于这种局限性，一度导致神经网络的研究工作陷入低潮。
我们知道，对于1－3维输入单层神经元的模式识别问题，可以通过图解法解决。其基本程序为：1、画出判定边界，该判定边界实现了区域划分的目的；2、求解权值矩阵，权值矩阵求解的关键是判定边界总是和权值矩阵相正交，对于同一模式识别问题，判定边界的不同
会造成权值矩阵的不同。这一不同，在与当前模式精确匹配时不会产生错误的输出，而在其他模式的判别中可能引起较大的误差（下面将举例说明）。3、求解偏值，偏值b 的求解，可以在求解权值矩阵的基础上，将判定边界上任意一点的坐标带入方程W T *P ＋b ＝0得到,如果我们划定的判定边界通过坐标原点，那么此时的b 值可以设定为0。
当3个以上输入神经元网络的判定边界无法用图形方法进行判定时，我们就必须引入一个学习的规则。如果将单神经元感知机和多神经元感知机统一起来，那么这个学习规则可写为W NEW ＝W OLD ＋ep T ；B NEW ＝B OLD ＋e ，其中e ＝t －a 。在学习过程的开始，权值和偏值我们可以任意设定，在输入第一个模式后，将期望输出与感知机的实际输出相减，得到输出误差e 。通过e 的正负调节权值矩阵和偏值，从而最终实现模式之间的正确分类。
【学习体会】
下面还是举水果区分的例子，说明权值矩阵选取不当，对模式识别问题的影响。例如我们用一个3维向量来表示一个标准的桔子和一个标准的苹果。这个向量的第一个元素表示外形，外形是圆的感知器就输出1，外形是椭圆的就输出－1；第二个元素表示质地，质地是光滑的感知器就输出1，质地粗糙就输出－1；第三个元素表示重量，水果重量超过1磅就输出1，低于1磅就输出－1。在一般情况下，我们都会把p1和p3轴构成的平面作为判定边界，假设苹果（1，1，－1）对应的输出为1，桔子（1，－1，－1）对应的输出为－1，那么权值向量可取（0，1，0），偏值为0，传输函数为Hardlims ，就可实现正确分类。然而当权值向量为（－1，1，－1），偏值为0，传输函数为Hardlims 时，也可实现桔子和苹果的正确区分，即苹果对应的输出为1，桔子的对应输出为－1。但是如果有一个椭圆形的桔子（－1，－1，－1）被放在分类器中，按照前一种识别模式，其输出仍然为－1，即桔子；而当通过后一种识别模式时其被错误的识别为1，即苹果。
（二）有监督的Hebb 学习规则
Hebb 学习规则是最早的神经网络学习规则之一，由Donald Hebb 在1949年作为大脑的一种神经元突触调整的可能机制而提出，从此Hebb 规则就一直用于人工神经网络的训练。 P1 P2
P3
。苹果
。
桔子
与感知机所不同的是，Hebb学习规则的权值更新公式变为W NEW＝W OLD＋t
q p
q
T，矩阵形式为W
＝TP T。在输入样本为标准正交向量时，该样本只与权值矩阵内对应相等的模式发生作用，而
与其他模式的不发生作用，此时网络的输出等于其相应的目标输出。当输入不是标准正交向量时，网络的输出可能偏离目标输出，与目标输出不能十分匹配。解决这一问题的方法，就是运用仿逆规则，即把样本矩阵进行变换。仿逆规则为W＝TP＋，P＋＝（P T P）-1P T。通过仿逆规则，如果由于输入样本的非标准正交化引起的输出误差，可以通过仿逆规则达到精确的结果。
【学习体会】
Hebb学习规则可以大大简化实际模式识别问题，一种特殊的类型就是自联想存储器。在自联想存储器中，期望输出向量等于网络的输入向量，并且在输入样本有所破损或者受到干扰时，也可将其复原，其原因是存储器将输入样本与存储的样本相比较，利用距离最近的原则进行判别输出。然而在输入样本缺损严重时，却不能正确识别，这是自联想存储器普遍存在的一个问题。
实际上在某些特定的情况下，输入样本为非标准正交向量时，如果将神经元的传输函数定义为Hardlims，则网络的输出还是有可能实现正确输出的。例如当输入样本为p
1
＝（1，1，
－1，1，－1，－1）T，p
2
＝（－1，1， 1，1， 1，－1）T时，尽管这两个向量是正交的，但确没有标准化（有的书上称之为归一化），使用Hebb规则，建立一个自联想存储器。通过计算我们会发现，把传输函数由purelin改变为Hardlims后，输出向量就是样本本身，对输入向量标准化的限制消除了。
（三）Widrow-Hoff学习规则
1960年，Widrow和他的研究生Marcian Hoof引入了ADALINE网络和一个称为LMS算法的学习规则。这个网络与感知机十分相似，不同之处在于它的传输函数是线性函数而不是硬极限函数。ADALINE网络和感知机一样，只能解决线性可分问题。但是，LMS算法比感知机学习规则要强大很多。感知机规则能保证将训练模式收敛到一个可以正确分类的解上，有时训练模式常接近网络的判定边界，得到的网络对噪声较为敏感。而LMS算法使均方误差最小，从而使网络的判定边界尽量远离训练模式。
【学习体会】
为了减小感知机学习中由于权值矩阵选取不当引起的误差，我们就可以利用Widrow-Hoff 学习规则，将权值矩阵收敛到一个最优值，增强对噪声的抗干扰能力。为了说明这一问题，我们还以桔子和苹果的分类问题，利用感知机进行分类，由于初始权值选定不同，最终收敛的权值也会各不相同，由于感知机一旦实现正确分类，权值迭代也停止了，难以达到最优权。而利用Widrow-Hoff学习规则，按照LMS算法，如果网络存在一个全局极小点，经过多次迭代后，网络的权值将最终稳定在这个全局极小点上。针对水果分类问题，这个全局极小点就是W＝（0，1，0）这个权值。
（四）反向传播学习规则
1974年，Paul Werboss第一次描述了训练多层神经网络的一个算法，但并没有引起人们的关注。直到20世纪80年代中期，反向传播算法才重新被发现并广泛宣扬。反向传播算法，实际上是一个多层网络的LMS算法，是最速下降法的近似。LMS算法和反向传播算法的区别在于它们对导数的计算方法上。对于单层的线性网络，误差是网络权值的显示函数，其相对于权值的导数较容易求得。在具有非线性传输函数的多层网络中，网络权值和误差的关系更为复杂。为了计算导数，需要用到微积分中的隐函数导数求解法。
【学习体会】
反向传播算法，第一步是通过网络将输入向量向前传播，传输方程为：
a0＝p
a m＋1＝f m＋1（w m＋1a m＋
b m＋1），m＝0，1，…，M－1
a＝a M
反向传播算法，第二步是通过网络将敏感性反向传播，传输方程为：
s M＝－2F M（n M）（t－a）
s m＝F m（n m）（W m＋1）T s m＋1，m＝M－1，…，2，1
最后，使用近似的最速下降法更新权值和偏值
W m（k＋1）＝W m（k）－αs m（a m－1）T
b m（k＋1）＝b m（k）－αs m
（五）Hamming网络和Hopfield网络
在求解桔子和苹果分类问题的时候，我们不仅用到了感知机，而且介绍了另外两种网络，一种是Hamming网络和Hopfield网络。
【学习体会】
Hamming网络的目的是判定哪一个标准向量更接近输入向量，判定的结果由递归层的输出表示。每个标准模式对应递归层的一个神经元，当递归层收敛后，递归层中只有一个神经元的输出为非零值。该神经元指明了哪一个标准模式与输入向量最接近。在Hamming网络的前馈层中，权值矩阵是由标准模式转臵构成，而偏值矩阵与标准向量的元素个数是一致的。在递归层中，受到权值矩阵W的影响，使前馈层输出较大的元素与输出较小的元素差距逐步加大，最终一个元素减小为0，网络只有一个非0元素输出，从而构成了竞争。
Hopfield网络有些类似于Hamming网络中的递归层，却可以通过一层网络实现Hamming 网络两层的功能。另外，Hamming网络对模式的判别是依靠输出不为0的元素，来表明输入更加接近哪一种标准模式，而Hopfield网络则可以通过迭代输出一个标准模式。Hopfield网络的权值矩阵和偏值量的设臵比较复杂。一般情况下，权值矩阵为对角矩阵，两种模式间相同的量权重较小（可设为0.1～0.4），不同的量权重较大（可设为1.1～1.5），在设定偏值矩阵
时，通常把相同且为正的元素对应偏值设为0.7～0.9，相同且为负的元素对应偏值设为－0.7～－0.9，输出相异的元素对应偏值设为0。
三、神经网络的一些应用
任何一门学科，其最终目的都要从初始的科学研究转变为后期的实践应用。而说到神经网络的应用，通过学习，我们主要解决了两个方面的应用问题。
（一）模式分类问题
单层感知机解决的问题是线性可分问题，而多层感知机网络扩展了单层感知器网络，可以用于任意的分类问题。
【学习体会】
下面利用一个例子，说明多层感知机是如何解决任意分类问题。
如上图所示，只要输入向量在阴影区或边界上，网络应输出1，否则输出－1。解决这样的问题，一般可以分为三步：第一步，划定判定边界（设计第一层网络）。正确区分这个问题，我们需要划定8条判定边界（如图所示），也就是说网络的第一层需要8个神经元。有关权值矩阵和偏值的选取实际上与单层感知机权值矩阵的选取方法是一致的，而本题的权值矩阵是一个8×2维的矩阵，偏值是一个8×1维的矩阵，传输函数为Hardlims ，其输出是一个8×1维的矩阵。第二步，划分组别（设计第二层网络）。从图上我们可以看出两块阴影区域，分别被四条判定边界所划定而分为两组。划分组别的意义就在于通过将第一层网络输出相与，进行AND 运算，判定输入的样本值是否属于这两块区域。针对第一层网络的8个输出，我们只需要2个神经元就可以实现组别的区分。本题第二层网络的权值矩阵是一个2×8维的矩阵，偏值是一个2×1维的矩阵，传输函数为Hardlims ，其输出是一个2×1维的矩阵。为实现相与运算，本题权值矩阵W 和偏值b 应设为时应设为
1 3
1，1，1，1，0，0，0，0
0，0，0，0，1，1，1，
1 －3，－3
第三步，将判定区域合并。（设计第三层网络）。通过以上两层的判定我们只能得到分散的判定，知道样本值或是落在区域Ⅰ，或是落在Ⅱ，第三层网络设计的意义就在于合并运算，将判定条件相或，进行OR运算。本题第三层网络只需要1个神经元，权值矩阵是一个1×2维的矩阵，偏值为1个标量，传输函数为Hardlims，输出为标量1或－1。本题第三层的权值矩阵可设为（1，1），偏值为1。
从而运用三层网络实现了非线性可分问题。
（二）函数逼近问题
多层网络不仅用来解决任意分类问题，还可用作通用的函数逼近器。研究表明，一个两层网络只要在其隐层中有足够的神经元，且隐层神经元的传输函数是S形的类型，便可以逼近任何实际的函数。通过调整网络的参数，每一步的曲线形状和位臵都会发生变化，达到逼近任意函数的目的。
四、致谢
最后，感谢杨老师的辛勤工作，使我对《神经网络基础与应用》有了初步的了解，对目前所学的《随机信号处理》中自适应滤波器设计使用有了新的认识，并为下一步继续学习提供了一种新的方法。
第一章 1、3 什么就是人工智能？它的研究目标就是什么？ 人工智能(Artificial Intelligence),英文缩写为AI。它就是研究、开发用于模拟、延伸与扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。 研究目标:人工智能就是计算机科学的一个分支,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器,该领域的研究包括机器人、语言识别、图像识别、自然语言处理与专家系统等。 1、7 人工智能有哪几个主要学派？各自的特点就是什么？ 主要学派:符号主义,联结主义与行为主义。 1.符号主义:认为人类智能的基本单元就是符号,认识过程就就是符号表示下的符号计算, 从而思维就就是符号计算; 2.联结主义:认为人类智能的基本单元就是神经元,认识过程就是由神经元构成的网络的信 息传递,这种传递就是并行分布进行的。 3.行为主义:认为,人工智能起源于控制论,提出智能取决于感知与行动,取决于对外界复 杂环境的适应,它不需要只就是,不需要表示,不需要推理。 1、8 人工智能有哪些主要研究与应用领域？其中有哪些就是新的研究热点？ 1、研究领域:问题求解,逻辑推理与定理证明,自然语言理解,自动程序设计,专家系统,机器 学习,神经网络,机器人学,数据挖掘与知识发现,人工生命,系统与语言工具。 2、研究热点:专家系统,机器学习,神经网络,分布式人工智能与Agent,数据挖掘与知识发 现。 第二章 2、8 用谓词逻辑知识表示方法表示如下知识: (1)有人喜欢梅花,有人喜欢菊花,有人既喜欢梅花又喜欢菊花。 三步走:定义谓词,定义个体域,谓词表示 定义谓词 P(x):x就是人
Neural Network Theory and Applications Homework Assignment3 oxstar@SJTU January19,2012 1Data Preprocessing First we used‘svm-scale’of LibSVM to scale the data.There are two main advantages of scaling:one is to avoid attributes in greater numeric ranges dominating those in smaller numeric ranges,another one is to avoid numerical di?culties during the calculation[1].We linearly scaled each attribute to the range[-1,+1]. 2Model Selection We tried three di?erent kernel functions,namely linear,polynomial and RBF. ?liner:K(x i,x j)=x T i x j ?polynomial:K(x i,x j)=(γx T i x j+r)d,γ>0 ?radial basis function(RBF):K(x i,x j)=exp(?γ x i?x j 2),γ>0 The penalty parameter C and kernel parameters(γ,r,d)should be chosen.We used the ‘grid-search’[1]on C andγwhile r and d are set to their default values:0and3. In Figure1,we presents the contour maps for choosing the proper attributes.We just searched for some maxima while the global maximum is usually di?cult to?nd and with the values of attributes increasing,the running time increasing dramatically.Note that‘ovr’stands for one-versus-rest task decomposition methods while‘ovo’is short for one-versus-one and‘pvp’is short for part-versus-part. The liner kernel doesn’t have private attributes,so we should just search for the penalty parameter C.The results are shown in Figure2. The?nal selection for each attributes are presented in Table1. Table1:A Selection for Each Attributes Decomposition Kernel Cγ RBF10 1.0 one-versus-rest Polynomial0.10.7 Liner1 RBF1 1.5 one-versus-one Polynomial0.010.2 Liner0.1 RBF10.1 part-versus-part Polynomial0.010.4 Liner1
人工神经网络原理及实际应用 摘要：本文就主要讲述一下神经网络的基本原理，特别是BP神经网络原理，以及它在实际工程中的应用。 关键词：神经网络、BP算法、鲁棒自适应控制、Smith－PID 本世纪初，科学家们就一直探究大脑构筑函数和思维运行机理。特别是近二十年来。对大脑有关的感觉器官的仿生做了不少工作，人脑含有数亿个神经元，并以特殊的复杂形式组成在一起，它能够在“计算＂某些问题（如难以用数学描述或非确定性问题等）时，比目前最快的计算机还要快许多倍。大脑的信号传导速度要比电子元件的信号传导要慢百万倍，然而，大脑的信息处理速度比电子元件的处理速度快许多倍，因此科学家推测大脑的信息处理方式和思维方式是非常复杂的，是一个复杂并行信息处理系统。1943年Macullocu和Pitts融合了生物物理学和数学提出了第一个神经元模型。从这以后，人工神经网络经历了发展，停滞，再发展的过程，时至今日发展正走向成熟，在广泛领域得到了令人鼓舞的应用成果。本文就主要讲述一下神经网络的原理，特别是BP神经网络原理，以及它在实际中的应用。 1.神经网络的基本原理 因为人工神经网络是模拟人和动物的神经网络的某种结构和功能的模拟，所以要了解神经网络的工作原理，所以我们首先要了解生物神经元。其结构如下图所示： 从上图可看出生物神经元它包括，细胞体：由细胞核、细胞质与细胞膜组成；
轴突：是从细胞体向外伸出的细长部分，也就是神经纤维。轴突是神经细胞的输出端，通过它向外传出神经冲动；树突：是细胞体向外伸出的许多较短的树枝状分支。它们是细胞的输入端，接受来自其它神经元的冲动；突触：神经元之间相互连接的地方，既是神经末梢与树突相接触的交界面。 对于从同一树突先后传入的神经冲动，以及同一时间从不同树突输入的神经冲动，神经细胞均可加以综合处理，处理的结果可使细胞膜电位升高；当膜电位升高到一阀值（约40mV），细胞进入兴奋状态，产生神经冲动，并由轴突输出神经冲动；当输入的冲动减小，综合处理的结果使膜电位下降，当下降到阀值时。细胞进入抑制状态，此时无神经冲动输出。“兴奋”和“抑制”，神经细胞必呈其一。 突触界面具有脉冲/电位信号转换功能，即类似于D/A转换功能。沿轴突和树突传递的是等幅、恒宽、编码的离散电脉冲信号。细胞中膜电位是连续的模拟量。 神经冲动信号的传导速度在1～150m/s之间，随纤维的粗细，髓鞘的有无而不同。 神经细胞的重要特点是具有学习功能并有遗忘和疲劳效应。总之，随着对生物神经元的深入研究，揭示出神经元不是简单的双稳逻辑元件而是微型生物信息处理机制和控制机。 而神经网络的基本原理也就是对生物神经元进行尽可能的模拟，当然，以目前的理论水平，制造水平，和应用水平，还与人脑神经网络的有着很大的差别，它只是对人脑神经网络有选择的，单一的，简化的构造和性能模拟，从而形成了不同功能的，多种类型的，不同层次的神经网络模型。 2.BP神经网络 目前，再这一基本原理上已发展了几十种神经网络，例如Hopficld模型，Feldmann等的连接型网络模型，Hinton等的玻尔茨曼机模型，以及Rumelhart 等的多层感知机模型和Kohonen的自组织网络模型等等。在这众多神经网络模型中，应用最广泛的是多层感知机神经网络。 这里我们重点的讲述一下BP神经网络。多层感知机神经网络的研究始于50年代，但一直进展不大。直到1985年，Rumelhart等人提出了误差反向传递学习算法（即BP算），实现了Minsky的多层网络设想，其网络模型如下图所示。它可以分为输入层，影层（也叫中间层），和输出层，其中中间层可以是一层，也可以多层，看实际情况而定。
数据挖掘期末大作业 1.数据挖掘的发展趋势是什么？大数据环境下如何进行数据挖掘。 对于数据挖掘的发展趋势，可以从以下几个方面进行阐述： (1)数据挖掘语言的标准化描述:标准的数据 挖掘语言将有助于数据挖掘的系统化开发。改进多个数据挖掘系统和功能间的互操作,促进其在企业和社会中的使用。 (2)寻求数据挖掘过程中的可视化方法:可视 化要求已经成为数据挖掘系统中必不可少的技术。可以在发现知识的过程中进行很好的人机交互。数据的可视化起到了推动人们主动进行知识发现的作用。 (3)与特定数据存储类型的适应问题:根据不 同的数据存储类型的特点,进行针对性的研究是目前流行以及将来一段时间必须面对的问题。 (4)网络与分布式环境下的KDD问题:随着 Internet的不断发展,网络资源日渐丰富,这就需要分散的技术人员各自独立地处理分离数据库的工作方式应是可协作的。因此,考虑适应分布式与网络环境的工具、技术及系统将是数据挖掘中一个最为重要和繁荣的子领域。 (5)应用的探索:随着数据挖掘的日益普遍,其应用范围也日益扩大,如生物医学、电信业、零售业等 领域。由于数据挖掘在处理特定应用问题时存在局限性,因此,目前的研究趋势是开发针对于特定应用的数据挖掘系统。 (6)数据挖掘与数据库系统和Web数据库系统的集成:数据库系统和Web数据库已经成为信息处 理系统的主流。 2. 从一个3输入、2输出的系统中获取了10条历史数据，另外，最后条数据是系统的输 入，不知道其对应的输出。请使用SQL SERVER 2005的神经网络功能预测最后两条数据的输出。 首先，打开SQL SERVER 2005数据库软件，然后在界面上右键单击树形图中的“数据库”标签，在弹出的快捷菜单中选择“新建数据库”命令，并命名数据库的名称为YxqDatabase，单击确定，如下图所示。 然后，在新建的数据库YxqDatabas中，根据题目要求新建表，相应的表属性见下图所示。
基于人工神经网络的通信信号分类识别 冯 涛 (中国电子科技集团公司第54研究所,河北石家庄050081) 摘 要 通信信号的分类识别是一种典型的统计模式识别问题。系统地论述了通信信号特征选择、特征提取和分类识别的原理和方法。设计了人工神经网络分类器,包括神经网络模型的选择、分类器的输入输出表示、神经网络拓扑结构和训练算法,并提出了分层结构的神经网络分类器。 关键词 模式识别;特征提取;分类器;神经网中图分类号 TP391 文献标识码 A Classification and Identification of Communication Signal Using Artificial Neural Networks FE NG Tao (T he 54th Research Institute of CETC,Shijia zhuan g Hebei 050081,China) Abstract The classification and identificati on of communication signal is a typical statistical pattern identification.The paper discusses the theory and method of feature selection,feature extraction and classi fication &identificaiton of communication signal.A classifier based on artificial neural networks is designed,includin g the selection of neural network model,the input and output expression of the classifier,neural network topology and trainin g algorithm.Finally a hierarchical archi tecture classifier based on artificial neural networks is presented. Key words pattern recognition;features extraction;classifier;neural networks 收稿日期:2005-12-16 0 引言 在通信对抗侦察中,侦察接收设备在截获敌方通信信号后,必须经过对信号的特征提取和对信号特征的分析识别,才能变为有价值的通信对抗情报。通过对信号特征的分析识别,可以得到信号种类、通信体制、网路组成等方面的情报,从而为研究通信对抗策略、研制和发展通信对抗装备提供重要参考依据。 1 通信信号分类识别的原理 通信信号的分类识别是一种典型的模式识别应用,其作用和目的就是将某一接收到的信号正确地归入某一种类型中。一般过程如图1 所示。 图1 通信信号分类识别的一般过程 下面简单介绍这几部分的作用。 信号获取:接收来自天线的信号x (t),并对信号进行变频、放大和滤波,输出一个中频信号; A/D 变换:将中频模拟信号变换为计算机可以运算的数字信号x (n); 以上2步是信号空间x (t)到观察空间x (n )的变换映射。 特征提取:为了有效地实现分类识别,必须对原始数据进行变换,得到最能反映分类差别的特征。这些特征的选择和提取是非常重要的,因为它强烈地影响着分类器的设计和性能。理想情况下,经过特征提取得到的特征向量对不同信号类型应该有明显的差别; 分类器设计和分类决策:分类问题是根据识别对象特征的观察值将其分到某个类别中去。首先,在样本训练集基础上确定合适的规则和分类器结构,然后,学习训练得到分类器参数。最后进行分类决策,把待识别信号从特征空间映射到决策空间。 2 通信信号特征参数的选择与特征提取 2 1 通信信号特征参数的选择 选择好的特征参数可以提高低信噪比下的正确 识别率,降低分类器设计的难度,是基于统计模式识别方法最为关键的一个环节。试图根据有限的信号 信号与信息处理 24 2006Radio Engineering Vo1 36No 6
X X X X大学 研究生考查课 作业 课程名称：智能控制理论与技术 研究生姓名：学号： 作业成绩： 任课教师(签名) 交作业日时间：2010年12月22日
人工神经网络(artificial neural network，简称ANN)是在对大脑的生理研究的基础上，用模拟生物神经元的某些基本功能元件(即人工神经元)，按各种不同的联结方式组成的一个网络。模拟大脑的某些机制，实现某个方面的功能，可以用在模仿视觉、函数逼近、模式识别、分类和数据压缩等领域，是近年来人工智能计算的一个重要学科分支。 人工神经网络用相互联结的计算单元网络来描述体系。输人与输出的关系由联结权重和计算单元来反映，每个计算单元综合加权输人，通过激活函数作用产生输出，主要的激活函数是Sigmoid函数。ANN有中间单元的多层前向和反馈网络。从一系列给定数据得到模型化结果是ANN的一个重要特点，而模型化是选择网络权重实现的，因此选用合适的学习训练样本、优化网络结构、采用适当的学习训练方法就能得到包含学习训练样本范围的输人和输出的关系。如果用于学习训练的样本不能充分反映体系的特性，用ANN也不能很好描述与预测体系。显然，选用合适的学习训练样本、优化网络结构、采用适当的学习训练方法是ANN的重要研究内容之一，而寻求应用合适的激活函数也是ANN研究发展的重要内容。由于人工神经网络具有很强的非线性多变量数据的能力，已经在多组分非线性标定与预报中展现出诱人的前景。人工神经网络在工程领域中的应用前景越来越宽广。 1人工神经网络基本理论[1] 1.1神经生物学基础 可以简略地认为生物神经系统是以神经元为信号处理单元,通过广泛的突触联系形成的信息处理集团,其物质结构基础和功能单元是脑神经细胞即神经元(neu ron)。(1)神经元具有信号的输入、整合、输出三种主要功能作用行为。突触是整个神经系统各单元间信号传递驿站,它构成各神经元之间广泛的联接。(3)大脑皮质的神经元联接模式是生物体的遗传性与突触联接强度可塑性相互作用的产物,其变化是先天遗传信息确定的总框架下有限的自组织过程。 1.2建模方法 神经元的数量早在胎儿时期就已固定,后天的脑生长主要是指树突和轴突从神经细胞体中长出并形成突触联系,这就是一般人工神经网络建模方法的生物学依据。人脑建模一般可有两种方法:①神经生物学模型方法,即根据微观神经生物学知识的积累,把脑神经系统的结构及机理逐步解释清楚,在此基础上建立脑功能模型。②神经计算模型方法,即首先建立粗略近似的数学模型并研究该模型的动力学特性,然后再与真实对象作比较(仿真处理方法)。 1.3概念 人工神经网络用物理可实现系统来模仿人脑神经系统的结构和功能,是一门新兴的前沿交叉学科,其概念以T.Kohonen.Pr的论述最具代表性:人工神经网络就是由简单的处理单元(通常为适应性)组成的并行互联网络,它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。 1.4应用领域 人工神经网络在复杂类模式识别、运动控制、感知觉模拟方面有着不可替代的作用。概括地说人工神经网络主要应用于解决下述几类问题:模式信息处理和模式识别、最优化问题、信息的智能化处理、复杂控制、信号处理、数学逼近映射、感知觉模拟、概率密度函数估计、化学谱图分析、联想记忆及数据恢复等。 1.5理论局限性 (1)受限于脑科学的已有研究成果由于生理试验的困难性,目前对于人脑思维与记忆机制的认识尚很肤浅,对脑神经网的运行和神经细胞的内部处理机制还没有太多的认识。 (2)尚未建立起完整成熟的理论体系目前已提出的众多人工神经网络模型,归纳起来一般都是一个由节点及其互连构成的有向拓扑网,节点间互连强度构成的矩阵可通过某种学
人工神经网络（ANN）又称神经网络，是在现代神经科学研究成果的基础上，对生物神经系统的结构和功能进行数学抽象、简化和模仿而逐步发展起来的一种新型信息处理和计算系统。由于人工神经网络具有自学习、高容错、高度非线性描述能力等优点，现已广泛应用于经济、机器人和自动控制、军事、医疗、化学等领域［l ~ 3］，并取得了许多成果。本文简要介绍人工神经网络的原理和特点，论述人工神经网络在高分子科学与工程领域的应用。 橡胶配方是决定橡胶制品性能的关键因素，由于材料配方与制品性能之间存在很复杂的非线性关系，多数情况下无法建立完整精确的理论模型，只能借助于回归方法得到经验公式。 传统的回归方法存在以下局限性： (1)使用不同的回9j方法可获得不同的经验公式，导致经验公式的繁多和不一致； (2)当配方项目及性能指标项目较多时，采用回归公式无法完全再现实验数据； (3)当实验进一步完善，实验数据增多的时候．其他人员再进行回归时，如果无法找到原来的回归方法、程序和实验数据，原来的回归公式将不能被利用，造成一定的浪费。随着计箅机的发展而出现的人工神经网络是人工智能方法．它不像回归方法那样，需预先给定基本函数，而是以实验数据为基础．经过有限次的迭代计算而获得的一个反映实验数据内在联系的数学模型，具有极强的非线性处理、自组织调整、自适应学习及容错抗噪能力，特别适用于研究像材料配方与制品性能之间关系的复杂非线性系统特性【¨】。因此，人们开始将人工神经网络应用于橡胶配方设计”J。 随着橡胶制品在各领域应用的拓展，橡胶配方设计变得越来越重要。人们进行橡胶配方设计主要有3个目的：提高制品的性能；改善加工工艺；降低生产成本。传统的橡胶配方设计方法有全因素设计、正交试验设计n_3]、均匀设计[4‘60等，而这些配方设计试验数据的处理方法无外乎方差分析和回归分析口]。由于材料的配方和性能之问存在非常复杂的非线性关系，回归分析只适合于单目标优化数据处理的模型，对于不同的性能，需要建立不同的模型，因此将其应用于配方设计有一定的局限性。近年来，发展日趋成熟的人工神经网络技术，尤其是BP神经网络凭借其结构简单、收敛速度快、预测精度高等优势越来越多地应用到橡胶配方设计试验中。 1橡胶配方设计 1．1橡胶配方设计概述 配方设计¨J是橡胶工业中的首要技术问题，在橡胶工业中占有重要地位。所谓配方设计，就是根据产品的性能要求和工艺条件，通过试验、优化、鉴定，合理地选用原材料，确定各种原材料的用量配比关系。 橡胶配方人员的主要工作就是要确定一系列变量对橡胶各项性能的定量或定性影响。变量可以是硫化剂、促进剂、填充剂、防老剂等，也可以是加工：[艺条件(如硫化温度、硫化时间等)，总之是配方人员可能控制或测得的变量。橡胶各项基本性能包括拉伸强度、撕裂强度、硬度、定伸应力等物理机械性能，以 及加工性能、光洁度、外观等。 橡胶配方设计常常是多变量的试验设计，配方设计理论和试验设计方法对于 配方设计具有重要意义。
智能控制作业 学生： 学 号： 专业班级： 7-2 采用BP 网路、RBF 网路、DRNN 网路逼近线性对象 2) 1(1)1(9.0)1()(-+-?--=k y k y k u k y ，分别进行matlab 仿真。 （一）采用BP 网络仿真 网络结构为2-6-1。采样时间1ms ，输入信号)6sin(5.0)(t k u ?=π，权值21,W W 的初值随机取值，05.0,05.0==αη。 仿真m 文件程序为： %BP simulation clear all; clear all; xite=0.5; alfa=0.5; w1=rands(2,6); % value of w1,initially by random w1_1=w1;w1_2=w1; w2=rands(6,1); % value of w2,initially by random w2_1=w2;w2_2=w2_1; dw1=0*w1; x=[0,0]'; u_1=0; y_1=0; I=[0,0,0,0,0,0]'; % input of yinhanceng cell Iout=[0,0,0,0,0,0]'; % output of yinhanceng cell FI=[0,0,0,0,0,0]'; ts=0.001; for k=1:1:1000 time(k)=k*ts;
u(k)=0.5*sin(3*2*pi*k*ts); y(k)=(u_1-0.9*y_1)/(1+y_1^2); for j=1:1:6 I(j)=x'*w1(:,j); Iout(j)=1/(1+exp(-I(j))); end yn(k)=w2'*Iout; %output of network e(k)=y(k)-yn(k); % error calculation w2=w2_1+(xite*e(k))*Iout+alfa*(w2_1-w2_2); % rectify of w2 for j=1:1:6 FI(j)=exp(-I(j))/(1+exp(-I(j))^2); end for i=1:1:2 for j=1:1:6 dw1(i,j)=e(k)*xite*FI(j)*w2(j)*x(i); % dw1 calculation end end w1=w1_1+dw1+alfa*(w1_1-w1_2); % rectify of w1 % jacobian information yu=0; for j=1:1:6 yu=yu+w2(j)*w1(1,j)*FI(j); end dyu(k)=yu; x(1)=u(k); x(2)=y(k); w1_2=w1_1;w1_1=w1; w2_2=w2_1;w2_1=w2; u_1=u(k); y_1=y(k); end figure(1); plot(time,y,'r',time,yn,'b'); xlabel('times');ylabel('y and yn');
《神经网络原理》 一、填空题 1、从系统的观点讲，人工神经元网络是由大量神经元通过极其丰富和完善的连接而构成的自适应、非线性、动力学系统。 2、神经网络的基本特性有拓扑性、学习性和稳定收敛性。 3、神经网络按结构可分为前馈网络和反馈网络，按性能可分为离散型和连续型，按学习方式可分为有导师和无导师。 4、神经网络研究的发展大致经过了四个阶段。 5、网络稳定性指从t=0时刻初态开始，到t时刻后v(t+△t)=v(t)，(t>0)，称网络稳定。 6、联想的形式有两种，它们分是自联想和异联想。 7、存储容量指网络稳定点的个数，提高存储容量的途径一是改进网络的拓扑结构，二是改进学习方法。 8、非稳定吸引子有两种状态，一是有限环状态，二是混沌状态。 9、神经元分兴奋性神经元和抑制性神经元。 10、汉明距离指两个向量中对应元素不同的个数。 二、简答题 1、人工神经元网络的特点？ 答：（1）、信息分布存储和容错性。 （2）、大规模并行协同处理。 （3）、自学习、自组织和自适应。 （4）、人工神经元网络是大量的神经元的集体行为，表现为复杂
的非线性动力学特性。 （5）人式神经元网络具有不适合高精度计算、学习算法和网络设计没有统一标准等局限性。 2、单个神经元的动作特征有哪些？ 答：单个神经元的动作特征有：（1）、空间相加性；（2）、时间相加性；（3）、阈值作用；（4）、不应期；（5）、可塑性；（6）疲劳。 3、怎样描述动力学系统？ 答：对于离散时间系统，用一组一阶差分方程来描述： X(t+1)=F[X(t)]； 对于连续时间系统，用一阶微分方程来描述： dU(t)/dt=F[U(t)]。 4、F(x)与x 的关系如下图，试述它们分别有几个平衡状态，是否为稳定的平衡状态？ 答：在图（1）中，有两个平衡状态a 、b ，其中，在a 点曲线斜率|F ’(X)|>1，为非稳定平稳状态；在b 点曲线斜率|F ’(X)|<1，为稳定平稳状态。 在图（2）中，有一个平稳状态a ，且在该点曲线斜率|F ’(X)|>1，为非稳定平稳状态。
期末大作业报告 课程名称：数字图像处理 设计题目：车牌识别 学院：信息工程与自动化学院 专业：计算机科学与技术 年级：xxxxx 学生姓名：xxxxxxx（学号xxxxxxxxxxxxx） 指导教师：xxxx 日期：20XX.6.10 教务处制 车牌识别 摘要:数字图像处理技术是20世纪60年代发展起来的一门新兴学科，随着图像处理理论和方法的进一步完善，使得数字图像处理技术在各个领域得到了广泛应用，并显示出广阔的应用前景。MATLAB既是一种直观、高效的计算机语言,同时又是一个科学计算平台。它为数据分析和数据可视化、算法和应用程序开发提供了最核心的数学和高级图形工具。根据它提供的500多个数学和工程函数，工程技术人员和科学工作者可以在它的集成环境中交互或编程以完成各自的计算。MATLAB中集成了功能强大的图像处理工具箱。由于MA TLAB语言的语法特征与C语言极为相似，而且更加简单，更加符合科技人员对数学表达式的书写格式，而且这种语言可移植性好、可扩展性强，再加上其中有丰富的图像处理函数，所以MA TLAB在图像处理的应用中具有很大的优势。车牌识别技术是智能交通系统的重要组成部分，在近年来得到了很大的发展。本文从预处理、边缘检测、车牌定位、字符分割、字符识别五个方面，具体介绍了车牌自动识别的原理。并用MATLAB软件编程来实现每一个部分,最后识别出汽车牌照。 关键词:车牌识别、数字图像处理、MATLAB
一、设计原理 车辆牌照识别系统的基本工作原理为：将摄像头拍摄到的包含车辆牌照的图像通过视频卡输入到计算机中进行预处理，再由检索模块对牌照进行搜索、检测、定位，并分割出包含牌照字符的矩形区域，然后对牌照字符进行二值化并将其分割为单个字符，然后输入JPEG或BMP 格式的数字，输出则为车牌号码的数字。牌照自动识别是一项利用车辆的动态视频或静态图像进行牌照号码、牌照颜色自动识别的模式识别技术。其硬件基础一般包括触发设备、摄像设备、照明设备、图像采集设备、识别车牌号码的处理机等，其软件核心包括车牌定位算法、车牌字符分割算法和光学字符识别算法等。某些牌照识别系统还具有通过视频图像判断车辆驶入视野的功能称之为视频车辆检测。一个完整的牌照识别系统应包括车辆检测、图像采集、牌照识别等几部分。当车辆检测部分检测到车辆到达时触发图像采集单元，采集当前的视频图像。牌照识别单元对图像进行处理，定位出牌照位置，再将牌照中的字符分割出来进行识别，然后组成牌照号码输出。 二、设计步骤 1. 提出总体设计方案: （1）车牌图像预处理方法 因为车牌图像都是在室外拍摄的，所以不可避免地会受到光照、气候等因素的影响，而且拍摄者的手部抖动与车辆的移动会造成图像的模糊。要去除这些干扰就得先对车牌图像进行预处理。由于当前数码相机的像素较高，原始图像的数据一般比较大，输入的彩色图像包含大量颜色信息，会占用较多的存储空间，且处理时也会降低系统的执行速度。因此对图像进行识别等处理时，常将彩色图像转换为灰度图像，以加快处理速度。对图像进行灰度化处理后常用的方法是图像二值化、去除背景图像、增强处理、边缘检测、滤波等处理等。
X X X X 大学 研究生考查课 作业 课程名称：智能控制理论与技术 研究生姓名：学号： 作业成绩： 任课教师(签名) 交作业日时间：2010 年12 月22 日
人工神经网络(artificial neural network，简称ANN)是在对大脑的生理研究的基础上，用模拟生物神经元的某些基本功能元件(即人工神经元)，按各种不同的联结方式组成的一个网络。模拟大脑的某些机制，实现某个方面的功能，可以用在模仿视觉、函数逼近、模式识别、分类和数据压缩等领域，是近年来人工智能计算的一个重要学科分支。 人工神经网络用相互联结的计算单元网络来描述体系。输人与输出的关系由联结权重和计算单元来反映，每个计算单元综合加权输人，通过激活函数作用产生输出，主要的激活函数是Sigmoid函数。ANN有中间单元的多层前向和反馈网络。从一系列给定数据得到模型化结果是ANN的一个重要特点，而模型化是选择网络权重实现的，因此选用合适的学习训练样本、优化网络结构、采用适当的学习训练方法就能得到包含学习训练样本范围的输人和输出的关系。如果用于学习训练的样本不能充分反映体系的特性，用ANN也不能很好描述与预测体系。显然，选用合适的学习训练样本、优化网络结构、采用适当的学习训练方法是ANN的重要研究内容之一，而寻求应用合适的激活函数也是ANN研究发展的重要内容。由于人工神经网络具有很强的非线性多变量数据的能力，已经在多组分非线性标定与预报中展现出诱人的前景。人工神经网络在工程领域中的应用前景越来越宽广。 1人工神经网络基本理论[1] 1. 1神经生物学基础 可以简略地认为生物神经系统是以神经元为信号处理单元, 通过广泛的突触联系形成的信息处理集团, 其物质结构基础和功能单元是脑神经细胞即神经元(neu ron)。(1) 神经元具有信号的输入、整合、输出三种主要功能作用行为。突触是整个神经系统各单元间信号传递驿站, 它构成各神经元之间广泛的联接。(3) 大脑皮质的神经元联接模式是生物体的遗传性与突触联接强度可塑性相互作用的产物, 其变化是先天遗传信息确定的总框架下有限的自组织过程。 1. 2建模方法 神经元的数量早在胎儿时期就已固定,后天的脑生长主要是指树突和轴突从神经细胞体中长出并形成突触联系, 这就是一般人工神经网络建模方法的生物学依据。人脑建模一般可有两种方法: ①神经生物学模型方法, 即根据微观神经生物学知识的积累, 把脑神经系统的结构及机理逐步解释清楚, 在此基础上建立脑功能模型。②神经计算模型方法, 即首先建立粗略近似的数学模型并研究该模型的动力学特性, 然后再与真实对象作比较(仿真处理方法)。 1. 3概念 人工神经网络用物理可实现系统来模仿人脑神经系统的结构和功能, 是一门新兴的前沿交叉学科, 其概念以T.Kohonen. Pr 的论述最具代表性: 人工神经网络就是由简单的处理单元(通常为适应性) 组成的并行互联网络, 它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。 1. 4应用领域 人工神经网络在复杂类模式识别、运动控制、感知觉模拟方面有着不可替代的作用。概括地说人工神经网络主要应用于解决下述几类问题: 模式信息处理和模式识别、最优化问题、信息的智能化处理、复杂控制、信号处理、数学逼近映射、感知觉模拟、概率密度函数估计、化学谱图分析、联想记忆及数据恢复等。 1. 5理论局限性 (1) 受限于脑科学的已有研究成果由于生理试验的困难性, 目前对于人脑思维与记忆机制的认识尚很肤浅, 对脑神经网的运行和神经细胞的内部处理机制还没有太多的认识。 (2) 尚未建立起完整成熟的理论体系目前已提出的众多人工神经网络模型,归纳起来一般都是一个由节点及其互连构成的有向拓扑网, 节点间互连强度构成的矩阵可通过某种学
本文首先分析了图像识别技术以及bp神经网络算法，然后详细地阐述了人工神经网络图像识别技术。 【关键词】人工神经网络 bp神经网络图像识别识别技术 通常而言，所谓图像处理与识别，便是对实际图像进行转换与变换，进而达到识别的目的。图像往往具有相当庞大的信息量，在进行处理图像的时候要进行降维、数字化、滤波等程序，以往人们进行图像识别时采用投影法、不变矩法等方法，随着计算机技术的飞速发展，人工神经网络的图像识别技术将逐渐取代传统的图像识别方法，获得愈来愈广泛的应用。 1 人工神经网络图像识别技术概述 近年来，人工智能理论方面相关的理论越来越丰富，基于人工神经网络的图像识别技术也获得了非常广泛的应用，将图像识别技术与人工神经网络技术结合起来的优点是非常显著的，比如说： （1）由于神经网络具有自学习功能，可以使得系统能够适应识别图像信息的不确定性以及识别环境的不断变化。 （2）在一般情况下，神经网络的信息都是存储在网络的连接结构以及连接权值之上，从而使图像信息表示是统一的形式，如此便使得知识库的建立与管理变得简便起来。 （3）由于神经网络所具有的并行处理机制，在处理图像时可以达到比较快的速度，如此便可以使图像识别的实时处理要求得以满足。 （4）由于神经网络可增加图像信息处理的容错性，识别系统在图像遭到干扰的时候仍然能正常工作，输出较准确的信息。 2 图像识别技术探析 2.1 简介 广义来讲，图像技术是各种与图像有关的技术的总称。根据研究方法以及抽象程度的不同可以将图像技术分为三个层次，分为：图像处理、图像分析以及图像理解，该技术与计算机视觉、模式识别以及计算机图形学等学科互相交叉，与生物学、数学、物理学、电子学计算机科学等学科互相借鉴。此外，随着计算机技术的发展，对图像技术的进一步研究离不开神经网络、人工智能等理论。 2.2 图像处理、图像识别与图像理解的关系 图像处理包括图像压缩、图像编码以及图像分割等等，对图像进行处理的目的是判断图像里是否具有所需的信息并滤出噪声，并对这些信息进行确定。常用方法有灰度，二值化，锐化，去噪等；图像识别则是将经过处理的图像予以匹配，并且对类别名称进行确定，图像识别可以在分割的基础之上对所需提取的特征进行筛选，然后再对这些特征进行提取，最终根据测量结果进行识别；所谓图像理解，指的是在图像处理与图像识别的基础上，根据分类作结构句法分析，对图像进行描述与解释。所以，图像理解包括图像处理、图像识别和结构分析。就图像理解部分而言，输入是图像，输出是对图像的描述解释。 3 人工神经网络结构和算法 在上个世纪八十年代，mcclelland与rumelhant提出了一种人工神经网络，截止现在，bp神经网络已经发展成为应用最为广泛的神经网络之一，它是一种多层前馈神经网络，包括输入层、输出层和输入层输出层之间隐藏层，如图1所示，便是一种典型的bp神经网络结构。 bp神经网络是通过不断迭代更新权值使实际输入与输出关系达到期望，由输出向输入层反向计算误差，从而通过梯度下降方法不断修正各层权值的网络。 bp神经网络结构算法如下所述： （1）对权值矩阵，学习速率，最大学习次数，阈值等变量和参数进行初始化设置； （2）在黑色节点处对样本进行输入；
神经网络原理及其应用——基于BP 人工神经网络的图像分割器 学校：东北大学 班级：电子信息工程0901班 姓名：吴戈林 学号：20092676 指导老师：王斐 时间：2012年12月
目录 人工神经网络 (3) 一、特点与优势 (3) 二、人工神经网络的主要研究方向 (4) 三、人工神经网络的应用分析 (4) 四、人工神经网络在图像分割中的应用 (6) 1.问题概述 (7) 2.基于BP 人工神经网络的图像分割器 (8) 2.1神经网络结构的确定 (8) 2. 2 神经网络结构的改进 (9) 2. 3 BP 神经网络的图像分割基本训练 (9) 2. 4 BP 神经网络的针对性训练 (10) 3.网络应用 (10) 4.结论 (11) 五、课程收获与感想 (11) 六、参考文献 (12)
人工神经网络 人工神经网络（Artificial Neural Networks，简写为ANNs）也简称为神经网络（NNs）或称作连接模型（Connectionist Model），是对人脑或自然神经网络（Natural Neural Network）若干基本特性的抽象和模拟。人工神经网络以对大脑的生理研究成果为基础的，其目的在于模拟大脑的某些机理与机制，实现某个方面的功能。国际著名的神经网络研究专家，第一家神经计算机公司的创立者与领导人Hecht Nielsen给人工神经网络下的定义就是：“人工神经网络是由人工建立的以有向图为拓扑结构的动态系统，它通过对连续或断续的输入作状态相应而进行信息处理。”这一定义是恰当的。人工神经网络的研究，可以追溯到1957年Rosenblatt提出的感知器模型(Perceptron) 。它几乎与人工智能——AI（Artificial Intelligence）同时起步，但30余年来却并未取得人工智能那样巨大的成功，中间经历了一段长时间的萧条。直到80年代，获得了关于人工神经网络切实可行的算法，以及以Von Neumann体系为依托的传统算法在知识处理方面日益显露出其力不从心后，人们才重新对人工神经网络发生了兴趣，导致神经网络的复兴。目前在神经网络研究方法上已形成多个流派，最富有成果的研究工作包括：多层网络BP算法，Hopfield网络模型，自适应共振理论，自组织特征映射理论等。人工神经网络是在现代神经科学的基础上提出来的。它虽然反映了人脑功能的基本特征，但远不是自然神经网络的逼真描写，而只是它的某种简化抽象和模拟。 一、特点与优势 人工神经网络的以下几个突出的优点使它近年来引起人们的极大关注： (1)可以充分逼近任意复杂的非线性关系； (2)所有定量或定性的信息都等势分布贮存于网络内的各神经元，故有很强的鲁棒性和容错性； (3)采用并行分布处理方法，使得快速进行大量运算成为可能； (4)可学习和自适应不知道或不确定的系统； (5)能够同时处理定量、定性知识。 人工神经网络的优越性，主要表现在三个方面： 第一，具有自学习功能。例如实现图像识别时，只在先把许多不同的图像样板和对应的应识别的结果输入人工神经网络，网络就会通过自学习功能，慢慢学会识别类似的图像。自学习功能对于预测有特别重要的意义。预期未来的人工神经网络计算机将为人类提供经济预测、市场预测、效益预测，其应用前途是很远大的。 第二，具有联想存储功能。用人工神经网络的反馈网络就可以实现这种联想。 第三，具有高速寻找优化解的能力。寻找一个复杂问题的优化解，往往需要很大的计算量，利用一个针对某问题而设计的反馈型人工神经网络，发挥计算机的高速运算能力，可能很快找到优化解。
人工神经网络的发展及应用 西安邮电学院电信系樊宏西北电力设计院王勇日期：2005 1-21 1 人工神经网络的发展 1．1 人工神经网络基本理论 1．1．1 神经生物学基础生物神经系统可以简略地认为是以神经元为信号的处理单元，通过广泛的突触联系形成的信息处理集团，其物质结构基础和功能单元是脑神经细胞，即神经元(neuron) 。 (1)神经元具有信号的输人、整合、输出三种主要功能作用行为，结构如图1 所示： (2)突触是整个神经系统各单元间信号传递驿站，它构成各神经元之间广泛的联接。 (3)大脑皮质的神经元联接模式是生物体的遗传性与突触联接强度可塑性相互作用的产物，其变化是先天遗传信息确定的总框架下有限的自组织过程。 1．1．2 建模方法神经元的数量早在胎儿时期就已固定，后天的脑生长主要是指树突和轴突从神经细胞体中长出并形成突触联系，这就是一般人工神经网络建模方法的生物学依据。人脑建模一般可有两种方法：①神经生物学模型方法，即根据微观神经生物学知识的积累，把脑神经系统的结构及机理逐步解释清楚，在此基础上建立脑功能模型；②神 经计算模型方法，即首先建立粗略近似的数学模型并研究该模型的动力学特性，然后冉与真实对象作比较（仿真处理方法）。1．1．3 概
念人工神经网络用物理町实现系统采模仿人脑神经系统的结构和功能，是一门新兴的前沿交义学科，其概念以T．Kohonen．Pr 的论述 最具代表性：人工神经网络就是由简单的处理单元（通常为适应性神经元，模型见图2）组成的并行互联网络，它的组织能够模拟生物神 经系统对真实世界物体所作出的交互反应。 1．2 人工神经网络的发展 人工神经网络的研究始于40 年代初。半个世纪以来，经历了兴起、高潮与萧条、高潮及稳步发展的较为曲折的道路。1943 年，心理学家W．S．Mcculloch 和数理逻辑学家W．Pitts 提出了M—P 模型， 这是第一个用数理语言描述脑的信息处理过程的模型，虽然神经元的功能比较弱，但它为以后的研究工作提供了依据。1949 年，心理学家D. O. Hebb提出突触联系可变的假设，根据这一假设提出的学习规律为神经网络的学习算法奠定了基础。1957 年，计算机科学家Rosenblatt 提出了著名的感知机模型，它的模型包含了现代计算机的一些原理，是第一个完整的人工神经网络。1969 年，美国著名人工智能学者M．Minsky 和S．Papert 编写了影响很大的Perceptron 一书，从理论上证明单层感知机的能力有限，诸如不能解决异或问题，而且他们推测多层网络的感知能也不过如此，在这之后近10 年，神经网络研究进入了一个缓慢发展的萧条期。美国生物物理学家J．J．Hopfield 于1982年、1984 年在美国科学院院刊发表的两篇文章，有力地推动了神经网络的研究，引起了研究神经网络的