第三章 人工神经网络-5-自组织自组织竞争人工神经网络

人工神经网络的最新发展综述摘要:人工神经网络是指模拟人脑神经系统的结构和功能,运用大量的处理部件,由人工方式建立起来的网络系统。

该文首先介绍了神经网络研究动向，然后介绍了近年来几种新型神经网络的基本模型及典型应用,包括模糊神经网络、神经网络与遗传算法的结合、进化神经网络、混沌神经网络和神经网络与小波分析的结合。

最后,根据这几种新型神经网络的特点,展望了它们今后的发展前景。

关键词:模糊神经网络;神经网络与遗传算法的结合;进化神经网络;混沌神经网络；神经网络与小波分析。

The review of the latest developments in artificial neuralnetworksAbstract:Artificial neural network is the system that simulates the human brain’s structure and function, and uses a large number of processing elements, and is manually established by the network system. This paper firstly introduces the research trends of the neural network, and then introduces several new basic models of neural networks and typical applications in recent years, including of fuzzy neural network, the combine of neural network and genetic algorithm, evolutionary neural networks, chaotic neural networks and the combine of neural networks and wavelet analysis. Finally, their future prospects are predicted based on the characteristics of these new neural networks in the paper.Key words: Fuzzy neural network; Neural network and genetic algorithm; Evolutionary neural networks; Chaotic neural networks; Neural networks and wavelet analysis1 引言人工神经网络的研究始于20世纪40年代初。

人工神经网络在高分子材料领域中的应用摘要：本文简介了人工神经网络的定义、特点及分类，着重介绍了神经网络中应用得较为广泛的BP网络的结构及学习原理。

总结了神经网络在高分子材料领域中的应用，包括结构设计、性能预测以及加工优化等方面，并且指出神经网络在高分子中的应用前景以及需要解决的问题。

关键词：人工神经网络、BP算法、高分子材料、结构与性能简介人工神经网络 (artificial neural networks, ANN)又可简称神经网络，是在现代生物学研究人脑组织所取得成果的基础上提出的，它得用大量简单的处理单元广泛连接组成的复杂网络，来模拟人类大脑的神经网络结构和行为。

它的研究成果显示了人工神经网络具有人脑功能的基本特征：学习、记忆、概括、归纳和抽取等，从而解决了人工智能研究中的某些局限性。

它不同于以前人工智能领域中普遍采用的基于逻辑和符号处理的理论和方法，开辟了崭新的途径。

从50年代到80年代，人工神经网络的发展经历了兴起、低潮和复兴三个阶段[1]。

进入80年代之后，在模型建立等理论方面又取得了不少有效的成果，加上大规模集成技术的发展，为各种人工神经网络模型提供了实现的基础和应用的前景。

在短时间内，人工神经网络的研究异军突起，研究热潮方兴未艾。

目前，人工神经网络理论的应用已渗透到各领域并取得了非常令人鼓舞的进展，成为信息科学、脑神经科学和数理科学的“热点”之一，现已广泛应用于经济、机器人和自动控制、军事、医疗、化学等领域[1~5]。

1.人工神经网络在高分子材料结构设计的应用在化学和材料科学研究的许多领域中，自动化仪器为科学家们提供了非常大量的各种各样的数据。

现今困挠科学工作者主要问题已不是如何收集数据，而是如何从大量数据中提取有价值的信息，人工神经网络便是其中颇具特色的解决途径之一。

由于高分子结构中存在着不确定性，比如化学反应、聚集态结构都是极为复杂的，这就使得具有非线性和自适应性等优点的神经网络非常适合应用于高分子科学的研究。

人工神经网络的模型:人工神经元的模型、常用的激活转移函数、MP模型神经元人工神经元的主要结构单元是信号的输入、综合处理和输出人工神经元之间通过互相联接形成网络，称为人工神经网络神经元之间相互联接的方式称为联接模式。

相互之间的联接强度由联接权值体现。

在人工神经网络中，改变信息处理及能力的过程,就是修改网络权值的过程.人工神经网络的构造大体上都采用如下的一些原则：由一定数量的基本神经元分层联接；每个神经元的输入、输出信号以及综合处理内容都比较简单；网络的学习和知识存储体现在各神经元之间的联接强度上。

神经网络解决问题的能力与功效除了与网络结构有关外，在很大程度上取决于网络激活函数。

人工神经网络是对人类神经系统的一种模拟。

尽管人类神经系统规模宏大、结构复杂、功能神奇,但其最基本的处理单元却只有神经元。

人工神经系统的功能实际上是通过大量神经元的广泛互连,以规模宏伟的并行运算来实现的。

人工神经网络模型至少有几十种,其分类方法也有多种。

例如,若按网络拓扑结构，可分为无反馈网络与有反馈网络；若按网络的学习方法，可分为有教师的学习网络和无教师的学习网络；若按网络的性能，可分为连续型网络与离散型网络，或分为确定性网络与随机型网络;若按突触连接的性质,可分为一阶线性关联网络与高阶非线性关联网络。

人工神经网络的局限性：(1) 受到脑科学研究的限制：由于生理实验的困难性，因此目前人类对思维和记忆机制的认识还很肤浅,还有很多问题需要解决；（2) 还没有完整成熟的理论体系；(3）还带有浓厚的策略和经验色彩；（4）与传统技术的接口不成熟。

如果将大量功能简单的形式神经元通过一定的拓扑结构组织起来，构成群体并行分布式处理的计算结构，那么这种结构就是人工神经网络，在不引起混淆的情况下，统称为神经网络。

根据神经元之间连接的拓扑结构上的不同，可将神经网络结构分为两大类：分层网络相互连接型网络分层网络可以细分为三种互连形式： 简单的前向网络； 具有反馈的前向网络； 层内有相互连接的前向网络.神经网络的学习分为三种类型：有导师学习、强化学习无导师学习有导师学习：必须预先知道学习的期望结果-—教师信 息，并依此按照某一学习规则来修 正权值。

人工神经网络原理及其应用1.人工神经网络的概念：人工神经网络是对人脑或生物神经网络若干基本特性的抽象和模拟。

2.生物神经网络：由中枢神经系统（脑和脊髓）及周围神经系统（感觉神经、运动神经等）所构成的错综复杂的神经网络，其中最主要的是脑神经系统。

3.人工神经网络原理：因为人工神经网络是模拟人和动物的神经网络的某种结构和功能的模拟，所以要了解神经网络的工作原理，所以我们首先要了解生物神经元。

生物神经元它包括，细胞体：由细胞核、细胞质与细胞膜组成，轴突是从细胞体向外伸出的细长部分，也就是神经纤维。

轴突是神经细胞的输出端，通过它向外传出神经冲动；树突是细胞体向外伸出的许多较短的树枝状分支。

它们是细胞的输入端，接受来自其它神经元的冲动。

突触是神经元之间相互连接的地方，既是神经末梢与树突相接触的交界面。

对于从同一树突先后传入的神经冲动，以及同一时间从不同树突输入的神经冲动，神经细胞均可加以综合处理，处理的结果可使细胞膜电位升高，对于从同一树突先后传入的神经冲动，以及同一时间从不同树突输入的神经冲动，神经细胞均可加以综合处理，处理的结果可使细胞膜电位升高。

当输入的冲动减小，综合处理的结果使膜电位下降，当下降到阀值时。

细胞进入抑制状态，此时无神经冲动输出。

“兴奋”和“抑制”，神经细胞必呈其一。

人工神经网络的工作原理与生物神经网络原理类似，但却又不相同，其主要是通过建立一些数学模型，去模拟生物神经网络。

4.神经网络的结构：(1)前馈型：本层每个神经元只作用于下一层神经元的输入，不能直接作用于下下一层的神经元，且本层神经元之前不能互相租用。

(2)反馈型：即在前馈型的基础上，输出信号直接或间接地作用于输入信号。

5.神经网络的工作方式：(1)同步（并行）方式：任一时刻神经网络中所有神经元同时调整状态。

(2)异步（串行）方式：任一时刻只有一个神经元调整状态，而其它神经元的状态保持不变。

6.人工神经网络的应用：经过几十年的发展，神经网络理论在模式识别、自动控制、信号处理、辅助决策、人工智能等众多研究领域取得了广泛的成功。

人工神经网络人工神经网络（Artificial Neural Network-ANN），简称为神经网络（NN）：是以计算机网络系统模拟生物神经网络的智能计算系统，是对人脑或自然神经网络的若干基本特性的抽象和模拟。

生物神经系统1生物神经元●树突：接受刺激并将兴奋传入细胞体；每个神经元可以有多个；●轴突：把细胞体的输出信号导向其他神经元；每个神经元只有一个；●突触：是一个神经细胞的轴突和另一个神经细胞树突的结合点。

神经元的排列和突触的强度确立了神经网络的功能。

神经元主要由细胞体、树突、轴突和突触组成。

每个神经元约与104-105个神经元通过突触联接。

突触A B生物神经元1.1 生物神经网生物神经网络的六个基本特征：1）神经元及其联接；2）神经元之间的联接强度决定信号传递的强弱；3）神经元之间的联接强度是可以随训练改变的；4）信号可以是刺激作用的，也可以是抑制作用的；5）一个神经元接受的信号的累积效果决定该神经元的状态；6)每个神经元可以有一个“阈值”。

2019/6/107生物神经元人工神经元抽象1+n i i i v w x b==∑()y f v =1.2 人工神经网阈值M-P模型●w称为权重（weight）,一个input(输入)都与一个权重w相联系；如果权重为正，就会有激发作用；权重为负，则会有抑制作用.●圆的‘核’是一个函数，确定各类输入的总效果，它把所有经过权重调整后的输入全部加起来，形成单个的激励值。

1n i i i v w x b==+∑()y f v =●阈值/偏置：决定神经元能否被激活，即是否产生输出。

●激活函数/传递函数/转移函数：神经元的信息处理特性，对所获得的输入的变换。

()y f v=1,0()0,0x f x x ≥⎧=⎨<⎩1n i i i v w x b ==+∑1()n i i i f y w x b ==+∑单层感知器☐感知器的模式识别超平面（分类边界）是：1Ni i i w x b =+=∑11220w x w x b ++=当N维数是2是，分类的超平面是一条直线☐感知器实质是一个分类器。

人工神经网络的定义
人工神经网络的定义
人工神经网络（Artificial Neural Networks，简写为ANNs）也简称为神经网络或称作连接模型，是对人脑或自然神经网络若干基本特性的抽象和模拟。

人工神经网络以对大脑的生理研究成果为基础的，其目的在于模拟大脑的某些机理与机制，实现某个方面的功能。

国际着名的神经网络研究专家，第一家神经计算机公司的创立者与领导人Hecht Nielsen给人工神经网络下的定义就是：“人工神经网络是由人工建立的以有向图为拓扑结构的动态系统，它通过对连续或断续的输入作状态相应而进行信息处理” 这一定义是恰当的。

人工神经网络的研究，可以追溯到1957年Rosenblatt提出的感知器模型（Perceptron）。

它几乎与人工智能——AI同时起步，但30余年来却并未取得人工智能那样巨大的成功，中间经历了一段长时间的萧条。

直到80年代，获得了关于人工神经网络切实可行的算法，以及以Von Neumann体系为依托的传统算法在知识处理方面日益显露出其力不从心后，人们才重新对人工神经网络发生了兴趣，导致神经网络的复兴。

目前在神经网络研究方法上已形成多个流派，最富有成果的研究工作包括：多层网络BP算法，Hopfield网络模型，自适应共振理论，自组织特征映射理论等。

人工神经网络是在现代神经科学的基础上提出来的。

它虽然反映了人脑功能的基本特征，但远不是自然神经网络的逼真描写，而只是它的某种简化抽象和模拟。

1 人工神经网络概述人工神经网络(Artificial Neural Networks, ANNs)作为机器学习领域非常经典和实用的学习算法,在很多应用领域已经得到了广泛应用. 1943年, W.S. McCulloch和W. Pitts开创性的提出了一种服从兴奋和抑制变化的M-P模型.1969年, M. Minsky等人在充分考虑已有的神经网络系统的优劣点之后,在撰写的《Perceptron》中指出了已有感知器在处理一些具体问题中的不足之处. J. J.Hopfield在其构建的网络模型中引入了“计算能量”概念,并且对构建网络进行了稳定性分析,极大地推进了神经计算的发展.如今,人工神经网络已经有自组织映射、反馈网络和Hopfield网络等近40种模型,每种网络模型都有着各自的特点.人工神经网络的研究已经得到许多学者的广泛关注,作为人工智能和机器学习的一个重要的组成部分,相应的网络结构和优化算法也日趋完善.人工神经网络是利用仿生学原理构建的用于信息处理的数学模型,能够很好的模拟大脑神经系统的信息传播机制.该网络模型是按照一定的规律由许多隐层节点(神经元)相互连接而成,通过神经元相互作用的动态过程来完成信息处理.每个节点处均设置有一个加和器和一个激活函数(Activation Function),相邻隐层之间的节点通过权值(连接权)连接.这种网络通过增加隐层数和每层神经元个数来提高网络复杂程度,并通过调整相应的连接权值来达到处理信息的目的.在大多数网络模型中,节点间的权值是借助特定的优化算法,通过迭代的方式来最终确定的.网络的迭代通常是在达到一定的训练精度或者一定的迭代次数上限时终止.于此同时,网络的连接权值也最终确定,该过程也可以认为是构造的人工神经网络的“记忆”过程.这样就达到了用网络参数学习的方法来模拟给定样本输入和输出之间的潜在规律的效果,然后利用已得到的网络对该类型的其它数据进行预测,也称之为网络的泛化过程.以下列举了神经网络的几个特征:(1)自适应和自组织能力:在网络参数的优化过程中,通过特定的算法来调节连接权,从而达到学习样本输入和输出之间潜在关系的目的,并利用训练得到的网络,对同类型的测试样本输出进行预测.(2)泛化能力:如果选取的训练样本分布比较均匀,并且数量足够.一般情况下,得到的网络就有很好的预测能力和泛化效果.(3)非线性映射能力:在其他的经典方法中,处理复杂问题(特别是已知信息量较少的情况下)时,效果欠佳.而神经网络中,特别是在选取适当的激活函数的情况下,可以再对未知的样本输入和输出之间潜在关系没有太多了解的情况下,达到很好的稳定的泛化效果.(4)高度并行性:该特点并未得到所有学者的肯定,但是人工神经网络是利用仿生学原理,从生物神经系统的信息传播机制抽象得到的数学模型.人在日常生活中可以同时去做许多事,从模拟的层面来讲,高度并行性也应该能够在人工神经网络的工作机制中得到体现.2 ELM 算法概述由于传统的人工神经网络中,网络的隐层节点参数是通过一定的迭代算法进行多次优化并最终确定的。