递归神经网络概述 一、引言 人工神经网络的发展历史己有60多年，是采用物理可实现的系统模仿人脑神经细胞的结构和功能，是在神经生理学和神经解剖学的基础上，利用电子技术、光学技术等模拟生物神经网络的结构和功能原理而发展起来的一门新兴的边缘交叉学科，（下面简称为神经网络，NeuralNetwork）。这些学科相互结合，相互渗透和相互推动。神经网络是当前科学理论研究的主要“热点”之一，它的发展对目前和未来的科学技术的发展将有重要的影响。神经网络的主要特征是：大规模的并行处理、分布式的信息存储、良好的自适应性、自组织性、以及很强的学习能力、联想能力和容错能力。神经网络在处理自然语言理解、图像识别、智能机器人控制等方面具有独到的优势。与冯?诺依曼计算机相比，神经网络更加接近人脑的信息处理模式。 自从20世纪80年代，Hopfield首次提出了利用能量函数的概念来研究一类具有固定权值的神经网络的稳定性并付诸电路实现以来，关于这类具有固定权值 神经网络稳定性的定性研究得到大量的关注。由于神经网络的各种应用取决于神经网络的稳定特性，所以，关于神经网络的各种稳定性的定性研究就具有重要的理论和实际意义。递归神经网络具有较强的优化计算能力，是目前神经计算应用最为广泛的一类神经网络模型。 根据不同的划分标准，神经网络可划分成不同的种类。按连接方式来分主要有两种：前向神经网络和反馈（递归）神经网络。前向网络主要是函数映射，可用于模式识别和函数逼近。递归神经网络因为有反馈的存在，所以它是一个非线性动力系统，可用来实现联想记忆和求解优化等问题。由于神经网络的记亿信息都存储在连接权上，根据连接权的获取方式来划分，一般可分为有监督神经网络、无监督神经网络和固定权值神经网络。有监督学习是在网络训练往往要基于一定数量的训练样木。在学习和训练过程中，网络根据实际输出与期望输出的比较，进行连接权值和阂值的调节。通常称期望输出为教师信号，是评价学习的标准。最典型的有监督学习算法是BP（BackProPagation算法。对于无监督学习，无教师信号提供给网
收稿日期:2010-08-20;修回日期:2010-11-20 基金项目:国家自然科学基金(61003040);南京邮电大学校科研基金(NY210043) 作者简介:王传栋(1971-),男,讲师,硕士,研究方向为神经网络与模式识别、数据仓库与数据挖掘;杨雁莹,副教授,硕士,研究方向为软件工程与数据库、数据挖掘。 自联想记忆神经网络研究 王传栋1,2 ,杨雁莹 3 (1.南京邮电大学计算机学院,江苏南京210003;2.南京邮电大学计算机技术研究所,江苏南京210003;3.南京森林警察学院信息技术系,江苏南京210046) 摘 要:自联想记忆神经网络能模拟人脑思维和机器智能,具有信息分布式存储和内容可寻址访问的重要特征,是人工神经网络研究的一个重要分支。介绍了开创自联想记忆神经网络研究先河的H opfi e l d 联想记忆神经网络模型,分析了该模型的优缺点;然后在系统分析现有自联想记忆神经网络相关研究文献的基础上,从学习算法、体系结构和应用领域三个方面对自联想记忆神经网络的研究进展进行了归纳阐述;总结了自联想记忆神经网络目前存在的主要问题,并且预测了其未来的发展趋势。 关键词:神经网络;自联想记忆;智能信息处理 中图分类号:TP183 文献标识码:A 文章编号:1673-629X (2011)03-0109-04 R esearch on Auto -A ssociative M e mory N eural Net works WANG Chuan-dong 1,2 ,YANG Y an-y i n g 3 (1.C o ll eg e o f C om pu t e r ,N anji ng U n i v ersity o f Po sts &T e lecomm un ica ti ons ,N anji ng 210003,Ch i na ;2.Institute o f Com puter T echno l o gy,N an ji ng U niversity of Po sts &T elecomm un i cati o ns ,N an ji ng 210003,Ch i na ;3.D epart m en t o f Info r m ati on and T echno logy,N an jing C o llege o f Fo restry Po li ce ,N an jing 210046,Ch i na) A bstract :A s an i m portant arti fici al n eural n et w o rk ,au t o -associ ative m e m ory m odel (AM )can b e e m p l oyed t o m i m i c hum an t h i nk i ng and m ach i ne i n t elli gence ,w h i ch has m assi vely parallel distri bu t ed con fi gurati on and con t en t-addressab l e ab ility .In th i s pap er ,i n troduce i n detail t he H opfi eld A ss ociati veM e m ory (HAM )n eural net w ork w h i ch has y i e l ded a great i m pact on t he devel opm en t of au t o-ass oc i ativem e m ory m ode,l and an al yze HAM s st rongpo i n t and d ra w back.S econd l y,focu si ng on the existi ng re l evan t research literatures ,presen t a s urvey of au t o -ass o ci ativem e m ory m odels from t he three aspects such as l earn i ng a l gorit hm,n et w ork arch itecture and p ractical app licati on;Fi na ll y ,s umm ari z e t h e m ai n questi on w h i ch au t o -associ ativem e m ory m odels are faced w it h at presen,t and forecast its fu t ure devel opm en t tendency. K ey words :neural net w o r k;au t o-ass oc i ati v em e m ory;i n t elli gen t i n for m ation p rocessi ng 0 引 言 长期以来,为了模仿人脑功能,构造出具有类人智能的人工智能系统,人们对大脑的工作机制和思维的本质作了大量的研究工作。人工神经网络就是这样一种能够模仿和延伸人脑智能、思维和意识等功能的自适应动力学系统。联想记忆模型作为人工神经网络研究的一个重要分支,具有信息分布式存储和内容可寻址访问的重要特点,能模拟人脑简单的思维功能,通过 联想回忆出不完整的输入,特别适用于处理含噪和不确定的信息,因此在内容可寻址存储、智能搜索和检索、优化计算、纠错编码、智能控制、图像压缩、模式识别和知识推理等方面获得了极为广泛的应用,成为当今神经计算主要研究课题之一 [1] 。 迄今为止,作为人工神经网络研究的一个重要分支,联想记忆模型的研究已经取得了丰硕的成果,涉及到自联想、异联想、序列联想、多向联想和多对多联想等各种联想模式 [2] ,研究重点主要包括体系结构、学习 算法和实际应用。文中在系统调研现有自联想记忆神经网络相关研究文献的基础上,结合我们在该领域的研究成果,首先详细介绍了著名的Hopfield 联想记忆模型(H opf i e l d A ssociati ve M e m ory ,HAM ),接着归纳阐述了自联想记忆神经网络的研究进展,最后总结了自联想记忆神经网络目前存在的主要问题,并且预测 第21卷 第3期2011年3月 计算机技术与发展COM PUTER TECHNOLOGY AND DEVELOP M ENT V o. l 21 N o .3M ar . 2011
情景联想的记忆方法 情景联想法，是指根据文字内容展开想象，同时通过加入额外的动作、故事、逻 辑等，把前后文的图像联起来，构想出生地活泼的、连续情景的一种记忆方法。 情景联想的记忆方法： 情景记忆法记忆短诗 我们来看《六月二十七日望湖楼醉书》(宋?苏轼)这首诗： 黑云翻墨未遮山，白雨跳珠乱入船。 卷地风来忽吹散，望湖楼下水如天。 诗句翻译：黑云翻滚如同打翻的墨砚与远山纠缠，一会儿我的小船突然多了一些 珍珠乱窜，那是暴虐的雨点。一阵狂风平地而来，将暴雨都吹散。当我逃到望湖楼上，喝酒聊天，看到的却是天蓝蓝，水蓝蓝。 死记硬背：把这首诗读很多遍，脑海中没有图像或者并不关注脑海中的图像。 情景联想：我正坐着船在西湖上游玩，忽然，大片黑云飘了过来，把山顶都遮住了，大滴大滴的雨点像珠子一样“啪嗒啪嗒”地跳到船上，弄得我无处躲藏。正当我着 急的时候，忽然，一阵卷地风刮了过来，把暴雨都吹散了，我赶紧跑到望湖楼上喝酒，往下一看，楼下的水清澈地倒映着蓝天。 如果根据翻译的文字展开想象，也同样有图像感，这比起死记硬背也要好很多， 但是缺乏连续的情景感，这是运用普通理解记忆方法的弊端。而情景联想的优点恰好 是更具有连续的情景感。例如，刚开始的时候加入了“我正坐着船在西湖上游玩”，然 后第一句和第二句之间，加入了“正当我着急的时候”。这样，整个画面就更像一个有 场景、有情节的连续故事。 情景联想的作用，就是让我们大脑里的图像能够像电影情节那样连续展现，以获 得最佳的记忆效果。从记忆的角度来看，短的诗，上下文之间本来也不容易脱节，所 以情景联想法的威力并不那么明显。 情景记忆法记忆长诗 我们再举一首稍微长一点的诗来作说明。 例如《题破山寺后禅院》(唐?常建)这首诗： 清晨入古寺，初日照高林。
神经网络与matlab仿真 摘要 随着技术的发展，人工神经网络在各个方面应用越来越广泛，由于matlab仿真技术对神经网络的建模起着十分重要的作用，因此，本文通过讨论神经网络中基础的一类——线性神经网络的matlab仿真，对神经网络的matlab仿真做一个基本的了解和学习。 关键词：人工神经网路matlab仿真线性神经网络 1 神经网络的发展及应用 人工神经网络（Artificial Neural Network，简称ANN）是一种高度并行的信息处理系统，它具有高度的容错性，自组织能力和自学习能力；它以神经科学的研究成果为基础，反映了人脑功能的若干基本特性，对传统的计算机结构和人工智能方法是一个有力的挑战，其目的在于探索人脑加工、储存和搜索信息的机制，进而应用于人工智能系统。 1.1 神经网络的研究历史及发展现状 神经网络的研究已有较长的历史。1943年，心理学家McCulloch和数学家Pitts合作提出形式（兴奋与抑制型）神经元的数学模型（MP模型），开创了神经科学理论研究的时代。1944年，Hebb提出了神经元连接强度的修改规则，它们至今仍在各种神经网络模型中起着重要作用。50年代末60年代初，开始了作为人工智能的网络系统的研究。1958年，F.Rosenblatt首次引进了模拟人脑感知和学习能力的感知器概念，它由阈值性神经元组成。1962年，B.Widrow提出的自适应线性元件（adaline），具有自适应学习功能，在信息处理、模式识别等方面受到重视和应用。在这期间，神经网络大都是单层线性网络。此时，人们对如何解决非线性分割问题很快有了明确的认识，但此时，计算机科学已被人工智能研究热潮所笼罩。80年代后，传统的数字计算机在模拟视听觉的人工智能方面遇到了物理上不能逾越的基线，此时，物理学家Hopfield提出了HNN模型，引入了能量函数的概念，给出了网络稳定性的判据，同时开拓了神经网络用于联想记忆和优化计算的新途径。神经网络的热潮再次掀起。此后，Feldmann和Ballard 的连接网络模型指出了传统的人工智能“计算”与生物的“计算”的不同点，给出了并行分布的计算原则；Hinton和Sejnowski提出的Boltzman机模型则急用了统计物理学的概念和方法，首次采用了多层网络的学习算法，保证整个系统趋于全局稳定点；Rumelhart和McClelland等人发展了多层网络的BP算法；Kosko提出了双向联想记忆网络；Hecht-Nielsen提出了另一种反向传播网络，可用于图像压缩和统计分析；Holland提出了分类系统类似于以规则为基础的专家系统。这些努力为神经网络的后期发展奠定了牢固的基础。 目前，神经网络在研究方向上已经形成多个流派，包括多层网络BP算法，Hopfield网络模型，自适应共振理论（ART），自组织特征映射理论等。1987年，IEEE在San Diego召开大规模的神经网络国际学术会议，国际神经网络学会也随之诞生。 迄今为止的神经网络研究。大体可分为三个大的方向：
联想记忆真奇妙 授课日期：年月日 一、辅导目标 1、知识目标：简单了解什么是记忆。 2、能力目标：学会在学习和生活中灵活运用联想记忆法。 3、情感目标：培养联想的兴趣。 二、教学重点：培养联想的兴趣。 三、教学难点：学会在学习和生活中灵活运用联想记忆法 四、教学准备：多媒体课件 五、教学方法：讨论法、讲授法 五、设计思路 通过丰富多彩的活动让学生领悟联想记忆的奇妙。在暖身操活跃气氛的基础上，小故事大道理通过一个有趣的故事，告诉学生什么是联想记忆，让学生初步体会它的妙处。接着，教给学生三种具体的联想记忆法，让学生尝试。然后给出三组词，让学生进行实践。再通过奇思妙想进行拓展。从而使学生喜欢上联想记忆，并在学习和生活中有意识地运用联想记忆法。 六、教学过程 1、暖身操 1、想一想，有什么方法能在30秒内记住这些数字？ 5 8 12 15 19 22 2 6 29 2、“木”通过怎样的变化才能和“雪”联系起来？ 木——柴、柴——火、、、 、——雪 教师：先给学生一组（例1）数字，告诉他们要在30秒内记住这些数字，同时告诉他们会用时钟帮他们计时。时间到时，请几个学生回答他记住哪些数字并写在黑板上，以免忘记了学生答案，看是否有学生能在30秒内记住这些数字？如果有学生能在30秒内记住那些数字，要求学生起来跟大家一起分享他的方法；如果没有学生做到，重现数字，引导学生对这些数字进行观察，并找出其中的规律，再问学生现在能否在30秒内记住这些数字？做完第一题，引导学生明白，要记忆好和牢可以通过找它们其中规律；使学生明白机械记忆，比较难。第二题给学生一个字“木”，要求学生经过5步后，能与“雪”联系在一起，先给学生做出两个引导，使学生可以通过组词使“木”和“雪”联系起来，等学生做完之后，再请几个学生起来回答。然后总结几个学生的答案，看多出了多少个字，问学生除了记住了“木”和“雪”，还记住了哪些字？使学生明白，要记忆多，可以给事物嫁接桥梁，桥梁越多，记住的东西就越多，初步体验联想记忆的妙处。 学生：…… 2、导入新课 （1）小故事大道理 三国时期的吴国大将军周瑜小时候记忆力非常好。有一天，他的外公从外面买回7坛酒、9条鳝鱼、8条泥鳅，一共花了159两银子。过了一个星期，外公问他，那天买了些什么，花了多少银子，记不记得？ 周瑜胸有成竹地指着自己的脑袋说：“都在这儿装着呢！那天外公你买了7坛白酒（79）、9条鳝鱼（93）、8条泥鳅（泥巴），一共一壶酒（159）两银子”外公听后又惊又喜，连连称赞。 教师：请一个学生给同学念故事一段故事，然后把数字遮起来，问学生周瑜能否回答对外公的问题？接着学生是周瑜，能否回答对呢？请几个学生起来试着回答，同样，对那些会回答
神经网络算法及模型 思维学普遍认为，人类大脑的思维分为抽象（逻辑）思维、形象（直观）思维和灵感（顿悟）思维三种基本方式。 人工神经网络就是模拟人思维的第二种方式。这是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。神经网络的研究内容相当广泛，反映了多学科交叉技术领域的特点。主要的研究工作集中在以下几个方面： （1）生物原型研究。从生理学、心理学、解剖学、脑科学、病理学等生物科学方面研究神经细胞、神经网络、神经系统的生物原型结构及其功能机理。 （2）建立理论模型。根据生物原型的研究，建立神经元、神经网络的理论模型。其中包括概念模型、知识模型、物理化学模型、数学模型等。 （3）网络模型与算法研究。在理论模型研究的基础上构作具体的神经网络模型，以实现计算机模拟或准备制作硬件，包括网络学习算法的研究。这方面的工作也称为技术模型研究。 （4）人工神经网络应用系统。在网络模型与算法研究的基础上，利用人工神经网络组成实际的应用系统，例如，完成某种信号处理或模式识别的功能、构作专家系统、制成机器人等等。 纵观当代新兴科学技术的发展历史，人类在征服宇宙空间、基本粒子，生命起源等科学技术领域的进程中历经了崎岖不平的道路。我们也会看到，探索人脑功能和神经网络的研究将伴随着重重困难的克服而日新月异。 神经网络和粗集理论是智能信息处理的两种重要的方法,其任务是从大量观察和实验数据中获取知识、表达知识和推理决策规则。粗集理论是基于不可分辩性思想和知识简化方法,从数据中推理逻辑规则,适合于数据简化、数据相关性查找、发现数据模式、从数据中提取规则等。神经网络是利用非线性映射的思想和并行处理方法,用神经网络本身的结构表达输入与输出关联知识的隐函数编码,具有较强的并行处理、逼近和分类能力。在处理不准确、不完整的知识方面,粗集理论和神经网络都显示出较强的适应能力,然而两者处理信息的方法是不同的,粗集方法模拟人类的抽象逻辑思维,神经网络方法模拟形象直觉思维,具有很强的互补性。 首先,通过粗集理论方法减少信息表达的属性数量,去掉冗余信息,使训练集简化,减少神经网络系统的复杂性和训练时间;其次利用神经网络优良的并行处理、逼近和分类能力来处理风险预警这类非线性问题,具有较强的容错能力;再次,粗集理论在简化知识的同时,很容易推理出决策规则,因而可以作为后续使用中的信息识别规则,将粗集得到的结果与神经网络得到的结果相比较,以便相互验证;最后,粗集理论的方法和结果简单易懂,而且以规则的形式给出,通过与神经网络结合,使神经网络也具有一定的解释能力。因此,粗集理论与神经网络融合方法具有许多优点,非常适合处理诸如企业战略风险预警这类非结构化、非线性的复杂问题。 关于输入的问题--输入模块。