联结主义
- 格式:doc
- 大小:40.00 KB
- 文档页数:7
人工智能的学派和发展历程人工智能的主要学派及其观点:目前,在国际人工智能界公认的研究学派主要有符号主义、联结主义和行为主义。
下面分别对这些学派作些简单介绍。
1) 符号主义:(Symbolicism),又称逻辑主义(Logicism)、心理学派(Psychlogism)或计算机学派(Computerism),是基于物理符号系统假设和有限合理性原理的人工智能学派。
符号主义认为人工智能起源于数理逻辑,人类认知(智能)的基本元素是符号(Symbol),认知过程是符号表示上的一种运算。
2) 联结主义:(Connectionism),又称仿生学派(Bionicsism)或生理学派(Physiologism),是基于神经网络及网络间的联结机制与学习算法的人工智能学派。
联结主义认为人工智能起源于仿生学,特别是人脑模型的研究。
3) 行为主意:(Actionism),又称进化主义(Evolutionism)或控制论学派(Cyberneticsism),是基于控制论和“感知---动作”型控制系统的人工智能学派。
行为主义认为人工智能起源于控制论,提出智能取决于感知和行为,取决于对外界复杂环境的适应,而不是表示和推理。
一、算术运算阶段1614年苏格兰人John Napier发表了一篇论文,其中提到他发明了一种可以进行四则运算和方根运算的精巧装置;1623年Wilhelm Schickard制作了一个能进行6 位数以内加减法运算,并能通过铃声输出答案的“计算钟”,该装置通过转动齿轮来进行操作;1625年William Oughtred发明计算尺;1642年,法国哲学家兼数学家Blaise Pascal发明了第一台真正的机械计算器——滚轮式加法器,其外观上有6个轮子,分别代表着个、十、百、千、万、十万等,只需要顺时针拨动轮子,就可以进行加法,而逆时针则进行减法,原理和手表很像,算是计算机的开山鼻祖了;1668年英国人Samuel Morl制作了一个非十进制的加法装置,适宜计算钱币;1671年德国数学家Gottfried Leibniz 设计了一架可以进行乘法运算,最终答案长度可达16位的计算工具;1822年英国人Charles Babbage设计了差分机和分析机,其设计理论非常超前,类似于百年后的电子计算机,特别是利用卡片输入程序和数据的设计被后人所采用;1834年Babbage 设想制造一台通用分析机,能够完成所有的算术运算,该分析机由四个基本部件构成:存储库、运算室、传送机构和送人取出机构,类似于现代计算机的五大装置:输入、控制、运算、存储和输出装置,因此他被公认为计算机之父;1848年英国数学家George Boole创立二进制代数学,提前近一个世纪为现代二进制计算机的发展铺平了道路;1890年美国人口普查部门希望能得到一台机器帮助提高普查效率,Herman Hollerith (后来他的公司发展成了IBM 公司)借鉴Babbage的发明,用穿孔卡片存储数据,并设计了机器,结果仅用6 周就得出了准确的人口统计数据(如果用人工方法,大概要花10 年时间)。
联结主义理论1 问题的提出与经典测验理论相比,项目反应理论(简称IRT)由于具有参数不变性、能进行计算机化自适应测验等优点而受到欢迎[1,2],但是也存在着不少问题,首先是目前比较成熟的、得到广泛应用的IRT软件,如BILOG、MicroCAT等,主要是运用极大似然法或贝叶斯方法进行项目参数和被试能力估计[3],一般都只能处理二值记分的项目,也有少数软件可以处理等级记分的项目,例如MULTILOG,但对于连续记分的项目还缺少估计方法和工具;其次是在运用BILOG、MicroCAT和MULTILOG等软件时往往需要数百人的大样本,而对于小样本则缺少有效的估计方法,因此需要另寻途径来解决这些问题。
2 联结主义理论中的级连相关模型联结主义理论(或称人工神经网络)是近年来得到广泛关注的认知心理学理论[4,5,6],它一方面可以用来模拟人的认知活动,探讨人类的信息加工机制[7],另一方面可以作为一种工具来分析系统的输入和输出之间的关系,特别是当系统的输入和输出之间难以用显性的数学方程表示时,联结主义模型就可以通过其本身的学习功能,在用一组已知的输入和输出数据对它进行训练以后,就可以在一定程度上掌握了该系统内部的输入和输出之间的关系,即建立了某种模型。
如果我们再给这个经过训练的网络模型以新的输入,那么它就可以给出相应的输出值。
因此,人们可以利用联结主义模型的这种性质来进行预测和参数估计等活动[8]。
联结主义模型通常由一个输入层、一个输出层和若干个隐含层组成,每一层中含有若干个结点,一个模型中所含的隐含层数目和各层所含结点数目,是由具体问题的性质和复杂程度来确定的。
各个结点之间的联结具有一定的权重,它的大小反映了相邻两个结点之间相互影响的程度,在模型被训练的过程中,各结点间的权重得到了调整。
联结主义模型通常可以分为静态型和动态型两种,静态型模型的拓扑结构是实验者在一开始的时候就设计好的,它的训练过程就是调节各结点之间的权重。
联结主义方法(Connectionist approaches)联结主义方法和信息加工理论观点有许多相同的地方,但联结主义重点在增加刺激和反应之间联系的强度,而不是推断抽象的语法规则和重建。
其实,在联结主义观点看来,学习必要的是改变这些联系的强度。
在心理学领域,这一观点的许多版本被提出是在20世纪40年代和50年代,但连通理论(Connectionism)作为一语、二语习得模式被得到广泛的关注是在20世纪80年代。
联结主义最著名的方法运用在二语习得中是平行分布加工(Parallel Distributed Processing,or PDP)。
它认为大量的节点或单元在大脑中相互交织成一个复杂的网络,他们对信息进行处理是同时启动的。
在学习者进行语言输入时,接触到重复的某些形式时,提取一些规则。
然后在这些规则的基础上,形成和加强这些概率性的联系。
这些节点之间的联系被叫做联结强度或激活模式,联结的强度靠频繁输入和自觉的反馈改变。
这也就说明,学习不取决于最初知识的储存(例如普遍语法)和电脑刺激形成的规则。
下面是一个例子,鲁姆哈特和麦克利兰在1986年提出的英语过去时态模型认为,儿童学习过去式的时候只有一种机制在起作用,那就是联结主义的机制。
为此做了一个实验,他们设计了一个带有模式连接器网络的系统来模拟儿童学习的过程。
发现该网络能产生U型学习效应。
U型学习效应是在上一章被提到,它常为语言学模式和规则的学习提供证据。
然而鲁姆哈特和麦克利兰设计的系统不存在规则的特征,传统的规则无法解释,只能通过联结主义的理论对其进行解释。
联结主义或平行分布加工假说不同于传统的信息加工理论在以下几个方面:1.注意力不被视为一个中心机制在指示信息单独存储记忆,信息加工理论认为可控信息与自动处理相对。
更确切的说是注意力是在局部模式中被分布到加工系统的机制。
2.信息加工不是连续的,信息在运输过程中不是像在管道里一个接一个的固定顺序,相反地它们是平行的,许多联系是同时被激活。
从联结主义到联通主义学习理论的新取向一、本文概述本文旨在探讨从联结主义到联通主义学习理论的新取向,分析两种理论的核心观点、发展历程及其对现代教育实践的影响。
联结主义学习理论强调个体神经元之间的联结过程,而联通主义学习理论则注重信息在网络中的流通和共享。
本文将首先回顾联结主义学习理论的基本概念、主要特点及其在教育领域的应用,然后阐述联通主义学习理论的核心观点及其对联结主义的超越,最后探讨联通主义学习理论对现代教育实践的重要启示和影响。
通过对这两种学习理论的深入研究,本文旨在为教育工作者提供新的视角和思考工具,以更好地理解和应对当前复杂多变的教育环境。
二、联结主义学习理论概述联结主义学习理论,也被称为行为主义学习理论,主要源自于心理学领域,尤其是行为心理学。
这一理论认为学习是通过刺激与反应之间的联结过程形成的。
在这个过程中,外部环境中的刺激会引发个体的反应,而这些反应又会在一定程度上影响后续的刺激,从而形成一种联结。
通过不断地重复和强化,这种联结会逐渐稳固,最终形成习惯或技能。
联结主义学习理论的核心观点是“刺激-反应-强化”。
它认为学习是一种被动的过程,个体通过对外部环境的刺激作出反应,并通过强化机制来巩固这些反应。
强化可以是正向的,如奖励或肯定,也可以是负向的,如惩罚或否定。
无论是哪种强化方式,其目的都是为了增强特定反应与特定刺激之间的联结。
在教育实践中,联结主义学习理论主张通过奖励和惩罚等外部手段来调控学生的学习行为。
它强调教师的权威性和主导性,认为教师应该控制学习环境,提供适当的刺激,并适时地给予强化,以引导学生形成正确的反应和习惯。
然而,联结主义学习理论也存在一些局限性。
它过于强调外部刺激和强化在学习中的作用,而忽视了学习者内部的认知过程和主观能动性。
它也无法解释一些复杂的学习现象,如高级思维、情感和社会交往等。
因此,随着认知心理学和神经科学的发展,联结主义学习理论逐渐被更为全面的学习理论所替代。
浅析联结主义思想在咨询关系建立中的应用摘要:联结主义是以单元和结点构成神经网络联结的模型。
广义咨询关系的建立也可视关系网络的联结,其中包括自我关系的联结、咨访关系的联结、与外界关系的联结三大部分,联结存在于各部分内与部分间。
关键词:新联结主义;关系网络;联结中图分类号:g642.0 文献标志码:a 文章编号:1674-9324(2013)08-0184-02一、联结主义的简述联结主义是认知心理学的分支,于上世纪80年代末开始风靡。
它把认知看成一个网络的整体活动。
网络由单元和结点构成,因此也被称之为神经网络模型。
网络是个动态的系统,单元彼此相互联结在一起,每个单元都有不同的活性,既可兴奋和抑制其他单元,也受到其他单元的兴奋和抑制。
联结主义认为心理表征就在于网络突现的整体状态与对象世界的特征相一致。
联结主义的基本特征是:①平行结构和平行处理机制;②网络以分布式表征来表征知识;③网络具有连续性的特征;④网络有很强的容错性。
二、联结主义思想与咨询关系咨询是咨询人员提供一定的心理气氛和条件,使咨询对象发现自身问题、分析问题、解决问题的过程。
咨询关系的建立在整个咨询过程中至关重要,它是特殊的人际关系,其特殊性表现在协助性、隐密性、时空性、非批判性、纯洁性五大特性。
咨询就是关系的开始、巩固、强化、结束的过程,咨询效果的质量绝大部分取决于关系的好坏。
1.当前咨询关系建立的现状。
起步晚、发展快是我国心理咨询最显著的特征。
与此同时,咨询业需求的增加与专业人员匮乏间的矛盾制约着咨询业的发展。
咨询中的各种不规范、不专业随之而生,尤为明显的是咨询关系的建立较为混乱。
科学的咨询关系大致可分权威性、平等型、有限指导型或指导型。
但经调查、采访表明,我国咨询关系大多为权威性与指导性。
从一开始咨访双方的关系就不平等、不协调。
咨询关系与一般的人际关系有本质的差别。
国内较多咨询师与来访者并没有将其与人际关系进行严格的区分。
大多较为笼统与模糊。
桑代克联结主义理论一、桑代克的主要观点1、联结主义学习论1经典案例:桑代克的联结理论是根据其对动物的实验结果提出的,其中最着名的是饿猫开迷箱的实验;一只饿猫被关在他专门设计的实验迷箱里,箱门紧闭,箱子附近放着一条鲜鱼,箱内有一个开门的旋钮,碰到这个旋钮,门便会启开;开始饿猫无法走出箱子,只是在里面乱碰撞,偶然一次碰到旋钮打开门,便得以逃出吃到鱼;经多次尝试错误,猫学会了碰旋钮以开箱门的行为;2实验结论:①学习的实质在于形成刺激—反应联结无需观念作媒介;动物是通过尝试错误而偶然获得成功的,因而学习是在情境刺激与反应之间形成联结;②人和动物遵循同样的学习律,即尝试与错误学习;③学习的过程是通过盲目的尝试与错误的渐进过程;猫并非真正“明了”或“领悟”逃脱的方法,它是通过逐渐铭记正确的反应和逐渐消除不正确的反应而学会的;22、桑代克的学习律桑代克还提出,学习要遵循三条重要的学习原则;1准备律:指学习者在学习开始时的预备定势;学习者有准备而且给以活动就感到满意,有准备而不给以活动则感到烦恼,学习者无准备而强制活动也感到烦恼;对学习的解释必须包括某种动机原则;在这里,桑代克讲的准备不是指学习前的知识准备或成熟方面的准备后来的研究表明这也是必须的,而是指学习者在开始学习时动机的准备;12练习律:指一个学会了的反应的重复将增加刺激反应之间的联结;也就是S-R联结受到练习和使用得越多,就变得越来越强;反之,变得越弱;但在他后来,他修改了这一规律,因为,他发现没有奖励的练习是无效的,重复的练习并不能无条件地增强剌激与反应之间的联结力量,单纯的练习不一定能引起进步;联结只有通过有奖励的练习才能增强;3效果律:“在刺激与反应之间形成可改变的联结,给以满意的后果联结就增强,给以不满意的后果联结就减弱;”即如果一个动作跟随以情境中一个满意的变化,在类似的情境中这个动作重复的可能性将增加;但是,如果跟随的是一个不满意的变化,这个行为重复的可能性将减少;这样我们就能看到一个人当前行为的后果对决定他未来的行为起着关键的作用;奖励是影响学习的主要因素;奖励就是感到愉快的或可能进行强化的物品、刺激或后果;但在后来,他取消了效果律中消极的或令人烦恼的部分;因为他发现惩罚并不一定削弱联结,其效果并非与奖励相对; 他指出“给一个联结以奖励总是真正加强这个联结;给一个联结以惩罚则几乎不削弱或一点也不削弱这个联结”;21933年,桑代克又找到新的证据支持了他的效果律,他将这种证据称为效果的扩散;效果的扩散是指:奖励不仅对受奖的联结产生影响,而且对时间上邻近的、刚好发生在这个受奖联结前后的联结也起作用;如果前后的联结离受奖联结越是远一步,奖励对其影响的效果就越小一分;桑代克通过他的实验发现,这种效果甚至加强了处于受奖联结附近的受罚联结;总而言之,在时间上接近孤立的受奖点或受罚点的 S-R配对的重现概率具有明显的“递增度”;这一连续的函数表明奖励的自动增强效果扩散到了时间上邻近的联结,同样,也表明了惩罚的减弱效果的扩散;2二、桑代克学习定律的启示1.激发动机,帮助学生培养兴趣桑代克的准备律告诉我们:当一个学习者作好了学习准备,即动机准备,学习就能发生;如果学习者没有作好准备,学习就不会发生或低效;因此,激发学生学习动机,帮助学生形成学习准备心理,应该成为教育的首要任务;教师不仅要把激发学生学习动机作为教育的手段,而且要把它作为教育的目标之一;只有从学生的个性特点入手,想方设法激发学生的兴趣,变“要我学”为“我要学”,学习效果才会大大改观;2.适当练习,帮助学生巩固知识学习必须经过练习之后才会有效果,才能产生学习或学习的迁移;这是桑代克的练习律揭示的内容;两千多年前,孔子也说过“学而时习之”,方能“温故而知新”;可见,重复是学习的必由之路;作为课堂结构的一个重要组成部分,练习是形成学生能力的重要阶段;在这一阶段,学生在教师的指导下,把在讲授阶段已经理解和记忆的新知识,通过独立作业转化为技能技巧;但是,简单重复的或过量的练习并不能使学习效果增强,有时侯反而会挫伤学生的学习积极性,把学生推进呆读死记的苦海;练习本身并不是一种很有效的方式,它并不会无条件地增加刺激—反应联结的力量,“不知道结果的练习不可能有助于学习;一般说来,只有当学习者发现重复练习能获得满意的效果时,练习才会有助于学习,没有强化的练习是没有意义的;”在要求学生进行练习的同时,给予及时的反馈和强化是必不可少的,没有反馈的练习哪怕次数再多,也不起作用;因此,教师在向学生布置练习时,要及时、经常、适度地给予反馈;为了提高学习效率,高水平的教师决不搞“题海”战术,把练习变成简单的机械的重复,而是精选习题,进行有指导有目的的适当的重复,使练习真正起到巩固知识、运用知识、形成技能的作用,达到“举一反三”的目的;3.及时表扬和批评,帮助学生走向成功无论是奖励或惩罚,都必须及时,“事过境迁”时再来实施就会降低效果;当学习者在学习过程中取得某些进步时,应给予适当的、及时的奖励,以巩固其学习效果,满足其心理的需要;在教学活动中,对成绩好的学生,教师应表扬他们,使他们知道自己的成功,以引起愉快的情绪,勉励他们继续努力学习;对成绩差的学生,也要多看他们的长处,看到他们的闪光点,并在他们取得进步时,给予及时的表扬,对他们作出肯定的评价;既然惩罚在学习过程中同样能起到加强效果的作用,那么,在教学过程中,惩罚也应是教师运用的手段之一;教师最常用的惩罚手段是口头批评;在某种程度上来说,批评是教师指出学生某些方面的不足或有待改进的地方而不是打击他们;对成绩好的学生,在表扬他们的同时,也要指出他们尚需努力的地方,对成绩差的学生,要使他们知道自己失败的原因,以引起苦闷的情绪,督促他们重新努力学习;总之,不论表扬或批评,只要运用得当,都能加强学生的学习效果,可怕的是教师在教学过程中对学生采用漠视的态度;参考文献1马彩虹.桑代克的学习定律及其启示J.常熟高专学报,20103.2王映学.简论桑代克的联结主义及其修正J.河西学院学报,20071.3喻穹,张太生.掌握学习规律,提高学习效率——桑代克学习规律理论的启示J.湖南第一师范学报,20033.4陈琦,刘儒德主编.当代教育心理学M.北京师范大学出版社,2007:1355罗继才.评桑代克的“效果律”与“效果扩散”J.教育研究与实验,20005.。
联结主义心理学家桑代克的工作产生了行为心理学最初的刺激一反应理论的雏形:学习是刺激和反应二者之间形成联系的结果。
这种关联或者“习惯”通过刺激一反应之间的连接的本质和频率而得到加强或者弱化。
刺激一反应理论的最初模式是试误学习,在这个过程中某种反应由于得到奖励而处于支配地位。
联结主义的证据是不需要对任何不易观察的内心状态的说明,它就足以解释学习的发生。
桑代克的理论包括三条法则:(1)效果律——对能够带来奖励的条件作出的反应能够得到强化,然后形成对那个条件产生习惯性反应。
(2)准备律一一好几种反应连接在一起以达到某个目标,如果被中断可能导致烦恼。
(3)练习律——联结通过练习得以加强,也会因为练习中断而消退。
效果律的一个推论就是,减少获得奖励的可能性的反应(即惩罚、失败),反应的强度将减弱。
联结主义理论表明学习的迁移取决于在最初的和新的学习情境中某些因素的出现情况。
也就是说,迁移从来都是具体的而不是普遍一般性的。
在后来的联结理论中引入了“相属性”的概念。
“相属性”的概念认为如果人感知到刺激或者反应同时出现,那么联结就更容易建立。
(美)肯尼斯·莫尔著.课堂教学技巧.人民教育出版社,2010.1.1、概述与历史认知心理学发展至今,一直存有两种研究取向,一种是信息加工取向,一种是联结主义取向。
前者是一种计算机隐喻,将人脑与计算机类比,认为人脑实际是一种信息加工装置和符号处理系统,具备类似计算机信息处理的一般特性:符号性、离散性、序列加工、非自组织性和局部表征。
而后者是一种人脑神经网络类比,用各种形式神经元的网络模型来模拟真实大脑的结构与功能,是一种人工神经网络,与信息加工认知心理学相比,联结主义的神经网络模型具备一些不同的特点:亚符号性、连续性、平行加工、自组织性和分布式表征。
联结主义认知心理学兴起于20世纪40年代,一般把1943年心理学家麦克洛齐和数学家匹茨发表的《神经系统中所蕴涵思想的逻辑演算》一文作为联结主义研究的开始。
他们提出了形式神经元的概念和最初的神经网络模型M-P模型,以及此后加拿大心理学家赫布提出赫布学习定律、心理学家鲁梅尔哈特提出模拟视知觉的感知机模型,开始引发了联结主义认知心理学网络模型研究的第一个高潮。
但是限于当时的条件,他们提出的模型难以解决更复杂的问题,模型的学习算法和规则不够成熟,处理能力极其有限,而在理论上又难以有所突破,加上美国人工智能权威人士明斯基和佩帕特对于感知机能力和应用前景的批评,信息加工取向的研究此时出现了巨大突破,所以对于联结主义神经网络模型研究的热情很快冷却下来,研究进入了一个长期的萧条阶段。
直到80年代初期,当信息加工认知心理学在大发展之后,发现以符号处理为基础的系统不能很好处理那些非明确定义的问题,很难处理模糊的、非完全符号表征和复杂的信息,同时这种系统不具备学习能力,不能通过经验来总结出知识。
人们意识到,要全面认识人类认知问题,仅仅信息加工研究范式是不够的。
而联结主义研究在相关学科的发展下,有了全面的进步,罗森布拉特、欣顿、安德森等提出的各自新的网络模型引起了人们的重视,再度激起人们对网络研究的热情。
1982年,美国学者霍普菲尔德提出了一种回归网络,这种网络存在一种正比于每个神经元活性和联结权重的能量函数,系统规定活性的变化朝着能量函数递减的方向,直至收敛到0。
这种模型成功的解决众多复杂性很高的计算性问题,由此开始把联结主义研究推向高潮。
1986年是联结主义研究历史上的最为鼎盛的一年,鲁梅尔哈特和麦克莱兰德编辑出版了联结主义认知心理学的圣经——《平行分布加工:认知结构的微观探索》,提出了一个基于反向传播学习算法的多层网络模型,而这种模型是今后众多神经网络模型的基础与原型。
可以说,该书奠定了联结主义网络模型研究的基础。
而之后至今的联结主义研究大致是对该模型不断完善,或基于共同的假设提出新的、更加复杂的、解决高级认知问题的模型。
2、主要模型2.1 形式神经元众观联结主义认知心理学的研究,其很大一部分是各种人工神经网络模型的研究,这些模型不仅模拟了人脑操作特性和功能,也体现了研究者所持有的联结主义认知心理学的基本观点。
在各种神经网络模型中,无论其构造如何还是具备不同的逻辑功能,它们的基本构造单元基本是一致的,基本的理论思路是一致的。
由于是对人脑神经网络的模拟,人工神经网络不可能原封不动的照搬数以几十亿计和生物形式的神经元,麦克洛奇和匹茨总结了生物神经元的基本特征,提出了形式神经元的概念,这种形式神经元具备了生物神经元一般的操作特性,但并非完全一致。
形式神经元的概念一经提出之后,就成为了所有人工神经网络的基本单位。
对于一个形式神经元来说,它具有类似生物神经元的阈限活性状态,当输入的信息强度高于某一预先确定的阈限的时候,它就会“兴奋”,其数学赋值1,否则“不兴奋”,赋值0。
同样,形式神经元与生物神经元具有多输入单输出的结构,也就是说,单个神经元的活性状态取决于多个输入信息的总的加权强度是否高于阈限。
输入信息可以是兴奋的,也可以是抑制的,同时各个输入信息具有不同的权重,权重的正负性可以代表兴奋或抑制。
权重实际的含义是一对神经元联结的强度,这种联结强度在生物神经元当中就是突触的联系强度,可以用前突触细胞所释放的媒介物质的量来表示。
这种权重设计意味着,对于被输入的神经元来说,不同输入单元对其活性的决定程度是不同的,这也意味着调节输入信息的权重可以改变网络的联结模式,这种权重联结模式实际表征着信息某些维度。
形式神经元具体一般表现六种基本功能特性:(1)输入装置,接受信息;(2)整合装置,对输入信息进行整合;(3)传导装置,传导整合信息;(4)、输出装置,发送信息于其他神经元;(5)计算装置,转换信息类型;(6)表征装置,对内部信息进行表征。
单个神经元与其他神经元结合一起构成某一层次的神经网络,而更大的神经网络模型是由多个层次的网络构建而成,每个层次的神经元不仅与自身层次的神经元有联结,也以加权的方式与其他层的神经元联结,这样构成的神经网络具备了极其复杂和强大的功能,当然在具体的不同模型中,这些层内联结和层间联结规则安排也不一致。
2.2 M-P模型麦克洛奇和匹茨的M-P模型是联结主义研究中的第一个人工神经网络模型,它首次提出了形式神经元的概念,并认为形式神经元是一种二元阈限逻辑单元,即全或无,高于阈限则兴奋,否则不兴奋。
他们的研究关心模型能否模拟逻辑系统,试图通过相互联结的神经元的激活操作来获得命题逻辑。
他们的研究构建了两个输入单元和一个可调节阈限的输出单元所构成的简单神经网络。
目的是检验这两个二元阈限逻辑单元能否计算两个命题的16个逻辑函数。
结果发现,这种简单网络只能够处理16种逻辑函数的中的14种,XOR函数即“A否则B”和其否定形式是无法用单个操作单元和两个输入单元的网络所处理。
麦克洛奇和匹茨认为,如果两个输入单元能够联结使得一个单元的状态可以控制另一个单元的状态就可以解决XOR问题。
单个二元阈限逻辑单元对XOR函数的无法解决说明这种简单网络的处理能力的有限性,或者说XOR问题需要更加复杂的网络才能够解决,这在后来加入隐单元层的多层网络结构模型当中就已体现。
而这种模型在运行当中,处理单元的活性取决于三个参数和输入单元的活性,三个参数分别是两个输入单元的权重和操作单元的阈限,三个参数的不同形成不同的网络权重模式方程。
而这种方程只有7个,每个方程可以解决1种逻辑函数与其否定形式,因此也只能处理14种两个命题的逻辑函数。
2.3 感知机模型罗森布拉特的感知机模型是引起联结主义初期高潮的重要模型,它是基于视知觉的一种神经网络模型,试图模拟人类视知觉的真实过程,能够完成学习再认的装置。
该模型的指导思想与信息加工的模式识别的理论大相径庭,他认为真实视知觉当中的模式识别是没有如模板匹配理论所述的那样存在着输入模式与已储存模式的搜索和匹配过程。
真实的模式识别是由输入信息激活已有模式而获得的,更接近真实的情况是输入的信息可能激活多个模式,其中激活量最大的会进入更高的加工。
其差异或许是前者有着有意识的搜索和匹配过程,而后者更多的一种无意识的联结。
感知机是由感知层S单元、联想层A单元和反应层R单元三层结构的视觉脑模型,其中S单元直接从环境接受输入相当于视网膜,S单元层与A单元层的联结权重固定,一个S单元可以输入信息到单个A单元,也可以输入到多个A单元。
A单元层与R单元层联结,而S单元层与R单元层不联结,A与R单元的联结权重可以根据学习而得到改变。
每一个R单元的活性由与之联结的所有A单元的加权活性强度决定,如果加权强度高于R单元预先设定的阈限,R单元就兴奋,否则则不。
由于感知机当中A单元与R单元的联结权重可以随着学习而不断调整,所以理论上,感知机可以学会将感知模式分为几类。
在最简单的双类区分任务当中,当期望输出与实际输出不符合(归类失败),网络就试图调整相应的联结权重,以获得期望输出。
它的这种在失败后调整权重的方式或者书学习算法是这样的:如果期望输出是1而实际输出是0,那么所有激活的A单元与该R单元的联结权重将增大,而如果期望输出是0而实际输出是1,那么所有激活的A单元与该R单元的联结权重会消失。
直至期望输出与实际输出是一致的时候,学习停止。
尽管罗森布拉特证明了感知机收敛理论,即只要有足够的练习,感知机能够将权重模式调整到解决一个特殊线形分类问题,但这一收敛仅当两层感知机时成立,并认为权重调整与实际输出与期望输出的误差成正比。
对于三层感知机来说,学习的有限性是难以预料的,因为如果出现一个输入结果引起的调整模式恰恰是原有模式相反方面的表现的话,那么可能会出现反复的调整模式的震荡,使得学习无法结束。
另外,如同与M-P模型一样,感知机也未能解决XOR问题。
这说明还需要更加完善和复杂的模型来模拟人脑基本运行特性2.4 三层前馈式网络模型三层前馈式网络模型是具有隐单元层的多层网络模型的一种,比较典型,其训练方法和学习规则都是由鲁梅尔哈特和麦克莱兰德在《平行分布加工:认知结构的微观探索》当中所提出。
其他多层网络模型虽然在结构上大有不同,但是在基本原理上与三层前馈式网络模型是一致的,这里就以三层前馈式网络模型来总结下具有隐含单元层的多层网络模型的基本特性。
三层前馈式网络模型是由输入层、隐单元层和输出层组成,其中输入层与输出层只与隐单元层联结,彼此不联结,与感知机不同的是,输入层与隐单元层的联结权重是可以改变的,这样具有双层可调节联结权重的网络,其处理能力将大为增加。
层与层之间的联结可以是兴奋性的,也可以是抑制性的,而层间的联结被规定为或者是抑制性,或者没有。
与上面模型类似,隐单元层和输出层单元的活性都是取决于与之联结的上层多个单元加权联结强度。