短时记忆的视觉和听觉编码

实验编号：2013.2.8.3 2013学年第2学期记忆的视觉和听觉编码专业年级：应用心理2012级实验组别：实验者：李德輝10120320139其他成员：实验时间：摘要短时记忆的编码方式是认知心理学研究中的一个重要问题，存在视觉编码、听觉编码、语义编码等多种观点。

减数法是反应时研究的传统方法，应用于当代认知心理学中为探明认知加工过程提供了一条途径。

波斯纳（Posner，1967，1969）将减数法应用于短时记忆编码的研究中，以音同形同、音同形异、音异形异的字母对为实验材料，让被试做出同/异判断，分析其反应时，得出某些情境中短时记忆中信息编码的规律：先形成视觉编码，再转化成听觉编码。

本实验将对该经典实验进行重复验证，并对实验中减数法原理的运用进行初步讨论。

关键词短时记忆视觉编码听觉编码减数法延迟时间1 引言短时记忆（Short-term Memory）是指脑中的信息在一分钟之内加工编码的记忆。

它建立在感觉记忆的基础上，是信息加工系统的核心。

感觉记忆中的信息是无意识的，也是未经加工的感觉痕迹，而短时记忆中的信息是来自于感觉记忆并对其进行操作、加工，是正在操作的、活动的记忆，只有当那些被加工、处理和编码后的信息才能被转入长时记忆中储存，否则就会遗忘。

短时记忆的刺激编码方式一直是认知心理学的重要问题之一。

一般认为，关于短时记忆的编码方式有四种观点：一、信息的编码是一听觉形式表征的，即听觉编码。

人们在对刺激信息进行编码时是根据刺激信息的名称进行编码，如果名称相同和意义相同，就作出相同判断，并与长时记忆中的信息建立联系。

二、信息编码根据外形轮廓进行，即视觉编码。

如果信息的外形轮廓相同，无论其形状、大小或其他物理特征是否相同，都会作出相同的判断。

三、信息以语义编码的形式进行加工，即根据刺激的语义特征进行编码。

四、短时记忆中同时存在上述三种或两种编码过程。

康拉德（R.Conrad，1963，1964）以发音相似的一系列字母为材料，要求被试进行回忆，发现被试对发音相似的字母产生的听觉混淆多于发音不同的字母，占总错误的80%。

并据此认为短时记忆的编码具有听觉性质。

之后，威克尔格伦（Wichelgren，1965）用数字和字母混合进行实验，也证明了短时记忆中存在听觉编码。

但这些研究未能排除语义编码在刺激编码中的作用。

考夫曼和威尔逊（Kaufuman & Wilson）对短时记忆的视觉编码进行了研究，对猴子进行的图形识别实验（Kaufuman & Wilson，1971）证明猴子进行短时记忆时，只能对刺激进行视觉编码。

波斯纳等（Posner，1967，1969）的实验表明，至少在部分时间内，短时记忆的信息是以视觉编码形式进行的。

短时记忆的语义编码也获得了部分实验支持，如威肯斯（Wickens，1970，1972）对前摄抑制现象的研究，舒尔曼（Shulman，1972）对同一匹配中语义混淆现象的研究等。

国内学者对短时记忆的编码也进行了大量的研究，尤其是汉字的编码方式。

而这些研究越来越显示：短时记忆中可能存在视觉、听觉、语义等多种编码方式，对这些编码方式的运用会受到许多因素的影响。

莫雷（1986）认为，短时记忆的编码方式可能随情境而变化，如在汉字情境中采用视觉编码而在英语情境中采用听觉编码。

刘爱伦（1989）、郑涌（1991）等的实验结果也表明，不同的感觉通道（视觉和听觉）的刺激会改变短时记忆的编码方式。

以英语专业和非英语专业中国大学生为被试，以英文实验材料为刺激，发现非专业组被试总体上偏好于视觉编码，专业组被试总体上偏好于听觉编码。

本实验将要重复的波斯纳的经典实验也表明，在不同时间间隔下被试对刺激的编码方式有所不同。

反应时（reaction time），亦称“动作反应时”，“反应潜伏期”。

即从刺激呈现到有机体做出反应之间所需的最短时间。

最初的反应时研究仅仅用于测定神经的传导速度，之后渐渐被用于推断复杂的心理加工过程。

唐德斯（F.C.Donders,1818-1889）的反应时ABC（ABC of reaction time）理论是这种应用的成功代表，其减数法的思想沿用至今；冯特也积极地将反应时可表征的心理过程大大拓展，但由于当时的研究水平所限，其效果并不理想。

直到认知心理学出现，反应时又被广泛应用于探究心理活动的机制，并衍生出减数法、加因素法、开窗实验等诸多实验范式。

在认知心理学中，减法反应时既可用于研究某一个信息加工阶段或特征，也可用于研究一系列连续的加工阶段。

其理论依据是：如果一个加工过程包含另一个加工过程所没有的心理加工过程，则两个加工过程的反应时差异可表征这个多出的心理加工过程。

但将减数法应用于心理过程的推断应高度谨慎：实验者应对实验任务引起的刺激与反应之间的一系列心理过程有比较精确的预测，并要求两个相减的任务中共有的心理过程要严格匹配。

波斯纳等成功地应用减数法反应时实验，证明了某些短时记忆信息可以有视觉编码和听觉编码两个连续的阶段，这是认知心理学上的重大发现，同时具有很强的方法学意义。

2 研究方法2.1 被试华东师范大学心理学系本科学生3名2.2.1 实验仪器计算机及PsyTech心理实验系统2.2.2 实验材料英文字母大写A、B和小写a、b 的不同组合，其中AA（6次）、BB（6次）。

Aa (6次)、Bb (6次)、AB（3次）、BA（3次），Ab（3次）、Ba (3次)共36次（参数设置中如选72次则重复呈现2遍；108次则重复呈现3遍）。

2.3 实验步骤（1）登录并打开PsyTech心理实验软件主界面，选中实验列表中的“短时记忆的视觉和听觉编码”。

单击呈现实验简介。

点击“进入实验”到“操作向导”窗口。

实验者可进行参数设置（或使用默认参数），然后点击“开始实验”按钮进入指导语界面。

可先进行练习实验，也可以直接点击“正式实验”按钮开始。

（2）被试阅读指导语。

当被试明白实验步骤后可进行一组练习。

练习结束后点击“正式实验”按钮开始。

（3）实验开始后屏幕每次呈现两个字母，有3种呈现形式：同时呈现、一个字母比另一个字母延迟0.5秒后呈现、一个字母比另一个字母延迟2秒后呈现。

3种形式随机呈现。

被试判断呈现的两个字母是否相同并作出反应，记录反应时。

（4）实验结束，数据被自动保存。

实验者可直接查看结果，也可换被试继续试验，结果可在主界面“数据”菜单中查看。

3 结果3.1 不同类型的子母匹配在不同间隔时间下被试正确反应时的平均数和标准差表1 正确反应时的平均数和标准差音同形同0毫秒音同形异音异形异音同形同500毫秒音同形异音异形异音同形同2000毫秒音同形异音异形异Mean 534.04 610.58 673.40 536.39 544.82 604.04 489.00 490.95 527.87 std 88.62 128.57 72.645 188.57 125.36 179.94 93.05 105.10 137.34从图中可以看出，在刺激间隔为0ms时，音同形同、音同形异、音异形异三种不同的匹配其反应时有明显差异；随着间隔时间的增大，反应时均有所下降，并逐渐趋同，至2000ms时几乎重合为一点。

三种不同的刺激匹配下，不同间隔时间所对应的反应时差异在下图中体现更为明显。

3.2 one-way ANOVA差异检验刺激音同形同时，三种延迟时间下反应时没有显著差异F=0.991，p=0.407，Mean=520.26，Std=132.08；刺激音同形异时，三种延迟时间下反应时有极其显著差异F=5.085，p=0.009<0.01，Mean=545.83，Std=127.32，具体分析，0ms与2000ms下的反应时有显著差异p=0.002<0.01；刺激音异形异时，三种延迟时间下反应时有极其显著差异F=6.262，p=0.003<0.01，Mean=600.72，Std=148.46，具体分析，0ms与2000ms下的反应时有显著差异p<0.001。

可见实验材料（刺激）同质性越强，反应时越短，差异越不显著。

间隔0ms时，三种不同实验材料反应时有极其显著差异F=11.512，p<0.001，Mean=604.67，Std=112.72，具体分析，三种不同的实验材料两两之间均有显著差异，音同形同与音同形异p=0.014<0.05，音同形异与音异形异p=0.044<0.05，音同形同与音异形异p<0.001。

间隔500ms时，三种不同实验材料反应时无显著差异F=1.121，p=0.332，Mean=561.75，Std=167.28。

间隔2000ms时，三种不同实验材料反应时无显著差异F=0.839，p=0.437，Mean=502.99，Std=113.52。

可见，随着时间间隔的增大，差异减小。

3.3Univariate Analysis of Variance差异检验以时间间隔和实验材料（刺激匹配）为两个因素对反应时进行Univariate Analysis of Variance差异检验。

实验材料主效应显著F=6.892，p=0.001<0.01；时间间隔主效应显著F=10.348，p<0.001；交互作用不显著F=1.006，p=0.406。

4 讨论4.1由图1可以看出，不同延迟时间下的反应时差异性呈现规律性变化：随着延迟时间的加大，反应时逐渐趋同。

ANOV A检验也反映了这一点：在0间隔的情况下，三种不同的实验材料对应的反应时，两两之间都具有显著差异，且音异形异>音同形异>音同形同；在间隔时间为500ms和1000ms时均无显著差异，且p值增大显示差异减小。

考察音同形同和音同形异两种材料的反应时变化。

这两种反应任务都是首先判断两个字符是否为同一个字母，然后去按表示“相同”的反应键。

根据减数法的逻辑，在0间隔的情况下，音同形异任务的反应时比音同形同任务的反应时长，说明前者有后者所不具有的心理加工过程，且该过程所占用的时长就是反应时的差值。

两种操作的动作反应是一样的，区别只能发生在判断过程中。

要确认两字符是同一个字母，对于音同形同的材料可以由外形（轮廓）相同来确认，也可以由读音相同来确认；对于音同形异的材料只能由读音相同来确认。

外形确认需要视觉编码，读音确认需要听觉编码。

由于“确认”是动作反应前的最后一个步骤，所以对音同形异材料进行心理加工的最后一步是基于听觉编码的读音判断。

由于字符信息是由视觉传入的，视觉编码如果存在，必然发生在听觉编码之前。

结合减数法的实验逻辑，两种反应时的差值正是多出的那种心理加工过程。

这种过程只能是听觉编码。

音同形同材料可以经由外型相同来确认，不必再经过听觉编码，节省了一步，故反应时相对减小。