当前位置：文档之家 › 多模式话语的社会符号学分析_李战子

多模式话语的社会符号学分析_李战子

  • 格式：pdf
  • 大小：744.02 KB
  • 文档页数：9

2003年第5期

总第

81期

外语研究ForeignLanguagesReseareh2003随

5

Serial随81

多模式话语的社会符号学分析李战

子

(国际关系学院江苏南京210039)

摘要:克瑞斯和勒文(KresS乙Leuwen1996)近年来尝试的多模式话语的社会符号学分析以韩礼德的功能语法理论为基础将包括图像意义的多模式话语的意义分为再现互动和构图等相互交织的三种并比照功

能语法的概念人际和组篇意义进行了细致的系统构建这种分析方法对于加深认识语言的社会符号特点对于多模式话语的产生和理解以及英语教学都具有重要意义

关键词:多模式话语;社会符号;功能语法;再现;互动;构图中图分类号:H353文献标识

码:A文章编号

:1005一7242(2003)05一0001一08

1引言

在话语分析林林总总的流派中有一种迄今为止在我国的外语教学特别是英语语言学研究中还未被充分认识的多模式话语的社会符号学分析多模式(multimodal)指的是除了文本之外还带有图

像

图表等的复合话语或者说任何由一种以上的符号编码实现意义的文本;社会符号学在这里是狭义的指的是韩礼德的功能语言学理论该理论的主旨就是将语言看成社会符号从语言与社会文化情景的

互动关系来研究语言众所周知交际和再现意义经常需要多种符号编码即多模式如图像手势身体语言等语言只

是众多交际模式中的一种说到图像与语言的关系我们决不陌生如一幅图抵得上一千个字”等但迄今为止所做的话语分析对图像常常或忽略不计或不屑一顾或就事论事事实上随着数字时代的来临视觉技术和图像在当代社会中获得了前所未有的重要性我们对图像的分析也需要更多语言理论上的工具在勒文和杰维特所著的《视觉分析手册》(Leeuwen邑Jewitt2001)中他们介绍了人类学文化研究心理治疗民族志研究影视作品研究等领域中的视觉分析以及对图像的内容分析法和社会符号学分析法事实上他们的兴趣集中在以韩礼德功能语法为基础的社会符号学分析法克瑞斯和勒文《阅读图像》(Kre::邑Leuwen以下简称K乙I1996)一书全面建立了社会符号学的多模式分析本文将对他们的努力作一简要勾勒和述评2图像分析的社会符号学框架21视觉的语法韩礼德(Halliday1985)在他的功能语法中提出了语言的三大元功能即表示概念意义的概念功能表示说话人和听话人关系以及说话人对所说内容的态度的人际功能以及表示语篇意义的组篇功能克瑞斯和勒文根据韩礼德(1985)的论述把这些元功能看成是人类任何交际系统所必须具备的的确这些元功能是首先基于对语言的研究提出来的但这并不意味着它们仅仅局限于语言克瑞斯和勒文提出的问题是在多模式话语中这些元功能是怎样实现的功能语法的主要出发点是把语法看成是制造意义的资源(Halhday1985)语言为我们对社会行动的经验和形式的阐释编码因此语法不再是决定对错的一套形式上的规则而是宽泛地指一种特定模式中元素间的关系的结构或模式之间的关系结构这些结构随着时间的流逝而被确立下来正如韩礼德指出的“它(语法)是再现经验的模式的手段……它使人类能够建立关于现实的心理图像并理解发生在他们周围的和自身内部的经验”(Hal

ida

y

1985101)

在克瑞斯和勒文的研究中语法被延伸到包括视觉模式他们认为“正如语言的语法决定词如何组成小句句子和语篇视觉语法将描写所描绘的人物地点和事物如何组成具有不同复杂程度的视觉的陈述’”(K&L1996:1)

本文受国家留学基金委资助作者感谢JimMrt教授在悉尼大学语言学系多模式话语讨论组中对论文初稿所提的意

见22功能语法的元功能元意义和实现关系

语言和图像对于实现类似的语义关系有着各自相对独特的方式例如语言中的行动动词”在图像中是由“矢量(见下文231)来实现的在语言中用处所介词的在图像中是通过前景和背景的对比实现的这并不是说语言中所有的语义关系都可

以在图像中实现也不是说图像中所有的关系都可

以用语言来实现可以这样说有的关系只有图

像

能实现有的只有语言能实现(例如He15readin

g.

图像只能展示他拿着一本书眼睛看着书即Heislookingatabook;但不能表示He15readin

ga

book)还有一些关系用图像表示更容易有一些

则用语言表示更容易(例如在面对面口头交谈

中当我们听到他说今天晚上我们必须去”我们

不易弄清他的原话而在图像中一个对话泡(今天

晚上你们必须去”)斜挂在那个他’嘴边就可以了

在现在的漫画书里经常用这种言语泡)这种在语言和图像中实现的各类语义关系的可能性的分布是由历史的社会的当然还有符号本身的内在潜质和局

限决定的我们以下要讨论的侧重符号作为媒介本身的内在潜质和局限

勒文的出发点是认为图像也是社会符号因此可以

用韩礼德分析语言的社会符号性的方法来分析

图像他也从三个方面来建立分析的框架即再现的互动的和构成的显然这是比照功能语法中概念的人际的和组篇的三个元功能23再现意义

首先在再现意义上勒文没有像功能语法那样将语义关系分成物质的行为的心理的言语的关系的和存在的等六类而是根据图像的特点区分了

叙事的和概念的两大类在叙事的再现中区分了行动的和反应的以及言语和心理这三个过程其中行动的和反应的又分别可分为及物的(transaCtiVe)和不及物(nootransaetive)的231叙事的再现在图片中使图中的元素形成斜线通常是强烈的对角线就形成矢量矢量是叙事图像的标志(叙事图像相当于一个命题)而概念图像中则没有矢量当参与者被矢量连接起来时他们被再现为对相互做某件事这又可分为行动过程和反应过程行动过程动作者(actor)是发出矢量的那个参与者或者动作者本身也可以构成矢量在图像中他们通常是最突出的参与者这可以从尺寸构图中的位置与背景的对比色彩饱和度或显著性聚焦程度以及心理凸显程度”(如人形尤其是人脸对观看者来说都具有心理凸显性)等方面来判断如下图中牙医的两只手臂构成两个矢量特别是左胳膊的探针形成了鲜明的对角线当叙事的再现中有两个参与者时一个是动作者另一个是目标目标就是矢量指向的那个参与者因此也是动作的对象如下图中的病人当参与者相互作用时他们也可叫做相互作用者”(interaetors)不及物结构中的行动没有“目标”既不是别的东西/人对它发出的行动它本身也不对别的东西或人发出动作因此不及物动作过程(例如下雨或车在行驶的画面)类似于语言中的不及物动词反应过程当矢量仅仅是由目光—即一个或多个图中的参与者的眼光的方向构成时该过程就叫做反应过程这时就不讨论动作者和目标了而成了“反应者”和“现象”如上图中牙医的目光也构成了一个矢量几乎平行于探针构成的矢量但主要的过程仍是行动过程;我们很容易找到只有从目光到物体的一个矢量的反应过程图像例如图片中某人正在凝视某物和动作过程一样反应过程也可以是及物或不及物的不及物时没有“现象”我们看到图中某个人向画框外看但他在看什么我们不得而知如果这类图中的反应者是女性则往往目光盯在中等距

离处似乎她们并未投人所处的环境而生活在自己的内心世界中如果反应者是男性通常他们的目

光都坚定地落在远处的地平线上观看者自己去想象他们在想什么或看什么有时这可以使观看者获得与图中再现的人物之间的一种认同(K邑L

1996:66)

言语和心理过程在漫画中我们可以看到一种特别的矢量一根

斜线把思维泡或对话泡与说话者或思考者连接起来这些形式最早只出现在漫画中但现在应用越来22功能语法的元功能元意义和实现关系

语言和图像对于实现类似的语义关系有着各自相对独特的方式例如语言中的行动动词”在图像中是由“矢量(见下文231)来实现的在语言中用处所介词的在图像中是通过前景和背景的对比实现的这并不是说语言中所有的语义关系都可

以在图像中实现也不是说图像中所有的关系都可

以用语言来实现可以这样说有的关系只有图

像

能实现有的只有语言能实现(例如He15readin

g.

图像只能展示他拿着一本书眼睛看着书即Heislookingatabook;但不能表示He15readin

ga

book)还有一些关系用图像表示更容易有一些

则用语言表示更容易(例如在面对面口头交谈

中当我们听到他说今天晚上我们必须去”我们

不易弄清他的原话而在图像中一个对话泡(今天

晚上你们必须去”)斜挂在那个他’嘴边就可以了

在现在的漫画书里经常用这种言语泡)这种在语言和图像中实现的各类语义关系的可能性的分布是由历史的社会的当然还有符号本身的内在潜质和局

限决定的我们以下要讨论的侧重符号作为媒介本身的内在潜质和局限

勒文的出发点是认为图像也是社会符号因此可以

用韩礼德分析语言的社会符号性的方法来分析

图像他也从三个方面来建立分析的框架即再现的互动的和构成的显然这是比照功能语法中概念的人际的和组篇的三个元功能23再现意义

首先在再现意义上勒文没有像功能语法那样将语义关系分成物质的行为的心理的言语的关系的和存在的等六类而是根据图像的特点区分了

叙事的和概念的两大类在叙事的再现中区分了行动的和反应的以及言语和心理这三个过程其中行动的和反应的又分别可分为及物的(transaCtiVe)和不及物(nootransaetive)的231叙事的再现在图片中使图中的元素形成斜线通常是强烈的对角线就形成矢量矢量是叙事图像的标志(叙事图像相当于一个命题)而概念图像中则没有矢量当参与者被矢量连接起来时他们被再现为对相互做某件事这又可分为行动过程和反应过程行动过程动作者(actor)是发出矢量的那个参与者或者动作者本身也可以构成矢量在图像中他们通常是最突出的参与者这可以从尺寸构图中的位置与背景的对比色彩饱和度或显著性聚焦程度以及心理凸显程度”(如人形尤其是人脸对观看者来说都具有心理凸显性)等方面来判断如下图中牙医的两只手臂构成两个矢量特别是左胳膊的探针形成了鲜明的对角线当叙事的再现中有两个参与者时一个是动作者另一个是目标目标就是矢量指向的那个参与者因此也是动作的对象如下图中的病人当参与者相互作用时他们也可叫做相互作用者”(interaetors)不及物结构中的行动没有“目标”既不是别的东西/人对它发出的行动它本身也不对别的东西或人发出动作因此不及物动作过程(例如下雨或车在行驶的画面)类似于语言中的不及物动词反应过程当矢量仅仅是由目光—即一个或多个图中的参与者的眼光的方向构成时该过程就叫做反应过程这时就不讨论动作者和目标了而成了“反应者”和“现象”如上图中牙医的目光也构成了一个矢量几乎平行于探针构成的矢量但主要的过程仍是行动过程;我们很容易找到只有从目光到物体的一个矢量的反应过程图像例如图片中某人正在凝视某物和动作过程一样反应过程也可以是及物或不及物的不及物时没有“现象”我们看到图中某个人向画框外看但他在看什么我们不得而知如果这类图中的反应者是女性则往往目光盯在中等距

离处似乎她们并未投人所处的环境而生活在自己的内心世界中如果反应者是男性通常他们的目

合集下载

多模态的理论基础

多模态的理论基础

多模态的理论基础作者：付兰来源：《报刊荟萃（下）》2017年第09期摘要：自1990年以来，多模态仅用于语言学理论分析，对于其他的学科应用甚少，但是，近些年来，随着多模态研究的深入，多模态逐渐从简单地图像，手势等非语言的符号的语言学分析转向有多模态领导的跨学科的分析及实证研究。

2014年6月11-13日第七届国际多模态会议的召开，表明多模态的研究有着研究主题多样化，研究内容深入化，跨学科化，多模态研究方法更新进步的趋势。

本文总结多模态的理论基础以供初学者进行参考。

关键词：多模态；单模态；理论基础1 引言2014年6月11日至13日，第七届国际多模态会议（7th International Conference on Multimodality， 7ICOM）在香港理工大学召开。

这次会议邀请了国外多个著名学者进行发言，并吸引了来自三十多个国家的学者来观摩。

香港理工大学教授冯德正与Francis Low 对第七届国际多模态会议的主要内容进行了评述。

对多模态话题的研究一直在继续，并且有着研究主题多样化，内容深入化，跨学科化，多模态研究方法更新进步的趋势。

近些年来，随着多模态研究的深入，多模态逐渐从简单地图像，手势等非语言符号的语言学分析转向由多模态领导的跨学科分析及实证研究。

2 多模态2.1 多模态的定义模态是一个非常复杂的概念，广义上说，一个模态即一个符号系统，借助一个特定的感知过程而被识解。

这个定义把模态和人的五官联系在一起，大致分为视觉，听觉，嗅觉，味觉和触觉模态。

由于人类可以感知多种隶属不同模态的符号系统，而我们很难给模态全部进行分类，所以为了便于研究，模态可以细分为：图像符号，书写符号，口语符号，手势，声音，音乐，气味，味道，触觉。

Forceville简要定义模态为“利用具体的感知过程可阐释的符号系统”。

而国内的著名学者朱永生认为模态指交流的渠道和媒介，包括语言，技术，图像，颜色，音乐等符号系统。

多模态话语的社会符号学分析_以华中师范大学110周年校庆标志为例_张君艳

多模态话语的社会符号学分析_以华中师范大学110周年校庆标志为例_张君艳

在多媒体时代，信息的获取和传达不再单单局限于文字，众多非语言的信息也涌入人们的视野。

人类交际行为的多模式化，使得单纯的话语分析已经不能满足人们的需要，因此有必要深入研究蕴含了众多非语言因素的交际方式，即进行多模式话语分析。

李战子认为“图像时代的到来，特别是图像在媒体，教育和儿童文学中的大量生产，使我们无法忽略多模态话语”[1](P7)。

社会进入后现代时期，话语已不仅仅以文本模式体现，而且以图画、动画、声音、图表、颜色和编排等多模态同时出现。

因此，胡壮麟指出，在人类进入社会符号学的多模态化的新世纪，对多模态识读能力的培养应引起重视。

[2](P1)多模态话语分析方法兴起于20世纪90年代，以Kress 和Leeuwen 为代表。

多模态话语的理论框架是社会符号学，主要受Hallidy “语言是社会符号”的思想影响，[3]把功能语言学的理论延伸到图像、音乐、动作等其他符号系统，认为除语言之外的其他符号也具有语言符号所具有的三大“元功能”，即概念功能，人际功能，语篇功能。

[4]Kress 等人认为所有的人类交际系统都能呈现和传递交际者的社会关系，能呈现和传递交际者想传递的事件、状态、看法、能保证信息的产生连贯并与语境有关。

也就是说，所有的符号系统都具有Halli -day 提出的语言三大元功能。

由此，Kress&Leeuwen 构建了分析视觉图像的语法框架这为多模态话语分析提供了理论依据和分析方法。

本文尝试运用Kress&Leeuwen 的多模态话语分析方法，以华中师范大学110周年校庆标志为例，进行多模态话语的社会符号学分析，探讨图像作为社会符号和语言作为符号如何共同作用构成意义的手段和方法，以期对读者多模态识读能力的提高有所帮助。

一、多模态话语分析的理论基础（一）多模态话语的定义Kress&Leeuwen 认为多模态话语（multimodal discourse ）是一种融合了多种交流模态（如声音、文字、形象等）来传达信息的语篇；李战子认为多模态指的是“除了文本之外，还带有图像等的复合话语，或者说任何由一种以上的符号编码实现意义的文本”[1](P1)；曾蕾指出“超出文字语言符号以上的多种符号语篇”即为多模态话语。

多模态对外汉语课堂教学研究与案例分析

多模态对外汉语课堂教学研究与案例分析

多模态对外汉语课堂教学研究与案例分析摘要：模态是人与人之间交流的渠道和媒介，人类的交際活动具有多模态性。

以多模态话语分析理论为基础，通过对中国文化课中各种模态的研究，探讨对外汉语课堂教学中加深外国学生对汉语与中国文化的认知理解及融入中国文化语境的多模态教学方式。

关键词：模态;多模态话语分析;对外汉语教学人们在使用语言的同时，还会伴随许多非语言的交际。

在交际过程中，交际双方将视觉、听觉、触觉、嗅觉和味觉等各种感官调动起来，以实现成功交际。

对外汉语教学是对外国学生进行的以汉语作为第二语言或者外语的教学，其中也包括中国文化的教学。

其根本目标是培养外国学生的汉语交际能力。

一般在课堂教学过程中，汉语教师多采用汉语作为媒介语，其优势是为外国学生创造了目的语交际环境，但不足是在认知方面，学生用非母语去学习复杂抽象的汉语与中国文化知识，难度较大。

那么，汉语教师如何帮助留学生认知汉语与中国文化，增强他们对中国文化语境的融入感？用什么样的方式讲好中国故事？本文以多模态话语分析理论为视角，通过对中国文化课中各种模态的研究，为上述问题提供一个新的解决途径。

一、多模态话语理论（一）理论概述多模态话语分析理论兴起于20世纪90年代，该理论从系统功能语言学理论那里借鉴了元功能理论，认为图像、声音、动画、颜色等非语言符号同语言一样都能够体现一定的意义，实现三种元功能，即概念功能、人际功能和语篇功能，主要分析交际符号的不同模态、各种模态之间的相互关系、它们所体现的整体意义及其特征和功能。

李战子（2003）最先将多模态理论引入中国，之后许多学者对多模态话语分析理论进行了深入研究。

胡壮麟、董佳（2006）通过对一次竞赛中PPT演示的语篇分析，探讨了PPT在图像、音响等模态中如何参与主题意义的表达。

顾曰国（2007）界定了“单模态话语”“双模态话语”或“多模态话语”。

朱永生（2007）认为，模态主要包括语言、图像、音乐和技术等多种符号系统。

我国多模态话语研究综述

我国多模态话语研究综述


4、技术发展与应用：随着人工智能、大数据等技术的快速发展，多模态话 语研究应技术发展与应用方面的研究。利用先进的技术手段对多模态话语进行自 动化分析、理解和生成等方面的研究，可以提升多模态话语研究的效率和实用性。
五、结论
本次演示对我国近20年来的多模态话语研究进行了综述和分析。可以看到， 我国的多模态话语研究在理论框架、研究方法、应用领域等方面取得了显著成果。 未来，我们期待这一领域能够继续拓展研究领域、加强方法论研究和国际合作与 交流、技术发展与应用等方面的研究，为推动多模态话语研究的深入发展做出更 大的贡献。
二、多模态话语的研究内容
多模态话语研究的内容非常广泛，主要包括以下几个方面：
1、多模态话语的符号学理论：多模态话语的符号学理论是研究多模态话语 的基础。它主要研究多模态话语中各种符号模态之间的关系和作用，以及它们如 何共同构成意义。
2、多模态话语的认知心理学：多模态话语的认知心理学主要研究人们如何 理解和处理多模态话语。它的是多模态话语对人们的认知负荷、注意力和记忆等 方面的影响，以及这些方面如何影响人们对多模态话语的理解。
我国多模态话语研究综述
目录
01 一、多模态话语的定 义
02
二、多模态话语的研 究内容
03
三、多模态话语的研 究方法
04 四、发展趋势
05 参考内容
随着我国经济和科技的快速发展，多模态话语研究逐渐成为语言学、计算机 科学、社会学等领域的热点话题。多模态话语是指通过多种符号模态（如文字、 图像、声音、视频等）来表达意义的话语。在当今社会，多模态话语的应用越来 越广泛，对我们的生活和工作产生了深远的影响。本次演示将从多模态话语的定 义、研究内容、研究方法和发展趋势四个方面来进行综述。