多模态话语分析综合理论框架探索_张德禄

1.引言语言学家Harmer （1990）认为，如果把语言结构比作语言的骨架，那么是词汇为语言提供了重要的器官和血肉。

因此，词汇教学在教学中起着十分关键的作用。

然而大部分教师在教授词汇时总是采用教师领读学生跟读—学生自己朗读—词汇简单释义—学生课后记忆—听写—测试的传统词汇教学方法，导致学生词汇学习效果欠佳。

针对以上问题，国内已有不少学者将多模态理论运用到英语词汇教学中去，但他们的研究对象主要针对的是本科生，对高职院校学生的研究几乎没有，并且缺少实证研究。

笔者试图将多模态理论运用到高职英语词汇教学中去，探讨多模态词汇教学模式在高职英语教学中是否可行。

2.多模态话语分析理论模态（mode）是指同步实现话语和交际类别的符号资源，它可以通过一种或者几种媒介来实现。

媒介（medium）指用于符号产品和事件生产中的使用的物质资源，包括工具和使用的物质。

（Kress & Van Leeuween， 2001： 21-22）具体的说就是我们感受外界的视觉、听觉、触觉是感觉模态，而感觉所借助的工具，眼、耳、手就是媒介。

多模态话语指运用多种感官，采用图像、声音、语言、动作、表情等多种手段和符号模态来进行交际的话语。

（张德禄，2009）多模态PPT演示属多模态话语范畴。

多模态PPT由于蕴含丰富的图画，声音，颜色，图像，文字，动画等模态，因此它被广泛应用在英语教学中。

2.1 多模态话语分析理论在国内外的研究现状多模态话语分析理论于20世纪90年代兴起于西方国家。

尽管至今仅有20多年的历史，多模态理论却已被运用于影视作品、广告设计、语言教学等领域，并取得了显著的成果。

21世纪初，我国开始了对多模态话语分析理论的研究，国内有关多模态话语分析理论的研究尚处于萌芽阶段。

国外主要代表人物有：New London Group， Kress & van Leeuwen， Stein， Royce， Bartsch & Cobern， Butler & Mautz， Jr， Mills， Guichon & McLornan等专家学者。

多模态话语分析视角下高校宣传片中的形象构建研究--以“《北大师说》特别篇—寄语新生”为例摘要：本文旨在以北京大学宣传片“《北大师说》特别篇—寄语新生”为例，从多模态话语分析角度探讨宣传片中高校的形象构建。

研究发现视频中体现的北大形象可概括为“无限可能”、“刻苦勤奋”、“求实严谨”、“爱国奉献”四类。

在视频中，讲话者所说语言的听觉模态始终是主模态，随着时间的推移，与其它模态的关系不断地发生变化，以达到有效传达整体意义的效果。

关键词：多模态话语；宣传片；形象构建张德禄（2009a）将运用听觉、视觉、触觉等多种感觉，通过语言、图像、声音、动作等多种手段和符号资源进行交际的现象定义为多模态话语。

目前我国对于多模态话语分析的研究多运用于静态语料方面，且不少研究在讨论语言和非语言符号的意义后并没有对各模态间的关系做进一步说明。

高校宣传片对于学校的形象塑造有重要的作用。

本文尝试以北大宣传片为例，从多模态话语分析理论角度出发，探讨视频中各模态间的关系。

一、动态多模态话语分析框架以系统功能语言学理论为基础，张德禄提出了多模态话语分析综合理论框架（张德禄&袁艳艳，2011），如图1所示。

图1本文研究重点在形式层面上，讲话者可以选择通过语言、图像等不同模态来表达意义。

在系统选择中，最关键的因素是利用好不同模态之间的关系使不同的模态相互配合，从而构建动态多模态话语的整体意义（张德禄&袁艳艳，2011）。

张德禄（2009a）把这种关系归纳为互补关系（强化和非强化）和非互补关系（交叠、内包和语境交互）两大类。

在动态视频中，随着时间的推移，场景的改变，各模态间的关系也会发生变化，以达到最佳塑造形象效果的目的。

二、语料及研究方法本研究采用的语料选自北京大学官网“北大师说”栏目下的“《北大师说》特别篇—寄语新生”，视频全长5分18秒。

本研究以定性分析为主，定量分析为辅。

张德禄提出动态多模态的语篇切分有三个标准：（1）语篇结构：语篇的整体意义包含若干个阶段, 每个阶段又包含若干个步骤, 或者是次级单位,所以语篇的最小意义单位是由录像切分的最小单位图像实现的。

多模态话语在大学英语听力教学的应用［摘要］本文根据多模态话语分析综合理论框架，探讨大学英语听力教学的设计方案。

旨在突破现有教学模式下的瓶颈，提高教学质量，提升学生学习兴趣和多元识读能力。

［关键词］多模态话语;框架;大学英语听力;教学设计“多模态话语指运用听觉、视觉、触觉等多种感觉，通过语言、图像、声音、动作等多种手段和符号资源进行交际的现象”(张，2021)。

多模态是意义表达的形式，而多媒体是其最终在物质世界的实现方式。

随着信息科技和多媒体技术的发展，丰富的多模态资源和体验彻底颠覆了传统以纸质媒体和文字单一模态为主的生活和学习方式，并使得多元识读能力成为信息化社会下学习者的必备素质要求之一。

因此，基于多模态理论的教学理念和方法也成为教学改革的必要因素之一。

大学英语听力教学极具多模态特性，与多模态教学理念十分契合。

因此，该理念的应用为突破传统听力教学瓶颈、提升教学质量提供了较大的可能性。

一、多模态话语理论张德禄(2021，2021)基于韩礼德的系统功能语言学理论，提出并发展多模态话语分析综合理论框架。

该框架分为四个层面:文化层面、语境层面、内容层面和表达层面。

内容层面下的形式层面包括图觉、声觉、感觉和语言四个形式，都是话语意义表达的形式即模态。

模态之间通过有效整合来实现某一交际事件的交际意义。

在外语教学中，模态的选择主要从三个方面考虑:话语范围、话语基调、话语方式。

即教师要根据课程的内容和难易度，师生特点和关系，课程目标以及教学条件等来对教学多模态资源进行整合和设计，从而最优化课堂教学体裁结构潜势，获得最佳交际效果。

二、多模态话语理论视域下大学英语听力教学面临的问题(一)听力教学现状调查问卷。

笔者(2021)通过向海南师范大学495名非英语专业生和30名大学英语教师发放问卷，调查本校大学英语听力教学现状。

调查发现，造成学习者听力困难的原因与前人的调查结果(e．g．Wang＆Ｒenandya，2021)极为相似，如语速快、生词多、辨音难、焦虑以及缺乏元策略等。

067［摘 要］ 电影作为具有鲜明多模态特征的艺术形式，其字幕翻译不仅涉及语言形式的转换，更要关注非语言形式的多种模态。

以迪士尼动画电影《冰雪奇缘》的字幕翻译为研究对象，基于多模态话语分析理论框架，分别从文化层面、语境层面、内容层面、表达层面对其字幕翻译进行了研究，揭示电影中的多种模态之间是如何交融、协调以呈现意义的，以期为中国电影“走出去”提供启示。

［关 键 词］ 多模态话语分析；《冰雪奇缘》；字幕翻译多模态话语分析视角下电影字幕的翻译研究——以电影《冰雪奇缘》为例樊志强一、引言迪士尼动画电影是美国华特迪士尼公司拓展全球电影市场的重要类型。

由于电影文化在社会发展过程中的重要影响，作为全球电影巨头的迪士尼公司，其制作发行的电影必然会对其他国家的文化产生冲击。

虽然迪士尼公司的每部电影在故事情节和叙事内核上都有所差异，但其实质都是在借用不同的文化因素来包装西方价值观，传播美国的文化与思想。

在当前中国文化“走出去”背景下，以电影字幕翻译研究为切入口，深入分析西方典型电影的案例，有助于解构美国的文化帝国主义，深入了解西方电影文化产品的传播模式，以此促进本土电影的制作与国际化传播，提高中国文化的国际影响力。

电影字幕能够帮助观众更好地欣赏和理解电影的内容，中英双语字幕的呈现还起到了沟通中西文化、促进跨文化交流的作用。

字幕翻译的质量对受众的接受度与观感方面会产生直接影响。

电影作为典型的多模态语篇类型之一，它结合了图像、声音、文字等多种社会符号，电影字幕与这些社会符号相互协调，共同建构了电影语篇的整体意义。

为了完整呈现电影的意义，字幕翻译需要考虑源语和目的语之间的文化差异以及不同模态之间的关系。

二、多模态话语研究与字幕翻译20世纪50年代，美国语言学家Harris 提出了话语分析理论。

Barthes 在1977年发表的论文《图像的修辞》中研究了图像在表达意义上和语言的相互作用。

而后，Kress 和Leeuwen 于1996年提出了“多模态话语”概念，认为口语文本不仅是口头的，还是视觉的，与其他“非语言”交流方式，如面部表情、手势、姿势和其他自我产出方式等相结合产生意义。

多模态话语分析理论在英语教学中的应用研究作者：申琴来源：《成才之路》 2018年第8期时代的发展和进步，要求教学模式也要与时俱进。

对于英语教学来说，传统的教学模式由于方式单一、内容枯燥，其教学效果难以达到预期目标。

如今，英语能力已成为评价学生综合素质的重要指标。

为进一步提升英语教学质量，相关教育者对此展开了大量理论研究和实践探索。

其中，多模态话语分析理论在英语教学中的应用，成为大家关注的焦点。

多模态话语分析理论在英语教学中的应用和发展，对提升英语教学水平具有重要的作用。

一、多模态话语分析理论的介绍张德禄认为，“多模态话语分析指运用听觉、视觉、触觉等多种感觉, 通过语言、图像、声音、动作等多种手段和符号资源进行交际的现象。

”教师在课堂上使用PPT进行辅助教学，就属于常见的多模态教学，因为PPT包含图片、动画、声音等模态类型，能调动学生的视觉和听觉。

而且，教师在讲解PPT的过程中，还会调动触觉。

多模态话语分析理论的提出，顺应了社会发展的需要。

对于牛津版初中英语教学而言，该理论的应用能够优化教学环境，营造良好的课堂氛围。

所以，很多英语教师非常重视应用多模态话语分析理论，以更好地满足学生的学习需求，提升教学效果和教学质量。

二、运用多模态教学的优势和作用其一，能够弥补单模态教学的不足。

即某一种模态的使用可以弥补另一种模态意义表达的不足，如语言表述不尽意时可以通过肢体语言来补充，在图画教学中可以添加与语境相关的书面话语等。

其二，能强化课堂教学内容。

可以用另一种模态突出部分意义，如口语加重音、书写加黑体或下划线、理论性强的授课部分用PPT画面等。

其三，能吸引学生的注意力。

运用语言艺术、简笔画艺术或动作等表达意义，可以吸引学生的注意力。

其四，能抒发情感。

一种模态无法充分抒发应有的情感时，可运用另一种模态进行强化，如用照片再现场景、用恰当的语调和语气渲染课堂气氛等。

其五，能加深学生对教学材料的理解。

纯文本往往不能完全说明比较抽象、概括、偏僻、难度大的概念，如教材中的环保概念，而加入形象的图形、通俗易懂的表格则可以帮助学生理解。

2013年5月第36卷第3期外国语Journal of Foreign LanguagesMay2013Vol．36No．3文章编号：1004－5139（2013）03－0020－09中图分类号：H030文献标识码：A 多模态话语分析的双重视角———社会符号观与概念隐喻观的连接与互补张德禄1，郭恩华2（1．同济大学，上海200092；2．烟台大学，山东烟台264005）摘要：多模态话语分析在语言学领域主要有两个研究视角:基于系统功能语言学的社会符号学视角和基于认知语言学的概念隐喻视角。

两个研究视角之间的连接与互补可以从语言学基础层面、语言哲学层面、语境层面、主体理论构建层面进行探讨。

通过研究和实例分析表明这两个研究视角在理论范式上可相互连接，在话语分析实践中可相互补充。

两者的结合可以有力地促进多模态话语分析理论的发展。

关键词：社会符号学;系统功能语言学;多模态隐喻;概念隐喻The Dual Perspectives of Multimodal Discourse Analysis:The Connection and Complementarity Between Social Semiotics and Conceptual Metaphor TheoryZHANG Delu1，GUO Enhua2(1．Tongji University，Shanghai200092，China;2．Yantai University，Yantai264005，China)AbstractʒMultimodal discourse analysis(MDA)in linguistics can be approached mainly from two perspectives:the social semiotic perspective based on SFL and the conceptual metaphor perspective based on cognitive linguistics．The connection and complementarity between these two perspectives can be probed into in terms of the levels of their respective linguistic foundations，philosophical foundation，contextual level and theoretical formulation．Through case study and investigation，it is shown that the two perspectives share common grounds in their theoretical paradigms and can complement each other in MDA．The integration of the two perspectives can greatly promote the development of the theory of MDA．Key wordsʒsocial semiotics;systemic functional linguistics;multimodal metaphor;conceptual metaphor1．引言多模态话语分析主要研究多种符号资源在同一语篇中如何协同来实现意义。

第43卷第4期2021年4月宜春学院学报Journal of Yichun UniversityVol.43)No.4Apr.2021多模态话语分析视角下的《花木兰》字幕翻译刘明玉（天津外国语大学通识教育学院，天津300270）摘要：张德禄提出了文化、语境、内容和表达四个层面的多模态话语分析模型，本文以此为理论框架，以迪士尼真人版电影《花木兰》为例，对其字幕翻译进行多模态话语分析，探究其字幕翻译如何成功把握语言、视觉、听觉等模态形式，完美契合电影的各个多模态交际场景，充分帮助中国观众理解电影故事内容。

关键词：多模态话语分析；字幕翻译；《花木兰》中图分类号：H059文献标识码：A文章编号：1671-380X（2021）04-0084-05On Subtitle Translation of Mulan from Based on Multimodal Discourse AnalysisLIU Ming-yu(School of General Education)Tianjin Foreign Studies University,Tianjin300270,China) Abstract:Zhang Delu sets up a synthetic theoretical framework for multimodal discourse analysis,which consists of multimodal discourse syshms at four l evels:culture,context,content and medic.Based on thm framework,thm paper analyzes the subtitle translation of the movic Mulan starring Crystal Liu from the perspective of multimodal discourse analysic.Thic paper11x5to explorr how translated subtitlec well match the multimodal discourse contextc in the movic by combining audio and yisual modaities with lingual modality in the subtitle traniation sc as to help Chsneteaudsenoeunderttand them9ese4Key words:multimodal discourse analysis;subtitle translation；Mulan近年来，国外电影不断引进，为了帮助观众理解电影内容，字幕翻译应运而生；字幕翻译已发展为一项产业，官方和民间的字幕翻译蓬勃发展，相关的翻译研究也不断涌现。

多模态话语分析理论作者：文艳红来源：《大观》2016年第09期摘要：多模态话语分析理论指导下的课堂教学符合时代发展要求，英语课堂教学应充分利用现代教育技术，注重扩展学生的视野，通过真实的文化语境和情景语境，增加学生对语言学习的兴趣，多媒体课件的运用，教师通过身体语言或肢体动作表达话语意义，能使抽象知识得以具体理解。

多模态课堂的优势越来越明显，势必成为现代课堂发展的趋势。

关键词：多模态话语分析理论；多模态教学随着现代信息技术的发展，信息传递和表达成为一个多种模态参与的过程，此后多模态话语分析研究得到国内诸多学者的关注。

20 世纪 90 年代，语言学家把多模态话语分析理论延深到教学领域，多模态教学出现并取得良好的教学效果。

本文主要介绍了多模态的发展历程，国内外学者对于多模态话语分析的阐述以及将多模态教学法应用于英语课堂的积极作用。

一、多模态话语分析提出背景及发展索绪尔对语言符号学的建立和对符号学的展望做出了巨大贡献，但一些观点不符合现代社会对语言以及理解的要求，他认为语言单位和结构是语言系统固有的特性，不受外部世界的影响，语音和意义没有必要关联。

索绪尔曾说“语言是社会事实”，但是并没有进行深入研究。

韩礼德提出的“语言是社会符号”理论主张在社会语境中解释语言，认为人们在日常的语言交换过程中，实现社会结构的认同，肯定自己的地位和角色，建立和传达共享的价值系统和知识系统（韩里德；1978）。

所以，语言既表达意义，也积极将社会结构和系统符号化。

语言的这种双重功能使意义的表达方式多种多样。

符号即模态，语言表达的符号多样化也就是多模态化的表现。

多模态话语分析是对传统语言学理论的发展。

在本文中模态是指人类通过感官跟外部环境之间的互动方式。

近年来不少国外学者从韩里德的社会符号学出发，把语言的社会符号特性扩展到图像、声音、动作等多种模态的交际手段上，并进行了一系列研究。

奥图尔、克拉申和勒文对照功能语法中的三大纯理功能理论建立了对图像进行多模态语篇分析的理论框架；勒文从音乐和声音角度进行语篇的解析；马丁尼克对动作进行了研究；马丁尼克和斯汀琳从空间设计探讨了话语表达符号。

从多模态话语的视角下分析美式幽默作者：黄晨玲来源：《校园英语·下旬》2018年第10期【摘要】幽默作为一种常见的说话方式经常出现在生活的方方面面，在日常对话中，幽默也是一种必不可少的增进彼此之间感情的一种手段。

由于中西方的文化差异，在有些情况下美式幽默不容易被东方人所理解。

所以，本文的目标是：从多模态话语分析的视角出发，以张德禄的多模态话语分析综合理论框架探索（2009）为基本理论根据，探讨在美剧《生活大爆炸》中如何实现美式幽默。

【关键词】美式幽默；多模态话语分析；《生活大爆炸》【作者简介】黄晨玲（1993-），女，汉族，河南汤阴人，学生，文学硕士，哈尔滨师范大学，研究方向：语用学。

一、引言传统上的幽默研究主要集中于对单纯的口头语或者书面语的阐释，但是，不可否认的是由于现代多媒体技术的更新与发展，对于幽默语的研究已经不再局限于传统意义上文字，无论在现实生活中还是在影视喜剧中，幽默也融合了视觉、听觉、触觉等多种形式，使其话语更鲜活。

近些年来，国内对于多模态话语研究不断发展，使处于副言语地位的一些感知觉符号。

人们逐渐明白，人与人交流不仅仅单纯的依靠简单的言语来表达意义。

在很多场合下，非言语的表达更能体现出说话者的准确意图。

所以，作者认为多模态的话语研究在当下是十分必要的。

本文的作者就是为了透过多模态的视角，尤其是视觉和听觉来重新认识美式幽默。

二、多模态话语分析的相关理论基础多模态最早是在20世纪90年代的西方逐渐展开，语言学家Kress和Leeuwen（1996）曾提出，图像、声音和动作等其他知觉和语言一样也是一种特定的符号，并在Halliday的系统功能语法的基础上创立了其基本理论体系。

西方另一位语言学家Bernsen认为多模态表达的是能够分解为同时表达意义的两个或两个以上的单模态。

在国内，目前为止多模态话语分析还处于初始阶段，出版的相关刊物很少。

本文主要依据张德禄在多模态话语分析综合理论框架为主要理论依据，从新视角来阐释美式幽默。