下载文档原格式
张德禄多模态话语分析pdf1 张德禄多模态话语分析简介张德禄多模态话语分析(ZDLMT)是一种语言识别技术，由张德禄（2006）提出，是一种交叉领域的分析方法，由语音识别，语音分析，和语言分析组成。
它主要用于理解多模态话语中的信息内容，包括文本，语音，电影，图像，和视频内容。
ZDLMT分析技术可以帮助识别出跨不同模态特征的"细微"变化，从而达到更准确的分析结果。
2 张德禄多模态话语分析方法张德禄多模态话语分析主要包括以下几个步骤：（一）信息收集：采用多模态信息采集技术，从多源信息中收集需要分析的话语。
（二）特征提取：从每一种模态中提取信息，如文本中的关键词、语音特征等，并将模态特征存储在一起，形成模态特征空间。
（三）话语分析：利用聚类，分类，标记和关联技术，对多模态特征空间中的信息进行分析，得出话语中内容的概要。
（四）结果演示：将话语的内容等汇总成图文的可读格式，以便于用户更好的理解和解释分析结果。
3 张德禄多模态话语分析的应用张德禄多模态话语分析的应用非常广泛，它可以广泛应用于国家安全、商业营销、教学训练、社交分析、情绪分析和疾病检测等多个领域中。
其中，在国家安全领域中，可以使用ZDLMT分析技术来快速定位和识别可疑文本、语音或图像信息，为社会安全提供可靠的技术支撑。
在商业营销领域中，ZDLMT分析技术可以帮助企业更好地理解和把握营销活动中用户的意向，从而实现有效的营销策略。
在教学训练领域中，可以分析学生在训练中做出的正确和错误回答，并对其进行更加准确的分析，从而及时发现和纠正学生错误回答的方式和原因。
4 结论总之，张德禄多模态话语分析技术是一种多功能、高效的分析技术，可以帮助人们更好地理解多模态的话语内容，并将它们分析结果汇总成可读格式，从而实现各种应用场景中的实施精准、实时监控、安全应急管理等许多功能。
作者： 张德禄
作者机构： 同济大学外国语学院,上海200092
出版物刊名： 天津外国语大学学报
页码： 1-7页
年卷期： 2016年 第6期
主题词： 文化语境 社会符号 多模态话语 符号系统 机构性
摘要：文化语境是系统功能语言学的重要概念之一,表示整个语言的语境。
社会符号学重视实践,强调语境在社会交际中的作用,但却没有发展一种系统的多模态话语的语境概念。
在系统功能语言学的社会符号学和文化研究的基础上探讨了文化语境的基本研究范围和主要组成部分、社会符号学的符号系统、社会符号系统的机构性特点、社会符号系统的类别及其与文化语境的关系。
研究发现,文化语境是意义系统,从外部表现为社会系统,包括社会结构,从内部表现为意识形态,从交际的角度表现为体裁系统,由行动、语言等各种符号系统实现。
符号系统可以是两个层次的简单系统,也可以是三个层次的复杂系统。
文化语境为每个符号系统提供了生存和发展的环境,同时又由符号系统共同表现。
某个或某组符号系统通常是在一定的领域或机构内被激活,具有机构性特点,在社会交际中产生多模态话语。
《长江丛刊·理论研究》2017.01新闻漫画中的多模态隐喻路 慧【摘 要】科学信息技术的飞速发展和更新使交际手段和形式更快方便、快捷、和视觉化，关于隐喻的研究不再局限于语言层面，更多的关注多模态的表现形式，将视觉和听觉等多种模态结合起来，探索多模态隐喻的本质。
本文以多模态隐喻理论为基础，结合政治漫画文字与图画相结合的特点，尝试分析政治漫画中的隐、转喻现象，进一步说明多模态隐喻形成过程中，源域的选择及其与目标域之间的密切联系。
【关键词】漫画 多模态 隐喻一、前言随着新的信息技术的迅速发展，“视觉化”时代开始影响着信息的传播。
在进行话语分析时，仅集中在文字意义的阐释已不能满足对话语意义的理解和表达。
本文主要从多模态角度出发，首先对政治漫画的语篇特征进行说明，然后分析新闻类政治漫画中出现的隐喻和转喻现象，对意义的形成进行详细解读，并且指出源域的选择及其文化内涵，对目标域意义的形成和多模态隐喻意义的形成具有重要的作用。
二、多模态的发展在对多模态隐喻研究之前，必须对“模态”和“多模态隐喻”进行说明，对于“模态”的定义不同学者有不同观点，Forceville（2009）把“模态”定义为“利用具体的感知过程可阐释的符号系统”，他的定义把模态和人的5个感官联系在一起。
在多模态理论发展方面的代表人物Kress&Leeuwen认为，“多模态指的是运用几种符号学模态或者使用多个符号学模态来加强一种意义的传达，或者发挥补充功能”（Kress&Leeuwen 2001: 20）。
在多模态语篇中，读者需要运用多种感官理解多种模态的符号，然后通过不同的感官模式理解的信息，不同模态之间会进行积极互动，从而形成某种意义作为文字文本的一部分等。
多模态语篇指运用听觉和视觉等多种感官，并且通过声音、图像、语言、动作等多种符号资源进行意义传达的现象（张德禄2013）。
三、隐喻研究的多模态转向隐喻最早由亚里士多德提出，他将隐喻看作一种修辞方式，之后也有许多学者都专注以修辞为研究方向对隐喻进行研究。
多模态话语分析的系统功能语言学研究引言多模态话语分析理论是结合语言、视觉、声觉等其中两种或两种以上的模态而展开分析的一种理论模式,语言学理论与现代多媒体技术的有机结合为这一理论的建立提供了可靠依据。
人们在与他人交往或在表达意义的过程中,一般都会使用到符号资源,而语言中的语法体系则对由词语组成的句子、语篇等符号资源的使用起决定性作用。
与此相类似,视觉中的语法则对人物与事物等因素如何组成不同复杂程度的视觉陈述起着决定作用。
一、多模态话语概述（一）多形态话语的产生情况1.生命感知模态的产生分析生命科学研究成果得知,在不断演化的过程中,生命体逐渐获得视觉、嗅觉、听觉、味觉以及触觉等不同的感知通道,其中,依靠眼睛获取了视觉通道,依靠鼻子获取了嗅觉通道,依靠耳朵获取了听觉通道,依靠舌头获取了味觉通道,而依靠皮肤则获取了触觉通道。
生命体通过这些通道,与周围的环境进行了有效的信息交换。
此外,在物竞天择,适者生存的残酷竞争面前,生命体为获得生存与繁衍,他们就需利用这些感知通道之间的相互作用,对周围环境中的一切事物做出有效、迅速的反应。
一些生物学家认为,生命体在获得以上五种感知渠道的基础上,分别产生了视觉、嗅觉、听觉、味觉、触觉五种不同的交际模态。
而在这些模态中,视觉与听觉这两种模态与话语分析具有最为紧密的联系。
近些年来,随着科技的进步与发展,其他三种模态也逐步应用于话语交际中。
例如在触觉模态方面,人们可以利用数据手套,在将手指弯曲角度进行传递的基础上,将各种三维手势打出来,并通过有机结合语言与手势,进而促进人机对话朝着与自然人际对话相接近的方面发展。
2.模式、媒介、模态三者之间的区别模式、媒介以及模态这三个词语经常出现在多模态话语的分析中.在意义上,它们之间存在一定的联系,但由于没有具备非常明确的界限,经常导致误解及混乱的发生,因而对其含义展开一定的说明是极为有你要的。
通常情况下,模式指的是与话语基调、话语范围并列为语境三要素的话语模式,其本意指的是人们交流的渠道,例如口头模式、书面模式、电子模式等。
●外语教学编者按:外语教学不仅是一个科研园地,而且是外语人才培养的摇篮。
其研究论题多样,研究维度也绝不单一。
运用语言学理论指导外语教学研究与实践是提升外语教学的有效途径(张德禄、王璐,王学文,李小华、王立非,崔玉范、宋莉);目的语意识的培养(黄波)和大学英语需求分析模型的理论构建(陈冰冰)也是推进我国外语教学的重要维度。
外语教学需要多维度探索与实践。
多模态话语模态的协同及在外语教学中的体现3张德禄 王 璐(中国海洋大学,青岛266071;山东大学,济南250100)提 要:本文重点探讨在大学英语课堂教学中,各种不同模态是如何相互协同,共同完成教学目标的。
文章首先对多模态话语分析理论进行简单探讨,包括多模态话语分析理论的发展和理论基础、不同模态和媒体、模态和媒体之间的关系,然后探讨不同模态之间的关系,最后对比两个教学案例,探讨在实际教学过程中,不同模态之间的相互协同,共同实现教学目标的过程。
本文发现,教学的主模态是口头话语模态,其他对它起补充、强化、优化等作用,并据此总结出6点教师应该注意和改进的方面。
关键词:多模态话语;协同;模态;媒体;课堂教学中图分类号:H319.3 文献标识码:A 文章编号:1000-0100(2010)02-0097-6The Synergy of D i fferen tM odes i n M ultim oda l D iscourse andThe i r Rea li za ti on i n Fore i gn Language Teach i n gZhang De2lu W ang Lu(Ocean University of China,Q ingdao,266071,China;Shandong University,J inan,250100,China) The p resent article investigates how the different modes of discourse cooperate and coordinate with each other t o achieve the teaching objectives in college English classr oom teaching.It begins with a brief intr oducti on t o the theory of multi m odal discourse analysis,including the devel opment of multi m odal discourse analysis and its theoretical foundati on,the different types of media and modes and the relati on bet w een them,and then it investigates the relati onshi p bet w een different modes of discourse.Finally, it compares t w o cases of college English classr oom teaching by investigating how the different modes cooperate and coordinate in accomp lishing teaching objectives in college English teaching.It is f ound that the main mode of discourse in classr oom teaching is the oral language,and other modes mainly comp le ment and highlight it.Fr om this,we p r opose six suggesti ons f or the teacher t o i m p r ove his teaching.Key words:multi m odal discourse analysis;synergy;modes;media;classr oom teaching 在话语分析研究中,人们发现单纯研究语言话语已经不能对话语进行深入全面的分析和研究,特别是随着现代科学技术的发展,很大部分话语意义是由非语言因素体现的,如伴语言特征、身体特征、教学设备、实验室、计算机、网络、周围的环境因素等。
智库时代·154·智库理论新媒体在英语教学中的应用刘 杰（郑州工商学院人文艺术学院，河南郑州 451400）摘要：高校英语专业教学存在着一个普遍问题，那就是继续沿用中学英语的教学模式，以填鸭式灌输为主，过度强调学生的阅读和语法能力，忽略了学生的语言实际应用和交流能力，使语言与日常生活及用语脱节，导致了英语无用论的流行，严重影响了学生的学习积极性。
为改变现状，提高教学质量，大学英语课程借用现代网络技术改变传统教学模式，已势在必行。
关键词：新媒体；英语；应用中图分类号：G623.31文献标识码：A文章编号：2096-4609（2019）41-0154-002新媒体是运用数字、网络和移动等技术，通过互联网、无线通信网等渠道向大众传播信息的工具。
各大网站、电子期刊、报纸、QQ、微信、微博等都属于常见的新媒体资源。
将新媒体用于英语教学，有许多的优势：（1）新媒体平台上信息资源丰富，共享便捷；（2）互动性强，提高了参与度；（3）各种学习资源可反复观看使用，使学习突破了时间空间的限制。
总之，它的全球性、全面性、全天候及经济、操作性强等优势不但使学生能随时随地获取大量学习资料，还以图、文、声、像等多模态的形式，传送大量感官的信息，使学习变得轻松有趣。
因此，将新媒体应用于英语教学是社会、科技发展的必然趋势。
一、多模态话语分析理论新媒体这种运用视觉、听觉、触觉等多种感觉并通过图像、文字、声音、动作等多种手段或模态与符号资源进行交际的现象即多模态话语。
（张德禄，2010）多模态话语分析理论自20世纪90年代在西方国家兴起，是西方研究学者在批评话语分析的基础上，结合社会符号学、系统功能语法和传统话语分析等领域的研究成果发展而来。
该理论强调既然人类交流的方式是多种多样的，那么信息传递就应该充分利用各类信息传递渠道，并认为语言是一个社会符号系统（Halliday，1973），除语言之外的其他非语言符号（如：音乐、舞蹈、绘画等）也具有表意功能，非语言符号各模态之间既独立存在又相互作用，最后与语言符号一起共同生成意义。
2192020年10期总第502期ENGLISH ON CAMPUS国内多模态隐喻研究现状及展望文/张雅昕【摘要】本研究旨在通过对国内近十年(2011－2019)多模态隐喻核心研究期刊进行梳理与分析，进而明确国内多模态隐喻的研究现状，展望其未来研究的发展方向，以期为多模态隐喻研究的发展提供新的方向与思路。
研究发现，多模态隐喻从国内兴起发展至今，研究方向与研究视角逐渐呈现多元化，跨学科研究趋势明显增强。
分析认为：多模态隐喻的跨学科与跨文化研究，动态语料分析以及语料实证化将会是未来研究发展的主要方向。
【关键词】多模态隐喻；国内期刊；研究分析【作者简介】张雅昕(1997-)，女，吉林长春人，长春师范大学2019级硕士研究生，研究方向：外国语言学及应用语言学。
三、国内多模态隐喻研究现状分析1.研究方向与内容多样化。
概念隐喻是多模态话语研究领域的经典主题。
多模态隐喻理论提出以后，在国内形成了有代表性的多模态隐喻研究方向。
第一个方向是关注多模态语篇中概念隐喻的动态构建与表征类型，突破了以往研究中多限于语言层面的单模态隐喻， 而较少涉及非语言资源与语言元素的多模态隐喻。
(冯德正，邢春燕2011；蓝纯，蔡颖2013；刘熠，刘平2019；)其中有关政治漫画分析与国家形象构建等相关研究呈现明显增长的态势。
(赵秀凤，冯德正2017；刘煜，张红军2018) 第二个方向下，学者们注意到了多模态隐喻在实际教学领域的应用(王林海，刘秀云2013；张维，刘晓斌，周榕，李曼娜2014)。
如李毅，石磊(2010)强调了进行多模态研究教学的发展前景；更有学者探讨了多模态隐喻在英语写作教学中的应用。
(梁晓晖2013；张长颉2015；吴菁菁 2017) 第三个方向为多维视阈下多模态认知隐喻的研究增多，打破了一直以来仅从认知理论角度对多模态隐喻意义解构的局面。
2.研究视角多元化。
多维视角丰富了多模态隐喻的研究途径，在国内形成了三个具有代表性的研究趋势：1.认知诗学多模态隐喻研究。
认知语言学十讲思考题答案1. 应如何界定多模态话语？对于多模态话语的定义，众多专家给出了自己的意见：张德禄认为，多模态话语涉及两种或两种以上模态, 是运用听觉、视觉、触觉等多种感觉，并通过语言、图像、声音、动作等多种手段和符号资源进行交际的现象。
顾曰国指出，模态是“指人类通过感官（如视觉、听觉等）跟外部环境”（如人、机器、物件、动物等）之间的互动方式。
用单个感官进行互动的叫单模态，用两个的叫双模态，三个或以上的叫多模态。
胡壮麟把多模态话语定义为有表达意义的两个或两个以上单模态构成的话语。
李战子提出“多模态指的是除了文本之外，还带有图像、图表等的复合话语，或者说任何由一种以上的符号编码实现意义的文本”。
朱永生还给出了两个多模态话语识别的标准：“第一条标准是看涉及的模态种类有多少，第二条标准是看涉及的符号系统有多少。
有些话语虽然只涉及一种模态，但包含两个或两个以上的符号系统，我们也罢这些话语看作是多模态话语。
”综上所述，在多模态话语的定义上存在以模态为标准还是以符号系统为标准的问题。
根据模态即按感官分的话，由于同一感官（如视觉）可能涉及两种以上符号系统（文本、图像、图表），所以朱永生的第二条标准或李战子的定义比较清晰，可避免争议。
2．试分析多模态话语的两类媒体系统的含义及其相互关系。
多模态话语的媒体系统可分为语言媒体和非语言媒体两类（前者是以语言为信息载体，后者则是以非语言的物质为媒介）。
语言媒体主要有两种：声波传导的声音符号和由笔等生成的书写符号，是语言传播信息的主要媒介。
非语言媒体主要包括肢体动作和非肢体媒体。
肢体动作根据功能可分为五大类：象征性行为、解说性行为、情绪表达行为、调控行为、体适性行为。
而非肢体媒体主要包括工具和环境两个方面。
不同模态的媒体之间的关系呈现了多样性和复杂性，可大致分为互补和非互补关系：当一种或几种模态对某种模态起到强化、补充、调节、协同作用时，它们之间即构成互补关系；当第二种或第三种模态对第一种在意义的体现上并没有多大的作用时，它们之间就是非互补关系。
社会符号学视角下的多模态话语分析社会符号学视角下的多模态话语分析摘要：多媒体时代的到来使语篇世界日趋呈现多模态化。
多模态话语分析逐渐成为语言学研究的焦点。
本文以韩礼德的系统功能语言学基础上发展起来的视觉语法为理论，以2010年广州亚运会会徽为例，进行多模态话语的社会符号学分析，探讨图像作为社会符号和语言符号是如何实现表意功能的。
关键词：多模态话语；社会符号学；视觉语法；广州亚运会会徽1.引言科技的进步促进了多媒体技术的飞速发展，人类的语篇世界日趋呈现多模态化。
2010年广州亚运会是亚洲一大体育盛事，对广州，对中国，甚至对整个亚洲都有深远的影响。
本文尝试运用克瑞斯和勒文的多模态话语分析法，以广州亚运会会徽为例，进行多模态话语的社会符号学分析，探讨图像作为社会符号和语言符号共同构成意义的手段和方法，解析亚运会会徽的深层含义。
2.多模态话语的社会符号学分析理论克瑞斯和勒文把多模态话语定义为一种融合了多种交流模态（如声音、文字、形象等）来传递信息的语篇。
他们创建发展的多模态话语的社会符号学分析理论是以韩礼德的系统功能语言学理论为基础，主张图像也是社会符号。
韩礼德的功能语法认为语言系统中有三个表示功能意义的纯理功能：概念功能、人际功能和语篇功能。
而克瑞斯和勒文的研究将韩礼德的语法概念延伸到包括视觉模式，并由此创建了以再现意义、互动意义和构图意义为核心内容的视觉语法。
3．基于广州亚运会会徽的多模态话语的社会符号学分析3.1图像的再现意义对应于功能语法的概念意义，克瑞斯和勒文提出了多模态话语的再现意义，他们将再现意义区分为叙事的和概念的两大类，前者包括行动过程、反应过程及言语和心理过程，后者则相当于功能语法中所描述的关系过程和存在过程。
广州亚运会会徽以柔美上升的线条，构成了一个造型鲜明的五羊外形轮廓。
五羊雕塑是广州最具有象征意义的城徽，是广州的标志。
广州因此被称为“羊城”。
中国传统文化中，“羊”与“祥”相通，是吉祥之物，象征着吉祥、幸运。
2013年5月第36卷第3期外国语Journal of Foreign LanguagesMay2013Vol．36No．3文章编号：1004－5139（2013）03－0020－09中图分类号：H030文献标识码：A 多模态话语分析的双重视角———社会符号观与概念隐喻观的连接与互补张德禄1，郭恩华2（1．同济大学，上海200092；2．烟台大学，山东烟台264005）摘要：多模态话语分析在语言学领域主要有两个研究视角:基于系统功能语言学的社会符号学视角和基于认知语言学的概念隐喻视角。
两个研究视角之间的连接与互补可以从语言学基础层面、语言哲学层面、语境层面、主体理论构建层面进行探讨。
通过研究和实例分析表明这两个研究视角在理论范式上可相互连接，在话语分析实践中可相互补充。
两者的结合可以有力地促进多模态话语分析理论的发展。
关键词：社会符号学;系统功能语言学;多模态隐喻;概念隐喻The Dual Perspectives of Multimodal Discourse Analysis:The Connection and Complementarity Between Social Semiotics and Conceptual Metaphor TheoryZHANG Delu1，GUO Enhua2(1．Tongji University，Shanghai200092，China;2．Yantai University，Yantai264005，China)AbstractʒMultimodal discourse analysis(MDA)in linguistics can be approached mainly from two perspectives:the social semiotic perspective based on SFL and the conceptual metaphor perspective based on cognitive linguistics．The connection and complementarity between these two perspectives can be probed into in terms of the levels of their respective linguistic foundations，philosophical foundation，contextual level and theoretical formulation．Through case study and investigation，it is shown that the two perspectives share common grounds in their theoretical paradigms and can complement each other in MDA．The integration of the two perspectives can greatly promote the development of the theory of MDA．Key wordsʒsocial semiotics;systemic functional linguistics;multimodal metaphor;conceptual metaphor1．引言多模态话语分析主要研究多种符号资源在同一语篇中如何协同来实现意义。
从社会符号学及概念隐喻双重视角探析公益广告中的多模态隐喻建构代美苓【期刊名称】《海外英语(上)》【年(卷),期】2016(000)002【摘要】With the development of science and technology, not only words, but images and sounds are widely used in advertis-ings. Advertising tends to be multimodal. The paper is intended to investigate the meaning construction of multimodal metaphor in print public service ads from the two perspectives of social semiotics and conceptual metaphor, that is, how multimodal meta-phor help transfer the value of the ads. The analytical methods of social semiotics and conceptual metaphor are briefly explained first, and the viability to combine the two perspectives in multimodal metaphor study is demonstrated by data analysis.%随着科学技术的进步，不仅文字，图像、声音等其他媒体都被广泛应用于广告，即广告媒体越来越趋于多模态化。
该研究旨在从社会符合学以及概念隐喻双重视角来分析平面公益广告中的多模态隐喻是如何实现其意义建构的，即传递其价值观的。
该文首先对社会符号学和概念隐喻的分析方法进行简要的阐释，接着从实例分析来证明两种视角共同分析多模态研究的可行性与互补性。
2013年5月第36卷第3期外国语Journal of Foreign LanguagesMay2013Vol．36No．3文章编号：1004－5139（2013）03－0020－09中图分类号：H030文献标识码：A 多模态话语分析的双重视角———社会符号观与概念隐喻观的连接与互补张德禄1，郭恩华2（1．同济大学，上海200092；2．烟台大学，山东烟台264005）摘要：多模态话语分析在语言学领域主要有两个研究视角:基于系统功能语言学的社会符号学视角和基于认知语言学的概念隐喻视角。
两个研究视角之间的连接与互补可以从语言学基础层面、语言哲学层面、语境层面、主体理论构建层面进行探讨。
通过研究和实例分析表明这两个研究视角在理论范式上可相互连接，在话语分析实践中可相互补充。
两者的结合可以有力地促进多模态话语分析理论的发展。
关键词：社会符号学;系统功能语言学;多模态隐喻;概念隐喻The Dual Perspectives of Multimodal Discourse Analysis:The Connection and Complementarity Between Social Semiotics and Conceptual Metaphor TheoryZHANG Delu1，GUO Enhua2(1．Tongji University，Shanghai200092，China;2．Yantai University，Yantai264005，China)AbstractʒMultimodal discourse analysis(MDA)in linguistics can be approached mainly from two perspectives:the social semiotic perspective based on SFL and the conceptual metaphor perspective based on cognitive linguistics．The connection and complementarity between these two perspectives can be probed into in terms of the levels of their respective linguistic foundations，philosophical foundation，contextual level and theoretical formulation．Through case study and investigation，it is shown that the two perspectives share common grounds in their theoretical paradigms and can complement each other in MDA．The integration of the two perspectives can greatly promote the development of the theory of MDA．Key wordsʒsocial semiotics;systemic functional linguistics;multimodal metaphor;conceptual metaphor1．引言多模态话语分析主要研究多种符号资源在同一语篇中如何协同来实现意义。
一方面，每个模态都有自己的独特性和表意潜势，因此，任何模态间的完全“翻译（translation）”都是不可能的［19：27；11：13］，都伴随着不同程度的意义丢失。
另一方面，不同模态在本质上有许多共同点：一方面，它们都是实现意义的社会符号系统；另一方面，各种符号话语都能表达人的思维结构和认知体验。
这两点分别为多模态研究提供了社会基础和认知基础，使多模态话语分析研究可以从两个视角进行研究：（1）系统功能语言学的社会符号学视角；（2）认知语言学的概念隐喻视角。
社会符号学理论源于系统功能语言学，主要研究某一特定文化中符号实践如何在各种语境中产生语篇意义。
概念隐喻在多模态语篇中称为“多模态隐喻”（multimodal metaphor），该理论重点研究不同的隐喻如何体现于各种符号实践，作用于人的认知语境，影响人们的认知识解。
这两种语篇分析视角在各自的领域里独立发展，很少相互交叉。
从国内外已有的研究上看，社会符号学视角的多模态话语分析起步较早［13；14；23；19］，数量较多；概念隐喻视角的研究［6；8；9；10］则是方兴未艾。
国内外在两者的关系研究上成果较少（见［29］）。
本研究则进一步从哲学基础和语境方面探讨这两种视角的连接，在理论模式建构上探讨两者的互补，并用实例进行说明。
2．两种研究视角的理论基础2．1基于系统功能语言学的社会符号学视角Halliday［13］最早提出语言本质上是一种社会符号。
系统功能语言学［14；15；22］认为语言本质上是一种意义资源，或称意义潜势。
语篇是人们根据语境从意义潜势中选择的结果，是意义潜势的实例化。
社会符号学家将这一基本理论观点应用到其他符号领域，认为社会中有意义的活动都构成符号资源，任何一种符号都是一种意义资源［14］。
各种符号系统共同形成相互联系的可供选择的意义网络。
符号实践则是符号的意义潜势在特定情景中的实例化。
社会符号学不是一门纯粹研究符号性质和系统的理论，而是一种实践理论［25：1］，一种适用符号学理论［32］，旨在运用和发展系统功能语言学的基本理论，解释各种符号资源和符号实践。
Kress＆van Leeuwen［18］将系统功能语言学的元功能理论扩展到视觉图像上，建立了视觉图像语法，构建了视觉图像的三大元功能（元意义），分别是再现意义（representational）、互动意义（interactional）和构图意义（compositional）。
另外，正如语言的元功能由词汇语法层实现一样，视觉图像的元功能也由视觉语法的功能成分体现。
2．2基于认知语言学的概念隐喻视角多模态话语分析在认知语言学领域的发展主要基于其概念隐喻理论［20］，其核心观点是：隐喻本质上是一种思维和行为方式，人们往往借助具体的身体体验来理解和感知抽象的概念；前者是源域，后者是目标域；源域投射到目标域的属性为映射项。
虽然Lakoff＆Johnson［20］将语言看作概念隐喻的外在表现形式，而非隐喻的本质属性，但其概念隐喻理论基本上是建立在语言隐喻研究的基础上的。
Forceville［10：21］认为：“要进一步证明隐喻的本质是概念的而非语言的，就必须证明隐喻不仅可以在语言中构建，而且可以由非语言符号或多模态话语来体现。
”此外，研究非语言模态隐喻和多模态隐喻有利于揭示概念隐喻在语言模态中不易表现出来的特征。
Forceville ［10：24］对多模态隐喻的基本定义是：“目的域和源域完全或很大程度上是由不同模态实现的隐喻。
”尽管不乏质疑，但多模态隐喻研究者们总体上认同Forceville的这个定义。
多模态隐喻虽然起步于语言学领域的概念隐喻研究，但它的研究成果远远突破了后者的研究局限，不仅发展了传统的认知隐喻理论，也为多模态话语分析提供了许多新的视角。
其主要贡献［10］是弥补了语言学领域概念隐喻研究的诸多不足，能更全面客观地触及隐喻的本质。
它将语类图式、文化规约、交际参与者的社会文化背景和即时认知环境纳入隐喻研究，有助于揭示隐喻的动态构建特征。
3．两种视角在语言哲学层面上的连接在语言哲学层面上，系统功能语言学和认知语言学并非相互排斥，而是在许多方面有共同之处：（1）系统功能语言学和认知语言学都把语义作为各自理论研究的重点，语法系统不是自主的，而是受到语义的支配，只是在支配方式上存在着差异：前者通过外部的交际功能；后者则是通过内部的意象图式和概念结构。
（2）在系统功能语言学中，内在经验同样占据重要地位，“它（语法）是再现经验模式的手段———使人类能够建立关于现实的心理图像，并理解发生在他们周围的和自身内部的经验。
”［14：101］Halliday［12］曾谈到及物性与认知的关系，认为及物性是有关认知内容选择的集合，是对语言外经验的语言表达。
胡壮麟［30：69］认为“意义的识解是社会的主体间相互作用的过程”，因此意义的产生与理解既涉及社会文化，又包含个体认知体验。
（3）认知语言学的理论基础并不排斥系统功能语言学的社会理据性（social accountability），它的一个核心思想就是语言在很大程度上以人类的躯体经验作为基础，而躯体经验是以社会实践为基础的。
社会符号学重点关注社会实践的研究，因此，社会文化因素在躯体经验中占据重要地位。
Lakoff＆Johnson［20］提出认知隐喻的体验性虽然是物质层面的，但受到文化差异的影响。
Forceville［10：27］则更进一步认为在多模态隐喻中投射不仅是体验性的，而且是文化性的。
在纯语言隐喻中，投射的往往是源域的内涵意义而非字面意义，而这种内涵意义在不同的文化（亚文化）中可能存在较大的差异［10：29］。
Yu［27：121］认为概念隐喻的经验基础既是身体的又是文化的，概念隐喻源自体验与文化的相互作用。
4．两种视角在语境理论上的连接社会符号学视角的多模态话语分析主要基于系统功能语言学的语境理论。
根据系统功能语言学理论［22］，语境指文化语境和情景语境：文化语境包括两个次范畴：意识形态和语类；情景语境即Martin［22］所称的语域，包括语场、语旨和语式三个变项（variables）。
每个语境变项都与一个元功能相关联，并决定着对意义，进而对语言形式特征的选择，即语场决定对概念意义的选择，进而决定对及物性系统的选择；语旨决定对人际意义的选择，从而决定对语气和情态系统的选择；语式决定对语篇意义的选择，进而决定对主位系统和信息系统的选择［13：31－32］。
在社会符号学中，这些适用于语言研究的语境被重新定义，适用范围扩展到其他符号系统。
多模态隐喻研究的语境理论［6；10］主要建立在Jakobson［16］所讲的话语交际模式上。
该模式包含语篇发出者、语篇接收者、语境、信息、渠道和符码六个要素。
Forceville运用Sperber＆Wilson ［24］的关联理论解释该模式，强调语篇的关联性只针对于语篇接收者个体，语篇发出者通过有效刺激（stimulus）激活语篇接收者的认知环境，从而引导后者对语篇中的隐喻做出正确的识解。
Jakobson将其交际模式中的语境因素分为篇内语境和篇外语境。
Forceville［6：2］认为篇外语境主要包括文化传统、交际期待、语类等。
