多模态语篇分析的社会符号学理据
汪燕华
（厦门大学，厦门361005）
提要：本文通过分析Halliday和Kress的符号学理论探讨多模态语篇分析的符号学理据，指出多模态语篇研究是以语言研究为基础的社会符号学理论扩展至其他模态研究的结果；社会符号学不是符号研究的纯理论，也不是自足的理论体系，而是在分析社会现象、解决社会实践问题的过程中存在和发展的理论与实践统一体。
关键词：符号；多模态语篇；社会符号学
中图分类号：H0文献标识码：A文章编号：1000－0100（2010）06－0145－3
Social Semiotic Motivation of Multimodal Discourse Analysis
Wang Yan-hua
（Xiamen University，Xiamen361005，China）
This paper attempts to explore the semiotic motivation of multimodal discourse analysis．Through the analysis of social semi-otic theory proposed by Halliday and Kress，the paper points out that multimodal discourse analysis signifies the development of social semiotics based on language study into the other semiosis，and social semiotics is neither the pure theory of semiotics，nor the self-contained theoretical system，it is derived from social practices，designed for and developed through solving social pro-blems．
Key words：sign；multimodal discourse analysis；social semiotics
1引言
传统的语篇分析把语言符号作为研究对象，关注语言系统和语义结构本身及其与社会文化和心理认知之间的关系，却往往忽视了诸如图像、声音、颜色、动漫等其他意义表现形式（朱永生2007）。而随着时代的发展，单独以文字符号构建的语篇已不能满足意义表达和交际的需要。为了更快捷、有效的传递信息，达到交际的目的，语篇创造者运用诉诸于人们感官（视觉、听觉、嗅觉、味觉、触觉）的各种模式建构语篇，从而产生多模态语篇。多模态语篇分析是对组成一个语篇或一个交际事件的不同符号模态的分析，它将语言符号和其他相关的符号资源整合起来，旨在通过考察符号各自所体现的意义和符号之间的互动意义，分析和解释它们是如何共同协作，创造出一个完整的语篇或交际事件的。这类语篇分析既可以推动我们对语言学的研究，同时也可以加深我们对符号学的认识（胡壮麟2007）。本文将通过分析Saussure，Halli-day和Kress的符号学理论，明确多模态语篇分析的符号学理据。分析旨在表明：多模态语篇研究是以语言研究为基础的社会符号学理论扩展至其他模态研究的结果，是符号学理论逐渐社会化的表现；Halliday和Kress的符号学研究是一套一脉相承的、以社会文化和人类心理认知为导向的理论体系，该体系奠基于这样一种认识，即社会符号学不是一门关于符号研究的纯理论，也不是一个自足的理论体系，它在分析社会现象，解决社会实践问题的过程中得以存在和发展。
2Halliday的语言作为社会符号的理论
多模态语篇分析要求我们不仅关注语篇内部符号系统之间的关系，还需要我们把它本身看作一个符号系统寻求它和社会及符号使用者之间的关系。在这一点上，Halliday的社会符号学为多模态语篇分析提供了有力的理论基础。Halliday的社会符号学理论受到L．Hjelmslev 符号学理论的启发。Hjelmslev在实施Saussure提出的建立“研究社会内部符号生命的学科”的任务过程中发现符号不仅包括物质实体（能指）和心理概念（所指）的关系，还包括符号本身与外界符号系统的关系，并且所有符号都要服从更高系统的组织原则。这些表现更高系统的符号具有内涵意义。像其他符号一样，它具有让业已存在
541
2010年第6期总第157期
外语学刊
FOREIGN LANGUAGE RESEARCH
2010，No．6
Serial No．157
的符号系统发生作用的潜能。Halliday提出的社会符号系统相当于L．Hjelmslev所说的“具有内涵意义的符号”，它需要通过语言来体现。所有理论系统（科学、哲学和美学等）以及社会规范、法律、意识形态等都属于语言符号所体现的高一级符号。Halliday同时认为，还有一些社会符号依附语言而存在，如视觉艺术、音乐、舞蹈、着装方式、饮食以及其他一些意义生成行为，还有图表、地图、图形、数字等等（Halliday＆Matthiessen1999：606）。可见，Halliday的社会符号学理论扩展了Saussure的语言具有“社会性”的观点，把语言提升到符号主系统的地位，认为语言是能够掌控所有符号的生成的符号，而不单单是语言学描写的符号。这样，语言作为一个符号同时表述和构建社会结构和制度，而这种表述和构建并不限于语言自身，而且还表现于文化的各个方面。文化正是由许多符号系统构成的意义潜式，如建筑、美术、舞蹈、音乐、文学、民俗、礼仪、商品交换方式等都可以看做符号系统。在这个意义上，语言只是表现社会符号学的许多方式中的一种。另一方面，语言又是一种极为特殊的符号系统，它在表现其他符号的系统中也起了作用，因而是人们赖以缔造世界的主要手段，是建构和解构其他符号的媒介。
Halliday的社会符号学思想主要反映在其著作《作为社会符号的语言》中。他详细论述语言、社会和人的关系，提出“语篇、语境、语域、语码、语言系统和社会结构”6个反映语言和社会关系的概念。其核心思想是要在社会语境中解释语言，用语言来建构社会。这6个要素是我们分析多模态语篇的重要依据。和由单一的语言符号构成的语篇一样，多模态语篇也是人们根据语境所做的有意义的选择，是意义潜式的实例化（instantiation）；语境是多种符号意义生成的环境，其本身也是一个社会符号系统。同时，多模态语篇内部的不同符号系统之间也互为语境，因语域变量（语场、语旨、语式）的不同而生成不同的意义；与由单一的语言符号所构建的语篇所不同的是，多模态语篇的语式更为复杂多样，涉及到诸如图像、声音、色彩、排版和构图等多种表达意义的方式；语码在多模态语篇中可以指同一社会文化背景的人所默认的符号系统的组织原则，它是社会系统产生的社会符号类型，具有一定的规约性，它如同一只“看不见的手”，调控着多模态语篇生产、识解和消费的整个过程；这里要强调的是，语言系统在多模态语篇中属于主系统，人们通过语言系统实现社会结构，确立自身的地位和角色，建立和传递共享的价值系统和知识系统，从而将社会符号化。通过解读这6个要素可以看出，Halliday的社会符号学理论反对过分强调用形式主义的方法研究符号系统，而是主张把语言行为作为实例，并把社会实践作为经常的、可重复的、可识辨的类型（胡壮麟2007）。它认为社会是有意义的行动所构成的各种社会符号系统，也正是这些符号系统为这些实践和其他实践赋予了意义。如果说Saussure 把语言作为符号学的一个部分来研究是为了从语言与其他符号的异同中找到语言内在的特质，Halliday把语言作为社会符号的观点则是为了把语言和语言之外的其他符号系统置于社会文化的大背景下解释语言的功能。事实上，所有符号系统都是社会文化的一部分，社会文化本身也是一种符号结构。多模态语篇中各个符号的意义只有置于社会文化的大背景中才能得到准确的解读和界定。
3Kress的社会符号学理论
虽然Saussure和Halliday都注意到了符号的社会性是阐释符号意义的必要条件，但他们谈论的主要是语言符号。而Kress则把语言符号之外的其他符号纳入自己的研究视野，提出旨在解释所有符号系统意义的社会符号学理论（Kress1988）。Kress的社会符号学的研究是从分析幼儿对语言、文字和图像的反应和创造的过程入手的。在此过程中他发现在能指和符号使用者之间存在“动机”关系，动机的产生与人的社会环境有密切关系。在完成著作《作为意识形态的语言》后，他意识到纯粹语言符号研究对解释社会问题的局限性，认为在语言系统之外的其他系统（如视觉、听觉、行为等其他信号编码）也同样存在意义，仅仅探讨语言符号的意义远远不能解释社会实践中存在的问题。可以看出，Kress所提出的社会语言学理论旨在描述和解释语言符号和其他符号系统的意义生成、传播和接受的过程。
Saussure认为在符号学中，语言学起一个基准模型（mas-ter pattern）的作用。意思是说，其他符号体系的研究可以参照语言学来进行。Kress的社会符号学理论正是建立在语言学研究的理论基础之上的。他的社会符号学一方面补充完善Saussure的符号学理论，另一方面又借鉴Halliday的语言元功能思想并将之运用到其他符号领域。Kress在分析Sau-ssure一系列二分法之后，发现被Saussure排除在外无暇顾及的恰恰是符号学应该关注的对象，并认为符号学至少应该包括：（1）符号所固有的社会、文化和政治因素；（2）与语言符号并存的其他符号系统；（3）言语行为；（4）符号的历史、发展和演变等历时性特征；（5）符号化过程；（6）所指的结构；（7）符号的物质属性（Kress＆Hodge1988：18）。
在Kress看来，语言符号与其他符号系统之间有着千丝万缕的联系，任何一个符号意义的生成和理解都不能与其他的符号系统隔离开来，而必须将它放置在一个更为广阔的、由所有符号系统共同建立起来的背景下阐释，因为这些符号系统本身就是社会活动的一部分。在谈到语言学理论和其他符号系统之间的关系时，他认为，语言学理论的潜在价值可以在解释其他符号系统的过程中得到体现，而这种解释只有在和社会实践接轨后才能产生效果。
Kress不仅拓展Saussure和Halliday的符号学思想，
641
还将他的理论思想运用到视觉符号的分析当中。Kress的社会符号学理论实践主要体现在他与van Leeuwen合作的著作《阅读图式》（Kress van＆Leeuwen1996）中。Kress 运用系统功能语法关于语法的解释来构建视觉语法。Halliday指出，“语法是再现经验的模式的手段……它是人类建立关于现实的心理图像，并理解发生在他们周围和自身内部的经验（Halliday1985：101）。也就是说，语法是制造意义的资源，而不是一套决定对错的形式规则。Kress和勒文将Halliday对语法的定义延伸到视觉符号，认为，“正如语言的语法决定词如何组成小句、句子和语篇，视觉语法将描写所描绘的人物、地点和实物如何组成具有不同复杂程度的视觉的‘陈述’”（Kress van＆Leeu-wen2006：1），视觉图像和语言符号一样都是社会文化的产物，是人们在生产和阐释社会现象用来创造意义的认知资源。图像中的视觉符号不仅可以反映客观世界和主观世界发生的各种事情，而且可以表现各种各样的人际关系，与此同时视觉符号内部也是一个有机的连贯的整体。因此可以借用Halliday的语言元功能，分别从概念功能、人际功能和语篇功能三个不同层面分析图像等视觉符号的语义关系（Kress van＆Leeuwen2003）。Kress不同意Barthes所说的对图像的理解是依赖语言而获得的，而是认为图像和文字说明虽然有联系，但并不依赖文字说明，因为它本身既是有组织的又是又结构的（Kress van＆Leeuwen2006）。他同时强调，“视觉结构并不只是对‘现时’结构进行复制。恰恰相反，它们生成的现实世界的各种图像，与那些生成、传播和阅读这些图像的社会机构的利益是紧紧联系在一起的。它们是表达意识形态的。视觉结构决不只是形式的，他们在语义上也是非常重要的”（Kress van＆Leeuwen2006：46）。可见，每一种图形都有其特定的含义，我们称之为“图形语义”，即图形在“说什么”。的确，直到今天，我们还可以依靠刻划在阿尔塔米拉石窟的野牛图形和半坡遗址的彩陶鱼纹等稚拙的图案来研究和理解远古时代人类的生存状况。因此，在多模态语篇中，图形语义和语言是相互作用并互为语境的；它们的共同协作才能更好地表现语篇创造者和交际事件的意图。
4结束语
社会符号学的宗旨是在社会实践中探索意义的生成。任何意义，无论是语言文字的意义还是其他符号系统（视觉、听觉、嗅觉、味觉、触觉）的意义，以至抽象的模型、结构、主体意识都是它所要研究的对象。通过分析Saussure，Halliday和Kress的符号学理论，我们发现多模态语篇分析的理论是基于Saussure对符号具有“社会性”这一论断之上的。Halliday的“语言是社会符号的理论”（Halliday1978）是对此论断的扩展。须要指出，Saussure 和Halliday的符号学理论是以语言符号为分析对象从而探讨符号的共性和意义。这些共性是多种模态共存于同一语篇的基础。Kress的社会符号学理论融合Halliday语言作为社会符号的思想，发展并创立旨在解释所有符号意义生成和传播的符号学理论。这一功能语言学的发展，关注的是特定于某一文化、某一社团的符号实践，它推动多模态表达的研究，最终形成能够包容多种模态意义生成和解释的社会符号学理论，为多模态语篇分析提供直接的理论来源。
参考文献
胡壮麟．社会符号学研究中的多模态化［J］．语言教学与研究，2007（1）．
索绪尔．普通语言学教程［M］．北京：商务印书馆，1980．
朱永生．多模态话语分析的理论基础和研究方法［J］．外语学刊，2007（5）．
Halliday，M．A．K．Language as a Social Semiotic［M］．London：Amold，1978．
Halliday，M．A．K．An Introdiction to Functional Grammar ［M］．London：Amold，1985/1994．
Halliday，M．A．K．and C．M．L．M．Maatthiessen．Con-struing Experience through Meaning［M］．London＆
New York：Cassell，1999．
Kress，G．＆Leeuwen，Theo Van．Reading Images The Grammar of Visual Design［M］．London：Routledge，2006．
Robert，Hodge．＆Kress．Social Semiotics［M］．New York：Cornell University Press，1988．
Saussure，F．de．Course in General Linguistics［M］．Lon-don：Gerald Duchworth＆Co．Ltd．，1916．
收稿日期：2010－09－15【责任编辑李凤琴】
741
视觉诗40-Love多模态意义的构建 摘要：视觉诗有一般诗歌所没有的视觉效果，传统的单模态分析方法不能照顾这一特点，多模态话语分析理论为可视诗研究提供了一套同时分析视、听和文字互相兼容的系统研究体系。本文在此基础上，以系统功能语言学和多模态话语分析为理论框架，对Roger McGough的可视诗40-Love进行模态分解、单模态意义构建、多模态意义整合的尝试性研究。 关键词：多模态化；模态分解；单模态意义构建；多模态意义整合；视觉诗 1 引言 董崇选指出真正以“形”取胜的诗可以统称为“视觉诗”( visual poetry) 。它自诞生以来一直都是诗坛争议最多的一种诗歌形式，有人批评它不够严肃。针对于此，张旭红认为一种诗歌形式的成功与否不仅在于诗人的创作技巧，更在于读者的解读技能。传统的分析模式局限于单一的言语信息，忽视构成可视诗歌这一特殊文学形式的其他符号系统的分析，因而无法充分地诠释创作者的创作意图。而兴起于20世纪90年代的多模态话语分析理论为视觉诗的研究提供了一套同时分析视、听和文字互相兼容的系统研究体系。但目前国内外在该项研究中都刚刚起步，现有的研究主要集中在影视、多媒体、海报、视觉广告功能文体分析及口语的研究上，其中张旭红采用该理论对视觉诗歌Me up at does 作了大胆的尝试，并取得了成功。针对于此，本文以40-Love为例，并借鉴张先生研究模式尝试对其进行多模态的文体分析。 2 多模态话语分析综述 模态(modality)是指交流的渠道和媒介，包括语言、技术、图像、颜色、音乐等符号系统(朱永生2007)。多模态(multimodal)是指除了文本之外，还带有
龙源期刊网 https://www.doczj.com/doc/eb8505979.html, 多模态话语分析理论在新媒介时代的应用 作者：李妙晴 来源：《学理论·下》2009年第06期 摘要:20世纪90年代西方兴起的多模态话语分析,逐渐成为语言学研究的新热点之一。通 过回顾其在国外和国内的发展历史,重点解释了多模态话语与社会符号学的关系,并展望未来发展方向。 关键词:多模态话语分析;新媒介时代;社会符号学 中图分类号:H04文献标志码:A 文章编号:1002—2589(2009)14—0204—02 一、多模态话语分析理论 朱永生(2007),只使用一种模态的话语叫做“单模态话语”;同时使用两种或两种以上模态的话语叫做“多模态话语”。新媒介时代,语篇呈多模态化,20世纪90年代西方兴起的多模态话语分析(multimodal discourse analysis)为由多种符号组成的语篇分析提供了途径,帮助读者了解不同模态作为社会符号,如何共同作用构成意义,达到意义潜势,对提高人们多模式话语识读,具有积极的意义。多模态话语分析属于社会符号学的分支,Halliday的系统语言学作为基础,具有跨学科、应 用性强特点,能运用在语音文字、建筑、城市设计及规划、影视戏剧、音乐、PPT、教学和数据库广告、网站页面设计、大型演出及舞台表演、排版、音乐、教科书设计、教学等多领域,与 传媒学、批评话语分析等有紧密联系,已经影响了当今很多学科的研究方向,如阅读写作能力教育、传媒话语分析、文化研究等,对社会的经济能起直接的指导作用。该理论无论在国外还是 在国内都处于起步阶段,在国外已经有出版书目和召开国际会议,李战子(2003)首次引入了多模 态分析理论。 朱永生(2007),几个关键字的概念,模式(mode)、媒介(medium)与模态(modality)。模式指系 统功能语言学与话语范围(field)和话语基调(tenor)并列的语境三要素之一的话语模式,指交流渠道,如口头、书面、电子等。模态(modality)原指语言系统中讲话者对事物的或然性进行判断和事物的必要性表明态度的语义系统情态;这里指交流的渠道和媒介,包括语言、技术、图象、颜色、音乐等符号系统。媒介是表达信息的物理工具。采用某一种媒体仍可以有不同模式表达信息,同样的模式可以用不同媒体表达。 二、研究现状 辛志英(2008)大致有:社会符号学流派,包括O’Toole、Kress、Leeuwen、Lemke、 O’Halloran、Baldry Thibault和Ventola等;交互社会学流派,包括Scollon、Norris及Jewitt等;认知学流派,主要有Forceville和Holsanova等人。
“蓝·创未来”广告是2010年北京国际车展上大众汽车倾力打造的一幅环保广告，当时从车展现场到北京大街小巷的候车亭里都贴满了这幅广告。选择该广告作为个案研究对象的原因有三：第一，这则广告尽管构图非常简单，却具备了语言、图形和颜色三个模态；第二，这幅广告的独特之处在于，颜色模态居于主导地位，而非语言或图像模态；第三，这幅广告具有鲜明的时代意义。从2009年底的哥本哈根世界气候峰会到国家战略性新兴产业规划①的出台，从“十二·五”规划到2011年9月6日胡锦涛主席在首届亚太经合组织林业部长级会议上发表的题为《加强区域合作实现绿色增长》的致辞，都反映了我国政府实现节能减排、低碳环保、绿色经济的强大决心和战略部署。而我国汽车业也进入了开发新能源、打造新能源汽车的历史阶段。所以这则广告非常契合目前中国大力倡导绿色经济的国家战略，是很有代表性的现代环保广告，内容洗练，留给人们很大的想象和思考空间。 大众汽车集团（中国）总裁兼CEO范安德博士向记者介绍大众汽车品牌“Think Blue （蓝·创未来）”的理念 一、多模态和多元识读概念的产生以及目前大学生多元识读能力现状的调查 随着科学技术的进步和社会生活的日益丰富多彩，人与人之间的交流方式正在发生着巨大变化。在公共交流的很多方面，我们可以深深感受到语言符号以及其他传统习惯中被人们认为是副语言的图像、音乐、颜色等，越来越多地处于突出、甚至是一种优势和中心的地位（韦琴红，2009）。作为单一模态的语言为主导的交流时代已经发展到了多模态交流的时代。然而，丰富多彩的符号资源是如何参与意义构建（meaning making）的、符号系统之间存在何种关系、人们如何解读充满多元符号系统的文本或其他载体，这些亟待解决的问题于20世纪90年代催生了一个新的研究领域——多模态话语分析（multimodal discourse analysis）。基于此，多元识读能力的概念也就应运而生。多元识读能力（multiliteracy），也称多模态识读能力，是新伦敦小组（New London Group）于2000年提出的概念，指具有能阅读所能接触到的各种媒体和模态的信息，并能循此产生相应的材料，如阅读互联网或互动的多媒体。Spiliotopoulos对多元识读有更宽广的视野，认为它指人们能从多种信息传递和信息网络理解各种模态的语篇，能发展批评性思维的技能，能与他人合作并帮助他们发展跨文化意识。根据现有材料，多元识读能力是多层次的，其中最高层次的能力要求参与者不仅能识读语篇信息，能解释符号和图像，利用多媒体和其他技术工具，如互联网，实现意义构建、学习和与他人互动（胡壮麟，2007；韦琴红，2009）。 多模态话语分析的概念和理论研究还处于初始阶段，国内外只有少数专家、学者从事该领域的研究。目前，人们多元识读的意识还几乎没有建立起来。然而，对于担当未来社会文化传播主力军的大学生而言，进行多元识读能力的培养有着非常重要的现实意义和时代意义。 为此，笔者选取了“2010北京国际车展”的大众汽车“蓝·创未来”环保广告为研究个案，以问卷调查和访谈的形式调查了北京部分高校不同年级的近200名本科生，尤其是英语专业本科生，了解其多元识读意识和能力。根据调查和访谈结果，笔者对大学生对该则广告解读的情况进行了总结： 1.大约92%的学生都能解读出蓝色代表海洋、天空，象征着清洁、环保的未来。这也说明颜色在这则广告中发挥的重要作用。 2.只有大约2%的学生，提及了广告把文字和颜色结合了起来，能够想到“Think”表示行动，广告要求大家用环保的思维方式去思考，然后行动，还世界一片蓝天。 3.大约3%的学生认为这则广告中的蓝色代表自由，目的是激起人们自由弛骋的想象，这是对广告的错误解读。 4.还有大约3%的学生提出，这则广告信息量太少，如果教师不提示是大众汽车的广告，
多模态批评话语分析 随着互联网和多媒体的迅速发展和广泛应用,语言文本不再是交际的唯一手段,图像、手势、动作、颜色、声音等其他非语言符号也成为信息传递的重要方式。我们生活在一个由多种符号资源构成的社会中,意义的构建不再单纯依靠语言文本,而是越来越依赖各种符号资源的整合。人类交流所依赖的媒介和渠道被称之为“模态”(modality),例如:语言、声音、颜色、图像、手势等符号系统。作为人类的一种重要交际行为,话语自然具有多模态性。传统的话语分析以大于句子的语言单位作为研究对象,对实际使用中的语言进行观察和分析,研究语言的组织结构、使用特点、语法规律、语言中的制约因素等内容,忽略了能够传递大量重要信息的其他非语言符号。可见,传统的话语分析已经不能满足人们的实际交际需要,多模态话语分析符合当下信息时代发展的要求和趋势。多模态话语分析为人类理解丰富多彩的符号系统提供了新视角,目前已发展成为一种重要的话语分析方式。像语言一样,视觉符号和声音符号貌似正常或中立(平淡无奇),实则隐含着个人或社会团体的不公正、偏见和歧视。因此,在多模态话语分析中,我们应坚持批评的立场,给予非语言模态符号足够的重视,关注其中含而不露的意识形态意义,尤其是那些被人们习以为常的思想和观点。在多模态话语和批评话语分析互相影响
和借鉴的基础上,多模态批评话语分析应运而生。 20世纪90年代,多模态话语分析在西方开始兴起,引起越来越多语言学家的关注。传统意义上的话语分析注重分析语言符号系统和语义结构本身,忽略了对其他符号系统(例如:图像、声音、颜色、手势等)的研究。随着现代科学技术的发展,人类交际开始依靠多种模态共同完成,包括图像、音乐、声音、颜色等。而这种运用语言、图像、声音、动作等多种符号资源进行交际的现象就是“多模态话语”(multimod aldis-course)。学界对交际中出现的图像、手势、姿态以及空间的运用也产生了浓厚兴趣。学者们认识到,对于意义理解不仅需要对话语语言的分析,更要对独立或相互依赖的其他符号资源进行研究。法国语言学家BarthesRlando是最早从事多模态话语分析研究的学者之一。他在1977年发表的论文《形象的修辞》中探讨了图像在表达意义上与语言的相互作用[1]。Kress和VanLeuwene[2][3][4](P343-368)[5](P35-50)作为社会符号学的代表研究了模态与媒体的关系,在系统功能语言学的基础上,构建了视频话语的分析模式和多模态话语分析框架,探讨了多模态符号表达意义的现象,包括视觉图像、颜色语法以及报纸的版面设计和不同媒介的作用等方面。2007年,朱永生[6](P82-86)提出了两种多模态话语的识别标准:(1)同时使用两种模态的话语叫做“多模态话语”;(2)只涉及一种模态,但包含两个或更多符号系统的话语也是“多模态话语”,比如:视觉
20世纪90年代西方兴起了多模态话语分析，为 由多种符号组成的语篇分析提供了途径。此种分析方法能帮助读者了解不同模态作为社会符号如何共同作用构成意义，达到意义潜势，对提高人们多模式话语识读具有积极的意义。随着科技的不断进步，人们的生活越来越丰富多彩，各种多媒体充斥着人们的生活，多模态话语分析也越来越多地被应用于影视戏剧、电视广告、FLASH 、大型演出及舞台表演等等。本文拟以功能语言学理论和视觉语法为基础，结合声音系统，以电影语篇目前最为流行的《喜羊羊与灰太狼之虎虎生威》（下简称《虎虎生威》）为例进行多模态话语分析，旨在提高人们多模态话语识读能力及为观众赏析此电影提供一个新的视角。 一、理论背景 1.多模态语篇 朱永生提到了识别多模态语篇的两个判断标准。首先是看涉及的模态种类的多少。[1]模态指交流的渠道和媒介，包括语言、技术、图象、颜色、音乐等符号系统。准确地说，有视、听、嗅、触、味五个感官，五种交际渠道，即“五个模态”。例如看电视时，我们通过视觉模态观看电视画面，通过听觉模态收听声 音。其次，判断多模态语篇还可以看涉及符号系统的多少。例如小说中的插图，通常情况下只涉及一种视觉模态，但它还包含文字、图画、色彩的变化以及印刷体式的调整等。再如，电视广告，不仅包含视觉模态，还有听觉模态。简而言之，多模态语篇就是指涉及多种感知模态或由一种以上符号系统共同编码构建整体意义、传递信息的文本。 2.多模态话语分析 多模态话语分析的主要理论基础是Halliday 创立的系统功能语言学理论，其出发点是语言是社会符号。Halliday 认为语言系统中有三个用来表示功能意义的元功能，或称纯理功能：概念功能、人际功能和语篇功能。其中概念功能指语言对人们在现实世界(包括内心世界)中各种经历加以表达的功能，人际功能指讲话者运用语言参加社会活动的功能，语篇功能指语言用于组织信息的功能。Halliday 建构功能语法的目的是为语篇分析提供一个理论框架，这个框架可以用来分析英语中任何口头或书面语篇。 [2]32 Kress 和van Leeuwen 以halliday 的系统功能 语言学理论为基础，在将图像也看作社会符号的前提下，将Halliday 功能语言学中的纯理功能思想延 收稿日期：2010-12-17 作者简介：郭思斯（1986-），女，河北石家庄人，硕士研究生，主要从事英语语言学研究。 《喜羊羊与灰太狼之虎虎生威》的多模态话语分析 郭思斯 （南京师范大学外国语学院，江苏南京 210097） 摘 要：由于电影话语分析涉及到图像、音乐、语言、声音、文本等多种符号模态，以往人们常从 文学评论、电影评论、心理学、美学等宏观角度出发对其进行探讨，而较少使用以语言学为切入点的语篇分析方法。通过从再现意义、互动意义和构图意义上讨论电影《喜洋洋与灰太狼之虎虎生威》中虎威太岁拜年的图像意义表达方式，从电影的角度分析虎威太岁出场的场景、场面调度、画格，从动 画的独特特点分析该电影中各个动画人物色彩等各级阶符号，以及从图像、文字如何与听觉模态音乐等互动方面分析其背景音乐及片尾插曲，可以发现多模态话语分析理论在动画电影分析中具有可行性。 关键词：多模态话语分析；动画电影；图像符号系统；声音符号系统中图分类号：H0-06 文献标识码：A 文章编号：1673-1972（2011）02-0098-04 第13卷第2期石家庄学院学报 Vol.13，No.22011年3月 Journal of Shijiazhuang University Mar.2011
多模态语篇分析视角下网络表情符号互动意义研究 发表时间：2017-08-30T14:46:30.567Z 来源：《文化研究》2017年5月作者：张靖霞赵金霞 [导读] 在数字化的今天，网络表情符号日益成为人们网上表情达意的主要交际手段。 西安外国语大学陕西西安 710128 摘要：网络表情符号是集多种模态为一体的符号资源，目前分析网络表情符号互动意义的研究并不多，本文以视觉语法中互动意义为理论基础，用定性分析的方法，结合具体的图例，对其进行多模态语篇分析，旨在扩展多模态理论的应用性，提高网络表情符号使用者对其的理解及交际的有效性。 关键词：多模态语篇分析；网络表情符号；互动意义 1.引言 在数字化的今天，网络表情符号日益成为人们网上表情达意的主要交际手段。以微信为代表的即时通讯工具中，人们对表情符号的应用已超越了对语言的依赖，图像、视频等模态早已进入日常的网络交际圈。20世纪90年代在西方兴起的多模态语篇分析，受到了国内外学者的普遍关注。值得一提的便是Kress &Van Leeuwen的图像视觉模态的分析框架-视觉语法。因此，本论文将借助多模态语篇分析的重要理论之一视觉语法，研究网络表情符号的互动意义，旨在扩展多模态理论的适用性，提高网络表情符号使用者对表情符号的理解及交际的有效性。 2.视觉语法 基于韩礼德的三大语言元功能，视觉语法认为图像具有再现、互动和构图三种意义。互动意义指的是图像可以反映图像观看者与图像中世界之间的关系，包括接触、距离、视角和情态四方面的内容。“接触”涉及“索取”和“提供”两类行为，二者的区别在于图像表征参与者与观看着是否有直接的目光接触。“距离”决定了表征参与者与图像观看者之间的远近关系，这种关系是由镜框大小来反映的。不同的“视角”可以反映观看着对图像表征参与者不同的态度，及二者间的权势关系。 3．网络表情符号的互动意义 互动意义指的是图像可以反映图像观看者和图像里所展示的世界间的关系。这种互动意义主要体现在接触、距离、视角和情态四个方面。下面将以以下网络表情符号为例，重点阐释前三个方面的内容。 接触 图1中的表征参与者是一只呆萌可爱的小狗，它的眼睛直直的看着观看者，使它与图片的观看者之间建立起了索取的关系。该网络表情符号以含蓄的方式向该表情的接受者清楚地传达出该表情符号发送者的心情，即“委屈”，正如图1下方所写的委屈二字一样。这种索取类表情符号，除了表达该表情发送者的心情外，也暗示出他希望得到或索取到该表情接受方的同情与理解。因此，该表情符号不仅有效地表达了表情发送方难以言表的心情，而且以小狗的形象出现，顿使表情观看者心生怜悯，更易接受对方所传达的内容。 图2中的表征参与者有三人，其中电视剧《还珠格格》中的“尔康”为主要的表征参与者，该表情观看者可以看到其面部表情，而其余二人只能看到背面。在该表情中，三人和观看者之间均没有任何的眼神接触，他们只是给观看者传达某种信息，属于提供类的表情符号。借助于该表情符号下方的字“我觉得我想杀人”，间接地表达出了该表情发送方“愤怒”或“不满”的心情。同时，该表情符号借助于“尔康”夸张而又丰富的面部表情，一种幽默搞笑的效果骤然出现。 距离 在互动意义中，距离的远近与社会关系的亲疏有着密切的关系，而这种关系是由镜头的大小来体现的。网络表情作为传达交际者态度与情感的交流工具，展现出的社会距离也常常是亲密的或个人的。比如微信表情符号“”能更好地说明近距离所体现的亲密关系。这些网络表情符号只选取身体的部分如嘴唇，而非整个身体，有效地缩短了该表情发送方和接受方的距离，暗示出他们之间的亲密关系，同时，这些表情也表达出了该符号发送方对另一方深深的爱及友好的态度。 图3则采用的是长镜头，体现的是一种较为客观的社会关系。图3中一共有四个人，他们每人手拿一只带有“年”字的灯笼，表明正值过年之际，可是他们的头部全部被写有“抢红包”三字的红包所替代，此外，每个人身上依次写有“长辈、老板、朋友和同学”。该网络表情符号采用长镜头，暗示出图像中的表征参与者与该图像观看者间的关系仅仅是社会的、非个人的，同时也表明几乎在社会各个阶层，抢红包已成为了一种普遍的社会现象。 视角 图4中，一个小男孩双膝着地，双手拿着一朵小红花，眼睛像上望去，在图的左边写到“送你小红花”。在观看该网络表情符号时，观看者往往有一种从垂直角度上俯视该图像中小男孩的感觉。这种垂直角度上的俯视往往暗示出图像观看者比图像中的表征参与者拥有更多的权势，更多的优越感。因此，该表情符号的发送方利用该表情的这种特点，以一种谦虚而又“低人一等”的方式向该表情接收方传达自己的友
模态分析 - 简介 专业模态分析，包含多种经典和最新理论方法，支持各种模态试验方法。目前已经在国防军工、教学科研、土木建筑、机械、铁路交通等各行业得到了非常广泛的应用，成功完成了大量的模态试验任务，包括航天器、军械、卫星、汽车、桥梁、井架、楼房等等，受到广大用户的高度评价. 主要特点 * 模态类型 可完成位移模态和应变模态的试验分析,可直接输出含有模态质量、刚度、阻尼、留数、振型、相关矩阵校验系数的模态分析报告。 * 多种方法 支持各种试验方法，SIMO(单输入多输出)、MISO(多输入单输出)、MIMO(多输入多输出)、ODS(运行状态变形)、OMA(环境激励模态)等 * 变时基 专利技术，可进行大型低频结构的脉冲激励模态试验。 * 自动化模态分析（一键求模态）领先技术 利用创新的模态指示函数，一键即可得到专家级的模态分析结果 * 可视化结构生成和彩色三维振型动画（点击进入详细介绍） 结构输入：可视化的CAD输入系统，点击鼠标即可完成 振型动画：三维彩色动画，多模态多视图旋转显示，输出AVI文件 * 仿真分析 可以进行板、梁的仿真模态分析，适合于模态分析理论的教学和学习。 1.基本模态软件 基本部分可完成位移模态分析，支持SIMO、MISO、OMA方法，具有变时基专利技术，可视化的结构生成和彩色振型动画显示，以及仿真分析功能。 模态拟合方法提供六种频域方法和ERA特征值实现算法，ERA方法既可以完成激励可测的经典模态分析，又可以进行激励不可测的环境激励模态分析。 2. 时域法模态分析（适合于环境激励模态）(选件) 三种时域拟合方法(随机子空间法SSI,特征系统实现算法ERA,复指数法Prony)，更适合大桥楼房等环境激励模态 3.EFDD模态分析（适合于环境激励模态）(选件) 增强的频域分解法，国际最新发展的方法，分析过程简明，操作简单，不易产生虚假模态。