多模态话语研究的缘起与进展*

代树兰

(江苏理工学院，常州213001)

1 引言

我们生活在一个多模态的社会，意义的构建越来越依赖各种符号资源的整合。话语的多模态性已成为当今世界人们交际中使用的各种语篇的一个重要特征。近年来，随着话语分析的发展，针对话语的研究不断深入，其研究对象除传统的对话语中的主要构成要素——语言的研究外，一批学者开始将目光转向包括语言在内的所有交际符号，探讨交际过程中各种符号在话语中的作用及其之间的关系，于是，话语分析开启了一扇新的窗口——对话语的多种模态的关注和研究，多模态话语分析已成为话语分析的一个重要研究领域。

多模态(multimodality)是指在口头或书面交际中，交际符号的多样性。随着现代科学技术，特别是计算机、多媒体和传媒技术的发展和广泛运用，在人类的交际活动中，多模态话语特征日渐凸现，图像、声音、文字、色彩、空间、动作等多模态同时出现的话语形态日渐增多。虽然口头语言继续作为主要的交流方式，然而，公共交流中的大众传播媒体和书面语言将越来越多地倾向于图像模式和视觉文化。读写能力已经不仅仅是理解语言文字的能力，对图像、声音、色彩、空间、动作等多模态话语的理解已提上日程。“意义通过不同的模态建构，并通过在一个交际过程中共现而得以体现和表达。”(Kress＆van Leeuwen 2001:111)“语言使用，不管是口语还是书面语，总是不可避免地由多种交际模式构成”(LeVine＆Scollon 2004:1－2)，因此某种意义上可以说，“所有的话语都是多模态的”(Kress＆van Leeuwen 1998:186)。随着人类进入社会符号学的多模态化的新时代，在今后的研究中，多模态化的感知、多模态化的复制和多模态化的互动将受到特别重视(胡壮麟2007)。

多模态话语分析是对交际符号的多种模态、各模态之间的关系、它们所构成的整体意义、及其特征和功能的分析(代树州2009)。它关注社会情境中多种模态资源的设计、制作和分配(van Leeuwen 2008)，以及各模态随着社会实践的进程而重新组合的过程(Iedema 2003)。多模态话语分析在其发展初期的短短二、三十年里，就显示出很强的生命力，在随后的发展过程中，它汇聚社会符号学、传播学、认知语言学、哲学、话语语言学等领域的诸多研究者，并取得不菲的研究成果，他们试图从不同侧面、不同领域揭示话语的多模态特征及其内在规律，促使该领域的研究蓬勃发展、成果迭出。

虽然人们将多模态话语提上研究日程只是近二、三十年的事情，然而，对话语的多模态性质的认识和探讨却具有相当长的历史。本文拟围绕人们对话语的多模态性质的认识、多模态话语研究的缘起与发展、研究过程中取得的成果等进行梳理和研究，并在其基础上，展望多模态话语研究的发展趋势。

2 多模态话语的缘起与进展

话语的多模态性并非一个新现象，事实上，它是我们生活的固有特征，也是人类进化过程的固有特征。在人类发展之初，人们首先认识的是各种各样不同形式的事物，人类最初的交流也是口、耳、手、身体、动作、物体等并用的交流模式。原始语言将整个身体作为表达工具，其表达模态包括手势、面部表情、注视、发声等。在书写形式出现之前，语言与图画、雕刻等符号共存几百年、甚至几千年的历史。无论是远古时期的岩画、图腾，5000年前出现于埃及、美索不达米亚的图形文字，还是3500年前中国殷王朝的甲骨文以及各种壁画、雕刻等，都是图像符号、图形符号、以及文字符号的融合。即便在后来书写文字产生、发展的过程中，也保留了其最初的“书画同体”的多模态特征:“颉有四目，仰观天象。因俪乌龟之迹，遂定书字之形。造化不能藏其秘，故天雨粟;灵怪不能遁其形，故鬼夜哭。是时也，书画同体而未分，象制肇创而犹略。无以传其意故有书，无以见其形故有画，天地圣人之意也”(张彦远历代名画记·叙画之源流)。清代书画家沈宗蓦也认为，“六书之有形，即画之源也。且画之为言画也，以笔直取万物之形，洒然脱于腕而落于素，不价扭捏，无事修饰，自然形神具得，意致流动，是谓得画源”(沈宗蓦1996:3215)。

中国古代的诗歌、绘画、书法等作品，常常是多种模态并存，诗中有画，画中题诗、题词、题字，讲究文字与艺术的融合;许多艺术家把自然作为艺术的对象，在他们的诗、画、书等作品中，山水、花鸟、树枝、竹枝成为其表现手段，人、诗、画、景、言融为一体，让人从各种模态的融合中获得启示和美感，领会超越于自然和人生之上的妙道，可谓“诗中有画，画中有诗”。早期的无声电影、无线电等也都具有明显的多模态特征，现代的电影、电视及各类广告中，意义的表达更有赖于图像、声音、以及各种符号的协同作用。人们通过对各种器皿、雕塑、壁画等作品对古代生活、文化、宗教等的推测、探讨，对各种艺术珍品的把玩、欣赏，以及对其所蕴含的历史、文化、风土人情的领悟，少儿对连环画的痴迷，历代对《清明上河图》所反映的北宋时期的城市文明、风土人情的赏析和探讨等皆是话语的多种模态的具体体现。

事实上在我国古代，人们就意识到多模态的重要性。早在先秦时期，《易传》在言意之间引入“象”的概念，以当代意义上的“符号学”方式，创造性地建立了物理世界与经验世界的联系(王瀚东2001)。“观象于天”，“观法于地”，“近取诸身，远取诸物”，“圣人之情见乎辞”，“圣人立象以尽意”等，不仅对卦象生成的描述指向语言的起源问题，也体现了先哲对话语的多模态特征的认识和关注。西晋著名文学家陆机曾提出，“宣物莫大于言，存形莫善于画。”曹植认为图像比语言文字更能起到劝诫作用。唐初裴孝源在《贞观公私画史》中提出图像有重要作用。张彦远也认为图像在记录历史事件、人物容貌、风俗习惯等方面比文字更加有效:“记传所以叙其事，不能载其容，赞颂有以咏其美，不能备其象，图画之制，所以兼之也。”。宋代郑樵认为仅凭书面语言的记载会使学问沦为虚学，“见书不见图，闻其声不见其形;见图不见书，见其人不闻其语。后之学者，离图即书，尚辞务说，故人亦难为学，学亦难为功。”又言“辞章虽富，如朝霞晚照，徒焜耀人耳目;义理虽深，如空谷寻声，糜所底止。二者殊途而同归，是皆从事于语言之末，而非为实学也。以图谱之学不传，则实学尽化为虚文矣。”他的《通志》虽无图像，但在理论上强调了图像的重要性。郑振铎有言“从自然环境、历史人物、历史事件、历史现象，到建筑、艺术、日常用品、衣冠制度，都是非图不明的。有了图，可以少说了多少的说明，少了图便使读者有茫然之感”(郑振铎1988，李彦锋2010:9－10)。

在西方，早在古罗马时期，人们就注意到话语的这一特征:“我已从一个不言不语的婴儿，成长为呀呀学语的孩子了……听到别人指称一件东西，或看到别人随着某种声音做相应的动作，我便记下来:记住这种东西叫什么，要那件东西时，便发出相应的声音。又从别人的动作了解别人的意愿，这是各民族的自然语言:用表情、目光、其他肢体动作和声音表达内心的情感，或为要求、或是拒绝、或是逃避……从此，我开始用互相达意的符号与周围的人们交流……”(奥古斯汀1963:11－12)。这种原始语言的多模态特征同样存在于人的幼年时期(Halliday 1975)。当原始语言进化为语言、幼儿语言转化为成人语言时，语言的多模态性得以保留和发展。

语言的声音特征被古希腊时期斯多葛学派视作语言的3个重要特征之一，古希腊、罗马时期的演讲也非常注重姿态、手势、表情等辅助手段。昆提利安(Quintilian)的《演说原理》(Institutes of Oratory)不仅强调“面貌”、“形象”等符号意义的重要性，他对体态的描述更是精细到头、眼、手臂、手指、服饰等(从莱庭等2007:30)。即便在以语言为主导的研究中，人们也注意到话语的多模态特征，即不同的表达形式时常与不同的意义形式相联系:手势与面部表情变成“身体语言”的一部分，声音仍然是语言的表达手段，韵律、节奏、响亮程度等成为“副语言”的表达资源。发声具有两种“模态”——清晰度与韵律感，后者不仅可以表现为抑扬顿挫的语调，也可以以不同的节奏呈现。语言与身体语言、副语言特征等在具体的语境中共同建构意义。而在现代技术环境中，意义的建构方式又越来越多地延伸到身体、语言之外。

尽管人们对各种视觉、听觉符号的认识一直伴随着人类的发展进程，然而在学术研究中，人们对多模态话语的认识和研究经历了一个相对漫长的过程。

在哲学、人类学、符号学、文化研究等领域，学者们以不同形式、从不同视角对其予以关注、进行探讨。维特根斯坦认为尽管非语言符号不容易变成系统、准确的语言，但它们具有表达态度与情绪、辅助语言交际、替代语言等功能，社会中大量的信息正是通过它们传达的(维特根斯坦2001)。胡塞尔持有类似的观点，将符号分为自然符号和人为符号两种基本类型，自然符号具有指示某个对象的功能，不具有意义。人为符号则是具有意指功能的“表达”符号，又可进一步分为语言符号和非语言符号(胡塞尔1999)。在二战期间及之后的一段时间内，受索绪尔等的影响，包括列维－斯特劳斯在内的诸多人类学家在考察人类实践的过程中将目光转向了语言，认为“构成文化的社会行为事实上也表现为一种按照语言的模式进行‘编码’的活动，或许它本身就是一种语言”(Hawkes 1977:19)。即人类活动本身，其各个方面都具有索绪尔意义上的符号或符号潜能。符号既可由身体有机地产生，也可借助身体在技术上的延伸工具化地产生。当媒介使我们的身体延伸时，我们面对的便是具有生命的自主的符号系统(霍克斯1987:140)。这里的符号及其系统都超出语言符号之外，包括人类活动各个方面及由于技术上的延伸而引起的媒介变化，从而理所当然地将话语的多种模态涵盖其中，尽管当时的主流研究尚未将其纳入学术研究视野。

根据格雷马斯的观点，一部电影、一幕街景同时具有多种代码，并使用多种交际渠道，构成具有整体意义的文化现象(格雷马斯2009:43)。在某些没有语言起源传说的非洲社会，服饰文化(服装、纹身)起源的传说替代了语言的作用。服饰的内涵意义与自然语言一样，既造成语言群体间的区别，又形成巩固社会团体的归属感和凝聚力。从这个角度看，语言研究属于一门更宽泛的社会符号学的学科，该学科既包括语言，也包括服饰、食物、手势等方面的研究……众多的符号共同构建意义、产生社会影响。因此，应该对这些复杂的符号系统进行分析、梳理、描述，提出适用于社会语言学的内涵意义范畴和分类模式:(1)空间关系学范畴与模式;(2)形态学范畴与模式;(3)功能范畴与模式等(格雷马斯2009:55－60)。

本工作介绍了一种改进型DIC分析技术.基于室内模型试验,结合改进型DIC分析技术,针对静压沉桩过程中桩-土界面土体位移进行了测量和分析,得到以下几点结论.

巴尔特也将符号学的对象视为包括形象、姿势、有旋律的声音，以及作为意义系统的语言等在内的一切符号系统:“最有趣的系统是那些涉及不同实体的复合系统。在那些至少属于大众传播社会学的复合系统，如电影、电视及广告中，意义的表达有赖于图像、声音和其他各种符号的协作，因而要确定这些系统中的语言事实与言语事实的类别，时机还欠成熟。一方面，我们还不能断定每个复合系统中‘语言’到底是原创还是仅仅由其中的各种辅助‘语言’组成;另一方面，这些辅助语言还未曾得到分析，原因是虽然我们了解语言学的‘语言’，但不了解图像或音乐的‘语言’”(巴尔特1999b:20)。他认为世界上的每一种物体，都可以从一个封闭、寂静的存在，衍生到一个口头说明的状态……它可以包含写作或者描绘、照片、电影、报告、运动、表演和宣传等，这些都可以作为神话言谈的资源(巴尔特1999a:167－168)和素材(语言本身、照片、图画、海报、仪式、物体等)(巴尔特1999a:173)。这里，巴尔特对各种符号、各种模态构成的整体的强调，无疑具有先见之明，这一点正是目前多模态话语研究关注的焦点。

在强调其他符号不容忽视的同时，这位符号学大家还特别提醒人们语言的重要性，以及语言学与符号学之间的关系:“所有的符号系统都与语言纠缠不清……当代社会的符号学家，尽管一开始就以非语言实体为研究对象，迟早要在他的研究道路上遭遇到(‘真正的’)语言……符号学也许注定要深入到跨语言领域……有朝一日索绪尔的主张有可能会被推翻:语言不是普遍的符号学科的一部分，哪怕是有特殊地位的一部分;相反，符号学乃是语言学的一部分，是具体负责话语中的大的意义单位的那部分”(巴尔特1999b:2－3)。

无独有偶，利科也认为，“语言的确不只是最重要的符号学系统，而且语言学是最高级的符号学科学，一切其他符号系统都以某种方式归结于语言，虽然每个系统都有其个性”(利科1988:346)。尽管他们对语言学与符号学之间的关系所持观点不同，但对语言重要性的强调、对语言符号之外其他符号的重视、对话语的多模态性的认识是一致的。

此外，巴尔特还将第一个符号系统(语言，包括能指和所指)看成第二个更大的符号系统(意识形态)的能指，对不同模态所蕴含的意识形态意义进行探讨，从而拓开了多模态话语分析中的批评话语分析之先河。他举的一个有名的例子是:“我在理发店里，有人给我一本《巴黎竞赛画报》。封面上是一个身着法国军服的年轻黑人在敬礼，两眼上扬，也许凝神注视着一面法国国旗。这些就是这张照片的意义。但不论天真与否，我很清楚地看见它对我意指:法国是一个伟大的帝国，她的所有的子民，没有肤色歧视，忠实地在她的旗帜下服务，这个黑人在为所谓其压迫者服务时表现出来的忠诚，再好不过地回答了那些对所谓殖民主义进行诋毁的人”(巴尔特1999b:175－187)。

在语言学领域，现代语言学的开创者索绪尔认为，“语言问题主要是符号学问题，我们的全部理论都从这一重要事实获得意义。要发现语言的真正本质，首先必须知道它跟其他一切同类的符号系统的共同点”(索绪尔1980:39)，从而强调了语言符号之外其他符号，以及对其进行研究、比较的必要性。布拉格学派的代表人物雅各布森也曾指出，“人类社会中最社会化、最丰富和最贴切的符号系统显然以视觉和听觉为基础”(霍克斯1987:139)，即包括以视觉、听觉为基础的语言符号、非语言符号等多种模态。20世纪初俄国形式主义对语言的音质、节奏的重视，Bransford和Johnson(1973)对视觉符号在话语理解中的重要性的强调，拉波夫对马撒葡萄园岛(Martha’s Vineyard)的英语语音变体特征进行的分析(Labov 1963:307)，Crystal关于音高范围、响度、节奏、声音特征均有可能成为说话人群体归属的表征信息的来源(Crystal 1975:84－95)等，都从不同侧面强调了话语的多模态特征。事实上，语言学研究过程中对各种非语言特征、副语言特征、语言韵律等方面的探讨，以及文学研究中对各种书写形式、书写格式等特征的关注等，都是对话语的多模态特征的关注和探讨。

在话语分析领域内部，早期的学者们对话语的多模态特征虽多有关注，但并未作为主要研究对象。Brown和Yule认为，“音调也常常用来表示某种信息。在讲话中，新信息常用较高的音调，而已知信息则用较低的音调;有时高音调也可用来表示发话人更换话题或新的话题开始，或表示强调、对比，低音调也可表示听话人不必重视的东西”(Brown＆ Yule 1983:F20)。Couper-Kuhlen在提出话语层面研究语调的3种路径的基础上(语调是语法的一部分，语调与信息流相关，语调作为语境线索)，认为在今后的研究中节首(onset)、声域(register)、节奏(rhythm)、响度(volume)、副语言音质效应(paralinguistic voice-quality effects)等韵律语境线索(prosodic contextualization cues)将引起更多关注(Schiffrin et al.2001)。Fairclough(1992，2003a)和 van Dijk(1997，1998)都曾明确提出话语包括口语、书面语以及非语言交际等多种模式。他们认为，在面对面交流中、在看电影电视节目时，伴随着声音出现的非语言活动，如手势、面部表情、身体姿势、亲近、掌声、笑声等对话语意义及功能的理解起着至关重要的作用(Van Dijk 1997:6)，因此随着现代社会多媒体交流的普及，话语的视觉形式不可忽视，特别是对广告、电视节目的研究更需跨媒体、多模态的探讨。Fairclough在吸收Foucault和Harvey等社会学理论的基础上发展了话语概念，认为社会实践是抽象的社会结构和具体的社会行为之间的桥梁，话语则是社会实践的一个重要组成部分，它既包括语言因素，也包括非语言的交际因素和视觉形象……话语秩序是社会实践在语言层面上的反映(Fairclough 2003:24)。因此应“将话语概念加以延伸，使之不仅包括作为文字和影像结合物的文本，也涵盖其他符号形态”(费尔克拉夫 2003:4)。Halliday也指出，社会体系或文化可以表述为一种意义建构和符号系统，构成社会体系的意义是通过许多模式和渠道传递的，语言只是其中的一种交际模式，除语言外，还有很多其他符号模式(Halliday 1978/2001:189)。只是在传统的研究过程中，人们更多的关注语言模式而已。

目前，在多模态话语分析领域较活跃的主要有社会符号学，互动社会语言学和认知语言学等3个流派，其研究范围包括语言之外的各种符号资源的理论体系和工作机制、及其对社会符号进程的建构，以及对各模态之间形成的关系及意义进行探讨(O’Halloran 2011)。

社会符号学和批评话语分析的研究者:Kress＆ van Leeuwen(1996);O’Toole(1994);Lemke(1998，2002，2009);Baldry ＆ Thibault(2006);Bateman(2008);Bednarek＆Martin(2010);Jewitt(2009);Unsworth(2008);Ventola＆Moya(2009);O’Halloran(2011)以及 Machin(2007)，van Leeuwen(2008)都以Halliday的系统功能语言学为理论基础。其中，Kress＆van Leeuwen(1996)在语篇分析的基础上提出图像分析的总体原则，基于Halliday的3个元功能提出的图像的再现功能、互动功能和构成功能。O’Toole(1994)将Halliday的理论用于对绘画、雕塑、建筑的研究，通过自下而上的分析建立起来的可资借鉴的分析框架为80、90年代的多模态话语研究奠定了基础。随后的学者又将越来越多的模态纳入研究视野，如对声音与音乐(van Leeuwen 1999)、科学课本(Lemke 1998)、动作与手势 (Martinec 2000)、教育研究(Jewitt 2006)及多模态读写能力(New London Group 2000)等进行的研究。而Delin和Bateman(2002)提出的GeM(genre and multimodality)模型，从内容、修辞、布局、导航(navigation)、语言等5个层面对电子和书面文本进行的多模态分析，为探讨由文本、布局、图案、图画、图解等构成的不同话语提供了参考，为分析文本和视觉意义提供了可资借鉴的模型。

以认知语言学为基础发展起来的多模态话语分析(Forceville 1996，2006;Forceville＆ Urios-Aparisi 2009)认为关联理论不局限于言语交际，也适用于非言语的、多模态的话语分析，并运用图像隐喻(pictorial metaphor)理论研究多模态话语。互动社会语言学的多模态话语分析(Norris 2004，Norris＆Jones 2005，Scollon 2001)将语言看成社会行为，认为互动进程是共同参与过程，话语分析不仅要考虑语言，更要考虑语言在互动过程中的作用，以及互动过程中的其他因素(Scollon 1998)。多模态互动话语分析旨在理解、描述话语互动的进程，关注人们在交际过程中运用不同方式构建情景和身份的过程，将话语融入人们的行为进程，分析话语和行为构成的整体(Norris 2004:5－20)。

3 结束语

对话语的多模态性、多模态话语的认识与研究是一个逐渐认知、不断深化的过程。在相对较长的认识、研究过程中，学者们逐渐认识到，尽管语言在意义构建过程中起着举足轻重的作用，是最重要的符号资源，然而，在话语领域，它也只是众多的符号资源之一，对语言的单模态研究需要与视觉、听觉、媒介等研究相结合，从社会、认知、文化、媒介、哲学等各领域考察话语的多模态性质和特征。只有重视各模态的内在规律和协同作用，才能更深入地理解、揭示多模态话语发生、发展的内在机制和规律。

目前，在社会符号学、互动社会语言学和认知语言学的相关研究走向纵深的同时，多模态话语研究的领域和视野也随之更广泛、更开阔:研究内容从对多模态话语性质的关注到对各模态的深入研究，从单一模态的探讨到多种模态的融合，以及各模态之间的关系的研究;研究对象从纸质媒体到电视、网络媒体，从对成品的分析到对互动性话语进程的探讨;研究方法也从经验性描写到理性、批评性分析，从多学科关注到多学科的交叉与融合等。同时，多模态语言教学、多元读写能力的培养等应用领域的研究也引起重视，并将其融入现代社会急需的批判性阅读能力的培养。因此，我们有理由相信，随着现代技术的运用和多模态话语研究的不断深入，其成果将不仅为现代技术环境中多媒体话语的理解、欣赏与制作，为多模态话语教学等应用领域提供理论和实践支持(代树兰2011)，也更有利于我们更深入地理解、揭示话语发生、发展的内在机制和规律。

奥古斯汀.忏悔录［Z］.北京:商务印书馆，1963.

巴尔特·罗兰.神话——大众文化诠释［M］.上海:上海人民出版社，1999a.

巴尔特·罗兰.符号学原理［M］.北京:三联书店，1999b.

从莱庭徐鲁亚.西方修辞学［M］.上海:上海外语教育出版社，2007.

代树兰.电视访谈的多模态话语性质［Z］.浙江大学第三届当代中国话语研究讨论会，2009年12月.

代树兰.关注多模态话语教学 提高学生交际能力［J］.山东外语教学，2011(3).

费尔克拉夫.话语与社会变迁［M］.北京:华夏出版社，2003.

格雷马斯，A.J.符号学与社会科学［M］.天津:百花文艺出版社，2009.

胡塞尔.逻辑研究［M］.上海:上海译文出版社，1999.

胡壮麟.社会符号学研究中的多模态化［J］.语言教学与研究，2007(1).

霍克斯·特伦斯.结构主义和符号学［M］.上海:上海译文出版社，1987.

利科·保罗.哲学主要趋向［M］.北京:商务印书馆，1988.

李彦锋.中国绘画史中的语图关系研究［D］.上海大学博士论文，2010.

索绪尔.普通语言学教程［M］.北京:商务印书馆，1980.

王瀚东.先秦语言哲学与美学的关系初探［J］.华中科技大学学报(社科版)，2001(3).

维特根斯坦.哲学研究［M］.上海:上海人民出版社，2001.

沈宗蓦.传世藏书、积库、文艺评论(3)［Z］.海口:海南国际新闻出版社，1996.

郑振铎.中国历史参考图谱·跋［A］.郑尔康编.郑振铎艺术考古文集［C］.北京:文物出版社，1988.

Baldry，A.P.＆ Thibault，P.J.Multimodal Transcription and Text Analysis［M］.London:Equinox，2006.

Bateman，J.Multimodality and Genre:A Foundation for the Systematic AnalysisofMultimodalDocuments［M］.Hampshire:Palgrave Macmillan，2008.

Bednarek，M.＆ Martin，J.R.New Discourse on Language:Functional Perspectives on Multimodality，Identity，and Affiliation［M］.London and New York:Continuum，2010.

Brown，G.＆ G.Yule.Discourse Analysis［M］.Cambridge:Cambridge University Press，1983.

Bransford，J.＆ Johnson，M.Considerations of some Problems of Comprehension［A］.In W.G.Chase(ed.).Visual Information Processing［C］.London:Academic Press，1973.

Crystal，D.The English Tone of Voice:Essays in Intonation，Prosody and Paralanguage［M］.London:Edward Arnold，1975.

Delin，J.＆ Bateman，J.Describing and Critiquing Multimodal Documents［J］.Document Design，2002(3).

Fairclough，N.Discourse and Social Change［M］.Oxford:Blackwell Publishers Ltd.，1992.

Fairclough，N.Analysing Discourse:Textual Analysis for Social Research［M］.London and New York:Routledge，2003.

Fairclough，N.，Jessop，B.＆ Sayer，A.Critical Realism and Semiosis［A］.In J.M.Robert ＆ J.Joseph(eds.).Realism，Discourse and Deconstruction［C］.London:Routledge，2003a.

Forceville，C.Pictorial Metaphor in Advertising［M］.London:Routledge，1996.

Forceville，C.Non-verbal and Multimodal Metaphor in a Cognitive Framework:Agendas for research［A］.In G.Kristiansen，M.Achard，R.Dirven＆ F.R.de M.Ibanez(eds.).Cognitive Linguistics:Current Applications and Future Perspectives［C］.Berlin/New York:Mouton de Gruyter，2006.

Forceville，C.J.＆ Urios-Aparisi，E.Multimodal Metaphor［M］.Berlin and New York:Mouton de Gruyter.2009.

Halliday，M.A.K.Learning How to Mean:Explorations in the Development of Language［M］.London:Arnold.1975.

Halliday，M.A.K.Language as Social Semiotic:The Social Interpretation of Language and Meaning［M］.London/Beijing:Edward Arnold/Foreign Language Teaching and Research Press，1978/2001.

Hawkes T.Structuralism and Semiotics［M］.London and New York:Routledge，2003.

Iedema，R.Multimodality，Resemioticization:Extending the Analysis of Discourse as a Multisemiotic Practice［J］.Visual Communication，2003(2).

Jewitt，C.Technology，Literacy and Learning:A Multimodal Approach［M］.London:Routledge，2006.

Jewitt，C.Different Approaches to Multimodality［A］.In C.Jewitt(ed.).Handbook of Multimodal Analysis［C］.London and New York:Routledge，2009.

Kress，G.＆ van Leeuwen，T.Reading Images:The Grammar of Visual Design［M］.London:Routledge，1996.

Kress，G.＆ T.van Leeuwen.Front Pages:The Critical A-nalysis of Newspaper Layout［A］.In A.Bell＆ P.Garrett(eds.).Approaches to Media Discourse［C］.London:Times New Roman，1998.

Kress，G.＆ van Leeuwen，T.Multimodal Discourse:The Modes and Media of Contemporary Communication［M］.London:Arnold，2001.

Labov，W.The Social Motivation of a Sound Change［J］.Word，1963(19).

Lemke，J.L.Multiplying Meaning:Visual and Verbal Semiotics in Scientific Text［A］.In J.R.Martin ＆ R.Veel(eds.).Reading Science:Critical and Functional Perspectives on Discourses of Science［C］.London:Routledge，1998.

Lemke，J.L.Travels in Hypermodality［J］.Visual Communication，2002(3).

Lemke，J.L.Multimodal Genres and Transmedia Traversals:Social Semiotics and the Political Economy of the Sign［J］.Semiotica，2009(177).

LeVine，P.＆ R.Scollon.Multimodal Discourse Analysis as the Confluence of Discourse and Technology［A］.In P.LeVine ＆ R.Scollon(eds.).Discourse and Technology:Multimodal Discourse Analysis［C］.Washington DC:Georgetown University Press，2004.

Machin，D.Introduction to Multimodal Analysis［M］.London and New York:Hodder Arnold，2007.

Norris，S.Analyzing Multimodal Interaction:A Methodological Framework［M］.New York/London:Routledge，2004.

Norris，S.＆ Jones，R.H.Discourse in Action:Introducing Mediated Discourse Analysis［C］.London:Routledge，2005.

O’Halloran，K.L.Multimodal Discourse Analysis［A］.In K.Hyland＆ B.Paltridge(eds.).Companion to Discourse［C］.London and New York:Continuum.2011.

O’Toole，M.The Language of Displayed Art(2nd ed)［M］.London and New York:Routledge，1994.

Schiffrin，D.，Tannen，D.＆ H.E.Hamilton.The Handbook of Discourse Analysis［M］.Malden MA and Oxford:Blackwell，2001.

Scollon，R.Mediated Discourse as Social Interaction［M］.London:Longman，1998.

Scollon，R.Mediated Discourse:The Nexus of Practice［M］.London and New York:Routledge，2001.

Unsworth，L.Multimodal Semiotics:Functional Analysis in Contexts of Education［M］.London and New York:Continuum，2008.

van Leeuwen，T.Speech，Music，Sound［M］ .London:Macmillan，1999.

van Leeuwen，T.Discourse and Practice:New Tools for Critical Discourse Analysis［M］.Oxford:Oxford University Press，2008.

van Dijk T.A.Discourse as Structure and Process:Discourse Studies:A Multidisciplinary Introduction［M］.London:SAGE Publications Ltd.，1997.

van Dijk，T.A.Ideology:A Multidisciplinary Approach［M］.London:Sage，1998.

Ventola，E.＆ Moya，J.The World Told and the World Shown:Multisemiotic Issues［M］.Hampshire:Palgrave Macmillan，2009.