多模态话语中各模态之间关系的研究*

代树兰

(江苏理工学院，常州 213001)

随着现代社会信息与传播方式的改变及现代社会图像的崛起，语言的统治地位受到冲击，虽然图像等视觉符号尚未达到一统天下的境地，然而其重要性也不可小觑。图像、图文之间的关系再次成为人们关注的焦点。特别是在现代符号学、语言学领域，人们越来越认识到，意义的构建依赖多种符号资源的协同作用，图像、动作、姿态、声音常常与语言如影随形，共同参与多模态话语意义的建构。在图文关系的研究中，继索绪尔、巴尔特之后，以系统功能语言学理论为基础的学者深入到图文之间比较细致的“语法”关系中，将语言系统的研究成果如小句之间的关系等拓展到话语单位之间、图文之间的关系研究中，对图文之间的地位、互补等关系，以及人际意义中的评价立场等展开研究；互动社会语言学、认知语言学等领域也将图像、图文关系纳入研究视野(代树兰 2013:21)，他们对话语互动进程及参与互动的多种模态也提出相应的研究方法和路径，对图像隐喻、转喻以及空间位置、聊天平台上声音符号的关注等为多模态之间关系的研究注入活力。

1　现代话语语境中图像的崛起

在现代社会，图像崛起于传统的语言一统天下的语境中。事实上，人们对图像等视觉符号的探讨由来已久。柏拉图的“线段之喻”将可视世界一分为二，即实物与图像，认为图像是对实物的摹仿。(柏拉图 1986:268)亚里士多德在《形而上学》的开篇便有：“无论我们将有所作为，或竟是无所作为，较之其它感觉，我们都特爱观看。理由是它能使我们识知事物，并显明事物之间的许多差别，此于五官之中，以得于视觉者为多”(亚里士多德 1983:1)。我国古代，如果说老子和庄子的“五色令人目盲，五音令人耳聋” (《老子·第十二章》)、“上窥青天，下潜黄泉”(《庄子·田子方》)有意无意地强调视觉、听觉的重要性，那么王弼的“尽意莫若象，尽象莫若言。言生于象，故可寻言以观象；象生于意，故可寻象以观意……”(《周易略例·明象》)，以及西晋文学家、书法家陆机的“宣物莫大于言,存形莫善于画”(张彦远《历代名画记·叙画之源流》引)等则凸显出视觉及图像的重要性。黑格尔在19世纪30年代也曾指出，在人的所有感官中，惟有视觉和听觉是认识性的感官。(黑格尔 1979:331)

人类社会进入20世纪后半期，消费社会的来临、信息生产与传播方式的数字化进程把我们由“语言一统天下”的时代带入“图像时代”。“艺术”与“图像”作为概念从内涵与外延、能指与所指的关系都在发生转变(尹德辉 2010:11)，视觉符号正成为沟通个体与社会、人类与自然、心灵与肉体的纽带。“无论我们喜欢与否，我们自身在当今都已处于视觉成为社会现实主导形式的社会”(艾尔雅维茨 2003:5)，“图像俘虏了我们……它置身于我们的语言之中，并且语言也似乎不断地向我们重复着它”(Wittgenstein 1958:6)。“过去，图像阐释文本。今天，文本则充实着图像……过去是从文本到图像的涵义递减，今天存在的却是从文本到图像的涵义递增。”(Barthes 1982:204)“目前占统治地位的是视觉观念。声音和景象，尤其是后者，组织了美学，统率了观众。”(贝尔 1989:154)甚至有人提出，在当代视觉文化中，文本与图像的传统支配关系被倒置，不是文字或文本支配图像，而是图像获得前所未有的“霸权”(周宪 2005:138)。世界图像并非从一个中世纪的称谓演变为一个现代的时尚，而是世界从根本上变成图像，这正是现代社会之本质(海德格尔 1996:899)。

电影、电视画面、各种网络资源及图像的出现与普及意味着以视觉文化为主导的海德格尔的“世界图像时代”(同上:1)，或曰“景象社会”(Debord 1994:6)、“视觉文化”(Mirzoeff 1998:5)、“仿像社会”(Baudrillard 1983:83)的到来。于是有学者宣称，80年代末以来的“语言学转向”似乎已经寿终正寝，取而代之的正是“视觉转向”，或曰“图像转向”：哲学家们所谈论的另一次转变正在发生，又一次关系复杂的转变正在人文科学的其他学科里、在公共文化的领域里发生。我想把这一转变称之为“图像转向”。在英美哲学中，这一转向的种种形式早期可追溯到皮尔斯的符号学，后期可追溯到古德曼的“艺术语言”，两者都探讨构成非语言符号系统之基础的惯例和符码。更为重要的是，它们并不从如下假定出发，即语言乃是意义的范式。在欧洲，人们可以把这一变化和现象学关于想象和视觉经验的研究等同起来，或把它与德里达的“语法学”等同起来，后者通过把注意力转向书写可见的物质性痕迹而将语言的“语音中心论”模式去中心化；或者，还可以把这一转变与法兰克福学派对现代性、大众文化以及视觉媒介的研究等同起来，或者与福柯所坚持的权力/知识历史和理论等同起来，这一历史和理论揭示出话语的和“视觉的”、可见的和可说的东西之间存在的裂隙，这种裂隙乃是现代性的“视觉政体”中的关键所在(Mitchell 1994:11-12, 米歇尔 2006:2-3)。

事实上，早在1972年，英国学者贡布里希(2001:106)就宣布“视觉时代”的到来。从电视到报纸，从广告到各类商业形象，社会的特征似视觉的癌症般扩散，所有事物的价值都取决于显示或被显示的能力，谈话也被转化为视觉过程(如电视访谈等)，这是一种眼睛的史诗，阅读冲动的史诗 (Michel 1984:XXI)。“图像正是大众话语最合适的传媒和载体，图像化为大众化的意识形态提供一个最有效的途径。”(彭亚非 2003:32)如果说“语言学转向”是建立在语言建构我们社会现实的重要通道的话，那么，如今在同样的意义上也可以说，在当代文化中图像同样是建构我们社会现实的重要路径。比较而言，图像比语言更有效地塑造我们对现实世界的看法。而当代视觉文化中各种复杂的图像或影像形式的爆炸性发展，必然对当代人的主体性、意识形态和认知方式产生越来越深刻的影响(周宪 2005:142)。

尽管人们对图像的地位、“图像时代”的称谓仍有争议，“图像霸权”等说法仍不免有言过其实之嫌，然而图像等视觉符号在现代社会中的作用及地位的凸显已成为不争的事实。传统的语言一统天下的时代正在改变。事实上，“图像转向”某种程度上正是肇起于“语言转向”的基础之上，崛起于传统的语言一统天下的语境中。不仅图像的表述是借助于语言完成的，对图像重要性的凸显、对图像转向的表述也是在语言转向中、在与语言的对比中实现的。在此过程中，语言与图像孰轻孰重、图像符号的特点及其与语言符号的关系自然是学者们必须面对的问题。

2　现代多模态话语中各模态之间的关系

语言和图像的发展经历早期的图文一体、先秦至隋唐时期的文重于图、图模仿文，宋朝至明清的语图合体、相得益彰的发展历程(李彦锋 2010:65)，与东方一样，西方的图像从模仿、替代到再现的过程也经历从一体、分离，走向融合的转变。然而现代社会对多模态关系的研究历史并不长。20世纪30年代的语言转向萌芽之时，胡塞尔将图像的物质客体区分为物理客体、展示性客体、被展示性客体3种类型(倪梁康 2001:34)，这一区分与帕诺夫斯基图像学阐释的3个阶段(前图像志描述、图像志分析、图像学阐释)具有异曲同工之妙(潘诺夫斯基 1987:31)。维特根斯坦也注意到非语言符号的作用及语言与图像之间的关系，在将语言符号的功能进行分类(传达信息、表达情感与指导行动)的同时，提出非语言符号的功能，即表达态度与情绪、辅助语言交际、替代语言等；认为尽管非语言符号不容易变成系统、准确的语言，但大量不同的信息正是通过它们传达的(维特根斯坦 2001:215-270)。阿恩海姆更进一步认为，“每一个视觉式样都是一个力的式样”(阿恩海姆1998:9)。被视觉所感知的图像本身便存在着特殊的、不能用预先积累的知识推断出来的“力的样式”，从而将图像看作与文字一样是具有独立性、具有表达层和意义层的符号资源(Royce, Bowcher 2007:195)，提醒人们对其意义构建过程与机制、对各种符号资源的融合予以关注、进行解释。

如果说在柏拉图那里，图像与文字本身的符号价值被摹仿物所遮蔽，那么在现代的索绪尔、阿恩海姆等学者那里，它们的符号价值凸现出来，而不再受制于被摹仿物。只是索绪尔将语言文字看作一个自足的、封闭的系统，而胡塞尔、阿恩海姆等倾向于将图像归入某个自足的系统(陈力丹 王亦高 2008:15)。事实上，Kress和van Leeuwen认为，图像并不依赖文字说明，而是自足的，具有自己的组织和结构特征。(Kress, van Leeuwen 2006:16) 如今，图文关系在经历柏拉图的图像优于文字、文字是图像的阐释者与辅助工具，以及巴尔特的文字优于图像的观点之后，步入后现代的图像具有独立性、自足性的时代。

正是后现代社会语境中图像的这种独立性、自足性导致“图像时代”的到来，以及人们对图像、图文关系更多的关注和研究。在现代符号学、语言学领域，人们越来越认识到，意义的构建依赖多种符号资源的协同作用，视觉符号与我们对动作的感知相联系，从而将身体对动作的体验也变成视觉与语言结合的模态符号，语言与图像等符号之间的关系超越简单意义上的视觉符号与语言符号的结合，跨入多模态融合的阶段。这种对多层次的单独或协同作用的符号资源的认识为意义的研究提出新的课题，而日益增长的对传播媒介、社会互动、符号学的研究兴趣也正在促使人们重新将目光转向话语的多种模态以及各模态之间的关系上。

2.1 以巴尔特为代表的符号学研究

人类对图文关系的认知与探讨以及语言与图像相结合的传统源远流长。自古以来中国就有“图经书纬”的说法，在欧洲，图像也曾经被看成是一种书写形式。然而在语图关系研究中较早也颇具影响的当属巴尔特。受索绪尔图像仅是语言符号整体的一部分的观点影响，他不赞成图像具有符号自律性，认为对图像的符号学分析需要借助于语言模式。“图像可以表达意义，但从来就不是自律的；任何符号体系均包含语言。……意义必然是通过语言来复制从而得到证实。”(Barthes 1973:10)“语言不是普遍的符号学科的一部分，……相反，符号学乃是语言学的一部分，是具体负责话语中的大的意义单位的那部分。”(巴尔特1999:2-3)

巴尔特的观点大有成为现实之势。他在图文关系方面所做的工作也为后期的研究奠定基础。他将图像与文字的关系分为两种：即本体论上的“基础”关系和信息“传递”关系。前者图像依赖文字；后者则是互补关系。两种关系中，要么文字得到图像的延伸，要么图像从文字中拥有本体论基础(叶起昌 2005:63)。随后，在依赖与互补的基础上，巴尔特提出语言和图像间的3种关系：以图像为主，语言解释图像；以语言为主，图像解释语言(Barthes 1977：25)；二者处于平等地位：“尽管在固定的图像中很少见，但在电影中却十分重要，对话不仅起着解释的作用，而实际上通过提供图像中不能表现的信息，起着推动情节发展的作用。此时，语言和图像作为语段的组成部分，处于互补关系，信息的整体性在更高层次上得以实现 (同上：41)，从而实现在意义表达上相互拓展、细化、增加所蕴含的信息，对意义予以详细说明或更准确的重述 (Anthonissen 2003:300)。

2.2 系统功能语言学领域的研究

意义的建构与理解不仅需要关注语言，还需要考虑符号的复杂性以及参与整体意义建构的其他符号资源，考虑多种符号间的协同作用。社会符号学关注符号自身的特征，认为意义的建构需要多种符号的协同作用，寻求语言与图像等多种符号的整体理解方式，从而成为多模态话语的重要理论基础。Kress和van Leeuwen率先把韩礼德的理论运用于多模态话语分析，认为图像符号与语言符号一样也是常见的社会符号。(Kress，van Leeuwen 1996:1)图像等视觉符号与语言符号一样具有概念、人际和语篇3种功能(同上:40)，具有形成语篇或符号整体的功能，所形成的语篇既有内在连贯性，又与外部语境相联系。因此，话语的建构与理解须要打破语言和图像间的局限，考虑多模态语篇构成的整体，须要将各模态的表达意义、指向意义和篇章意义结合起来(Lemke 1998:87)。

从20世纪90年代开始，该领域的部分学者以此为基础对各符号之间的关系开展研究。Lemke 提出语言语义模式的语义系统或许也可用来整合语言与视觉图像之间的意义关系(Lemke 1998:87)；Royce运用韩礼德 (1985/1994)的元功能模型、Kress和van Leeuwen(1996)的布局系统对广告中的图文关系进行探讨 (Royce 1998:25)。Bateman 则通过对传统的纸质报纸和网络电子报纸首页的布局设计及其在生产和传播过程中所呈现的不同特征进行分析，从类型学的角度提出图文关系研究中需要注意的问题。(Royce, Bowcher 2007:147) 话语类型通过为话语提供隐性意义结构，将图文布局与社会活动连接起来，影响并制约着二者在模态选择和布局设计等方面的特征与策略。图文关系的确立与话语类型关系密切，后者是决定二者关系的重要因素。Lemke发现，虽然从理论上讲所有的模态都是平等的，但在实际运用中，由于各自的特征及其在具体交际情景中所起的作用不同，一些模态会在更大程度上增加或减少由其他模态所表达的信息。(Lemke 1998:87) 语言更适用于表达序列关系、各类别之间的区别等，图像更适用于表达空间关系，以及程度、等级、持续或动态变化等。不过，在具体交际情景中，语言和图像的作用并不局限于以上的“特殊功能”，特别是随着图像在各种文本中的频繁使用，其功能有可能成为这两种模态互补关系的特征(Martinec, Salway 2005:351)。目前，该领域的进展主要集中在以下几个方面：

2.21 语法关系与图文关系

在特定的社会文化领域，意义通常可由不同的符号来表达，共同的符号原则能在不同交际模式中起作用。系统功能语言学的学者以韩礼德对语言的研究为基础向外延伸，认为其语言研究成果同样适用于图像等其他交际符号。将其逻辑语义关系(Halliday 1985:306-307)延伸到话语单位(Martin 1994:29)和图文之间的关系上。又在该基础上增加地位关系(Martinec, Salway 2005:351)，还将巴尔特的互补关系考虑在内，认为图像和文本互相依赖、互相依存。并因此将图文的语义关系分为两个子系统，即地位系统和逻辑语义系统；将平等关系进一步分为独立和互补两种关系，独立关系中地位平等；互补关系中互相修饰，共同构成更大的语段。相互独立时，其信息处于平行状态，各自形成独立过程。与小句中的从属关系一样，图像与语言有主辅之分。

2.22 图文之间的地位关系

图像与语言之间的关联是通过成分之间的衔接实现的，从而将图像和语言中参与者、过程和情景联系在一起。二者互补时，它们共同构成一个大的语段，多数情况下，它们共同参与意义的建构，特别是在单靠语言不能表达清楚，需要二者协同作用时，这种情况尤为常见。在语言与图像之间的地位关系中，平等关系中语言与图像相互独立、互相补充；不平等关系中图像从属于语言，或者语言从属于图像。韩礼德的术语“阐述”也被用于说明图文之间的逻辑语义关系，解释、延伸和强化均可用来表达图文关系。(韩礼德 1994:226) 解释可分为说明和举例；延伸指语言与图像中的一种模态增加新的相关信息；强化指增加时间、地点、原因等新信息(Martinec, Salway 2005:360)。

2.23 图文之间的多种关系

各模态之间在话语过程中具有多种关系，它们互相增效、协调一致，服务于整体意义的建构，其整体意义大于任何单一模态的意义。语言与图像之间在概念意义上存在一致、互补和连接等多种关系。这里的一致关系与Lemke 的多模态话语的意义多重性一致(Lemke 2002:301)，是各符号系统的意义功能结合的必然结果，它包括不同模态之间的重复、展示和例证：重复并不是各模态之间的简单重复，而是通过另一模态的介入在原有的基础上增加新的信息；展示指图像与语篇处于同一级别时的意义建构关系(Martinec, Salway 2005:350)；例证则指语言说明一般情况，图像表示其中的一种情况、一个例子，或者提供追加、额外信息。概念功能中的互补关系主要指各模态之间所表达的意义有所不同而呈现出的互相补充、增效，产生比任一模态以及各模态构成的整体更大的效果(Royce 1998:25-50)。偶尔也会出现概念的背离性，即语言与图像表达的内容呈相反关系。连接关系有两种表现形式，第一种是凸显，主要指引用或报告别人的话语或想法；第二种是时间、地点、原因等的连接关系，如文本叙述，图像表明原因等(Martinec, Salway 2005:337-71)。

2.24 图文关系中的评价立场

语言与图像互相配合，共同建构人际意义和评价立场。近期关于图文关系的人际意义研究虽然关注各模态间的相互作用，但研究重点主要在多模态话语中评价立场的建构上。认为图像与意象相似，旨在激起读者的评价反应，其主要作用是协同语言表达态度(包括情感、判断和欣赏)，二者之间的关系更倾向于表达评价，而不是语气或情态。(Martin 2002:311)通过在表达过程中对图文的呈现形式进行精心设计，以预示或揭示语言所表达的价值立场。就篇章意义而言，语言作为视觉成分，可以对图像的不同部分予以强调或凸显，图像也能以不同的呈现形式突出语言表达的内容。通过调整图像和语言在屏幕上、语篇中的视觉效果，影响读者的观点和观众的视觉效果(Jewitt 2002:171)。就篇章关系而言，布局特征是建构和理解意义、确立作者立场至关重要的因素(Macken 2003:283)。在对图像的理解中，特别是在机构话语情境中，人们时常忽视人际意义和篇章布局，只关注概念意义(Lemke 2002:301)。

2.3 互动社会语言学、认知语言学对图文关系的研究

话语研究不仅要考虑语言，更多地还要考虑语言在互动过程中的作用，以及互动过程中的其他因素。虽然在语言与其他各模态间的关系研究中，学者们关注较多的是语言与图像，但是在社会符号学之外，对语言与其他模态之间的关系、对各模态间如何形成连贯的、有意义的整体以及各模态在意义建构中的作用、对互动性话语的研究也正在引起重视。特别是以互动社会语言学、认知语言学为理论基础发展而来的多模态话语理论为多模态话语及其之间的关系研究提供支持。

互动社会语言学将语言看成社会行为，认为互动过程中的参与者一般都同时做多件事情，只有在极少数情况下，参与者才会聚焦于单一事件或媒介上(Scollon 1998:116 )。一部电影、一幕街景同时具有多种代码，并使用多种交际渠道，构成具有整体意义的文化现象(格雷马斯 2009:43)。因此，话语研究应采取多模态的研究方法，将话语融入人们的行为进行分析，探讨话语和行为构成的整体(Norris 2004a:5)。尽管交际情境中的模态难以计数，但各模态间的关系取决于具体的交际情景，其间不存在内在的等级关系。就具体情况而言，当某一模态特别适合某种情景且在当前具有突出地位时，其他模态便处于辅助地位；当各模态间的关系复杂且没有一种更突出的模态时，特别是当多种不同的模态同时表达一种信息时，各模态之间协同作用，共同为实现交际目标服务。参与交际的模态数量并不重要，重要的是互相联系的各模态间的关系或某一模态或某几个模态的密度及其在交际过程中所起的作用。(Norris 2004b:196)

话语行为是对多个符号系统选择的过程，非语言符号对于建构和理解空间中的话语起着重要的作用。该领域以互动社会语言学、语言人类学和社会心理学等学科为基础提出包括3个子系统(交互秩序、视觉符号和地理符号)的地理符号学，探索各种符号与其空间位置以及符号使用者行为的关系，研究人类同周围存在的各种符号体系之间的互动(Scollon, Scollon 2003:3)；关注城市空间中的多模态话语分析及个体在公共空间中的行为定位等。Ornberg通过对三维语音聊天的多模态研究，认为声音符号在交际平台上具有很高的模态密度。在内容层面，有声语言引入话题，具有澄清、修正、重复、解释、强调、反馈等作用，如声调和停顿的强调作用、韵律和超语言符号提供的反馈信息等。(Ornberg 2006:1) 在结构层面，与声音相关的各模态均可用作衔接手段。在语境层面，既传达会话特点与风格，又是会话者身份的组成部分。姿势、表情、眼神等也具有提供反馈信息、表明态度及对对方的关注程度等作用。

认知语言学学者则提出关联理论不局限于言语交际，也适用于非言语的、多模态的话语研究。并在概念隐喻的基础上提出图像隐喻理论和多模态隐喻理论(Forceville 1996:334)，运用认知理论，尤其是概念隐喻理论研究多模态话语及各模态间的关系。其中，Yus和Zbikowski等对视觉隐喻与语言隐喻，对词语、手势等不同形式的隐喻在口语表达中的运用，以及对音乐、语言与多模态隐喻之间的关系的研究皆属于这一领域。(Forceville 2009:145)

3　结束语

随着现代社会“图像转向”在“语言转向”的背景中的崛起及图文关系的凸显，以及后现代社会语境中图像所呈现出的越来越明显的独立性、自足性，在图像与文字语篇不分上下，图像可以直接用于交流的时代，人们对语言与图像之间关系的研究已经跨越长期以来争论不休的孰重孰轻、孰优孰劣的藩篱，图像、图文关系正引起更多的关注。以系统功能语言学为理论基础的学者深入到图文之间比较细致的“语法”关系中，将语言系统的研究成果如小句之间的关系拓展到话语单位之间、图文之间关系的研究中。对图文间的地位关系，一致、互补与连接关系，以及人际意义中的评价立场等展开研究。学者们对符号资源多层次的协同作用的认识与研究，对交际过程中的其他因素如空间位置、聊天平台上声音符号的关注等不仅为意义和话语的研究提出新的课题，同时也开启新的窗口、注入新的活力。

目前的研究，不管是索绪尔和巴尔特，还是系统功能语言学、互动社会语言学以及认知语言学的相关研究大都是以语言为基础，或者以语言为参照展开，即便是对绘画等明显以图像为主的艺术研究，多数研究者也是深受先入为主的“语言霸权”的影响，就连“图像转向”一词也肇起于“语言转向”，以此为基础对图文关系的探讨难免会从语言的视角出发去审视图像及其之间的关系，其研究结论也会有偏颇，甚至在一定程度上掩盖符号的本质。因此，我们须要站在更高的平台上，跨越“语言中心主义”的藩篱，将语言、图像等看成人类多种交际符号中的平等对象，既正视各模态的区别，探讨其符号本质，重视其联系，又不忽视交际过程中人的主体性和主动性，只有这样，才有可能更接近其本质，真正朝着揭示各模态之间的关系迈进一步。

在处理多模态间的关系时，我们应该认识到“所有的感觉表达媒介都在发生相互渗透，尽管每一种表达媒介在依靠自身最独特的性质时发挥得最好，它们又都可以通过与自己的邻者偶然连袂为自己灌注新的活力”(阿恩海姆 1994:119)。因为只有当“内容和完全适合内容的形式达到独立完整的统一，因而形成一种自由的整体，这就是艺术的中心”(黑格尔1979:157)，这应该也是现代社会中以不同媒介为载体的多模态话语中各模态间关系的最佳境界。

阿恩海姆. 语言、形象与具体诗[A]. 艺术心理学新论[C]. 北京: 商务印书馆, 1994.

阿恩海姆. 艺术与视知觉[M]. 成都: 四川人民出版社, 1998.

艾尔雅维茨. 图像时代[M]. 长春: 吉林人民出版社, 2003.

巴尔特·罗兰. 符号学原理[M]. 北京: 三联书店, 1999.

贝尔. 资本主义文化的矛盾[M].南京：江苏人民出版社, 1989.

柏拉图. 理想国[M]. 北京: 商务印书馆, 1986.

陈力丹王亦高. 论图文关系的历史变迁——以柏拉图式的图文观为先导[J]. 现代传播, 2008(4).

代树兰. 多模态话语研究的缘起与进展[J]. 外语学刊, 2013 (2).

格雷马斯. 符号学与社会科学[M]. 天津: 百花文艺出版社, 2009.

贡布里希. 视觉图像在信息交流中的地位[A]. 贡布里希论设计[C]. 长沙: 湖南科技出版社, 2001.

海德格尔. 世界图像时代[A]. 海德格尔选集[C]. 上海: 三联书店, 1996.

黑格尔. 美学(第三卷上卷)[M]. 北京:商务印书馆, 1979.

李彦锋. 中国绘画史中的语图关系研究[D].上海大学博士学位论文, 2010.

米歇尔. 图像理论[M]. 北京: 北京大学出版社, 2006.

倪梁康. 图像意识的现象学[J]. 南京大学学报, 2001(1).

潘诺夫斯基. 视觉艺术的含义[M]. 沈阳:辽宁人民出版社, 1987.

彭亚非. 图像社会与文学的未来[J]. 文学评论, 2003(5).

维特根斯坦. 哲学研究[M]. 上海: 上海世纪出版(集团)有限公司, 2001.

亚里士多德. 形而上学[M]. 北京: 商务印书馆, 1983.

叶起昌. 论后印刷时代话语中图像与文字的关系[J]. 北京交通大学学报(社会科学版), 2005 (4).

尹德辉. 新世纪以来国内“图像”研究述评[J]. 文艺争鸣, 2010(10).

周宪. “读图时代”的图文“战争”[J]. 文学评论, 2005(6).

Anthonissen, C. Interaction Between Visual and Verbal Communication: Changing Patterns in the Printed Media[A]. In: Weiss, G., Wodak, R.(Eds.),CriticalDiscourseAnalysis:TheoryandInterdisciplinarity[C]. New York: Palgrave Macmillan Ltd., 2003.

Barthes, R.ElementsofSemiology[M]. New York: Hill and Wang, 1973.

Barthes, R.Image,Music,Text[M]. London: Fontana, 1977.

Barthes, R. The Photographic Message[A]. In: Susan, S.(Ed.),ABarthesReader[C]. New York: Hill and Wang, 1982.

Baudrillard, J.Simulations[M]. New York: Semiotext(e), Inc., 1983.

Debord, G.TheSocietyoftheSpectacle[M]. New York: Zone Books, 1994.

Forceville, C.PictorialMetaphorinAdvertising[M]. London: Routledge, 1996.

Forceville, C., Urios-Aparisi, E.MultimodalMetaphor[M]. Berlin: Mouton de Gruyter, 2009.

Halliday, M.A.K.AnIntroductiontoFunctionalGrammar[M]. London: Arnold, 1985/1994.

Jewitt, C. The Move from Page to Screen: The Multimodal Reshaping of School English[J].VisualCommunication, 2002(2).

Kress, G., van Leeuwen, T.ReadingImages:TheGrammarofVisualDesign[M]. London: Routledge, 1996.

Kress, G., van Leeuwen, T.MultimodalDiscourse:TheModesandMediaofContemporaryCommunication[M]. London: Edward Arnold, 2001.

Lemke, J.L. Multiplying Meaning: Visual and Verbal Se-miotics in Scientific Text[A]. In: Martin, J.R., Veel, R.(Eds.),ReadingScience:CriticalandFunctionalPerspectivesonDiscoursesofScience[C]. London: Routledge, 1998.

Lemke, J.L. Travels in Hypermodality[J].VisualCommunication, 2002(3).

Macken-Horarik, M. Working the Borders in Racist Discourse: The Challenge of the “Children Overboard Affair” in News Media Texts[J].SocialSemiotics, 2003(3).

Martin, J.R. Macro-genres: The Ecology of the Page[J].Network, 1994(21).

Martin, J. Fair Trade: Negotiating Meaning in Multimodal Texts[A]. In: Coppock, P.(Ed.),TheSemioticsofWriting:TransdisciplinaryPerspectivesontheTechnologyofWriting[C]. Begijnhof: Brepols & Indiana University Press, 2002.

Martinec, R., Salway, A. A System for Image-text Relations in New(and Old)Media[J].VisualCommunication, 2005(3).

Michel, de C.ThePracticeofEverydayLife[M]. Berkeley and Los Angeles: University of California Press, 1984.

Mirzoeff, N.TheVisualReader[M]. London: Routledge, 1998.

Mitchell, W.J.T.PictureTheory[M]. Chicago: Chicago University Press, 1994.

Norris, S.AnalyzingMultimodalInteraction:AMethodologicalFramework[M]. London: Routledge, 2004a.

Norris, S. Multimodal Discourse Analysis: A Conceptual Framework[A]. In: LeVine, P., Scollon, R.(Eds.),DiscourseandTechnology:MultimodalDiscourseAnalysis[C]. Washington: Georgetown University Press, 2004b.

Ornberg, T. Multimodality in a Three-dimensional Voice Chat[P]. Multimodal Communication: Proceedings from the Second Nordic Conference on Multimodal Communication, 2006.

Royce, T. Synergy on the Page: Exploring Intersemiotic Complementarity in Page-based Multimodal Text[P]. Japan Association Systemic Functional Linguistics Occasional Papers, 1998(1).

Royce, T.D., Bowcher, W.L.NewDirectionsintheAnalysisofMultimodalDiscourse[M]. Mahwah: Lawrence Erlbaum Associates, 2007.

Scollon, R.MediatedDiscourseasSocialInteraction[M]. London: Longman, 1998.

Scollon, R., Scollon, W.DiscourseinPlace:LanguageintheMaterialWorld[M]. London: Routledge, 2003.

Wittgenstein, L.TheBlueandBrownBooks[M]. New York: Harper, 1958.