图文关系及图像元功能在多模态话语类型中的体现

汪燕华

图文关系及图像元功能在多模态话语类型中的体现

汪燕华

图文关系和图像元功能体现是多模态话语研究的核心问题。本文通过分析对比图像学话语、美术史话语、世界历史话语中图像与文本之间的关系以及图像的三大元功能的体现指出：多模态话语中的图像与文本之间是一种动态的、开放的关系模式，它与话语类型息息相关；图像的元功能随着话语类型的不同而呈不均匀的分布。

多模态话语；图文关系；语类；元功能

一、引言

多模态话语分析是话语分析实践活动的新发展。而什么是多模态话语，它和一般意义上的话语模式有什么不同则一直是争论的焦点。本文认为，把“多模态”作为“话语”的前置限定词旨在强调话语的“物质属性”，这些物质属性既包括人类接收信息的多种感官形式，也包括话语生成的表层的、可见、可听、可触摸的形式，还包括生成这些形式的技术手段、传播媒介（有形的或无形的）等等。如果我们把这些因素看作是组成多模态话语的子集的话，一个多模态话语将从以下几个子集中选择生成：符号形式（语言、图像、音乐、姿态）、生产符号的技术手段（手工制作、印刷术、摄影复制技术、网络技术），以及符号的传播媒介（二维的，如纸制品、电脑屏幕；三维空间的，如博物馆的展厅）。多模态话语分析就是要探究这些子集中的各个因素是如何在相互协助、融合、抵制的过程中实现交际意图的。比照这三个集合，本文即将探讨的图像学、美术史、世界历史话语均是由文字和图像两种符号形式表征，其生产符号的技术手段是印刷术，符号是呈现在纸质媒介之上的或者说是通过纸质得以传播的。本文将通过分析三类话语中图文关系以及图像元功能的体现探讨它们与话语类型的动态关系。

二、图文关系研究的语言学视角

图像与文本的关系是一个古老的问题，也是图文并置话语分析的关健问题。哲学、社会学、认知心理学、图像学和符号学等领域的许多学者都曾探讨过这个问题。考虑到本文的研究视角和取向，我们仅就在语言学的理论框架内对此问题的研究成果和动态进行回顾。较早运用语言学理论分析图文关系的是符号学家巴尔特（Barthes）。他以索绪尔的普通语言学理论为基础区分了两种图文关系，即文本拓展了图的意义或增加了图的信息（或相反）；文本细化了图像的意义，给予详细说明或更准确的重述（或相反）。克瑞斯和凡·勒文（Kress & van Leeuwen） 从社会符号学的视角切入探讨图文关系。他们指出，在识解意义的过程中，图像并不依赖文字说明，因为它本身既是有组织的，又是有结构的，不同的符号模式各自有其潜力和局限性，但要表达某种确定的意义，必须有语言来挽救。从他们的论述中可以看出语言符号在所有符号中的主控地位。马西森（Matthiessen）运用系统功能语法中的“层次”理论解释图文关系。他认为在多模态话语中，由不同模态共同构建的话语共享语类、语境、语义等居于词汇语法之上的三个表达意义层次，而在词汇语法层次分野，这里他暗示了图像和文本如何在内容层面相互作用、生成意义是多模态话语分析的难点和关键；他同时认为图像和文本在制造意义的过程中也会出现冲突（如图文内容不一致时），冲突也是意义资源。罗伊斯（Royce）认为图文之间存在着重复、同义、反义、下义、搭配等意义关系。在图文并置话语的人际意义表达上，语言的意义更加确定，图像需要借助文本将图像意义确定。马丁内茨和萨尔维（Martinec & Salway）认为图像和文本有四种关系：一是图文各自为一个独立的意义实体，彼此没有关联；二是图像和文本的意义相互补充，彼此增强对方的意义；三是以文本意义为主、图像意义为辅；四是图像意义为主，文本意义为辅。在谈到如何分析图文关系的细节时，他们认为可以参照系统功能语法中描写小句关系的概念，如文本可以“投射”和“扩展”图像的意义，反之亦然。他还进一步运用投射和拓展的子系统把图文关系精密化，如拓展可再精略到详述、并列、加强等等。

本文认为，以上对图文关系的分析主要考虑的是文本的词汇语法和图像图素之间的局部的或微观的关系，而多模态话语研究的主要目的则是为分析对象提供一个总的描述“语法”，一个决定着话语的整体连贯和组织的宏观结构。这个宏观结构由意义的整体结构和形式的整体结构组成，它既能够解释符号内部的结构关系，也能解释符号与符号的关系，还能解释符号与外部环境的关系。这个宏观结构就是语篇类型。在下面的讨论中，我们将以三个不同文本类型为分析对象考察语篇类型和图文关系之间的联系，旨在探讨在图文并置的语篇中，语篇的宏观结构是如何通过图文关系体现的，图像的某一元功能是否随着语篇类型的不同有所突显。

三、语篇类型和图文关系

本研究的分析对象为三个图文并茂的纸质文本：米歇尔（Mitchell）著的《图像学》 、詹森（Janson）的《世界艺术史》和斯塔天里阿诺斯（Stavrianos）的《全球通史》，这三个文本是图像研究、美术史和世界历史研究领域的经典著作，自出版以来，多次再版，可谓是图像和文本两种符号模态完美结合的典范。本研究采取内容分析法对在三个文本中图像和文本的关系作详尽的描写和分析，旨在客观真实地再现图文关系和文本类型之间的关系。

1.图像的元功能在文本中的体现

视觉图像、语言、音乐、身体姿态等均是社会文化的产物，是人们识解社会现象的意义资源。它们不仅可以反映客观世界和主观世界发生的各种事情，而且可以表现各种各样的人际关系，与此同时，各种符号内部也是一个有机连贯的整体。因此根据韩里德（Halliday）的元功能理论，所有的符号都同时表达概念功能、人际功能和语篇功能。然而，一些多模态分析者在实践过程中发现，三大元功能在不同的符号体系中表现的意义并不均衡，在有些符号体系中，某种功能会起主导作用，而其它则次之。考克唐娜和凡·勒文（McDonald & van Leeuwen）认为音乐是以人际功能为导向的符号模式，语篇功能次之，概念功能最弱。马丁内茨对此观点解释道，符号功能地位的轻重与其功能的体现方式息息相关。韩里德在分析英语小句时发现小句的体现模式分别呈粒子式的、韵律式的、格律式的分布，马丁内茨认为这种体现模式不仅存在于语言中，也存在于其他符号系统。其中，粒子式指概念功能非连续的体现方式，关注的是成分及其相互关系；韵律式指人际功能（语气、评价意义等）弥漫于整个语篇，无法作明显的非连续的切分；格律式则指新旧信息的轮番出现、语篇的组织结构如波峰与波谷相互交替。音乐主要是由韵律式结构和格律式结构生成的，其核心是韵律和节奏。从这种意义上说，音乐主要体现人际功能和语篇功能是有道理的。奥哈洛伦（0’Halloran）在分析数学话语中语言、数学符号和视觉图形之间的关系时指出，数学话语中构建数学公式的符号主要传达的是概念意义，其人际意义最弱，语篇意义则是围绕概念意义发挥作用的，而语言则发挥着元语篇的功能，为问题的提出提供语境，同时描述、解释运算活动的步骤、序列，并讨论运算结果的意义。马丁内茨对表现行为符号的元功能做了详尽的分析，他指出，某些行动，如走路、游泳、骑马主要体现的是显而易见但同时又相当复杂的经验结构，而人际功能则不宜察觉，如肌肉紧张体现的某种不安情绪等；他同时认为，虽然克瑞斯和凡·勒文在分析图像的视觉语法对图像的三大元功能的体现没有区分孰重孰轻，但他们对图像的粒子结构（过程/参与者/环境）的详细描述显然说明了图像更多体现的是经验意义；奥哈洛伦运用层次级阶理论对图像的解读也证明了这一点。

当图像与文本并置在同一页面或文本中时，它们相互协作共同体现话语的“概念意义”、“人际意义”、“语篇意义”。克瑞斯和凡·勒文在研究图像的视觉语法时针对图像的特性将图像的三大元功能称为“表征功能”、“互动功能”和“构图功能”，在这里为了讨论的方便，我们将用系统语法的术语表达图文并置话语的功能。通过考察图像学、世界历史和美术史话语中图像元功能的体现，我们发现图像的元功能在这三个话语中呈不均匀的分布态势。在图像学中，图像主要体现的是“概念功能”，图像与文本之间具有清晰的逻辑语义关系。具体表现为，文本详述、扩张和增强图像的意义；而在世界历史话语中，图像主要体现的是人际意义，图像具有“言据性”，间接地对文本中的某些内容进行佐证，增加文本讲述的“可信度”；在艺术史话语中，图像因为与文本之间的部分对应关系而部分地体现其“概念意义”，它需要与文本的其它部分，如艺术作品的创作者、创作背景、流派归属和起源问题的描述融为一体，共同讲述艺术的故事。

如果说在新闻话语、广告话语中，图像的“语篇意义”占据着主导地位，在本文中谈到的三种话语类型中，“语篇意义”则呈现出相对“弱”的倾向。图像在文本中的位置及其唤起的视觉效果和构建的“阅读路径”对话语的识解远不如在报纸、广告话语中那么直接有效。读者的视线会在图像和文本之间来回穿梭，寻求某种阐释和理解的共鸣。读者自身的视觉修养和视觉体验、知识背景等诸多主观因素都在某种程度上削弱了页面中图像和文本构建的“语篇意义”。此外，由于图像的加入，使读者在阅读的过程中获得了感官的愉悦，从而在话语与接受者之间建立了一种良好的人际关系。从这个意义上来说，图文并置的话语所发挥的“人际功能”大于仅有语言文字构建的话语。

2.语篇的宏观结构和图文关系体现

在图文并茂的多模态语篇中，语篇的宏观结构是由图像和文本共同构建的。同一幅图在与不同类型的文本搭配时，其关系的疏密程度是不一致的。通过考证几本图像学的著作米歇尔（Mitchell）我们发现在图像学话语中，图像与文本之间具有清晰的逻辑语义关系。图像作为研究的客体，是文本的全部所指。词语几乎是无孔不入，“竭尽全力”地详述、扩展并增强图像的意义，而图像仿佛保持沉默，任由文本“摆弄”；文本或是详述图像的形式内容、或是扩展图像的象征意义，并通过阐述图像产生的时间（时代背景）、地点（环境因素）及原因（意识形态），增强图像的意义。“详述”即视觉内容的语词性再创造，它是一种语词的绘画，旨在对图中客观的事物做足够精确的辨认。这时使用的方法是“所见即所得”，它将注意力放在图像本身的视觉内容上，此时“视觉文本优于语境”；“扩展”则是对图像中的诸多细节的意味做出解释，经常会揭示画中某些微小的，看似无意识的元素。如果说“详述”是通过词语隐喻地重造了图像，“扩展”则运用了转喻，即一种为了意义的归属而将部分看作高于任何假定的整体的转义，用文字的形式再创造一件视觉作品。“增强”是指文本力图超越图像的视觉元素，通过分析图像产生的时代背景挖掘出图像所承载的社会文化、意识形态等意义。

在世界美术史话语中，作者通过描述、评论一幅幅美术作品将各个时代的艺术家呈现出来，理清、构建艺术发展的历史脉络。在此类话语中，图文关系的互动协助关系发挥到了极致，我们无法想象只有文没有图的页面该如何讲述美术史。通过考察詹森著的世界美术史话语，我们发现在555页中共插入848幅艺术作品的图片。图片多以黑白形式出现，页间插入了少量的彩色图片。图片按照在文中出现的先后顺序标以数字编号，并辅以图片的基本信息，如作者姓名、作品名称、创作时间、作品实际尺寸、收藏地或收藏人等。如在同一页面出现多幅图片，会标示简单的方位词，如above，far left，left 等。文本与图片的关系主要通过三种方式建立。一是文字标示。如，当文本的内容涉及或将要涉及图片时，我们会看到fig.778这样的形式，它将作者的目光引向被讲述的作品。此时，读者的阅读路径由作者调控；如果作者讲述的作品与文本不在同一页面时，作者会标以see fig.770提示读者翻阅到指定页面寻找正在描述中的图片信息。通常书籍排版人会尽量将文本和所描述的图片就近安排在同一页面上，便于读者阅读。当作者对两种艺术形式或艺术家的风格作比较分析时，他会标以compare fig.26-28的说明。二是运用印刷排版信息，如全文中所有作品的名称都以斜体出现，便于读者形成某种固定的阅读期待。三是词汇语法的表现形式，其中最明显的词汇手段是时态的转换和指称形式的使用。文本的叙述在一般过去时和一般现在时之间来回转换，一般过去时的形式常用来介绍画家的生平、创作作品的时代背景和艺术风格成型的原因，如画家受到何种思潮、何人的影响，摈弃了哪些旧的绘画传统，吸收和借鉴了哪些艺术理念等等。在这一部分中，表达物质过程的动词使用频率较高。当文本中的叙述过程是为一般现在时体现时，其内容便指向图片，或是描述图中的人物形象的动态特征，或是对作品中的某个绘画元素进行主观的阐释和评价，一旦一般现在时所体现的过程终止，文本与图片的显性联系也随之结束。此外，某些指称形式（e.g.this，it，the work，the man in the picture，etc）也构成图文相接的隐性表达机制，对它们的解读需要参照图像进行。依照马丁内茨和萨尔维的分析模式，在艺术史话语中文本与图像的对应单位是“段落”，它们之间的关系为“文字从属于图像的关系”。

在讲述世界历史的话语中，图像的地位则不同于图像学文本中的“它”，文本和图像的关系是松散的，图像的作用如同文本中的“引文”，发挥着“言据性”的功能：图像证史。文本中提到的重要的人物，场景或事件会在图像中有所显现，但这种关系是隐晦的，语词并不对图像中展示的历史事件进行“转译”或详尽地描述，图像随意摆放在文本旁边，似乎在自言自语，讲述自己的故事。此时文本和图像之间的联系依靠读者的百科知识和自由联想来建立，读者的阅读路径也不固定，或是从图像走向文字，或是先阅读文字，然后再通过阅读图像检验文字的真实性。

通过分析比较图像学、世界美术史及世界历史三个图文并置的话语形式，可以发现，图像和文本之间并不存在多模态话语分析家们所描写的某种固定的关系，而是一种动态的，随着话语类型的变化而变化的关系。从这种意义上说，话语类型在某种意义上决定着图文关系的亲疏。在图像学话语中，文字“详述”图像的意义，在世界美术史话语中，文字“扩展”图像的意义，不仅对艺术作品本身进行描述，还延伸至作品的创作背景，包括创作者的生平以及创作的时间地点等信息。在世界历史话语中，图像发挥着“言据性”的功能，仅对文本描述的“真值”起着佐证的作用。

四、结语

图文并置的话语类型既关注图像与文本的微观层面的词汇语法对应关系，又关注由意义的整体结构和形式的整体结构构成的宏观结构。本文分析对比了图像学、世界美术史和世界历史三种话语类型中图像与文本之间的关系以及图像的三大元功能在它们各自中的体现，旨在表明多模态话语中的图像与文本之间是一种动态的、开放的关系模式，它与话语的宏观结构息息相关；图像的元功能随着话语类型的不同而呈现出不均匀的分布。希望本研究能够进一步解决多模态话语分析中的图文关系问题，同时能深化话语类型的研究并为图像学、世界史、美术史的写作编撰提供借鉴。

汪燕华 湖北第二师范学院 副教授 博士

［1］Barthes，R.Image-Music-Text ［M］.London： Fontana，1977.

［2］Bateman，J.，Delin，J.& Henschel，R.Mapping the multimodal genres of traditional and electronic newspapers ［A］.In Terry D.Royce and Wendy L.Bowcher （Eds.），New Directions in the Analysis of Multimidal Discourse ［C］.Lawrance Erlbaum Associates，Inc.，2007.

［3］Halliday，M.A.K.，& Maatthiessen，C.M.L.M.An Introdiction to Functional Grammar ［M］.London： Amold，1985/1994/2004.

［4］Halliday，M.A.K.，& Maatthiessen，C.M.L.M.Construing Experience through Meaning ［M］.London & New York： Cassell，1999/2006.

［5］Kress，G.and van Leeuwen，T.Reading Images： The Grammar of Visual Design ［M］.London：Routledge，1996.

［6］Martinec，R.A system for image·text relations in new （and old） media ［J］.Visual Communication，Vol.4，No.3，（337-371），2005.

［7］Martinec，R.Topics in multimodality，In Hasan，R.，Matthiessen，C.and Webster，J.，Continuing Discourse on Language： a Functional Perspective： Vol 2.London： Equinox，2005.

［8］Matthiessen，C.M.The multimodal page： a systemic functional exploration ［A］.In T.Royce and W.L.Bowcher （Eds.），New Directions in the Analysis of Multimodal Discourse ［C］.1-62.Mahwah，N.J.： Lawrence Erlbaum，2007.

［9］O' Halloran，K.L.Classroom discourse in mathematics： a multisemiotic analysis ［J］.Linguistics and Education，2000 （3）： 359-88，.

［10］O' Halloran，K.L.Mathematical Discourse： Language，Symbolism and Visual Images ［M］.London and New York： Continuum，2005.

［11］O' Toole，M.The Language of Displayed Art ［M］.Leicester： Leicester University Press，1994.

［12］Royce，T.Intersemiotic complementarity： A framework for multimodal discourse analysis ［A］.In T.Royce and W.L.Bowcher （Eds.），New Directions in the Analysis of Multimodal Discourse ［C］.63-110.Mahwah，N.J.： Lawrence Erlbaum，2007

J0

A

1009-4016（2016）01-0104-05

湖北省教育厅人文社科重点项目湖北教育厅人文社科项目“多模态语篇中语类和图类的配置研究”（14D076）。