儿童绘本：多模态话语分析的新宠

刘芳

摘    要： 文章以Kress & van Leeuwen的视觉语法为依据，从多模态社会符号学视角对Peppe the Lamplighter这一荣获凯迪克银奖的儿童绘本中的图像进行描述和分析;并基于Nikolajeva & Scott对图文关系的区分，揭示该绘本中的图文关系，以期加深对儿童绘本的理解，优化儿童绘本的译介和出版。

关键词： 多模态话语分析    视觉语法    图文关系    《培培点灯》

一、引言

多模态话语是“运用听觉、视觉、触觉等多种感觉，通过语言、图像、声音、动作等多种手段和符号资源进行交际的现象”。20世纪90年代以来，多模态话语分析一直是国外语言学界的研究热点，国外学者也在该领域取得了丰硕的成果。但国内相关研究处于起始阶段，尚未成熟，且国内学者多模态话语分析的对象多集中在广告、电影或诗歌等语篇上，很少对儿童绘本（尤其是单一绘本）进行完整的分析。作为一种典型的多模态语篇，儿童绘本通过图画与文字的配合，共同叙述故事和传递知识。随着对儿童阅读的重视，儿童绘本开始大量出现，但其创作与译介却良莠不齐。本文以《培培点灯》为例，运用多模态社会符号学分析方法解读优秀儿童绘本的特征，以揭示多模态理论的可操作性，从而为绘本的创作和译介提供依据，优化当下绘本市场。

二、理论背景

韩礼德认为语言作为一种社会符号，具有表征客观世界和内心世界的概念、体现语言使用者的交际参与和交际角色关系的人际关系及组织成语篇等三大功能。“虽然这些元功能是首先基于对语言的研究提出来的，但这并不意味着它们仅仅局限于语言”。Kress 等人认为，图像可看做一种社会符号，也可用韩礼德分析语言的社会符号学方法来分析。因此，Kress & Van Leeuwen借用韩礼德的语言三大功能理论，分别从表现意义，即概念功能、互动意义，人际功能、组篇意义，即语篇功能三个不同的层面分析图像等视觉符号的语义关系。

Kress & Van Leeuwen的视觉语法为理解和解释多模态语篇中的图像提供了有力的理论支持，但他们并未明确提出用来分析视觉和语言模态之间相互作用的理论框架，而且对于图、文这两种模态间的关系，学术界的看法不尽相同。Royce将图文关系分为重复、同义、反义、整体与部分、上下义搭配关系。Barthes认为图像是多意的，因而图像需要依附于文字，图文的关系主要是阐释和延伸。Nikolajeva & Scott 則将图文关系定义为四种：（1）对称关系，图与文阐释相同的内容;（2）意义互补关系，两种模态分别为对方提供了其缺少的信息，进行互补;（3）对比关系;（4）相反关系。相比较而言，Nikolajeva & Scott 的分析更清晰明确，因此本文将借鉴他们对图文关系的区分来解读绘本。

三、Peppe the Lamplighter的多模态话语分析

Peppe the Lamplighter曾获1994年凯迪克银奖，是绘本作者根据自己爷爷的真实经历改编而成的。该绘本讲述了在世纪之交的纽约，主人公Peppe一家人怀抱“美国梦”来到小意大利城的移民故事。绘本的插画家Ted Lewin以写实画法将书中人物的表情、感受表达得淋漓尽致，增强了绘本故事的真实性，并以大幅的黑色背景来衬托出灯光给人们带来的明亮与温暖的效果。

（一）Peppe the Lamplighter的视觉语法解读

Kress & Van Leeuwen认为，图像中的视觉符号不仅可以反映客观世界和主观世界发生的各种事件，而且可以表现各种各样的人际关系，与此同时视觉符号内部也是一个有机的和连贯的整体，因此可以从概念功能、人际功能和语篇功能三个不同的层面分析图像等视觉符号的语义关系。以下将基于视觉语法简单描述图像的再现、互动和构图意义。

1.再现意义

图画故事书（绘本）的再现元功能是通过图画中的人物、事物和场景表现的。在该绘本的17幅图中，Peppe作为主人公出现了15次，其他家人的出现次数均少于5次，而其余参与人物只出现1次。至于图画背景，主要有两个：一是Peppe的家，一是桑树街。图1、6、8、9、11、13、14、15和17是以桑树街为背景，而图2、7、10、12和16则以家为背景。绘本的前五幅图是对故事人物、背景的介绍及Peppe找工作处处碰壁这一艰难处境的描述。第六幅图则是对Peppe找到灯夫这一工作的事件再现。在接下来的图画中，故事在两个场景中交替发生，但随着故事情节的发展，同一背景下人物的情感发生了改变。尤其是以家为背景的后四幅图体现了Peppe和父亲两个人的情感变化。父亲先是对Peppe灯夫的工作表示不满，但仍对他寄予厚望，然后不顾颜面对他喊骂责备，而后因小女儿的失踪认识到Peppe工作的重要性到最后的以Peppe为荣。而Peppe则一直备受压力，直到最后赢得了父亲的称许，并感受到自己工作的价值。两个场景的频繁交替切换及人物情感的渐变使故事情节更加紧凑、充满节奏感，增强了读者思维的跳跃感，充分展现了图像作为视觉符号的表达意义。

2.互动意义

“与系统功能语法中的语法关系相似，视觉语法中的互动意义旨在探讨图像制作者、图像所呈现的世界与图像观看者之间的关系，同时表达图像观看者对表征事物应持的态度”。在实现这种互动意义时，有三个要素：距离、接触和视点。虽然情态也是互动意义的重要部分，但实现情态的资源在图像中非常多，因此本文不进行一一描述。

Kress & Van Leeuwen根据图像中的参与者与图像观看者之间有无直接的视线接触，将接触分为“索取”和“提供”两种关系。在所有图画中，只有第二幅图（图1）中的参与者与图像观看者之间有直接的目光接触。这表明图像中的参与者向观看者有所“索取”，它要求观看者深度介入，参与到图像表达的事件中。该图是对Peppe及家人的形象展现，画面中共9人，其中8人（包括Peppe）与观看者有直接的目光接触，从而把观看者带入到故事中去，身临其境地感受Peppe经历的一切。而剩余图画中，参与者与观看者之间没有直接的目光接触，是“提供类”图像，旨在通过图画向观看者提供信息，叙述故事。从社会距离上来看，社会距离决定参与者与观看者之间的亲疏关系，进而展示一种社会关系。这种亲疏关系主要通过镜头取景的框架大小得到体现。在该绘本中，除几个近镜头的取景外，画面中人物多以长镜头取景的方式呈现出来，总体上展现了一种疏远的社会关系。就视点而言，当仰视、俯视、平视某物时，我们会对物体产生象征性的权势，平等的和不平等的[2]。Peppe对父亲及其他社会场景中人物始终处于仰视的姿态，体现了他较低的家庭地位和社会地位。

3.构图意义

“对应于功能语法的组篇意义，Kress & Van Leeuwen提出了多模式语篇的构图意义，并分析了构图意义的三种资源：信息值、取景和显著性”。限于篇幅，下文只从信息值角度对关键图像元素-Peppe和街灯进行描述和分析。

信息值是通过图像中元素的位置安排来实现的，如左右、上下和中心—边缘。在该绘本中，随着故事情节的发展变化，Peppe在页面中的位置也随之改变。在故事开端，Peppe处于页面的右方，且在图像中所占比重较大，这不仅突出了Peppe的主人公地位，而且表明Peppe最初作为新信息出现，预示着他为维持家庭生计而寻找工作的新经历的开始。通过Peppe在页面中位置的变化，体现了新旧信息的交替及故事情节的跌宕起伏。位置的上方与下方也具有不同的信息值。在该故事中，街灯是被置于上方的因素，而Peppe则被置于下方。置于上方的是“理想的”，置于下方的是“真实的”。每当夜晚来临，Peppe认真地点亮每一盏灯，他觉得每一盏灯都燃起一盏小小的希望，于是他点燃每一盏灯的时候，都为自己的家人许下一个愿望。信息的“理想化”借助这一被置于上方的街灯体现得淋漓尽致。而位置上被置于下方的Peppe每天夜晚点灯的这一行为则是更实际的信息，更“脚踏实地的”信息。通过图像中元素所展现的不同信息值，即“理想的”和“真实的”，突出了该故事关于梦想与现实的主题。对于中心与边缘的格局，Kress & Van Leeuwen认为置于中心位置的元素可凸显其中心地位和重要性，而那些环绕在其四周的元素则一般处于次要的地位。该绘本的第一幅图和最后一幅图均描绘了Peppe在桑树街点灯这一场景。在两幅图中，街灯均处于中心位置，从而突出了街灯在故事中的重要性，而且主人公在第一幅图中点完灯离开的行为与最后一幅图中去点灯的行为向观看者描绘了一幅完整的画面，首尾呼应，叙述完整。

可以看出，绘本以Peppe和街灯为关键图像元素，通过绘图者对其位置的刻画，将“美国梦”与移民家庭紧密联系起来，从移民家庭这一小的视角来窥探美国历史，感悟美国梦，突出了梦想与现实这一历史主题;同时将Peppe及其家人的情感变化借由图像生动地再现了出来，突出了绘本关于希望、幸福和痛苦的家庭主题。

（二）Peppe the Lamplighter的圖文关系解读

居松直认为：“假如用公式来表示的话，文+图=有插画的书，文*图=图画书。”[8]根据Nikolajeva & Scott对图文关系的划分，该绘本的图文关系只涉及其中的对称和互补，而且互补关系较为突出。

从绘本标题“Peppe the Lamplighter”来看，只知道有一个参与者，即Peppe，其职业是灯夫。但图片给我们提供了更丰富的信息，描绘了一个完整的动作过程——点灯。在这一过程中，动作者是Peppe，通过图像，我们发现他是一个小男孩，其外形和着装特点在画面中清晰地展现出来，这是标题所没能表述的;目标是街灯;而将动作者和街灯联系起来的长长的木棍在Peppe和街灯这两个图像元素间形成了鲜明的对角线，再现了点灯这一过程。所以就标题而言，图像是对文字的补充。通过这一补充，引起读者们思考“为什么小男孩这么小要做灯夫呢？”从而激发读者的阅读兴趣并暗含着Peppe所承担的超越年龄的那份责任。

在故事开端，图像和文字都是对故事和人物背景的介绍。通过观察发现，文字表述中出现的人物在该页面的概念图像中都有着视觉对应物：Peppe，Peppe的父亲及他的妹妹们，所以是对称关系。但图文互补关系体现得更为明显。一方面，图像意义补充了文字内容。文字中一笔带过的人物在图像中都得到了形象再现，人物的样貌、着装、眼神、姿态在画面中淋漓尽致地展现出来。而且画面上出现的桌子，桌子上的煤油灯、杯子，窗户，以及窗外漆黑的外景是对Peppe一家人所住公寓的简单再现，而文字中并未表述。另一方面，文字内容扩展了图像意义。文字表述了故事发生的时间、地点和时代背景，但这些并未在图画中得到体现。例如“His father was sick……”这句话所表达的内容仅靠看图像难以解读，但可以在图1中看出来。所以图像应与文字相互作用，共同叙事。

图  1

在故事进展阶段，Peppe找到了工作，使故事情节得到进一步发展。对Peppe来说找到工作是好消息，这样他就可以维持一家人的生计，而他父亲却对Peppe“灯夫”这一工作产生了极大的不满。在故事发展的这一阶段，画面也在Peppe的家和桑树街这两个场景间来回切换，在一定程度上体现了父子之间所处的一种“拉锯”状态。图2及所述文字更是体现了紧张的父子关系，图文互补叙事，但这一部分更凸显了文字的力量，文字传达了比图像更多的意义。图像中只出现了父亲这一个人物形象，而文字不仅表述了父亲的言语过程，还详述了Peppe的行为过程及他三个妹妹给予他安慰的言语、行为过程。通过对人物言语、心理及各种动作过程的文字表达，更好地体现了人物的情感和态度，尤其是父亲对Peppe工作的不认同。

图 2

Peppe妹妹Assunta在Peppe没有点灯的那一晚没有回家的事件使故事发生了转折，打破了父亲对Peppe灯夫这一工作的偏见，并承认“灯夫”是一个很重要的职业。所以Peppe重新点灯，找到了妹妹并赢得了家人尤其是父亲的尊重。这一文字内容与图画也是互补关系，但这里不再突出文字的力量，表明故事氛围趋于平静，人物关系得到改善。而绘本的最后一幅图（图3）也回到Peppe点灯的这一场景，但此时他的心境与之前截然不同。现在的他赢得了家人的尊重，他抬头挺胸地点燃一盏盏灯，充满希望地面对自己的人生;同时，在他心里的那些喜悦、失望、幸福还有痛苦也都在灯盏的亮光中化成温暖……

通过以上分析发现，该绘本图文之间不存在完全的对称关系，也不只存在互补关系。只有了解了图像与文字相互作用的方式，才能更好地理解绘本这一多模态语篇。

图 3

四、结语

基于Kress & Van Leeuwen 的視觉语法和Nikolajeva & Scott的图文关系理论的多模态话语分析，本文认为图像能够帮助读者更好地理解故事情节的发展，感受人物情感的变化。Peppe the Lamplighter的绘本作者以文字叙述的感人故事与插画家写实的点灯画面完美结合，展现了一个看待美国历史的新视角。图像中的场景让读者更准确形象地了解世纪之交的纽约，而图中主人公及其他参与人物的神情动作刻画则有助于读者把握故事的情感。图像与文字的结合给予读者更丰富的阅读体验，这是单一模态的语篇所做不到的，也是未来绘本的创作和译介需要多加关注的重要方面。

参考文献：

[1]李战子，陆丹云.多模态符号学：理论基础，研究途径与发展前景[J].外语研究， 2012（2）： 1-8.

[2]李战子.多模式话语的社会符号学分析[J].外语研究，2003（5）：1-8.

[3]Kress，G.& T.Van Leeuwen. Reading Images：The Grammar of Visual Design[M].London：Routledge，1996.

[4]Jewitt，Carey. The Routledge Handbook of Multimodal Analysis[C].London：Routledge，2009.

[5]Ventola， Eija & Arsenio Jesus Moya Guijarro. The World Told and the World Shown：Multisemiotic Issues[C].Hampshire：Palgrave Macmillan，2009.

[6]Kress，G. & T. Van Leeuwen. Multimodal Discourse：The Modes and Media of Contempory Communication[M].London：Arnold，2003.

[7]张敬源，贾培培.关于视觉语法的几点思考[J].当代外语研究，2012（3）：38-42.

[8]朱自强.儿童文学概论[M].北京：高等教育出版社，2009.

[9]Halliday，M. A. K. Language as Social Semiotic：[M].London：Edward Arnold，1978.

[10]胡壮麟.社会符号学研究中的多模态化[J].语言教学与研究，2007（1）：1-10.

[11]胡壮麟、朱永生、张德禄、李战子.系统功能语言学概论[M].北京： 北京大学出版社， 2005.

[12]谢妮妮.《格林童话》中图文关系的逻辑语义扩展探讨[J].外语教学，2014，35（1）：21-25.

[13]张德禄.多模态话语分析综合理论框架探索[J].中国外语，2009（1）：24-30.

[14]张德禄、穆志刚.多模态功能文体学理论框架探索[J].外语教学，2012，33 （3）： 1-6.

[15]周俐.儿童绘本中的图、文、音——基于系统功能多模态语篇研究及社会符号学理论的分析[J].外国语文，2014，30（3）：106-112.

[16]周棋丰.多模态视域下的英语绘本图文关系分析及启示[J].北京科技大学学报， 2014， 30（5）： 22-27.

[17]朱永生.多模态话语分析的理论基础与研究方法[J].外语学刊，2007（5）： 82-86.