协同与对位：多模态符号视域下的绘本叙事——以《Rules of Summer》为例

郭少丹

(福州职业技术学院 文化创意学院/动漫游戏福建省高校应用文科研究中心，福建 福州 350108)

作为典型的多模态文本，绘本是用精湛的图画与简练的文字共同叙述故事或传达讯息的书籍艺术形式。[1]松居直认为图文相乘才是绘本的表现特征。[2]近年来，国内学者从多模态认知诗学视角、符际互补理论和视觉分析框架、新视觉语法等，讨论了绘本叙事结构、图文关系和意义建构、语篇构建和意义解读等方面的问题。[3-7]只是探索多为局部比较或者两两对比，较少进行多模态符号系统整体互相配合构建语篇语义实现全书叙事效果的分析。陈志勇的绘本《RulesofSummer》(2014)[8]从文本内容看，它是关于一系列守则的列表和备注；从图像内容看，主要是一系列独立图像的组合；从一文一图的配合来看，每一条文字守则对应的是总结或者遵守/违背这则守则所遇到的图像事件，却能够让读者解读到这是两兄弟间有关平等和尊重的故事之余，还获得原本觉得只有一点点情节但随着阅读深入意义变得丰富起来的感受。[9]《RulesofSummer》正是有意识有技巧地通过多模态间模态整体协同、符际对位的叙事布局和手法，使得绘本的语言和图像符号系统不仅形成有机整体、实现叙事构建，而且为读者营造了充满想象力、回味无穷的故事世界。

一、模态间协同构建叙事意义

系统功能语言学(SFL)认为语言是系统的、功能的，语义选择形成系统，语言的使用方式围绕功能需求，其中功能区分为概念、人际、语篇三大元功能。[10]人际功能围绕讲述者和讲述对象，语言体现讲述者的身份、态度、情感、动机以及判断、评价、说服等等；概念功能围绕语言的建构，包括经验功能和逻辑功能；语篇功能围绕语言的组织、语言内容与内容以及语言信息与交际语境的关系。基于元功能理论发展起来的视觉语法从Kress&vanLeeuwen(1996,2006)对单幅图像的分析至Painteretal.(2013)的新视觉语法对系列图像的人际意义、概念意义和组篇意义的视觉语篇分析，是多模态语言分析在语言之外对视觉图像展开的分析。[7]绘本作为集语言符号、图像符号等为一体的多模态文本，它的叙事意义需要有效地通过模态间的协同来建构。

(一)图文互文拓展人际功能

Painteretal.从聚焦系统、情感系统和氛围系统讨论视觉语篇人际功能。[7]《RulesofSummer》的图文视角各异、情感不同，氛围有别，为读者的阅读制造了矛盾。但是一旦让图像和文字互相关联，站在图文彼此的视角和情感重新解读图和文，就能领悟它们共同叙述的内容、体现的情感、创造的意义以及因此变得丰富的读者与绘本故事的关系。这种图文互相依赖、相互关联能够形成有机整体，通过增加语旨层次拓展绘本的人际功能。

首先，图作为文的语境，引导视角。从文本的叙事视角看，《RulesofSummer》的文本是第一人称主观叙述,只是这个第一人称视角并未注明是来自“thebig”还是“thelittle”。《RulesofSummer》的前后环衬页采用的是同一张图，图中两个人物在“咬耳朵”，因此这些守则可以理解为“thebig”告诉“thelittle”的，也可以理解是“thelittle”事后总结出来的。正文的第一句是陈述句，第一句冒号后开始的一连串祈使句，有着命令的功能，把读者猝不及防地带入遵守“守则”的境地，也就是“thelittle”的视角，或者进入捍卫“守则”的境地，也就是“thebig”的视角。从“thelittle”的视角出发，最后护封上的文本“Neverbreaktherules.Especiallyifyoudon'tunderstandthem.”是一个判断，而从“thebig”的视角看，这是一个说服。文本的叙述者是这些守则也就是游戏规则的制定者、维护者还是被约束者，读者其实可以自己选择。因为选择不同，这些文本语言所传达的情感、态度等等，以及因此构建的人际互动和关系就有所不同。当然，作者通过封面的角色位置和比重的安排、环衬的角色动作和扉页的情节内容设计等为第一句“ThisiswhatIlearnedlastsummer:”提供了语境，暗示读者文本的叙述者是“thelittle”。因此，《RulesofSummer》的图文差异丰富了叙事意义，而图文协同又巧妙地引导了视角。

其次，文设定图的主位，丰富情感。从图像的叙事视角看，对于读者而言《RulesofSummer》中的图像除了与“Neverwaitforanapology.”对应的三张跨页图像可以解读为主观视角，也就是“thebig”的视角以外，其他图像所采用的都是全知视角，也就是客观的。同时也就是这三张图像有或者可以想象成有眼神的接触(因为部分图像中主体缩小至不可辨认)，其他图像都是无眼神接触，是旁观的。出于习惯，在一文一图的阅读方式下，读者一般会从文本的主观视角，先切换到图像的全知客观视角，这时候读者对于图像的解读是客观的，集中在图像中内容情节的解读，立场也是中立的。但是如果读者紧接着就带入文本叙述者的主观视角，那么这时候就会着重留意“thelittle”的不解、惊慌、无助、恐惧、不平、愤怒等情绪。同时，图文的视角反差可以让读者的自我回归而回到客观立场。如果是大人带着孩子阅读、绘本图音文同步的时候，读者也会回到客观立场。这时候读者会思考图文结合共同传递的内容，从而认真探究故事中两个人物的关系：“thelittle”和“thebig”间的保护和被保护、命令与遵守、约束与反抗等等的关系演化。由于绘本阅读方式与理解进程的不同，读者会与绘本展开单模态系统对话、多模态系统对话、以及多模态融合整体对话，其所获得的叙事意义就有了差异，而这些差异引发思考，层层传递意思，引导不同的感情共鸣。

最后，色营造文的基调，渲染氛围。《RulesofSummer》的文本主体是16条守则，从文本看它的情感是严肃的，节奏是单调的、重复的。其中，单独摆放的文字都放置在边角有类似小朋友画花了的浅色底纹上，像是稚气的孩子的书写，这样的背景设计为看似无理的守则提供了合理的氛围。它的前后环衬跨页图像是灰色调的、中性的，这里暗示对于夏天经历和体验会是如何的未知的感情定位。然后，关于守则的系列图像色彩安排从鲜活、温暖、明媚到暗沉、冷峻、低落然后回到鲜活、绚烂，生动呈现了故事情节和角色心理的变化过程。这部分图像中，天空的色调从浅蓝、深蓝、灰暗、霞光初现、橘黄，既是时间变化的视觉表现，也是对角色意识、情绪的隐喻。比如，还在一旁修复玩具的“thelittle”面对经过的“thebig”和狂欢队伍的部分，深蓝暗沉的天空是他的未及反应的表情之下下意识错愕与郁闷的情绪暗示。捕捉到这些色彩所营造的情感暗示，配合画面的故事情节，读者可以领会紧张、郁闷、生气、欣喜等或紧或松张弛有度的内容。单个图像所提供的情感氛围滋润文字，而系列图像能够推动读者挖掘枯燥的守则列表背后的酸甜苦辣。

因此，我们可以看到《RulesofSummer》利用多模态间的矛盾提供给讲述者(也就是绘本)、讲述对象(也就是读者)不同的身份、地位、情感和目的，制造了分离的“我”；又通过模态间的互文融合，确立了绘本的叙事意义，在给读者不同层次的阅读体验后，让绘本这个讲述者的“我”和读者的“我”都从分离到弥合。

(二)图文互补完善概念功能

Painteretal.从人物系统、事件关系和背景关系分析视觉语篇概念意义的建构。[7]《RulesofSummer》的图像主要通过人物完整表征、时间的瞬间记录、以及背景的变化推进来建构视觉过程、表达故事与意义。前面提到，读者阅读时如果单看文本系统或者图像系统，他们所获得的信息相对支离，而图像系列的事件关系、文字的人物系统以及整个故事的概念意义，《RulesofSummer》是通过图文的互补来完善的。

首先，图辅以文因果，演化人物处境。莱辛在《拉奥孔》中指出绘画需要选择最富有孕育性的那一顷刻，这样观者可以清晰地理解前前后后。[11]《RulesofSummer》对于每一条守则，图像都很好地利用特定的瞬间让读者理解孕育守则的事件、置身事件中人物的心情以及人物间的关系。比如，第一个守则“Neverleavearedsockontheclothesline.”对应的图像中“thebig”抱着“thelittle”捂着他的嘴巴躲在墙角。这条看似无理的守则是发端：“thebig”随后制定了各种奇奇怪怪的守则，然后告知“thelittle”并帮助和要求其一同遵守。在这开始“thebig”像是一位保护者，保护着“thelittle”不被想象中可怕的人或事所侵扰，而不明所以的“thelittle”这时候处于被保护和下意识接受守则的状态。但随着图像的刻画，读者可以发现守则的天平开始失衡，“thelittle”从遵守到反抗，而“thebig”从“保护”到“欺负”。单个图像解释了每条文本守则的前因后果，系列图像解释了逐条守则产生过程中人物关系的演变。图文互补让读者体会人物处境的变化，也让读者能够不断发掘绘本探讨的概念意义。

其次，文辅以图时间，编织情节逻辑。莱辛也提出了以画为代表的造型艺术为空间艺术，以诗为代表的文学为时间艺术。[11]从文字的时间性看《RulesofSummer》的16条守则依次被总结出来，这就给了图像时间顺序。以时间顺序去解读图像中的故事，领会角色关系和心情的变化，这些守则之间的逻辑关系因此树立，也让绘本的叙事逐渐清晰。图文协作演绎和推进了两个人物的关系，其中有“要求程度”的提升，如“Neverarguewithanumpire.”，还有事件的因果关系，如“Neveraskforareason.”引发的争斗以及因此得出的“Neverloseafight.”的守则和被抛弃的结局。其中，文本内容从“Never”到“Always”的变化，则是“thebig”的立场、想法和情感转变的提示，也是两人和解及融合的开始。时间性的文字与空间性的图像配合，不仅仅逐步确立了故事的情节逻辑，同时也创造了故事的跌宕起伏。

最后，图辅以文情境，提升读者兴趣。陈志勇的绘画充满了想象力，为原本枯燥奇怪的夏天守则营造了有趣的内容世界。这首先吸引了读者的阅读兴趣，借此年幼的读者可以观察、探究图像内容，年长的读者可以品味其画外之意。随着图像场景的不断转换，读者可以发现图像中除了文本提供的时间逻辑以外的时间：从早晨欢快的玩乐演变为傍晚愤怒的争斗，到夜晚的一起归家和隔天的狂欢。在图像情境烘托下，重复与单调的文字守则被注入了各种情感、有了起起落落，图文协同增加了探索人物关系和故事情节的乐趣，同时丰富了绘本的内容和意义。

因此，我们可以发现《RulesofSummer》的文本是图像故事的总结也是图像的时间线、图像是文本的阐释也是文本的语境，时间性的文字和空间性的图像符际互补推动故事信息的流动，完成了绘本概念意义的归一。

二、符际对位塑造叙事结构

对位是音乐创作中使互相独立的若干条旋律彼此融洽的音乐创作技巧。[12]钱锺书在《国师季刊》1940年第6期发表的《中国诗与中国画》中借鉴“出位之思”来阐明艺术间的交流现象。[13]Royce提出的符际互补理论从图文投入、图文耦合等方面探索信息传播时图像与文本的衔接机制与互补机制。[14]在绘本的创作中，解决多模态的符际互补也可以看到对位的手法，比如对位赋格中各个声部答题-对题的问答追逐。《RulesofSummer》图与文的因果搭配可以理解为第二声部图像对于第一声部文本主题的重复，而其中蕴含的情感则如调子的高低。因此，看似平行的守则列表也有了故事进展、评价、解决这样起起伏伏的叙事结构。以Martin&Rose(2008)提出的故事语类结构分析《RulesofSummer》的叙事结构(如图1)，可以发现封面到第一句正文是指向部分，提供了绘本的主题；守则1至10是进展，“thelittle”一直懵懂得学习和遵守着守则；守则11至13是评价部分，“thelittle”开始生气和反抗；守则14至15是解决部分，“thebig”伸出了解决之手，两个人物和解；从守则16后面的跨页图像到后护封的告诫是结尾部分，同时也是点题和意义的升华。[15]这其中图文的对位以及副文本的衔接还形成了叙事节奏的变化以及叙事的循环。

(一)图文对位演绎叙事节奏

Painteretal.从图文版面安排和图文内容关系等来讨论视觉语篇组篇意义。[7]从图文版面安排看，《RulesofSummer》的16条守则部分的内容主要为左文右图的对称型图文版面安排，正文第一句和最后“Forthelittleandthebig.”是左图右文，标题部分(包括封面、扉页等)是图文融合的排版设计。首先“ThisiswhatIlearnedlastsummer:”这个未完整的句子给读者提供了悬念，请读者翻动书本查看守则到底是什么,以此推动故事前进。第1至第12条守则的都是左文右图，是简洁的、模块化的。到了第13条守则，在一文一图的后面增加了3张跨页，描绘的是被关在冒着黑烟的移动体中被打败的“thelittle”在越来越深的夜幕中越行越远。这时候一对一的图文对应结构产生了变化，重复的节奏被打破，3张图像增加读者停留的时间并强调了剧情的变化，因此引导读者思考前因后果，体会故事中人物的心情。而最后一条守则在一文一图后还增加了1张跨页图像，这条守则的2个画面情节是衔接的：“thebig”帮助“thelittle”爬上高台然后参加最后的夏季狂欢，跨页铺满两个版面，突出了狂欢的气氛。《RulesofSummer》通过图文版式关系、文以及对应的图的大小和数量等创建图文对位模式、打破对位模式从而创造重复、打破重复、重音、长音等节奏，引导读者的注意力，增加趣味与多样化。

从图文内容关系看，《RulesofSummer》的图像基本都可以理解为文本的正向解释。只是系列左文右图的安排看似是平衡的，读者阅读所得却是不同的。首先，作者巧妙地利用画面内容情节等安排、光线布局等构图来调整阅读的体量和注意力节奏。比如“Neverruinaperfectplan.”对应的画面呈现了计划内容、执行计划、破坏计划、被发现、因此可能的后果等等丰富的内容，而“Neveraskforareason.”对应画面则通过明暗的安排，让读者集中在两个主人公打架的行为，内容就比较直接。其次，如前文介绍图文的视角不同，图文内容的搭配方式可以影响视角转变后的阅读的时间。比如，以从左往右的阅读顺序看，图像是文本的结果，那么是顺序的自然的，阅读当下不会引发太多思考，而如果图像表现的是文本守则的原由，那么读者可能就需要花费时间思考为什么。因此，文本系统和图像系统各有旋律特点，但它们的对位又合成协调的新节奏。

总之，《RulesofSummer》通过图文版面安排的对应和变化、图文内容因果关系的顺向和逆向等图文对位的手法筑造了故事的指向、进展、评价、解决和结尾的叙事结构，也构成了长短强弱等等的叙事节奏。

(二)副文本衔接形成叙事循环

佩里·诺德曼采用儿童小说家吉尔·佩顿·沃尔什关于小说“轨道”的说法来形容优秀的绘本：图文等内容都应该在轨道上，图像和文本在恰如其当的位置成为整体必不可少的一部分，从而完成一本绘本的行为，也就是既实现作者的阐述行为，也提供读者感知整体故事的体验行为。[16]绘本的标题、封面、环衬、扉页等作为绘本副文本是构成绘本故事的一个组成部分[17]。在《RulesofSummer》中，这些副文本是构建整个故事轨道的重要部分，甚至帮助故事形成了叙事轨道的闭环和循环。首先，《RulesofSummer》的封面、前环衬、前扉页和正文第一句的图文对位组成叙事结构中的指向部分，这里确定了绘本的主题、提供了人物的关系以及故事展开的方式。接着，后扉页、后环衬的图文对位组成叙事结尾的一部分。后扉页的左图内容是雪地上的小鸟正要叼起丢弃的王冠，这里提供了一个悬念：作为争斗胜者的奖品，王冠还会戴在谁的头上？而右文恰是“Forthelittleandthebig.”，作者在这里以一个提示和暗示引导读者进一步思考。后环衬页面的跨页图像和前环衬是同一张图，这里和正文第一句的“last”呼应，暗示着新的夏天又开始了，两个人的故事又将开启。最后，书的后护封上的文本是关于遵守这些守则的告诫，而这句告诫可以提醒读者重新审视那些守则，再次踏上《RulesofSummer》所设定的故事轨道，继续品味故事内容，比如“thelittle”和“thebig”的身份，本文一直使用“thelittle”和“thebig”,因为它们不仅仅可以指代绘本中的大小男孩，也可以表示人际关系中的强势一方和弱势一方。正如佩里·诺德曼所指出的：图画中没有描绘出来的跟描绘出来的同等重要。[16]《RulesofSummer》全书没有直接描述的内容才是让读者津津乐道的地方，这也就是松居直强调的：读者自己创造的故事世界才是真正的绘本，才是真正的绘本体验。[18]

通过以上分析，我们可以发现《RulesofSummer》是多模态符号系统整体协同叙事的典型。非情节性叙事的文和一幅幅独立的图，被作者通过巧妙地利用多模态各个符号的差异和矛盾，包括图像的空间性和文字的时间性的差异、图文视角的差异、图文情感的差异等等，再配合绘本阅读方式不同造成的叙事效果差异，设计阅读“障碍”；同时通过多模态符号系统整体间的协同和对位，让文字为图像提供时间和线索、图像为文字呈现空间和层次，实现逻辑的编织和剧情的演化，以此提供给读者逾越“障碍”的路径，让读者的阅读过程象剥开洋葱，获得一层一层的收获。这样的绘本体验过程有发现的乐趣，也有参与的乐趣，更有因为装下读者自己的认识和情感而五味杂陈的情感体验。

从多模态系统整体出发有意识、有技巧地利用多模态符号系统间的差异和同生，制造分离然后弥合分离，协同互补构建语篇语义实现全书叙事效果，为读者提供层次丰富的内容和体验，是绘本创作中多模态符际资源配置的手法，也是绘本叙事构建和意义创建的方法。在对于文化传承、科普类绘本创作中，解释性或说明性的知识文本也会存在单调、重复、枯燥的特点，就需要从多模态符号间的整体协同和合作中寻找更加适合的绘本叙事手法。进一步展开基于多模态话语、新视觉语法的模态整体配合的绘本叙事分析，有助于探索和发现多模态符际资源配合在绘本创作过程中叙事、组篇等的可能性和有效性，为绘本创作中多模态协同构建故事有机整体提供更多的视角，从而提升绘本创作的品质、丰富绘本叙事的手法。