绘本故事的多模态文本分析

李晓君

摘要：绘本是由图画、文字等其他元素共同构成的多模态文本。本文根据Serafini，F.提供的多模态文本分析框架，从三个角度：感知角度、结构角度、意识角度来解析安东尼·布朗著名的绘本《公园里的声音》，从而帮助读者更好地解读该绘本。

关键词：绘本;多模态文本;《公园里的声音》

一、引言

绘本即图画书，与我国传统的带插图的儿童书籍有所区别。传统的图画书以文字为主，配以少部分的插画，插画只是简单反应某个故事的情节，并没有叙事能力。随着我国儿童阅读受重视程度的提高，绘本成为培养低幼儿阅读习惯的重要载体。中国台湾儿童绘本作家方素珍（2013）[5]提出，现代绘本是一种独立的图书形式，特别强调图与文的内在关系，是用图画与文字共同叙述故事的一种图书形式。这种图书形式即多模态文本——它是通过多种方式提供信息，包括视觉图片、设计元素、书面语言和其他符号资源（Jewitt and Kress，2003）[1]。视觉文本的动机或发展，是以执行特定的社会行动或任务;而各种符号资源是被用来创建一个可能的含义。这些都需要由图像的生产者和阅读者激活（Jewitt and Oyama，2001）[2]。教师作为文本的最初阅读者，在传统的阅读指导中，更注重书面语，而缺乏系统的理论知识去解析绘本的图画及其他设计元素，如绘本的方向、颜色、边界等。因此，如今读者在解译这些多模态文本的时候，需要新的技巧和策略来构建其意义（Serafini，2009）[3]。

二、多模态文本分析的理论基础

Serafini（2010）[4]的多模态文本分析理论是从文学、视觉传播和艺术等多方面理论提取精华，创建自己的多模态理论框架，该框架是由三个部分构成，即感知角度（perceptual perspective）、结构角度（structural perspective）和意识角度（ideological perspective）。Serafini（2010）[4]指出这三个角度就像是一个同心圆，相辅相成，共同解释绘本故事。感知角度（位于同心圆的中心）与我们眼睛所看到的有关，包括绘本的文本要素、视觉要素以及设计要素（边界、方向、颜色、位置等）。结构角度（位于同心圆的第二外层）是指我们在理解和重组多模态文本时，会受社会背景影响的。结构角度包括概念功能（ideational metafunction），交际功能（interpersonal metafunction），和语篇功能（textual metafunction）（Serafini，2010）。Serafini（2010）[4]总结到，概念功能关注的是内容，或者是这个世界的知识反应在语言中;人际功能关注的是人际关系，它是通过语言来建构参与者之间的关系;语篇功能关注文本是如何编辑的，尤其是在文本的语法问题上。意识角度（位于同心圆的最外围）主要从社会文化背景去思考视觉图像和多模态文本之间的关系。

三、解析绘本《公园里的声音》

《公园里的声音》讲述了一个关于到公园散步的简单故事。该绘本故事及插图都是由著名的英国儿童绘本大师安东尼·布朗（Anthony Browne）创作的。安东尼的作品获得过许多世界著名大奖，其中包括凯特·格林威奖、安徒生奖、艾米克奖、德国绘本奖等，其作品大部分以“大猩猩”为原型创作。简单的语言，幽默、色彩鲜明的插画深受孩子们的喜欢。该绘本人物角色也是以“大猩猩”为原型，人物对比鲜明，其绘本通过暗藏无限玄机的插画来批判现实，反应深刻严肃的社会主题。绘本《公园里的声音》将一对父女和一对母子各自的心声进行对比，其插画的色彩和结构也充满了叙述的能力。因此，本文选取该绘本作为研究的案例。该绘本通过四季不同的景色反应四个人物的不同心情。该故事分为四个部分，即四种声音。这四种声音分别来自猩猩妈和男孩查尔斯（一对母子）、猩猩爸和女孩脏脏（一对父女）。猩猩妈带着查尔斯来公园走走，遇到了猩猩爸带着脏脏来公园玩耍，他们四个人物都对自己的所见发表了自己的心声。本文用Serafini（2010）[4]创建的多模态文本分析理论框架来解析绘本《公园里的声音》，以第七页和第十九页为例。

在该绘本的第七页，从感知角度看，该绘本图画是横向的，图画由边界框起来，图画框下面有一段文字“我在想晚餐吃什么的时候，突然发现查尔斯不见了。天啊！他到哪里去了？”。在图画的底部，猩猩妈和猩猩爸占了画面的二分之一的位置。猩猩爸坐在长条凳的左边，他正在看手里的報纸;猩猩妈站在长条凳前，位于画面的右边，而她目光看向左方的同时，双手紧握。猩猩爸带着墨绿色的针织帽，穿着一套深颜色且裤子明显有些肮脏的衣服;猩猩妈则戴着红色的简洁的小礼帽，穿着一件整洁的蓝色外套。画面被一条灯柱切割开，左边猩猩爸占了画面了的三分之一，右边猩猩妈占画面的三分之二。在长条凳的后面，有一片绿色的草地，和一片红色的树林，还有两只狗在树林的右边。每棵树都有一张人脸——眯成一条线的双眼以及圆圆的嘴巴。

从结构角度看，概念功能是关于角色是如何出现的以及角色在干什么。在此页中，左边失业的猩猩爸在看报纸，右边严肃的猩猩妈像是在寻找东西，显然，他们之间没有交流。交际功能关注的是读者和绘本角色的距离—图像的位置与读者眼睛齐平，绘本角色靠近读者，说明绘本角色在此页非常重要。但是他们和读者没有眼神交流，说明他们内心各有所思。从语篇功能看，猩猩妈说了几句话“我在想晚餐吃什么的时候，突然发现查尔斯不见了。天啊！他到哪里去了？”这里用了感叹号和问好两种情感表达强烈的符号，以表达此时猩猩妈内心的惊慌。结构功能是处理文本中视觉图像的建构，书面语和设计要素之间的关系。绘本角色被无色的边界框起来，置于图画的底部，显示出绘本角色的在本页中的重要性。猩猩爸和猩猩妈的衣服颜色形成鲜明的对比。左边的猩猩爸穿了深颜色的衣服，而右边的猩猩妈则穿了颜色明亮的衣服。中间的灯柱将画面分成两部分。左边的画面空间比较小，猩猩爸坐在了三分之一的长条凳上，相反，右边的画面空间比较大，且猩猩妈坐在剩余三分之二的长条凳上。从意识角度看，猩猩爸和猩猩妈衣着的迥然不同，却又在同一个空间，暗示着社会分成两个阶层。左边的猩猩爸可能来自下流社会，而右边的猩猩妈则可能来自上流社会。左边的猩猩爸仅仅坐了长条凳的三分之一位置，而右边的猩猩妈则坐了三分之二的长条凳——不平等的空间对比，意味着下流社会和上流社会的人们社会环境的不平等。猩猩爸和猩猩妈之间的灯柱，像一条深深的沟——二者的社会阶层难以逾越。

在《公园里的声音》的第19页，从感知角度分析，此页的方向没有改变，图画由边界框起来，文本位于图画框下方。“‘要不要溜滑梯？有人问我。虽然是个女孩，不过我还是去了。她很会溜滑梯，溜得真快，我好惊讶。”在图画的底部，分别是位于左边的害羞的男孩查尔斯，位于右边的是快乐女孩脏脏，他们相互看着对方。在两个孩子的眼前，有一条灯柱、一片绿油油的菜地和几棵树。灯柱将画面分割成两部分，两边的色彩对比鲜明——左边图画的色彩要比右边的暗淡。左边的小男孩穿着浅黄色的衣服，草地是暗绿色的;同一侧的是光秃秃的黑色的树;天空也是灰色的。在右边小女孩穿着红色的衣服，草地是嫩绿的;茂盛的树上长满了五颜六色的叶子;天空是湛蓝湛蓝的，仅位于左上角有一抹灰色的飘过来。

从概念功能看，小男孩和小女孩分别坐在同一张凳子上，并且互相看着对方。从交际功能看，两个人物所处的位置低于读者的水平视线，而一大片绿色草地与读者视线持平，说明此处作者想要读者关注环境。二者只显示出他们脸的一侧，如此想要邀请读者参与到他们之间。灯柱靠近读者，树离读者较远。人物被边界框起来，大部分的边都是黑色，只有右边四分之一的边是透明的。两个人物显示出他们的侧脸，暗示着他们俩在说话。灯柱将画面分成两部分，左边三分之二的画面都是深颜色，而右边三分之一的是浅颜色。画面的右半部分顶部，蓝色的天空开始变成灰色——预示着干净的蓝色天空面积越来越少。从语篇功能看，此处是小男孩的心声。从“她很会玩滑滑梯，她滑得很快”看出，小男孩非常关注小女孩。从意识角度看，我们可以推测，左边光秃秃的树和灰蒙蒙的天空是因为环境污染。右上角仅有三分之一的天空是干净的，我们可以推测环境污染的越来越严重。联系前面第七页分析的图画，小男孩成长于上流社会，而小女孩则成长于下流社会。此画面中左右两边对比，说明小男孩所处的环境污染越来越严重，而小女孩所生活的环境也难逃厄运——此厄运可能来源于上流社会对经济的高追求。

四、结论

本文运用 Serafini（2010）[4]的多模态理论分析框架对绘本《公园里的声音》进行解析，以第七页和第十九页为例。第七页中，我们看到猩猩爸穿着邋遢的坐在椅子左边上看报纸，而猩猩妈穿着优雅的坐在椅子右边。一条灯柱将画面不平等的分割，预示着社会生存空间的不平等。第十九页中，小男孩和小女孩一起坐在椅子上，二者所在空间被一条灯柱切割开，小男孩所在的空间稍微宽些，色彩暗淡，而小女孩所在的空间色彩鲜艳，暗示着环境问题将会越来越严重。猩猩爸和猩猩媽的毫无交流，而小男孩和小女孩则交流甚欢。两页画面有着强烈的对比，成年人的世界有着阶级之分，然而孩子们的世界是单纯的，只要能玩在一起，就能开心地成为朋友。

Serafini（2010）[4]所提供的多模态分析理论框架扩大了读者阅读绘本的视野。对于老师而言，此框架大大地帮助他们指导学生形成自己的阅读方法。尽管如此，我们仍然希望越来越多的方法论诞生，从而帮助读者更好地阅读绘本。在解析多模态文本过程中，角度越丰富，我们从文本中获得的信息就越多。

参考文献：

[1] Jewitt，C.&Kress，G.（Eds.）（2003）.Multimodal Literacy.New York：Peter Lang.

[2] Jewitt，C.&Oyama，R.（2001）.Visual Meaning：A Social Semiotic Approach.In T.van.Leeuwen&C.Jewitt（Eds.），Handbook of Visual Analysis（pp.134–156）.London：Sage.

[3] Serafifini，F.（2009）.Understanding Visual Images in Picturebooks.In J.Evans（Ed.），Talking Beyond the Page：Reading and Responding to Contemporary Picturebooks（pp.10–25）.London：Routledge.

[4] Serafini，F.（2010）.Reading multimodal texts：Perceptual，structural and ideological perspectives.Children's Literature in Education，41（2）：85-104.

[5]方素珍.绘本阅读时代[M].浙江少年儿童出版社，2013，2.

[6]安东尼.布朗.公园里的声音[M].河北教育出版社，2012.