基于视觉叙事分析框架的多模态叙事语篇意义构建——以几米绘本为例

刘晓华

(安徽农业大学 外国语学院，合肥 230036)

基于视觉叙事分析框架的多模态叙事语篇意义构建
——以几米绘本为例

刘晓华

(安徽农业大学 外国语学院，合肥 230036)

多模态语篇的图像意义构建是系统功能语言学的研究热点。依据Painter等的视觉叙事分析框架，以几米绘本为语料，从聚焦系统、情感系统、氛围系统、人物表征、事件关系、背景关系和图文布局关系分析图像在多模态叙事语篇中如何构建人际意义、概念意义和组篇意义，并总结在多模态叙事语篇中图像意义生成的特点，验证该框架应用于多模态叙事语篇分析的可行性，同时也发现该框架存在不足，需要进一步修改和补充。

视觉叙事；多模态叙事语篇；几米；绘本

一、引言

随着图像时代的到来，图像作为重要的符号资源，与文字一起构建意义，并创造出新颖的审美体验。在由图文组成的多模态语篇中，图像如何构建意义也成为系统功能语言学研究的热点。目前的研究分为三个方面：一是理论框架的建立，即通过语料分析提出多模态语篇分析的框架，如Kress和van Leeuwen的视觉语法，系统地阐释了图像对于意义表达的重要作用[1]18，为视觉语篇的图像意义构建提供了系统的理论分析工具，并奠定了多模态语篇分析作为一门学科的独立地位。但是视觉语法并不是万能的，Painter，Martin和Unsworth通过对儿童图画书的语料分析提出新的视觉叙事分析框架[2]166，进一步发展了传统的视觉语法；二是实证研究，即使用语料库或实验的方法验证一些观点，例如，Bateman使用多模态语料库对图文版式做了实证研究[3]238，Holsanova通过实验研究了视觉交流和多模态媒介的融合[4]251-257；三是跨学科研究，例如，孙毅从社会历史的角度对世博会会徽这一特殊模态进行了解读[5]44-47；张德禄和穆志刚提出了多模态文体学理论框架[6]1-6；陈瑜敏从教学的角度研究了多模态外语教材[7]69-72；冯德正和邢春燕从认知隐喻的视角分析了空间隐喻在多模态语篇中的意义构建[8]58-64。综合国内外多模态语篇研究现状，发现国内对多模态叙事语篇的关注不够，国外多模态语篇分析理论的分析对象也需要拓展到更复杂的多模态叙事语篇。基于此，本文将Painter等提出的视觉叙事分析框架应用到多模态叙事语篇，根据语料分析对该分析框架进行验证和补充。

二、理论基础——视觉叙事分析框架

Painter，Martin和Unsworth提出的视觉叙事框架对视觉语法做了大量的修正和补充，体现在以下两个方面：一是把研究对象从单个图像拓展到多个图像组成的复杂的多模态语篇，二是在原有的基础上把图像与读者的互动关系纳入到视觉叙事分析框架里，探讨多模态语篇的人际意义、概念意义和组篇意义的生成。因此，这个视觉叙事分析框架可以成为多模态叙事语篇分析的理论工具。该框架主要由以下三个方面构成：

(一)人际意义构建

Painter等认为视觉图像与语言的不同在于视觉图像不能明确地建立提供和求取关系。而人际意义也不单纯只有提供和求取两种简单的关系[2]131。因此，他们在研究视觉语篇的人际意义构建时，提出了新的聚焦系统、情感系统和氛围系统，来动态地考察图像与读者之间的互动关系，图像叙事的情感介入和颜色作为视觉符号具备多模态意义构建的功能。

(二)概念意义构建

传统的视觉语法以单个图像为单位研究视觉过程的构建。Painter等扩展了这个概念意义分析框架。他们提出了三个子框架，即人物表征与人物关系，事件关系和背景关系来进一步结构图像在多模态语篇的概念意义生成[2]150，对应了系统功能语言学中的参与者、过程和环境这三个要素。

(三)组篇意义构建

传统的视觉语法把信息值、取景和显著性作为分析图像构成意义的三个维度。Painter等他们把信息值改为版面布局关系，并提出了叙事语篇中图像与文字的布局框架[2]182，区分了融合与互补的两种图文关系，进一步修正了传统视觉语法。

下文以几米绘本为语料，根据Painter等的视觉叙事分析框架，分析图像在多模态叙事语篇中如何构建人际意义、概念意义和组篇意义，归纳图像构建多模态意义的特点，并指出该框架存在的不足。

三、多模态叙事语篇人际意义的构建

1.聚焦系统

Painter等提出的新的聚焦系统主要研究图像中的人物与读者之间的互动关系，以及图像为读者提供了什么样的视角[2]29。而按照视角的标准，图像可分为有中介和无中介两种。冯德正用电影术语把无中介解释为客观视角，把有中介解释为主观视角，而主观视角又分为直视主观视角和引发主观视角[9]23-27。主观视角可以让图像与读者之间产生互动关系，让读者参与到故事的叙事之中，引起共鸣。因此，按照这一框架来分析多模态语篇视觉叙事的视角，能够更加科学地解构人际意义的产生过程。

在几米的绘本中，作者采用主观视角设计图像，让图像中的人物与读者产生互动关系，让图像配合文字构建更加丰富的人际意义。例如，在《时光电影院》里，作者用文字以第一人称叙述了一个小女孩的成长故事，她从小失去母亲，想念母亲时父亲就会带她去电影院寻找与母亲有关的记忆。在设计视觉图像时，作者主要选取了主观视角，即小女孩的视角，再现了许多与电影院有关的场景，表达“思念”这一情感。如图1，图像以主人公的主观视角，呈现了一幕电影片段，首先构建了叙事语篇的空间，用母亲、拥抱、女儿的图素组合成图式，构建了更深层的意义，即小女孩思念母亲，以看母女亲情的电影抚慰“思念”之情。让读者身临其境，触景生情。如图2，作者把电影海报，女孩，洪水组成图像，一是构建了新的空间，推进了情节的叙事；二是使用主观视角，叙述女孩思念母亲，涉水去电影院，增加视觉叙事的感染力。

图1

图2

2.情感系统

Kress 和van Leeuwen 的视觉语法理论的人际意义只讨论了接触、距离、视角和色彩[1]89，忽略了读者的情感介入，以及作者、作品和读者之间的互动关系[2]88，因此Painter等在这个基础上提出了情感系统的概念，也就是说，图像的表征不仅仅构建情态意义，还构建了读者与图像人物之间的情感关系[2]16。这种情感介入分为介入和异化两种。介入是指图像人物与读者之间存在情感关系，异化是指读者对图像没有情感投入，只是以客观评价的态度阅读图像。根据情感介入的程度不同，介入分为鉴赏、移情和个体三类。鉴赏类指的是最简单最抽象的图像；移情类指的是类化风格的图像，能够表达人物情感，但不确定具体人物；个体类是自然风格的图像，人物有具体的表征。因此，运用图像增加读者的情感介入程度，是视觉语篇创作者在视觉设计时常用的语篇策略。

在几米的绘本中，根据表达主题的不同，作者主要选取了移情和个体这两类图像建立读者和图像人物的情感关系。例如，在《我不是完美小孩》一书中，几米以一个三年级女生郝完美在学习、生活，以及和大人相处中所遇到的困惑与烦恼来类化在成长中不得不放弃完美的所有人。作者在设计视觉图像时重在表达人物情感，故意隐藏了人物的具体表征，以引起读者的情感介入，产生共鸣。如图3，作者用一个没有具体表征的小孩形象类比所有的小孩，如图4，作者刻意隐去了图中人物的具体特征，来类比所有人都是不完美的。

图3

图4

但同时在叙述小女孩郝完美的成长烦恼时，在视觉图像设计上又使用了个体类图像。如图5，作者设计了一个有具体特征的人物形象作为主人公的身份设定，同时这个人物又具有三年级小女生的普遍特征。图像人物既具有辨识度，叙述的主题又具有普遍意义。这样，读者更易于将自己与叙事语篇的人物联系起来，语篇中的人物所遭遇的成长烦恼实际上是所有人在成长过程中都可能会遇到的问题。

图5

3.氛围系统

传统视觉语法把颜色当做一种符号，并未研究其人际意义。在这个基础上，Painter等人把颜色作为人际意义资源，认为颜色在视觉叙事中可以构建氛围，即语篇的情感基调，因此颜色被纳入到新的视觉叙事框架里[2]26。该框架认为黑白色不能营造情感基调，并把彩色图像按照色度、色调和自然度三个维度进行划分。高色度，即为明亮鲜艳的颜色，营造明媚的、充满活力的情感；而低色度，是指表达阴郁、悲伤的灰暗色彩。色调分为代表热情的暖色调和代表冷漠的冷色调。自然度指的是颜色的丰富程度，颜色越丰富越亲切；反之，颜色越单一越疏远。因此，颜色可以成为多模态语篇作者视觉创作时的手段，创作者可以选择不同的色度、色调和自然度构建语篇的情感氛围，感染读者。颜色作为视觉符号，代替语言实现人际意义，在几米的作品中得到极大的体现。几米运用颜色符号来设定故事的情感基调，渲染人物情绪，用冷暖色调对比叙述人物情绪起伏，带动情节发展，以实现视觉叙事。

例如，图6，在《向左走 向右走》中作者始终用低色度来表达男女主人公总是一再错过彼此的惆怅，展现现代都市人在快节奏的生活中寂寞的内心；图7，在《地下铁》中，作者用明亮的暖色调烘托盲女乐观面对生活的态度，在图8里，用丰富的颜色来刻画盲女内心天真烂漫，童心未泯，充满希望。

图6

图8

但是，Painter等认为只有彩色才能激活情感氛围，黑白色不能够营造语篇的情感基调，这一点是有待商榷的。在视觉语篇中，黑白色同样可以营造情感氛围，黑色和白色都是冷色调，同样可以通过不同色度来奠定语篇的情感基调，感染读者。例如，图9，在《森林里的秘密》一书中，为了烘托女孩孤独苍凉的心境，作者几乎全部使用了黑白色，来描绘城市的冰冷与单调。因此，色彩作为人际意义资源，也应该包括黑色和白色，因此，Painter等提出的叙事分析框架对于色彩作为人际意义资源的理论仍需进一步补充。

图9

四、多模态叙事语篇概念意义的构建

传统视觉语法以单个图像为分析单位来结构其概念意义，更关注视觉过程建构，在这个基础上，Painter等扩展了这个概念意义分析框架，提出了三个子框架：人物表征、事件关系和背景关系[2]193。下文将依据这三个子框架，以几米绘本为例，来分析多模态语篇的概念意义建构。

1.人物表征

Painter等把人物表征的方式分为完整表征和转喻表征[2]193。完整表征是指具体刻画人物外表特征，建立明确的人物身份；转喻表征是指只通过衣着等其他特征代表人物身份[9]31。在视觉语篇中，当人物第一次出现，为了明确人物身份，通常会用完整表征来刻画人物，在视觉叙事过程中则可以使用转喻表征来代替完整表征。例如，在《我不是完美小孩》中，当人物第一次出现，作者用完整表征刻画了三年级女生郝完美的形象，建立明确的人物身份，如图5，在随后的叙事中，则使用转喻表征，用尖牙、绿角和竖起的头发来表达人物的愤怒，如图10。

图10

2. 事件关系

事件关系指的是视觉语篇中不同事件之间的关系，Painter等把事件关系分为展开和投射两种[2]196。在多模态叙事语篇中，事件展开指的是叙事的时间顺序，即两个事件是同时发生，还是先后发生。例如，在《向左走 向右走》中，如图6，两个主人公同时做一件事，却朝着不同的方向，所以一再错过，这样的事件关系就是为了构建语篇的概念意义，男女主人公一再错过彼此的怅惘，令读者扼腕叹息。

事件投射关系根据事件类型分为真实事件投射和想象事件投射[2]197，在真实事件中，一幅图是另一幅图的人物所见，这是视觉投射，同时担当着时间的叙事，这在视觉叙事语篇中比较常见；在想象事件中，一幅图是另一幅图人物所想，这是思维投射。在几米绘本中，同一幅图中，人物所想也可以投射在这幅图中。例如，《地下铁》中，如图11，盲女乘坐地铁时，她对世界的想象也投射在这幅图中。因此，在多模态语篇的事件关系中，同一幅图也可以构建思维投射，这也是对Painter等新的叙事框架的补充。

图11

3. 背景关系

背景关系是指视觉叙事语篇中事件发生情境的延续和变化[2]199。如果情境没有变化，相邻的图像可能会选择相同的背景，或者变换视角。如果叙事情境发生变化，作者可以使用新的背景或者去掉背景。因此，背景关系的延续和变化可以构建视觉语篇线性时间叙事和空间的转换。例如，图11和12，在《地下铁》中，几米用大量相似背景的图片叙述盲女乘坐地铁时的情形，并用不同的思维投射来进行时间叙事和空间转换。

图12

五、多模态叙事语篇组篇意义的构建

结合了Martinec和Salway的图文关系框架[10]337-371，Painter等提出了版面布局关系来分析视觉语篇中的图像与文字之间的关系。他们把版面布局分成融合和互补两种[2]239。前者是指语言是图像的一部分，二者融为一体；后者是指语言和图像各占一部分。依据这一版面布局框架，几米绘本的图文版面布局是多变的。

1.融合型

融合型版面布局是指图像和文字融为一体，之间存在扩展和投射两种语义关系[2]241。投射相对简单，即图像中人物的话语以文字的形式出现在图中。扩展是指图像与文字各具意义，二者相互补充，相互增强。在多模态叙事语篇中，扩展的融合型图像更加常见。例如，图5属于融合型版面布局，图中的人物和文字各自具有自己的意义，并相互阐释、相互照应，并用矢量将二者连接。因此，在多模态叙事语篇中，扩展关系的融合型版面布局可以为语篇构建统一的语境。

2.互补型

互补型是指图像和文字各占一部分空间，用位置特征来考察图文之间的语义关系[2]242。相邻的图像与文字之间即使没有矢量连接，但存在紧密的语义关系。

例如，图3属于互补型的版面，从位置特征来看，单独的图像表达的意义比较模糊，而单纯的文字无法为读者提供想象空间，因此，作者把相邻的图像与文字紧密连接起来，构建语义关系，用语言进一步补充说明了图像的意义，从而构成一幅富有深度内涵的视觉图像。由此可见，在多模态叙事语篇的组篇意义构建中，不同类型的图文版面布局关系可以构建多模态叙事语篇的组篇意义。

六、结语

本文依据Painter等的视觉叙事分析框架，以几米绘本为例，解构了多模态叙事语篇人际意义、概念意义和组篇意义的构建过程，发现在多模态叙事语篇中，图像意义生成具有以下特点：1.为了增强作品与读者之间的互动关系，多模态叙事语篇更倾向于使用有中介图像，即主观视角，让读者参与视觉叙事，移情类和个体类图像更有助于建立与读者的情感关系，增强读者的情感介入程度。同时，不同色度、色调和饱和度的颜色，也是多模态叙事语篇奠定语篇氛围的重要手段；2.多模态叙事语篇用人物表征和转喻表征结合起来塑造图像人物形象，用事件扩展和投射关系，背景的延长和变化实现视觉的时间表达和空间转化；3.多模态叙事语篇的版面布局非常灵活多变，图像与文字的关系有时融合有时互补，关系错综复杂。

同时，本文将Painter等的视觉叙事框架应用于几米绘本的语料分析，验证了该框架应用于多模态叙事语篇分析的可行性，也发现该框架对多模态叙事语篇的解释力存在以下不足：

Painter等认为黑白色不能营造情感氛围，而对几米黑白绘本的研究发现事实恰恰相反，黑白色也可以构建视觉语篇的情感氛围；Painter等认为想象事件投射必须要两幅图像完成，而实际上，在几米绘本中，同一幅图像即可以完成。因此，该框架并不是万能的，需要被应用于各种不同的多模态语篇分析中，不断地进行修改和补充。

[1] Kress G. T. van Leeuwen Reading Images: The Grammar of Visual Design [M]. London: Routledge, 1996.

[2] Painter C. J. R. Martin L. Unsworth Reading Visual Narratives: Image Analysis of Children’s Picture Books [M]. London: Equinox, 2013.

[3] Bateman J. Multimodality and Genre [M]. London: Routledge, 2008:238.

[4] Holsanova J. New Methods for Studying Visual Communication and Multimodal Intergration [J]. Visual Communication, 2012,(11): 251-257.

[5] 孙毅. 多模态话语意义建构—以2011西安世界园艺博览会会徽为基点[J]. 外语与外语教学，2012，(1)：44-47.

[6] 张德禄，穆志刚. 多模态功能文体学理论框架探索[J]. 外语教学，2012，(3)：1-6.

[7] 陈瑜敏. 情态分析在多模态外语教材研究中的应用探析[J]. 外语教学，2012，(1)：69-72.

[8] 冯德正，邢春燕. 空间隐喻与多模态意义建构[J]. 外国语，2011，(3)：58-64.

[9] 冯德正. 视觉语法的新发展：基于图画书的视觉叙事分析框架[J]. 外语教学，2015，(5)：23-27.

[10]Martinec R Salway A A System for Image Text Relations in New Media [J]. Visual Comuunication, 2005，(4):337-371.

责任编辑：陈君丹

Meaning Construction of Narrative Multimodal Discourse Based on Visual Narratives Analysis Framework— A Case Study of Ji Mi’s Picture Books

LIU Xiao-hua

(School of Foreign Languages, Anhui Agricultural University, Hefei 230036, China)

The study of meaning construction of multimodal discourse is the hot-spot of system-functional linguistics. Taking Ji Mi’s picture books as an example, the paper employs the framework of visual narratives for multimodal discourse, a new development of traditional visual grammar, to give a analysis of spotlight system, emotional system, atmosphere system, character features, event relations, background relations and picture-text relations to build the interpersonal meaning, concept meaning and discourse meaning with languages, and to summarize the traits of meaning construction of multimodal discourse. It proves that this framework is able to analyze multimodal discourse, which yet also needs to be further modified.

visual narrative; narrative multimodal discourse; Ji Mi; picture books

2016-11-01

安徽农业大学质量工程大规模在线课程：科技英语写作(2015-11)

刘晓华(1981-)，女，安徽合肥人，讲师，硕士，研究方向为功能文体学、语篇分析。

H030

A

1674-344X(2016)12-0005-06