视觉语法视域下绘本语篇多模态隐喻的意义建构*

滕 达 苗兴伟

(大庆师范学院，大庆 163712；北京师范大学，北京 100875)

提 要：多模态隐喻在儿童绘本语篇中的建构是一个动态发展的过程。本文基于视觉语法的3大元功能理论，同时结合源自体验哲学的认知概念，以儿童绘本语篇为语料，印证多模态隐喻的建构分析有利于突出绘本语篇主题的作用。视觉语法视域下对儿童绘本语篇的多模态隐喻研究从功能角度揭示多模态隐喻的运作机制和意义表达，为认知视角的隐喻分析提供研究框架，也拓宽功能视域下对多模态隐喻研究的语类范畴。

1 引言

随着“互联网+”时代的到来，各种印刷、影像和数字媒体技术的发展日新月异。全球进入到多视角、多维度、多模态的多元识读时代。“多模态隐喻研究迅速形成理论体系，成为认知隐喻理论与多模态语篇分析发展的热点之一。”(冯德正 赵秀凤 2017：8)多模态指运用多种感觉、通过多种手段和符号资源进行交际的现象。Kövecses认为隐喻的实现形式可以是非语言的其他交际符号，如手势或图像等(Kövecses 2002:57)。那么形成隐喻映射的目标域和源域出现两种或两种以上的交际符号时，就可以被认为是多模态隐喻。多模态隐喻有广义和狭义之分。本文采用广义的概念，定义为有两种或以上模态共同参与的隐喻形式。“多模态隐喻研究的兴起可以归于以下3个方面的因素：一是认知语言学领域内纯语言隐喻研究之不足；二是由多模态交际手段的普及所引发的多模态语篇研究转向；三是人文科学的跨学科研究趋势。”(赵秀凤 2011:2)

目前，对多模态隐喻的研究主要从认知语言学层面探讨隐喻的识别和解读。荷兰学者Forceville(1996)最早将纯语言学领域的概念隐喻引入到跨学科多模态领域，他从视觉的角度探讨广告中的图片隐喻，开辟视觉隐喻研究的先河。视觉隐喻研究不断发展，逐步扩展到广告(Messaris 1997，Phillips 2003:297-310，Forceville 2007:19-51)、漫画(Morrison 1992:35-52)、绘画(Kennedy 1997:2-5)、手势语(Cienki, Muller 2008)、音乐(Forceville 2004:65-78)和电影(Whittock 1990)等语类。研究内容涉及多模态隐喻的相似性表征方式和隐转喻关系，以及多模态隐喻的语类特征及其动态性、叙事性和鲜活性等区别性特征(Forceville, Urios-Aparisi 2009)。国内研究从认知角度分为理论研究和具体应用研究。理论方面主要为概括性评述多模态隐喻的认知研究(赵秀凤 2011：1-10)及探讨多模态视角下隐喻义的构建与理解(谢竞贤2011：49-52，侯瑞攀 赵秀凤 2010:5-9)。具体应用研究方面，通过不同语类的研究探讨多模态隐喻的识别、解读和构成方法(侯瑞攀 赵秀凤 2010:5-9)；隐转喻关系及其动态建构和源域的文化内涵问题(刘福英 2012：87-89)。从系统功能层面对多模态隐喻的研究主要涉及两个方面，一是基于视觉语法理论阐释多模态隐喻的建构和分类并建立隐喻系统，将视觉语法结合叙述理论对语篇进行多模态分析(冯德正 2011:24-29，亓玉洁 冯德正 2014:8-13，刘纯 2016:52-56)。二是系统功能语言学结合认知语言学视角，形成有效连接和互补，分析多模态语篇(张德禄 郭恩华 2013:20-28，吴安萍 钟守满 2014:23-28)。从系统功能层面对多模态隐喻的研究主要把基于语言符号学发展起来的理论进一步应用到多模态隐喻领域。这类研究为数不多，研究语类仅限于广告和漫画。

综上可见，多模态隐喻研究在研究内容上侧重理论综述性研究。研究视角方面，认知语言学层面成果丰富，但不能从抽象层面有效识解多模态隐喻的动态建构机制(冯德正 2011:24-29)。多模态隐喻的研究大多以广告、漫画为主要题材，缺乏语类多维性和学科互补性。本文从系统功能的视角出发，选取儿童绘本为语料，以Kress和van Leeuwen(2006)的视觉语法为理论基础，结合认知语言学的观点，研究绘本语篇中多模态隐喻动态建构过程并加以实例分析，尝试找出系统功能视角下多模态隐喻建构存在的问题，挖掘多模态隐喻分析对绘本主题的正向作用。

2 视觉语法的图像隐喻理论

语言作为精密的符号系统，其生命价值的获取在于意义的交换，而文化正是这一精密系统的外在表现形式。基于Halliday(2008)的社会符号学观点，语言的元功能在系统功能语言学范式内分为概念意义、人际意义和语篇意义。Kress和van Leeuwen(1996，2006)延伸和拓展元功能理论，将其运用到视觉模态层面，创建视觉语法。它属于社会符号学领域的一环。任何社会符号语言的概念在于意象，即意象制作。它将意象视为象征物即意义的动机性连接。在符号语言学中，动机与意象制作无关，但被定义为象征物与被象征物原本存在的关系。Kress和van Leeuwen认为视觉设计和所有符号语言模式一样，有3种主要功能。一是概念功能，就是表现我们周围与内在世界的功能；二是人际功能，就是让社会互动成为社会关系的功能。三是语篇功能，即所有的信息实体构成语篇尝试着表达内在意义连贯的世界。因此我们从视觉多模态角度探讨视觉层面的意义识解，即再现功能。通过视觉传达我们能为彼此做些什么以及视觉内容制作者与观看者之间的关系，即互动功能。同时，我们探讨内容构成功能，即意象复合的能力。它使形成的内容与其背景和目的彼此连贯。视觉的表现传达形成一种成为内容意义的方式，即构图功能(Kress，van Leeuwen 2006:15)。它们分别对应功能语言学中的概念意义、人际意义和语篇意义。

冯德正(2011)根据Kress和van Leeuwen的系统功能视觉语法设计理论，建构图像隐喻的系统功能模式。系统功能语法中的概念意义是参与者、过程和环境的组合关系及其相互选择，即其中任意常规要素被非常规要素替代的过程形成隐喻。图像中的隐喻也同样是目标域(本体)和源域(喻体)被非常规要素替代的过程，形成再现意义的隐喻潜势。互动意义就是图像和其它视觉模式可以体现制作者、观察者和所代表物体之间的特定社会关系。也就是说，拍摄方式就是互动意义的资源。图像参与度和象征性权力关系由拍摄角度构建，读者—图像的象征性社会距离由拍摄距离构建。任意物质符号拥有人类从其物质经验衍生出来的意义潜势。基于人类的生活体验和认知基础，视觉空间位置同样具有隐喻潜势。Kress和van Leeuwen指出构图意义通过信息价值、显著性和框架设计元素与再现意义和互动意义有效连接形成一个系统(Kress, van Leeuwen 2006:177)。他们在信息价值中区分3个维度——上下、左右、中心—边缘。人类的生活经验将上下左右等空间位置赋予象征性意义。“从认知角度看，拍摄位置与空间位置都可以成为方位隐喻的源域，而它们所构建的读者图像关系与信息价值则为目标域。”(冯德正 2011：56-61)

3 绘本语篇的多模态隐喻识解及分析

绘本的概念起源于日本早期的文学表达形式——风俗画、版画。德川幕府时代的浮世绘是最早的绘本。后来“绘本”一词英译成Picture Books，即“图画书”。绘本于21世纪初引入国内，传统的绘本是集图文于一体的、静态的二元模式。绘本语篇内容丰富，从叙事层面分为图画故事、文字故事及图文故事。同时，绘本语篇的色彩选取、构图的方位及绘本与阅读者之间的情感互动都可以成为多模态隐喻的研究范畴。绘本不仅仅体现文字的育人价值、图画的美学价值和图文的设计价值，同时还有语言学层面的多模态语篇分析价值。本研究选取英国著名绘画大师安东尼·布朗的作品《我爸爸》作为研究实例，从视觉语法理论的再现意义、互动意义和构图意义3个方面分析绘本语篇中的多模态隐喻，探讨多模态隐喻的构成机制及图像隐喻对突出绘本主题的积极作用。

3.1 再现功能分析与隐喻建构

图像的再现功能分为叙事再现和概念再现。Kress 和 van Leeuwen (1996)指出两者存在差异。叙事再现指由一个矢量(vector)使参与者之间相连，代表正在做某事或参与者正在彼此作用。矢量的参与是叙事过程的显著特点。叙事过程再现图像中展开的动作和事件及变化过程。图像中转变性空间安排的表达也通过叙事过程表现。在图片中这些矢量由描绘部分形成，这些部分形成一条斜线，往往是对角线。当然，在图片中表现元素也可以转变成动作的对角线。如果结构呈现叙事性再现就一定具有如下特征：没有方向指标的连接线形成一种分析结构，代表某物与另一物相连、相结合或相关。叙述性过程中有媒介性参与可以分为动作过程、反应过程、言语过程和心理过程(Kress，van Leeuwen 2006:79)。而概念再现指表现参与者比较广泛或稳定，无时间限制的本质、等级、结构或者意义，它是“一种概括、稳定和没有时间限制的精华再现参与者”(韦琴红 2008:16-21)。它分为分类过程、分析过程和象征过程。分类过程是表达种属之间的连接关系；分析过程是通过部分与整体连接参与者的关系；象征过程是有关参与者的意义或身份。

表1 动作者替代

对于再现意义的隐喻识解，本文以叙事过程中的动作过程和概念过程为例。动作过程包括参与者、过程和环境(媒介、场所)。隐喻的产生就是某一过程要素被非常规要素替代。这样常规要素就是源域，非常规要素成为目标域。那么参与者、过程和环境都可能被非常规要素替代，从而赋予相似的特性，实现隐喻的效果。绘本《我爸爸》中动作过程的隐喻如表1所示。图例1中的爸爸变成一个超级棒的跳高运动员，能够从月亮上跨过去。很明显爸爸技能的建构是借用跳高运动员的技能。跳高运动员是常规要素，非常规要素——爸爸充当跳高运动员的角色。图例2中的爸爸变成杂技演员，能够走高空绳索。同样，爸爸作为目标域，杂技演员是源域，映射项是杂技演员的勇敢。图例3中的爸爸在与大力士摔跤。通过动作过程，将力气大这一映射项映射到目标域爸爸身上。通过隐喻的再现，我们看到孩子眼中的爸爸是勇敢的、力大无比的。爸爸有勇气和自信，敢于挑战强者。虽然我们知道爸爸不能跨过月亮，不能走高空绳索，不能像大力士一样摔跤，但是图画隐喻将勇气、胆量和力量这些特质凸显在动作者爸爸身上，赋予孩子心中的爸爸以神奇的力量，强大、勇敢、有安全感。

根据冯德正的观点，分类过程可产生两种隐喻。第一，在常规成员的类别中植入某一实体A，该实体为非常规成员，纳入常规成员中。在此分类过程中，常规成员实体 B 成为源域，实体A为目标域，B的显著特征被映射到A上。绘本《我爸爸》中有这样一幅画面。世界著名歌唱家同台表演，左边是多明戈，右边是帕瓦罗蒂。穿着大睡衣的爸爸站在其中，爸爸成为歌唱家中的非常规要素。歌唱家的显著特征映射到爸爸身上，爸爸具备唱歌好、表现力强的特征。第二种图像隐喻是“从属者之间的等同需要通过对称的构图实现，从属者之间距离相等，大小一致，排列方式相同等”(冯德正 2011：56-61)。图像中目标实体和原实体并置。原实体在某方面具有常规的象征意义，通过构图方式使目标实体获得同原实体一样的象征意义，使该实体获得隐喻映射，其特征得以凸显。《我爸爸》中有一幅图片描述爸爸穿着大睡衣，双腿叉开，双手叉着腰，站在一座大房子前。身体和房子呈前后并置。故事中房子的象征意义是高大，爸爸作为实体获得原实体房子的象征意义，凸显爸爸身材高大威猛的特征，形成图像隐喻。

分析过程构建整体和部分的关系。隐喻映射分为两种。第一种在原有实体上进行部分替代，不改变整体。整体映射部分的隐喻特征。第二种在原有实体上附加部分实体，即非常规项，形成隐喻映射。这两种情况都能构建隐喻。 绘本《我爸爸》中的一幅图描述爸爸穿着睡衣坐在餐桌前，手里拿着刀叉。桌子上放着满满一盘的食物。爸爸的头被马的头替代。因此，图片中非常规部分马的头替代常规部分的位置，从而常规部分获得马的显著特性，强壮、食量大。通过图片隐喻，读者感受到爸爸如同马一样强壮。

象征性过程分为象征意义和象征提示。象征意义有两个参与者，一个参与者的意义身份建立在关系或携带者上，形成映射。例如绘本中的一幅图。爸爸端着一杯咖啡安静祥和地坐在桌前。图像的背景是一面暖色调的墙。墙上挂着一幅有关太阳的画，属于象征意义。在象征属性过程中，人类参与者通常会面向读者。他们展现的姿势无法解释为叙事性过程，唯一的目的是展现给读者。图片中有两个参与者，爸爸和墙上的画。墙上挂画中的太阳，是爸爸的象征意义。源域是太阳，目标域是爸爸，形成隐喻映射。爸爸像太阳一样温暖，包容一切，阳光开朗。象征提示过程只有一个参与者，即携带者。这类过程不能被解释为分析过程。在这类图画中不强调细节，突出所谓的情景或气氛。《我爸爸》绘本中的前后扉页都以爸爸的睡衣为画面。睡衣的图案是橘色的条纹格子，整个画面属于暖色系，睡衣本身也就是爸爸的象征。作者以睡衣图案作为前后扉页，一是纪念父亲，二是突出绘本的主题。睡衣和爸爸之间是一种隐喻映射。睡衣象征温暖的情感，表明爸爸的爱无处不在。

3.2 互动功能分析与隐喻建构

视觉语法中的人际意义就是互动意义。就是图像制作者和观看者之间的互动。涉及两个参与者：被表现参与者(图像中描述的人物、地点和事物)和互动参与者(图像的观看者和制作者，通过图像彼此相互沟通的参与者)。同时，互动意义涉及3种关系：(1)被表现参与者间的关系；(2)互动参与者和被表现参与者之间的关系；(3)互动参与者间的关系。互动参与者就是图像制作者，以不同的方式规约图像该如何表达意义，表达什么意义。(Kress, van Leeuwen 2006:114)

绘本作者与读者之间没有直接互动。绝大部分阅读者不能目睹作者创作整个作品的过程，对作者背后的创作意图模糊不清。《我爸爸》中爸爸是穿着睡衣、微微发胖的形象。很多读者会有疑问：爸爸为什么在各种场景下都穿着那件大睡衣。原来作者16岁时父亲已去世，这件大睡衣是父亲留给作者的唯一物品。作者出于对父亲的怀念，创作每一幅图画时，图中的爸爸都要穿着这件睡衣。由此可见，读者只看到图画本身。创作者和读者在认知方式、知识储备和语境构成方面都存在差异。图像是一种代表社会互动与社会关系的再现，在视觉语法层面互动意义的表达分为接触、社会距离和态度(同上 2006:149)。冯德正建立的互动意义的隐喻潜势以社会距离和态度中的主观映像为概念基础。首先，图像镜头距离的远近判定图像中再现参与者与观看者之间的社会距离。近距离表现私人关系，中距离表现社会关系，远距离则表示陌生人间的关系。无论是恒久的社会关系还是社会互动间维持的关系都取决于背景的社会关系。人们保持的距离都取决于人与人之间的社会关系，而距离的模式可以成为视觉类别中的规范。根据Hall的观点，从拍摄角度来看，身体距离和人的情感距离成正相关(Hall 1969:113-129)。第二，从态度方面来看，态度的主观影像取决于选用某些镜头的大小和角度，来表达对再现参与者的态度。水平角度表现图画观看者参与到图画中来，是正面关系。倾斜角度表达分离关系，表达对图像的不关心。低角度常给人一种优越、意气风发胜利的印象；高角度降低个体，似乎让他看起来好像陷入无法战胜的宿命论中。如果从高角度来看被表现参与者，那么互动参与者对被表现参与者有权利；如果采用低角度，则是被表现参与者对互动参与者有权利；如果水平角度则不涉及权利关系。

表2 图像中互动意义关系表达(Kress 2006:148)

冯德正在构建互动意义和构图意义的隐喻潜势时，明确指出拍摄位置构建的默认价值是图像与读者的关系，但Kress和van Leeuwen只是基于对语料的观察分析，从符号学的角度去描述空间关系的意义，对此问题的探讨缺乏一定的认知理据(冯德正 2011:27)。因此，他从体验哲学的认知视角出发，在经验基础上建构拍摄位置与图像的隐喻模式。

《我爸爸》中有这样一幅图片。爸爸坐在桌子前，面带微笑，手中握着一杯温暖的咖啡。图像以正面角度、近距离呈现。爸爸的目光映射在观看者的身上，形成有效互动，建立较为亲密的关系。观看者参与到画面中，体会到父亲的慈爱。图像中的近距离、正面、水平视角形成的图像互动意义映射出爸爸的形象。爸爸是可亲可爱的，温暖的。在另一幅图片中，爸爸在跑道上同世界冠军一起赛跑。爸爸跑在最前面。图像同样以正面角度呈现，观看者也会融入到图画中，感受到赛事的激烈。爸爸的目光再次投向观看者，这样被参与者与图像中的爸爸形成互动。此外，图像是近距离呈现，隐喻亲近的社会关系。同时采用低角度的视角，隐喻爸爸的高大形象，也暗示爸爸的权威性。读者阅读后，父亲的伟岸形象会根植于心。

3.3 构图功能分析与隐喻建构

构图意义将互动性和表现性元素整合成一个有意义的整体。主要通过信息价值、比重和框架这3种相关系统来体现。信息价值指图像中的元素在图像中不同区域的安排，分为左右、上下、中心和边缘，从而获得特定的信息价值。比重则是图像创造者如何设计元素来吸引观看者。图像中元素设计可通过相对大小、色调值对比，清晰度差异和安排在前景或背景等方式来表现。框架指表达象征图像中的元素在某方面是否彼此相属。往往通过利用分割线和实际的框架线条连接或者切断图像中的元素来表达。图像构图意义的隐喻潜势是以信息价值为基础，左边代表已知信息，右边代表新信息；在图像结构中，放在上方的代表理想，放在下方的代表实际，中心代表重要部分而边缘代表非重要信息。这样基于经验基础，空间位置与信息价值之间形成3个次映射。

3.31 左右构图隐喻

阅读方向可能具体反映出深植的文化价值观体系，但这类方向性是所有文化符号语言的来源(Kress，van Leeuwen 2006:192)。人类的阅读路径是由左向右，图像资源也是如此。图像中构图的安排似乎是无意识所为，实际上有明显的规律性，其背后有着深层意义。图像的构图能够将这种深奥的形而上转换成符号系统。例如图像中的“左”代表已知和“右”代表全新，指这类系统具有稳定永续但又不断生产以及静态保守且一直保持动态与创新的特性，能制作出全新复杂且无限变化的意义。虽然我们可以用文字来表达，但是只有视觉图像更能表达转变和转换，从而形成空间隐喻。在《我爸爸》中有一幅图片是爸爸与一位舞蹈演员翩翩起舞。舞蹈演员在图像的左侧为已知信息。演员在舞台上表演不会令观看者感到惊讶和不寻常。根据阅读路径，观看者会在右侧看到新信息，爸爸也在翩翩起舞。凸显出爸爸无所不能的形象，爸爸真的很棒。空间隐喻使爸爸的形象更加突出，在观看者的心中留下更深的印记。

3.32 上下构图隐喻

就上下方位而言，我们借用概念隐喻的理论。Lakoff 和 Johnson(1980:15-17)从方位隐喻的角度系统研究英语中“上/下”的隐喻义。一切好的、健康的、有价值的都是在“上”的含义中得以映射，而坏的、悲伤的、少的和无价值的都是方位中“下”的隐喻映射。那么，基于人的经验和认知，在视觉图像中上方位表示的是理想的、好的、希望达到的目的，而下方位传达的是一种实际、现实状况，这样就形成隐喻的映射。同样在前面提到表1中的图例1，爸爸能从月亮上跨过去。爸爸跨过月亮的动作出现在图像的上方，表达爸爸能跳得很高，属于一种理想。那么在图片的下方我们会看到一些亮着灯的房子、看家的小狗。这都属于我们生活的现实状态。同时，在图片下方，作者创作出一只装着勺子的碗。碗的下面画着爸爸的两条长腿。这里更加明显地看出碗和勺的寓意是养家糊口，承担家庭责任，而两条腿代表爸爸。这就是爸爸的现实角色。这一空间隐喻的形成也是人的自然认知过程——从左到右、从上到下的阅读路径。让观看者很容易抓住图片的主题，突出爸爸不可替代的一家之主的形象。

3.33 中心—边缘构图隐喻

中心—边缘这一空间隐喻有具体的经验基础。首先，人类的本体就是一个由多部分构成的两轴相对的整体，存在中心和边缘之分。人体常常被认为是一个内外两部分合成的容器，内在的是中心部分，是重要的。生活中人们往往将重要的东西放置于中间或容器的中央，此外人体重要器官也在身体内部(Goatly 2007:40)。这构成人类认知的经验基础。在绘本《我爸爸》中有一幅图片，爸爸与大力士摔跤。爸爸和大力士在中心位置，图片的边缘呈现出观众的画面。图片凸显爸爸和大力士的重要性，而边缘画面可以作为背景来衬托中心位置。结尾最后一幅图片的中心位置是爸爸抱着儿时的作者，边缘处是散射的光，如同时间隧道，隐喻爱的永恒和无限。中心部分凸显出父爱的力量是伟大的，也是永恒的。读者会深刻感受到父爱的温暖，从而突出绘本语篇的主题。

4 结束语

本文分析视觉语法意义中的隐喻潜势，并以绘本语篇为语料进行实例分析，论述多模态隐喻的动态建构机制及意义表征，提出概念再现中的象征隐喻建构。研究借助认知视角，分析在互动意义和构图意义功能下的多模态隐喻建构和意义表达。研究也进一步印证功能语言学为多模态隐喻的建构提供理论模型，同时指出在多模态隐喻识解过程中须要以认知和体验为基础。此外，本文以儿童绘本语篇为实例分析，拓宽功能视域下对多模态隐喻研究的语类范畴，在促进对儿童绘本深度理解的同时证实多模态隐喻对突出绘本主题的重要作用，也为儿童绘本语篇的研究提供有效路径。