多模态转喻与图像语篇意义建构*

冯德正　赵秀凤

(香港理工大学，香港 999077；中国石油大学，北京 257061)

1　引言

自《图像隐喻》(Forceville 1996)发表以来，多模态隐喻研究迅速形成理论体系，成为认知隐喻理论与多模态语篇分析发展的热点之一。相比之下，多模态转喻研究大多关注个别语篇中转喻现象的阐释(Forceville 2009，Yu 2009，Moya 2013，赵秀凤 李晓巍 2014)以及隐喻与转喻的互动关系(Urios-Aparisi 2009，赵秀凤 苏会艳 2010，王佳 2014)。迄今为止，学界尚未提出具有普遍意义的理论模型阐释多模态转喻的分类与构建。Feng(2017)借助Kress和van Leeuwen(2006)的视觉语法框架详细论述指涉转喻和意义转喻，但其理论框架仍有很多局限，需要进一步完善。首先，他没有建立全面的多模态转喻分类体系，其框架没有讨论符号转喻这一重要类型；其次，就指涉转喻而言，提出基于再现意义过程类型的转喻框架，具有浓重的系统功能色彩；第三，就意义转喻而言，Feng(2017)虽然借助评价理论，但只考察图像中人物的表征，并未讨论“鉴赏”这一态度意义的重要组成部分。

认知语言学家认为，转喻具有重要的认知功能, 甚至可以视为比隐喻更为基本的一种普遍认知方式(Radden, Kovecses 1999：18；陈新仁 2008：85)。同隐喻一样，转喻作为一种思维和认知方式，体现形式既可以是语言，也可以是图像、手势和声音等其他模态符号。因此，阐释概念转喻在视觉图像等多模态语篇中的实现方式是认知视角的转喻研究和符号学视角的多模态语篇分析的当务之急(Forceville 2009：56)。王天翼和甘霖将多模态转喻定义为“通过图像、声音和文字等多种模态中的部分信息代替整体、部分信息代替部分或整体信息代替部分的一种转喻机制”，但并没有对多模态转喻进行详细分类(王天翼 甘霖 2015：84)。基于认知语言学的转喻理论和视觉图像理论，本文提出系统阐释多模态转喻分类与建构的理论框架。

2　基于符号本体的多模态转喻分类

与概念隐喻的跨域映射不同，概念转喻是在同一知识域中的映射。Lakoff将这种有组织的概念结构知识域称为理想化认知模型(Idealized Cognitive Model, ICM)(Lakoff 1987:68)。概念转喻操作于认知模型内部不同的范畴之间，是用一个范畴去激活另一个范畴的认知过程(程琪龙 2010:1)。根据语义三角理论的符号本体三分法(Ogden, Richards 1923:11)，亦即符号形式、概念和客观事物，Radden和Kovecses提出指涉、符号和概念3种认知模型，分别构成指涉转喻(refe-rence metonymy)、符号转喻(sign metonymy)和意义转喻(concept metonymy)(Radden, Kovecses 1999:23)。指涉转喻指符号形式(或符号形式与意义)指代客观事物(如“白宫”一词指代现实中的建筑)，符号转喻指符号形式指代符号意义(如“白宫”一词的字音词形代表白宫这一概念)，意义转喻指两个概念之间的通达关系(例如“白宫”这一概念指代“美国政府”)，分别对应图1中的虚线箭头(详细介绍见程琪龙 2010，本文不再赘述)。认知语言学者主要关注第三类，即ICM内产生转喻的邻近概念关系。例如，Radden和Kovecses(1999:30)区分ICM的整体和局部之间的关系(即整体—局部关系)与ICM内各局部之间的关系，如原因—结果关系，物体—所有者关系，地点—机构关系等；Blank以框架理论和图景(scenario)理论为基础, 把转喻的邻近性概括为两种: 同现性(co-pre-sence)和连续性(succession)(Blank 1999)。

就符号形式而言，Radden和Kovecses只关注语言，而符号形式还包括视觉图像、手势和声音等(Radden, Kovecses 1999)。这些符号形式在建构意义的过程中体现为多模态转喻，因此，我们可以将图1作为多模态转喻分类的总体框架。当然，在具体分析某类多模态转喻(如图像转喻和手势转喻等)时，我们须要建立更详细的理论框架，根据该模态符号的特性阐释其实现概念转喻的工作机制。本文关注概念转喻在视觉图像(主要是静态图像)中的表征。根据图1，我们可以区分以下3类转喻：指涉转喻：图像符号代表客观事物(图1中①过程)；符号转喻：图像符号形式代表符号意义(图1中②过程)；意义转喻：图像意义A代表图像意义B(图1中③过程)。

图1　基于符号本体的转喻分类(Feng 2017)

下文，我们将主要在视觉语法框架内(Kress, van Leeuwen 2006)，分别阐释这3类转喻的视觉图像建构。关于指涉转喻，我们提出视觉图像对现实的表征是不完整的，体现“部分代整体”这一转喻关系。我们将建立系统网络，详细阐释图像表征的“不完整性”。关于符号转喻，我们提出图像的意义，即视觉语法中的再现意义、人际意义与构图意义的建构，是转喻性的。也就是说，图像形式和图像意义之间的关系(即图像语法的内容)是基于人类认知模型中相关范畴的转喻映射。关于意义转喻，我们提出视觉图像的再现意义可以转喻态度意义。借助Martin和White的评价系统，阐释情感、评判和鉴赏3类态度意义在视觉图像中的转喻建构(Martin, White 2005)。须指出，这3类转喻并不是平行的类别，而是存在层级互动关系。也就是说，任何图像都是先通过指涉转喻表征现实，再通过符号转喻建构意义，最后有些图像可能通过意义转喻引发更深层次的意义。

3　指涉转喻：图像表征的不完整性

视觉符号以象似性为基础，其意义源自对客观事物的模仿，而这种模仿并不完整，因为二维图像无法复制三维现实。因此，“部分—整体”转喻是图像表征现实的基本特征(Feng 2017)。我们拟提出阐释静态图像和动态图像表征不完整性的理论框架。该框架与Feng(2017)从不同视角阐释同一现象。如前文所述， Feng(2017)提出的视觉转喻框架是基于系统功能理论中再现意义的过程类型，即动作过程，分类过程与分析过程。然而，将不同的转喻生硬地纳入到过程类型框架存在许多问题。例如，将事件片段转喻事件整体归为动作过程，将取景距离与拍摄视角归为分析过程与Kress和van Leeuwen (2006：87-104)所定义的过程类型不一致，容易造成概念混乱。同时，这一框架对非系统功能语言学者而言过于抽象，难以理解。因此，我们提出基于时间与空间两个维度的不完整性框架，如图2所示。

在空间维度上，我们区分“局部转喻整体”与“部分细节转喻全部细节”两种表征方式。就“局部转喻整体”而言，以人像为例，视觉图像首先可以选择不同的取景距离表征全身、半身和面部等不同的“局部”；其次，作者可以选择不同的视角，表征正面、背面和侧面等“局部”。在表1中，(c)选择上身(中近景)正面表征，而(d)选择面部(近景)正面表征。就“部分细节转喻全部细节”而言，视觉图像可以选择最接近现实，即包含最多细节的自然表征(如高清彩色照片)，也可以选择包含较少自然细节的抽象表征(如人物速写)。但这两种表征方式并非截然不同，而是一个渐变的过程(如从黑白照片到X光照片)，因此在图2中用斜中括号表示。在表1示例中，从(a)到(d)，图像包含的自然细节逐渐增加，从抽象表征过渡到自然表征。选择不同的“局部”可以产生不同的意义与社会功能，反映不同的交际目的(Kress 2010:70)。取景距离和拍摄视角的选择产生互动意义，而自然取向和抽象取向的选择建构情态意义。这种符号意义我们将在下文详细论述。

表1图像风格与情感介入示例

事件表征除空间局部性外，还包括时间上的不完整性。由于现实中的事件总是连续的，视觉图像只可能表达其在某一时间段内或时间点上的状态。如Norrick所指出的，很多传统油画和雕塑都暗含这样的转喻思想，即我们可以通过刻画一个有代表性的瞬间来表征整个事件(Norrick 1981:53-54)。在图2的系统中，无剪辑录像可以最完整地表征某一事件(如一场会议的录像)，而动作/事件快照(如会议过程中所拍摄的照片)只表征事件在某一时间点上的瞬间状态，如表1中(c)表征的只是该场景中的一个瞬间。在这两者之间则是电影和漫画等视觉叙事中的镜头/画面组合。以电影为例，每一个镜头都表征某一时间片段，然后这些镜头被剪辑、连接成为电影。认知视角的电影研究关注观众如何通过零碎的事件片段，激活记忆中的认知图式，从而推断出完整的事件(Bordwell 1985，Carroll 1996)。

图2　指涉转喻：图像表征的不完整性

4　符号转喻与图像意义建构

Kress和van Leeuwen(2006)建立的视觉语法的主要问题是缺乏认知理据(冯德正 邢春燕 2011：58)。也就是说，我们如何知道某一视觉符号形式(如拍摄角度和位置关系)具有某种符号学意义(如图像—观众互动关系和信息价值)。冯德正和邢春燕提出将图像空间关系的意义视为空间隐喻映射，为部分图像意义的来源建立认知理据(同上：59)。本文中我们提出图像的再现意义、人际意义、构图意义与图像形式之间的关系是基于人类经验基础的转喻映射。也就是说，图像形式转喻图像意义，形成符号转喻，如图3所示。与“隐喻说”相比，“转喻说”探讨更基本的意义表征方式，能更全面的阐释图像建构意义的符号机制。

图3　符号转喻：图像意义的转喻建构

在视觉语法框架内，再现意义指图像将客观事物表征为叙事过程和概念过程。叙事过程主要包括动作和语言等动态事件，而概念过程构建更持久的状态或更概括的事实及其关系，如分类过程(隶属关系)和分析过程(部分—整体关系)(Kress, van Leeuwen 2006：45-104)。首先，就叙事过程而言，静态图像无法像视频录像一样复制动作与声音，很多情况下只能通过“矢量”的方向性代表整个动作。例如，表1(c)图中，左侧人物举起手形成一个朝马方向的矢量，表征“抚摸”这一动作过程。同时，上方的话语泡下面的小三角指向该人物，建构另一个矢量，代表话语过程。其次，就概念过程而言，一方面，跟语言的明确分类不同(如“A是B的一种”)，视觉图像中分类过程通常靠参与者之间的关系转喻实现，即同类别从属者之间的等同需要通过对称的构图实现，如距离相等、大小一致和排列方式相同等(李战子 2003：4)。另一方面，图像同样无法明确表征“A是B的一部分”这种命题，读者只能通过空间元素的结合程度解读它们是否属于一个整体。

人际意义包括互动意义与情态意义(Kress, van Leeuwen 2006：114-174)。互动意义指读者与图像之间的互动关系，包括距离与地位关系；根据Painter等(2013:30-35)，我们将情态意义定义为作者设定的读者与图像人物的情感关系。互动意义由拍摄角度与取景距离转喻建构。以近景拍摄为例(如表1(d)所示)，近景拍摄(表征较近身体距离)建构亲近的社会/情感距离是因为二者具有连续关系，也就是说，情感距离往往与身体距离成正比。因此，我们可以用近景拍摄转喻象征性的社会/情感距离(该类关系进而形成隐喻)。情态意义，即读者被允许的情感介入程度由图像细节程度转喻建构。二者之间也存在因果连续体关系：细节越丰富、越接近现实的图像越让读者感到亲近，也越容易引发他们的情感投入。Painter等区分介入与异化两种表征方式：前者指读者与图中人物存在情感关系，作者希望吸引读者的情感；后者中读者没有情感投入，而是以客观的、批评性的态度阅读(如抽象图表等)(Painter et al. 2013：30-35) 。例如，表1中(a)图与(d)图都传达“开心”这一情感：(a)为异化风格，包含最少细节，建构的情感介入最弱，而(d)为介入风格，包含最多细节，建构最强情感介入，最容易引发观众情感。

构图意义主要指视觉图像中各种元素的布局与位置关系建构的信息价值与信息关系。信息价值由不同元素的空间位置转喻建构，包括左侧与右侧分别建构已知与新信息，上方与下方分别建构理想与现实信息等。空间位置与信息价值之间的转喻映射也是基于人类经验中两者的相关性。就左右方位而言，由于绝大多数文化中，人们阅读是从左到右的，因此，左侧信息首先得到大脑处理成为已知信息；就上下方位而言，我们的经验中，位置高的事物一般是理想化的，难以企及的，而低的东西更可及，更真实。此外，不同元素之间的语义关系由它们的空间连接程度转喻建构。这种映射关系是基于人类认知模型中具体的空间关系和抽象的语义关系之间的关联。根据Kress和van Leeuwen(2006：203)的研究，如果两个元素都被框定(framed)，那么它们应被解读为两个同类但无语义互动的信息，如表2(a)；如果两个元素互相分开，但没有被框架分隔，它们应被解读为互相联系的两个信息，如表2(b)；如果两个元素融合在一起或通过矢量连接，那么它们应被解读为同一个信息结构内的两个组成部分，如表2(c)中人物将汽车戴在手臂上)。

表2图像元素连接程度示例

5　意义转喻：图像再现意义与隐含态度意义

认知语言学者主要关注意义转喻，即认知模型内相近概念之间的映射(Blank 1999; Radden, Kovecses 1999)。但是，他们提出的转喻关系只是基于语言意义，例如“白宫”一词表达的意义代表美国政府(地点转喻机构)，“眼镜”一词表达的意义代表戴眼镜的人(物品转喻所有者)等。我们将这种意义转喻关系扩展到视觉图像建构的意义，着重考察图像表征的显性的再现意义与隐含的态度意义之间的转喻关系。态度意义包括情感(态度主体内心的感觉)、判定(态度主体对他人行为的评判)和鉴赏(态度主体对事物的评价)(Martin, White 2005:42-91)。

图4态度认知模型与态度意义视觉表征

本文提出结合认知心理学中的认知评价理论，阐释态度意义的视觉表征。根据认知评价理论，情感与态度由主体对外界事物的认知诱发，并进一步诱发主体的行为表达(Frijda 1986:4)。例如，“愤怒”是由他人不公正的行为引发，在我们内心产生一种负面情感并通过语言、表情和动作等行为反应表达。因此，诱发条件、内心态度和行为表达这3个阶段构成一个认知模型或态度图式(schema)，如图4所示。冯德正和亓玉杰(2014)提出基于该认知模型的态度表征框架，但没有指出这种表征的转喻本质。我们认为，由于视觉图像无法直接表征内心态度，通过表征诱发条件或行为表达间接建构的态度意义是态度认知模型内的转喻映射，由图像再现意义建构，如图4所示。根据这一思想，赵秀凤和李晓巍(2014)阐释绘本中情感意义的视觉转喻建构。Feng(2017)详细讨论再现意义的动作过程、反应过程、分类过程和分析过程转喻人物情感与人物特征的理据。在此基础上，本文提出全面阐释态度意义建构的综合框架，如图5所示。

图5　态度意义的视觉转喻建构

在该框架内，情感意义由诱发情感的事件/事物或情感行为转喻建构。诱发条件通过听觉、视觉和触觉影响我们的认知机制，从而产生情感；在媒体表征上，视觉诱因由图像或书面语言构建(如我们因看到猛兽而恐惧，看到虐待儿童的新闻而气愤等)，听觉诱因由声音(主要是话语)构建(如我们听到好消息而高兴，听到见义勇为的事迹而赞赏等)，触觉诱因主要由图像构建(如在电影中某角色因碰到某东西而惊恐、兴奋等)(冯德正 亓玉杰 2014：590)。情感表达的主要视觉资源是面部表情，但也包括其他肢体行为。在表3中，(a1)与(a2)是电影中的两个镜头，(a1)为诱发条件，(a2)为行为表达，二者同时建构人物心中的恐惧，并引发读者的恐惧情感。广告图片经常使用这种情感表征方式建构产品效果，实现劝说功能。如表3(a3)中，该人物的表情建构正面情感，而这一情感是由高露洁牙膏引发，从而转喻建构该产品的功效(即对产品的“鉴赏”)。

判定指人们按照社会标准对人物行为、品格的评价，包括能力和品德等。同情感一样，我们无法在图像中直接建构判定意义，而只能通过表征人物的行为(动作过程)与外表特征(分析过程)等诱发条件间接建构(Feng 2017)。例如，如果我们要用图像来表达乐于助人/善良这一态度，只能通过引发这一态度的行为，如扶老人过马路(见表3(b1))等。在广告图片中，设计者经常使用动作过程或分析过程(如人物的衣着)建构人物身份，引发正面评判。例如，在表3(b2)的广告中，图中人物的制服建构“医生”身份，而这一身份引发读者“专业、可信”等评判，使其话语更有说服力。

表3态度意义的视觉表征示例

鉴赏指对具体或抽象事物的特征与性质的态度，包括反应(如是否吸引人的注意与兴趣)、结构(如是否完整、匀称等)与价值判断(如是否珍贵、有效、货真价实等)。同情感与判定一样，视觉图像也无法表征事物的内在属性，而只能通过表征事物的外部特征或事物导致的结果引发读者的评价。例如，表3(c1)图片通过桔子上的绿叶这一外部特征表达“新鲜”这一鉴赏属性，而(c2)图片用刀具导致的结果建构该刀具的“锋利”属性。用产品引发的结果转喻建构对产品价值的评价是广告常用的语篇策略。例如，表3(a3)图片中通过主人公的笑容和亮白的牙齿引发观众对该产品效果的正面评价。这种策略不是直接宣扬产品功效，不但避免虚假宣传，而且提供视觉证据，使产品效果更加可信。

6　结束语

作为概念转喻理论和多模态研究的新发展，多模态转喻的类型和建构方式都需要系统的理论探讨。本文基于符号学理论将多模态转喻分为指涉转喻、符号转喻与意义转喻3种类型。我们提出视觉图像意义建构的转喻本质，并在社会符号学视觉语法的框架内探讨上述3类转喻在图像意义建构中的体现。就指涉转喻而言，我们建立系统网络，详细阐释图像表征的“不完整性”；就符号转喻而言，我们提出图像形式和图像意义之间的关系(即图像语法的内容)是基于人类认知模型中相关范畴的转喻映射；就意义转喻而言，我们提出视觉图像的再现意义可以转喻态度意义，并借助Martin和White的评价系统，阐释情感、评判和鉴赏3类态度意义在视觉图像中的转喻建构。

本文建立系统的视觉转喻框架，为多模态语篇分析提供又一理论工具；同时提出视觉意义建构的转喻本质，为阐释视觉语法与图像意义建构提供新的认知理据。展望未来发展，研究者一方面应探讨概念转喻在手势和声音等其他符号资源中的体现以及多模态符号在转喻建构过程中的复杂互动关系，另一方面应开展基于多模态语料库的实证研究，验证、发展多模态转喻理论。

陈新仁. 转喻指称的认知语用阐释[J]. 外语学刊, 2008 (2).

程琪龙. 转喻种种[J]. 外语教学, 2010 (3).

冯德正亓玉杰. 态度意义的多模态建构：基于认知评价理论的分析模式[J]. 现代外语, 2014(4).

冯德正邢春燕. 空间隐喻与多模态意义建构[J]. 外国语, 2011(3).

李战子. 多模式语法的社会符号学分析[J]. 外语研究, 2003(5).

王佳. 政治漫画多模态隐喻和转喻的互动方式研究[J]. 北京科技大学学报(社会科学版), 2014(6).

王天翼甘 霖. 后现代哲学视野中的多模态认知研究[J]. 外语学刊, 2015(4).

赵秀凤李晓巍. 认知诗学视域下“情绪”的多模态转喻构建[J]. 北京科技大学学报(社会科学版), 2014(6).

赵秀凤苏会艳. 多模态隐喻性语篇意义的认知构建——多模态转喻和隐喻互动下的整合[J]. 北京科技大学学报(社会科学版), 2010(4).

Blank, A. Co-presence and Succession: A Cognitive Typology of Metonymy[A]. In: Panther, K. U., Radden, G.(Eds.),MetonymyinLanguageandThought[C]. Amsterdam: John Benjamins, 1999.

Bordwell, D.NarrationintheFictionFilm[M]. Madison: University of Wisconsin Press, 1985.

Carroll, N.TheorizingtheMovingImage[M]. Cambridge: Cambridge University Press, 1996.

Feng, D. Metonymy and Visual Representation: Towards a Social Semiotic Framework of Visual Metonymy[J].VisualCommunication, 2017 (forthcoming).

Forceville, C.PictorialMetaphorinAdvertising[M]. London: Routledge, 1996.

Forceville, C. Metonymy in Visual and Audiovisual Discourse[A]. In: Ventola, E., Moya, A.(Eds.),TheWorldToldandtheWorldShown:MultisemioticIssues[C]. New York: Palgrave Macmillan, 2009.

Frijda, N.TheEmotions[M]. Cambridge: Cambridge University Press, 1986.

Kress, G., van Leeuwen, T.ReadingImages:TheGrammarofVisualDesign[M]. London: Routledge, 2006.

Lakoff, G.Women,FireandDangerousThings[M]. Chicago: University of Chicago Press, 1987.

Martin, J. R., White, P.TheLanguageofEvaluation[M]. New York: Palgrave Macmillan, 2005.

Moya, A. Visual Metonymy in Children’s Picture Books[J].ReviewofCognitiveLinguistics, 2013(2).

Norrick, N.R.SemioticPrinciplesinSemanticTheory[M]. Amsterdam: John Benjamins, 1981.

Ogden, C.K., Richards, I.A.TheMeaningofMeaning[M]. London: Ark Paperbacks, 1923.

Painter, C., Martin, J.R., Unsworth, L.ReadingVisualNarratives:ImageAnalysisofChildren’sPictureBooks[M]. London: Equinox, 2013.

Radden, G., Kovecses, Z. Towards a Theory of Metonymy[A]. In: Panther, K.U., Radden, G.(Eds.),Meto-nymyinLanguageandThought[C]. Amsterdam: John Benjamins, 1999.

Urios-Aparisi, E. Interaction of Multimodal Metaphor and Metonymy in TV Commercials[A]. In: Forceville, C., Urios-Aparisi, E.(Eds.),MultimodalMetaphor[C]. Berlin: Mouton de Gruyter, 2009.

Yu, N. Nonverbal and Multimodal Manifestations of Metaphors and Metonymies[A]. In: Forceville, C., Urios-Aparisi, E.(Eds.),MultimodalMetaphor[C]. Berlin: Mouton de Gruyter, 2009.