多模态隐喻研究肇始：缘由与进路

孙 毅，唐 萍

（广东外语外贸大学 外国语言学及应用语言学研究中心；桂林理工大学 外国语学院）

一、引言

所有的话语均有一定的说服力，它能在受众目标中传达一种认知、情感或审美效果，或者三者兼而有之。但是如今，许多大众传播中纯言语或纯文本信息通常辅以其他符号系统的信息，甚至直接被其取代。无论是人们的日常交流还是大众传媒，都日渐呈现出多模态化的趋势。多模态话语领域广阔，包括多种形式的载体（纸张、胶片、录像带、位元和字节、石头、布料等）、模式（书面语、口语、视觉、声音、音乐、手势、气味、触觉等）和体裁（艺术、广告、说明书、电影等），其中许多还可以进一步分类。显而易见，多模态话语整体蓝图版幅宏大，单方向的研究未能穷尽其详（Kress & van Leeuwen，2001；Baldry & Thibault，2006；O’Halloran，2004）。相比之下，系统地追踪一个特定概念的表现形式将为我们分析多模态话语的其他方面提供了可借鉴的学术途径，如隐喻（metaphor）在不同的物质载体、模式和体裁中的表现形式。在符号学与认知语言学的启迪下，多模态话语领域的研究可以从跨学科隐喻学者的研究中获益。多模态隐喻研究融合了多模态话语分析和认知语言学的新兴观点，一方面，多模态隐喻研究学者认为，隐喻不仅是一种修辞方式，更是一种思考和思维的方式，多模态隐喻体现了人类基于身体和经验，利用视觉、听觉、触觉等多种感官系统，产生对世界多模态的感知与认识；另一方面，多模态隐喻研究强调隐喻认知背后所体现的文化、意识形态等，这需要借助话语分析领域的方法得以阐释。因此，多模态隐喻研究逐渐演化成一个炙手可热的、具有交叉学科性质的研究领域。

二、多模态隐喻概念及研究缘由

1 多模态隐喻概念厘定

要定义多模态隐喻，首先应该阐明“模态”的含义。从当代语言学发展角度来看，该词是英文modality的汉译，而且当今备受国内外学界关注的“多模态话语研究”之英文表述也是 multimodal discourse studies。但李战子（2003）最初引进multimodal一词时，将 modal引译为“模式”，这使其与为人熟知的另一英文术语mode发生重叠。目前术语mode和modality都在使用。模态概念界定的模糊性，是多模态隐喻研究必须要面对与解决的一个棘手问题。一般来说，模态被认为是由某特定感知过程产生的可解释性符号系统。这种研究视野将模态与人体五种感知系统一对一联系起来，因此有以下分类：（1）视觉感知模态（visual sense）；（2）听觉感知模态（auditory sense）；（3）嗅觉感知模态（olfactory sense）；（4）味觉感知模态（gustatory sense）；（5）触觉感知模态（haptic sense）。然而，该分类标准与界定过于粗糙，难以精细定位。例如，听觉模态将口语、音乐和非语言声音揉合在一起，同样书面语言和手势都是视觉的一部分。如果要公正地对待图像和手势之间，口语和书面语之间，口语、非语言声音和音乐之间的区别，则需要考虑其制作方式（如文字印刷与盲文刻印）或符号性质（如肢体符号与自然语言语法和词汇的规约符号）以及其他因素。

简而言之，现阶段对模态的定义无法做到尽善尽美，也无法对模态进行详尽地分类。暂且可以假定以下几种模态值得我们研究：（1）图形图像；（2）书写文字；（3）口头语言；（4）手语身势；（5）声响音乐；（6）视频融媒；（7）气味介质；（8）口感味蕾；（9）触动摸抚。总而言之，模态是不同社会文化语境下人们沟通交流与具身实践的符号资源和意义系统。在界定“模态”的基础上，Forceville（2006：384）把多模态隐喻定义为源域（source domain）和靶域（target domain），分别用或主要用不同的模态来呈现的隐喻。Forceville以一部动画电影中“猫是大象”的隐喻为例，设计师通过一只发出大象叫声的猫来构建这一隐喻。在这种情况下源域会被视觉触发，而靶域会被声音触发。因为该隐喻映射的实现方式分属视觉和听觉两种不同的模态，所以产生的是真正的多模态隐喻。这个新定义体现了Lakoff和Johnson（1980）的观点，即隐喻的出现并不局限于语言。同时该定义揭示了这样一种现象：隐喻思维可以通过构成不同组合的表征方式呈现。但上述定义略显狭隘，在实际分析中难以操作。广义的多模态隐喻是指两种或两种以上的模态共同参与建构的隐喻，本文采用的是多模态隐喻的广义界定。Forceville提出识解多模态隐喻的三个条件：第一，构建相似性所涉及的两个概念必须属于不同的范畴；第二，这两个概念应呈现靶域和源域，唤起“A是B”的范式（Forceville，2008：468），源域和靶域应该在一种或多种组合方式中具有可识别性，即视觉、声音、音乐、口语和书面语（Forceville，2007：20）；第三，这两个概念属于不同的符号系统和（或）感觉模式，如语言和视觉模式、语言模式和声音、镜头的某种蒙太奇和相机角度以及任何其他方式（Forceville，2008：469），这也是多模态隐喻特有的标准。

2 多模态隐喻研究缘由

2.1 纵向：概念隐喻从纯言语到多模态

多模态隐喻研究与当代隐喻学研究一脉相承。1980年，Lakoff和Johnson在合著的《我们赖以生存的隐喻》（Metaphors We Live By）一书中提出了概念隐喻理论，标志着隐喻研究从修辞范式到思维和认知范式的重大转变。他们指出，隐喻绝不仅仅活跃于传统修辞学和文学批评辖域，而是存在于日常生活的方方面面，是人类认知外部客观世界和内部主观世界的强大武器。经历了40年的发展，具有奠基意义的概念隐喻理论及其升级、优化的概念整合理论走向成熟，隐喻已彻底摆脱传统修辞学的窠臼，在真正意义上从屈居于附属地位的辞格升格为独立的认知科学门类（孙毅，2019：126）。自1993年Lakoff的《当代隐喻理论》（The Contemporary Theory of Metaphor）发表之后，在1994至2013年的20年间，11种外国语言学CSSCI来源期刊共计刊发以“隐喻”为标题的论文405篇（孙毅，2015：18）；在随后2014至2018年的五年间，16种外国语言学CSSCI来源期刊共计刊发以“隐喻”为标题的论文226篇（孙毅，2020a：51）。隐喻已经成为语言学界富有价值和意义的研究课题和研究领域，当代隐喻学发展方兴未艾。

概念隐喻理论（conceptual metaphor theory，CMT）被称为是一个非常富有成效的理论（如 Gibbs，1994；Johnson，1987，1993；Kövecses，1986，2000，2002；Lakoff，1987，1993；Lakoff & Johnson，1999；Lakoff & Turner，1989；Sweetser，1990）。根据概念隐喻理论，隐喻不仅仅是一种传统的话语修辞手段，还是一种具身认知思维方式，促使人们从一个概念域来理解另一个概念域。人们概念系统中的概念隐喻在很大程度上影响着他们在日常生活中如何感知、体认、思考、理解、推理和想象，而且“许多概念，尤其是抽象概念，都是用隐喻来构造和表达的”。CMT提出，许多社会文化生活现象的概念化都有根深蒂固的隐喻形式，隐喻的靶域是抽象的，源域是具体的。然而，CMT在某些方面还是无法脱离其局限性。尽管Lakoff和Johnson（1980：5）将隐喻的本质描述为用另一种事物来理解和体验一种事物，着重避免了“言语”（verbal）或“语言”这个词，CMT还是认为概念隐喻是否存在这一说法几乎完全取决于言语或语言中概念隐喻的可检测性。这一观点存在循环论证的风险：“认知语言学研究受到循环推理的影响，因为从它对语言的分析开始，推断出一些关于心灵和身体的东西，而这些东西反过来又激发了语言结构和行为的不同方面。”（Gibbs & Colston，1995：354）

概念隐喻理论建构之初，其适用研究对象主要为单模态隐喻。概念隐喻理论的拥护者认为：“隐喻不是一种修辞手段，而是一种思维方式”，这一观点同时也指向了一个重要推论（Lakoff，1993：210），即隐喻可以出现在语言之外的其他模态中。这是隐喻研究的必由之路，因为如果研究非语言隐喻或非纯粹的语言隐喻不能产生强有力的发现，那么Lakoff和Johnson提出的我们用隐喻来思考的假设就被破坏了。正如Forceville（2006）所指出的，概念隐喻理论迄今为止一直局限于语言维度。自从McLuhan（1964：24）提出媒介即信息（the medium is the message）以来，笔者发现一旦改变了传达信息的媒介，这个信息的内容意义也随之改变，这是一个不争的事实。每种媒介，即信息的物质载体（a material carrier）和信息传播介质（transmitter of information），通过一个或多个信号系统实现交互沟通。例如，非图画书籍的媒介完全依赖书面文字以及穿插其间的标点符码，电台广播则依赖口语、非语言声音和音乐，广告牌依存书面语言和视觉图像以及色彩灯光，视频影像借由文字字幕、静态/动态图像、音乐声响甚至虚拟仿真。如上文所述，这些符号系统（即模态）中的每一个都能独立地或组合地激活靶域和源域，所以说一个完整的隐喻理论就不能局限于其语言表现，否则会对隐喻构成的理解造成偏差。因此，一个完备的（认知）隐喻理论必须系统地研究非言语隐喻（non-verbal metaphor）和多模态隐喻。随着研究的深入，Forceville，Urios-Aparisi，Tay等学者提出，作为人类的一种基本认知方式，隐喻的体现形式应该是多样化的。他们结合日常交际中的实例，就多模态隐喻的概念、工作机制和认知特征展开了卓有成效的探索（如Forceville & Urios-Aparisi，2009）。解读和阐释集文字、声音、图像、颜色、空间等多模态元素于一体的多模态隐喻，成为了备受学界关注的重要课题之一（孙毅，2020b：30）。

2.2 横向：多模态语篇从视觉语法到多模态隐喻

多模态语篇分析的兴起与科技发展息息相关。进入后现代时期以来，数字科技飞速发展，各种多模态现象充斥着人们的生活，改变着人们表达意义的方式。多模态语篇分析是指对由多种模态或不同的符号系统等构成的复合语篇进行的分析。这些符号资源包括副语言特征（如语调、声响、字体大小等）和非言语行为（如手势、面部表情、姿势等）以及其他的表征形式（如电影、音乐、绘画、摄影等）。

多模态语篇分析以系统功能语言学理论为框架，把有关语言符号相关的理论拓展到其他符号资源。Halliday最初构建的系统功能语言学理论主要将语言作为分析对象，多模态语篇的分析方法继承了系统功能语言学中三大元功能理论，把概念功能、人际功能和语篇功能的意义构建推向一个更高、更广的符号学层面，如视觉图像（Kress & van Leeuwen，2006）、展览艺术（O’Toole，1994）、动作行为（Martinec，1998）、电影（Bateman & Schmidt，2011）、音乐（Zbikowski，2008）。其中对视觉图像的研究引起学者们的广泛关注，视觉语法（Kress & van Leeuwen，2006；O’Toole，1994；O’Halloran，2004）成为多模态语篇分析的主要路径。视觉语法将系统功能语法理论应用于图像，在概念、人际和语篇这三个功能语法的元功能基础上，创建以再现意义、互动意义、构图意义为核心内容的图像分析框架，再现意义对应功能语法中的概念功能，互动意义对应其人际功能，构图意义则对应其语篇功能，由此分析图像意义的建构与产生。但由于多模态语篇分析并不关注整体意义构建的动态操作和认知机制。如果要对多模态语篇的审美和劝谏功能进行阐释，以及对多模态语篇的认知机制进行解释，则需要聚焦不同模态对隐喻的识解作用。因此，多模态隐喻的研究是多模态语篇分析的横向延展。

三、多模态隐喻的特征及表征方式

1 多模态隐喻的特征概述

从已有的研究成果来看，多模态隐喻的特征可以概括为以下四个方面。

1.1 具体向具体的映射

经典的 CMT一直强调人类只有通过隐喻性地将抽象与具体结合起来，即与可感知的事物结合起来，才能抓住抽象。但同时我们不应该忘记隐喻也可以用具体的概念表达具体的事物。Lakoff和Turner（1989）亦意识到这一点，他们详细地讨论了伊丽莎白时代的“存在大链条”（Great Chain of Being）概念，该概念认可了天使、人类、鸟类、哺乳动物等各种生物的自然等级观念，并指出“大链条隐喻可以在与源域一样的大链条层面应用于靶域”。换言之，隐喻的源域和靶域都可以是感官直接感知到的。但由于 CMT强调用具体实物来表达抽象概念，这种可能性很少受到关注，然而，一旦离开纯粹的语言领域，“具体映射具体”隐喻就显得尤为重要。

多模态隐喻的靶域和源域都可能是具体的实体，因而衍生出一个重要变体——拟人化或拟物化。商品的拟人化或拟物化是一种非常熟悉的市场营销策略，并且与CMT观点有关（Lakoff & Turner，1989：72）。例如，在诸多商业广告中，隐喻性的靶域通常与促销的产品相吻合，所描绘出来的事物必然是具体的：优雅的手表被描绘成蝴蝶，贴身的泳衣被描绘成海豚紧致柔软的皮肤（Forceville，1996）。而无论靶域是人类还是手表、泳衣等具体事物，源域都倾向于选择生物体和动物。这一说法的合理性在于动物为映射异质特征提供了丰富的机会（蜗牛行动缓慢，孔雀骄傲而美丽），Black（1979）称之为含蓄的复杂体（implicative complexes），Gentner和Loewenstein（2002）称之为排列的结构（aligned structures）。由此可见，多模态隐喻和传统的概念隐喻最大的不同在于前者通过图片、声音、手势等多种模式相融合的方式，更具感官上的直接性，使得隐喻描述的对象不再局限于抽象概念。视觉隐喻和多模态隐喻因其感官上的直接性而更为具体。

1.2 受体裁的影响

文本（以任何媒介）呈现的体裁，或其归属的体裁，决定并限制其可能的诠释，其程度难以估计（Charteris-Black，2004；Forceville，1999，2005；Steen，1994）。因此，研究体裁如何影响多模态隐喻的产生和解释十分重要。

最受关注的体裁是广告。在广告中隐喻的靶域往往与宣传的产品一致（Forceville，1996）。这一观点的必然性在于一个广告对某个产品、品牌或服务的某些特性的肯定，完全符合隐喻中靶域是源域的表达式。此外，从源域映射到靶域的特征是积极的。艺术表现中的隐喻也可能与商业信息中的隐喻在某些方面有所不同。在商业广告中，很少会有关于隐喻的靶域和源域互换的问题，而艺术叙事可能会产生两种不同的隐喻解释：A是B，B是A，这两种都是恰当的。Carroll（1996）称这种隐喻为可逆性的（reversibility）。在艺术叙事中，与现象相关的隐喻都会被创作者凸显。这些现象可以是主角，也可以是物体，甚至是事件。与广告中的特征相比，艺术叙事映射的特征通常不那么清晰，并且可能具有更丰富的对齐结构（aligned structure）（Gentner & Loewenstein，2002），艺术语境中的隐喻可能比商业广告中的隐喻有更大的解释自由。图标或图徽（LOGO）中的隐喻介于商业和艺术之间。LOGO在人类长期社会交流实践中形成，是一种程序化的标识特定身份的视觉设计，易于辨别和识解，为受众提供更加有效、清晰和亲切的形象。LOGO的设计实现多模态共同作用，通常图像和文字符号呈现出象征和被象征的互动关系（孙毅、杨莞桐，2016：24）。

体裁影响的系统相关性是值得进一步研究的参数，主要体现在两个方面：其一是多模态隐喻的呈现方式与文本体裁的系统相关性，其二是源域和靶域模态的选择与文本体裁的系统相关性。以商业广告为例，商业广告的呈现方式中罕见MP2s（源域和靶域融为一体）类型，而商业广告通常使用视觉模态呈现靶域。

1.3 跨文化性

因为多模态隐喻不完全依赖于语言，所以更容易被来自不同文化背景的人理解。换言之，多模态隐喻比简单的言语隐喻更具跨文化性。例如，当提及一个国家的时候，最先想到的事物之一就是这个国家的国旗。孙毅和周婧（2016：2）运用概念隐喻理论和概念整合理论分析了异彩纷呈的世界多国国旗中的多模态现象，从国旗的颜色、图形等元素中挖掘出其背后的文化底蕴、宗教信仰等。虽然不同民族具有不同的文化，但对于某些基本概念如颜色、动物、天体等以及空间位置关系的认知大体相似，这使得多模态隐喻文本能够广泛传播并为大多数人理解。由此可见，多模态隐喻既是充分表达多民族、多文化特点的工具，同时又有利于消除不同民族之间的文化、宗教信仰等方面的隔阂，增进相互之间的理解。

1.4 激发情感

多模态沟通更有效地唤起追随者的潜意识反应，因此更有可能产生魅力品质（Charteris-Black，2011：1）。通过两种或两种以上模态的组合，可以传达出更全面、更具体的感性话语效果，使文本比单一的语言模态更具立体感和真实感。多模态隐喻在各种应用型语篇中的使用充分体现了多模态隐喻相比单模态隐喻在激发情感共鸣方面所具有的优势。例如，在广告语篇中使用与靶域（即某个商品、品牌或服务）特征相关的具体的源域图片或声音，更容易引导消费者产生关于某件商品的美好幻想，进而肯定该产品的质量并进行消费。在纪录片中，颜色隐喻的使用为整个记录片铺垫出一种或积极或压抑的情感基调，明量鲜艳的颜色代表着正能量或积极、乐观的态度，容易引起共鸣，令人心情愉悦；而灰色深暗的颜色则通常预示灾难、战争的来临或代表反道德的观念，使人产生敬畏或厌恶的情绪。由此可见，多模态隐喻因其对丰富多彩的多模态信息的融合使用，使得语篇的目标对象更容易调动多感官的体验，进而在内心产生更丰富的情感。

2 多模态隐喻的表征方式

由于非言语交际方式在定义上不具有是或似的含义，在给定的语境中，两个实体属于不同的范畴，那么这种相似性是通过什么样的表征方式触发的呢？当然这也适用于范例格式不是“A是（像）B”的言语隐喻（Goatly，1997）。但在后一种情况下无论选择何种手段，线索本身就是一种语言性质。在非言语隐喻和多模态隐喻中，暗示两种概念之间隐喻相似性的信号是不同的，并且必然会因隐喻术语的表达方式而不同，以下是一些单独或组合部署的可能方式。

一是知觉相似（perceptual resemblance）。这只能在单模态隐喻的情况下起到触发作用，只有视觉表征才能在感知上与另一种视觉表征相似，只有声音才能在音量、音色或音调上与另一种声音相似。在视觉相似的情况下有更大范围的选择，两个事物可以因为它们具有相同的大小、颜色、位置、姿势、质地、物质性等而彼此相似。需要注意的是，相似性不必存在于事物本身，也可以存在于它们的表征方式。例如，人们可能从不寻常的角度拍摄，或者用不寻常的摄像机拍摄。

二是意外填充图式插槽（filling a schematic slot unexpectedly）。把某一事物放入特定的语境中可能会强烈地甚至不可避免地触发另一事物，这种事物使语境更自然，符合人们的传统认知。换言之，我们可能会得到典型的格式塔（Gestalt）或图式的变体。例如，在2002年足球世界杯进行期间，有一幅漫画把地球绕太阳公转示意图中的太阳换成足球，足球意外填充了太阳的位置，形成了“足球是太阳”这一隐喻，让读者容易联想到，足球世界杯是最重要的体育赛事。

三是同步暗示（simultaneous cueing）。如果两个事物以不同的模态表达，那么隐喻识别就是通过同时显著地表达靶域和源域来实现的。或者在前一种机制的变体中两个完全不同的事物由于意外填充图式槽而相互联系起来。

四、多模态隐喻的言语化

在CMT范式中，大多数表层隐喻都应该遵循一个预先存在的A是B范式。为了讨论隐喻，这个A和B必须被命名，即用语言呈现。孙毅和周婧（2016：5）曾指出：“图像是文字主要内容的汇集与凝聚，使之更加生动形象。对于一些抽象的意象，图像又无法直白的表明，必须借以文字来清楚地表达。”因此，在分析和讨论图像隐喻以及多模态隐喻时，研究者就不得不求助于言语化。然而，习惯性地使用小型大写字母来描述表面隐喻下的图像图式结构，可能会掩盖一些事实，这会妨碍非（完全）语言性语篇的讨论。例如，在视觉话语中大小和空间维度在源域中的作用，比其在言语话语中更为明显，无论是在面对面的互动中，还是在动漫表征主人公行为的程式化变体中，手臂和手势都是具体化的动作，其隐喻性的利用传达了言语隐喻中难以传达的观点和情感，如“强是大的”（POWERFUL IS BIG）和“诚实是直的”（HONEST IS STRAIGHT）这两个隐喻。因此，将这些非语言隐喻和多模态隐喻“翻译”成语言隐喻充其量只能反映准概念（quasi-concept）（Bartsch，2002：50）。隐喻学者应该敏锐地意识到这一点，并反思选择一种多模态隐喻而不是另一种多模态隐喻可能带来的后果。多模态隐喻的语言简化表达暗示了一种明确性和精确性，而这种明确性和精确性在它们最初的非语言或多模态形式中很可能是不存在的。由于不同模态对事实、情感和审美效果的传达是不同的，多模态隐喻的使用者对特定模态的选择必然会影响其整体意义。一种模态呈现意义的潜力永远不可能完全“翻译”成另一种模态的潜力，有时二者之间是不可互译的。而非言语隐喻的解释是否需要观众在心理层面对其进行言语化的描述仍是一个悬而未决的问题。换言之，接收者在理解非言语隐喻或多模态隐喻时是否需要在心理上转化为言语隐喻？这是一个重要的问题，但很难进行实证检验。

五、多模态隐喻的理解过程

在分析多模态隐喻时，言语和隐喻视觉隐喻被错误地视为需要不同解释策略的不同现象。本文则认为，对语言隐喻和视觉隐喻的理解涉及到相似的心理过程。虽然对图像的感知明显不同于语言解码，但对视觉隐喻的理解也需要对概念信息进行调整——概念上传（理解过程的一个阶段），与言语隐喻的方式相同。因此，在多模态隐喻中视觉和语言输入的结合确实可以产生有趣的解释结果。这两种类型的隐喻（以及文本和图像结合的多模态隐喻）都由专门的心理模块解码（decoded），这些心理模块传递的图式信息必须经过推理才能得到预期的解释。下文以视觉隐喻为例，说明多模态隐喻的阐释过程。

1 感知（perception）：视觉与语言

处理视觉隐喻和处理言语隐喻主要的区别在于输入被传递到中央推理处理器（the central inferential processor）的方式。语言模块对语言字符串的无语境解码遵循Fodor（1983）的心理模块化（the modularity of mind）理论，它向中央推理处理器发送一个去语境化的语言信息串（the language module），以便在推理上丰富成一个完全语境化（最佳相关）的解释，该解释应该与说话人的预期解释相匹配。然而，视觉信息由另一个模块解码，即感知模块（the perceptual module）。感知模块和语言模块具有相似的特性。当适当类型的输入到达这些心理模块时，它们会自动被激活，并且两者都会产生脱离语境的证据，证明发送者想要传达一些与上下文无关的信息，然后通过丰富推理，以获得一个与语境相关的口头或视觉输入。

然而，尽管感知模块似乎已经参与了宾语和所指对象之间的一对一匹配，它还必须对它实际处理的视觉信息做出选择。具体来说，当读者识读一个视觉隐喻时，他们首先要感知图像，识别视觉输入。这是通过潜意识或无意识的比较来完成的，与先前存储的关于所描绘的一个或多个物体的视觉属性信息进行多向比较（McMahon，2003）。当图像被认为是有意识地传达给读者的，而不是简单的感性认识时，神经认知处理过程就超越了一步，进入了一个更具意识能动和推理活动的阐释阶段。我们拥有的原型参照物的这种心理存储由两种基本类型的信息组成，这两种信息通过随后的视觉感知不断更新和趋于稳定：（1）原型视觉所指物/所指（prototypical visual referent），包含视觉元素和属性的百科全书式条目，图像中描述的项目通常由这些元素和属性构成；（2）原型视觉语法（prototypical visual syntax），通常指与图像中描述的对象相关联的其他项。一般来说，如果图像中对象的视觉排列符合我们对这些对象的原型视觉语法的存储，则处理速度更快，这是一种先于并影响实际感知的视觉图式（ibid.：266）。例如，第31届奥林匹克运动会LOGO采用的原型是里约热内卢的地标——面包山。三个抽象人形手脚相连的形状以面包山为原型，各国人民在巴西相互拥抱，分享友谊，传递全人类相互帮助扶掖的信息。受众将对这一标识事物形成深刻印象，记忆持久，不易遗忘（孙毅、张俊龙，2015：322）。

一般来说，随着图像中属于原型视觉所指物的视觉特征数量的增加，其原型视觉语法与存储的模式相匹配，其处理的工作量也会相应减少。高度形象化的图像通常充满了与读者拥有的图像的原型视觉所指物相匹配的特征，但也可能有一少部分其他图像的原型特征，从而产生不同程度的象似性（iconicity）。

视觉感知具有自下而上（bottom-up）和自上而下（top-down）的特性。自下而上指读者从可用的视觉元素（格式塔理论所声称的）中构造并整合原型视觉所指物。自上而下指的是读者测试视觉输入时会与他们对原型视觉所指物的心理存储预期进行对照，这可能会影响对图像中所描绘对象的识别。感知模块利用了一个概念库，其中包含一系列视觉所指物，并且是主体通过对相似图像的后续视觉感知不断修正和更新形成的。知觉从来不是孤立的，过去接触物体会影响甚至限制未来的知觉。因此，每次对所指物相关联的物理对象或图片的感知，都有助于读者更新在其第一次感知时创建的原型视觉所指物。

2 特殊提示（ad hoc pointers）

从图像的纯粹的指示性解释（denotative interpretation）（通常是次注意）到隐喻的隐含性解释（connotative interpretation），推理加工负载发生了转移，其关键在于发现感知过程中存储的原型视觉所指物的激活与构成视觉隐喻的图像的实际视觉配置不匹配（Forceville，1996：115）。这种不协调被称为特殊提示（Yus，2005），意思是作者为了特定的交际目的而创造的一种特别的视觉安排或结构，其不一致性提醒读者此处需要某种隐含性的解释，尤其是隐喻的解释。这一观点要求我们在心智上做出更大努力，从一种下意识的视觉感知转变为一种需要专注推理的活动，以寻求从源图像到靶图像的正确隐喻映射。

当我们进入这一推理阶段时，读者有责任把握所要进行的隐喻性解释（或其个人解释），而图像的作者只能希望读者能够选择与图像和图像的视觉所指物相关的百科全书特征，以此选择合适的隐喻解释（Refaie，2003：81）。

诚然，图像偶尔也可能存在视觉歧义，导致很难得出图像的隐含性解释，但指示性解释也有效的。在没有明显的特殊提示的情况下，读者会根据纯指称性解释寻求一种最佳相关的解释，这将引导他们得出超越纯粹指称性解释之外的外延解释。一般来说，视觉隐喻被整合到其他话语中（广告中的图像、新闻中的漫画），读者知道这些图像是用来传达特定的、非指称的信息，因此在认知方面，他们不会满足于纯粹的指称层面。

3 视觉概念界面（visual-conceptual interface）

在检测到特殊提示后，图像的读者进入另一个解释阶段，即视觉概念界面，介于对图像的次注意感知和对图像的相关内涵（即隐喻）解释的完全推断之间。在此阶段，以最佳相关解释为目标的读者必须提出一些初步假设，这些假设涉及所描绘的图像与所存储的关于这些图像的所指物的百科全书（概念）信息之间的预期关系，这些信息大多具有定型性。简而言之，读者会问自己以下问题。

这两个意象在隐喻上有哪些联系？图片上都有吗？视觉隐喻是一种信息从一个图像到另一个图像的映射，我们分别称之为源图像（source image）和靶图像（target image）。通常两个图像都出现在图片中（要么融合交杂在一起，要么分离并置），但有时其中一个图像（通常是源图像）不存在。因此，在处理视觉隐喻时，有不同程度的心理加工，这取决于在隐喻的视觉结构中源图像和靶图像是否都被描绘出来，或者其中一个图像是不存在的，并且只能通过一个关于其原型参照物的百科全书信息的推理操作来获得图像。必须先分辨源图像和靶图像，即使两个图像都存在，它们也不总是清晰可辨的。

图像之间有什么样的视觉安排？图像本身的原型百科全书所指物是为了获得隐喻解释而进行推理调整的对象，还是图像代表了不同的百科全书所指物？笔者认为，视觉隐喻理解的过程与言语隐喻理解类似，涉及到对一个或多个图像的百科全书原型指称中存储或依附的概念信息进行获取和调整。因此，解释视觉隐喻还涉及大量的概念上传和调整，遵循一个以寻找关联为导向的标准。这意味着许多视觉隐喻都是原创的，它们通过一种不规则的视觉排列创造了隐喻联系，另一些则似乎锚定以前使用的言语隐喻，这些隐喻只是转移到一个视觉媒介，大部分存储为常规隐喻。在这些情况下，源图像的原型百科全书所指物的一个特定特征已经通过先前使用的言语手段变得突出，甚至视觉隐喻的产生仅仅是因为潜在的语言隐喻的存在，因为这能加速隐喻的概念评估。在某种程度上，言语隐喻也利用了视觉感官图式的概念库，这有助于隐喻的归因，以至于这些图像往往最终在语言中变得常规化，并被剥夺了它们的感官隐喻能力。

因此，许多隐喻充当着其意象图式中所包含的视觉感官信息传播的中介（Lakoff，1987），或者被漫画家广泛使用，以促使规约语言隐喻的再形象化（re-visualization of conventionalized verbal metaphors）。理解符合这一特征的漫画需要几个步骤：（1）最初，一幅图像比一系列编码选项更有效（即生动性），可以用来传达思想；（2）创建一个隐喻，该隐喻的意向图示中包含视觉感官信息；（3）隐喻的反复使用使它失去了感官的生动性，最终成为一种常规，人们不再把它当作隐喻；（4）漫画家将这个传统化的隐喻重新形象化，迫使读者将隐喻已经丢失的所有感官生动性重新融入到其推理过程与意义生成过程中。

例如，El Roto绘制的一幅卡通画，描绘了地球分裂成两半，南北半球之间有一个巨大的鸿沟。有人试图从南半球跳到北半球，但他们不可避免地陷入了巨大的鸿沟。这个隐喻可以说是“南北之间有一道深渊”，这一例子再现了上述步骤：（1）深渊的感官信息比其他编码选项更生动地传达A和B之间的深度和距离；（2）隐喻南北之间的差异是一个包含视觉感官信息的深渊；（3）隐喻最终变得规约化并失去其感官力量（人们在说出该隐喻时不再看到深渊）；（4）漫画家重新形象化隐喻中包含的信息，迫使读者观察图像图式因规约化而丧失的或者被遮蔽的感官特质。

总而言之，视觉隐喻的理解与言语隐喻的理解没有本质的区别，这两种隐喻都是由一个专门的心理模块（Fodor，1983）来解码的，该模块提供的图式信息必须经过推理加工，以获得预期的解释（最佳相关的解释）。对图像的去语境化感知是不足以甄别视觉隐喻的（图像的不一致作为特殊提示引导读者进行隐喻性解释），读者必须参与随后的解释步骤。在这个阶段，读者将在一系列视觉图片所指物中搜索并调整概念信息，进而生成适当的特殊概念。事实上，呈现给读者的编码信息的模式在隐喻推断的数量和质量上起着重要的作用。通常图片因其整体进行格式塔化的处理，对读者的影响更为强大，同时更利于传统概念的形象化。

六、多模态隐喻的批判旨趣

长期以来多模态话语研究多侧重认知理论层面的探讨，对其他方面挖掘的深度不够。事实上，话语者对模态的选择既是出于模态本身特性，也要基于历史、文化和现实的动因。因此，分析多模态隐喻的整体意义，决不能流于表面和形式，有必要再联系历史、文化、现实等其他宏观社会意义系统进行深层分析，探索其话语背后深远的蕴意内涵（孙毅，2012：46）。因此，多模态隐喻研究的概念释义、多重特征与表征方式、言语意识、复杂识解等，无不透显出强烈的批判意味。这主要体现在隐喻源域选择、隐喻逻辑选择、隐喻话语选择三个维度。

1 隐喻源域选择的批判性

概念隐喻理论指出，隐喻是从源域到靶域的系统化映射，体现的是心智层面上的概念化的过程。应用到多模态话语的修辞案例表明，源域的选择决定着基于图片得出的隐喻类型。例如，有些图片通过选择令人出乎意料的源域和反常规的视觉安排，创造新的相似性，提供看待某一事物的新视角，从而构建或重新构建社会认同。有些图片通过源域的文化内涵创建身份。因为有些隐喻可能不是建立在身体经验的基础上，而是建立在纯粹的文化考量和认知过程的基础上。文化内涵通过转喻与源域建立关联，再通过源域映现到靶域上。源域的选择和源域的文化内涵决定隐喻意义的形成。但更重要的是信息形式的说服力（如图片的相似度和尺寸大小）以及确定无凿的结论。这些都取决于修辞的选择，尤其是源域的策略选择，以及所提供问题的概念化和对问题的批判立场的视觉细节。因此，笔者认为，漫画中隐喻的解释很好地说明了隐喻形式在建立意义方面的普遍效力。

2 隐喻逻辑选择的批判性

概念隐喻在认知层面上的运作和在表层（surface level）隐喻表达中的双重性指引着研究者进行归纳推理（inductive reasoning），通过分析隐喻表达来推断潜在隐喻模型。在言语隐喻表达的情况下，要把推断出的概念隐喻用言语表达出来在一定程度上是因为受到表层言语形式的驱动。例如，一位公司高管在谈到他们的财务战略时说的“我们倡导与我们公司的DNA并行的投资”，这句话可以推断出隐喻“公司是有机体”。显然任何言语表达都反映了研究者对观察到的表达的解释，并反过来指导对相似短语的分析。在多模态隐喻中这种偏见会加剧，特别是当源域以非语言形式表达时。例如，一家公司用赛车的图片来表达其商业原则，由此推断出的概念隐喻应该是“X公司是一个赛车队”或“生意是一场比赛”。但是当在接力赛的情况下，隐喻的意义发生变化，赛车队预示着团队合作而不是竞争。更为复杂的是，其口头合作文本则实现了旅程隐喻，将商业原则作为指南针来指导旅程。鉴于这种复杂性，可以认为传统的A是B类型隐喻本身是有限的，隐喻推理应该被视为隐喻场景的一部分（Musolff，2006），具有不同的抽象层次和因果关系。在上述例子中这可能意味着“X公司是一个赛车队”和“生意是一场比赛”两个隐喻是并行的。由多模态隐喻触发的隐喻场景可能包括半隐喻成分，如“X公司提供更快的结果，并在竞争中脱颖而出”。由此可见，在进行概念隐喻的推理过程中会受到言语表层形式的驱动和限制，言语可能为隐喻推理提供一种新的不同的情境，进而在认知层面推导出不同的隐喻框架。

3 隐喻话语选择的批判性

在给定的话语中，特定概念或实体的结构化知识形式及其关联概念、评价和情感成分将优先于其他形式。随后由隐喻模型衍生出的隐喻表达及其评价成为该话语的典型模式。反复接触同一组隐喻表达，并以不同的方式加以扩展和阐述，可以被认为激活了它们背后的隐喻心理模式，从而加强了这一模式。根据心智模型（mental model），话语强化包括评价，也称道德化的活动（moralized activities），即“通过抽象术语来表示的活动，这些抽象术语提炼出一种触发正面或负面评价”（van Leeuwen& Wodak，1999：105）。某种模式能否在话语中脱颖而出，在一定程度上受话语参与者（制度）权力的影响。就企业品牌推广而言，当受众是员工时，企业拥有相当大的权力；而当受众是消费者时，他们的注意力、兴趣和金钱也拥有相对权力。消费者的这种相对权力使他们更倾向进行反解读，即愤世嫉俗地解构品牌的信息（Rumbo，2002）。根据批评话语分析中的社会认知传统（van Dijk，2005），隐喻因其双重性而被视为处于认知与话语的界面。它在话语中的选择性使用代表了一种意识形态上的既定策略，以塑造社会现实的模型，如呈现和灌输某些积极可取特征以外的特定特征。通过研究这种策略是如何通过多模态隐喻来实施的，将对多模态尤其是多模态隐喻的批判性研究作出贡献。

七、结语

社会发展日新月异，科学技术突飞猛进，传统意义上的人类交际模态的语言文字正在被迫让位于更加引人注意的齐集声光电于一身的多模态隐喻。多模态隐喻研究的学者基于认知隐喻和多模态话语两大研究路径，在以下四个方面作出了突出贡献。其一，言语隐喻与非言语隐喻的区别。言语隐喻的根本性特征在于其时间的单向排列性，从先往后，一字排开，先发生的先说；而非言语隐喻的区别性属性在于其复杂的空间组合性，有的置于中央，有的置于边缘，有的置于前景，有的置于背景，各种穿插设计，不一而足。其二，模态的概念界定和多模态隐喻识别条件。Forceville（2008）提出模态既与具身体验相关，又与不同社会文化语境相联，不同的模态代表着不同的符号资源，并在模态概念基础之上提出识别多模态的三大条件（Forceville，Tan & Hekkert，2006；Forceville，2008）。这为多模态隐喻之后的研究设定了框架，指明了方向。其三，多模态隐喻的特征和表征方式。多模态隐喻研究所发现的多模态隐喻的特征，如具体映射具体、体裁的影响、跨文化性、激发情感等揭示了隐喻的动态建构，更丰富地表达了隐喻的文化性和叙事性。其四，多模态隐喻的理解过程。有助于完善概念隐喻理论体系，并在探索人类的思维方式及认知机制方面提供了更充实的证据。

由于多模态隐喻研究是从单一的言语媒介向多个符号层面延伸，与经典言语隐喻研究相比，多模态隐喻研究也面临着一些挑战。其中最大的挑战是多模态隐喻的言语化，多模态隐喻翻译成A是B范式后，其充其量只能反映一种近似概念，存在主观性，甚至产生歧义。另外，大多数多模态隐喻的研究是从认知角度出发，容易流于表面和形式。因此，有必要从批评话语分析的视角探索其话语背后深远的蕴意内涵。总之，学者倘若试图用言语隐喻的理论和认识简单粗暴地扣设、套用在其他模态的隐喻之上，削足适履，其结果必然是失败的。唯有在认知隐喻的语言性判断的基础上，充分结合和倚重美术学、设计学、计算机科学等邻近相关学科，统筹观察，整合考量，才能一方面穷尽性地甄别、提取所有精心设计的多模态隐喻实例，另一方面令人信服地阐释这些以空间性为本的隐喻背后的深层含义和意识形态。作为新鲜事物的多模态隐喻无论作为社会产物还是研究对象都是方兴未艾的产品，很多方面都是一片蓝海，亟待多方开发研究。