形式、编码与赋意：论多模态隐喻的具身表征

王小平，王 军

(苏州大学 外国语学院，江苏 苏州 215006)

一、引言

隐喻是人类思维的基本结构[1-2]，可帮助人们认知及加工复杂、抽象或不可见的概念。基于知觉格式塔和意象图式，隐喻不仅是符号层面上两个实体的类比，从更深的层面来讲，它建立在概念映射(即将一个认知域的某一知觉特征投射到一个不同认知域的知觉及认知特征)的基础之上[3]。有学者指出，隐喻的概念性特征决定了隐喻性图式不应只体现于语言系统，也必须适用于视觉及其他非语言符号资源[4]。Fahlenbrach认为，新闻、广告等不同媒体调用图片、声音和语言等不同符号资源的组合进行策略性“推销”的过程中，可利用概念隐喻以一种反射性的方式在具身格式塔(embodied gestalt) 中传达复杂含义，但他对此未加详述，给后续研究留下不少探讨空间[5]。目前概念隐喻在多模态领域的融合性研究仍主要集中于多模态隐喻在广告[6-7]、海报[8]、电影及电视节目[9-10]、漫画[11-12]等语类的应用探索，主要关注其在不同语类中的类型、表征方式以及语篇机制等，对多模态隐喻的本体性问题则关注不够。近年来，虽然有学者开始这一方面的研究，尝试探索视听媒体中审美体验与动态图像意义[13]、感官与知觉隐喻[14-15]之间的关系等问题，但从研究对象来看，他们主要关注动态多模态隐喻，对于静态多模态隐喻的研究则不多见；从理论视角来看，这些研究主要基于具身认知理论，但分析视角往往忽视隐喻表征的多维性。

事实上，隐喻本体的表征作为一个复杂的认知过程，至少涉及语言表达和概念层两个不同层次[16]，然而，概念层面的体验图式必须基于具体场景下的涉身体验进行识解，换言之，形式表达和概念内容两个层面需要认知场景连接。因而，隐喻表征可至少从语言表达层、概念内容层以及认知场景三个不同层面来阐释，就多模态隐喻而言，语言层可置换为形式表达层。对应以上三个层面，本文将探索具身视角下在多模态隐喻本体的表征，主要回答以下三个问题：第一，知觉体验在多模态隐喻表征中的作用是什么？第二，多模态形式下，隐喻如何实现符号编码？第三，不同场景下多模态隐喻的符号意义如何实现？

二、知觉仿拟：多模态隐喻的形式表征与概念识解

具身认知认为，认知主体与认知对象互动所获得的知觉体验通过感官通达认知系统，在此基础上形成对事物或概念的认识。从知觉体验的角度来看，不少概念，无论抽象或具体，都基于具体或直接的感官体验而得到建构。例如，“观点”作为一个抽象概念可以被认为很“模糊”，也可以“振聋发聩”；一件棘手的事情可以被喻为“烫手的山芋”；而毫无感情的话语则可被称为“冷言冷语”等。这些隐喻性表达之所以可以成立，主要是“由于概念表征和身体体验享有共同的神经基础，因此对概念的加工会激活相应的身体经验”[17]。换言之，在对特定事物进行概念化的过程中，人们可以通过知觉来“仿拟”对应的感知状态，或者说，对概念的理解与认知是一种体验过程，是感知经验的再现。值得注意的是，概念的建构通常基于多重感官渠道[18]，例如，在接触“玫瑰花”这一事物时，人们会接收到多种知觉刺激，如玫瑰花的花型(视觉)、颜色(视觉)、香气(嗅觉)、尖刺(触觉)等，这些对应不同身体知觉的属性实际上构成了主体对“玫瑰花”这一概念的复合知觉建构。人们在通过隐喻性思维对两个不同概念进行识别、分类和认知的过程中，需要再次激活当初建构某一概念所诉诸的多元知觉[19]。换言之，隐喻的实现需要通过对源域概念的多元知觉特征进行表征，以激活认知的仿拟过程，进而确立其与目标域的相似性。

知觉仿拟虽然广泛存在于概念隐喻及多模态隐喻中，然而它在两者中的实现方式却存在较大差异。对概念隐喻来说，无论涉及几种知觉体验，都只能以文字描述的方式间接表征相关概念的知觉特征。例如，《红楼梦》中有一句有关“玫瑰花”隐喻的描写：“三姑娘的诨名叫‘玫瑰花’，又红又香，无人不爱的，只是刺戳手。”这一句话虽然试图以文字描述玫瑰花的视觉、嗅觉以及触觉特征，却无法再现不同感官的知觉特征。在多模态语篇中，知觉系统则可由不同的表征模态直接呈现。作为一种“利用感知过程可阐释的符号”[20]，多模态隐喻的类比过程可直接诉诸这些感官模态仿拟相关概念的知觉特征，因而更容易激活认知主体对相关概念或事物的体验性图式。

知觉仿拟的优势及其认知效果之一在于“形象”的塑造。由于构成元素比文字更加丰富多元，模态在多模态语篇中的具体参数分别对应大小、形状、颜色等不同的概念属性，因此，多模态表达形式可塑造比文字表述更为生动的隐喻意象或形象。如一幅以“中美贸易争端”为主题的漫画，漫画中巨龙和工人分别代表着中国和美国。从形式来看，漫画分别突显了“龙”与“工人”不同的知觉特征：巨大的身体、火红鳞片、口喷烈火等突显了“龙”的威胁性；“工人”却被塑造为一个身材矮小，神情呆滞无奈，身体在逐渐消融的弱者形象。综合对比两者形象发现，“龙”相对于“工人”处于强势地位，这映射了漫画作者所要塑造的隐喻性关系，即“中国占据绝对优势地位”，借此渲染“中国威胁论”。这表明，在塑造概念或表征形象的过程中，多模态隐喻可通过设置并突显相应的知觉特征来影响隐喻内容的认知及解读方向，因为知觉不仅简单记录外部世界及其已然安排好的构造形式，而且参与到世界的主动构建中，这一过程中的世界早已被赋予意义并处于意向性当中[21]。换言之，知觉表征的世界并非是对客观世界的还原式反映，相反，其表征过程本身携带并表达了特定意义及其背后的意向性态度或立场。

对于施喻者来说，理想状态是其意向性通过隐喻对认知主体产生直接影响，并促使他们按照前者的意向性来解读。由于源域与目标域概念的多维性，施喻者的意向性在相当程度上决定了隐喻所突显的相似性。多模态隐喻可通过模态的形式组织功能仿拟两个概念域之间的相似性，进而影响多模态隐喻的识解方向。根据操作方式上存在的差异，多模态隐喻相似性的表征模式可分为两种情况：一类基于知觉相似性，即诉诸多模态表征将两个及以上的物体并列呈现，直接塑造源域和目标域的相似性，以此达到仿拟的认知效果，引导隐喻的发生方向。这类相似性的组织方式最为基础，可用于塑造隐喻中的概念实体，例如，漫画中“中国龙”的形象在塑造的过程中所使用的身体形状、颜色、鳞片、肉翅等都是西方文化中“dragon”形象的要素，这可为西方观者人为地建立其与“Dragon”的相似性，进而达到扭曲中国形象的目的。另一类基于关系的相似性，这一方式通过源域和目标域概念间的关系或者在完成步骤上的类似来引导认知主体的解读方向。再以此漫画为例，整幅漫画所着意突显的中美两国在经济上不平等关系是通过“龙”和“工人”在视觉上的不平等关系实现的，具体表现为两者在体量的“大”与“小”、视角的“俯视”与“仰视”、位置关系的“上”与“下”三个不同方面的显著对比，两概念域间在关系上的内在相似性由此得到表达与突显。

简言之，感官模态诉诸一定的表征方式及时空组织原则塑造概念外在形式上的知觉突显或者程序相似性来引导或加强主体对信息内容本身的关注，进而促成对多模态隐喻的定向识解，正如朱璟所言，“感官将人的注意力直接导向自己身体的快适感受，并因此让人对刺激物的‘质料’本身进行判断”[22]。更确切地说，这些参数所形成的合力对多模态隐喻认知表征及解读的方向形成了反拨作用，透过概念外在特征的塑造引导了多模态隐喻的识解方向。

三、取象赋形：隐喻义的符号编码

符号本质上指的是表意过程中可有效替代另一种概念或事物的物体[23]，而隐喻的基本运作机制则是通过一种事物或经验来体验或理解另一种事物或经验，某种程度上也内隐着替代性的意涵，从这个意义上讲，事物或概念在不同隐喻表达中使用的固化也可被视为一种符号化。具身认知理论认为，认知内容源于身体格式(body format)或身体内容，隐喻的符号化编码也概莫能外。人们将身体的结构、活动等投射到认知的事物或周围世界，通过体验赋予认知对象意义，正如欧阳灿灿所说，“对事物的理解是身体在理解，意义也是由身体确定的意义”[24]。这一符号实践方式由来已久，早在原始社会，人类祖先已开始逐渐习得利用身体的涂画装饰以及巫祝舞蹈等身体活动传递特定的意义及文化意涵，这些“以身言事”的行为，在使用过程中被逐渐图式化，固有意义逐步脱离本体及其旧有的所指对象，演变为由表层结构和具体的使用语境所决定的符号，并在不同场景中建构或指向不同的意义或主题。随着现代社会的生活形态的变化，身体符号的这一编码方式体现为更为多元的形式和更加广泛的适用范围。由文字达意的文学，由颜色及块面组合构筑的图画，由音符及旋律所演绎的音乐，以及集文字、声音、颜色、图像等为一体的动态影像，无不诉诸身体符号系统及其象征意义架构思想框架及主题意涵。文学作品和日常语言中不乏此类运用身体意象模拟物体形态对“它象”进行塑造和表现的表征模式，诸如在“泉眼”“电子眼”“台风眼”等隐喻性表达中，“眼”本义作为人体的视觉器官，实际上已成为一种可用于表征不同概念的符号编码。这种由此及彼，通过“身体”来类比和模拟的认知过程可称之为身体的符号化，其具体的操作方式可称之为“取象赋形”，即利用身体及其活动表达客观事物的形貌特征[25]。值得注意的是，“取象”与“赋形”是一个联动性操作，“取象”更像选材的过程，涉及从身体及相关活动上选取合适的内容，而“赋形”则更像组合过程，将不同来源的内容或特征融于本体之中，两者的特征决定了前者更注重范围，后者更注重方式。虽然从本质上来讲，多模态语境下身体符号的认知过程依然遵循“取象赋形”的基本原则，然而归因于其显著的知觉性特征及其附随的意义潜势，无论是“取象”范围还是“赋形”方式都较文字语篇中的身体符号形式更为多元，也因此而具有相当的特异性。

从取象范围来看，相较于概念隐喻，多模态隐喻的符号编码过程虽然仍以“具象事物”为主要取象范畴。不过，由于在呈现方式上可诉诸多元知觉，并充分调用形状、颜色、方位和大小等不同参数对基于身体构造及器官所形成身体图式进行拟态呈现，因而在多模态隐喻之中，认知对象的知觉性特征可以得到充分地刻画与彰显。除此之外，基于知觉化表征的时空组织功能，多模态隐喻的“取象”范围也拓展到特定身体动作或活动中的程式性特征。多数情况下，动作或活动本身与认知对象并不存在外在形象的相似，然而，前者的可重复性及周期性决定了在经历重复性的刻写之后，它可成为特定文化社团内部的一种身体符号，因而可以激活并突显概念间的关系或者完成某一事件步骤上的相似性，实现其意指的实质内涵。例如，西方婚仪中的一个经典场景是以婚礼进行曲为背景，新人依偎着走过红毯，而一则食品广告则将这一幕移植进入广告场景，“玉米”与“豌豆”虽然在形象上与新人并不相似，但两者在“婚礼进行曲”背景下依偎在一起的画面成功地指向了“玉米和豌豆是一对新人”的隐喻，进而可突显两者在食品原料中是完美的结合。可见，认知思维虽然以身体为基础，却又在此基础上超越自身，可将各种类型的活动都纳入身体的架构来理解，这赋予其建构的能产性与象征性。

从赋形的方式来看，基于文字的线性规则，文本语篇中的“赋形”过程只能按照时间先后顺序进行描述，无法完全用语言精确而具体地塑造隐喻意象的知觉呈现，以“在她深红而微黑的嘴唇上闪着一点光，好像一只油亮的甲虫”[26]为例，“甲虫”除了“油亮的”这一定语之外，并不能得到更为清晰的呈现，赋形的结果只是在语言上将一个意象引向另外一个意象。然而这一劣势在多模态隐喻的表征过程中似乎并不存在，这在某种程度上同样归功于诉诸知觉化的表征形式。每一类模态基于自身特点，具有不同的意义潜势。以图像模态为例，其符号逻辑兼具时间性与空间性[27]，具有较强的时空组织功能，可在同一框架内共时呈现多种元素，因而隐喻意象可诉诸不同模态参数同时为主体所感知。然而，选择哪些元素进行呈现以及它们以何种组合方式得到呈现，则是一个深具选择性与创造性的过程。一方面，身体特征早已超越了身体本身的生理意义，而是一种承载象征意义的符号，选择不同的符号进行赋形，对隐喻象征义的表达会产生不同的影响；另一方面，感官模态的时空组织性赋予身体符号同时接纳多“象”之形的能力，即同一身体符号可在仿拟过程中同时融合来自不同本体的特征或要素。例如，在对“龙”这一意象进行“赋形”操作的过程中，在原有“龙”的文化本体之上，又同时引入了西方“龙”意象中的肉翅等不同要素，这些元素的共时呈现，实现了利用西方“火龙”之象，赋“中国龙”之形。在此情况下，此处的“中国龙”形象显然已超越了“龙”固有的指涉内容，而被赋予西方文化中“dragon”所附带的邪恶、危险等象征意义。这表明，在多模态隐喻的表征过程中，承载着文化及知识的身体特征以多模态的表征形式编码进入认知对象，因而透过隐喻投射到事物或概念身上的，不再是身体的结构、部位或特征，而是观念、文化、审美以及信仰等抽象层面的具象呈现。

四、与认知场景的交融：身体符号的重新赋意

一旦成为一种符号，身体就不再是一个生理存在，而成为表意过程中某些事物或概念的一种有效替代，可在一定语境之中指涉其他事物。在这种情况下，“身体”的固有意义会被该场景中的意涵所暂时取代，以此类推，在不同场景中变换的“身体”似乎成为了一个被占用和重新占用的场所，身体的符号化编码也因而可被界定为一个在场景中被重新赋意的过程。一般来说，“重新赋意(re-signification)指的是从一个意义系统中借来的物品结合到另一个意义系统的代码当中，以此来转变它们‘既定’意义，或者通过添加意义的方式对一个物品进行改造”[28]。身体的重新赋意则指在认知场景的框定下，身体从生理肉身转换为认知符码的符号化过程中被添加新的意义。有研究表明，所处场景与人的认知及情感等方面存在相关性[29]。当人们诉诸“写生”方式描摹一个空旷而又荒无人烟的虚拟空间时，人就容易产生寂寞、渺小之感；而以多模态形式呈现的寒风刺骨、大雪纷飞的场景也会激活“寒冷”的体验图式，产生相应的知觉体验，因而考察身体符号的意义不能脱离其所处认知场景。“取象赋形”既然是身体符号化过程的基本编码方式，那么，其所取之“象”及其意涵将在很大程度上决定身体符号的象征意义。此处的“象”来源于身体，是身体的一部分或身体动作或活动的程序性表征，而身体又是场景的一部分。一方面，身体作为嵌入场景的一环，承载着后者对它的影响与塑造；而另一方面，人往往从身体出发来认知整个环境、空间关系乃至价值观念的认知都突显出身体的中心性，两者体现了一种相互交融的认知关系。多模态表征的认知场景在某种程度上赋予了身体在与环境的互动交融中超越时空阀限而获得了“在场”的权力。文字与感官模态的此消彼长，使认知主体似乎可以直接感知到身体符号的存在，让原本含义模糊的身体在具体情境中得到清晰地再造与呈现。

从实现方式来看，多模态隐喻可利用复合知觉仿拟身体符号所处环境，并运用特定的意象激活认知场景。由于不同形象谱系内隐着相差迥异的象征意涵，因而特定意象一旦被放置在所要表征的认知场景中，将会对场景建构及象征义的彰显产生重要影响。例如，几米著名的漫画集《时光电影院》中的一幅插画(见图1)呈现的是电影院内部场景，其中的亮点之一在于“雪花”意象的独特运用，独自观影的“我”虽然身处室内，却处于飞舞的雪花与寒风之中，周围座椅也落满了雪花，在营造一种超现实主义场景的同时，更通过人与空间场景的交融映射了“我”内心世界的孤寂与凄凉。意象作为一个概念，可能与一系列的物体、事件、文化发生联系[30]，因而可能包含丰富的特征、认知或情感的链接，那么，若要确保被激活的是与语境相关的概念特征或文化意义，就要求人们诉诸多重感官对意象本身的知觉化特征及其语境进行营造与突显。从色彩基调来说，整幅画面以暗色系为主，由于画面所呈现色调可以影响观者的心情与认知，因而在某种程度上可以影响隐喻的识解方向；从画中的意象本身的知觉塑造来说，主人公自身特征并不被突显，身体所占画面比例很小，且被置于画面一隅，几乎与空旷的背景融为一体，似乎暗示了她的处境；从视角呈现方式来说，虽然是面对观众的正面视角，然而使用远焦镜头则表明了她与观众的心理及认知距离，这些模态呈现方式虽然涉及意象的不同方面，然而却合力为画中人物塑造了一种孤寂的处境，形成了特定的指涉意义。

图1 时光电影院[注]原图为彩色。图片来源：几米漫画集《时光电影院》。

隐喻所营造的认知场景并不是对现实环境的复刻，而是一种经过身体“丈量”的环境，不但诸如上—下、前—后等物理空间关系以身体为中心而得到确定，甚至价值观念等抽象概念的形成与实践也深受身体思维的影响。身体与环境间的这种互动更加决定了隐喻具身认知过程的情境性。诉诸不同感官模态，重新赋意的过程虽然可在相当程度上仿拟或再造真实的时空环境，然而这只是为身体的在场性提供认知场景，最终使身体及其附属物转换为指示符号的依然是文化或社会要素的影响。最明显的证据是营造多模态的认知场景或情境所诉诸的颜色、形状等不同感官模态以及身体符号的认知编码本身就具有相当的文化荷载，那么它们在不同场景下的选择与应用自然就体现了一种文化或价值的选择、判断甚至突显，在此基础上所构拟的认知情境也自然地带有某种文化或认知的倾向性，而这种倾向性基于身体与环境的互动渗透入多模态隐喻的表征过程，最终促使身体符号固化成为这一情境下具有特定象征意义的文化符码。这意味着，身体符号与其指向的客体并不完全等同，虽然某些符号经由感官模态的仿拟性塑造与其表征的客体可能存在感知上的相似性，然而，符号和现实客体之间并不是简单对应的关系，身体符号可指向的范围除现实世界本身之外，更包括思想或观念的世界。

五、结语

隐喻的概念性特征已得到语言学界的广泛认同，然而由于语言只是意义符号资源的一种，单纯基于语言文本而提出的概念隐喻理论难免受到多方挑战。近年来，基于不同语类提出的多模态隐喻理论在相当程度上佐证了概念隐喻在图像、声音及动态视频等非语言模态中的普遍性与系统性。这一理论提出的初衷旨在“对比多模态隐喻与纯文字隐喻之异同，拓宽隐喻研究的范畴，推动概念隐喻理论体系的发展和完善”[31]，因而在将这一理论推向广泛应用领域的同时，也应及时从本体维度上总结、思考相关的理论问题，基于这一初衷，本研究基于具身认知视角重新审视多模态隐喻本体的表征过程。

与概念隐喻基于文本表征完成认知构建不同，多模态隐喻主要诉诸多元知觉符号表征激活相关概念图式的知觉特征。通过调用不同模态参数，可将人们的注意力导向认知内容，引导对多模态隐喻的定向识解，体现了表征形式对内容的反拨作用；诉诸多元知觉表征，隐喻符号可将来源不同“象”融为一体，由此形成的符号意义复合性程度更高；而符号意义的解读则不能脱离认知场景。多模态隐喻一方面利用复合知觉表征文化意象，激活相关的场景图式；另一方面利用模态参数导向性地激活与语境相关的知觉特征，进而形成具有导向性的场景及氛围，赋予符号特定的指涉意义。具身认知理论不但为多模态隐喻本体的表征提供了理论视角，而且将其形式、内容和场景三个不同层次的阐释关联成为一个统一的系统。多模态隐喻作为研究对象也拓展了具身认知理论的阐释空间，显示出这一理论在面对新衍生现象及传播手段的解释力，对其理论基础及创新实践研究有一定的启发意义。