多模态宣传语篇的认知机制研究

王小平， 梁燕华

(广西大学外国语学院，南宁530004)

一、引言

随着多媒体技术的飞速发展，现代交际语篇的多模态化发展态势日趋凸显，多模态话语研究已成为语言学界关注的热点问题。目前国内相关研究多以Kress和van Leeuwen基于系统功能语言学提出的视觉语法为视角，从再现、互动和构图三大功能出发探索发端于文字模态的理论在非语言符号中的阐释力［1］，但这一理论因其主张的“描述性”分析模式缺乏理据性而屡遭学界质疑［2］。同时，对语篇整体意义的动态构建及其认知机制的忽视大大削弱了视觉语法对多模态语篇的阐释力［3］18。Forceville提出的多模态隐喻理论主张从认知语言学视角出发考察隐喻及转喻建构和认知过程中的跨模态互动机制［4-5］，弥补上述缺陷的同时，更为多模态语篇研究提供了全新视角。本文基于多模态隐喻理论，通过分析第四十五届体操世界锦标赛宣传片中多模态转喻和隐喻的认知及其互动机制，分析多模态宣传语篇的认知衔接与连贯。

二、多模态隐喻和转喻研究

(一)多模态隐喻和转喻的概念界定

荷兰语言学家Forceville认为模态是“一种利用感知可阐释的符号系统”，具体表现为图像、口头符号、书面符号、声音、音乐、手势等不同形式［6］22。基于此，他进一步界定了“单模态隐喻”与“多模态隐喻”。一般认为“单模态隐喻指只用一种模态构建其目标域和源域的隐喻，而多模态隐喻则指源域和目标域分别或主要用不同模态表征的隐喻”［6］24。多模态隐喻又可分为蕴含静态图像、书面符号等介质的静态多模态隐喻，以及使用声音、图像等媒介的动态多模态隐喻。多模态转喻则以次级概念域突显源域特征，将其投射至目标域并背景化［7］18，结合视觉、听觉等异质模态突显其源域，实现不同的语篇意义。

(二)多模态隐喻和转喻研究回顾

1996年，Forceville的非语言隐喻(non-verbal metaphor)开山之作《广告中的图像隐喻》(Pictorial Metaphors in Advertisement)［8］的问世开风气之先，超越视觉修辞学(Visual Rhetoric)的理论藩篱，首创性地以认知语言学的视角系统论述了图像隐喻(pictorial metaphor)的组构性成分、表征方式、分类及其识解方略。随着研究范围的拓展，他逐步转向使用“非语言和多模态隐喻”［4］这一术语，多模态隐喻理论正式进入研究者的视野。目前国外相关研究围绕广告［9-10］、漫画［11］等不同的语类聚焦多模态隐喻的语类性特征，区别性特征、隐转喻关系、相似性表征等四个方面的问题［12］。而国内学者则重点关注政治漫画［13-14］和平面广告［3］18、电视广告［15］等不同语类中多模态隐喻的动态构建、表征方式及运作机制等问题。对比而言，当前国内相关研究多关注漫画、广告海报等平面媒体中的静态多模态隐喻，基于认知语言学视角对电视宣传片等数字化媒介中的动态多模态隐喻研究却相当匮乏［16］，而且已有相关研究多重点关注多模态隐喻，多模态转喻作为比隐喻更为基础的认知方式却往往被忽视或者仅作为隐喻的附属品来探讨［7］16。总体来看，国内外从多模态隐喻和转喻角度探究数字化宣传性语篇认知衔接与连贯机制的相关研究少之又少。因此，本文将通过聚焦多模态转喻和隐喻的认知及其互动过程中的融合与联动，探究多模态宣传性语篇的认知衔接与连贯机制。

三、多模态宣传语篇的认知机制

视频宣传片属于典型的数字化多模态语篇，主要利用动态影像及文字等异质模态所共同建构的多模态隐喻和转喻作为语篇内部衔接和主题建构与连贯的手段，因此研究多模态语篇的认知机制必须建立在分析其中多模态隐喻和转喻的基础上。然而语篇中隐喻与转喻的数量及其解读在一定程度上受语类的影响与制约［17］12，必须结合宣传片的语类特点分析多模态语篇的认知机制。

(一)多模态宣传片的语类特点

多模态隐喻研究多围绕语类展开［12］，不同语类中的多模态隐喻与转喻在模态表征方式等方面存在一定差异。系统功能语言学认为语类是特定语境下语场、语式和语旨的直接体现［18］。

下面以体操世锦赛宣传片为例，从以上三方面分析多模态宣传性语篇的语类特征。从语场来看，宣传片是利用相关媒介向受众全方位展示体操世锦赛及主办城市各方面信息的行为，可以用“说什么”来概括，宣传片要囊括这个城市及比赛哪方面信息，选择信息是否符合观众的期待，可能会影响到宣传的效果。从语旨来看，交际参与者为宣传片制作方和观众，双方之间的交流或表意语气建立在何种社会关系上对于交际双方的沟通非常重要，亲近的社会关系如以朋友的口吻可能会融入更多的情感表达，而简单的向导式介绍则可能在这方面有所缺乏。从语式来看，相比传统语篇，多模态语篇意义的表征方式更富多样性［19］，不仅涉及文字符号，还诉诸动态图像等不同模态。宣传主题透过镜头剪辑的时空性序列与图像、文字、声音等跨模态介质的持续性联动得到突出，激发视觉与情感的双重冲击，形成比文字等静态符号更为鲜活的认知效果，还可在有限时间内呈现更多的信息量;同时利用不同模态多维互动所建构的隐喻表征语篇主题及组织架构。围绕相关主题，语篇借助转喻将抽象概念转化为形象而具体的流动性画面，赋予语篇以鲜明的动态性与叙事性特征。基于以上分析，发现多模态宣传在内容和交流方式选择上需要考虑受众对宣传内容与表意语气的接受度，在语式上则需借助异质模态的协同作用，以多模态隐喻和转喻建构并表征语篇的宣传主题，以此达到语篇的衔接与连贯。

(二)多模态宣传语篇的转喻衔接

认知语言学认为转喻是人类的一种基本的认知工具和思维方式，其工作机制可概括为一个概念域为另一个概念域提供心理通道。简单来说，它利用事物或物体的较为突显或容易感知的某个方面来映射或代替其所有方面。转喻的这种工作机制可从认知层面解读语篇的衔接与连贯。研究发现，宣传片利用“范畴—成员”“符号”“行为”和“地点”等不同模型［20］构成“同义”“重复”和“整体—部分”等不同的衔接手段(如表1所示)，通过不同的画面有机串接，实现语篇各部分的衔接与连贯。

表1 宣传片中多模态转喻的语篇功能

1．范畴—成员转喻模型

“范畴—成员”转喻的数量最多，因而成为实现语篇衔接的重要手段。现代化高层建筑、立交桥、体育场馆、交谊舞、骑行等是现代生活的象征性成员，木雕、刺绣、戏曲、太极拳、龙舟等则是民族传统文化的典型成员。两类图像在宣传片的不同阶段交替重复出现，再现了广西现代与历史感并存的和谐两面，且形成了两种重要的语篇衔接手段，即“同义”和“重复”［17］18。语篇在推进过程中，利用反复在片中不同部分出现的相似或属同一范畴的画面，以促成语篇各部分的衔接。另外，现代建筑、公园、木雕等分别代表了城市整体面貌的不同方面。城市与以多模态形式呈现的画面之间实际构成了“整体与部分相衔接的转喻关系”［21］142，各部分之间以及部分与整体之间互为补充，最终完成城市全景图的完美拼接。

2．符号模型

事物的概念须通过语言的外壳得到表达即语言符号转指概念，因此语言符号系统被认为是转喻思维方式的直接表征［22］。多模态语篇中的图像等异质媒介使用广泛，负荷着更多信息，画面不再是表层的物理图像，而在受众的认知域中唤起相应的概念结构［17］11，因此图像等非语言符号本质上也是转喻的表征方式。

在多模态语篇中，“符号”比复杂的“事件”更容易通过视觉模态呈现，可使受众较为直观地理解复杂的概念或事件，并感知符号所承载的信息。会徽标志在片头与片尾的画面相互呼应，借助文字与视觉模态的共现建构“符号代事件”转喻，以会徽转指世锦赛，凸显本片的宣传主题。另外，赛会吉祥物“南南”“宁宁”同时转指世锦赛和赛事举办地——南宁，在宣传片的不同阶段出现，同样起到“重复”的衔接作用。

3．地点模型

地点模型涉及的是居民—地点转喻，即以居民的形象转喻其居住地。南宁作为壮乡广西的首府，最典型的原住居民即壮族同胞。本片中多次出场的壮族少女作为居民代表象征着这座城市，而实际的南宁属于多民族聚居区域，宣传片借助转喻展现广西民族同胞的风采，突显了各民族和谐生活状态的同时，从语篇层面实际构成了“重复”与“同义”衔接手段，实现了语篇形式上的联接。

4．行为模型

行为模型通常以涉事者的动作等行为方式转指行为。在本片中“欢迎”作为一种相对抽象的概念，本身难以用多媒体符号直接呈现，但借助“方式—行为”转喻突显南宁市民“眺望远方”“欢笑”的表情以及张开的双臂等表示欢迎的动作或方式，观者可从更加直观的角度理解动作实施者及南宁居民的“欢迎”行为。另外，通过“居民—居住地”转喻，居民相关行为特征可投射到南宁，反映整个城市举城欢迎的盛况。与之相呼应的是，片中出现的少女、各族同胞、服务人员、普通家庭等不同群体代表都是本地居民的有机组成部分，片头与片尾人们欢迎动作画面的交替性串接，实际上建构了“整体与部分相衔接的转喻”［21］142，在成功实现语篇的衔接的同时，更加突显南宁对世锦赛的欢迎态度。

(三)多模态宣传语篇的隐喻连贯

概念隐喻作为一种思维方式，不仅体现在词汇及语法层面，更是一种语篇现象。作为语篇组织的重要手段，“它像一条无形的线，把语篇编织成一个有活力的有机整体”［23］。语篇多以隐喻性的主题为主线，统摄相互关联的各个部分，各部分在发挥作用的同时又互相承接，层层推进，构成贯穿语篇始末的主题发展脉络，形成语篇的信息流。研究发现，宣传片在推进的过程中分别在不同阶段借助“迎接世锦赛是迎接客人”“筹备世锦赛是传统刺绣”和“参加世锦赛是表演传统戏剧”三个多模态隐喻依次突出了“迎接”“筹备”及“举办”三个分主题，它们分别在宣传语篇的不同阶段统摄语篇，分主题内部围绕分主题隐喻构成连贯的整体;后续主题与前一主题在时间及逻辑上的相关性和承继关系又使各部分产生意义上的相关性，决定语篇推进方向的同时，实现了各部分的认知连贯。

1．(南宁)迎接世锦赛是(居民)迎接客人

这一多模态隐喻是基于语序的象似性。语序的象似性是指“叙述的线性顺序与所论及的概念的时间序列相一致”［24］，主要涉及空间和时间两个维度。这里主要从时间顺序来分析语篇的连贯。语篇中的某些描述有时会模仿现实中真实事件或行为的发生顺序进行叙述，使语篇前后衔接，连贯通顺，力图再现或还原事件的真实场景，使语篇与其表述的客观世界和心智世界构成某种映照性的相似关系。研究发现，语序的象似性是多模态语篇常用的语篇衔接与连贯手段。宣传片通过镜头的时空性序列，借助图像、文字等不同模态组合，以流动性的画面分别先后呈现了当地民族同胞“推窗眺望”“迎门而出”“欢笑迎接”“张开双臂”等几个连续性的动作。这些动作与现实中迎接客人的行为存在对照性的映射关系，可能会激活观众头脑中迎接客人的认知场景，从而达到宣传目的。另外，通过镜头先后呈现的这几个动作都是“迎接客人”认知场景的有机组成部分，它们之间在时间上相互承接，构成了“迎接”这一次主题发展的事件链，次主题内部的语篇也因此成为一个连贯的整体。

2．(南宁)筹备世锦赛是(少女)绣一幅传统刺绣

这一隐喻是典型的新奇隐喻(novel metaphor)，它并不是我们日常生活概念系统的一部分，而是看待事物的一个比较新颖的角度，看起来毫无关联的两种事物却被相提并论，是因为人们对它们产生了相似性的联想，即它们具备了创造的相似性。但这种创造的相似性并不是凭空的，而是基于人们习惯于“近取诸身，远取诸物”的方式，即利用自己的身体部位或周围熟悉的事物认识自己相对陌生的事物。

常规隐喻对于理解新奇隐喻非常重要。“筹备世锦赛是绣一副刺绣”作为一个新奇隐喻建立在常规隐喻的基础上，即筹备世锦赛和绣刺绣都是一个过程，而理解这一过程需要诉诸认知图式。图式指的是头脑中记忆、身体及文化体验和抽象思维的框架结构，概念与概念以及同一概念的不同方面并不是孤立的，而是相互联系，形成结构性的图式。与刺绣相关的图式包括“绣娘”“素绢”“精美的图案”“五彩的颜色”“难度和技巧”等，这些图式都在宣传片中以图像的形式得到了具体化，且各有所指，不同概念之间的联系得到激活，在语篇内部达到连贯的效果。壮族绣娘(图像)的图式首先得到激活，将美丽、心灵手巧的特征映射到举办城市南宁。随后是五彩的吉祥物刺绣图案，以吉祥物转指赛事，并以其美丽的色彩映射世锦赛的精彩。未完成和完成后的吉祥物刺绣分别先后现身宣传片，利用镜头呈现的时间差再现了源域“刺绣版的吉祥物”从未完成到完成的发展过程，并以此映射赛事筹备的发展曲线。这一主题隐喻在语篇组织架构中既是对上一主题的承接与发展，生动再现了南宁作为主办城市为筹备世锦赛所做的努力，又为下一主题“开展世锦赛”作了深层的铺垫。

3．(体操运动员)参加世锦赛是(戏剧演员)在舞台上表演传统戏剧

人们在语篇的生成及理解过程中会将隐喻的一些特征投射到被描述的情景或事物上。这一多模态隐喻将体操世锦赛比作传统戏剧，并利用其中的隐喻蕴含用于体操比赛的宣传与描述。首先，以巨大的“邕”字为背景的舞台映射南宁举办的世锦赛是一个大舞台;表演各具特色的演员映射各国的体操选手;精彩纷呈的戏剧表演暗示精彩的赛事。舞台、戏曲演员、戏曲表演构成了连贯而完整的戏剧认知脚本，三者分别所映射的比赛、运动员和赛事在逻辑上构成了连贯的语篇，成功建构并表达了“赛事成功开展”的主题，继续发展和继承了次主题“筹备”赛事，最终构成“迎接—筹备—举办”的语篇主题发展脉络，无论在形式还是认知上都使整个语篇成为一个连接紧密的整体。

宣传片主要围绕以上3个多模态隐喻所突显的宣传主题徐徐展开，向受众全方位展示了体操世锦赛及其主办城市南宁独特的城市魅力。必须说明一点，片中涉及的某些隐喻与转喻的目标域没有直接呈现，但借助影像、文字等模态的交融与配合以及叙事化表述很容易推断出来［2］。从这个意义上讲，不同模态间的动态性互动在多模态隐喻与转喻的建构与识解中的重要地位不可取代。另外，多模态转喻多以图像的形式呈现，文字模态一般只起到锚定作用。正因为这一特点，宣传片借助多模态转喻将相对抽象的目标域和源域外化为具体可感的视觉形象，增强情感效应的同时，也对结构更为复杂的多模态隐喻的认知建构和解读产生重要影响。因此，隐喻与转喻的互动关系是研究多模态语篇认知机制的重要环节。

(四)多模态隐喻与转喻的动态互动

隐喻和转喻同为人类基本的认知模型，一般认为转喻比隐喻更基础。在两者的相互作用中转喻总是发生在隐喻的源域或目标域，对隐喻和相应的概念结构起辅助性作用［25］。由于具有典型的语类性特征，不同的语类中两者的互动模式也会存在差异［17］17。研究发现，本片中多模态隐喻和转喻的动态互动关系如下:

1．转喻建构隐喻的源域

多模态转喻中图像模态的主导性作用对隐喻源域的构建和表征机制的影响尤其明显，原本较为抽象的源域借助多模态转喻呈现为生动可感的影像，极大地增强了隐喻的可解读性。如图1所示，在隐喻“迎接世锦赛是迎接客人”源域“迎接客人”的构建过程中，以壮族少女为代表的各民族同胞满脸欢笑的表情及迎门而出的动作所建构的“方式代行为”转喻起到重要作用，源域与目标域间映现的重要特征“欢迎”得以突显和强调。另外，片中出现的壮族少女、普通家庭、体操运动员等都诉诸“成员代范畴”转喻，转指自身所属范畴即南宁居民，并以此为基础建构居民代居住地转喻，以居民转指南宁并映现至目标域。结合这一映现，隐喻意义得以生成即南宁市民像迎接客人一样欢迎世锦赛的到来，构成本片的重要宣传主题。

图1 转喻建构隐喻的源域

2．转喻建构隐喻的目标域

多模态转喻与多模态隐喻的互动关系还体现在转喻对隐喻目标域的表征与呈现过程的支撑性作用上，如图2所示，“共现是共存”隐喻目标域的重要组成，“传统文化”与“现代文明”作为典型的抽象概念，分别利用“成员代范畴”转喻，通过对传统建筑、现代交谊舞图像的共现性展示而得到表征，同时也建构并揭示了本片的另一个宣传主题即主办城市南宁“传统文明与现代生活方式和谐共生”的城市特点。另外，借助转喻的组篇方式，这一主题几乎渗透在宣传片的信息推进过程的各个阶段，如宣传片伊始，传统木雕与现代高层建筑、宣传片中后段太极拳与骑行等图像的交替性联动，都通过这一转喻建构了“共现即共生”隐喻，形成了一条贯穿宣传片始终的主题线，大大强化了“传统与现代和谐共生”的宣传主题和视频语篇的连贯性。

3．转喻同时建构隐喻的源域和目标域

多模态隐喻与多模态转喻的互动性关系还体现在转喻对隐喻源域与目标域的共时性建构作用。如图3所示，隐喻“(南宁)筹备世锦赛是(少女)绣一幅传统刺绣”中，刺绣的壮族少女画面先后利用“成员代范畴”与“居住者代地点”转喻建构“居民的行动是南宁的行动”隐喻的源域。同时刺绣版的体操世锦赛吉祥物“南南”“宁宁”利用“符号代事物”转喻象征体操赛事本身，构成了目标域的核心部分。值得一提的是，在隐喻建构过程中，宣传片利用镜头呈现的时空性序列，生动勾勒了源域“刺绣版的吉祥物”的完成过程，以此转喻赛事筹备的发展曲线。基于转喻对源域和目标域的共时性建构作用，宣传片以壮族少女的刺绣过程映现南宁的赛事筹备过程，力图突出南宁赛事筹备工作的精细性与全面性。

图2 转喻建构隐喻的目标域

图3 转喻同时参与建构隐喻的源域和目标域

四、结语

在多模态宣传性语篇的认知过程中，多模态隐喻和转喻的功能各有侧重，以图像为主要表征手段的转喻其主要功能除建构并激活隐喻外，更是重要的语篇手段，影片不同阶段相同转喻的映现在加强主题表达的同时更体现语篇的衔接与连贯。多模态隐喻则主要参与架构并呈现多模态语篇的宣传主题，并借助转喻的穿插与连接使宣传主题前后呼应、相互承接，从而形成多模态宣传性语篇富有逻辑性的主体架构。在宣传性语篇中两者强强联合，互为补充，共同作用，借助转喻将抽象晦涩的概念或事件外化为形象化的多模态表征，并以此为基础参与多模态隐喻的建构与映现，满足人们审美需求的同时，更增强了语篇意义的可传递性。

［1］Kress G，van Leeuwen T．Reading Images:The Grammar of Visual Design［M］．London and NewYork:Routlege，2006．

［2］戴理敏，殷银芳，苗兴伟．多模态隐喻识解的理想化认知模型分析［J］．外语电化教学，2013(1):32-36．

［3］赵秀凤，苏会艳．多模态隐喻性语篇意义的认知构建:多模态转喻和隐喻互动下的整合［J］．北京科技大学学报(社会科学版)，2010(4):18-24．

［4］Forceville C．The role of non-verbal sound and music in multimodal metaphor［C］//Lachilan Mackenzie J，Aertsen H，Michel A，et al．Words in Their Places:A Festchrift．Amsterdam:Faculty of Arts，VU Amsterdam，2004:65-78．

［5］Forceville C．The identification of target and source in pictorial metaphors［J］．Journal of Pragmatics，2002:1-14．

［6］Forceville C．The role of music in non-verbal sound and multimodal metaphor［M］//Forceville C，Urios-Aparisi E．Multimodal Metaphor．Berlin/NewYork:Mouton de Gruyter，2009．

［7］张辉，展伟伟．广告语篇中多模态转喻与隐喻的动态构建［J］．外语研究，2011(1)．

［8］Forceville C．Pictorial Metaphor in Advertising［M］．London and NewYork:Routlege，1996．

［9］Tzanne A．When the advertised product is not the target:Multimodal metaphor in Greek TV commercials［J］．Brno Studies in English，2013:107-128．

［10］Urios-Aparisi E．Interaction of multimodal metaphor and metonymy in TV commercials［M］//Forceville C，Urios-Aparisi E．Multimodal Metaphor．Berlin ＆ NewYork:Mouton de Gruyter，2009:95-118．

［11］Refaie E．Metaphor in political cartoons:Exploring audience response［M］//Forceville C，Urios-Aparisi E．Multimodal Metaphor．Berlin/NewYork:Moutonde Gruyter，2009:173-195．

［12］赵秀凤．概念隐喻研究的新发展:多模态隐喻研究:兼评Forceville＆ Urios-Aparisi《多模态隐喻》［J］．外语研究，2011(1):1-10．

［13］俞燕明．新闻漫画多模态隐喻表征方式研究:模态配置的类型、特点及理据［J］．外语研究，2013(1):1-9．

［14］赵秀凤．多模态隐喻构建的整合模型:以政治漫画为例［J］．外语研究，2013(5):1-8．

［15］蓝纯，蔡颖．电视广告中多模态隐喻的认知语言学研究:以海飞丝广告为例［J］．外语研究，2013(5):17-23．

［16］杨旭，汪少华．电视广告音乐的多模态隐喻机制分析［J］．外国语言文学，2013(3):160-165．

［17］潘艳艳，张辉．多模态语篇的认知机制研究:以《中国国家形象片·角度篇》为例［J］．外语研究，2013(1)．

［18］柴同文．学术致谢的语类结构及其功能变体研究［J］．外语教学，2012(6):24-28．

［19］汪燕华．多模态话语中语类和图类的配置［J］．外语与外语教学，2011(3):25-28．

［20］Radden G，Kovecses Z．Towards a theory of metonymy［M］//Klaus-Uwe P，Radden G．Metonymy in Language and Thought．Amsterdam:John Benjanmins，1999:17-59．

［21］张辉，卢卫中．认知转喻［M］．上海:上海外语教育出版社，2010．

［22］文旭，叶狂．转喻的类型及其认知理据［J］．解放军外国语学院学报，2006(6):1-7．

［23］王松鹤，于广．语篇的形和神:隐喻的语篇功能分析［J］．外语学刊，2009(6):125-128．

［24］Hiraga M K．Diagrams and metaphors:Iconic aspects in language［J］．Journal of Pragmatics，1994(22):5-11．

［25］杨波，张辉．隐喻与转喻的相互作用:模式、分析与应用［J］．外语研究，2008(5):5．