多模态认知语用学新发展——介评《视觉与多模态交际：运用关联原则》

同济大学 韩艳方

1. 引言

在读图时代的大背景下，多符号或多媒介信息在现代交际中的作用愈加凸显，更迭了传统的交际模式。在这类新型多模态交际模式中，交际资源在交流者之间的各种关联得以体现和建构。作为多模态隐喻和多模态认知语用研究的国际领军人物之一的荷兰阿姆斯特丹大学语言学家Charles Forceville，于2020年在牛津大学出版社出版了新著《视觉与多模态交际：运用关联原则》，该书即为关注多模态交际中参与者对明示信息的指代分配、歧义消解和关联扩展及视觉关联的认知和交际原则的一部作品。该书是作者十多年来语用关联视角下多模态认知语用研究的最终成果，也是国际多模态认知语用研究的最新代表作。本文将对该书进行内容介绍和简要评价。

2. 内容简介

该书聚焦于视觉与多模态交际明示信息在大众传播(mass-communication)中的视觉触发源(visual stimuli)，旨在将关联理论(Relevance Theory，RT)发展成为塑造多模态交际模式的综合理论。全书分为11章，第1章为理论背景，最后一章为全书综括，第2—5章为理论探讨，其余5章为案例分析。

第1章：“背景”。作者概述了RT作为可解释所有交流形式的理论所依据的一般背景。这些背景包括语言使用的目的及其作为联合行为(joint action)、电影创造意义的认知路径、艺术作品的传播维度、人类和猿的合作倾向、人类和生物进化论等。它们强调了人类在性别、性别偏好、年龄、种族背景、阶级、居住环境、宗教和政治观点、饮食习惯等诸多方面存在多样性，这是交际共享的关键因素。特定群体为实现具体目的而形成的特有方式已被根植于文化传统和价值观中，这些方式即是他们的进化共同点。

第2章：“关联理论基础”。作者总结了Sperber和Wilson所提出的RT基本原理，主要参考了面对面的口语交流。同时也为如何将RT应用于视觉和多模态大众传播埋下伏笔。该章从认知和交际的关联原则、编码/解码、明示/暗指、关联个体性、“症候”交际(symptomatic communication)等多方面对RT的复杂性进行深层剖视，探索RT复杂性与多模态研究者对关联的理解之间的平衡。

第3章：“调整RT来适合视觉交际”。作者从多个维度论证了将RT运用于视觉与多模态交际的适用性和理据。首先，该章从多模态概念本身出发，对“关注所有用于构成多模态整体的符号资源”的观点提出了疑惑(Jewittetal.2016: 3)。作者认为描述多少种模态参与语篇建构是很困难的，由此提出该书的重点观点之一，从视觉触发源携带的关联信息去解构视觉/多模态语篇的复杂度。随后，作者从视觉语篇的认知和交际关联原则、个体关联、信息解构、编码模式以及信息的指代分配(reference assignment)、歧义消解(disambiguation)、信息富衍(enrichment)、松弛调用(loose use)等多维度论证RT在视觉语篇中的关联建构。该章指出视觉语篇关联建构不仅要关注明示和暗示，还要重视“症候”意义(symptomatic meaning)的存在。同时，论证了认知语言学的融合理论、概念整合理论及视觉/多模态隐喻与RT的深层联系。该章最后还指出该书另一个重点之一，即视觉和多模态信息的大众传播本质。

第4章：“关联理论与媒介性大众传播”。作者以媒介性大众传播为重心，聚焦最佳关联在媒介性和群体性交际中的关涉因素。该章提出媒介化交际中最佳关联的受众不是非单一的，而存在多元性，且与媒介的供用性相关。媒介的供用性除物质性、感官性、时空性和符号性(Elleström 2010)外，还应关注媒介的技术性、机构性、成本性、意识性等供用性和局限性。在视觉和多模态大众传播中，每个受众将依据个人的知识、信仰、态度、情感和目的构成的语境处理触发源(Groarke 2015)。该章还强调从一对一到大众传播的模式转变并不影响RT的中心原则，即关联性始终与个体相关。但是，这些个体拥有一个动态群体身份：知识、兴趣、态度或信仰共有的集群个体。大众传播的交际和信息目的在于机构赋予受众的身份定位。

第5章：“体裁”。作者另辟新章，着重介绍了引导人们对视觉和多模态语篇进行解读的最重要因素：体裁，将体裁的概念从传统内涵延展至大到电影和小到插图、徽标。该章重点指出由于体裁具有规约性，因而能主导语篇的解读。同时强调，讨论体裁时不仅要关注其组成和典型事件结构，还要重视体裁的语用性——人们和机构通过体裁做何事及人们如何将体裁进行范畴化、分类、评估、商业化和节日化等。该章还提出一种新的观点，即体裁应被视为“活动类型”(Activity Type)，是语篇与语境的接面。因为作者认为成功参与到一种活动类型预示着一种主导该活动类型的规约意识，而体裁回归(genre attribution)过程既受语篇内部暗示也受语境中的语篇规约主导。而语篇实例回归体裁过程本质上是一种范畴化行为，这种范畴化围绕其关联原型展开。该章最后总结了解读关联建构依靠编码目的、体裁意识和体裁知识、媒介供用性和局限性、语篇涉及元素的现实象似载体、百科知识等多种因素。

第6—10章：“案例研究”。为了证实理论研究，作者以不同体裁的丰富案例展示了RT的大众传播视觉分析的适用性。第6章专门讨论象形图、交通标志和徽标等体裁，作者称这类体裁为编码型视觉语篇(coded visuals)，因为它们是由视觉物质独立或联合其他字母、词汇等资源构成的，形成的多模态意义是高度具体和解码的，不需要推断，即编码型语篇和场所联合产生了具体的明示意义。它们的编码特质鼓励或允许了暗含关联的建构。第7章探讨了广告体裁，作者强调在这类体裁中视觉解码元素和场景与语言解码元素联合形成明示意义，受众依据这些明示意义在体裁所属语境与情景和世界知识中沿着由最强到最弱的暗含意义连续体进行解码。第8章探讨了卡通画，作者在该章借助卡通画分析了如何借助体裁规约、解码成分和场景进行指代分配和歧义消解。第9章讨论了漫画，作者认为关联性的获得取决于象似现实、投射泡变化、图画符文、象形图和媒介的具体规约。第10章“误导性交际”(controversial communication)讨论了一系列误导性的视觉和多模态语篇，反思RT如何容纳它们。

第11章：“总结评价”。该章首先回顾、总结了该书中有关RT的要点，阐明关联原则在视觉和多模态交际中的适用性和实用性：基于视觉“编码型”(coded)元素和行动，联合相宜语境信息进行正确的体裁回归，合理解码明示意义和建构关联，将关联个体置于群体身份中。在视觉与多模态交际中，建构关联的重点应放在编码型元素、体裁、媒介供用性和限制性及交际和信息目的上。(韩艳方 2022)最后，作者还总结提出了未来进一步加强RT研究的趋势：识解交际目的与明示信号和症状、信息编码-歧义消解-指代分配-关联建构模式、逻辑形式与明示意义和暗指意义的关系、体裁与关联，以及交际者、受众和机构的身份投射，号召其他学科的研究者一同探索RT在视觉与多模态研究中的潜力。

3. 简要评析

该书是Charles Forceville多年来多模态语用关联研究的最终成果。作者采用理论探索与案例研究结合的论证范式和多维分析方法，尤其对涉及multimodality、affordance等概念的主流观点提出了挑战，见解独到，观点新颖，前沿性强。主要体现为以下特色：

第一，体现了视觉和多模态研究的学科融合视角。以往研究主要在单一学科路径进行多模态语篇分析，很少从学科融合视角进行研究。该书正是以RT为基础，提出了适用于多模态话语分析的多学科融合路径。通过RT原理的深度剖析实现了语用学推理模式、认知语言学的概念整合与原型范畴化、传播学的大众传播和媒介化理论等的融合性分析与创新性结合，将触发性编码、体裁原型回归、媒介供用性(Bateman 2017)等纳入关联分析的研究范围，探索受众在大众传播模式下是如何解码信息、消解歧义、分配指代、建立关联、获取目的，从而在特定语境中完成视觉和多模态交际(Batemanetal.2019)。此外，该书并非关注简单的个体关联，而是关注拥有一个动态群体身份的集群关联个体；并非单一立足关联原则、运用单一分析方法，而是强调围绕产生关联的多向度和多层次因素的综合分析；不仅为视觉和多模态交际分析提供了新思路，也可以促进专业实践，如优化视觉交际方式、提升媒介调用层次、改良设计方案等。

第二，凸显了视觉和多模态研究的语用研究趋势。该书关注视觉和多模态话语中的集群交际和语用关联现象，不仅为视觉和多模态交际提供了新的语用研究维度，也将语用学应用拓展至视觉交际领域，凸显了多模态与语用学结合的必然趋势，“弥补现有理论的不足”(陈新仁、钱永红 2011: 89)。作者分析了视觉交际中的各类关联维度，应用和拓展了RT和言语行为理论。例如，作者在第3章着重讨论了视觉受众如何通过解码元素获取视觉语篇的明示意义、暗指意义和“症候”意义。在指代分配和信息富衍之后，视觉语篇不仅可以指导信息接收者获得强或弱的暗示，还可以获取明示，从而消解歧义以加强交际者之间意义传递的一致性，同时建构集群关联个体身份。书中诸如此类携带语用因素的扩展分析势必为多模态语用研究带来更大空间。

第三，推动了RT的纵深发展。作者将经典RT一对一交际模式扩展到大众传播模式，并强调了体裁原型回归在关联分析中的核心地位，同时重新阐释体裁为“活动类型”，是语篇与语境的接面。这一纵深拓展打破了RT重言语、轻体裁的传统，大大丰富了RT的维度，使基于RT的多模态分析更具解释力和客观性。针对当前多模态研究对非语言符号解释主观性强这一现状，作者创新性地将媒介供用理论引入关联分析中，重视媒介供用性相关的技术性、机构性、成本性、意识性特征及其局限性，借由供用性实现对媒介产生关联的深层解读。此外，尽管体裁和供用性两个概念很早已被提出，但未在关联分析领域得到足够关注。作者在RT原理的基础上运用体裁和供用性来阐释视觉和多模态交际实践，将关联分析的各个维度及不同关联空间系统充分联系在一起，不仅延展了体裁的内涵，也使RT适用性更强。

第四，采用了多维关联的多模态认知分析方法(Forciville 1996, 2007)。该书聚焦视觉和多模态交际中的语用关联，覆盖了主要常见体裁，但对每种体裁的分析观照又不尽相同，维度各有侧重。例如，第6章关注编码型语篇，即编码型语篇+场所→具体明示意义；第7章关注广告体裁，即视觉解码元素+场景+语言解码元素→明示意义；第8和9章关注卡通画和漫画体裁，即体裁规约+解码成分+场景+象似现实→明示意义→暗指意义。每一章节的分析维度的侧重都各不相同，但均以获取关联信息为核心。

诚然，该书也存在少许不足。首先，视觉和多模态交际的关联分析建立在编码型语篇的体裁原型回归基础上，但该书并未明确给出编码型语篇的界定标准，只是以象似画、交通标志和徽标等体裁为例，这使分析过程中明示性编码的解码具有一定的主观性。其次，对于视觉和多模态交际的语用关联分析只是提供了一个分析框架，但作者未提出原创性的具体分析程序，尤其在体裁原型回归分析维度的体现更为凸显，不能使关联分析很好地降噪。而且，该书主要采用例释法，缺少具体的方法论作为指导。

4. 结语

总体来看，该书具有重大的理论价值和实践意义。多模态话语分析的语用关联视角这一课题比较新颖，给视觉与多模态研究领域注入了一股新的力量，突破了该领域原有的研究范式，凸显了语用关联对多模态研究的潜力，推动了多模态认知语用学的发展，是视觉与多模态研究者不可多得的参考书目。同时，在很大程度上也推进了多模态话语分析的发展。