多模态语篇翻译的语用关联视角——《多模态语用学和翻译：源语语篇分析的新模式》述评

广东农工商职业技术学院 许文涛

一、引言

随着信息技术的发展，信息表现形式呈现多符号化，即语篇的多模态化。翻译研究也越来越多关注多模态语篇的翻译，但由于人们对语言之外的符号系统认识的不足，多模态语篇的研究尚未形成统一的、系统的、深入的认识，因此，关于多模态语篇翻译的研究凤毛麟角。

在《多模态语用学和翻译：源语语篇分析的新模式》(MultimodalPragmaticsandTranslation:ANewModelforSourceTextAnalysis)一书中，Sara Dicerto整合符号学理论和言语-视觉符号关系理论，以语用学的关联理论(Relevance Theory)为理论指导，明确构建了多模态语篇分析模式，旨在解决多模态语篇翻译过程中如何分析源语语篇的问题，并探讨了语用学在多模态语篇翻译中的运用。(Dicerto 2018)

作为多模态语篇翻译方面的有益探索，该书在一定程度上填补了这一研究领域的空白，也拓展了语用学关联理论的应用范围和人们对多模态语篇，尤其是静态多模态语篇的认识。

二、内容简介

该书共有六章，分为引言、模式构建、实例分析和结语。

第一章指出在翻译研究领域中，由于信息技术的发展，源语语篇的多模态性更加突出，但是人们主要关注意义是如何通过语言符号表达为成品的。在大多数研究中，语篇的多模态性都是被忽视的。另外，已掌握的文献都只涉及多模态语篇翻译的某一个方面，缺乏一个整体、全面的思考。多模态语篇翻译的研究应该是跨学科的。因此，作者指出应该整合多方的研究成果，提出一个全面的研究框架，用于所有类型的语篇翻译。

第二章把多模态语篇定义为整合言语模态、视觉模态和听觉模态3种符号系统(semiotic system)中两种或者两种以上所构建的语篇。每种符号系统分别包含不同的具体符号(sign)。Peirce把各种不同的符号划分为3类：象征类符号(symbols)、标识类符号(icons)和指示类符号(indices)。3类符号作为能指与其所指的关系分别为任意的(arbitrary)、相似的(resemblant)和直接的(direct)。作者认为语言作为言语模态是象征性的，视觉符号是标识性的和指示性的，而听觉模态是指示性的。3类符号在交际中的作用不同，因而倾向于构建不同性质的信息，这就是符号使用的“专门化原则”(principle of specialization)。但是多模态语篇的意义是多种符号系统相互整合的结果，这是“资源整合原则”(the resource integration principle)。多模态语篇作为交际信息是由符号、符号系统及其相互关系决定的。另外，其意义还来自读者在一定语境下对语篇的解读，这一语境包括语言语境、非语言语境和读者关于这个世界的知识，即读者的认知语境(cognitive context)。作者综上提出了多模态语篇分析的3个维度：各符号系统及其组成符号的组织、潜势和局限的分析，符号系统或者符号之间交互作用的分析，外部语境和接受者知识的分析。

关于多模态语篇分析的理论，作者介绍了Kress & Van Leeuwen和Baldry & Thibault的研究成果，以及Baldry & Thibault提出的丛集(cluster)和阶段(phase)概念。但作者认为这些研究都未充分分析各种模态之间的相互关系，也未明确提出分析多模态语篇的框架。另外，多模态语篇研究普遍接受的元功能理论(概念、人际和谋篇)对于一些符号系统也缺乏解释力。因此，进一步的研究应该着眼于统一的、具有涵盖力的基本原则，能够涵盖对所有符号系统的分析。

第三章指出由于书面语篇的作者和潜在的读者之间存在时空错位(temporal and spatial mismatch)，书面言语交际相对于口头言语交际缺乏共享认知语境(shared cognitive environment)。然而，多模态语篇在交际中可能表现出更加明显的优势，因为多种符号系统互为彼此构建语境，多模态语篇在一定程度上弥补了书面言语语篇共享认知语境的不足，这是一种语用策略。多模态语篇与口头交际相比，在编码/解码和指称过程方面是一致的。因此，语用学适用于多模态语篇的分析。

作者认为，Grice的合作原则(the cooperative principles)理论不适用于分析静态多模态语篇，因为交际双方之间存在时空上的不对接，甚至来自不同的文化背景。此外，合作原则强调交际双方的合作，而且多模态语篇可能并不存在一个明确的代码作为标准用于分析交际是否符合合作原则的某一些具体原则。但是，关联理论把焦点转移到了交际信息的接受者一方：在任何交际中，接受者都假定信息的发出者在表达一定的交际意图，所做出的交际选择都是为了实现最佳关联。因此，关联理论是指导多模态交际研究的最佳理论。

关联理论适用于多模态语篇翻译中有关问题的探索。在翻译过程中，关联理论作为指导原则决定着译者选择合适的分析特征和语境特征实现目的语语篇和源语语篇具有释义相似性(interpretive resemblance)(Gutt 2000)，即目的语语篇与源语语篇在各自的语境中，经过相似程度的加工努力后能够产生相似的语境意义。

第四章首先提出了多模态语篇分析的梯度模式，包括3个维度：语篇作为整体的语用意义、各模态的相互关系、各单个模态的意义。该模式用于辨识翻译多模态语篇分析过程中可能遇到的问题，从以上3个维度考虑这些问题，分析这些问题对所属维度、其他维度以及相应指称语境下目的语语篇总体释义等的影响，并提出相应的翻译策略，进一步评估所做改变带来的影响。

多模态语篇的意义是各个组成模态相互关联共同构成的一个单一语篇单位，其传播遵循最佳关联的原则，正是最佳关联原则使得各模态相互结合共同表达一定的意义，而信息的接受者也是基于这一原则重构多模态语篇的语义表征(semantic representation)。多模态语篇的语义表征是多个模态相关作用的结果，而对语义表征的加工是基于推理的(inference-based)。多模态语篇的推理意义是基于语义表征的，包括语篇显义(explicature)和语篇隐义(imlicature)。前者是语篇单个模态和多个模态相互作用产生的；后者又可细分为隐含前提(implicated premises)和隐含结论(implicated conclusions)。概括来说，语篇隐义基于语篇显义和语义表征以及语篇接受者的知识储备，而语篇显义则基于语义表征。

在此基础上，作者指出，在翻译中，目的语语篇应该与源语语篇具有释义相似性，即具有相似的语义表征、显义和隐义。而对这一切的分析都基于最佳关联原则。

作者以言语-视觉多模态语篇为例探讨了模态间关系的分析模式。该模式在整合Halliday的逻辑-语义关系理论和Pastra的“跨媒介交互关系”理论(COSMROE)的基础上，进行了一些调整，提出了言语-视觉多模态语篇模态关系分析框架。该框架包括两大块， COSMROE分析子框架和逻辑-语义关系分析子框架。COSMROE分析框架包括对等(equivalence)/对立(contradiction)、互补(complementarity)和独立(independence)。对等/对立又可细化为标记-标记(token-token)、类型-标记(type-token)、隐喻(metaphor)和转喻(metonymy)；互补包括必要的(essential)和非必要的(non-essential)，前者包括外指(exophora)、施事-客体(agent-object)、界定同位(defining apposition)和意义选择(sense selection)，后者包括外指(exophora)、施事-客体(agent-object)、非界定同位(non-defining apposition)和状语(adjunct)；独立细化为共生(symbiosis)和元信息(meta-information)。逻辑-语义关系(logico-semantic)包括投射(projection)和扩展(expansion)，投射包括话语(locution)和思想(idea)，扩展可细化为详述(elaboration)、延展(extension)和增强(enhancement)。

作者指出各模态的已有具体理论(如Kress & Van Leeuwen关于图像的理论)结合关联理论能够更好地阐释各模态的意义。至此，作者把多模态语篇单个模态的解读、模态间关系的分析和模态推论意义(语篇显义和语篇隐义)的揭示都统一在了关联理论框架下。

为了运用分析框架，作者又引入了Baldry & Thibaul提出的丛集和阶段两个概念。两个概念都把多模态语篇中的符号成分分成小组，以便于分析接受者处理信息的单位。静态多模态语篇只涉及丛集，而动态多模态语篇则需运用两个概念。最终作者分别针对静态多模态语篇和动态多模态语篇，提出了两个完整的语篇转录和分析项目表。

第五章首先指出了静态多模态语篇的具体分析步骤：把握与语篇和与作者有关的背景知识；划分语篇分析的丛集，逐个分析其语义表征、显义和隐义；明确语篇组成模态间的关系；识别翻译过程中可能存在的问题，并针对性地提出应对策略。作者还提供一套标注方法。另外，作者指出，如果显义过多，则只分析与翻译有关的成分的显义，而隐义的分析也只涉及为了保证语篇最佳关联要深度交流的成分。然后作者分析了3种类型的多模态语篇：表情类(expressive)、信息类(informative)和操作类(operative)，指出翻译相应实际语篇中可能出现的问题以及应对之策。

第六章对本研究进行了全面的评估：首先，作者指出了分析模式能够分析多模态语篇翻译过程中潜在的问题并指出相应的应对策略。其次，作者也指出了模式可能遭遇的指责：由于语篇知识环境的不足，且无法得知语篇发送者的交际目的，因此，不同的语篇接受者可能对多模态语篇中模态间的关系或者推论意义有不同的认识，但他强调这正是翻译过程中译者所处的真实环境。再次，作者鼓励研究者进一步检验这一模式的适用性。同时作者也说明了本文并没有涉及动态多模态语篇以及对语篇关联性极为重要的语篇和接受者之间的关系。作者把这种关系称作指向语篇外的联系，这是一种特殊类型的语篇显义，需要对语篇受众所感知到的语篇关联性的预期影响做出评估。

三、简评

该书关涉语用学理论在多模态语篇翻译研究中的运用。目前，多模态语篇分析研究的主要理论来源是系统功能语言学、认知语言学、修辞学等，因此，在多模态语篇分析研究中引入语用学理论是一次有益的尝试。另外，关于多模态语篇翻译的研究少之又少，因此，该书是多模态语篇分析和多模态语篇翻译研究领域中的一部创新之作。

作者在文献综述、分析模式构建和实例分析等过程中的阐述逻辑严密、全面深入；分析模式明确且易于操作；实例分析清晰、易懂。该书构建的分析模式除了用于分析翻译过程中的多模态源语语篇，还可用于一般意义上的多模态语篇分析，加深人们对多模态语篇的理解；而且，该模式还可用于翻译培训和课堂教学，培养译者的多模态语篇分析能力和学习者的多元读写能力；此外，该模式除了提出明确的分析框架，还提供了一套标注方法和原则，因此，可用于大量地分析多模态语篇，发现某一类语篇的共性，也就是说，可以进行多模态语料库的研究。但是该书的最大贡献还是用于精细的多模态语篇分析，发现翻译过程潜在的问题，并提出应对策略。

该书也存在一些不尽完善之处：第一，其多模态语篇分析模式建立在关联理论基础之上，作者基本上接受了关联理论可以解释所有模态的所有翻译问题，然而关于关联理论还存在一些争议，其中最大的争议是由于关联概念的模糊性，关联的确定存在问题(黄海军 2006： 89-92；王建国 2005： 21-26)。第二，作者构建两个分析模式，分别用于分析静态多模态语篇和动态多模态语篇，然而作者在第五章只是通过实例说明了静态多模态语篇分析模式的可行性，对于另一个模式却未通过实例说明。而且所谓的静态多模态语篇也主要指的是由书面言语模态和视觉图像构成的多模态语篇，然而，视觉模态却不仅仅是图像。第三，作者在例示分析模式时，更多的是解释图像翻译过程可能遇到的问题，除特殊情况下，对于多模态语篇中大量的语言信息的翻译却解释甚少。翻译图像时，绝大多数情况下目的语与源语一样，然而对于语言信息，由于目的语和源语两种语言符号系统的截然不同，再加上每种语言都有自己独特的语法系统，在翻译语言信息时可能会遇到更多的问题，作者似乎对此说明甚少。作者在构建分析模式过程中指出关联理论作为理论框架，并不排斥各种模态已有的其他研究模式，显然每种模态的研究理论都不止一种，这就存在一个选取什么理论作为辅助理论的问题。第四，在分析过程中，选取要分析的话语显义和话语隐义的原则过于主观。只选择与翻译有关的，这样的原则过于模糊。

即使存在这些不足，该书构建的分析模式在一定程度上是相当成功的，解决了翻译多模态语篇，尤其是静态多模态语篇中源语语篇分析的问题，以及如何发现潜在的翻译障碍问题,并提出了应对之策。