多模态翻译中的文本分析模式——《多模态语用学与翻译：源语文本分析新模式》评述

广东外语外贸大学 廖文君 蓝红军

一、引言

“多模态”(multimodality)并不是翻译对象的一个新特征，因为在某种程度上一切都是多模态的，即使在翻译研究中被视为语言艺术的传统文本中也时有出现插图这类非语言模态，不过传统文本中的非语言模态跟语言模态相比还只是外围要素，随着技术发展和多媒体的不断进步，翻译活动中出现的多模态文本类型日益增多，非语言模态在文本意义建构中的作用和重要性才逐渐凸显。真正将翻译文本视为多种符号资源共同协调而产生意义的整体加以考察是翻译研究中的新视角。翻译研究者对不同符号之间的相互作用以及这种相互作用对翻译活动的影响这一特殊问题的认识还很有限。在翻译研究中，除了语言之外的符号资源能够并且确实干预文本的构成，它们在很大程度上都没有得到足够的研究，只有少数在该领域的特定子领域(如视听翻译)中有显著的例外。而且，多模态研究领域中很少关注翻译活动，如《劳特里奇多模态分析手册》(2012)以对多模态研究的综合全面介绍而著称，而该书的索引部分却没有出现任何有关翻译的词条。在翻译研究中寻找发现开启多模态分析潜力的钥匙，似乎就落在了翻译研究者自己身上(Taylor 2013: 98)。

《多模态语用学与翻译：源语文本分析新模式》(MultimodalPragmaticsandTranslation:ANewModalforSourceTextAnalysis)(下称《多模态语用学与翻译》)正是翻译研究打开多模态世界而付出努力的一个成果，为译者在多模态翻译实践中提供了一种指引。该书于2018年由Macmillan出版公司下属的Palgrave Pivot出版，属于PalgraveStudiesinTranslatingandInterpreting系列。作者Sara Dicerto是伦敦国王学院的一位青年学者。全书共有181页，内容丰富，既有完整的理论建构，也有翔实的案例分析。该书探讨了多模态文本的意义生成机制系统，对多模态翻译形成了较全面的认识，并建构了一个运用于多模态翻译的文本分析模式。

二、内容简介

《多模态语用学与翻译》共分为6个章节，各章节内容如下：

第一章从多模态翻译实践及研究现状阐明选题的背景及意义，介绍了全书的主要论点和大致结构，明确其研究目的——建立针对多模态翻译的文本分析模式。

第二章梳理了社会符号学及多模态研究的文献，探究了各类模式的组织方式，彼此之间的异同，界定了多模态文本的概念，探讨了语言、视觉和声音3种模态与皮尔斯符号学中3种符号的关系，归纳出多模态翻译文本分析的3个维度：不同模态各自的特点、各模态的合作互动、语境和受众的背景知识。此外，该章还介绍了社会符号学中“自上而下”和“自下而上”的两种多模态研究途径，并对其成就和缺陷进行了批判性分析。

第三章是对多模态文本的语用学分析，分为两部分。一是评估语用学对分析多模态文本的适用性，指出“语用学不仅可以用来分析多模态文本，而且还是开启多模态世界的钥匙”(Dicerto 2018: 42)；二是对比“合作原则”和“关联理论”对多模态文本意义的解释力，发现关联理论最适合用于多模态文本的语用分析，指出多模态翻译是双重明示-推理过程，译文与原文的最佳释义相似性是译者运用多模态资源的指导原则和终极目标(Dicerto 2018: 57)。

第四章是全书的核心内容，呈现了多模态文本分析模式的3个维度。第一维度是多模态语用意义，作者借用了关联理论的核心概念，认为多模态文本语义表征的语用学基础是“最佳关联性”，其逻辑处理是基于推理而不是语法。第二维度是多模态文本的语义表征，体现在多模态互动关系框架之中，包含互动方式和结果。第三维度是个体模态的语义表征，分别针对语言、视觉和声音3种模态进行阐述。该章还通过探讨多模态文本的转录、切分工具提高了分析模式的操作性。

第五章简要介绍了应用多模态文本分析模式时语料的选取、分析步骤和编码系统，对12个多模态文本做了案例分析，文本类型分为表达型、信息型和操作型3类，涵盖漫画、网页、儿童读物、杂志、海报、传单和广告等。作者对每个文本都从3个维度讨论了潜在的翻译问题及可行的解决方案，最后总结出了多模态文本翻译问题的两个普遍特征。

第六章评估了文本分析模式对多模态翻译实践的指导力和局限性，指出该模式今后的完善方向，特别提到对文本与信息接收者之间的关系，信息接收者对文本与自身相关性认知的考察。最后，作者展望了该模式在视听翻译、本地化翻译、译员培训及其他多模态相关领域的应用前景以及可对分析框架做出的针对性调整。

三、学术贡献

描绘多模态翻译的宏观图景是一项跨学科工程，但究竟应该纳入哪些学科，这种跨学科研究应该如何开展尚未达成共识。绝大多数关于多模态翻译的研究都是针对特定领域的多模态翻译进行的，并不足以说明多模态翻译活动的全貌和普遍规律。该书区别于这些研究之处在于对多模态翻译活动宏观特征的把握，将各种文本类型、静态、动态都囊括其中。该书在理论建构中博采众长，不拘泥于单一的学科领域，以翻译为出发点，吸收融合了社会符号学、语用学、系统功能语言学和多媒体语义研究的成果。该书的最大贡献在于创建的多模态翻译文本分析模式以及应用该模式对真实的翻译语料进行的案例分析，这对于翻译研究和译员培训都具有相当重要的意义。

3.1 对多模态翻译研究的认识论意义

多模态翻译目前尚未有公认一致的定义。在近两年国内有代表性的多模态翻译研究综述中，王红芳、乔孟琪(2018)将多模态翻译区别于视听翻译和多媒体翻译，认为多模态翻译即“多模态话语意义的翻译”，其理论基础包括“多模态话语与多模态话语分析、与多媒体技术相关的理论知识及符际翻译”；许勉君(2017)认为多模态翻译的含义包括多模态话语的翻译、不同模态之间的转换或综合运用以及翻译教学和实践中的多模态理论运用。参照Jakobson对翻译的分类方法，依据目前多模态翻译中实际涉及的转换对象来看，国内研究的绝大多数多模态翻译属于语际翻译，最典型的是字幕和漫画翻译。虽然此类文本本身包含多种模态，但实际翻译中只存在语言转换，并不涉及非语言模式(如电影声像和漫画图片)的转换或调整。在这类研究中，非语言模态仅被视为语言转换的“限制性”因素用来评价译文(余小梅、耿强 2018: 79)。该书在讨论此类文本的翻译时，最大的突破之处在于将视觉模态纳入翻译活动中的可操作对象加以考察，例如在分析“The Backbone”(下页图1)漫画的翻译策略时，考虑到图中V型手势含义的目的语文化(该书以意大利语作为目的语)中的信息缺失，而该信息又是理解图文关系的关键，作者提出对图中V型手势做出改动，替换成目的语文化中相同性质的手势，或在旁边用对话框插入侮辱性的语言。这一做法的实际操作性如何暂且不论，重要的是展现出了新的可能性。类似关于翻译中视觉模态的调整转换在其他案例分析中也有探讨。由此可见，多模态文本的翻译不仅涉及语际转换，也可能存在“符际转换”。该书中出现的“符际转换”不同于符际翻译，是特指同一非语言符号系统内的转换，这种转换具有跨文化意义，值得翻译研究者进一步探讨。

图1 The Backbone (Dicerto 2018: 105)

3.2 对译员培训的指导意义

多模态文本由不同模态共同建构意义，相互交织关系复杂(Kress & van Leeuwen 1996: 21)，若译员缺乏对各模态对于意义建构和信息传递的系统认识和整体把握，一来无法对文本做出全面、深入的解读，二来无法利用多模态资源重新建构与源文本释义相似的目标文本。对此类文本进行翻译需要译员进行“认知性翻译”，有意识地分析翻译问题并选择解决策略，而非仅仅依靠本能和自然联想进行“直觉性翻译”(贺莺 2016: 87)。Taylor谈到，如果各模态建构意义的方式及其关系能够得到确定，那么译者在视听翻译中就有望得到一个有力工具(Taylor 2013: 99)，该书的独特贡献正是在于通过确定多模态文本的信息结构为译者提供了一个文本分析工具，通过对文本特点和翻译中潜在难点的细致分析，为翻译做准备(Williams & Chesterman 2014: 9)。诺德也在《翻译的文本分析模式：理论、方法及教学应用》(第二版)的引言部分阐述了翻译中进行文本分析的必要性，指出文本分析“是确保准确、全面地理解源语文本的唯一途径”，以翻译为导向的文本分析应为译者提供“永久性的参考框架”，使其明确翻译问题，从而在翻译过程中做出相应决策(诺德 2013: 1)。译员应用该书提供的模式对多模态文本传递信息的方式进行分析，能提高翻译实践中的问题意识，从对多模态文本“无意识”的“直觉性翻译”转向“有意识”的“认知性翻译”。

四、不足与局限

作为多模态文本分析框架，该模式涵盖了多模态文本的各个方面，从分组到个体模态再到模态间的互动，最后到文本的推理意义，细致全面地呈现出多模态的信息结构和意义生成。但是分析框架中多模态互动关系类型的穷尽性、界限性和分类标准值得进一步商榷。作者对每一种互动类型概念的定义不够充分、明确，且缺乏举例解释。这一点似乎也是多模态话语研究的通病，朱永生(2007: 85)就曾表示，多模态之间的“互动关系和互补作用难以确定”。

多模态文本分析模式局限于多模态的语义信息，仍然停留在语义分析的层面，即确定构成成分之间的“结构”概念，将各模态视作多模态文本的构成成分，试图以模态互动关系来确定多模态结构，然而多模态文本还有其他重要的维度，例如布局结构传递的美学信息。

作者将该研究考察的多模态类型界定为语言、视觉和声音，这3种模态在前4章的讨论中均有涉及，然而第五章实际应用中用到的语料都是静态的视觉文本，没有包含声音模态的动态文本。

该模式运用在译者实际的文本分析中有以下几点缺陷：1) 模态互动分类繁多，译员使用起来有一定的困难。正因为如此，作者也承认该模式不适用于专业译者快节奏的日常翻译活动。当然，这并不否认该模式对于拓宽译者对多模态文本的认识，提高其分析能力上的作用。2) 在很多情况下，解读多模态语义表征需要额外的语境知识，如作者分析图1的时候指出有两个背景是理解的必要前提，一是漫画上方的文字“My message to conservative members, the backbone of our party”是卡梅隆社交媒体上的推文，二是漫画中掌心向内的V型手势在英国文化中是一种侮辱和挑衅。没有背景知识，我们就无法判断图文的互动关系。相反，如果译者已经具备背景知识，则无需互动框架也可以推理出明示意义和隐含意义。

五、启示

国内多数的多模态翻译研究是应用研究，多是套用多模态话语分析理论对特定类型文本译文的翻译批评研究，研究对象、视角和方法较为单一，且多数研究成果零散，翻译学尚缺乏能用于深入分析多模态文本翻译的理论模型(许勉君2017: 43、45)。笔者希望借由该书的评述引起我国翻译学界对多模态翻译理论建构的重视。目前国内外虽有一些较为成熟的多模态话语分析理论，但在多模态文本的翻译研究中大多将其生搬硬套。若要真正建立起成熟的多模态翻译理论还需结合翻译活动本身的特点和翻译理论，国内在这方面理论创新的尝试还较少，尚未出现建构完备的多模态翻译理论框架。多模态翻译研究需要放眼多模态话语研究以外的世界。潘艳艳、李战子(2017)通过归纳以2003—2017年国内外语类为主的核心期刊发现国内多模态话语分析主要以社会符号学和系统功能语言学为理论基础，指出多模态话语研究的未来发展应该融合视角，扩展领域及拓宽视野，探索其他路径。陈风华、维勒索(2017)在对国内外核心期刊进行知识图谱演化分析的基础上提到多模态话语研究作为新兴学科仍然缺乏独立、完整的理论储备，需要走一条多学科融合的发展路径。因此，多模态翻译研究的理论建设若只关注多模态话语研究成果，只是一味借鉴，便只能尾随其后，受限于这个特定研究领域的发展水平。多模态翻译研究作为一门独立的研究领域应当培养自身直接从其他学科获取养分的能力，从多模态话语分析单腿跳发展为多足鼎立的研究局面。

翻译学界尚缺乏对多模态翻译理论的建构，该书是一次大胆创新和成功尝试，从多模态研究成果的梳理、发展现状的分析以及研究方法的归纳评述，到理论基础的确立、分析框架的建构，再到实际应用，虽然并不尽善尽美，但研究前景广阔，既可在此基础上进行完善，亦可作为其他相关研究的起点。同时，书中的文献综述体现了国外多模态研究领域的发展状况和最新进展，内容翔实，分析到位，对刚接触该领域的研究者而言是不错的入门读物。最后，该书针对多模态翻译建构的文本分析模式丰富了译者的学习包和工具箱。