数字化读图时代多模态翻译能力与培养策略

吴静 龙明慧

(重庆师范大学 外国语学院,重庆 401331)

0 引言

21 世纪是一个数字化时代,也是一个读图的时代。 在这个时代,数字、网络和新媒体技术在各个领域得到广泛使用,人们的阅读习惯出现视觉化转向,整合语言文字、图片、影像等多种符号的多模态信息传播日益成为信息传播的主流方式。 相应地,在翻译领域,翻译的对象也已远超出传统线性文本范畴(王少爽 等,2018),译者在更多时候需要处理的是整合文字、图像、声音、影像等多种模态符号的多模态文本,进行多模态翻译。 能够处理多模态文本,以及运用多模态手段进行翻译的多模态翻译人才的培养也变得极为必要。

多模态翻译有不同于单一语言模态翻译的特点,最突出的就是在翻译过程中涉及多种模态符号的意义构建。 因此,相对于单一语言模态翻译,多模态翻译对译者有着不同的要求。 然而,在当前的翻译教学领域,虽然越来越多的声音倡导多模态教学,但学者们提及的多模态翻译教学主要限于利用多媒体技术、多媒体网络平台或多模态材料作为辅助工具来进行语言翻译教学活动。 这些方法旨在培养语言翻译人才,尚未深入研究多模态翻译实践本身的特点及其对译者提出的新要求,以解决多模态翻译人才培养的问题。 能力的培养是翻译人才建设的核心(唐昉,2022)。 那么,培养多模态翻译人才的核心问题就是培养学生的多模态翻译能力。 因此,本文结合多模态翻译的特点,构建多模态翻译能力模式以及多模态翻译能力的具体培养策略,为培养更能适应时代需求的多模态翻译人才提供借鉴。

1 数字化读图时代的多模态翻译能力模式

翻译能力一直是翻译研究,特别是翻译教学研究的一个重要话题。 对于翻译能力,学者们一般从不同角度,通过翻译的“子能力”对翻译能力进行诠释。 纽博特(Neubert)(2000:3-18)认为翻译能力包含语言能力、文本能力、主题能力、文化能力和转换能力。 麦肯齐(Mackenzie)(2004:32-33)指出,翻译能力不仅包括语言文化运用能力,还包含沟通能力、计算机运用能力、营销能力和管理能力。 西班牙PACTE 专项研究小组提出翻译能力“六成分说”,即翻译能力包括双语子能力、语言外子能力、翻译知识子能力、工具子能力、心理生理要素和策略子能力等六大子能力(PACTE,2005; 祝朝伟,2015)。 谭载喜(2012:115)从“综合”的概念出发来考察对译者或翻译专才的教育,认为译者或翻译专才应该具备基本的 “子能力”,即认知能力、相关双语能力、技术辅助能力和转换能力。 而我国2020 年发布的《翻译专业本科教学指南》借鉴国外翻译能力研究的相关成果,经由国内翻译学界对翻译能力内涵的持续探讨,将翻译能力界定为:“能运用翻译知识、方法与技巧进行有效的语言转换,一般包括双语能力、超语言能力(如百科知识、话题知识等)、工具能力、策略能力等。”(赵朝永 等,2020)

目前学界提出的翻译能力,不管是语言能力还是语言外能力,最终指向的都是依靠并运用这些能力顺利地将一种语言文本表述的信息用另一种语言表述出来。 也就是说,学者们在探讨翻译能力时都是以语言为意义载体的翻译为默认对象。 而多模态翻译涉及对多种模态符号的意义处理,对译者翻译能力自然会有更多要求。 译者除了要具备单一语言模态翻译要求的能力以外,还需要具有非语言视觉符号处理能力以及将语言符号和非语言符号进行有机整合的能力。 因此,我们可参照学界对翻译能力的解释,将多模态翻译能力分为语言翻译能力、视觉读写能力①虽然有的多模态文本也包含听觉信息,但目前翻译涉及的大多数多模态文本,最突出的意义构建资源还是语言符号和非语言视觉符号,因此本文重点研究涉及视觉信息的多模态翻译能力培养,将视觉读写能力而非听觉读写能力作为多模态翻译能力的一个子能力。和多模态整合能力这三个子能力。 而这三个子能力又可以进一步进行细分,具体如下图所示:

图1 多模态翻译能力模式

1.1 语言翻译能力

语言翻译能力就是迄今学界所讨论的翻译能力,即从事语言翻译涉及的各种能力。 具体而言,就是理解原文语言承载的信息,并结合读者需求,以合适的方式将其用目标语言再现出来的能力。 要正确全面地理解原文语言承载的信息并将其转换为另一种语言,译者首先需要具备双语能力,能够理解和熟练运用翻译所涉及的两种语言。 然而,语言并非存在于真空中,而是凝聚了各种文化、社会和历史因素。 因此,除了双语能力外,译者还需要具备语言之外的百科知识能力,掌握社会文化知识、主题知识等。 要获取这些知识,自然离不开运用辅助工具的能力。 此外,由于不同语言、文化之间的差异,以及翻译环境、读者需求方面的差异,译者在用译文语言呈现原文信息时,往往需要进行一些调整和改动,这就需要译者具有翻译策略能力。

关于语言翻译能力,学界已有广泛而深入的阐述。 本文不再赘述其详细内涵,而将重心置于对视觉读写能力以及多模态整合能力的探讨。

1.2 视觉读写能力

视觉读写能力是“一种就像计算、信息技术和识字一样的跨学科文化技能”(Hughes,1998:117)。具体说来,就是指理解和应用图像的能力,包括运用图像进行思考、学习和表达自己的能力。 换言之,拥有视觉读写能力就是要能够创造或选择合适的图像来表达从具体信息到抽象概念中的各种意义。同时,可以阅读、解释和提取他人创造的各类视觉信息(刘成科 等,2014)。 因此,视觉读写能力至少应该包括视觉信息理解能力和视觉图像设计创造能力这两个子能力。

1.2.1 视觉信息理解能力

视觉信息理解能力是指能够识别各种视觉设计元素,理解视觉符号的意义,了解一般人对某个图像会产生什么样的反应,并能解释其原因。

而视觉符号的意义,和语言符号的意义一样,并不局限于表层意义。 早在1955 年,德国艺术史学家潘诺夫斯基(Panofsky)在论述如何理解艺术品图像时就提出了理解艺术品图像的三个阶段,即:(1)前图像志阶段(preiconographic)、图像志阶段(iconographic)、图像学解释阶段(iconological)。 这三个阶段对应视觉图像的三个意义层次,即事实意义、表现意义和内在意义(Serafini,2011)。

第一个阶段前图像志阶段,聚焦图像的事实意义,主要是对视觉形式最基本、最自然的意义的解释,涉及将视觉形式与我们从实际经验中认识的对象简单等同起来。 简言之,就是能够识别视觉图像所指代的实际事物。

第二个阶段图像志阶段,聚焦图像的表现意义,主要是对视觉形式从属的或约定俗成的意义的解释,要求观察者跳出表面意象,结合实际社会和特定文化理解视觉形式所代表的意义。 比如竖大拇指在中国文化中表示称赞,但在其他文化中可能有不同的意义。 又如同样的颜色、动植物在不同的社会文化中也可能具有不同的含义。 而理解视觉图像这一层次的意义对于从事多模态翻译极其重要。 翻译总是涉及两种文化之间的转换,译者在理解原文涉及的视觉符号时,就必须考虑该视觉符号在原语文化中约定俗成的意义,同时考虑目标读者在理解该视觉符号时可能会和原文读者产生不同的反应,以及如何避免目标读者对视觉符号可能产生的误解或理解困难。 若是使用多模态手段对单一语言模态原文进行翻译,在选择视觉符号时更要考虑来自不同文化背景的目标语读者对视觉符号的接受情况,避免出现文化误解。

第三个阶段图像学解释阶段,聚焦图像的内在意义的解释。 图像总是产生于特定的社会、政治和历史语境之中,并因此获得特定的意识形态和文化意义。 要正确理解图像的这一意义,就需要观察者将图像置于特定社会、政治和历史语境中进行分析。 如万字符“卐”本是佛祖释迦牟尼胸部所现的“瑞相”,象征吉祥福瑞,具有“万德吉祥”的含义,但自二战后成为德国纳粹的党徽,具有了血腥、暴力和恐怖的象征意义。

视觉符号这三个层次的意义其实刚好对应语言的指称意义、内涵意义和象征意义。 这三种意义中,第一个层次的意义,也就是视觉符号的事实意义,由于图像的直观形象性,最易理解。 而要理解第二个、第三个层次的意义,则需要进行系统学习。 因此培养学生理解多模态文本中视觉符号在特定文化的内涵意义和象征意义应成为培养学生视觉读写能力的重点目标。

1.2.2 视觉图像设计和创造能力

视觉读写能力中解码与编码两种能力同等重要(Braden et al., 1982)。 除了解码能力,即理解视觉信息的能力,视觉信息的编码能力,进行视觉图像的设计和创造的能力也是视觉读写能力不可或缺的部分。 视觉图像的设计和创造能力,就是基于对视觉元素的了解,能够运用一定的工具,选择合适的原创图片或者根据视觉传播的基本原则对基本视觉元素进行综合设计,传递想要表达的意义,引起读者认知和情感上的反应。

鉴于视觉图像往往具有如上所述的三种意义,进行视觉图像的设计和创造就不能仅限于运用视觉图像来传达其事实意义,而是要能够运用合适的视觉符号在特定文化、特定社会、政治和历史语境中传达更深层次的意义,确保读者能够理解图像的内涵意义或是象征意义,从而产生共鸣。

对于运用多模态手段对单一语言模态文本进行翻译,译者的视觉图像设计和创造能力是十分重要的。 虽然存在从事图像创作的专业人士,但不同于艺术领域内的艺术创作,翻译中设计创造图像的目的是更有效地辅助传达原文的意义和内容。 单单依靠从事图像创作的专业人士所设计的图像未必能满足多模态翻译的需求,例如为了追求艺术效果,有些图像设计者往往倾向于设计一些抽象、模糊、写意的图像。 但对于这类图像,普通读者未必能够理解。 因此,进行多模态翻译,还需要译者具备基本的图像设计创造能力,能够立足原文信息的传达以及目标读者的文化背景,灵活运用色彩、声音、动画、人物或事物形象等,选择合适角度、焦点和背景生成图像或影像传达原文各个层次的意义,特别是传达原文无法用语言表述清楚,或是目标读者单单依靠语言无法实现全面理解的信息。 同时考虑视觉符号文化特殊性,避免出现在目标语文化中属于文化禁忌,或是让目标语读者困惑、误解的视觉信息。 在多模态翻译过程中,即使视觉图像的创作由专门的图像制作者完成,译者仍然需要积极参与并与他们进行有效的沟通。 要实现与图像制作者的有效交流,译者也需要具备基本的视觉图像设计和创作能力。 这样,译者才能更好地理解和传达原文的内容和意义,并确保翻译文本与所生成的图像之间的一致性和准确性。

1.3 多模态整合能力

进行多模态翻译,不是仅仅理解和创造视觉文本,而是要理解和创造语言和非语言符号整合而成的文本。 要做到这一点,除了语言翻译能力和视觉读写能力外,多种模态的整合能力也必不可少。 而多模态整合能力具体又可以细分为图文关系识别和构建能力以及图文互动策略能力这两个子能力。

1.3.1 图文关系识别和构建能力

对于多模态语篇,图文关系将直接影响语篇意义的生成与理解(刘成科,2014)。 而从事多模态翻译,不管是理解多模态原文,还是生成多模态译文,译者首先需要明确的便是图文关系。

当翻译的对象是多模态文本时,如影视、绘本、配图广告、新闻等,译者首先需要识别语言符号和非语言符号这两种不同的符号体系如何相互联系并生成意义,非语言符号和语言符号是呈现同样信息的冗余关系,还是表达不同内容的互补关系,亦或是非语言符号提供语言信息的背景,或是对语言文本的装饰。 译者只有在明确这些关系的基础上才能确定在翻译过程中是否要对非语言符号进行特别处理。例如,若原文中非语言符号和语言符号是冗余关系,译者几乎不需要对非语言图像进行特别处理。 但如果在原文语境下非语言符号是对语言符号提供的信息进行进一步补充,译者便需要做出研判:在目标语环境下,目标语读者是否能够理解这些补充信息? 若不能,是需要更换图像,还是对图像进行额外的解释? 译者甚至可能还需要考虑原文的图文关系是否适合用于目标语语境中,译文是否要改变原文的图文关系。

若是运用多模态手段对单一语言模态文本进行翻译,译者则需要确定对于原文完全用语言表达的信息,需要使用什么样的视觉符号。 视觉符号和语言符号以一种什么样的关系才能更好地传达原文的意义,且更容易为目标语读者所理解。 确定译文的图文关系后,译者才能据此选择、设计合适的非语言符号,并对这些非语言符号进行排版布局,最终生成有效的多模态译本。

1.3.2 图文互动策略能力

图文互动策略能力是指在使用语言符号和非语言符号共同构建译本时,能够运用一定的策略,使语言符号和非语言符号互相整合,成为一个有机整体,共同传递文本意义。 比如,在用多模态手段翻译单一语言模态原文时,若是在文本中插入了插图且这些插图明确表述了原文文本的某些信息,那么译文在语言描述上便可以进行适当的删除和简化。 若是插图中出现令读者理解困难、可能产生误解的信息,就需要在语言描述中增加适当的解释。 又如译者在翻译多模态文本时,若是发现在原文语境中,本来彼此关联的原文语言和非语言符号,到了目标语环境中由于语言和目标读者文化认知语境的不同,语言和非语言符号失去了关联,译者便需要调整语言表达或非语言符号,实现译文语篇中语言符号和非语言符号的连贯重构,使语言符号和非语言符号在目标语语境中重新成为一个有机整体。

由于多模态翻译本身的特殊性,译者要从事多模态翻译,语言翻译能力、视觉读写能力以及多模态整合能力这三个子能力缺一不可。 然而,目前翻译专业和外语专业的学生普遍缺乏视觉读写能力和多模态整合能力的培养。 这两种能力的培养需要采用与语言翻译能力培养不同的策略和方法。 因此,当前需要着重探索针对视觉读写能力和多模态整合能力的培养策略,以满足日益增长的多模态翻译需求。

2 数字化读图时代的多模态翻译能力培养策略

如前所述,数字化时代的多模态翻译能力应该包括语言翻译能力、视觉读写能力以及多模态整合能力。 对于语言翻译能力的培养,学界已有大量论述,本文在此主要探讨从事多模态翻译所需要的视觉读写能力和多模态整合能力的培养策略。

视觉读写能力主要包括视觉信息理解能力和视觉图像设计创造能力,而多模态整合能力则包括图文关系识别构建能力和图文互动策略能力。 要培养这几个能力,可以通过具体的多模态翻译实践案例,教授学生识别各种视觉元素,再以视觉语法为指导,了解视觉图像的意义构建原则和方式,激发学生视觉符号的文化差异意识,继而训练学生识解各种图文关系,熟悉多模态整合策略。

2.1 引导学生识别视觉元素,以视觉语法为指导,了解视觉图像意义构建原则

视觉信息通过视觉图像呈现,而视觉图像则是由各种视觉元素整合构成。 不管是理解视觉图像的意义,还是设计创造视觉图像,都需要熟悉构成视觉图像的各种元素。 因此,培养学生视觉符号的理解和运用能力,首先需要教会学生识别各种视觉元素,了解各种视觉元素如何构建意义。

视觉元素包括线条、形状、色调、色彩、图案、纹理和形式等,是艺术作品的基本构件①对视觉元素的具体详细介绍可参见https:∥www.artyfactory.com/art_appreciation/visual-elements/visual-elements.html.,相当于语言中的字和单词。 这些基本元素本身具有丰富的意义,同时又根据一定的原则组合起来传达更多的意义。 如不同的色彩,除了指代色彩本身以外,还有不同的联想象征意义。 色彩和形状、线条、图案组合起来又会传达不同的意义。 如陈丝雨绘图、孙见坤进行文字注解的《山海经》图文版,其中的插图使用了黑、白、红三种颜色,刚好契合中国人民历来对这三种颜色的偏爱以及这三种颜色代表的深厚文化内涵①对于黑白红三色在中国文化中的特有内涵和重要意义,参见李彦彬,2009.中国传统色彩中的黑白情结. 艺术教育[J].(7):156-157,以及“中国传统‘红’与‘黑’色彩元素的文化探源https:∥wenku.so.com/d/41c454e150cfac599049b75ba083ba66.。

对于各种视觉元素如何表达意义,克莱斯等(Kress et al., 1996) 在韩礼德的系统功能语法理论的基础上提出的视觉语法为我们提供了一套系统的分析框架。 两位学者将韩礼德(Halliday)提出的语言的三大元功能延伸到视觉图像,认为视觉图像具有再现意义、互动意义和构图意义,分别对应语言的概念、人际和语篇的三大元功能。 其中,再现意义可分为叙事再现和概念再现两大类。 叙事再现主要分为行动过程、 反应过程、 言语和心理过程。 概念再现则主要分为分类过程、分析过程和象征过程。 体现再现意义的符号资源包括表征参与者、过程和环境。 表征参与者是指被描绘的,“我们所谈论的、书写的或是为之生成图像的”的参与者(Kress et al.,1996: 48),例如图像中的人物、事物和地方。 过程指图像中描绘的动作和关系。 环境则指图像中描绘的场景。

视觉图像中的互动意义指图像制作者、图像所呈现的世界与图像观看者之间的关系,同时表达图像观看者对表征事物应持有的态度(张敬源 等,2012)。 实现互动意义主要依赖接触(contact)、社会距离(social distance)、态度(attitude)和情态(modality)四个要素。 接触指图像中的参与者与观看者通过目光建立起来的一种想象中的关系。 社会距离决定图像参与者和观看者之间的亲疏关系,进而展示一种社会关系。 这种亲疏关系主要通过镜头取景的框架大小得以体现,特写或近镜头、长镜头、中镜头分别表示不同的亲疏关系。 态度指图像观看者对图像参与者的态度,主要通过视角体现,水平角度体现观看者介入图像世界的程度,垂直角度则体现两者的地位差异。 情态强调图像世界反映现实的真实度,与色彩饱和度(color saturation)、色彩区分度(color differentiation)、色彩协调度(color modulation)、语境化(contextualization)、再现(representation)、深度(depth)、照明(illumination)和亮度(brightness)相关。 以色彩饱和度为例,如果颜色传达情感,那么饱和度就是这种情感的饱满度,饱和度等级就等同于感情从最强烈到最柔和的等级。 图像饱和度高可能代表一种积极的、冒险肆意的或充满活力的情感,而饱和度低则可能表达一种平淡、压抑和阴郁的情感(Chen,2021)。

视觉图像的构图意义指图像如何整合其再现意义和互动意义,从而形成一个有意义的整体,主要通过信息值(information value)、显著性(salience)和取景(framing)实现。 信息值通过图像中元素的位置安排来实现,通过位置安排可以判断图像元素的地位、角色和重要性(Kress et al., 1996)。 也就是说,图像元素在整个图像的中央、边缘、左侧、右侧、上方、下方等方位会传递不同的意义;取景指通过分割线条或分割框架来连接或隔断图像中的元素,来表达意义上的从属或不从属关系(张敬源 等,2012);显著性指图像元素对读者注意力的吸引程度,通过前景、背景、相对大小、色调、清晰度等方面体现(Chen,2021)。

基于视觉符号传递信息的特点,要培养学生的视觉读写能力,我们可以首先引导学生认识单个视觉元素,让其了解单个视觉元素的不同形式所表达的意义以及人们会如何感知这些视觉元素,会对这些视觉元素的不同形式产生何种联想。 例如,线条的不同形式:曲线表达什么意义,直线、锯齿线、水平线、垂直线又分别表达什么意义。 哪种颜色有什么具体及抽象的联想意义,不同色调如何传达不同的信息等等。

在学生了解基本视觉元素后,可以以视觉语法为指导,让学生了解由各个视觉元素组合而成的图像如何通过相对大小、位置安排、前景背景设置、色调、色彩饱和度、分割线、镜头长短、视角、人物目光注视方向等细节设置实现再现意义、互动意义和构图意义。 在具体操作上,可以给学生呈现一幅图片,然后以提问的方式引导学生对图像意义进行深度理解。 比如可以问学生:什么是前景? 什么是背景?图中人物在看什么? 图中人物是用长镜头拍摄,还是中、短镜头? 这样的拍摄给你什么样的感觉? 某个人物或物体在整幅图像占据中心位置,还是边缘位置,是在左边还是右边,上面还是下面? 这样的位置传达出什么信息? 图像使用了什么色调? 这种色调给你什么样的感觉?

除了提问引导,还可以通过图像对比的方式加深学生对图像细节设置的认知。 比如呈现一幅图画中两个人物大小、位置的差异,让学生推敲这种差异代表什么意思,是否代表两个人物地位的不同? 也可选择报道同一事件的不同新闻图片,让学生分析图片中的前景和背景设置的差异,或是物像色彩饱和度等的差异,进而解读作者看待该事件的不同视角和态度。

培养学生的视觉读写能力,就如同培养学生的语言读写能力一样,可以从单个视觉元素到元素整合的规则和方式,让学生逐步学会对视觉图像进行深入细致的分析,为多模态翻译奠定基础。 不过,多模态翻译涉及跨文化的图像理解和创造,而图像也和语言一样,具有文化特殊性,因此在学生了解基本的视觉符号及其意义构建方式后,还需要培养学生的视觉符号文化差异意识。

2.2 激发学生视觉符号文化差异意识

如前所述,图像和语言一样,具有多重意义。 除了事实意义以外,其表现意义和内在意义都和图像所处的文化背景有着非常密切的关系,具有文化特殊性。 对于同一个视觉符号,在不同的文化背景中,其所表达的表层含义或者隐性意义也会因此产生偏差。 如因汉民族先祖之一轩辕氏经常穿黄衣,加之“黄”和“皇”谐音,黄色在中国便具有了皇权、尊贵之意。 而在西方文化中,由于背叛耶稣的犹大喜欢穿黄色衣服,黄色便有了背叛、卑鄙的联想意义。

此外,视觉符号相比文字符号更具多义性,在编码和解码的过程中由于文化差异极易出现误读。人们在理解文本时,一般都会下意识地基于自身的文化背景、生活经历和文化立场进行理解。 理解语言文本如此,理解视觉文本则更是如此。 如生活在中国文化背景下的读者普遍能对龙凤、麒麟、虎狮、如意、八卦等文化符号产生心理情感共鸣,而西方读者则鲜有这样的联想。 若是在多模态翻译中,译者没有这样的意识,对这些图像缺乏必要的解释和说明,国外读者便无法像中国读者一般产生同样的反应。 因此在进行跨文化多模态翻译时,译者必须要具有较强的视觉符号文化差异意识,在翻译多模态文本时,一方面要立足原语文化语境理解图像意义,同时也要预测目标读者可能对原文图像的反应,必要时增加语言解释或改变图像以避免目标读者对图像的误读,帮助读者理解图像所代表的真正含义。此外,在运用图像对原语语言文本进行翻译时,更是要选择目标读者易于接受的图像,辅助传达原文意义。 若是无法进行视觉图像的归化处理,就需要通过语言对视觉图像进行额外解释,避免读者对图像产生误读。

因此,培养学生的视觉读写能力,非常有必要激发学生对于图像的文化差异意识。 这可以分两个层面进行。 首先是通过对比,让学生了解单个视觉元素的文化特殊性,如图像的色彩、位置所代表含义的文化差异。 然后再展示不同国家、民族和文化在传递某一主题内容的图像,引导学生挖掘图像所传递的独特文化信息,以强化学生的文化意识,使学生在进行多模态翻译的过程中,能够识别展现了独特文化信息的视觉元素,进而判断这些视觉元素是否可能给目标读者带来理解困难或是引起误读。 如有,则需在语言翻译上进行解释。 例如,在浙江嘉兴的宣传片中,出现了一艘红船。 这艘红船代表着什么样的含义? 又比如在《话说中国节》宣传视频中介绍冬至演变成祭天祭祖的节气,为什么画面只呈现了点燃的香烛? 介绍立冬补冬为什么呈现的是煲汤的画面? 提到以二十四节气为灵感的美食菜品,为什么会搭配饺子的画面? 介绍七夕时为什么画面会出现一对鸳鸯? 多模态文本中存在的不少文化细节能让原文读者感知并产生情感共鸣,但他国文化的读者未必能理解其中的内涵。 在翻译这样的多模态文本时,译者若不能识别这类文化信息并进行额外处理,目标观众便很难理解这些图像的深层文化意义,导致文本整体意义的传达受到影响。

2.3 训练学生识解各种图文关系,熟悉多模态整合策略

多模态文本总是通过语言和非语言模态共同构建意义。 在进行多模态翻译时,译者必须清楚多模态文本中的图像和文字是如何进行互动协调的,以及在传递某个信息时图像和文字之间的关系是怎样的,才能确定如何整合图像和文字以实现信息的最佳传播效果。 例如,若是图像和语言文本传递同样的信息,语言翻译时便可以酌情删减某些信息。 若是在传达某个信息时,图像展示更多细节信息,是对文本部分内容的例证,翻译时语言翻译便可以采用泛化策略。 若是图像解释拓展文本,提供了更为具体的信息,译者也可以根据图像信息将文本内容具体化。 如葛浩文在翻译陈丝雨配图的《山海经》时,很多时候都结合图像,对原文进行了泛化或具体化处理。 以对蛊雕的翻译为例,原文为“水有兽焉,名曰蛊雕,其状如雕而有角,其音如婴儿之音,是食人”。 陈丝雨为蛊雕绘制了非常精致的插图,呈现了更多的细节信息,葛浩文的英译本则根据插图所呈现的蛊雕形象,对蛊雕进行了更为具体的描述:

It was the source of the Zegeng River, which flowed east and emptied into the Pang River, where lived a strange man-eating creature that resembled, but was not, an ordinary bird. A horned vulture, the Gudiao had a richly feathered body, a serpentine tail, and a head with a hooked beak and a single horn from which several pointed ends bent backward(Goldblatt, 2021 : 22-23).

图2 蛊雕

原文对蛊雕外形的描述非常简单,只提到了“其状如雕而有角”,但译文却进行了非常详细的描述,增加了“richly feathered body, a serpentine tail, and a head with a hooked beak and a single horn from which several pointed ends bent backward”诸多细节信息。 同时,该译本使用了指涉极为广泛的“creature”翻译原文的“兽”。 若是没有插图,“creature”很难让人对所指对象产生具体的想象,但配上插图,这一泛化表达便丝毫无损目标读者对这一异兽形象的理解和认知。

因此,要培养学生的多模态翻译能力,除了前面提到的熟悉视觉元素及其意义构建方式,了解视觉符号的文化差异,还需要训练学生识解图文关系,并在此基础上使用恰当的图文整合策略,充分利用图文各自的优势传递信息。 对于这一点,也可以分为两个步骤进行。 首先可以给学生呈现大量体现不同图文关系的多模态文本,引导学生分析文字和图像分别传递什么信息,两者各自传递的信息有什么关系。 然后再引导学生将图文结合的信息用另一种语言翻译出来,设置一些如空间、时间因素限制,或者告知学生目标读者不同于原文读者的认知习惯,提示学生在图像保持不变的情况下,语言可以进行什么样的调整,或者能否根据翻译目的和目标语境的要求,调整图像形式,若是图像进行调整,语言又可以进行什么样的改动。 例如下面这部杭州宣传片中出现一幅说明杭州变化的片段:

图3 杭州宣传片片断

这幅画面背景模糊化,凸显了居于画面中间的蝴蝶破蛹而出这一意象,以表达杭州的蜕变成长。原文,也就是中文字幕“成蛹、破茧、化蝶”和图像是一种“冗余”关系,即图像与语言两种不同的模态符号表达的是同样的信息。 若是将“成蛹、破茧、化蝶”都译为英文,英文字幕便几乎要占据整排屏幕空间,目标读者未必能够在图像停留的短暂时间内看完所有字幕。 因此,翻译这句字幕时便可以提醒学生,不必译出原文所有内容,而是只选择“破茧”这一中间阶段进行翻译,译为“emerging from its cocoon”,这一英文表达结合图像,同样可以完整呈现原文语言和图像表达的意义。

除了通过多模态文本的翻译训练学生对多模态翻译策略的使用,也可以给学生一篇纯语言表达的文本,让学生分析文本中哪些内容可以使用图像来传达,图像和文本可以形成什么样的关系。 使用了图像后,语言的翻译又可以进行什么样的调整。 通过诸如此类的反复训练,逐渐扭转学生仅仅使用语言传达信息的习惯,强化其整合使用语言模态和非语言模态的意识。 如此,在进行多模态翻译时,才能真正有效地利用多模态优势传递原文信息。

3 结语

如今我们已经进入一个数字化时代。 在这样的时代,图像无处不在,读图成为一种风尚,思想和信息越来越依赖视觉形式进行传播,多模态语篇成为信息传播的主流。 相应地,在翻译领域,多模态翻译也必定会占据越来越重要的位置。 要满足这个时代翻译市场的需求,就必然需要译者具备多模态翻译能力。 多模态翻译涉及多种模态符号的意义处理,那么多模态翻译能力除了包括语言翻译能力,就还应该包括非语言视觉符号处理能力以及将语言符号和非语言符号进行有机整合的能力。 归纳起来,就是语言翻译能力、视觉读写能力和多模态整合能力。 视觉读写能力又具体包含视觉信息理解能力和视觉图像设计创造能力,多模态整合能力具体包括图文关系识别构建能力以及图文互动策略能力。 要培养这些能力,我们首先需要引导学生识别基本视觉元素,然后以视觉语法为指导,了解由视觉元素组合而成的视觉图像的意义构建原则和方式,同时激发学生视觉符号文化差异意识,通过文化对比,让学生学会理解图像深层含义,然后训练学生识解各种图文关系,熟悉多模态整合策略,逐步培养学生的多模态翻译能力,满足数字化读图时代翻译市场的需求。