多模态口译教学中的口述影像:研究现状与前景展望

詹成 张晗

(中山大学 外国语学院,广东 广州 510275)

0 引言

口述影像,或称“视障口述影像服务”,是将影像信息转换成叙事言语,使视障人士能够感知比较完整的画面内容。 口述影像涉及视觉符号和言语符号之间的转换,因而传统上被看作是视听翻译的一种形式,纳入翻译研究领域。 萨宾·布劳恩(Sabine Braun)认为现场开展的口述影像是一种区别于视听翻译的“视听口译”(Braun, 2008:14-30)。 露易丝·弗赖尔(Louise Fryer)也指出,现场口述影像活动和口译由一套共同的交际要素制约(Fryer, 2016)。 现场口述影像活动更接近于口译,涉及的不是两种不同语言,而是以视觉符号为“源语”,译入视障人士所使用的“目标语”。 口述影像的源语为多模态立体语篇,其意义由发言人的语言信息和非语言信息复合而成(蒋莉华 等,2020);而口译活动中言语、副言语和体态语被视为功能上相互关联的结构整体,三者在不同的交际场合中或同时发生,或轮流运作,或相互替代,共同产生和传递意义(Poyatos, 1987: 240-242)。

弗朗兹·波契哈克(Franz Pöchhacker)指出,模态构成了口译研究的新一轮转向(Pö 吸气,2022)。 在口译教学中,模态一词被用于描述不同形式的符号资源,如书面文本、语言文本、图像、声音等来建构意义和表征意义的过程(康志峰 等,2023)。 现有研究多考察如何使用多模态学习资源和学习环境等丰富口译课堂活动和学生自主练习(陈卫红,2014;刘剑,2017;黄立鹤 等,2021),而针对多模态口译技能训练的探讨尚不多见。 以技能为主线的口译训练应是口译教学把握的重点(詹成,2022a),因此需充分开发和利用口译训练维度的多模态资源,使其与口译能力培养形成有机结合。 由于口述影像对多模态信息的辨别、理解、加工、输出等能力均有一定要求,已经在外语教学和翻译训练中得到应用,成为一种技能强化的多模态训练手段。 本文基于对口述影像与口译多模态信息处理机制的探讨,考察评述对口述影像训练用于口译教学的相关研究,并在分析研究现状的基础上,对口述影像在多模态口译教学中的研究前景提出展望。

1 多模态口译教学中的口述影像方法理据

口译实践的核心在于调动双语认知处理、信息加工和人际协调,这种行为需发挥译员的专业技能。 在《中国翻译能力等级测评标准》(2022:3)中,口译能力被界定为“语言学习者和实践者以口语或手语形式,运用掌握的语言能力和翻译技巧,准确传达源语言中以文本、口语、中国手语表达的内容所包含的信息的能力”。 多模态口译教学的重点在于技能训练。 口述影像涉及不同模态之间的信息加工与转换。 口译能力与口述影像能力相关联,形成了口述影像应用于多模态口译教学活动的方法理据。

在语言习得维度上,口述员需熟练掌握母语,灵活地遣词造句,精练表达,以及对语域和风格等做出正确决策,这些都与口译员需具备的语言能力高度相似(Fryer, 2019:155-178),因此有研究探讨了口述影像训练对口译子能力如口语水平(Moreno et al., 2015)、词汇准确度和句法应用能力(Calduch et al., 2017)及语法能力(Schaeffer-Lacroix, 2020)等的积极效应,主要关注口译中的语言(外语)能力。 值得一提的是,已有研究论证,经过外语口述影像的训练,学生的翻译能力得到显著提升(Talaván et al., 2022)。

除语言技能和翻译能力外,对于口译更为关键的认知能力方面,口述影像与口译亦有共通之处。 在信息处理维度上,口述影像的多模态源文本主要包含视觉和听觉信息,听觉信息多呈显性,视觉信息则多呈隐性。 对多模态源语的理解要整体考虑所有模态传递的信息,确定隐性视觉信息在视听文本整体意义中的作用,并挑选出需要描述的视觉内容进行传达(蒋莉华 等,2020)。 口译是多模态互动的意义生成过程,译员亦需理解整合各种模态的信息。 如在交替传译中,译员对非语言信息的捕捉对于意义传递具有积极作用,尤其是在信息输入阶段,若与讲者有频繁的眼神交流,其译语的准确性与一致性更高(Ouyang et al.,2020);而在同声传译中,译员可见讲者姿势,会增强译员在场感与信息明确性,对同声传译质量产生积极效应(詹成 等,2021)。 可见,多模态信息是口译与口述影像意义传达不可或缺的资源,并动态存在于各个认知环节,如表1 所示。

表1 口述影像与口译的多模态认知过程

首先,在信息输入环节,口述员选择、提取视觉、言语和声音信息,通过已备知识和语境做出判断,并且随着新信息输入不断转码。 对于口译员来说, 源语信息同样以多信道形式进入译员的心理加工系统。 译员通过语音知觉、视觉识别等认知过程,将外部输入的信息与大脑中的已备知识存储接通,进行联系、比照、分析等操作, 对这些输入的符号资源进行递增解码。 其次,在信息加工环节,口述影像涉及的视觉信息处理是评估、选择和决策的过程。 口述员需区分如声音、音乐和对话等可通过听觉传递的信息,以及无法被视障人士所感知、只能通过视觉表达的信息,衡量多模态信息的搭配,即描述什么、何时描述以及如何描述,结合既有知识、专业、经验做出选择,激活心理表征;口译认知加工过程中,工作记忆与长时记忆相互作用,存储、提取应用信息,并在两种语言的竞争中维持语码转换,建构命题意义。 最后,信息输出时,口述员通常以与视听文本言语模态相同的语言符号编码,并在合适的声音间隙进行表述,保障视障听众模态信息接受与理解的连贯性(Holsanova,2022:59-61);而在口译产出过程中,译员须在有限的时间内以目标语语言表达形式外化的语音信号为主,同时结合发言人传递的副语言信息(如语速、音量、重音、语调)和非语言信息(如面部表情、手势、幻灯片),为受众构建完整的信息来源。

多模态信源的认知加工直接影响口述影像与口译交际的质量。 口述员与口译员作为多模态信息的接受者和发送者,须时刻考量多模态信息交互的作用,具备理解、分析不同模态及其意义生成的多维识读能力。

2 多模态口译教学中的口述影像研究现状

有少数研究者关注到口述影像与口译在多模态认知处理方面的共性,围绕口译能力的不同维度,开展了一定的理论探讨与实证研究,总结出口述影像作为多模态口译教学新方法的积极成效。研究者均认为,在口译教学中运用口述影像训练,能够对学生的注意力分配、信息记忆与整合、目标语表达等方面的能力产生作用。

2.1 注意力分配能力

口译活动,尤其是带稿同传,以及随着数字技术发展兴起的新型口译形式“交同传(consecsimul)”(Orlando, 2014),由于多感官输入和视觉干扰,对认知处理有更高的要求。 译员需注意听觉频道的讲者源语和视觉频道的源语文本信息,促发认知资源的协调和分配。 当视听信息不一致时,译员要付出更大的认知努力;信息一致时,能灵活识别有助于听觉加工的视觉信息(苏雯超 等,2021)。 观察能力是口述影像员必备的能力之一(Snyder, 2005),口述影像的认知加工过程涉及因源语篇接收所触发的视觉信息抓取行为。 通过训练对视觉信息的观察与分析,并与听觉信息相互配合,可帮助译员适应多渠道信源的注意力分配。

香港城市大学的鄢秀(Jackie Xiu Yan)和罗康特(Kangte Luo)尝试将口述影像训练植入口译专业研究生课程中,开展了系列研究(Yan et al., 2022)。 在为期两周的母语口述影像训练中,设计课堂活动,有意识地凸显视觉信息的丰富性和重要性,引导学生抓取和分析多模态语篇中的视觉资源。 课后调查显示口述影像训练对于学生的口译能力有积极效应,学生高度认可。 口述影像训练显著地提高了学生的观察能力, 使他们更加注意讲者的情感和语气,对于情境中的元素更为敏感(Yan et al., 2022:431)。 另一研究发现了学生在接受口述影像训练后,在视觉与听觉信息并行的情况下,能够更好地平衡不同模态之间的注意力分配,在有限认知资源的竞争中保持对于其他模态信息的敏感度。 因此,口述影像训练可强化口译学习者多任务的注意资源分配能力。

2.2 信息记忆与整合能力

口译任务所需的源语语言信息和其他感知信息汇聚在工作记忆系统中,在中央执行系统的协调控制下,主要由工作记忆系统的语音回路负责集中处理,随后进入语言转换系统(张威,2012)。在口译训练中,当讲者的语言信息形成图像,注意力便从具体的语言符号转到讲话人的“意义”上来,协调视觉空间模板和语音回路的配合,持续的视觉化训练可提升译入语信息产出的质量(詹成等,2014)。 口述影像的认知加工过程必然涉及视觉信息存储、阐释与重新概念化的视觉化加工过程。 因此,可利用口述影像视觉化信息处理机制提升口译工作记忆效率和整合信息的水平。

丁欣如(2022)以行动研究法为主,准实验研究法为辅,探讨了外语口述影像练习在本科口译教育中的作用。 在为期一学期的实验中,针对本科翻译专业三年级的《交替传译》课程开展三轮行动。通过各轮结束时的问卷与学习者反思日志、访谈、汉英交替传译前后测试成绩等数据分析,发现口述影像训练对于口译学习者的信息处理能力,尤其是提取、筛选和归纳重要信息方面有显著作用。首先,口述影像练习的多模态输入,有助于学习者改善思维方式,使其“信息记忆开始视觉化”。 学生在记忆信息的过程中,脑海里有意识地生成了相应画面,这对口译记忆起到了辅助作用(丁欣如,2022:73)。 其次,口述影像的练习提升了学生的信息辨析整合能力,交替传译时提取关键信息的能力(同上:72),从而提高了信息的储存和转化效率。 同样,在鄢秀和罗康特的研究中,受试学生的总结能力得到了提升(Yan et al., 2022)。 因此,图像和语言信息、视觉和听觉信息的“视觉化”加工使口述影像训练在培养口译学生的信息存储与加工效率方面具有较大潜力。

2.3 目标语表达能力

多模态媒介在提高译员概念认知准确性和概念关系认知全面性方面具有优势。 口译过程可视为一个译员在“思维世界、现实世界和符号世界之间进行循环复试认知处理的过程”(宁海霖,2021)。 口述影像中的图像可集中凸显概念的多维度特质,也可以显示专业领域中概念间的各种关系。 相比通过语言文字进行知识内化,以多模态资源为媒介的认知过程中,译员能够直接接触承载语义的客体,摆脱他者认知滤镜与语言滤镜,减少认知的干扰和损耗,提高语言习得的准确性和全面性。

弗赖尔(Fryer, 2019)认为,在目标语表达环节,口述影像和口译由一套共同的交际要素制约,两者在可理解性、表达、语言、语法、忠实度、连贯度及可信度、同步性等方面,有诸多共同点。 香港浸会大学的杨慧仪(Jessica Yeung)为口译专业的学生设计了 30 小时的口述影像教学课程(Yeung,2007: 234-235)。 在熟悉口述影像的基本知识后,学生为不同的艺术形式做口述影像的练习,内容包括戏曲、舞蹈、电影、绘画、博物馆游览,以及公共事件等真实的多模态情境。 考虑到香港地区的双语特点和口译专业的双语训练性质,每种艺术形式的口述训练均以粤语和英语进行。 在课程结束后的焦点小组讨论中,学生普遍反馈良好,享受训练过程,表示在口述影像学习中提升了口译技能,特别是语言应用能力,包括对概念的准确认知与词汇的准确应用。

现有研究的结论较为一致,均显示口述影像训练有益于口译学生的目标语习得和应用,促进了语义和概念的内化。 在外语口述影像训练后,有学生认为个人“最大的提升在于词汇的积累”,或“会用更地道的语言来表达”,“对于一些动作和情景的表达,用词更加灵活”,“会主动使用口述影像中的词汇”等(丁欣如,2022:76),提升了B 语言的使用意识和能力;母语口述影像训练同样提升了语言技巧和交际能力,包括词汇知识、描述技能等(Yan et al., 2022)。

3 多模态口译教学中的口述影像研究不足

将口述影像作为口译训练手段应用于多模态口译教学的相关实践尚处于起步阶段,无论是在促进以语言技能为主的口译子能力方面,还是在提升更为核心的认知加工能力方面,现有研究均显示出口述影像训练对多模态口译训练具备一定的应用价值。 但相关研究从数量上看仍不具规模,在研究的深度上也存在以下不足。

(1)相关理据有待厘清。 口述影像与口译能力的重合仅仅是可开展相关研究的初步依据。 口译研究蓬勃发展的几十年里,有大量实证研究探讨提升口译能力的有效途径,如工作记忆训练(刘玉花 等,2021)、干扰抑制训练(Dong et al., 2020)等。 相比之下,若仅凭口述影像与口译二者在语法规范、语义连贯、表达流畅、符际转换等方面的相似要求作为依据,虽得出积极结论,其说服力易遭到质疑。 对于口译这样一项复杂的技能组合而言,欲阐明双语转换与模态转换的可比性和内在关系、多模态资源减少认知负荷或加工时延的原理等问题,需依靠更为深入、细致乃至跨学科的分析。 要体现口述影像作为训练手段的科学性、适切性和独特性,需建构更为严谨的理论基础。

(2)研究问题不够细化。 现有研究将口述影像作为一种训练方法作用于口译教学,尽管得出积极结论,仍更多地停留在其可接受性和应用潜力上,并未深入地针对某一项口译能力进行聚焦式探讨,或重点利用其语料和信息处理的多模态特性,研究口述影像起效的具体机制。 口译教学的内容涉及理解语言与信息、记忆语言与信息、多任务协调与处理、口译笔记与解读、口译知识与技巧、肢体表现与技能、语言与信息表达(仲伟合 等,2012:169),上述方面均可成为口述影像发挥训练效用的研究主题。 仅将口述影像整体作为一个新型课堂活动,运用在口译教学中,在缺乏明确研究问题的情况下,欲达到最大程度的等效,或导致口述影像能力移植到口译能力的操作距离过远,影响了研究结果的精确性,且难以获得新的发现。

(3)论证方法比较薄弱。 多模态翻译教学研究多停留在讨论活动本身的多模态特征及开展多模态教学的意义与方法,相关实证研究、对比研究较少,也鲜有从学习者群体了解多模态翻译与教学的接受情况(李小华 等,2021)。 多模态口译教学中的口述影像研究结论多依赖受试反馈,部分研究采用访谈、焦点小组、调查问卷等研究工具,仅有个别研究设置了实验组和对照组,通过前后测收集量化数据(丁欣如,2022)。 对于口述影像起效机制的描述和成因分析亦以主观解释和经验判断为主。 因此,现有的外部数据难以科学地说明口述影像作为多模态跨符际翻译行为如何影响甚至改变受训者信息接收、分解、存储、加工、输出的过程,对于口述影像训练在口译能力提升中的效应解释力显然比较薄弱,且出现了一定程度的重复性。

4 多模态口译教学中的口述影像研究前景

通过对相关文献的梳理分析,可见口述影像应用于多模态口译教学,对于提升学生口译能力,丰富口译训练手段具有积极效应。 未来口译教学将可能更多地转向多模态手段,应充分研究口述影像在口译训练方面的价值。 针对相关研究的现状及不足,建议未来可从如下方面推进:

(1)拓展研究维度,深化机制探索。 口述影像与口译是口述员/译员在社会情境中的多模态亲历过程,对包含语言、副语言及非言语行为等在内的各种符号资源进行整体性分析才能对多模态翻译行为进行完整的、动态的解读。 口译作为综合性极强的复杂技能,涉及信息理解—记忆—转换—表达—互动的阶段(吴文梅,2023),因此二者的融合性研究可在更多环节和层面上开展。 口述影像活动涉及知识内容的理解、加工、迁移和接受,以及信息解读和重构过程中的制约与调控动能(詹成,2022b),如何描述和解释这种制控能力对于口译能力的提升机制是研究需解决的核心问题。

(2)创新研究方法,借鉴已有范式。 口译研究与口述影像研究在认知加工方面均有较成熟的范式。 目前口译的认知路径研究参照了认知语言学、认知心理学、心理语言学和神经语言学等学科的范式,使用如多模态语料库、心理计量、眼动、脑电波、神经成像等先进的研究工具。 现有口述影像研究也利用了上述工具探索视障人士的感官接受和记忆机制,但较少提及口述员作为信息接受和发送者的多模态认知过程。 在多模态教学领域也有待探索将心理实验法、脑神经实验法等量化分析方法应用于多模态教学实验(刘玉梅 等,2021)。 注重描写工具的科学性,可更加精确地测量多信道符号从接收到产出的过程,加深对于多模态信息认知处理的理解,为口述影像训练提升口译能力的原理提供坚实依据。

(3)丰富研究设计,提高交互质量。 未来研究可涉猎更多的解释变量,探讨如口述语言、文本类型、口译方向、口译模式等更多影响因素的相关性,使研究结果更具可信度。 口译能力的具体习得过程和能力发展曲线尚待探索(李希希,2021),发掘口述影像作用于不同口译能力和不同能力发展阶段中的机制可更充分地释放其作为多模态口译教学手段的潜力。 同时,在训练内容设计方面也应向口译实践倾斜。 现有研究口述影像练习的选材多为电影片段,与口译场景的主题与情境知识存在一定差距。 可优先选择与口译实践的主题知识和情境图示相近的多模态语篇,如外交、法律、医疗等场景的影像,加速多模态知识的理解与迁移,提升情境口译水平。 此外,还可与社会层面的口述影像实践进行联动,优化学习过程,提升研究效果。

5 结语

口述影像作为多模态意义建构的复杂翻译过程,在信息输入、信息加工和信息输出环节与口译有相似之处。 针对在多模态口译教学中的口述影像应用的研究表明,口述影像训练可提高如注意资源分配能力、信息记忆与整合能力、目标语表达能力在内的口译能力。 当下,新技术推动着口译职业化飞速发展,远程口译、人工智能、语音识别等新技术深刻影响着口译实践,多模态信息的在场与缺失增加了交际行为的复杂性和风险,对译员的认知资源整合和调控能力提出了更高的要求。口述影像既是认知操作和话语产出过程,又是跨文化交际协调行为,更是一种社会文化活动,作为一种多模态翻译实践嵌入口译训练,在应用维度和研究价值上前景广阔,能够拓展和丰富口译研究的领域。 同时,由于我国的口述影像研究整体上仍处于起步阶段,充分发挥其与口译融合的可能性和有效性,并对其进行科学的研究和验证,也能更好地指导我国口述影像活动发展,提升口述影像的社会意义。