多模态框架下调动五感的笔译教学❋

王苏阳 北京外国语大学

【提 要】本研究在多模态教学框架下，将调动五感的笔译教学引入翻译专业笔译课程。研究使用混合型研究方法，通过对110名学生的教学实验，收集问卷反馈与译文语料，描述了教学设计思路，并总结了教学效果与启示。研究发现，在笔译教学中，除使用文字、图片、视频、音频等传统模态外，还可以根据教学目标与教学内容适当融合嗅觉、味觉、身势、空间等模态。调动五感的笔译教学丰富了课堂形式，增强了学生的学习热情，更一定程度上提升了译文质量。研究不仅有利于新时代高端翻译人才培养，也有助于推进翻译教学理论创新。

1.引言

模态一般指在文化中实现意义共现的符号资源，由于模态具有社会、文化和历史属性，所以新模态不断涌现，并没有固定的含义与形式（Jewitt 2009）。“多模态”指利用图像、身势等多种符号语码进行意义再现（李战子2003；Kress&Leeuwen 1996）。对东西方有关文献进行系统性回顾后发现，多模态具有跨学科属性，近十年研究热度逐渐增加。涉及多模态与翻译的研究包括多模态话语分析（Huang&Archer 2014；Liao 2018）、多模态与字幕、试听等多媒体翻译（Canovas et al.2013；Balirano 2013）、基于语料库的多模态翻译（Li 2019；Afli,Barrault&Schwenk 2016）、多模态手语翻译（Murray 2018；Berge 2018）、多模态与文化翻译（Chen 2018）、多模态教学（张德禄、李玉香2012；张德禄、丁肇芬2013）。综合来看，多模态兼顾了语言和文化的多重性（New London Group 1996），学科融合度高、综合性强。

虽然多模态具有跨学科属性，但在翻译教学实践中的应用仍比较有限，特别是笔译教学。有关多模态翻译教学实践的文献具体涉及：对话口译教学与多模态（Turner&Merrison 2018；Davitti 2013，2019）、运用多媒体平台实现笔译教学的交互性（谢贤春、韦建华2015；Prieto-Velasco&Fuentes-Luque 2016；Borsos 2019）、多模态理论框架对翻译硕士笔译教学的促进作用（姜毓锋、刘慧2015）等。多模态在笔译教学中的运用，主要出现在近五年的文献中，且主要从口笔译融合的视角看待笔译多模态教学。例如，肖娴（2013）从整合教学模式的角度，建议教师运用多模态教学手段，帮助学生理解翻译情境、解释具体翻译问题、强化翻译技能与知识。白玲和梁博男（2016）从笔译为主、口译为辅的教学角度，提出小组讨论、情景模拟、搭建翻译学习平台、社会实践活动的多模态教学方式，并建议多模态笔译教学应遵循适当和适量的原则。赵继荣（2017）认为笔译教学应利用口译教学作为调节，以丰富教学内容与教学形式。

然而，文献回顾后发现三个研究缺口。首先，大多数文献把多模态等同于多媒体，抑或是把多模态等同于教学内容、形式和实践的多样化重组。多媒体等现代技术仅仅是多模态的载体，并非符号意义本身（胡壮麟2007），而口笔译融合、教学形式的多样化也仅是多模态意义共现的方式。其次，大多文献更为关注多媒体技术相融合之下的多模态，而忽略了对味觉、嗅觉、身势、空间等的模态研究。现如今，模态的形式和内容在不断扩充（Pérez-González 2014），如果嗅觉、味觉等模态可以实现意义共现，在翻译教学中对其加以运用与研究就有意义。最后，大多数文献仍停留在理论层面，缺少对多模态运用的实证研究。如果将全新模态运用到翻译教学中，有必要进行实证研究以评估教学效果和意义。

因此，本研究旨在多模态教学框架下，通过在笔译教学中运用味觉、嗅觉、身势、空间模态，探讨如何设计调动五感的笔译教学，并考察其效果与意义。在文献回顾的基础上，本研究重点讨论以下两个问题：1）在笔译教学中，除文字、图片、声音模态外，如何将嗅觉、味觉身势、空间模态融入教学设计？2）调动五感的多模态笔译教学效果如何？

2.研究方法

2.1 研究对象

研究对象为某一本语言类院校翻译硕士专业的110名学生，于2018年9月入学，平均年龄22岁，半数以上学生本科就读英语专业，对言外知识了解不多。在本次课程之前，仅有少数同学接触过芭蕾舞，或者品鉴过铁观音。

2.2 研究设计

张德禄、李玉香（2012）认为，根据不同阶段的教学目标，可以选择不同的教学模态。本次课程具体设计思路如下：

由表1可见，在教学目标和教学思路的指导下，内容选材上特别突出味觉、嗅觉、身势和空间模态对意义共现的作用。课程以两个课段展开，第一个课段重点讲解汉译英中铁观音的选段。学生现场品鉴铁观音，从中理解嗅觉、味觉模态对翻译过程的意义；第二个课段重点讨论英译汉中芭蕾舞的选段。课段以芭蕾舞演员亲身示范，学生体验感受的方式展开，旨在启发学生运用身势、空间模态理解原文。教学在传统教室进行，能容纳300人，教室中配有投影仪和音响设备，可播放PPT音视频。

表1 研究设计

2.3 研究工具

研究采用混合型研究方法（mixed-method），主要研究工具为调查问卷和语料分析。使用问卷调查的目的是了解全体学生对课程设计的评价。问卷由两部分构成：第一部分为开放式，主要调查学生的基本学习情况与需求；第二部分为封闭式，题型为量表题，旨在了解学生对教学内容、教学目标和教学效果的满意程度。问卷发放之前，研究员曾与教学团队仔细商议，并在部分不参与课程的毕业生中进行测试。问卷于课后立即发放，要求学生当天返还，以确保数据的时效性。语料分析的目的是进一步了解课程效果，探究学生的译文质量是否有提升。研究语料为110名学生的一稿和二稿译文。学生一稿于课前收集，二稿于当天课后收集。本研究使用英国兰卡斯特大学（Lancaster University）开发的LancsBox语料库工具进行语料分析。

2.4 数据收集与分析

调查问卷部分的回复率为100%。研究者对开放式问题做了词频分析，对封闭式问题做了百分比统计。语料分析部分完整提交一稿、二稿的学生共107人。在前期建设语料库过程中，研究员按“芭蕾”和“品茶”主题将作业划分为Ballet-Before（芭蕾-课前一稿）、Ballet-After（芭蕾-课后二稿）、Tea-Before（品茶-课前一稿）、Tea-After（品茶-课后二稿）四小部分。每一小部分按学生姓名、对应文本继续形成小型语料库，四个小型语料库总计428份文本。因为作业文本一致，因此各文本间、各语料间型符数量较为平均。研究对关键词的词频、分布和搭配进行了重点分析，以比较一稿和二稿翻译质量的变化情况。

就研究的普遍性来说，虽然语料数量较小，但现有文本足以评估课程的教学效果，与研究目标相适。此外，即使研究对象和语料数量有限，但研究中的教学思路与效果具有可借鉴意义。研究非常重视数据隐私与保护。在学期末，研究者向全体学生告知课程的研究属性，并说明研究数据仅用于学术研究与交流。研究中所有个人数据都尽量泛化，不会轻易泄露、侵犯个人隐私。本文中使用的相关图片及文字材料均获得参与者同意。

3.结果与讨论

3.1 教学设计与实施

3.1.1 嗅觉、味觉模态的运用

课程前半段重点启发学生对嗅觉、味觉模态的理解与运用。在品鉴铁观音之前，教师先向学生说明本次课程的教学目标与安排。品茶过程中，教师注重将嗅觉、味觉模态与授课主要内容即文字模态紧密结合，让学生不断通过嗅觉、味觉传递的意义理解原文，感受“浓香型铁观音”“粟香”等关键词。因嗅觉、味觉模态具有一定的主观性，为避免学生产生理解偏误，在品茶过程中，教师还辅以译文展示、课堂讨论、教师讲解等形式增强课段的交互性。下图展示的是品茶课段的教学话语示例。图中文字模态与嗅觉、味觉模态相辅相成，共同实现话语意义：

根据课堂实施情况，对嗅觉、味觉模态在课段中的运用有三点总结：其一，要注意嗅觉、味觉模态的适用性。鉴于大多数笔译材料的文本属性，笔译教学可能还要以文字模态为主。然而，当文字模态不足以传递有效信息时，教师则需要借助适当的非文字模态，为学生搭建意义共现的桥梁。比如，当“音韵显现”等涉及茶味道的非文字符号无法通过文本传递给学生时，可考虑适当引入嗅觉、味觉模态提升学生的理解。其二，要注意文字模态与非文字模态的关联性。文字模态与非文字模态的关系是相辅相成、互为依存的（Pérez-González 2014）。在使用嗅觉、味觉模态时，需要与文字模态相结合，反之亦然。其三，要注意嗅觉、味觉模态运用时课堂的交互性。多模态本身就具有交互性，因为模态的组合与变换会提高学生的注意力与兴趣。然而，嗅觉、味觉模态所传递的信息可能不具有统一性，因此教师有必要在课堂上适时与学生交流感受。总之，模态的增多不代表语言能力的提高，师生互动仍是必不可少的教学要素。

图1 品茶部分教学话语示例

3.1.2 身势、空间模态的运用

课程后半段主要启发学生对身势、空间模态的理解与运用。课段开始，教师向学生说明教学目标与必要性。例如，rotation的意思虽可通过平行文本、网络图片、音视频等查找，但这些模态所传递的意义容易让学生翻译时脱离语境。在介绍教学目标与必要性之后，教师介绍两位芭蕾舞演员与学生见面，搭建翻译职业化、专业化桥梁。授课过程中，教师配合演员的身势、空间模态向学生讲解原文内容。此外，教师还邀请学生到台前与演员互动，由教师提出专业翻译问题，演员讲解、示范专业动作，学生体会动作要领，进而将身势、空间模态与学生的自我学习体验融为一体。下图展示的是授课过程中文字模态与空间、身势模态的结合：

图2 芭蕾部分教学话语示例

与运用嗅觉、味觉模态相比，在笔译教学中运用空间、身势模态有三点主要建议。首先，身势、空间模态有助于构建笔译教学的真实感。笔译教学通常缺乏时效性、专业性，选材经常脱离实际，不利于学生走向职业化。将专业文本内容以空间、身势模态的方式带入课堂，可以让学生近距离感受职业魅力，提升翻译职业化意识。其次，身势、空间模态可以增强学生的浸润式学习体验。文本、表演、翻译有着密切的关系，有些文本意义只有通过身体维度展现，才能直抵人心（Bassnett 2000）。通过亲身体验，学生的理解有可能超越文本，上升到“有感而发”。最后，空间、身势模态可以提升笔译教学的交互性。这种交互不仅是个人多重感官的交互，更是人与人在社会生活中的交互。

3.2 教学效果

3.2.1 调查问卷

调查问卷共发放110份，回收110份有效问卷。问卷结果显示，学生普遍对教学效果较为满意。有71.56%的学生认为教学目标非常明确，55.05%的学生认为自己整堂课的注意力都“非常集中”，选择“不太集中”的学生仅占1.83%。学生普遍反映这次笔译课启发了他们调动五感的翻译意识。大部分学生在完成一稿时使用的模态较为单一，借助语言、图片、音视频以外模态的学生占比不到10%。然而，根据课后的调查情况，在“我觉得这节课启发了我在翻译过程中调动感官的意识”问题上，有71.56%的同学选择了“非常同意”。在选择“我以后做翻译时也会有意识地调动各项感官”问题上，有66.06%的同学选择“非常同意”。

品茶与芭蕾课段相比，芭蕾课段的整体评价要更高一些。76.15%的学生认为，观看舞蹈演员现场展示并与之交流对完善译文“非常有帮助”，21.1%的学生认为“有帮助”，1.83%认为“有一点帮助”，0.92%认为“没有帮助”。与之相比，39.45%的学生认为现场品茶并讨论对完善译文“非常有帮助”，38.53%认为“有帮助”，20.18%认为“有一点帮助”，认为“没太大帮助”的占1.83%。从以上数据可以初步推断，部分学生对品茶课段的效果仍持保留意见。为了进一步探究品茶与芭蕾课段的教学效果，研究使用语料分析方法考察学生课后的翻译质量是否有所提高。

3.2.2 语料分析

语料分析部分旨在进一步了解课程效果，看学生的二稿译文质量是否有所提高。研究发现，专业术语表达在二稿中的使用频率明显上升。拿芭蕾选段举例，和Ballet-Before相比，“外开”（rotation）和“表现力”（articulation）这两个芭蕾专业术语在Ballet-After中出现的绝对词频和相对词频明显上升，“外开”从8/6.71上升为87/72.75，“表现力”从16/13.41上升到77/64.39。考虑到绝对词频可能无法准确预测语言使用中的规律性和可预见性（Gablasova,Brezina&McEnery 2017），研究同时分析了这些专业术语在文本中的分布情况（Brezina,McEnery＆Wattam 2015）。从下表可以看出，“外开”和“表现力”在Ballet-Before语料中分别出现在8份和15份文本中，分布不均，而在Ballet-After中分别出现在86份和77份文本中，分布范围明显变大、分布也较为平均。

表2 芭蕾关键术语词频及分布情况

然而，虽然专业术语使用增多，但学生的译文尚不够精准。以品茶部分语料为例，“浓香型”“粟香”“音韵显现”为授课中的三个关键词，均涉及香气意义。以学生使用最多的香气译法flavor为主要关键词，对与flavor相关的译文问题进行归类分析后发现，学生的译文仍存在理解、表达、语域问题，见下：

此外，学生二稿中搭配使用的形容词变少。在McEnery（2004）基础上，研究使用 GraphColl1，以MI互信息值（MI score）考察学生的词语搭配。MI数值设置参照CPN数值与搭配参数（collocation parameters notation）2（Brezina et al.2015：144）。GraphColl显示，一稿中与flavor搭配的主要为形容词，包括 millet，rich，strong，sweet，smooth，honey和floral，而二稿中与flavor搭配的词以动词为主，形容词变少。如下图所示，学生使用的主要形容词变为 floral、darker、full-bodied 等。

虽然形容词数量不是衡量译文质量好坏的绝对指标，但可能从另一个侧面反映出调动五感的多模态笔译教学的双面性：在多模态将文字模态具象化的同时，也有可能限制学生的想象力。虽然学生在一稿时没有品茶，但可以根据文字模态想象茶叶的味道，而在品茶以后，有些学生可能仍旧无法明确嗅觉、味觉模态所传递的信息。此外，这种结果也可能和学生的翻译能力有关。虽然学生记住了专业术语，但翻译能力是长期积累的结果，是语言能力的体现。因此，仅通过非文字模态传递信息是不够的，这也再一次印证了文字模态与非文字模态相辅相成的关系。

4.结语

本研究考察了调动五感的多模态笔译教学的设计与效果。研究结果表明，笔译教学不应局限于文字模态，要适时辅以多模态方式呈现教学内容。呈现方式不仅限于多媒体，还可调动味觉、嗅觉、空间、身势等模态。从教学效果上看，调动五感的多模态笔译教学丰富了课堂形式，启发了学生调动感官的翻译意识。课后学生在专业术语表达上有明显提高，但译文仍存在基本的理解和表达问题。诚然，学生翻译能力的提高是一项长期的教学与实践任务，无法一蹴而就。

本研究结果对笔译教学有如下启示：首先，文字模态与非文字模态各尽其责，文字模态是基础，非文字模态是升华。基础的翻译是有赖于文本的字对字翻译（Bassnett 2000），而带有感官意识的翻译有助于将基于文字模态的翻译推升至新高度，最终区别于机器翻译。其次，在笔译教学中，模态的运用要以实现学生对翻译的理解和运用为宗旨。每个学生适合学习的模态各异，教师应充分考虑学生的个体差异性，尊重学生的主体性意识，时刻以学生对翻译的理解为驱动组织教学。最后，在创新翻译教学法时，教师不可完全关注方法上的创新，而忽略了授课内容本身的功能和影响。多模态是一把双刃剑，过度利用会让教师忽视对翻译内容的理解，违背多模态教学的初衷。教师应视不同的教学环境、资源、目标、内容找到最佳的教学模态结构。对模态的运用与重组切不可浮于表面，流于形式，喧宾夺主。

由于篇幅有限，本研究尚有一些未探讨的问题。比如，是否可以从质性分析角度，以半开放性访谈为工具，深入了解学生对课程的看法？如何进一步提升文字模态与非文字模态的融合度，让非文字模态更好地服务于文字模态？可否进一步提升课程的交互性，让学生在学中翻，翻中感，感中交流，在交流中完善译文？这些问题值得研究者进一步回答。最后，借用新伦敦小组的一句话，“我们既是模式和传统的继承者，也是设计者”（New London Group 1996）。

注释：

1 GraphColl是（Gablasova et al.2017）用于生成词语搭配网络的可视化工具。使用者可根据需要，使用不同的关联度量方法（association measures）统计搭配情况，统计数据透明度高、可复制性强。在读图时，距离中心词越近的词语搭配关键性越强。

2CPN数值与搭配参数（collocation parameters notation）是指使用不同参数确定搭配的特定设置。搭配ID是关联度量方法的标识符，本研究中使用的搭配ID为3a，即MI值。MI互信息值（MI score）侧重搭配的关联性强弱（Hunston 2002），表示搭配频率和组合中两个词随机共现频率之间的比率（Gablasova et al.2017）。括号中的3代表MI的判定值；R5-L5表示关键词搭配的语境跨度为左5词、右5词；C3表示搭配所需的最低频率为出现3次；NC3表示关键词和搭配出现同现关系（co-occurence）为3次。这样设置是为了筛选出与flavor搭配关联度最高的词。