英文电影字幕多模态效能实证研究

杨 勇

(广东白云学院外国语学院，广东 广州 510450)

【传媒文化】

英文电影字幕多模态效能实证研究

杨 勇

(广东白云学院外国语学院，广东 广州 510450)

当前，国内对于英文电影字幕的研究主要集中于翻译与外语教学两大领域，以模态视角探讨字幕对以英语为外语的学习者认知效能的实证研究较少。在简介国外已有成果的基础上，本文尝试以综合性路径实证研究双模态字幕对英文电影内容理解与词汇识别两大维度的效能。实验数据以T检验法配对样本进行检测。结果表明：双模态字幕对英文电影内容理解有积极效能，受试者理解有字幕电影比无字幕电影正确率高。然而，基于某些不确定因素，双模态字幕对受试者词汇识别没有显著性认知效能。

英文电影；双模态字幕；认知效能；内容理解；词汇识别

“大数据”与“新媒体”双时代的交织，不仅虚拟地缩小了人际距离，资源传播与获取也是唾手可得[1-2]。作为一种文化资源，英文电影以其强力的适应性植根于多国外语教学中。从相关期刊数据来看，当前国内对于英文电影，特别是英文电影字幕的研究，主要集中于翻译与外语教学两大领域，如薛丰年描述了微电影不仅让大学英语学习更具新颖性与趣味性，还能有效激发学生外语学习潜能[3]；马萌芸探讨了影视翻译在大学英语视听说中的应用[4]；吕玉勇、李民研究了英文电影字幕翻译的“文体”变化[5]；郑宝璇则以“语内”与“语际”两大视角对电影字幕翻译进行思辨[6]。相较而言，国外对于英语电影字幕的研究，20世纪末业已拓展到了“模态效能”(modal efficacy)的视角。本文论及的模态效能，非医学研究领域的相同术语，如Suraj Kumar、Kelley etc的相关研究[7-8]。本文所说的“模态”(modality)，在人文社会科学领域，言指表义的符号资源，是一种信息交际“模式”(mode)，如声音、颜色、空间等[9-12]。而“效能”(efficacy)，根据维基百科与麦克米兰英语词典，等同于“效力”(effectiveness)，是产生预期结果的一种能力。

鉴于国内对于英文电影字幕模态效能研究的滞缓，特别是缺乏实证性研究，本文拟在概述国外相关研究的基础上，以相应的公开成果为借鉴，尝试合成一种“综合性”(holistic)实证研究途径，以“配对样本T检验”(paired samples T-test)程序，力求对英文电影双模态字幕“内容理解”与“词汇识别”两大维度的效能进行同步实验并讨论。其中，对于英文电影字幕的分类，依据Johanna E. Katchen、Tim Fox、Vernon Chun等人的标准，共分为六大类，分别为：标准字幕(第二语言声道加母语字幕)、双模态字幕(第二语言声道加第二语言字幕)、逆向型字幕(母语声道加第二语言字幕)、双语字幕(第二语言声道加母语与第二语言的同轨字幕)、双语逆向型字幕(母语声道加母语与第二语言的同轨字幕)、无字幕(第二语言声道，没有字幕)[13]。

一、文献综述

(一)字幕对语言学习的效能

Borras、Lafayette把字幕加入到互动多媒体课程的短视频片断中，受试者可以观看并控制有或者无相同语言字幕的视频片断[14]。该研究显示，有机会观看并能控制字幕对视频内容理解及语言输出有积极的效能。

Kusumarasdyati研究了DVD影片的字幕效能，结果发现，有字幕电影对于提高以英语为外语的学习者的听力技能是一种有效的教学手段[15]。与之相近，Zanon研究了基于计算机的字幕对语言学习的帮助，结论认为，以不同语言的配音形式，受试观众无法完全理解电影内容，而字幕的加入却可以触发受试观众的欣赏动机[16]。

Grgurovic、Hegelheimer应用含有一段学术讲座视频的多媒体听力来比较第二语言字幕和报告录音文本对学术报告理解的效能[17]。结果表明，受试学生更倾向于字幕应用，其频次远高于录音文本。

(二)字幕对词汇学习的效能

Koolstra、Beentjes研究了荷兰一所小学两个年级的学生是否愿意通过观看具有英语配音和荷兰语字幕的电视节目来学习英语词汇[18]。结果表明，有字幕条件下受试学生的词汇习得成绩最高。其具体实验过程描述如下：246名4和6年级(年龄在9～11岁)荷兰小学生作为受试对象，要求观看一段15分钟时长的纪录片。所有受试学生在三种条件下进行实验：(1)关于灰熊的节目要求是英语配音加荷兰语字幕；(2)同样的节目要求英语配音不加字幕；(3)一项关于草原土拨鼠的荷兰语电视节目(实验对照组)。这两个实验年级5年级才开始英语学习，所以4年级时，他们未曾接受过常规英语学习，而到了6年级，他们已具备英语常规学习的基础。

实验结果表明，观看有字幕节目的学生词汇成绩比观看无字幕节目者要高，并且实验条件(2)之下的学生成绩比对照组的高；6年级的学生表现比4年级的要好；观看有字幕纪录片后，相比无字幕而言，更多词汇被识别出，且同样6年级表现胜于4年级；在家中以较高频次观看有字幕节目的学生其英语词汇成绩远高于较低频次的学生。这些研究发现为字幕不会干扰词汇听力学习的论断进一步提供了佐证。

Bird、Williams进行了两项实验，旨在探究单模态(声音或文本)和双模态(声音和文本)表征方式对词汇学习的影响[19]。两项实验皆认为，字幕对新词学习有强化效能。

Stewart、Pertusa以中等学校学生为受试者研究了他们在词汇识别方面的成绩[20]。实验条件分成两类：一是观看有英语字幕的西班牙语影片；二是观看有西班牙语字幕的相同影片。研究报告称，同一语言内的字幕设置在提高学生词汇识别方面更为有效。

(三)字幕对电影内容理解的效能

为了研究字幕对电影内容理解的效能，Grignon、Lavaur、Blanc对比研究了同一部电影的三个版本，即配音版、字幕版和原版。结果发现，配音版与字幕版相比原版而言，对受试者均有较好的认知效能[21]。

Hinkin对有字幕电影在内容理解效能方面进行了两次调查研究[22]。两次调查均展示了从三部影片《义海雄风》(A Few Good Man)、《非礼勿视》(See No Evil)和《非礼勿听》(Hear No Evil)选取的时长10分钟的片断。对于每一部影片，受试者要完成三种类型的单项选择题，其中包括：单图画题，单文字题，图画、文字双模态耦合题。实验一用以调查理解水平的差异，其中文字信息仅以受试者母语展示(即英语音轨和/或字幕)。实验一结果显示，当受试者母语以字幕展示而非音轨时，其对于单文字及模态耦合型测试题有突显性的良好表现。这些发现证实了前人关于“阅读字幕形式的文字信息比倾听音轨信息更为有效”的研究。实验一中针对单图画题不同表征模式间的表现对比显示，在英语音轨无字幕条件下，受试者表现要远强于其他条件下的设计。尽管实验一对母语音轨与字幕如何影响电影内容理解作了基本的证实，但需要强调的是，当观看外语影片且文字信息的表征为“刚性需求”时，主要应用的模态还是字幕模式。实验二在实验一的基础上又加入了一种受试者不熟悉(无认知学习背景)的语言(如，法语)。实验一中的一组问题同样应用于实验二中。不同之处在于，两项法语词汇测验也加到实验二中，目的是测量“伴随性”(incidental)外语习得表现。与实验一结果一致，当受试者的母语以字幕模式表征时，其对于单文字问题及模态耦合型问题表现得更佳。这项发现拓展了已有的研究结论，即对于外语学习材料，在需要文字提示的问题方面，视觉模态表征(如，字幕)的母语文字信息比口语表征(如，音轨)的母语文字信息效能强。而在图画问题的表现方面，实验二中不同表征模式的对比分析结果却没有显性不同。两组实验的对比分析均反映了因某一外语的存在而带来的相关“分心效应”(distraction effect)。而在各种多模态条件下，受试者对于法语词汇测验的表现均非常糟糕，且无显性不同。这或许表明，该项实验任务对于受试者而言过于困难。

依据对外公开的期刊PLOS ONE，Mitterer & McQueen也于2009年进行了一项研究，旨在调查提供文字信息的字幕是否支持关于外语的认知学习[23]。一组荷兰受试者不熟悉苏格兰和澳大利亚地方口音的英语(即方言英语)，观看了以荷兰语、英语，或者没有字幕的苏格兰或澳大利亚英语电影，然后重复了两种方言电影的音频片断。结果表明，受试者观看以荷兰语字幕呈现的电影后，对于电影片断音频重复方面的表现更加糟糕，但比观看以英语字幕呈现的电影之后的表现要好。上述研究发现亦可理解为：母语字幕体现了一定程度的词汇“负迁移”，但外语字幕通过提示正在表达的单词(和声音)，却有助于语言学习。

基于上述文献分析，可以清晰地看到，尽管国外对于字幕模态认知效能的实证研究较早，但“单维度”的研究痕迹突显，也即反向映射了“综合维度”的“擦除”(erasure)，不论研究者有意或无意为之。“擦除”概念作为研究话题，在批评语言学(CDA)、生态语言学(eco-linguistics)等学科领域多有探讨，指“something important has been ignored, sidelined or excluded from consideration within a discourse.”[24-25]因此，借用该理论框架，本研究“综合维度”的尝试，旨在研究行为的一种“提醒”(reminding)，希望能为学界提供参考。

二、实验研究

(一)研究设计

本研究为“一次性个案”(one-shot case)研究，没有“实验对照组”(controlled group)，没有预备测试，本研究尝试以“综合性”途径同步探讨英文电影双模态字幕对“内容理解”与“词汇识别”的认知效能。

(二)实验对象

本研究受试者是以科技翻译为专业方向的两个班级，共计44名本科生，年龄18～20岁不等，2013年秋季入学，其中女生34名，男生10名。按照广东省的学制学情，44名同学均从小学三年级开始学习英语，小学均为六年学制，初中三年学制，高中三年学制。所有受试者国籍与语言背景无差异，均为中国国籍且母语为汉语中的粤语方言。所有受试者均无在国外讲英语国家的生活经历。

(三)实验材料

两部BBC(英国广播公司)纪录片电影，一部有英语字幕，一部没有。有字幕电影名为《危险的知识》，讲述的是一名数学教授George Cantor开启了一场他从未真正打算发起的革命，并最终威胁到了整个数学科学领域的根基。这部影片大约播放30分钟。另外一部无字幕电影名为《我的机器人在哪》，主要介绍不同种类的机器人。这部电影时长为20分钟。

选取的两部电影主要依据内容的趣味性，其语言难度水平适合受试者，并且电影时长均未超过30分钟。

(四)研究工具

为了收集数据，每部电影均有两项不同的测试。一项为10个单项选择题型的内容理解题，另一项为10个单项选择题型的词汇理解题。单项选择均为4个选项的设计，且所有测试内容均从两部纪录片电影中抽取。对于要测试的内容理解题，研究者首先对影片进行整体观看，了解影片的主题，然后又分部分地仔细观看，从而提出4选项设计的内容理解测试题；在词汇测试题中，电影中呈现的高级词汇一并进行了选择，相关词汇的测试句子则从剑桥与牛津高阶词典中选取。为了评估本次测试实验的信度(reliability)，所应用统计分析软件为SPSS。内容理解与词汇测试题(有字幕和无字幕)信度值计算为0.756，对这种类型的实验测试而言，是可以接受的。

(五)研究过程

1.数据收集

正式开始实验之前，受试者被告知实验计划，目的是激发动机与兴趣。首先，两个班均观看同一部电影，但组一先观看有英文字幕的《危险的知识》，然后再看无字幕的《我的机器人在哪》。为了中和“次序效应”(order effect)，组二观看顺序与组一完全相反。每部电影均在某一时间段内集中观看，中间不停断。电影欣赏完毕，两个班级的所有受试者都要进行词汇和内容理解的实验测试。第一部影片观看结束后，受试者有15分钟的时间回答共计20道单项选择题型的内容理解与词汇识别题，然后播放第二部影片，观看结束后在15分钟内完成相关的测试问题。

2.得分与数据分析

本研究数据由受试者对内容理解与词汇测试题答案得分构成。正确回答一项问题，受试者得分为一。所收集数据以SPSS进行统计分析。首先计算得分，每位受试者有两项分数，一项为观看有字幕电影后的得分，另一项为观看无字幕电影后得分。然后，这两项得分归类为四组别，包括内容理解/词汇，有字幕/无字幕。每位受试者其在某一组别与另一组别中的成绩对比，通过运行“配对样本T检验”(paired samples t-test)来计算不同受试条件下两项分数的差异。四组别全部计分，分别是有字幕电影内容理解得分、无字幕电影内容理解得分、有字幕电影词汇得分和无字幕电影词汇得分。

三、结果与讨论

统计分析软件SPSS应用的目的是清楚了解受试者对本实验研究任务的表现，而“配对样本T检验”则用来计算两项得分途径差异的显著性。得分类别划分为三大维度：有字幕与无字幕整体得分；有字幕内容理解得分与无字幕内容理解得分；有字幕词汇识别与无字幕词汇识别得分。统计分析数据见表1。

表1 基于字幕的内容理解与词汇识别SPSS配对样本分析

注：受试者两项得分途径差异t值，其中“+”表示“有”，“-”表示“无”。

根据表1，全部词汇识别与内容理解题t值统计为显著性(t=2.475，P<0.017)，这意味着两种途径得分间有显著性差异。换言之，受试者回答有字幕电影的问题表现优于无字幕电影的表现。基于表1t值数据，内容理解题比整体而言统计更为显性(t=4.650，P<0.000)，这些数据表明受试者理解有字幕电影优于无字幕电影。然而，两种途径间对于词汇识别题无显著性差异。

进一步分析得出，受试者对于双模态字幕呈现的电影理解表现更佳，这包括全部的词汇识别与内容理解问题。表中第三行是关于受试者对于内容理解方面的数据，从其结果看要优于整体数据。据此表明，受试者对于理解有字幕电影的表现优于无字幕电影。然而，对于电影中的词汇识别，观看有字幕电影与无字幕电影之间并无显性差异。所以，可以得出结论，受试者在理解双模态英文电影方面比无字幕电影更为成功，书面形式的言语呈现或表征是关键要素。但就词汇识别而言，观看有字幕电影并无特殊或显性效能，或可归因于从有字幕电影中进行词汇识别与认知学习，需要多频次实践这一事实。

四、结论

本项关于观看双模态字幕英文电影的实证研究表明，作为文化资源之一的电影，其效能不仅可以激发学习者的娱乐动机，还有助于学习者理解各类方言口音的言语。以英语为外语的学习者，有机会接触美国、英国、澳大利亚等不同地区带有不同乡音的真实言语已是不争的事实。然而，鉴于学习者对标准英语的习惯性认知，通过听力来理解真实言语中的每个单词，毋庸置疑，相当困难。本实验数据表明，双模态英文电影字幕对于这些以真实言语表达的电影内容理解是最佳的选择。

然而，本研究中双模态字幕对于以英语为外语的学习者词汇识别没有产生显著性效能，或可归因于本实验为“一次性个案”研究，受试者接触作为研究材料的两部英文电影频次太低，这也是此次实验研究的局限性所在。另外需要指出的关键影响要素是，依清华大学崔刚教授之言：“实验方法也有一致命的问题，那就是它的非自然性。心理语言学研究的目的在于发现人们在自然状况下使用语言的心理过程，而实验方法都要控制变量，实验环境都有人为的因素参与其中，在实验室里取得的结果能否说明人们在自然环境中使用语言的情况往往是令人怀疑的。”[26]这是实验研究路径的通用症状所在，故而本文实证研究的数据与分析结果，更多彰显的是参考价值。

[1]南旭光.大数据时代高等教育“循数治理”解析及实现路径[J].中国电化教育，2016，(8)：20-26.

[2]杜志强，支少瑞.微课在新媒体时代的“位”与“为”[J].高校教育管理，2015，(2)：96-100.

[3]薛丰年.微媒体视域下的大学英语教学[J].教育理论与实践，2016，(36)：53-54.

[4]马萌芸.影视翻译在大学英语视听说课堂中的应用[J].教育理论与实践，2014，(34)：49-50.

[5]吕玉勇，李民.论英文电影字幕翻译的娱乐化改写——以《黑衣人3》和《马达加斯加3》的字幕翻译为例[J].中国翻译，2013，(3)：105-109.

[6]郑宝璇.电影字幕的语内和语际翻译[J].中国翻译，2011，(4)：75-78.

[7]Surai Kumar. Efficacy of two multimodal treatments on physical strength of occupationally sub grouped male with low back pain[J].Journal of Yoga & Physical Therapy，2016，(6)：237.

[8]Kelley，MJ Adams，BD Mulliken，et al. Efficacy of multimodal perioperative analgesia protocol with periarticular medication injection in total knee arthroplasty: a randomized, double-blinded study[J].Journal of Arthroplasty，2013，28(8)：1274.

[9]Lemke. Multiplying meaning: Visual and verbal semiotics in scientific text. In J.R. Martin & R. Veel (eds.), Reading science[M].London：Routledge，1998.87-113.

[10]胡壮麟.社会符号研究中的多模态化[J].语言教学与研究，2007，(1)：1-10.

[11]冯德正，张德禄，Kay O'Halloran.多模态语篇分析的进展与前沿[J].当代语言学，2014，(16)：88-99.

[12]杨勇.“耦合”观照之一:多媒体外语教学[J].现代交际(学术版)，2016，(13)：6-8.

[13]Johanna E. Katchen，Tim Fox，Vernon Chun，et al. Developments in Digital Video[EB/OL].(2012-03-14)[2017-08-12].http://mx.nthu.edu.tw/～katchen/professional/developments%20in%20digital%20video.htm.

[14]Borrras，Lafayette. Effects of multimedia courseware subtitling on the speaking performance of college students of French[J].Modern Language Journal，1994，78(1)：66-75.

[15]Kusumarasdyati. Subtitled movie DVDs in foreign language classes[Z].Aare Conference，2006.

[16]Zanon. Using subtitles to enhance foreign language learning[J].Porta Linguarum，2006，(6)：41-52.

[17]Grgurovic，Hegelheimer. Help options and multimedia listening: students' use of subtitles and the transcript[J].Language Learning and Technology，2007，11(11)：45-66.

[18]Koolstra，Beentjes. Children's vocabulary acquisition in a foreign language through watching subtitled television programs at home[J].Educational Technology Research and Development，1999，47(1)：51-60.

[19]Bird，Williams. The effect of bi-mod al input on implicit and explicit memory: an investigation into the benefits of within-language subtitling[J].Applied Psycholinguistics，2002，23(4)：509-533.

[20]Stewart，Pertusa. Gains to language learners from viewing target language closed-captioned films[J].Foreign Language Annals，2004，37(3)：438-447.

[21]Grignon，Lavaur，Blanc. The effect of subtitles on film understanding[EB/OL].(2012-02-12)[2017-08-12].http://google.com/site/jeanmarclavaur/grigronlavaurblanc2007.pdf.

[22]Hinkin. Comprehension of multiple channel messages: are subtitles more beneficial than soundtracks[D].Kansas State：Kansas State University，2009.

[23]黄国文.Erasure and Writing[EB/OL].(2016-10-11)[2017-08-12].http://fls.sysu.edu.cn/node/1099.

[24]Mitterer，Mcqueen. Foreign subtitles help but native-language subtitles harm foreign speech perception[J].Plos One，2009，4(11)：7785.

[25]Arran Stibbe. Ecolinguistics and erasure: restoring the natural world to consciousness. In Christopher Hart & Piotr Cap(eds.)[J].Contemporary Critical Discourse Studies，2014，(2)：583-602.

[26]崔刚.《心理语言学导论》导读[M].北京：世界图书出版公司，2007.3.

【责任编辑：周丹】

H315.9

A

1673-7725(2017)11-0152-06

2017-09-06

本文系吉林省教育科学“十二五”规划课题“多模态视域下的英语教学设计的研究”(项目编号：GH12170)；广东省普通高校特色创新类项目(教育科研)“应用型本科教育的理论解析与实践探索”(项目编号：2016GXJK175)；广东省教育研究院课题“应用型大学多模态外语教学探索”(项目编号：GDJY-2014-C-b077)；广东白云学院课题“大学生口语交际能力多模态构建研究”(项目编号：BYKY201537)的研究成果。

杨勇(1978-)，男，山东诸城人，讲师，主要从事系统功能与认知语言学、外语教育与翻译。