多模态在英语听力教学中的效果研究

林文娟，刘 炜

湖北医药学院人文社科学院， 湖北 十堰 442000

多模态在英语听力教学中的效果研究

林文娟，刘 炜

湖北医药学院人文社科学院， 湖北 十堰 442000

随着网络和计算机技术的发展，多模态教学模式逐渐成为大学英语教学的发展趋势。该文通过实验，研究了不同听力模态对大学生听力理解能力的影响。研究显示：多模态教学的综合运用能够促进学生的听力理解和词汇习得，当视频和音频内容相匹配时效果更为显著；合理运用字幕有利于提高学生的听力理解能力。

多模态；听力理解；字幕；效果

多元文化的相互渗透和信息技术的快速发展，使得传统的读写认知能力已不再适合当今社会，信息交流的多模态性是现代社会信息交流的基本特征。多模态是指运用听觉、视觉、触觉等多种感觉，通过语言、图像、声音、动作等多种手段和符号资源进行交际的现象[1]。目前，多媒体教学软件、网络信息技术大量地运用到英语教学中，教学媒介的多模态性决定了教学过程中的多模态信息传递。在教学中运用多模态形式，能够调动学习者的多个感官系统参与学习，有利于学习者对信息的加工和记忆，产生良好的学习效果。文章通过小样本的实验研究，调查了多模态对大学生英语听力理解的影响，尝试分析不同听力模态在教学中的优势和不足。

1 理论基础和相关研究

国内外关于多模态教学应用的实证研究取得了很多颇具价值的成果，同时研究者们对多模态对听力材料理解的促进作用做出了大量研究。Lambert等[2]在实验中发现，使用母语配音与二语字幕被试组的听力理解效果最好，使用二语配音和二语字幕得分次之，二语配音与母语字幕模式效果最差。Price等[3]也就二语字幕对内容理解和记忆的作用方面进行了研究。Barron和Atkins[4]的研究侧重于关键词字幕、全字幕和无字幕视频在学习者知识点理解方面的不同作用。Guillory[5]把关键词字幕放入二语教学中进行实验，结果发现关键词字幕和全字幕组明显优于无字幕组，肯定了字幕对加强听力理解方面的作用。Danan[6]指出二语字幕能够促进目标生词的使用，并加强目标生词形式和意义的回忆。Guichon和Mclornan[7]通过实验证实了多模态组合有助于学生理解语料，且在其听力学习中二语字幕优于母语字幕。

国内的相关研究起步较晚，研究相对较少。汪徽[8]通过实验研究，认为字幕对二语学习者的偶然性词汇习得有帮助，提倡教师最大地发挥字幕的作用，找到适合学生的方法。任开兴[9]认为，基于SRT格式的灵活性字幕能够成为听力教学与训练的得力助手。陈丽芳[10]做了输入文本模态选择对听力理解的实证研究，发现输入文本的模态差异对不同层次学生的听力理解均有不同影响。

总的来说，尽管上述研究在多模态应用方面取得了丰硕成果，却很少关注不同模态对听力理解影响的差异。因此，该研究尝试探讨多模态在听力教学中的效用问题，以分析不同听力模态对学生听力材料理解的影响和差异。

2 研究设计与实验过程

2.1 研究问题

在外语学习环境中，学习者的听觉语言处理能力通常低于其视觉语言处理能力，听力理解不及阅读理解强[11]。字幕常常作为一种补救措施以弥补对听力材料理解能力的不足。该研究试图探讨多模态在听力教学中的4WH 效用问题：①多模态听力模式是否有助于大学生听力理解能力的提高？②视频或图像的呈现是否对听力理解有所促进？③二语字幕和母语字幕在听力中对学生理解能力有何影响？④二语字幕和母语字幕在听力教学中有何优势与不足？

2.2 研究对象和研究方法

该研究选取湖北医药学院临床专业120名学生为研究对象，120名学生来自同一级别教学班级，根据一年级下学期的英语期末成绩作为前测，分两组进行成绩分析，均值和标准差分别为(72.5±6.20)和(72.9±7.05)，水平相当，差异无统计学意义(F=0.080,P=0.991)。同一组别的学生授课教师相同，教学大纲、教材等后测条件也相同，基本等质。在听力教学实验中，120名学生随机分成4组，每组30名，各组被试对象采用不同方式播放听力材料。对照组为音频组(听觉模态)；实验组1为音频、视频组(听觉、视觉模态)，实验组2为音频、视频附母语字幕组(听觉、视觉模态)，实验组3为音频、视频附二语字幕组(听觉、视觉模态)。

研究视频选取学生熟悉的话题，涉及到家庭生活、社会现象、健康知识、自然灾害，等。大学英语四级听力要求为平均语速每分钟130词，语料选取了一段时长为3分23秒(约435词)的ABC新闻视频，主题为手机的使用问题，主要讲述了手机的使用是否存在健康隐患。根据研究需要预先对视频进行技术处理，将视频分别处理为无字幕、母语字幕和二语字幕格式备用，纯音频组只播放录音。

实验中，4组学生同一时间进行测试，教师分别用以上不同形式向学生播放听力材料，听力材料播放3次。该研究的变量来自于听力材料的不同呈现方式，分别为纯音频、音频+视频、音频+视频附汉语字幕、音频+视频附英文字幕。具体的步骤为：教师首先清楚告知学生测试要求、测试过程及注意事项。听力材料播放第一、二遍后，学生各用5 min记录笔记；第三遍播放完毕，要求学生在20 min内写出英文概要，检查并提交试卷。

2.3 数据统计和分析

实验前，4位资深英语教师和2位英语为母语的外教阅读听力文本，划定语义单位或关键词。经过多次讨论之后，确定了36个语义单位，包含新闻的主题(手机的使用)，内容(手机的使用是否有害于健康)及其影响，等。为了测定不同变量对学生听力理解的影响，我们用学生实验后写的英文概要做分析材料，每个语义单位1分，共计36分。这样有助于分析听力理解过程中不同模态对学生听力理解的影响以及字幕的作用，发现不同听力模态的利弊。

实验数据主要来自于学生所提交的英文概要中所包括的语义单位或关键词的数量，语法不准确在实验结果中忽略不计，即只要概要中包含各语义单位或关键词，就被认定为已理解该语义单位或关键词。每组写出各语义单位或关键词的学生人数作为该组的单项语义单位成绩。为了考查不同听力模态对学生听力理解能力的影响是否有统计学意义，数据的分析和处理使用统计软件SPSS 16.0，采用单因素方差分析对学生的听力成绩进行了分析，并用Post Hoc进行事后多重检验，统计分析的检验水准设定为0.05。

3 结果

学生听力概要的成绩数据分析结果如表1所示。

表1 不同听力模态对学生听力理解的影响的分析结果

*用Post Hoc进行事后多重检验，实验组3分值最高，与实验组1、2及对照组相比，P=0.000<0.05；实验组2高于实验组1，P=0.012<0.05;实验组1与对照组的差异不显著，P=0.186>0.05。

实验结果表明，不同的听力模态对学生听力理解能力的影响有统计学意义(F=29.271，P<0.001)。总体来看，实验组3(音频+视频+英文字幕)的分值最高(24.65±2.807，与实验组1、2及对照组比较P=0.000)，实验组2(音频+视频+中文字幕)的分值次之，实验组1(音频+视频)和对照组(纯音频)之间差别无统计学意义(平均值分别为17.83±3.567和18.86±3.912，P=0.186)。结果显示了4个被试组之间的听力理解成绩的差异，直观地呈现了不同听力模态对学生听力理解能力的影响，实验组3(音频+视频附英文字幕)对学生的听力理解有着较好的促进作用，实验组2(音频+视频附汉语字幕)次之，实验组1(音频+视频无字幕)的作用第三，而对照组(纯音频)的效果最小。

4 讨论

长期以来，音频一直作为主要媒介应用于听力课堂教学中，起到了积极的作用。随着网络和计算机教学技术的发展，多模态教学模式逐渐成为英语教学的发展趋势。研究表明，视觉信息(图像、字幕，等)能促进学生词汇学习、听力理解和内容掌握。Tschirner[12]提出，当某个生词能够和具体的物体形象联系起来或者获得相应的视觉线索支撑时，词义习得将更加容易。Doughty[13]指出，二语字幕能够促进词汇习得，促进词汇形与义的匹配，帮助学生更加精确地记忆单词和词组。该研究结果也证实了上述观点。

该实验研究结果表明，综合运用多模态教学与单一的音频听力模态相比具有明显的优势，尤其是当视频和音频内容相匹配时。例如：第7个语义单位“treat your phone like a racquetball”和第14个语义单位“ext- ended exposure to cell phone radiation”都是以直观的视频画面呈现出来的，与音频信息的内容相匹配。实验结果显示，实验组准确写出语义单位或关键词的学生人数高于对照组(P=0.000<0.05)。对照组写出第7个语义单位的学生人数为12人(40%)，实验组1、2、3写出第7个语义单位的学生人数分别为17人(56%), 19人(63%)和23人(76%)。对照组写出第14个语义单位的学生人数为19人(63%)，实验组1、2、3写出第14个语义单位的学生人数分别为22人(73%)，24人(80%)和25人(83%)。

视频模态并不一定在任何情况下都能促进学生的词汇记忆和听力材料理解。例如：第16个语义单位包含the United States,Sweden,Denmark,Switzerland,UK等5个国家名，但是实验组1(音频+视频)中写出该语义单位的学生反不及对照组多，分别为19人(63%)和22人(73%)。原因可能在于视频中并没有出现与这几个国家相关的画面，而视频反而分散了学生的注意力，干扰了学生对于语音的识别和记忆，使学生偏离了音频中的语言。这也说明视频内容与音频内容不匹配时，视觉信息对学生听力理解能力的促进不明显，甚至造成干扰。实验组2和实验组3表现得较好，写出该语义单位的人数分别是25人(83%)和26人(86%)，证明了无字幕的视频会让学生错过许多语言信息，合理配用字幕使学生能够兼顾语言和图像信息，对学生的听力理解能力有促进作用[14]。

该实验还证实，在听力材料相同且被试对象英语水平无明显差异的情况下，相比汉语字幕，英语字幕更能促进学生对听力材料的理解。这主要因为母语的负迁移在语义、词汇和语法层面影响了学生对于听力材料的理解。例如：第2个语义单位“cell phone sub- scriptions”一词，汉语字幕为“手机用户”，实验组2的学生表述该语义单位时大部分使用了“cell phone users”。而第27个语义单位“the WHO being a cauti- ous body”中“cautious body”所配的汉语字幕为“预警组织”，实验组2的学生无一例外地使用了“warning”一词。这充分说明了汉语字幕在很大程度上影响了学生对听力材料的加工和输出。

综上所述，多模态听力教学优于单一模态的听力教学，对学生听力理解能力的提高有显著的促进作用，尤其以视频和音频内容相匹配时为最佳。合理运用字幕有利于提高学生的听力理解能力，英语字幕比汉语字幕更能发挥积极的作用。汉语字幕会对学生的语义理解形成负迁移。

该研究只是有关多模态听力教学对学生听力理解影响的初步探索，只是基于一个学校的样本进行的分析和讨论，存在着局限性，由于参加的学生人数少，所选用的视频类型单一且内容长度较短，研究结论还有待于选取不同听力水平的学生进行更大规模的多模态实验来进一步地证实。该研究提示我们，在英语教学中，教师在设计听力教学方案时，要充分考虑到听力材料的呈现方式，模态选择要以增加正效应为原则[15]，应指导学生通过各种不同的模态来获取和处理信息，培养学生的多元识读能力，提高英语学习效果。同时，教师应注意到母语负迁移的问题，培养学生英汉对比分析能力，增强学生的跨文化意识。

[1]张德禄.多模态话语分析综合理论框架探索[J].中国外语，2009a(1):24-30

[2]Lambert W E,Boehler I & Sidoti N.Choosing the language of subtitles and spoken dialogues for media presentations:Impli- cations for second language education[J].Applied Psycholin- guistics,1981(2):133-144

[3]Price K.Closed-captioned TV:An untapped resource[J].MA- TSOL Newsletter,1983(12):7-8

[4]Barron & Atkins.Audio instruction in multimedia education:Is textual redundancy important?[J].J of Edu Multimedia and Hypermedia,1994,3(3/4):295-306

[5]Guillory H G.The effects of keyword captions to authentic Fr- ench video on learner comprehension[J].CALICO J,1998,15(1-3):89-108

[6]Danan M.Captioning and subtitling:undervalued language lea- rning strategies[J].META,2004(1):67-76

[7]Guichon N & Mclornan S.The effects of multimodality on L2 learners:Implications for CALL resource design[J].System,2008(1):85-93

[8]汪徽.字幕对伴随性词汇习得的影响[J].外语电化教学，2005(2):47-52

[9]任开兴.基于灵活字幕的英语听力教学探讨[J].现代教育技术，2009(10):69-72

[10]陈丽芳.输入文本模态选择对听力理解影响的实证研究[J].莆田学院学报，2011(6)：96-100

[11]戴劲.影视字幕与外语教学[J].外语电化教学，2005(3):18-22

[12]Tschirner E.language acquisition in the classroom:The role of digital video[J].Comp Assisted Language Learning,2001(3)-(4):305-319

[13]Doughty C J.Effect of instruction on learning a second lan- guage:A critique of instructed SLA research[A].In VanPat- ten,B,J.Williams & S.Rott.(eds.),Form-Meaning Connec- tions in second Language Acquisition[C].Mahwah,NJ:Lawrence Erlbaum,2004:65-86

[14]董剑桥，周迓菁，刘桂如.英语多媒体视频阅听过程中知觉负载与选择性注意—以视频字幕呈现量对阅听理解的影响为例[J].外语电化教学，2013(5):57-64

[15]张德禄.多模态话语理论与媒体技术在外语教学中的应用[J].外语教学，2009b(4):15-20

Effects of multimodality on English listening teaching

LinWenjuan,LiuWei

SchoolofHumanitiesandSocialSciences,HubeiCollegeofMedicine,Shiyan442000,China

Multimodality teaching mode has gradually become the development trend of college English teaching with the rapid development of network- and computer-assisted teaching technology. By conducting experiments, we investigated the effects of different listening modalities upon listening compreh- ension of college students. The results showed that multimodality listening teaching can greatly improve students' listening comprehension and lexical acquisition, especially when visual information matches audio information. In addition, proper use of subtitles is conducive to improving listening comprehension.

multimodality; listening comprehension; subtitle; effect

湖北省教育科学规划“十二五”2011年度课题“英语教学中多模态识读能力的培养”(2011B342)；湖北医药学院2011年度教研项目“英语教学中多模态识读能力的培养”(2011022)的研究成果。

2015-05-11

林文娟(1971-)，女，广东揭阳人，硕士，副教授，主要研究方向：英语教学和教育技术。

刘炜(1972-)，男，湖北十堰人，硕士，副教授，主要研究方向：英语教学和英语语言学。 电话：13872799212：E-mail:87217973@qq.com

G434

A

1004-5287(2015)05-0538-03

：10.13566/j.cnki.cmet.cn61-1317/g4.201505018