多媒体环境下多模态输入对阅读的效果探讨

徐志敏，陈计庄

（南京人口管理干部学院 外语系，江苏 南京210042）

引言

国内学者对阅读理解研究的文章很多，但大部分只是停留在阅读技巧和策略上。随着多模态技术的出现和其在英语听力方面的应用，其在英语阅读中应用的重要作用值得我们关注。多模态是指在一个交流成品或交流活动中不同符号模态的混合体（Van Leeuwen，2005：281），同时也可以表示不同的符号资源被调动起来，在一个特定的文本中共同构建意义的各种方式（Baldry&Thibault，2006：21）。 本文旨在讨论多模态环境下的学生在与音视频中人、物和场景的互动中对阅读文章产生的效果。

Krashen（1985，1989）在二语习得理论中提到，最有效的教学涉及到多种形式的可理解的语言输入比一种形式的输入更有利于语言习得。 Duquette and Painchaud（1996：144）在研究视觉媒体对学习影响的基础上提出，当语篇中包含语境线索以及读者先前知识被激活时，这样会更有利于学习单词，进一步理解文章。他们认为，先前知识包括母语和二语之间的关系以及学习者对话题的熟悉程度，而视觉和听觉线索将会有效帮助学习者学习新词和理解文章，其中，视觉线索带来的帮助会更多,非语言因素的研究也表明听觉信息和视觉信息密不可分。

Neuman and Koskinen（1992：78）发现语篇和视觉图像结合会达到最强的听力效果。Pearman and Lefever-Davis（2006：262）探究了课堂计算机的使用，指出视觉手段不仅提供图像，而且还提供了地道的语言，即没有经过简化，正常语速表达的语言。同时，多媒体也提供了语境化的信息，包括非语言线索和非词汇线索，例如重音和节奏。但那些希望在教室中完全利用电子和数字技术的老师也面临着挑战和选择，Herron，York，Corrie，and Cole（2006：295）对比了两个外语班：一个使用套装课程，课程中包括了视频成分作为教授新内容的主要手段；另外一个班依靠传统的课本，稍微带点多媒体的材料。结果发现第一个班的在听力理解和语法的掌握方面都受益匪浅。

国内不少学者也提到网络和多媒体的结合对英语各科教学的效果，王守仁和赵文书（2003：25-28）在讨论网络环境下的英国文学教学时，曾指出在文本材料之外，增加相关的视频、音频和图像等媒体材料，使知识的呈现方式丰富多彩，提高学生的学习兴趣。顾佩娅（2007）对苏州大学英语课堂进行的调查研究证明了网络和多媒体手段的介入优化了该校的语言教学环境，并取得良好的效果。另外最近几年，国内在教材的编辑上也非常注重视频和音频的相结合了，如：《新世纪大学英语视听说教程》（上海外语教育出版社，2007），《新视野大学英语视听说教程》（外语教学与研究出版社，2005），《新要求大学英语（视听说）》（上海外语教育出版社，2005）等教材都采用了视听说同步的教学模式。大学生在学习大学英语时对这种模式也不陌生。

国内外现有的研究确认了可理解信息的重复和不同的表达形式，尤其是视频，与可衡量的学习和理解有很大的关联。然而，到目前为止还没有专门研究针对同一文本采用音频输入和视频二种不同输入的方式在阅读理解效果上会带来怎样的差异。下面我们尝试对此进行探讨。

一、研究方法

为了研究的真实性，我们没有选用课本中的文章，而是以著名的短篇小说《摸彩》作为测试文本，力求结果的客观性。正如当代外语教学理论所主张的采用真实的阅读材料才可以使学生接触到地道的英语，从而更有利于调动学生的学习积极性。

这篇中的词汇基本在大学英语参考词汇表所列之内，另外我们把超纲生词提前打印出来，解释清楚，不影响学生阅读文本的主要内容。研究的参加者，我们选取了大学二年级上学期的学生，他们已经在校学习了一年大学英语课程，了解大学英语的基本构成，特别对大学英语听力有全面的了解，而参加实验的教师对这些学生也相当熟悉。

参加实验的所有学生已完成大学英语课程所规定的课时，且没有接受额外的英语听力训练。 经过一年大学英语听力学习，参与实验的学生阅读了一些与实验相同类型的文章。实验前一年，听力课选择了由东南大学李霄翔教授主编的《英语视听阅读教程》，本教程材料来自于美国国家地理频道所收集的文章，题材广泛，适合于我国大学生的社会生活经历和知识结构，主题涉及到中外文化、天文地理、历史名胜、科技探索、自然生态、风土人情、生活常识和名人轶事等各个方面的内容。本实验之所以选择了雪莱·杰克逊的小说《摸彩》，也是因为本短篇小说曾三次被拍成电影，其中1969年导演Larry Yust把它拍成一个短剧。选择这篇小说除了小说本身引人入胜外，还有另外两个原因：一方面，这个故事有吻合小说内容的较为专业的音频和视频版本；另一方面，小说情节跌宕起伏，结尾没有明示主人公泰西是否死亡，这便激发了读者或听者对小说内容产生不同理解，读者或听者可以根据所读或所听的某个线索进行发挥，可供讨论的空间比较充足。

如利用课堂时间让学生去阅读这个故事是不实际的，所以实验时，让学生在听之前一周自己阅读这篇故事。也没有给他们任何阅读活动或其他支持，告诉他们不要向他人寻求帮助，也没必要和其他同学进行谈论。自己独自阅读，理解故事的大概内容。除了回答我们设计的和文章相关的十个多项选择题以外，作为测验他们的第一次理解，我们还给学生设计了七个开放性的题目，在下次上课之前来回答。问题1～3是事实性知识：

1.What is the story about？

2.What happens at the end of the story？

3.Describe the ritual of the lottery in your own words.问题4～7测验学生转换和评估文本知识的能力：

4.What is your opinion of what you read？

5.Do you think the story is believable？Try and explain your answer.

6.The townspeople live in their town even though they,or someone in their family might win the lottery.Why do you think they stay in this town？

7.What point is Jackson attempting to make？What is the message of this story？

我们全面评估学生的阅读能力，问题1～3是询问学生对故事的事实性知识，问题4～7是测试学生高层次的阅读能力，如分析能力、应用能力和综合能力。学生低层次的理解能力意味着学生对故事事实性知识是否能够提供足够的证据或理解是否到位，基本的理解能力意味着能够回答事实性问题1～3，而高层次理解能力则需要回答问题4～7。评估标准容许学生有各种各样的可行性的回答，但这个可行性的标准在于学生的回答是否包含以下的一些信息。我们没有利用常见多项选择的阅读题型来考察学生对文本的了解，因为担心学生可能在不理解文本的基础上进行猜测或不假思索随机选择一个答案，这样会达不到实验的真实结果。

既然要求参与者不需要任何外来帮助独立完成阅读和所布置的相关问题，我们认为学生的回答反映了他们现有的英语语言知识能力。然而，阅读是在课外时间完成的，所以也存在有些学生从他人那里得到帮助。参加实验的三个班级在人数、以往的英语成绩以及对这个故事测前的回答差不多的前提下，我们把三个班分为阅读讨论组、视频阅读组和音频阅读组。

阅读讨论组包括36位名学生，他们阅读后就所规定的话题进行讨论；音频加阅读组有36位学生，他们先阅读课文，然后就规定的话题进行讨论，再听故事的录音。视频组有39名学生，先阅读，然后谈论相同的话题，再看故事的视频。每个实验班分成几个小组，每个小组的前测成绩都有个高低的变化。至少有成员的测后回答表明对文章有很好的理解，为了让学生更好地理解文本，要求每个小组用同伴的家庭作业回答作为他们讨论的话题。学生们会努力通过同伴们之间的讨论来达到对课文的更好的理解，而不是改正他们的答案。各个小组都花31分钟的时间去讨论课文，因为根据大学英语教学大纲中较高要求对阅读理解能力的标准，要求学生以较快速度阅读篇幅较长，难度适中的文章，每分钟120词，学生们能够理解中心大意，抓住主要事实和有关细节。参加实验的学生都很熟悉这种阅读后小组讨论的活动，我们以前一直在使用这个教学模式。讨论后，要求学生们交上他们的家庭作业，每个小组成员的名字都写在上面，也作为他们的平时成绩。

二、结果和讨论

从调查的结果可以看出，大部分学生反映小组讨论非常有用，尽管有些同学反映就具体或实质性的话题，讨论也许对他们理解文章帮助不是太大，但可以从小组讨论中有机会听到同伴们的从不同角度带来的不同观点，并且有机会不紧张地用英语表达自己。在比较音频组和视频组的第二轮回答时，我们发现再听一遍文章后，只对音频组中的一部分学生有所帮助，因为大部分学生没有改变测后的对文章理解回答。这个发现有点惊讶，因为增加的可理解性输入并没有带来相应的很大回报价值。同时这也符合我们当前大学英语教学的现状，大部分学生都惧怕听力，也给我们带来思考，怎样进一步提高学生的听力课堂效果。音频组的小收获可和讨论组的结果相比较，讨论组没有机会再来阅读文章，但通过同伴之间的讨论所取得的效果要好于音频组。

另外一方面，视频组的同学们的确得到非常明显的效果，特别对英语差的学生更明显。在外部介入后，视频组的所有学生对文章都有一个事实的理解。英语学习差的学生也能够积极的专心阅读故事，这一发现也和以前一些科研结果有点不同，Baltova（1994）和 Smidt&Hegelheimer（2004）曾提到学习差的学生在正式地道的视频中，更容易会受到多种线索的干扰。但从我们的结果发现，视频和语篇相结合在阅读时更有利于学生的理解。

下面我们随机和几个学生访谈的录音结果：

学生A说在观看视频时，原以为市民们呆在那里希望他们将来也能赢得彩票，“First time I did not get it.I was confused because of the name of it.‘Lottery’ I thought it would be something that is prise （应为 prize），winner will be happy.I think they stay because it is their town,it is the tradition they are scared to live（应为 leave） their town.”视频的有效性进一步支持了我们的看法，这种特殊的可理解的输入方式能够帮助学生在阅读时增加对文章的理解。读完文章，再从屏幕上看故事，理解故事的进展会纠正他们先前对文章的内容和某些细节的误解，同时也强化和升华了对文章的理解和同伴们的观点，视频也有助于各个层次阅读能力的学生。

现在各种输入带来的效果已经得到肯定的回答，而且不管是视频还是音频在情感上几乎都能吸引所有参加各个组实验的学生。特别让人感兴趣的是音频在文章理解方面不会产生可比较的收益。学生B，来自视频组，他的话能代表不少音频组和视频组的同学，他这样写道： “It was a more great experience because first it take more further my imagination,second my feelings are more strong about the story,and third it makes me understand every specific detail.”在读完和讨论完故事文章后，不管是听了故事还是看了故事，学生们在情感方面都带来很强的冲击力。

从最后学生对文章后面问题的回答，我们也清楚地看到视频从另一个角度吸引着学生们的注意力。当问到学生们，在回忆故事中那个部分最生动，几乎所有的参加实验的学生，不管是音频组，还是讨论组的，都认为是故事的结尾部分：泰西被石头砸死的场面。然而，视频组的学生都说是视频的倒数第二幕，文中是这样写的：“The children had stones already,and someone gave Davy Hutchinson a few pebbles”.在电影中，学生通过自己的眼睛清楚地看到了故事的文字再现。学生C的回答具有代表性：“The most vivid image was when a woman give （应为 gave）a little boy a rock to throw it on his mother,basically they wanted him to kill his mother.”通过这种方式，一个细致而严谨的画面鲜活地展现在学生面前，而普通的读者可能只会通过自己的想象力来猜测当时的场景，视频能让故事在展开的过程中显得栩栩如生，更多地吸引学生的课堂注意力，能激发学生积极地参与阅读之中，另一方面也加强学生隐性学习能力的培养。

三、结论

尽管我们的实验有不完善之处，但也表明大学非英语专业学生在阅读包括阅读课本文章和集体讨论时，这些文章的各种多媒体版本形式都会给阅读带来有效地帮助。音频和视频对读者都具有吸引力。虽然音频不会在很大程度上增加理解，但是视频能帮助学生进一步理解阅读文章，特别是那些英语不好的学生，视频输入充分利用了学生的听和说的优势，学生们天生就喜欢看故事情节，愿意在那些让他们产生巨大兴趣并具有很多语境线索中寻找对文本的理解。

音频输入尽管不会明显地帮助读者理解文章，但确实能吸引读者。视频不仅引起读者的情感反应，而且影响读者们对文本的理解。这些发现表明任何形式的可理解性多媒体输入都是有利于学生阅读理解的。随着现代技术，像DVDs、CDs，特别是互联网资源的迅速发展，很多和我们大学精读课文相关的故事都可以在课堂上真实的展现。视频呈现信息的方式更接近真实交际。另外，随着技术的完善，在大规模阅读教材中使用视频已经成为现实。跟文章紧密相关的多媒体各种形式输入会加深学生对整个文本的欣赏和理解，但同时这种教学方式也对老师提出很高的要求，老师要在课前做好大量的备课，选择适当的符合和课文相关的音频和视频资料，帮助学生理解文本，这样也适应了新四级机考的形式，真正提高学生语言的综合运用能力，也培养了学生们的文化思辨意识。

[1]Brett，P.A comparative study of the effects of the use of multimedia on listening comprehension[J].System，1997，25（1）：39-53.

[2]Coniam，D.The Use of Audio or Video Comprehension as an Assessment Instrument in the Certification of English Language Teachers：A Case Study[J].System，2000.

[3]Duquette，L.，Painchaud，G.A comparison of vocabulary acquisition in audio and video contexts[J].Canadian Modern Language Review，1996.53，143-72.

[4]王守仁.赵文书网络环境下的英国文学教学[J].外语界，2003，（1）.

[5]顾佩娅.多媒体项目教学法的理论与实践[J].外语界，2007，（2）.

[6]顾曰国.多媒体、多模态学习剖析[J].外语电化教学，2007.114.