多模态视角下英语视听认知影响机制研究

摘   要 多模态环境下，视听相结合的英语视频材料广泛应用于英语听力教学中。视觉和听觉是两个独立的认知系统，它们相互影响、制约和融合。对视频中视觉和听觉影响机制进行实证研究，发现视觉认知和听觉认知的相关性及学生的英语语言能力会影响视听材料的理解效果，对英语听力教学有指导意义。

关键词 英语视听  认知  影响机制

计算机和网络技术的发展为语言学习提供了多模态、多媒介的学习环境。随着计算机辅助教学及网络的普及，英语听力教学也发生了质的变化[1]。学生和教师都不再满足于单纯的音频材料，而是更多地接触到有视频介入的听力材料。随着英语教育的改革，学生英语听说能力的培养受到了越来越多的关注，计算机和网络在英语听力教学中发挥着越来越重要的角色，英语听说课已从单纯的听、说转变为视、听、说多模态结合的模式。自80年代开始，视频媒介介入的英语听力教学得到了大力的发展和应用。视频主要包括内容视频和场景视频。内容视频就是视频中包含了实景事物和事件发生的实际过程;而场景视频主要包含了谈话者的举止神态和一些次语言特征，比如手势、唇形等[2]。随着视频媒介在英语听力教学中的推广使用，师生对视频材料参与英语听力教学过程持积极态度，但对如何使用视频材料及听力理解中视听相互的影响机制还很模糊，相关研究很少。因此，本研究从定性和定量角度考查英语听力中内容视频资料对听力理解影响机制，从而为听力教学提供有益的启示。

一、研究理论依据

1.认知负荷理论

听力理解是一个主动和复杂的过程，听者会从看到的和听到的线索中提取信息并将这些信息和大脑中长期记忆中的信息相关联，从而更好地理解听到的内容[3]。澳大利亚认知心理学家Sweller的认知负荷理论，是本研究的基本理论基础。Sweller认为，听觉记忆和视觉记忆是相对独立的，当材料通过听觉和视觉同时输入，听觉和视觉的认知负荷可以相互分担，也就是说视觉输入可以有效减少听觉中的工作记忆负荷[4]。认知负荷理论提出，知识以图式的形式存储在大脑长时记忆中，人们大脑的工作记忆是有限的，当太多的信息同时输入时，就会出现负荷过量。如果输入信息和大脑长期记忆中的图式相关，工作记忆负荷就会被降低。

2.多模态语篇分析理论

Walma van der Molen的多模态语篇分析理论建立在Halliday的系统功能语言学基础上。该理论侧重研究符号学之间的关系，它从语义分析的角度去研究视频材料中视觉和听觉模式符号学之间的语义联系[5]。从语义加工角度，听力理解包括自下而上和自上而下的过程。自下而上是指听者语义建构的过程，将听觉信息从音位层次过渡到语篇层次;自上而下是指听者利用存储于长期记忆中的已掌握的知识和宏观组织去帮助理解听力内容[6]。语义相关的视觉信息可以给受众提供附加的记忆代码从而帮助提高听力的理解能力，而语义不相关的视觉图片会增加工作记忆的认知负荷并影响听力理解。

二、研究设计及实施

基于以上理论，研究方法采用对比实验、调查问卷和访谈相结合的方法。对比实验我们选取西部某学校的四个不同班级各30名学生作为研究对象。这四个班级分别为使用视听材料教学英语提高班（英语基础好）、英语普通班（英语基础薄弱），仅使用听力材料教学英语提高班（英语基础好）、英语普通班（英语基础薄弱）。

1.定性研究

针对使用视听材料上课的班级，选取来自CCTV-NEWS中一段报道地震灾害的新闻视频作为上课材料。视频中包含了视听相关性高的两段视频，画面清晰地描述了新闻中口头所表述的内容，一段显示地震发生时山体的滑坡和地面的开裂，一段显示地震时房屋的倒塌和人们的神情;视频还包含了一部分视听相关性低的内容，主要通过图片和图表讲述了地震的震中、地质活动情况、地震天气情况及未来灾害的预测等;还有部分片段是标准的新闻图片，和口头报道相关性不大。

视频播放完毕，学生需要完成四道题，分别考查对视频大意的理解情况、对主持人报道内容大意的理解情况、低试听相关性特殊信息的理解和高视听相关性特殊信息的理解。通过对答题情况的分析，主要考察两个问题：（1）不同的内容视频对听力理解的影响程度，是有助于听力理解还是影响听力理解;（2）视频材料对不同英语基础的学生影响有何不同。

2.定量研究

主要包括问卷调查和面对面访谈。调查问卷共两套，一套针对听力任课教师，一套针对学生。面对面访谈采用即时采访的方式，在完成相关听力任务后随机抽取学生马上进行采访。问卷主要涉及以下几个方面：（1）教师对有视频介入听力训练材料的使用情况和他们对视频材料运用于听力教学的态度;（2）教师是否观察到学生对视频材料中视觉信息使用的情况;（3）英语基础好和英语基础薄弱的学生对视频介入听力材料的认识及他们在听力过程中使用视频材料的习惯和熟练度。访谈主要是让学生对参加测试中的视频材料谈谈自己的看法，他们对视频材料中视觉信息的认识、使用策略及是否使用视觉信息有效地帮助理解所听的内容。

三、研究结果

1.高视听相关性的视听材料有助于提高学生的听力理解

通过对学生答卷的整理和归类，我们采用定量研究SPSS 19.0软件进行数据分析。因为涉及到两组变量——高水平组（提高班）和低水平组（普通班）、视听材料组和单纯听力材料组，我们采用单项方差分析（one-way ANOVA）来检查每个变量的情况。

分析結果显示，在视频大意的理解掌握上，视听组的平均值要大于听力组，P=0.025<0.01，说明视听材料的输入比单纯的听力材料输入能更有效地提高受众对材料大意的理解;在主持人报导内容大意的理解上，视听组和听力组并没有太大的区别，说明中国学生对主持人的嘴唇活动和面部表情反映不敏感，很难借助主持人的外部特征获取有效信息来帮助理解说话内容;在不相关方面，两组的差别不大，说明视频材料中不相关的图片内容对听力理解的支持作用不大。在相关信息方面，视听组的平均分高于听力组，P=0.032<0.05，说明当视听材料中视觉信息和听觉信息一致，可以有效地提高听力理解。

以上实证分析证明，高视听相关性的视听材料比单纯的听力材料更有助于听力的理解。当听觉和视觉信息重合，它们之间就可以有效地互补并形成有效的理解。外来的认知负荷降低了，有关联的认知负荷提高了，听者的理解力得到提升。

2.视听材料对英语基础不同的学生影响不同

实证研究数据显示，高水平组的学生更善于利用视觉信息来理解视听材料的大意并有效构建大脑图式。高水平组的学生对主播的唇部动作和面部表情会更为敏感些。高语义相关的视频对低水平学生影响力超过高水平学生。不相关的视觉信息对听力理解没有任何的帮助。

这说明视听材料的理解受到学生英语语言基础的影响，不同英语基础的学生利用视觉信息的能力是不同的。英语基础强的学生更善于利用视觉信息和相关背景信息，而英语基础弱的学生对视觉信息敏感性弱，不善于利用高试听相关性的视觉材料理解听力内容，他们很容易受视觉信息的干扰而忽略听觉信息。因此，英语基础低的学生利用视觉信息的能力还有待提高。

3.视听材料类型不同，对听力影响也不同

面对面访谈结果显示，提高班和普通班学生都认为视频资料比单纯的听力材料更有利于听力的理解。但是，不同类型的视频资料对听力的影响不同。学生普遍认为“动画画面”很形象，有助于提高听力的理解力;“图表和公式”比较直观，可以帮助理解听力中部分相关内容;“逻辑相关事件”可以显示实物并传递词语的意思，有助于语义解码;但“标准的新闻图片”只对理解大意有帮助。对于视觉信息是否会有助于理解材料中特定信息，学生认为如果视觉画面变化太快，则会带来过多的信息负荷，不利于特殊信息的掌握。视频中主持人的唇形、手势及面部特征，对学生听力理解影响不大，但对高水平学生来说，它们可以间接加深对某些词汇的记忆。

4.教师和学生对视频材料的认识和使用不够

对教师的问卷显示，英语教师普遍认可有视频介入的听力材料，认为视听材料比单纯的听力材料更直观、更形象、更贴近真实的语言环境，并主动将视频材料应用于英语听力教学中。但是教师对视频在听力中的作用并不很清楚，他们对于视听材料中视觉信息对听力理解的影响及作用知之甚少，基本没有概念和相关理论支持。教师对视频的类型也不是很清晰，不同类型视频对听力理解的影响还未主动纳入听力理解考查范围。在课堂上不会引导学生关注视频资料中的视觉信息，也不太会选择合适的视频材料应用于听力教学。

对学生的调查问卷显示，两个组别的学生更喜欢去接触有视频信息的听力材料。英语基础好的学生对视频信息在提高听力理解方面持更加肯定的态度，他们习惯利用背景材料、图表、主持人的手势、表情等来帮助听力的理解。但英语基础低的学生对视听材料中的视频资料没有概念，基本不关注视频信息。

四、启示

有视频介入的视听材料对英语听力教学提供了新的思路，也带来了新的问题和挑战。明确视听资料中视听的相互影响机制，会更有效地提高听力教学的效果。在今后的听力教学中，要注重以下方面。

1.加强师资培训

对从事英语听力教学的老师进行相关理论培训，从而明确视听材料中视听的认知关系，科学有意识地引导学生利用好视听材料。教师既要注重学生语音和听力技巧的培养，也要注重培养学生对视觉信息的认知，并介绍有效的视觉信息理解技巧，从而全面提升聽力理解能力。

2.合理选择视频材料

常见的视频材料通常表现为“动画”“图表和公式”“逻辑相关事件”“标准的新闻图片”和“不相关图片”等，它们和听觉的语义相关性依次减弱。我们在视频材料的选择上，要多选择视听相关性高的“动画”或“图表和公式”，避免使用“标准的新闻图片”和“不相关图片”等。只有高视听相关性的视频材料才能够更好地帮助理解听力内容，有效地服务于听力教学。

3.培养学生利用视频材料的意识

对于低水平学生来说，视觉信息的替代效果要更强，他们在视听材料中，更关注视觉信息超过听觉信息;对高水平学生来说，视觉信息的补充效果更强，即他们有能力更好地使用视觉信息来提高听力理解。也就是说，低水平学生受视频材料中视觉信息影响更大，视听高相关性的材料有助于提高他们的听力理解，而视听低相关性的材料会更大程度上干扰他们的听力理解。因此，加强学生英语基础知识的储备，训练并提高学生对视觉信息的认知水平，降低视频信息的替代效果，加强它的补充效果，可以更有效地利用好视听材料并运用于教学。

参考文献

[1] 冯德正.“多模态研究的现状与未来——第七届国际多模态会议评述”[J].外国语，2015（04）.

[2] 顾曰国.多模体、多模体学习剖析[J].外语电化教学，2007（02）.

[3] Mayer，R.Multimedia Learning：Are We Asking the Right Questions.Educational psychologist，1997，32（01）.

[4] Sweller，J.Implications of cognitive load theory for multimedia learning.In R.Mayer（Ed.），Cambridge Handbook of Multimedia Learning.New York：Cambridge University Press，2005.

[5] Walma van der Molen，J.H.Assessing text-picture correspondence in television news：the development of a new coding scheme.Journal of Broadcasting and Electronic Media，45（03）.

[6] Vandergrift，L.Learning to listen or listening to learn. Annual Review of Applied Linguistics，2004，24.

[作者：史煜（1975-），女，甘肃平凉人，西北政法大学外国语学院讲师，硕士。]

【责任编辑   王   颖】