输入模态对认知负荷及听力成绩的影响

朱建斌，张双华

（忻州师范学院，忻州 034000）

输入模态对认知负荷及听力成绩的影响

朱建斌，张双华

（忻州师范学院，忻州 034000）

探讨了输入模态对学生认知负荷和听力理解的影响。90名来自两个平行班的大学英语学生被平均分为三个小组参加实验：文本输入组，声音输入组，文本和声音输入组。文本组的听力题目用文本呈现，声音组的听力题目仅用声音呈现，文本和声音组的题目则是采用文本和声音双重模态呈现。认知负荷量表结果和听力测试结果显示不同模态的听力输入形式对听力成绩有显著影响：文本组学生的成绩最高，其次是文本加音频组，音频输入组的成绩最低。认知负荷量表结果显示文本组的认知负荷最低，然后是文本加音频组，音频输入组的认知负荷最高。认知负荷与听力成绩的相关分析显示负荷程度与听力成绩呈负相关。研究结果对听力教学有较好的借鉴作用。

输入模态;认知负荷;听力成绩;负相关

英语听力是培养学生听说能力和综合语言应用能力的重要途径，在大学英语教学中有着重要地位。但是英语听力一直以来都被认为是听、说、读、写四种基本技能中最难的技能。听力对于老师来讲难教，对于学生而言则难学［1－2］。多年来一直沿用的“听录音—对答案”的教学模式也因为不能适应新的课程教学要求，学生的学习积极性也不高而逐渐被新的教学方法和模式所取代。多元识读（multiliteracy）就是在这样的背景下应运而生的新理念［3］。

随着科技的发展，特别是信息技术的飞速发展，信息传递的方式也从以语言文字为主逐渐发展成为以文字、图像、声音、色彩等资源协同传递信息的多模态模式。多模态研究的兴起引发了语言教学的革命性变革，新伦敦学派（New London Group）于1996年在《哈佛教育评论》提出了多元识读的概念，引起广泛关注。人们普遍认为多种模态的综合使用能有效地促进意义的表达和语言的学习［4－6］，国内部分研究也对多模态在语言教学中的应用展开了探讨［7－8］。但是目前的研究并未取得一致结果，且多数研究都只探讨了实行多模态教学的可行性，对于模态形式及其组合方式对语言学习，特别是对输入型学习（听力和阅读）的影响还缺乏实证研究。

一、理论背景

认知负荷指处理信息时一次性增加于工作记忆中的脑力活动总量（Cooper＆Sweller，1987）。认知负荷理论（cognitive load theory）则是澳大利亚心理学家John Sweller在20世纪80年代基于资源有限理论和图式理论所提出的一种认知心理学理论。该理论的基本原理认为有效的学习是指工作记忆积极理解和处理学习内容并把获得的信息进行编码然后储存到长时记忆中的过程。工作记忆容量是有限的，如果待加工的信息需要的认知资源总量超过了工作记忆容量，就会造成认知负荷过载，从而使信息加工受阻，导致学习效果不理想。

根据图式间元素的相互关系，认知负荷被分为外在认知负荷、内在认知负荷和相关认知负荷。内在认知负荷与学习材料有关，取决于材料本身复杂程度与学习者的知识经验水平的交互。越复杂的内容在信息加工时需要在工作记忆中处理的信息越多，所以对于同一个学习者而言越是复杂的材料产生的认知负荷越高。所以内在认知负荷往往与学习材料的设计有关［9］。外在认知负荷主要是由教学设计和教学内容的组织呈现方式引起的。相同的信息，采取不同的方式呈现，所占用的认知资源并不相同。也就是说同时使用文本和声音来呈现学习内容要比仅用文本或声音占用学习者更多地认知资源，即产生更高的认知负荷。相关认知负荷是指信息加工过程中促进图式构建和图式自动化过程相关的负荷。相关认知负荷对学习有促进作用，它越高则对学习越有利。在三种认知负荷中，外在认知负荷最具变化且可控性较强，所以外在认知负荷研究对教师教学活动具有较强的指导意义。

二、研究方法

本研究旨在探讨听力教学中输入模态对学生的认知负荷和听力成绩的影响，具体而言，本研究希望回答以下问题：

1）在文本、文本+音频和音频三种输入模态的条件下，学生的听力成绩有什么变化?

2）三种输入方式下，学生的认知负荷有无显著差异?

3）学生的认知负荷水平与其听力成绩之间有什么样的关系?

研究人员邀请了90名大学英语一年级学生参加实验。我们对这90名来自两个平行的自然班的学生进行了编组，并对三个小组进行了一次前测来确保小组的学生成绩总体相当。三个小组根据其接受的输入模态形式分别被命名为文本组（TG）、文本音频组（TAG）和音频组（AG）。三个小组在不同的输入模态条件下同时接受同一份英语听力试题的测验，试题选取自2010年大学英语四级听力考试的对话部分，共选用了15道题：文本组实验对象阅读听力音频的文字材料并完成以文本方式呈现的5个问题（类似阅读理解）;文本音频组的实验对象在听音的同时也获得了音频内容的录音文本;音频组的实验对象接受听力内容和听力问题的音频输入，听完内容后直接听问题及其备选答案，然后选定答案选项并写在纸上上交。测验完成后所有的实验对象都需要完成一个改编自 Wagner［10］的认知负荷量表，以衡量其在测试期间的认知负荷水平。量表包含5个选择题，每个选择题5个供选项，采用里克特五级量表赋值，从完全不同意到完全同意分别赋值为1—5，量表得分越高表明认知负荷越大。测试和调查表的数据收集完成后，作者使用SPSS16对数据进行了分析。

三、结果与讨论

（一）输入模态对听力成绩的影响

为了弄清不同输入模态是否导致了听力成绩的显著差异，作者对三组学生的听力成绩进行了单因素方差分析（one-way ANOVA），分析结果如下表所示。

表1 听力成绩方差分析结果

表1结果显示文本组的实验对象的得分（M=9．23，SD=1．607）高于音频组（M=7．49，SD=1.742）和文本音频组的得分（M=9．09，SD=1.707），音频组得分最低。事后多重比较检验结果显示三个小组的得分之间存在显著性差异。如表所示文本组和音频组的得分平均值差异概率为Sig．=．001，达到了显著水平。而文本组和文本音频组的平均分从数值上看比较接近，差异显著性为Sig．=.955，远大于．05的显著水平，所以这两组的得分没有显著性差异。音频组和文本音频组的均分差异概率为Sig．=.003，也小于．05的显著值，达到了显著水平。同时，95%置信区间结果显示文本组与文本音频组以及文本音频组与音频组差异的置信区间都不包括0，也说明它们之间的差异具有显著性。而文本组和文本音频组的差异值的置信区间包含了0，这也说明两个平均数之间没有显著性差异。

（二）输入模态对认知负荷的影响

为了弄清不同输入模态是否会导致实验对象认知负荷水平的差异，作者对三组学生的认知负荷量表结果进行了单因素方差分析（one-way ANOVA）， 分析结果如下表所示：

表2 认知负荷方差分析结果

表2结果显示音频组的认知负荷（M=7．41，SD=1．347）高于文本组（M=5．06，SD=1．463）和文本音频组（M=5．87，SD=1．731），文本组的认知负荷最低。事后多重比较检验结果显示三个小组的认知负荷水平存在显著性差异。如表2所示文本组和音频组的认知负荷平均值差异概率为Sig．=．000，达到了显著水平。而文本组和文本音频组的认知负荷水平从数值上看比较接近，差异显著性为Sig．=．112，大于．05的显著水平，所以这两组的认知负荷水平没有显著差异。音频组和文本音频组的认知负荷差异概率为 Sig．=．002，也小于．05的显著值，达到了显著水平。同时，95%置信区间结果显示文本组与音频组、音频组与文本音频组认知负荷差异的置信区间都不包括0，也说明它们之间的差异具有显著性。而文本组和文本音频组的差异值的置信区间包含了0，这也说明两个平均数之间没有显著性差异。

（三）认知负荷与听力成绩的关系

表1显示接受三种输入模态的三组实验对象的听力成绩之间存在显著差异，表2显示三种输入模态引起的认知负荷水平也显著不同，因此我们可以认为不同的输入模态会导致听力成绩的差异，也会引起不同水平的认知负荷。有鉴于此，弄清认知负荷与听力成绩的关系就显得很有必要。下表显示了对两者相关关系的分析结果：

表3 相关分析结果

表3显示了三个小组的认知负荷水平与听力成绩之间的关系。如表所示，文本组、音频和文本音频组的认知负荷水平与听力成绩在．01水平上均呈显著负相关关系，相关系数分别达到 －．583＊＊、－．953＊＊和－．964＊＊。因此，统计分析结果显示认知负荷水平越低的实验对象在听力测试中表现越好，而认知负荷越高则听力得分越低。

（四）讨论

以上数据结果显示，不同的输入模态对学生的听力成绩有着不同程度的影响。文本组得分最高，其次是文本加音频组，音频组得分最低，方差分析显示音频组与文本加音频组存在显著差异。这表明配合音频的文本输入有助于听力理解，即多模态输入有助于学生的听力学习（Chang et al．，2011;Chen，2010;Wagner，2010）。根据 Paivio（1986）的双编码理论和Baddeley［11］的工作记忆理论所提出的的双通道假设认为学习者动用听觉通道和视觉通道对材料进行认知加工，可以扩大工作记忆的信息处理容量并增强工作记忆效率，所以视听双通道方式输入信息更具优越性［12］。

听力理解是一个复杂的心理过程，该过程会产生较高的认知负荷。表2的结果显示，文本组学生的认知负荷水平最低，音频输入组的最高，而且文本组和音频组之间、音频组和文本加音频组之间的认知负荷均有显著性差异。这表明多种模态的配合使用会对实验对象的认知负荷水平产生影响。但是我们也可以看到文本加音频的输入方式会比文本输入产生更高的认知负荷。因此，在听力教学过程中我们要注意模态的合理搭配使用，避免导致认知负荷过载的现象发生［13］。

分析结果显示认知负荷和听力成绩之间呈显著负相关关系，所以要提高听力理解，就必须减少听力过程中认知负荷的产生。通过上面对研究结果的讨论得出，将听力题目呈现为文本模式更有利于听力理解，因此在听力测试中应将听力题目呈现为文本模式，而不是文本加音频模式。

四、结论及启示

本研究采用定量分析的方法研究了不同输入模态对受试的认知负荷以及听力成绩的影响。结果表明，在英语听力中，输入模态会对学生的听力成绩产生显著影响，因为不同的输入模态会引起不同水平的认知负荷，而认知负荷水平与听力成绩呈显著负相关关系。由于测试对象样本量和测试题的影响，本次实验还存在一定的局限性，但还是给多模态听力教学提供了一定的借鉴，即如何最优化组合多重模态的搭配使用，使其能在增加信息输入效率的同时又有效避免认知负荷过载，从而最大限度提高学生的听力成绩，这是英语教育工作者今后需要思考的问题。

［1］ Vandergrift，L．Listening to learn or learning to listen［J］．Annual Review of Applied Linguistics，2004（24）：3 －25．

［2］ Field，J．Listening in the language classroom［M］．Cambridge University Press，2008．

［3］ New London Group．A Pedagogy of Multiliteracies：Designing Social Futures［J］．Harvard Educational Review，1996，66（1）：60 －92．

［4］ Cole，D．R．＆ Pullen，D．L．Multiliteracies in motion：Current theory and practice［M］．London：Routledge，2010．

［5］ Mills，Kathy A．The Multiliteracies Classroom［M］．Bristol，UK：Multilingual Matters，2011．

［6］ Unsworth，L．Teaching multiliteracies across the curriculum：Changing contexts of text and image in classroom practice［M］．Buckingham，2001．

［7］ 顾曰国．多媒体、多模态学习剖析［J］．外语电化教学，2007（2）：3－12．

［8］ 朱永生．多模态话语分析的理论基础与研究方法［J］．外语学刊，2007（5）：82－86．

［9］ 张双华，朱建斌．认知负荷理论与英语听力练习材料的设计［J］．忻州师范学院学报，2006（5）：106－108．

［10］ Wagner，E．Test-takers'interaction with an L2 video listening test［J］．System，2010（2）：280 － 291．

［11］ Baddeley，A．Working memory［J］．Science，1992（255）：556－559．

［12］ Mousavi，S．Y．，Low，R．＆ Sweller，J．Reducing cognitive load by mixing auditory and visual presentation modes［J］．Journal of Educational Psychology，1995，87（2）：319－334．

［13］ 季月，石玲．关于外语多媒体教学信息呈现中视听干扰问题的探讨［J］．外语电化教学，2013（2）：41－46．

［14］ Cooper，G．Research into Cognitive Load Theory and Instructional Design at UNSW［J］．Journal of Educational Psychology，1998，79（4）：347 －362．

［15］ Paivio，A．Mental Rrepresentations：A Dual Coding Approach［M］．Oxford：Oxford University Press，1986．

The effect of input modality on students'cognitive load and listening comprehension

ZHU Jian － bin，et al．
（Xinzhou Teachers'University，Xinzhou034000，China）

This study explores how the input modality can affect students'cognitive load and their listening comprehension．Altogether 90 college students participated in the experiment，and they are divided into three groups：text group which receive only text input and finish a test;audio group which receive only audio input and finish the same test;and text plus audio group who get both text and audio input in the experiment．Results from Cognitive Load Scale and listening comprehension test indicate that text group get the highest score in test and have the lowest level of cognitive load，audio group has the lowest test score but the highest cognitive load．Analysis of the correlation between cognitive load and listening comprehension reveals that there exists significant negative correlation between them．These results may be insightful for future listening teaching．

input modality;cognitive load;listening scores;negative correlation

H319．3

A

1009-8976（2014）02-0142-04

10．3969/j．issn．1009-8976．2014．02．044

2014－03－05

2013年忻州师范学院院级基金资助项目

朱建斌（1978—），男（汉），四川遂宁，硕士，讲师主要研究系统功能语言学和语篇分析。