主次模态协同性实证分析——以英语听力教学为例

惠兆阳，王丽恒，林意新，赵莉莉

(1.哈尔滨理工大学荣成学院，山东荣成 264300;2.哈尔滨理工大学外国语学院，黑龙江哈尔滨150086)

主次模态协同性实证分析
——以英语听力教学为例

惠兆阳1，王丽恒1，林意新2，赵莉莉1

(1.哈尔滨理工大学荣成学院，山东荣成 264300;2.哈尔滨理工大学外国语学院，黑龙江哈尔滨150086)

本文选取英语专业一、二、三年级学生为研究对象，采用定性和定量研究方法，探究听觉模态和视觉模态在不同听力任务和不同听力教学阶段中的协同关系。研究表明，第一，在语音测试任务中，视觉模态和听觉模态在不同的听力阶段形成的关系不同:在听力初级阶段，视觉模态妨碍了听觉模态的信息吸收，对听觉模态形成了干扰;在听力的中、高级阶段，视觉模态对语音能力的提高效果不显著，对听觉模态影响甚微，形成非互补关系;第二，在听力理解任务中，视觉模态和听觉模态形成互补关系，并且一直贯穿听力的初、中、高级阶段。在这一关系中，听觉模态为主模态，视觉模态发挥补充、强化作用。本研究通过多模态协同性在听力教学中的具体应用研究，厘清了听觉模态与视觉模态在听力教学不同阶段、不同任务情况下的相互关系，是对多模态关系研究文献的重要补充，为外语听力多模态教学模式设计提供思路和参考。

视觉模态;听觉模态;模态协同;模态干扰

1.0 理论基础

进入21世纪，多元文化的相互渗透以及信息技术的发展变化，使交流与传播领域正发生着一场革命。这次革命的结果就是在公共交流中，语言的中心地位被移动，一种全新的多模态(multimodal)表达形式已经深入到人们生活的方方面面(Kress，2001)。多模态就是“综合语言、视觉图像、其他符号资源，构建纸质、数字媒体和日常生活文本、事物、事件的理论分析与实践”(O’Halloran，2004:231)。

1.1 多模态与教学

在多模态教学中，学习者调动多重感官吸收多种模态形式的外部符号，这些不同感官模式获取的信息之间会进行(有效的)互动，或者生成某种形象(image)作为文字文本的一部分，或者文字文本形式生成形象文本形式等 (Kress，2001:7)。简而言之，在多模态教学中，人类通过一种以上感官(如视觉、听觉等)跟外部环境进行互动 (顾曰国，2007)。1996年“新伦敦小组”(New London Group)提出了“多模态教学”概念，开辟了多模态应用于语言教学的先河。此后，有关多模态与语言教学的研究成果不断增多，例如Mills(2006)通过观察18天的课堂教学和与师生半结构性访谈的方式探讨了课程设计的具体方案，研究发现当习得与学习相脱离时，学习者在接触全新的、多模态、数字化的涵义设计模式时会遇到困难，最后阐明将习得与学习相结合的观点。在课堂上应用PPT演示的研究也受到很多学者的关注。例如Fisher(2003)探讨了演示文稿在英语教学中的意义、在课堂上的应用、如何从其它来源获取PPT以及制作时应注意的问题。这些研究大部分集中于多模态作为一个整体应用于教学，而对模态之间的内部关系以及协同性研究较少。模态之间的关系研究始于20世纪90年代系统功能符号学者(Lemke，1998;Baldry＆Thibault，2006)对多模态话语中模态间的关系和语法整合问题的关注，但是主要集中在多模态话语领域，而不是教学领域。而在教学领域仅有Royce(2002)和张德禄(2010a)对多模态协同做过相关研究。Royce(2002)研究了不同符号在多模态话语中的互补性以及在第二语言课堂教学中多模态的协同性等。而张德禄(2010a)提出了多模态话语协同性以及在外语课程中的体现。这些研究体现的是整体的课堂教学，没有具体到教学的某一个领域进行深入研究。多模态已经广泛应用于听力教学，但是对听力教学中多模态的协同以及体现却缺乏研究。而听力教学中模态之间的关系以及配合影响着听力教学的效果。如果模态之间形成互相补充、互相作用的关系，听力教学效率就会提高。但是如果一种模态对另一种模态形成干扰，妨碍了另一种模态的作用，那么就会降低听力效果。因此，本文试图探索多模态在听力教学中不同阶段不同任务中的协同关系，以实现更理想的教学效果，为不同听力阶段有效开展课堂教学以及提高学生语音、听力水平提供方法和保障。

1.2 多模态协同与听力教学

多模态之所以用于听力教学，原因在于一系列研究表明，当学习者同时得到视觉和听觉的刺激后能显著地提高对目标语内容的理解 (Baltova，1994;Weyers，1999)。国内学者(周光磊、杨世登，2004;王萌、谢小苑，2008;顾琦一、蔵传云，2011)从视频辅助、输入模态、视听材料各个角度证明多模态是有利于听力学习的，可以应用于听力教学的。但是多模态是否一定有利于听力能力的提高?模态和模态之间的相互作用是什么?模态在什么情况下会相互作用或者相互干扰?张德禄(2010a)在多模态话语中阐述了模态和模态之间的关系。他指出模态之间有两种基本关系:互补关系和非互补关系。在互补关系中，各模态的地位和作用是不同的，通常一种模态为默认模态或者基本模态，起基本的和基础的作用，处于主导地位;其他的则起补充作用。在互补关系中，又有强化与非强化之分。非互补关系中，其他的模态对基本模态在意义的构建及体现上作用不大。也就是说，多模态并不是在任何时候都能发挥作用，只有模态之间相互协调、相互配合才能达到好的效果。在传统听力教学模式下，学习者通过听觉获得信息，使用的是单一的听觉模态，而在听力过程中引入视频，听前加入口头背景介绍，听后加入口头复述以及课堂讨论等内容，这时就先后呈现出多种模态，包括视觉模态、运动模态和书写模态。在听力教学中，多模态间的关系如何以及如何作用，需要遵循一系列的使用原则。

1.3 多模态协同在教学中的原则

张德禄(2010b)在课堂设计中提出了三个模态使用原则:有效原则、适配原则和经济原则。有效原则表示选择任何一个模态都要以取得更好的教学效果为前提，避免无效使用某个模态，或者其所产生的负效应等于或者大于正效应。适配原则表示选择不同的模态，要考虑不同模态之间的相互配合，以获得最佳搭配为标准。从经济的角度看，模态的选择是越简单越好。由此可见，模态并不是一成不变的，听力任务和听力阶段的不同会影响模态的使用以及协同关系。因此，本文依据三个原则，从经济的角度选择了视觉模态和听觉模态两种模态进行实验，通过检验其在听力中的效果来确定不同的听力任务在不同的听力阶段模态之间的相互关系和协同性，以确定符合适配原则，达到最理想的效果。

2.0 研究设计

2.1 实验目的

本研究探讨的是视觉模态和听觉模态在不同听力任务和不同听力教学阶段中的相互协同关系，以及如何有效地利用模态之间的协同性提高听力教学效果，为大学英语听力教学提供依据。实验拟回答以下问题:1)视觉模态和听觉模态在语音测试任务中以及不同的听力阶段的协同关系;2)视觉模态和听觉模态在听力理解任务中以及不同的听力阶段的协同关系。

2.2 实验对象

本研究的受试群体为哈尔滨理工大学英语专业一、二、三年级在校学生，年龄在19-23岁之间。鉴于便利原则，本文采取整群抽样，以自然班为单位选取被试对象。一年级实验组61人，控制组63人;二年级实验组62人，控制组60人;三年级实验组62人，控制组61人。实验组和控制组学生的年龄、生活阅历和教育背景等因素基本相同，本校三个年级的听力教学模式都是以听觉模态为主，视觉模态补充强化，因此教学模式相同。教学实验开始前的水平测试表明他们的英语听力水平没有显著性差异(表1)，在各指标上具有可比性。

表1 三个年级学生实验前水平测试结果

2.3 测量工具

本文采取定性和定量的研究方法，主要用试题和访谈作为测试工具。

2.3.1 测试试题

本实验依据听力测试原则和《高等学校英语专业英语教学大纲》中对听力的要求，结合本实验目的，设计了九套听力测试试题。这些试题都经过了预测试，调整并删除了不达要求的项目，信度均达到0.7以上，可以用来作为实验工具。语音是外语教学的基石，对听力起着重要的作用，在听力的各个阶段，都应该测试训练语音能力。因此我们共设计了两个听力任务:语音测试和听力理解。语音测试形式为20个填空题(20%)，内容为含有多种语音现象的短语，例如连读、强化、弱化、失去爆破等现象的短语，主要考察学生听音辨音的能力。听力理解任务包括听力选择和听写测试。听力选择为10个选择题(20%)，每个选择题有四个选项，主要测试学生对听力材料内容的理解。听写测试主要形式为段落听写，旨在考察学生整合听力信息和理解的能力，这一部分只要受试者表达出大意即可得分。测试材料均选自视频教材并随着年级增长逐步增加难度。一年级的语音测试材料选自教学片《走遍美国》中的Act III，该选段发音清晰，语速适中，情节性较强，契合本实验的研究目的。听力理解和听写测试材料均选自《新视野听说教材》，难度适中。二年级、三年级的试题在难度上逐步增大，所选听力材料的原则与一年级的试题一致，选段发音清晰，语速适中，情节性较强。

2.3.2 访谈

在三次实验结束之后，作者从三个年级的实验组分别抽出10名受试者进行访谈。作者首先制定了访谈大纲，大纲内容主要是了解学生对视觉模态和听觉模态的认识以及听力理解的效果。内容包括:视觉模态和听觉模态对语音测试产生了哪些影响?视觉模态和听觉模态对听力理解产生了哪些影响?产生影响的原因是什么?视觉模态和听觉模态的结合对听力理解是否一直产生良好效果?访谈主要在课后进行，为了让学生畅所欲言，没有紧张气氛，作者没有进行录音，对访谈内容做了文字记录。每个访谈者的访谈时间为20分钟，访谈结束后作者对访谈内容进行了总结。

2.4 实验步骤

控制组的实验步骤如下:听力测试试题选自三个不同的听力材料，每个材料听三遍，第一个材料听三遍完成语音测试题，第二个材料听三遍完成听力选择题，第三个材料听三遍完成听写测试题。每个材料之间相隔2分钟，让学生检查填写答案，以免影响下一个材料的测试。听写测试在5分钟时间内完成，然后由笔者将试卷全部回收。实验组遵循完全相同的步骤，但是实验材料是与音频内容相同的视听材料。每个年级进行了三次实验，均按照以上步骤进行。

2.5 结果与讨论2.5.1测试结果

本研究运用统计软件SPSS 16.0对三次阶段性测试成绩的平均值进行了统计分析。经过检验，数据符合正态分布，于是我们通过使用一系列独立样本t检验对三个年级的实验组与控制组分别进行了比较。对样本进行双尾检验统计结果如下表所示。

表2 三个年级语音测试结果

表3 三个年级听力理解测试结果

表4 三个年级听写测试结果

表5 三个年级听力总分结果

语音测试成绩分析，三个年级的实验组和控制组的成绩均未达到统计学上的显著性差异(0.078＞0.05，0.0858＞0.05，0.051＞0.05)，但是，大一实验组的平均分远远低于控制组，而大二大三实验组的平均分略高于控制组。这说明在大一听力初级阶段，视觉模态的加入不但没有帮助学生提高语音辨别能力，反而干扰了学生获取语音信息的能力。这符合认知负荷理论中的注意分散效应和冗余信息效应，即如果学习者被迫去加工多余的信息，认知负荷就会加大，学习就会减少。这个研究结果与MacWilliam(1986)的发现一致，他认为“对低语言水平的学习者来说，在同时利用音频和视频模式理解信息时存在着冲突”。对低水平的学习者来说，受语言水平的限制注意力资源有限，在处理画面、听力内容和语音方面产生了冲突，导致语音测试成绩的下降。这说明在听力的初级阶段，学生的语言水平越低，越容易出现认知负荷现象，视觉模态更容易与听觉模态产生冲突并对听觉模态形成干扰。而到了中高级阶段，学生听力水平提高，听音辨音能力提高，对信息处理能力增强，视觉模态对听觉模态没有产生显著的影响。综上所述，在语音测试任务中，视觉模态与听觉模态的关系在不同的听力阶段表现不相同。听力的初级阶段，视觉模态在语音测试中产生的负效应大于正效应，对听觉模态形成干扰;而在听力中高级阶段，视觉模态在语音测试中并没有显著促进听觉这一主模态，两者形成非互补关系。

听力理解的任务包括听力选择和听写测试，三个年级实验组的平均分都高于控制组，并且成绩在统计学上达到显著性差异(见表3、表4 sig＜0.05)。由此可见，在听力理解任务方面，视觉模态和听觉模态相互作用强化发挥了正效应，对学生的听力理解能力起到了极大的促进作用。正如Van Patten＆Sanz(1995)提出，听觉模态和视觉模态的同时呈现能促进学习者对输入最大可能的关注。这样的模态呈现能够使受试者关注材料信息，最大程度地吸收听力所要表达的意义，进而提高其听力理解能力。周光磊、杨世登 (2004)的研究也认为，视频辅助材料对不同程度的学习者的听力理解能力都有促进作用。听力总分成绩也表明三个年级实验组的成绩在视觉模态和听觉模态相互作用的模式下远远高于控制组，并且成绩在统计学上达到显著性差异(0.034＜0.05，0.000＜0.05，0.005＜0.05)，说明视觉模态在总体听力效果方面对听觉模态同样起着补充强化的作用。由此可见，在听力的初、中、高级阶段，视觉模态在听力理解任务中对听觉模态这一主模态起补充、强化的作用，两者形成互补关系。2.5.2访谈结果分析

通过访谈，我们获得了以下信息:第一，在语音测试方面，在大一阶段大部分受访者反映视觉模态并没有对听觉模态产生很大的作用，分散了学生的注意力，使学生无法集中于语音辨音。8名大一受访者表达了视频对语音的干扰作用，“我光顾着看视频，顾不上听语音了”，“看视频感觉更分不出语音来了”，“看视频精力没法集中在语音上”。另外2名同学没有感觉出有无作用，“视频挺丰富的，就是原来听不出来的音还是听不出来”。大二大三的受访者14名学生认为视觉模态并没有对听觉模态产生影响，“有视频和没有视频一个样，语音还是听不出来”，其它6名同学认为语音是有干扰作用的。第二，在听力理解方面，受试者倾向于视觉模态和听觉模态相互补充、相互作用的展现模式。三个年级的学生中有26名受访者表示“我喜欢看视频，觉得看视频更容易理解对话”，“看视频很有趣，课堂气氛也活跃，也增加了注意力”，“视频帮助我理解信息，本来听不懂的单词通过看视频可以理解说话的人想要表达的意思”。其它4名受访者认为视频对他们理解听力内容有作用，但是作用不大。第三，视觉模态和听觉模态的适配非常重要，过多的视觉模态并不一定促进听力的提高。16名受访者表达出过多的视频展示会对注意力和听力理解产生影响。“有时候看视频是为了热闹，只看画面不听听力就能理解内容，看完了听不懂说的是什么”;“如果不集中注意力听听力，虽然了解了视频内容，还是听不懂”。这说明在课堂上视觉模态和听觉模态的适配原则影响学生的听力效果，过多的视觉模态也会让学生出现信息冗余现象，不利于听力能力的提高。

3.0 结语

综上所述，我们得到了以下结论:不同的听力任务在不同的听力阶段主次模态协同表现不同。第一，在语音测试任务中，视觉模态和听觉模态在不同的听力阶段形成的关系不同:在听力初级阶段，视觉模态妨碍了听觉模态的信息吸收，对听觉模态形成了干扰;在听力的中高级阶段，视觉模态对语音能力的提高没有多大效果，对听觉模态没有形成较大影响，形成非互补关系;第二，视觉模态和听觉模态在听力理解任务中形成互补关系，并且一直贯穿听力的初、中、高级阶段。在这一关系中，听觉模态为主模态，视觉模态发挥补充、强化作用。这对我们教学的启示是:第一，听力的初级阶段，视觉模态在语音测试中产生的负效应大于正效应，对听觉模态形成干扰。根据张德禄(2010b)的有效原则，如果单一的听觉模态可以对学生的语音能力提高发挥有效的作用，就可以作为主模态或者是语音教学中唯一的模态;第二，听力理解方面，在听觉模态为主模态的基础上加入视觉模态，并且随着年级的增长加大视觉模态的比重，使其与听觉模态互相补充，互相作用，发挥最大的教学效果。本研究的主要贡献是通过多模态协同性在听力教学中的具体应用研究，厘清了听觉模态与视觉模态在听力教学不阶段、不同任务情况下的相互关系，是对多模态关系研究文献的重要补充，为外语听力多模态教学模式设计提供思路和参考。本研究的不足之处是，只对听觉和视觉模态的协同性进行了研究，没有涉及其它模态，同时，在听力教学中，听觉与视觉模态的使用比例没有进行定量，需要以后的研究者在研究中进一步探讨。

参考文献

［1］Baldry，A.＆P.J.Thibault.Multimodal Transcription and Text Analysis:A Multimedia Toolkit and Course book［M］.London:Equinox，2006.

［2］Baltova，I.The impact of video on the comprehension skills of core French students［J］.Canadian Modern Language Review，1994，50(3):507-531.

［3］Fisher，D.L.Using PowerPoint for ESL teaching［J］.The Internet TESL Journal，2003，(4):31-48.

［4］Kress，G.Multimodality:challenges to thinking about language［J］.TESOL Quarterly，2001，(34):337-340.

［5］Lemke，J.L.Multiplying meaning:Visual and verbal semiotics in scientific text［A］.In J.R.Martin＆R.Veel (eds.).Reading Science:Critical and Functional Perspectives on Discourse of Science［C］.London:Routledge，1998.87-133.

［6］MacWilliam，L.Video and language comprehension［J］.ELT Journal，1986，40(2):131-135.

［7］Mills，K.Discovering design possibilities through a pedagogy of multiliteracies［J］.Journal of Learning Design，2006，1(3):61-72.

［8］New London Group.A pedagogy of multiliteracies:designing social futures［J］.Harvard Educational Review，1996，66(1):60-92.

［9］O’Halloran，K.L.Multimodal Discourse Analysis:Systemic Functional Perspectives［M］.London:Continuum， 2004.

［10］Royce，T.Multimodality in the TESOL classroom:exploring visual-verbal synergy［J］.TESOL Quartertly，2002，36(2):191-205.

［11］Van Pattern.B.＆C.Sanz.From input to output:Processing instruction and communicative tasks［A］.In F.Eckman，D.Highland，P.Lee，J.Mileham＆R.Weber (eds.).Second Language Acquisiton Theory and Pedagogy［C］.Mahwah，NJ:Erlbaum，1995.169-185.

［12］Weyers，J.R.The effect of authentic video on communicative competence［J］.The Modern Language Journal，1999，83(3):339-349.

［13］顾琦一，蔵传云.输入模态对第二语言理解和附带词汇习得的影响［J］.解放军外国语学院学报，2011，(3):55-59.

［14］顾曰国.多媒体，多模态学习剖析［J］.外语电化教学，2007，(2):3-12.

［15］王萌，谢小苑.视听材料对听力理解和词汇习得的影响［J］.外语电化教学，2008，(2):69-74.

［16］张德禄.多模态话语模态的协同及在外语教学中的体现［J］.外语学刊，2010a，(2):97-102.

［17］张德禄.多模态外语教学的设计与模态调用初探［J］.中国外语，2010b，(3):48-53.

［18］周光磊，杨世登.视频辅助功能对英语专业学生听力理解的影响［J］.解放军外国语学院学报，2004，(3): 58-62.

An Empirical Study of Primary and Secondary Modality Coordination—A Case Study of English Listening Teaching

HUI Zhao-yang1，WANG Li-heng1，LIN Yi-xin2，ZHAO Li-li1
(1.Harbin University of Science and Technology at Rongcheng，Rongcheng 264300，China; 2.School of Foreign Languages，Harbin University of Science and Technology，Harbin 150086，China)

The paper aims to explore the coordination of auditive modality and visual modality in different listening tasks and different stages of listening teaching with qualitative and quantitative methods，based on experiment of English majors from grade 1 to grade 3.The findings are as follows.Firstly，in phonetic test task，auditive modality and visual modality form different coordination relationship in different stages of listening teaching:in the primary stage，visual modality obstructs the absorption of information and disturbs the realization of function of auditive modality;in the secondary and advanced stage，visual modality fails to play a great role in phonetic ability and forms a non-complementary relationship with auditive modality.Secondly，auditive modality and visual modality form a complementary relationship in listening comprehension task in the primary，secondary and advanced stages of listening teaching.In the relationship，auditive modality takes priority and visual modality supplies it as complementation and reinforcement.This research explores the relationship between auditive modality and visual modality in different teaching phases and tasks according to the detailed and practical application in listening teaching，supplements the theories in this field and provides new ideas for multimodal teaching.

visual modality;auditive modality;modality coordination;modality disturbance

H319

A

1002-2643(2013)03-0077-05

2013-03-30

本文为黑龙江省哲学社会科学研究规划项目“主次模态的协同性及应用研究”(项目编号:11E101)部分成果。

惠兆阳(1972-)，男，满族，黑龙江望奎人，副教授。研究方向:语言学和网络教学。

王丽恒(1985-)，女，满族，辽宁锦州人，助教。研究方向:英语听力教学和英美文学。

林意新(1969-)，女，汉族，黑龙江哈尔滨，硕导，教授。研究方向:英语教学和美国文学。

赵莉莉(1984-)，女，汉族，山东省荣成市，讲师。研究方向:教学法。