多模态理论指导下大学英语教学模式改革探索

穆志刚

(华北水利水电大学 外国语学院，郑州 450046)

模态是人类通过感官与外部环境进行的互动方式[1]。模态和人体的视觉、听觉、嗅觉、味觉、触觉等五种基本感官联系起来，可以区分出视觉模态、听觉模态、嗅觉模态、味觉模态和触觉模态等五种模态[2]。

模态可以单独起作用，用单个感官进行互动的模态即单模态，模态也可以结合起来起作用，用两个感官进行互动的模态即双模态，用三个或以上感官进行互动的模态即多模态[1]。通常人们的交流互动都不是仅仅依靠某一种感官进行的(不是单模态的)，而是综合运用多种感官进行的(是多种模态的)，这即是多模态话语。张德禄指出，综合运用听觉、视觉、触觉等多种感觉，运用语言、图像、声音、动作等多种手段和符号资源进行交际形成多模态话语[3]。

教学行为是一种复杂的交际行为，既包含有“教”，也包含有“学”，更包含有“教”与“学”之间的“互动”，无论是“教”或是“学”或是“教”与“学”之间的“互动”，都不完全基于某一种感官或模态，而是对多种感官或模态的综合运用，通过多种模态实现。因此，教学行为是一种多模态行为，多模态理论可以用于分析研究教学活动。

一、多模态教学研究综述

国外多模态教学研究主要与培养学生多元读写能力相关。新伦敦小组(New London Group)于1994年提出多模态教学概念，开始将多模态研究应用于教学领域[4]。多元读写从20世纪80年代开始受到澳大利亚、加拿大、德国、美国等西方国家的重视，多模态教学研究逐渐获得发展[5]。

顾曰国、朱永生、胡壮麟、张德禄等国内学者也较早关注多模态外语教学。一些学者主要从理论角度探讨多模态教学应当遵循的原则，提出多模态教学建议，避免多模态的滥用和误区。顾曰国较早研究多媒体、多模态学习，探讨基于计算机多媒体材料的多模态学习过程，强调多模态教学的重要性，同时还要避免一些滥用和误区[1]。朱永生论述了多模态话语的性质、理论基础、研究方法，并提出多模态教学改革建议[5—6]。张德禄探讨了外语教学中选择最有效的模态和媒体进行教学活动的一些具体方法[7]。张德禄和王璐指出，多模态话语中模态之间存在着“互补关系”和“非互补关系”，不同模态在外语教学中具有强化、补充或协调作用，提出多模态外语教学建议[8]。张德禄进一步指出，选择模态时要以取得更好教学效果为前提，避免无效使用或负效使用，同时要考虑不同模态之间的相互配合，以便获得最佳教学效果[9]。

也有部分学者进行实验性研究。王玉雯、胡永近和张德禄的研究表明，多模态教学对学生听力理解水平和口语学习都有积极影响[10—11]。张征的研究表明，多模态PPT演示教学能够提高学生学习成绩，提高学生短时记忆效率[12]。曾庆敏的研究结果表明，多模态教学模式对提高学生的听说能力、英语综合应用能力和自主学习能力均有显著效果[13]。

运用多模态进行外语教学已是大势所趋。但我国外语多模态教学总体仍处于起步阶段，我国学者当前的多模态外语教学研究，或者是理论性探讨辅以简单教学建议，或者是针对某一教学项目的实验研究，而以多模态理论为指导进行大学英语教学模式改革研究甚为少见。本文拟以多模态理论为基础，以大学英语教学为研究对象，尝试探索大学英语多模态教学模式改革，分析多模态教学原则、探讨多模态教学流程、探索多模态教学模式，并分别从教师角度和学生角度评估多模态教学效果，以期对我国大学英语教学改革有所助益。

二、多模态教学设计原则

张德禄指出，教师在选择多模态符号系统时要以达到最佳效果为总原则[9]。结合前人相关论述，我们认为在进行多模态教学设计时需要遵循以下几个原则：

(一)视听同步原则

在多模态教学过程中，教师同时选用视觉模态符号系统和听觉模态符号系统来传递意义，可以减轻学生的工作记忆负担[14]。二者同步呈现，共同指向教师意欲传递的教学内容，可以达到事半功倍的效果。如果二者不同步，视觉模态符号系统超前而听觉模态符号系统滞后，或者听觉模态符号系统超前而视觉模态符号系统滞后，都会增加学生在视觉和听觉两种符号系统之间寻找匹配的负担，增加学生的认知负荷，分散学生的注意力，不利于提高学生的学习效率。

(二)视听分配原则

教师在选择多模态符号系统时不能随心所欲，而是要注意进入视觉和听觉两个感官通道的符号的合理分配[15]。在对多模态符号系统充分理解的基础上，教师要根据授课内容、学生程度、环境条件等合理调用视觉模态符号系统和听觉模态符号系统，合理分配。

(三)语言符号为主原则

上述视听同步原则和视听分配原则仅仅考虑到视觉和听觉两种模态符号。推广开来，如果教师同时选择语言模态符号系统和其他非语言模态符号系统，这时候就要坚持以语言模态符号系统为主、以非语言模态符号系统为辅的原则[15]。在多模态教学过程中，有时候会出现两种极端情况。其一是过多选择语言符号系统而忽视非语言符号系统，比如把纸质教材中的段落文字直接呈现到PPT上，却没有同时补充适当的声音、视频、链接等非语言符号，仅仅完成文字从课本到图片的搬家。这种情况下大量非语言符号系统不能参与意义建构，是一种极大的浪费。其二是过多选择非语言符号系统而忽视语言符号系统，比如大量凸显与当前主题无关的背景图片、声音、视频、动画等，使得教师本来意欲传达的主题意义在对比之下变得黯淡。这种情况下非语言符号系统没有起到积极正面的意义建构作用，反而分散学生的精力，不利于正常教学活动的开展。因此，必须坚持以语言模态符号系统为主的原则。

(四)减少冗余信息干扰原则

虽然以文字、图像、动画、音像等多模态符号系统呈现教学内容有助于学生获取多渠道感知，提高学习效果，但是上文以语言模态符号系统为主原则表明，如果教师过多选择非语言模态符号系统，则有可能淡化当前的教学主题，转变成冗余信息。这些冗余信息不但不能增强学习效果，而且可能会增加学生的认知负担，造成不利影响。因此，教师要合理选择那些可用堪用的模态符号系统，而尽量避免那些不能带来积极正面作用只产生冗余信息的模态符号系统，减少对学生的干扰，保持简洁高效。也就是说，坚持减少冗余信息、避免干扰原则[14]。

在多模态教学设计过程中，上述几个原则在同时起作用，要注意合理运用，而不能顾此失彼。在坚持视听同步原则和视听分配原则的情况下，还要注意语言符号系统和非语言符号系统的合理使用，因为视觉模态和听觉模态之外的其他语言符号系统和非语言符号系统也参与意义构建。在采用视觉模态、听觉模态，以及其他语言符号系统和非语言符号系统的时候，要注意减少冗余信息，避免喧宾夺主，影响主要意义的表达。

三、大学英语多模态教学流程

依据上述多模态教学设计原则，大学英语多模态教学流程可以划分为教师多模态选择、教师多模态呈现、学生多模态学习、师生多模态评估等四个阶段。

(一)教师多模态选择

大学英语多模态教学流程从课前准备阶段开始，此时教师做充分多模态选择。

前文指出，多模态教学设计要以达到最佳效果为总原则，因此在课前准备阶段，教师要充分考虑选择不同模态符号系统可能带来的效果，根据讲授内容、难易程度、临时语境等，从视觉、听觉、嗅觉、味觉和触觉等模态符号系统中灵活选择，大胆选择，合理搭配。

以准备关于污染的课程为例，教师可以选择视觉模态(水污染、环境污染、光污染的图片、板书等)、听觉模态(噪声污染音频等)，或听觉模态配合视觉模态(音视频、动画、背景解说等)，甚至可以选择嗅觉模态和味觉模态(污染的水、空气等)或触觉模态(被污染的具体实物等)。同时，教师还要考虑课下解决哪些教学内容，准备采用哪些模态。比如，让学生通过互联网收集某个重点词汇的用法，在现实生活中尝试应用，或通过某些手机APP录制视频作业并提交，或通过自动批改网站练习英语作文，或参加学生社团用英语口语交流等。

(二)教师多模态呈现

课前多模态选择准备完毕之后，进入授课阶段，此时教师运用多模态呈现教学内容。

课堂上，结合教室环境、授课内容、学生状态等具体情况，教师合理调用提前准备好的各种模态资源，适时呈现图片、声音、视频，或其他嗅觉、触觉、味觉模态资源。教师的音容笑貌肢体语言也是一种多模态呈现，以什么身体姿势和面容、采用什么语调等会对学生传递不同信息。教师可以让学生相互面对面或让学生围成圆，或让学生登讲台表演，或临时改换教室局部环境等，这些反常的教室布局也是多模态的呈现方式，有助于提高学生参与课堂活动的积极性。

课堂下，教师仍然可以用多模态方式呈现教学内容，比如通过邮箱、微信、QQ、手机APP等与学生进行英语交流、发布课程作业、适时反馈等。

(三)学生多模态学习

在授课阶段，教师运用多模态呈现教学内容的同时，学生在进行多模态学习。

课堂上，学生通过多种模态吸收信息、获取意义。比如，学生关注教师的言语讲解、肢体语言、表情动作等，从中知悉讲授内容等重点信息。学生通过关注教师呈现的图片、音视频、动画等，从中加深或便利掌握学习内容。

课堂下，学生可以通过多模态完成作业或自主学习。比如，以录制音视频形式完成作业、通过自动批改网站反复练习英语作文、通过语音软件主动练习口语，或通过模拟场景练习翻译和对话等。

(四)师生多模态评价

在经过课前阶段教师多模态选择、授课阶段教师多模态呈现和学生多模态学习之后，进入评价阶段，此时师生进行多模态评价。

教师基于学生的多模态反馈，可以随时给予评价。比如，课堂上英语口语演讲非常流利，或模拟场景中英语对话顺利交流，或音视频作业完成很好等，都可以获得教师即时评价，作为过程性评价纳入学生期末总成绩。学生也可以对教师的多模态教学随时进行评价反馈，哪些方面较好、哪些方面不足、有什么改进建议等，可以供教学组织管理部门参考，以便教师取得更佳的教学效果。师生多模态评价是一个连续的良性互动过程，双方不断做出评价反馈，促进对方不断提高，最终达到师生共同学习、共同进步的目的。

师生多模态评价不是多模态教学流程的终结，而是新的多模态教学流程循环的开始。如图1所示，整个大学英语多模态教学沿着“教师多模态选择→教师多模态呈现→学生多模态学习→师生多模态评价→教师多模态选择……”的流程循环往复，渐进提高。

四、大学英语多模态教学模式

在连续多年实践的基础上，探索出“课堂多模态教学模式+在线多模态教学模式+实践多模态教学模式”的大学英语多模态教学模式。

(一)课堂多模态教学模式

大学英语读写译课堂上，除常规板书和讲解外，教师根据某节课的重点难点，提前选择合适的模态素材，制作优质PPT课件，辅以图片、声音、视频等，实施多模态教学。比如在语法教学中，用两个小视频分别展现运动的汽车撞上静态的树和静态的树被运动的汽车撞上，分别呈现英语句子The car hit a tree和The tree was hit by a car。再以图片表格形式呈现二者关注焦点的异同、动词形式的异同、体现意义的异同等，方便学生掌握主动语态与被动语态的联系和区别。又如在写作教学中，先以图片形式呈现英语范文，用亮色凸显范文中的主题句、关键句式或关键词语，然后讲解示范。最后，以提纲凸显主题句之间的关系和段落之间的逻辑联系及其词汇语法等。教师讲解辅以多模态调用，更有利于学生理解、掌握和模仿。

在大学英语视听说课堂上，教师充分利用多媒体教室，综合利用音视频素材、字幕素材等让学生大量练习。目前，计算机可以创设不同模拟交际场景，学生融入场景体验练习，直接与计算机进行英语口语交际，计算机可以依据学生的反应及语音语调等自动评分。

(二)在线多模态教学模式

互联网以其海量信息和便捷性成为教学的利器，声音、图片、视频、文字等多模态形式可以同时呈现。教师可以布置学习任务，如通过互联网掌握某一语言现象用法、认识差异等，然后学生通过互联网搜索查询，进而总结得出结论，并使用PPT或音视频或口语等多模态形式汇报。批改网(www.pigai.org)等一批网站可以对学生提交的英语作文自动批改，凸显语言错误，推荐修改建议，并附相关解析，便于学生练习提高。华水学堂是华北水利水电大学一个优质在线教学资源。学生可以在线观看音视频多模态教学资源，也可以查看授课计划重点难点等文字材料，还可以与教师互动讨论或完成作业。网络上还有数不清的幕课、网校、文库、词典等在线多模态资源都可以用于学生自主学习。

手机APP可以传递文字、声音、图片、视频等，也可以用于多模态教学。教师可以组建班级微信群或QQ群，通过班级群与学生互动交流、布置作业、发布学习资源、回答学生问题、指点学习方法等。教师也可以通过“英语趣配音”APP让学生找自己喜欢的音视频片段模仿配音，通过“喜马拉雅FM”APP让学生收听教材同步音频，通过“TED英语演讲”和“BBC新闻”等APP让学生练习原汁原味英语听力并尝试跟读等。

(三)实践多模态教学模式

英语学习社、英语辩论社等众多英语社团，经常性组织开展英语读书大赛、写作大赛、辩论大赛、学习经验交流、四六级考试指导、考研英语指导等活动，是对课堂英语学习的有益补充。

校内英语角、紫荆山公园英语角、咖啡馆英语角等众多英语角，经常性发布讨论题目，组织各专业学生、英语老师、外教、外国留学生、外国友人等参加讨论，是学生练习英语口语、充分表达自己的好机会。

大学英语第四学期实践教学期间，让学生从事笔译、口译、口语、写作等与学生所学专业相关的英语实践，将习得的英语技能应用于本专业内容，达到既锻炼英语技能又拓展本专业知识的目的。

上述三种多模态教学模式并非完全割裂的，而是各有侧重、互相渗透。课堂多模态教学模式重在用于课堂，其中可以融入在线多模态教学模式和实践多模态教学模式；在线多模态教学模式重在实时便捷，可以用于课堂多模态教学模式和实践多模态教学模式；实践多模态教学模式重在课外实践锻炼，可以结合课堂多模态教学模式和在线多模态教学模式，这三种多模态教学模式结合起来构成了大学英语多模态教学模式(如图2所示)。

五、大学英语多模态教学效果

从教师角度来看，无论是备课过程中的多模态选择，还是上课过程中的多模态调用，或是评价过程中的多模态考量，教师已经认识到多模态教学的优势，大学英语教学已经越来越多模态化了。备课阶段，教师主动从多模态角度进行考虑，某节授课内容选择什么模态方式呈现？用哪一种模态还是用哪几种模态？哪些模态为主哪些模态为辅？这些不同模态怎么合理搭配呈现？授课过程中，教室环境、音视频、计算机、在线资源、手机APP等，都成为教师可以调用的多模态资源。除利用教室有限空间外，教师利用计算机创设交际场景让学生练习翻译和口语，不再是单纯地设想场景。教师的肢体语言、面部表情等也更加丰富，教师与学生交流、对学生进行评价等参考多模态的比重也越来越大。

从学生角度来看，无论是上课过程中的多模态信息接收，还是课下活动中的多模态知识获取，或者评价方式上多模态过程性评价，学生也体验到多模态教学模式的优势，学生们更愿意参与其中，主动进行多模态学习。在上课过程中，学生接收到的信息是经过教师优选处理的多模态信息，一方面主要信息足够凸显学生容易理解掌握，另一方面没有过多冗余信息学生不至于分神，学习效果事半功倍。在课下活动中，学生通过计算机、在线资源、手机APP、英语社团、英语角或英语实践等喜闻乐见的模态形式学习英语，培养良好的学习习惯。在学习评价上，学生全程参与，随时与其他学生或教师互动评价，有效克服了传统期末考试的终结性评价方式，有利于学生更加注重学习全过程，注重全面发展。

六、结束语

经过多年大学英语多模态教学探索，本实验提出“教师多模态选择→教师多模态呈现→学生多模态学习→师生多模态评价→教师多模态选择”的大学英语多模态教学流程，同时探索出“课堂多模态教学模式+在线多模态教学模式+实践多模态教学模式”的大学英语多模态教学模式。从大学英语多模态教学效果上来看，教师和学生都已经认识到多模态教学的优势，从教、学、教与学互动，以及评价等多个方面参与大学英语多模态教学。

本研究尝试依据多模态理论进行大学英语多模态教学模式改革，是多模态理论的一次尝试性应用，但对该理论本身贡献不足，在以后研究中需要更多关注理论内容。本研究主要从质性角度判断大学英语多模态教学模式改革效果，没有从定量角度严格试验检验，在以后条件许可的情况下继续进行实验性定量研究。