大学英语多模态视听说教学模式

马妍林

(广东农工商职业技术学院， 广东 广州 510507)

一、多模态

（一）多模态理论

多模态，英文是multimodality,意思是多个模态的复合体。起初只是将声音、手势和表达方式应用于演讲中，到了20世纪90年代，随着信息技术的迅速发展，更多表达方式的出现，多模态理论才有了一定的发展。模态指的是人类通过感官（视觉、听觉等）和外部环境进行的互动方式。单个感官参与就是单模态，两个感官参与就叫双模态，三个及以上的感官进行的互动就叫多模态。视、听、触、嗅、味五个感官是五个模态，各个模态也有其子模态（submodalities）。在大脑里，各个模态有首要专区分管，有的还有次要区域协助分管。

这里要区分两个概念，多媒体和多模态。多媒体和多模态有很多相似之处。通常人们把载有内容或信息的媒介称为物理媒介，如纸张、磁带、光盘等；把物理媒介上装载内容和信息的编码手段叫做逻辑媒介，如文字、音频流、视频流等。同时承载三种或三种以上的编码系统称作做媒体，如文字、声音、视频于一体的教学视频。多模态强调的是人的感官和外界事物感知的通道，发生了视、听、触、嗅、味哪几个模态的参与互动。例如，当前的教学视频，文字、声音、图像三个逻辑编码手段参与，是多媒体；但是从多模态角度分析，却是双模态，文字、声音、图像只刺激了视觉和听觉，只有视觉和听觉同时参与。

对多模态相关研究就形成了多模态理论。多模态理论因为其研究的多领域性和松散性，目前并没有形成一套机构完整、思路清晰、主旨明确的理论体系。多模态的研究多集中在社会符号学、系统功能语法、话语分析、认知符合理论等领域，其中多模态话语分析理论是多模态理论的核心。该理论最初由Kress，G.，Van Leeuwen（2001）提出。话语分析在多模态理论主要观点包括：除了语言，其它符号也是意义的来源，也可以传达意思。不同模态可以表达相同的意义。其它符号和语言一样也可以有概念功能、人际功能和语篇分析功能。中国外语教育研究中心的顾曰国在2007年建构了多模态学习的模型，他用三个基本的角色搭建了学习行为的模型框架：信息获取-外部环境互动；意义构建-大脑对外部坏境做出信息处理；实践能力-学习效果的外部表现。

这三个基本角色下又包括若干个子角色。第一个信息获取角色主要是指人与外界环境进行的互动，子角色包括：视觉、听觉、触摸、嗅觉、味觉、空间距离的感知以及身体效仿等。第二个意义建构角色是指人脑对外部环境信息做出的处理，子角色包括视觉信息处理、听觉信息处理、触觉信息处理、嗅觉信息处理、味觉信息处理、距离信息处理、身体运动信息处理以及个人语言知识储存。尽管现代医学对大脑的生理、神经活动研究有了很多的突破，大脑的很多认知活动仍然是未解之谜。第三个是实践活动，主要体现在学习效果的外部表现。子角色除了包括听、说、读、写、译五项技能，还包括交流时的肢体语言、目光交流等。同时他也提出了5个供研究的假设：（1）同模态学习过程比模态转换学习过程相对容易一些。（2）适当的模态转换可以增强学习者对学习内容的内化，提高记忆的持久性。（3）多模态比单模态更能增加学习者的记忆力。（4）词语加上图片图像一起学比单纯词语学效果要好。（5）跟老师一起学、和同学一起学比一个人单独跟计算机学更有利于增加记忆力。

（二）多模态教学

人类学习的本质是多模态的。人与外部世界的接触与互动从来都不是单一模态进行的，而是多器官模态互动的，人类通过视觉辨别事物的颜色、大小、形状等；人类通过听觉辨识声音从声音中获取信息；人类通过触觉来判断物质的材质、质感；味觉来品尝食物的不同味道。这个与外界世界互动的过程也是学习的过程。多模态更符合人脑的活动规律：人的大脑喜欢互动、交际、多样性和创新性等，多模态可以刺激学习者的自主学习动力，动力越强，学习速度越快，学习效果越好。

多模态教学是在多模态理论的指导下，把语言、图像、声音等意义建构的多个模态协调成最有效、最有利学习的意义表达，并且指导学习通过多模态建构意义。多媒体、音响设备、互联网实验室等教学设备的升级更新，使得大学英语教学资源从原来的静态教学资源，如文字、图片转变为动态的教学资源，如声音、动画以及多个感官同时参与的非语言因素：如音调、语调、手势、姿势、面部表情、动作等的多模态互动，强化了工作记忆与长期记忆，克服遗忘率，培养大学英语中听说读写译五项集成型技能，并使得强化巩固。

在多模态教学中，教师不仅仅是PPT的播放者，知识的传授者，而是多模态的选择者、设计者、执行者，教师借助网络学习平台，利用多模态系统对课堂教学进行设计，充分调动学生的各个感官角色，为学生提供多模态交互学习环境，促进学生知识的建构。在多模态的教学中，学生不仅仅是PPT的观看者，知识的接受者，而是多模态的参与者、感知者、受益者。

二、视听说三位一体的教学模式

（一）理论依据

1.建构主义

建构主义强调学习者的自主探究、自主发现、自主建构，并要求将这种自主学习与基于情境的合作式学习、基于问题解决的研究性学习结合起来。学习者通过与外界互动主动建构意义是建构主义学习观的核心观点。建构主义认为，创设必要的情景是意义建构的前提。听力理解的过程实际上是一个信息转换的过程。这是一个复杂的动态过程，听着从自身已经存在的记忆库中搜索与听到信息匹配的内容，用自己原有的知识来诠释新信息。创设的情景越生动、越具体、越接近真实的情景，越有利于激活大脑中原有的知识。大学英语视听说三位一体的教学模式利用多媒体、多模态和现代网络教学手段，以图文并茂、声音图像、语言文化共同呈现的方式，使得声音与文字、文字与图像、形与声、情与景相结合，使得抽象变具体、生动，使得语言交际和非语言交际紧密结合，最大程度地接近真实的语言环境。视听说三位一体的教学加速和改善学生的理解，帮助学生在接近真实的语境中建构自己的知识。

建构主义的教学模式是：以学生为中心，老师在教学的过程中是组织者、指导者、帮助者、评价者的角色，教师利用学习环境的要素，充分发挥学生的主动性、积极性和探索性，使得学生利用原有的知识对新知识加工和构建。知识的获得过程不是教师传递信息的过程，而是学生通过协商与会话方式来建构语言能力的过程，是一种建构产出式学习。大学英语视听说要求学生在小组合作中学习，调动自己知识库原有的知识，结合自主获得的知识片段进行加工整理。这种双向信息的传递过程使得学生参与信息交流，师生互动、生生互动，相互合作，模拟情景，在模拟的情景中使用语言。学生获得知识的多少取决于自身的知识库和自身建构意义的能力，而不是取决于背诵教师教授内容的能力，学生不是被动的知识的接受者，而是认知的主体和建构意义的主体。教师的角色从知识的传授者转变为帮助学生习得知识的指导者和帮助者。

2.心理学及输入输出理论

著名语言学家 Stempleski和Tomalin认为视觉最能使人集中注意力,而视觉和听觉结合并用才能达到最好的记忆效果。视听结合的教学手段比任何一种教学媒体都能更全面而真实地展示语言信息。在人类获得知识、引起注意、保持记忆的过程中，绝大部分是由视觉和听觉两个渠道获得的，这也符合真实的场景，在真实场景中，我们都是一边看，一边说。多媒体、多模态能够调动多个感官参与课堂活动，加深强化记忆。学生的感性和理性被充分调动，通过视觉和听觉刺激原有的知识，小组相互讨论，相互学习，传递信息和知识，这种三位一体的视听说模式不仅有利于知识的获得，而且有利于知识的保持。

根据二语习得理论，语言学习是输入(阅读，视听)—吸收(加工、记忆)— 输出(说、写、译)的过程。Krashen(1985)在“输入假设”中提出了“可理解输入”是学习外语的必须。何魏魏和耿小超分析总结了Susan M．Gass的二语习得集成模型，探讨了“输入”和“输出”之间的相互关系。

学生要习得语言，首先得要有足够多的输入，通过听觉和视觉的大量感知语言和情景语言材料，输入环境言语和感知输入。其次，学生通过启动自己的原有的知识，对语言进行加工、整理、理解，形成“可理解输入”，下一步，学生将这种“可理解输入”进行消化、初步加工，使之进入自己的长期记忆系统，内化在自己的知识结构中，完成摄入的过程。接下来，学生对新的知识进行再加工，转变为自己的知识，储存在自己的知识库中，随时准备调用和输出，这个过程就是集成的过程。最后，学生将储存的语料和新知识，在新的交际环境中以口语或者书面语的形式表达出来，进行有效的交流，从而完成输出的过程。胡伟华和李娜（2012）的实证研究表明将专业知识融入口语习得中的“输入”“输出”环节，是提高学生以专业知识为话题的口语交际能力的有效途径。

在三位一体的大学英语视听说课堂上，教师通过热身、听、看等活动反复加强语言的输入，在通过进行讨论、辩论、复述等活动，进行操练，帮助学生的吸收，最后通过对话、角色扮演、表演等方式完成语言的输出。视听说不仅提高了一个语言输入、环境输入、感知输入的机会，而且将输入、吸收和输出有效地结合在一起，完成了一整套语言习得的过程，使得教学更直观、更全面、更生动、更有效，这样大大激发了学生的学习兴趣，充分调动了学生的主观能动性。

（二）功能和作用

1.提供真实的语境

语言的学习与使用离不开语境，只有语言知识和语境紧密的结合起来，学生才可以更好的学习语言和正确恰当地使用语言。如果缺失与语言形式配套的语境，学生可能短时间记住了一些短语词组，但是如果碰到真实的场景，仍然不能正确恰当地使用语言，语法词汇正确，但是说话会犯语用学的错误，说出的话语不恰当，达不到恰当使用语言的目的。因此，在英语教学中须营造出英语运用的真实语境。大学英语视听说一体化立体地展现了所学语言的背景和真实语境，人物的话语发生都是真实的场景，场景具体、真实，对话生动、自然，使得学生在自然的语境中学习的习得语言，有身临其境的感觉，这种真实的语境会让学生摆脱母语的束缚，调动身体的各个感官来接收语言的输入。

2.提高语言的综合能力

学生可以通过试听的方式，可以了解英语的发音、连读、爆破，模仿对话中人物的用词、语音、语调、语速，从而提高自己的英语发音和听力水平。经常性地接触试听材料，学生可以对照试听材料中的发音纠正自己的语音、语调等。除此之外，试听材料一般都会有英文字幕，学生通过观看试听材料，可以积累自己的英语词汇、句型、俚语、名言、习语，并且真实的语境帮助他们辨别在哪些场合恰当地使用。语言的习得也要有必要的输出，视听说中的说的部分就是帮助学生将输入的知识内化，进而产出，通过反复的输出，学生说的能力会得到提升，知识也得到了保持。

3.提高人文素养

语言属于人文学科。人文学科就离不开文化的洗礼与熏陶。要精通地掌握一种语言，人文素养和人文精神是必不可缺的。试听材料一般就地取材，内容丰富、取材广泛，体现着本族语者人与人、人与自然、人与社会之间的关系，具有丰富的人文内涵。大学英语视听说三位一体的教学，可以加深学生对说英语国家的政治、经济、社会、文化的全面了解，输入的知识得到了人文素养强有力的支撑，学生语言能力不仅增强，人文精神也得到了极大提升。

（三）视听说三位一体的特点

1.自主学习性

传统的视听说课堂是，老师播放听力视频，学生被动地听和做笔记，缺少互动和学生练习的机会。老师是课堂的主导，学生的学习很消极很被动，一直跟着老师的步骤在走，没有开动脑筋，充分调动创造力和想象力。因此，消极的、被动的、勉强的“视、听、说”难以有效的帮助学生提高语言交际能力。随着多媒体技术的发展，很多高校的视听说课堂已经发生了翻天覆地的变革，学生成为学习的主体，老师是促进学生学习的人，老师是课堂的设计者，创造机会和条件让学生展示自己的想法和才能。例如：职业英语有一个单元是公司的结构，老师可以安排学生组成若干小组，每一个小组成立一个公司，介绍公司的业务和各个部门，小组内的每一个成员担任各部门的负责人，分别介绍自己部门和自己作为部门负责人的职责。这样小组的学生都参与到活动中来，充分调动了大家的学习积极性，学生在参与的过程中不仅学到了知识，学习的自主性得到了极大的提高。

2.强调互动性和实践性

语言学习的目的是交流与交际，语言交际能力不是直接传授的，是学生在一定的情景之下，利用必要的学习资源，与老师学生互动交流，通过不断地语言实践与探索，慢慢培养起来的。教师与学生、学生与学生之间的语言互动是加强学生语言实践和培养交际能力的重要手段。这种交流是互动的、双向的，可以一对一，也亦可以一对多、多对多。视听说课堂经常采用的活动有：角色扮演、模仿配音、听音竞猜、调查报告等等。这些都是学生能够积极参与，收效显著、互动性强的教学活动。学生通过参与活动，与老师互动，与同伴互动，语言的实践能力得到增强。

3.提高学生心理素质和团队协调能力

有些大学生会有自卑、缺乏自信、怕出错、胆怯、焦虑等心理障碍，他们很怕在很多人面前大胆地回答问题表达自己的想法，遇到的老师如果冷漠、缺乏热情、动不动就纠错和批评学生，学生的英语语言能力很难提高。视听说三位合一的教学，融合很多的小组任务，这些害羞的学生可以先通过和老师、和几个学生的互动，慢慢增强自己的自信心。学生看到自己能够慢慢开口讲英语、自己的小组上台作报告，成就感会激发学生更好学习英语的动力与决心。师生的互动、学生之间的互动拉近了人际的距离，互助、互信、轻松、自然的学习氛围不仅给学习而且为增强学生的心理素质提供了帮助。在视听说小组的合作学习中，学生必须与同伴进行分工、讨论、协作，在这个过程中，学生完全是自主者，是活动的策划者、组织者、主持者、协调者，参与一整套的活动流程，团队的交流和协作能力得到大幅度锻炼和提升。

三、多模态视听说教学设计

以顾月国教授关于多模态教学的五个假设为前提，结合视听说三位一体的教学模式，旨在将多模态理论利用在大学英语视听说教学中，从准备课前的多模态课件、课堂的多模态互动和多模态学习环境、到课后的多模态评价，各个方面优化现有的大学英语视听说课程，从而达到理想的教学效果。

（一）多模态课件

多模态课件是学生知识输入的主要来源。不同的符号系统，如文本、声音、图像、视频、音频有着不同的表达方式和表达优势。多个模态的刺激有利于学习者的关注与记忆。所以教学资源应该尽量包含多个模态。信息技术的发展为多模态的融合提供了可能性，大学英语的视听说课程应该使得音、文、图、音频、视频融为一体，实现对学生多个感官的刺激，从而达到理想的教学效果。教师在制作课件时，应该尽量将声音、PPT、音频、视频全部录入，使得每个环节至少包含两个模态，比如说听力的阶段，可以声音加文字、声音加图片，最好老师能用板书书写，这样学习者不仅可以从声音、PPT、视频中学到知识，也可以从教师讲解时表情、动作、声音巩固加强了教学的重点和难点，集中了学生了注意力，使得学生从各个渠道获取更多的信息。

（二）多模态互动

传统的大学英语视听说课堂只是师生、生生互动，然而多模态互动包括互动的方式和互动的策略。多模态方式主要包括师生互动、生生互动、小组互动和人机互动；多模态策略主要包括角色扮演、角色转换、小组报告、小组协商等。大学英语视听说课堂可以充分利用这些多模态方式和策略，调动学生多种感官的共同参与，有助于学生获取更多的理解性输入，促进知识的内化，同时有效地提升语言的使用能力和社会交往能力。

（三）多模态学习环境

多模态的学习环境是指技术的、人文的、自然的三个方面。技术环境是指当今的网络学习平台、交流平台和搜索引擎，网络学习平台指包括中国的五大学习平台：中国大学MOOC、学堂在线、好大学在线、智慧树、超星慕课在内的学习平台；交流平台指的是QQ、微信、email等；搜索引擎值百度、搜狗、Google等搜索平台。人文环境是指和谐、平等、互助的学习氛围，积极主动进取的探究精神。自然环境是指符合学习需要的场所、学习条件等。多模态的学习环境不仅能帮助学生整合优秀的网络资源和培养学生探索知识积极进取的精神，还可以帮助学生各个器官协同工作的能力，使得学生在轻松舒适的氛围中愉快地学习。

四、结语

多模态理论应用到大学英语视听说课堂，能够很好地帮助学生提高听说能力、英语综合应用的能力和自主学习能力，但是正如顾月国教授所指出的，多模态教学像一把双刃剑，处理好可以把学生的注意力集中到知识点上，视觉、听觉多角度刺激，强化记忆的效果，提高学习的效率；如果处理不好不仅不会集中学生的注意力，反而分散学生的注意力，造成对知识点记忆的干扰，热热闹闹之后学生什么都没有学到。因此，必须科学合理地将多模态理论应用到大学英语视听说教学中。以下三点供大学英语视听说一线的教师参考：

（一）首先，教师应该控制大学英语视听说多模态的比率。大量多模态多媒体课件如果充满课堂，学生会觉得眼花缭乱，注意力难以集中，疲于接受，注意力难以集中，无法消化。教师应该就多模态的内容有所选择，多模态材料与主体密切相关，在重点难点的地方可以借助多模态帮助学生学习，强化记忆。

（二）教师自身应该多使用多模态话语而不仅仅是多模态课件。例如语音、语调、表情、肢体语言的配合，来吸引学生的注意力，帮助学生理解知识点。

（三）教师应该多培养学生使用多模态的习惯，调动学生学习的积极性和主动性。教师应该将学生推向前台，成为学习的核心。调动学生主动地以自己擅长的模态认知知识、应用知识。教师应该多多提供学生实践的机会，使得他们成为多模态的应用者，而不是被动的接受者。