大学英语教学的多模态性及其作用

曾庆敏

(重庆交通大学外国语学院，重庆400074)

大学英语教学的多模态性及其作用

曾庆敏

(重庆交通大学外国语学院，重庆400074)

人类的话语世界呈现出数字化和多模态化的特点。传统的以关注语言文字为主的单模态教学模式已不能满足人际交流方式和意义表达方式的需求。因此，培养学生多模态交际能力、多元识读能力，并借助多模态教学理论及研究成果，构建多模态化的教学模式是时代的需求，是语言教学发展的必然趋势。为此，强调多模态话语对教学的促进作用，并科学地将多模态恰当结合运用于教学中。

模态; 多模态话语; 教学模式; 多元读写能力

一、引言

随着现代科技特别是多媒体技术的飞速发展，人类交际活动中的多模态现象越来越突出，人类的话语世界也呈现出数字化和多模态化的特点［1］(P49)。“语言使用，不管是口语还是书面语，总是不可避免地由多种交际模式组成。”［2］。Kress和van Leeuwen认为所有的话语都是多模态的［3］(P186)，意义总是通过在交际过程中共现的多种模式和媒介构建的［4］(P111)。多元文化的相互渗透和交际的多模态化使交流、传播、经济等领域正发生着一场革命:书面文字在公共交流领域的统治地位正让位于以图像为载体，或文字与图像并存的媒介。一种全新的多模态表达形式已经深入到人们生活的方方面面［5］(P182)。

多模态话语的发展对教学、对学生交际能力的培养也提出了新的要求，培养学生对不同模态话语的读写能力和交际能力是语言教学的根本目标。胡壮麟认为“传统以读写为主的识读能力在多媒体时代已不够用”［6］(P7)，在当今全球趋于一体化、多元化、技术化的今天，对学生不仅要进行读写能力的培养，更重要的是要进行多元识读能力的培养。数字化信息时代的到来以及多媒体技术的广泛运用，使得图像、声音、文字、视频、色彩等多种模态充斥着人类的交际活动。因此，传统的以关注语言文字为主的单模态教学模式已不能满足人际交流方式和意义表达方式的需求，我们应清楚地认识到:培养学生多模态交际能力、多元识读能力，并借助多模态教学理论及研究成果构建多模态化的教学模式是时代的需求，是语言教学发展的必然趋势。

二、理论基础

多模态话语分析的理论兴起于20世纪90年代，西方学者以Halliday的系统功能语言学为理论基础，将图像、声音、动作等作为语言社会符号性的研究重心［7～10］。研究表明，系统功能模式不仅可以用于对自然语言的分析，同时也为研究其他符号形式提供了可行的分析框架［11］(P159)。图像、声音、动作作为社会符号，通过有意义的整合来构建、描述和表达人、物体、空间、环境等之间的关系。语言和视觉现象均需依靠具体的、相互联系的符号系统，并在相应的符号系统中做出恰当的选择，然后通过不同的形式组成具有意义的话语［8］(P1)。因此，我们应关注交际活动中多模态话语的整体意义，而不是将其构成要素割裂开来，进行孤立的讨论研究。

Kress探讨了教学中多模态信息传递的三个理论基础［5］。首先，物质的媒体经过社会长时间的塑造，成为意义产生的资源，可表达不同社团所要求的意义，这就成了模态。所有模态具有表达意义的潜势。其次，作为言语的语言模态和作为书面语的语言模态以及其他模态，往往是交织在一起的，在信息传递语境下同时存在、同时操作。这种互动本身就产生意义。最后，使用者经常对表达和信息传递的模态加以改变，以适应社会的信息传递需要，这样，已有的模态被改造，新模态被创造。多媒体技术可以快速高效传递多模态信息，所有意义的构建产生于语言、姿势、眼神等各种符号系统之间，并越来越依赖各种符号资源的整合。

三、模态之间的关系

多模态话语指运用听觉、视觉、触觉等多种感觉，通过语言、图像、声音、动作等多种手段和符号资源进行交际的现象［12］(P98)。听觉模态符号是大学英语课堂中最重要的模态符号之一，它决定着学习者语言输入的量和质，包括口语语言符号、音乐符号和其他声音符号如噪音、音效。视觉模态符号包括书面语、图像、肢体语言符号。除此之外，嗅觉、触觉和味觉模态常出现在特定的情景中，使用频率较低。如在学习“spaghetti”一词时，可以让学习者通过嗅觉、味觉感官来感知，获得认知信息。我们生活在一个多模态的社会，话语的多模态性已成为当今人们交际中使用的各种语篇的一个重要特征。这些不同的模态在意义再现层面上起着同样重要的作用，各模态之间相互补充，强化、调节和协同作用，从而尽量全面地表达意义。

第一，同一意义可以借助于不同的符号形式进行表述，即不同的符号形式可以表达同一种意义。比较(顾曰国，2007:4):

(1)(2)(3)分别代表了三种信息呈现方式。又如，同一数据信息我们可以采用表格，饼图、柱状图等不同符号形式来表达。但是，不同的信息呈现方式对于信息的获取和处理会产生很大的影响。

第二，意义的构建和识读是多模态的，对于不同类型的信息应调用不同的模态。如语篇信息可通过视、听、触觉模态来进行全面的听说读写译认知;非语篇信息主要通过视、听、触觉模态来解构，并通过触觉，以说和写的方式来构建语篇信息。知识类、文化类信息主要通过视、听模态输入，学生可以通过视、听模态直观感受音频、视频内容，快速高效解构输入内容;通过视觉跟视频进行互动的直观、体验性学习，是技能类学习的主要学习方式。课前通过视觉模态进行教材文字识读，认知语篇信息，在课堂学习中通过视、听、触觉模态训练语言表达能力和思维能力，从而加快信息的内化过程和输出过程。

第三，当一种模态的话语不能充分表达说话者的意义或者无法表达其全部意义，需借助其它模态来补充，这时模态之间是一种互补关系。Royce在探讨一篇有关金融报道的语言与视觉模态的关系时认为，“在一个语篇内，语言和视觉模态在投射意义上相互补充，并且这种符号系统间的互补是由这些模态特有的各种各样的语言和视觉手段来实现的”［14］(P23)。在互补关系中，通常一种模态为主要或基本模态，另一种起强化或补缺作用。例如，教师在通过语言传递意义的同时，可以调用动作、姿势、表情、眼神等视觉符号辅助强化其意义的传达。在中国学生视听一段英文视频时，听觉模态是主模态，而视频中的人物、动作、环境等视觉符号所传递的部分信息是语言信息所缺失的，两种模态缺一不可，互为补充。

第四，一种模态会在某种程度上增加或减少由其它模态所表达的信息。例如，语言与图像之间相互拓展、细化彼此所表达的意义，增加所蕴含的信息，对意义予以详细说明或更准确的重述［15］(P300)。

第五，当次模态对主模态在意义体现上的作用不大时，它们之间是一种交叠关系或语境交互关系。交叠现象是两种或多种模态同时出现，但它们之间并没有相互强化关系［12］(P99)。例如，教师呈现的纲要式的PPT提供了主要的教学内容，教师只是根据PPT内容进行逐项讲解，或者教师只需自己或跟学生一起读上面的内容即可。音乐可以为外语教学创造真实情景、营造适宜的氛围，这时听觉模态和视觉模态就是一种语境交互的关系。

四、多模态对英语教学的作用

多模态运用于英语教学，可使学生在英语学习过程中以多种感觉器官参与学习。多种媒体信息刺激学生的大脑皮层相应机能区，比单一媒体信息刺激所引起的反应要强得多。声、光、色、图俱佳的交互式教学环境，宽松、自主的学习氛围，可促进学习主观能动性的发挥和个性的发展，提高教学效率。首先，模态转换可以强化记忆，提高内容记忆的持久性。研究发现记忆力跟获取信息的模态(或曰感官)有关。其中嗅觉跟情感和记忆力的关系是公认的事实［16］(P58)。多模态强调多感官并用，以帮助学生克服单词、语法等记忆难的问题，便可达到牢固记忆的作用。多模态教学方式把静态的资源包括服饰、发型、脸型等和动态的资源包括声音、表情、身势、眼神等纳入教学过程，给学生全方位、多感官的充分体验，引起多层次的联想。实践证明，大脑的记忆与联想密切相关，联想越多，记忆越深刻。

其次，多模态更有利于知识的理解和内化，产生更好的学习效果。在多媒体、多模态条件下呈现的文本内容能营造出有利于对英语理解和掌握乃至运用的真实语境。学生有机会接触不同样式的规范英语，地道的语言贴近自己的学习和生活，这种真实的语言环境能让学生摆脱母语的羁绊、调动感觉器官及大脑对语言信息的综合反应并自然地吸纳语言。文化先于语言产生，多模态的教学手段有利于将文化内涵和语言学习自然地结合起来。从《傲慢与偏见》中熟悉西方上层人士的举止习惯、仪表谈吐，从《阿甘正传》了解南北战争、越南战争、中美外交等重大的历史事件。视、听模态的融合使得鲜活、地道的语言，声情并茂的故事描述，把社会价值观念等深层次的文化以一种大众都能接受的方式反映出来［17］(P2004)。

第三，综合运用多模态学习，不仅可以提高学生的语言输出能力、创新思维能力，而且能够加强学生的多模态交际能力和多元识读能力。通过视觉跟视频进行互动，具有直观性和体验性，学习效果事半功倍。例如，视听说课堂上，学生通过视听渠道接受语言信息，然后通过口语表达出来，课后还可将个人观点、讨论结果转换为视觉模态符号，用书面语言表述成文，学生的语言输出能力得以提高。在这一学习过程中，学生多模态地获取信息，利用图片、数据、视频等组织和展示自己的观点，学生多模态处理信息的能力和交际能力也得到了提高。这种直观体验性的学习往往是“暗学习”(implicit learning)，不知不觉就会了，是技能类学习的关键学习方式［13］(P7)。

第四，合理整合使用多种模态进行教学，可以营造一种轻松、活泼、和谐、积极的课堂互动氛围，可以在很大程度上激发学生使用语言的主动性和积极性，在此基础上，学生的语言应用能力得到最大程度的锻炼和提高。心理学的实证研究表明，利用声音、图像、文字和动画等多种模态形式向学生呈现最真实的语言活动，学生的眼、耳、口等各种感官不断受到刺激，逼真、生动、有趣的语言环境大大调动了学生的神经器官和浓厚的兴趣。多模态的教学模式完全符合信息的输入、加工、贮存、输出的认知心理过程，实现了学生的主体地位，学生的学习兴趣得以激发、交际能力得以提高。比如一些结合音乐的影视作品，如《窈窕淑女》等会让学生在一种轻松愉悦的环境下体会到学习语言的快乐。付蓓对某大学英语专业三个本科班级进行对比，实验结果表明多模态化的英语写作教学能有效提高学生英语写作能力和对写作学习的热情［18］(P136)。

多模态教学方式虽然给英语教学注入了新的活力和指明了方向，使课堂教学内容、教学手段、教学模式多元化，但并不是不加选择，使用越多越好。因此，科学地将多模态恰当结合运用于教学中，应注意以下几点:教师应加强基本理论知识的学习，提升多模态教学的理论素养，并通过教学观摩和教学实践，提高自己的执教能力;教师应遵循教学模态选择的最优化原则，即充分利用现代多媒体技术，充分表达讲话者的意义，取得最佳效果［19］(P52);帮助学生通过接触多模态话语，从语言、图像、图表、颜色、音乐等多渠道了解其他语言和外来文化，以适应文化多元化和语言多样化的趋势，引导学生利用多模态手段在课堂进行呈现和交流，培养其多元读写能力和多模态交际能力;教学的主要过程和阶段是行动和行为，知识传授在这里没有地位。教学的过程主要为做事、行动、活动等［19］(P50)。

五、结语

大学英语教学中的多模态性主要是多媒体技术在英语课堂上广泛应用的结果。多媒体、多模态学习像一把双刃剑，处理得好，可以把学习者的注意力真正集中在知识点上，以达到强化记忆力的作用，从而提高学习效果;处理不好，会分散学习者的注意力，发生对知识点的记忆力的干扰，导致瞬间“热闹”而事后“空空”之感［13］(P9)。正如朱永生所指出的:“我们急需改变传统的办学理念，应提倡‘建构主义’取代传统的‘训导主义’，引导学生不仅能在多模态环境下理解各种经历，建构我们自己对现实世界的认识，而且能在多模态环境下有创造性地学习和做事。”［20］(P13)如阅读互联网、设计互动的图像操作软件、电子音乐、科学模拟、虚拟剧场等多媒体，以改变原来的灌输式教学，取得更加积极的教学效果。

［1］ 代树兰．关注多模态话语教学 提高学生交际能力［J］．山东外语教学，2011，(3)．

［2］ LeVine P，Scollon R．Discourse and Technology:Multimodal Discourse Analysis［M］．Washington DC:Georgetown University Press，2004．

［3］ Kress G，van Leeuwen T．Front pages:the critical analysis of newspaper layout［A］．Bell A，Garrett P(eds．)．Approaches to Media Discourse［C］．Oxford:Blackwell，1998．

［4］ Kress G，van Leeuwen T．Multimodal Discourse:The Modes and Media of Contemporary Communication［M］．London:Arnold，2001．

［5］ Kress G et al．Multimodal Teaching and Learning［M］．London:Continuum，2001．

［6］ 胡壮麟．社会符号学研究中的多模态化［J］．语言教学与研究，2007，(1)．

［7］ O'Toole M．The Language of Displayed Art［M］．London:Leicester Univesity Press，1994．

［8］ Kress G，van Leeuwen T．Reading Images:The Grammar of Visual Design［M］．London:Routledge，1996．

［9］ van Leeuwen T．Speech，Music，Sound［M］．London:Macmillan，1999．

［10］ Martinec R．Cohesion in action［J］．Semiotica，1998．

［11］ O'Toole M．A systemic-functional semiotics of art［A］．Fries P，Gregory M(eds．)．Discourse in Society:Systemic Functional Perspectives［C］．Norwood:Ablex，1995．

［12］ 张德禄，王璐．多模态话语模态的协同及在外语教学中的体现［J］．外语学刊，2010，(2)．

［13］ 顾曰国．多媒体、多模态学习剖析［J］．外语电化教学，2007，(114)．

［14］ Royce T D．Multimodal communicative competence in second language contexts［A］．Royce T D，Bowcher W L(eds．)．New Directions in the Analysis of Multimodal Discourse［C］．Mahwah:Lawrence Erlbaum Associates，Inc．，2007．

［15］ Anthonissen C．Interaction between visual and verbal communication:Changing patterns in the printed media［A］．Weiss G，Wodak R(eds．)．Critical Discourse A-nalysis and Interdisciplinarity［C］．New York:Palgrave Macmillan，2003．

［16］ Weston Trevor．Altas of Anatomy［M］．London:Marshall Cavendish Books Limited，1992．

［17］ 朱维芳．英语电影教程［M］．北京:外语教学与研究出版社，2004．

［18］ 付蓓．多模态化的英语写作教与学［J］．湖北师范学院学报，2010，(5)．

［19］ 张德禄．多模态外语教学的设计与模态调用初探［J］．中国外语，2010，(3)．

［20］ 朱永生．多元读写能力研究及其对我国教学改革的启示［J］．外语研究，2008，(4)．

Abstract:Digitization and multimodality are the major features of the human language．Monomodal teaching，which focuses mainly on language，can no longer meet the needs of human communication．It is a necessity to cultivate the students'multimodal communicative competence and multiliteracy while it is also a trend to construct a multimodal teching based on the teaching theory．The importance and application of multimodal discouse in college English teaching are emphasized．

Key words:mode;multimodal discourse;teaching model;multiliteracy

Study on Multimodality in College English Teaching and Its Importance

ZENG Qing-min
(School of Foreign Languages，Chongqing Jiaotong University，Chongqing 400074，China)

H319

A

1674－0297(2012)01－0141－04

2011－09－01

重庆市教委高等教育教学改革研究重点项目“非英语专业学生大学英语听说能力培养创新模式研究及实践”(编号:09－2－036)的成果之一。

曾庆敏(1972－)，女，重庆万州区人，重庆交通大学外国语学院副教授，硕士，主要从事认知语言学和教学法研究。

(责任编辑:张 璠)