大学英语演示教学中多模态意义的整合

徐 艳

(巢湖学院 外语系，安徽 巢湖 238000)

一、引言

多模态话语是指运用视觉、听觉、触觉等多种感觉，通过语言、图像、声音、动作等多种手段和符号资源进行交际的现象，且所有的模态都具有表达意义的潜势。［1］多模态话语是普遍存在的。

多模态话语分析和研究基于系统功能语言学和社会符号学理论，认为语言并非是唯一的交际模式，其他符号资源对交际的实现也同样起作用。因此，单纯从语言角度无法对话语进行全面深入的研究和分析，多模态话语分析越来越受到国内外学者的重视。Kress 和Leeuwen 致力于建立社会符号学的多模态分析方式，探讨各种符号资源，包括视觉图像、颜色语法以及版面设计等的作用。［2－3］Royce 研究了不同符号系统在多模态话语中的互补作用以及在第二语言课堂教学中多模态的协同作用。［4］国内关于多模态话语的探讨从理论研究到实践分析都有所涉及。李战子［5］、胡壮麟［6］、朱永生［7］和张德禄［1］等探讨了多模态话语分析的理论基础和研究方法，逐步为多模态话语研究提供了较为系统的理论框架。王红阳［9］、李美霞和宋二春［10］、张旭红［11］、张德禄和袁艳艳［12］等将多模态话语研究分别应用于不同语类的语篇分析之中。与此同时，教学的多模态化也已经成为一个重点研究领域，张德禄和王璐［13］通过对比两个教学案例，探讨在大学英语课堂实际教学过程中，不同模态之间的相互协同作用。王惠萍［14］的研究表明，在现代英语阅读教学中有必要培养学生的多模态识读能力。张征［15］进行了多模态PPT 演示教学与学生学习绩效的相关性研究。但是关于演示教学中多模态话语选择以及意义整合的研究鲜有涉及。

把现代教育多媒体技术运用于教学，可以更加全面、更加准确地解读教学内容。在教学多模态话语选择中最关键的因素是如何使不同模态相互配合来获得最佳教学效果。本文基于多模态话语分析理论框架，以首届全国大学英语教学大赛综合组十位获奖选手所设计的演示教学作品(Power Point，PPT)为研究对象，探讨演示教学中多模态意义的整合，从而为大学英语课堂演示教学提供更为有效的途径。

二、语料来源

本文以首届“外教社杯”全国大学英语教学大赛综合组一、二和三等奖获得者所设计的演示教学作品(共10 个PPT)为语料来源。根据大赛规则，选手必须借助多媒体等先进教学手段，用20 分钟时间为现场15 位学生上一堂完整的教学课。利用计算机技术教学，是大赛考察的重要环节。大赛组委会对电子课件(PPT)设立的评比标准包括课件的功能性、实用性、丰富性以及与授课内容的关联性。

此次大赛十位获奖者设计的PPT 篇幅最长的是52 张，最短的是12 张，平均篇幅约为26 张，包含文字、图像、音频和视频等。此外，PPT 演示教学的设计还充分考虑了字体、颜色搭配、动画效果、背景音乐及幻灯片切换方式等因素。PPT 演示教学是通过多种符号资源内部的互动来实现意义的复合话语，属于多模态话语范畴。［15］

三、演示教学中的模态形式和多模态意义的整合

(一)多模态话语分析的理论框架

随着现代科技和传媒技术的发展，话语的多模态性日趋增强和凸显。多模态话语分析兴起于20 世纪90 年代，其主要理论基础是社会符号学和系统功能语言学。具体来说，多模态话语分析理论从韩礼德系统功能语言学中接受了语言是社会符号和意义潜势的观点。［7］这一分析理论认为，多模态话语交际和单模态语言交际具有相同特征。每种模态都是符号资源，各种模态发展成产生意义的互相连接的可供选择的网络，所有的模态及各种模态间的互动均具有表达意义的潜势，都对意义的创建起作用。［16］张德禄认为，多模态交际可以使受话人通过多通道获得信息，比单模态话语更容易使受话者理解和记忆，而现代多媒体技术的发展为多模态话语交际提供了新的环境和条件，同时为多模态交际提供了新的途径。［17］本文基于张德禄［1］建构的多模态话语分析综合理论框架(见图1)，分析首届全国大学英语教学大赛十位获奖选手如何在PPT 演示教学中选择不同的模态，构建多模态意义。

张德禄建构的多模态话语分析综合框架，基于系统功能语言学理论，由文化、语境、意义、形式和媒体五个层面的系统组成。多模态交际受文化语境和情景语境的制约，实现概念、人际和语篇意义;在形式层面上，不同模态形式相互关联，共同体现话语意义(见图2)。

多模态话语中，不同的模态形式之间是相互联系的，主要分为互补和非互补的关系。互补关系又进一步划分为强化和非强化两种类别，而非互补关系可区分为交叠、内包和语境交互等类别。张德禄认为，模态的选择涉及最佳搭配，不是完全自由、随意的。模态的选择需以增加正效应为原则，主要包括强化、协调、前景与背景、整体与部分和抽象与具体等;相反，如果模态之间产生矛盾，相互排斥或抵消，就会增加负效应。［8］因此，如何使不同模态相互配合来获得最佳教学效果成为PPT 演示教学多模态话语选择的关键。

图1 多模态话语分析综合框架

(二)演示教学中的模态形式

全国大学英语教学大赛要求，采用演示教学模式为现场15 位学生上一堂完整的教学课(时间为20 分钟)，而演示教学运用的媒体工具为PPT。PPT 是一种演示文稿图形程序，可协助制作者创建永恒的视觉效果，增强多媒体的支持功能。PPT 演示教学包括文字、图片、图表、动画、声音、影片等，建构了视觉和听觉等模态形式。多模态PPT 演示教学指在教学设计过程中把两种及两种以上符号的系统资源，制作成PPT 课件供课堂教学演示的教学模式。［15］

全国大学英语教学大赛规定，教学内容为《全新版大学英语》或《新视野大学英语》的课文，教学对象为临时找来的大学一年级学生，教师在20 分钟内完成课文导入和课文解析等教学环节。张德禄［8］研究发现，在外语教学中，模态选择受教学内容所涉及的领域(话语范围)、教学对象的情况，教学对象与授课者之间的关系(话语基调)和教学的条件及场所(话语方式)等制约。［8］鉴于此，十位获奖选手利用现代媒体技术，充分考虑不同模态之间的相互配合，力求为学生提供一个图、文、声、像环绕的交互式语言环境。获奖选手在PPT 演示教学中主要选择了以下几类模态:

图2 多模态话语形式与关系

1.视觉模态

视觉模态主要包括文字类、图片类和图表类，是PPT 演示教学的主模态。

毋庸置疑，文字是表达意义的首要模态。Leeuwen 认为，印刷体式包括字形、字体大小和颜色等，都是社会符号，具有意义潜势，都是构建意义的重要模态。［18］在演示教学中，要尽量减少需要显示的文字数量，不能把幻灯片制作得太满，过多的文字阅读不仅容易使学生产生视觉疲劳，而且干扰学生的感知，因此，字号、字体和颜色的选择都很重要。文字和背景的颜色搭配要合理，字体颜色的选择和背景颜色息息相关，搭配要求醒目易读。对于关键性的标题和总结，要以不同的字号、字体和颜色加以区别。三等奖获得者张碧慧在其PPT 作品中采用白底黑字，字体为Times New Roman，标题主要用蓝字或红字，字体变换为Monotype Corsiva。不同的文字内容用不同的字体颜色显示，可以更好地呈现教学内容。在搭配合理的基础上丰富色彩，能激发学生的兴趣。字号、字体和颜色的变化在语义层面没有提供新的信息，但可以吸引学生的注意力，具有人际意义。

图片主要为漫画式插图、人物肖像或实物、实景照片等。图片与文字都是表达语义的基本方式。Kress 和Leeuwen 对照Halliday 三大元语言功能，即概念功能、人际功能和语篇功能，提出图片等视觉符号同样具有再现、互动和构图意义。［2］换言之，图片不仅将要表达的内容以直观、浓缩的方式表达出来，也实现了人际互动意义。同时，图片的语篇组织形式反映了作者的态度、观点和意识形态。图片对语篇意义的整体构建起到不容小觑的作用。PPT 演示教学中，图片可显示文字难以表达的教学内容，提供较为形象和直观的教学，使抽象的内容形象化、枯燥的内容具体化。例如二等奖获得者赵芹在PPT 作品中解释“on the latch”这一词组时，选择了一张表达相应意义的实物照片，更加形象具体地体现了该词组所表达的信息内容，更便于学生理解和记忆。

图表多为纲要式图表、线索图或示意图等，将教学内容分类、提炼和纲目化。晦涩的语篇部分可由图表来阐明，而图表的意义也会由于文字语篇而变得清晰。［19］在PPT 演示教学中，图表以简单清晰的方式概括总结较为复杂的教学内容。例如三等奖获得者庞雅在PPT 作品中以纲要式图表清楚地展示了文章结构，在有限的篇幅内尽可能向学生传递最大的信息量，使学生更好地从宏观上理解和把握课文。

此外，从分析的语料来看，所有选手在其PPT 中都设置了动画效果。PPT 演示教学的动画效果，是静态内容无法达到的。比如有些教学内容需要提醒学生特别注意，可用动画效果实现对教学内容的突出强调作用。二等奖获得者方卫在其第九张幻灯片中，对“Homonym”这一单词设置了波浪形的动画效果，其目的是提示学生接下来的幻灯片将会对这一单词作出进一步的解释。可见，PPT 的动画效果也可有效地表达人际和语篇意义。

2.声觉模态

它包括课文录音、与教学内容相关的听力材料或背景音乐等。张德禄认为，外语教学主要是培养学生的外语实践能力，即在真实语境中的交际能力，所以尽可能提供真实的语境是外语教学十分有效的手段。［1］PPT 演示教学的声觉模态可使学生获得的语境知识更加具体，为语言学习提供背景信息。如三等奖获得者张璐的教学内容为“Taking a Booking”，她在PPT 中添加了关于“Making Reservation”的情景对话，让学生直接接触近乎真实的语境，提高了教学效果。

3.视频模态

它包括电影片段或剪辑的访谈录像。视频模态的优势在于播放画面的同时播放声音，不同的模态共同参与主题意义的表达，实现三维立体的教学方式，充分调动学生的各个感官，促进学生立体思维、线性思维。例如，三等奖获得者罗薇在其课文导入环节精心选择了两段电影片段，对比中国人和西方人在对待孩子教育上的不同态度，切合其课文主题“Learning，Chinese Style”，使学生体验较为真实的语境，有身临其境之感。

(三)多模态意义的整合

胡壮麟探讨了“整合”一词在外语教学和研究中的作用，其最为满意的解释是:“整合是通过把不同的事物与物质，使它们相互渗透相互交互，资源共享结合在一起，或叫集成在一起，让它们通过结合发挥最大的价值，其主要的精髓在于将零散的要素组合起来，最终形成有价值有效率的一个整体。”［20］多模态意义的整合关键在于使不同的模态相互配合、相互协调，共同构建概念意义、人际意义和语篇意义。

多模态话语可能只涉及一种感官，但包含两个或两个以上的符号系统。正如曾方本指出的那样:多模态话语蕴含着多种符号系统或符号变体，但不一定会涉及多种感官。［21］从语料分析的结果来看，PPT 演示教学的主模态——视觉模态由文字、图片和图表等符号系统组成，其中文字和图片、文字和图表是最为常见的多模态形式。由张德禄建立的多模态话语形式与关系框架(见图2)可知，典型的多模态话语模式是一种模态的话语不能充分表达其意义，或无法表达其全部意义，需要借助另一种来补充，称之为“互补关系”，而其他的称为“非互补关系”，即一种模态对另一种模态在意义的表达上并没有大的贡献，但仍作为一种模态出现。互补关系区分为强化关系和非强化关系，非互补关系包括交叠、内包和语境交互。［1］

张德禄认为，如果不同模态产生矛盾，相互抵消或互不衔接，则可能会降低教学效果。因此，模态之间的配合要以增加正效应为原则。［8］

1.文字和图片之间主要存在强化、非强化和内包等关系

在强化关系中，第一种模态是主要的交际形式，第二种模态形式提供背景信息，让第一种模态表达的信息更加突出。如三等奖获得者潘俊峰所授内容涉及“Vietnam War”，他在PPT 中展示了一系列与战争相关的图片，从而强化了“terrible”这一意义。非强化关系表示两种交际模态缺一不可，互为补充。例如，二等奖获得者方卫在其课文导入环节设置了“Brain-teaser(脑筋急转弯):What is the smallest bridge in the world?”其答案呈现方式是一幅关于人体器官鼻子的图片和一幅桥梁图，且在器官图上标注了“bridge(鼻子)”一词，图片和文字共同表达主题意义。内包关系是指其中一种或多种模态对整体意义的表达没有新的贡献，只是给予更加具体的信息，主要是吸引学生的注意力，体现人际意义。以一等奖获得者刘玲的PPT 作品为例，她在解释“Hacker，Wow，Online shopping”等词时，提供了相应的图片，使学生对抽象概念有了具体的认识。

2.文字和图表之间主要体现的是非强化关系中的协调关系

在协调关系中，不同的模态共同表达交际者的整体意义，缺乏任何一种都不完整，协调关系实际上是运用多模态交际最有效的教学方式。［9］PPT 演示教学中，教师在解析文章结构和介绍写作方式时多用图表形式呈现文字内容，文字和结构图缺一不可，共同参与概念、人际和语篇意义的表达。

此外，在所分析的语料中还涉及视觉模态和声觉模态、视觉模态和视频模态的配合。譬如三等奖获得者苗凤波的教学内容为“American Dream”，他在展示一系列与“美国梦”相关图片的同时，以《追梦人》乐曲为背景音乐，是视觉模态和声觉模态的有效配合。图片表达基本的概念意义;音乐抒发情感，唤起学生的共鸣，表达的是人际意义。三等奖获得者张璐在介绍酒店的房间类型时，选择了文字和视频两种模态，教学内容以文字和视频两种方式展现，是一种交叉体现意义的现象。

可见，多模态话语整合的意义在于，在意义表达过程中，不仅可以发挥语言系统的作用，而且使其他符号系统参与其中，整合后的多模态话语的语义蕴含了单模态话语所无法准确表达的内容。

四、结语

综上所述，本文基于张德禄［1］建构的多模态话语分析框架，通过分析首届“外教社杯”全国大学英语教学大赛综合组十位获奖者设计的PPT 作品发现，PPT 演示教学主要包括视觉模态、声觉模态和视频模态等，多模态话语的整合不仅包括不同感官间的，还包括同一感官中的。为了取得更好的教学效果，教师在设计PPT 演示教学时，须合理选择不同模态，充分考虑模态间的相互配合，发挥多模态话语的积极作用。语言教学需要真实的语境，多媒体技术的发展为其提供了便利条件，大学英语课堂教学以演示教学模式展开已成为一种趋势。本文研究了PPT 演示教学中多模态形式的整合，在实际课堂教学中，教师如何使PPT 演示教学为其语言和动作(如身势语)服务是有待于进一步研究的课题。

［1］张德禄.多模态话语分析综合理论框架探索［J］.中国外语，2009(1):24－30.

［2］KRESS G，LEEUWEN T V.Reading images［M］.London:Routledge，1996.

［3］KRESS G，LEEUWEN T V.Multimodal discourse:The modes and media of contemporary communication［M］.London:Arnold，2001.

［4］ROYCE T.Multimodality in the TESOL classroom:Exploring visual-verbal synergy［J］.Tesol Quarterly，2002 (2):191－205.

［5］李战子.多模式话语的社会符号学分析［J］.外语研究，2003(5):1－8.

［6］胡壮麟.社会符号学研究中的多模态化［J］.语言教学与研究，2007(1):1－10.

［7］朱永生.多模态话语分析的理论基础与研究方法［J］.外语学刊，2007(5):82－86.

［8］张德禄.多模态话语理论与媒体技术在外语教学中的应用［J］.外语教学，2009(4):15－20.

［9］王红阳.多模态广告语篇的互动意义的构建［J］.四川外语学院学报，2007(6):31－34.

［10］李美霞，宋二春.从多模态语篇分析角度解读意义共建［J］.外语教学，2010(2):6－10.

［11］张旭红.视觉诗Me up at does 多模态意义的构建［J］.外语学刊，2010(1):85－90.

［12］张德禄，袁艳艳.动态多模态话语的模态协同研究［J］.山东外语教学，2011(5):9－16.

［13］张德禄，王璐.多模态话语模态的协同及在外语教学中的体现［J］.外语学刊，2010(2):97－102.

［14］王惠萍.英语阅读教学中多模态识读能力的培养［J］.外语界，2010(5):20－25.

［15］张征.多模态PPT 演示教学与学生学习绩效的相关性研究［J］.中国外语，2010(3):54－58.

［16］李战子，陆丹云.多模态符号学:理论基础，研究途径与发展前景［J］.外语研究，2012 (2):1－8.

［17］张德禄.多模态外语教学的设计与模态调用初探［J］.中国外语，2010(3):48－53.

［18］LEEUWEN T V.Towards a semiotics of typography［J］.Information Design Journal，2006(2).

［19］NUTALL C.Teaching reading skills in a foreign language［M］.Shanghai:Shanghai Foreign Language Education Press，2002:51－53.

［20］胡壮麟.闲话“整合”［J］.中国外语，2008(5):19－23.

［21］曾方本.多模态符号整合后语篇意义的嬗变与调控［J］.外语教学，2009(6):28－31.