基于多模态化教学的学生多元识读能力实证研究

张 燕

(青岛理工大学 人文与外国语学院,青岛 266000)

一、多模态理论及其在教学中的应用

多模态PPT演示教学与传统PPT演示教学有所不同。传统PPT演示教学的主要目的是通过采用丰富多彩的PPT课件来吸引学生注意力,从而实现教学目标;而多模态PPT演示教学是以多模态理论为指导,在教学过程中将文字、图像、动画、音频、构图、颜色、印刷版式等各种模态以及手势语、身势语、空间移位、面部表情等其他模态进行有效整合,实现视觉 、听觉和触觉等多感官相互协作的多模态化教学模式,其最终目的是提高学生的多元识读能力。多模态化教学的理论基础是多模态话语分析理论(Multimodal discourse analysis),该理论是20世纪90年代在信息技术的不断更新、多元文化相互影响的背景下,在西方兴起的一种新的话语分析理论。Van Leeuwen[1]认为,多模态是指在一个交流成品或交流活动中不同符号模态的组合。Baldry & Thibauht[2]认为多模态指具有不同特点的符号资源被共同调配,在一个特定的文本中共同构建意义的各种方式。因此,多模态理论关注的是在意义构建和表达过程中各种模态符号如何协同搭配来实现话语交际目的,达到意义传递的最佳效果。

多模态话语分析理论除了被广泛应用于文学艺术、影视传媒等艺术领域外,还被应用于语言教学领域。1996年,新伦敦小组(New London Group)提出多元读写能力(Multi-literacy)这一概念,开辟了多模态应用于语言教学的先河,使多模态化教学逐渐成为近二十年来教学领域中的研究热点。国外方面,Stein[3]探讨了ESL课堂上多模态教学法。Royce[4]研究了TESOL课堂上图像和文本的协同,并分析了不同符号在多模态话语中的互补性。Unsworth[5]则提出模态互补(complentarity of modalities)这一概念,指出模态的补充说明可以帮助语意义的表达更加完整、更易理解。国内方面,虽然起步较晚,但也取得了一定的研究成果。胡壮麟[6]介绍了计算机符号学以及它的媒体和模态的双重特性,并提出了多元识读能力的概念以及对其能力培养的重要性。顾曰国[7]探讨了基于计算机多媒体材料的多模态学习,分析了多模态与教育技术的关系。韦琴红[8]出版了国内第一本专著《视觉环境下的多模态化与多模态话语研究》,她将理论探讨与外语教学实践有机结合起来,将抽象的思维与形象的实例相结合来探讨视觉多模态这一现象。张德禄和李玉香[9]分析了外语课堂教学中口语模态和PPT模态的相互配合、各模态之间的协同以及多模态语法的建构和运用等。张征[10]探讨了多模态PPT演示教学对学生学习态度和学习成绩的影响。然而,与国外相比,国内在多模态教学领域的研究仍存在许多不足。一是部分研究仅从理论层面对多模态教学模式的构建进行探讨和分析,缺乏实证数据的支持。二是部分研究虽然是实证性研究,但研究目的和方法单一,重复性研究较多。这些研究或仅采用定量方法,通过水平测试、问卷调查等对多模态教学效果以及学生对这一教学模式的看法进行探讨;或仅采用定性方法,对学生制作的多模态PPT课件进行分析。将两者有机结合起来,通过具体的教学实践对多模态化教学在大学英语教学中的优化运用以及对我国大学生多元识读能力特点进行分析的这类综合性研究非常少。因此,本研究以多模态理论为指导,采用定性和定量相结合的实证方法,通过英语水平测试、学生多模态PPT课件分析这两个方面来探讨多模态化教学在外语教学中的有效性应用,从而促进教学理念的更新,提高学生的多元文化信息读取能力,为多模态化教学提供理论和实践支持。

二、研究方法

(一)研究问题及假设

本研究的目的有两个:一是结合具体的教学实践来探讨学生多模态PPT演示教学是否比教师为主的传统PPT演示教学更能激发学习兴趣,提高英语学习成绩;二是从语类类型、语类结构、模态符号三方面对学生制作的多模态PPT课件进行分析,从而全面了解学生多元识读能力的优势和不足。本次研究验证的假设如下:与教师为主的传统PPT演示教学相比,学生多模态PPT演示教学模式更能激发学习兴趣,显著提高英语学习成绩。

(二)研究对象

本次教学实验的受试对象是从山东省某高校2015年入学的本科生中选取的。教学实验前,先对该年级所有班进行前测。根据前测成绩从中选取差异最不显著的2个平行班,其中控制组66人,实验组68人。人数的选取符合“样本容量n≥30,计算出的积差相关系数才具备有效的意义”的条件,保证了教学实验数据的有效性。本次教学实验不考虑学生的年龄、性别、专业等因素的差异。

(三)研究工具

本研究采用定性和定量相结合的方法。定量研究使用到的工具是实验组和对照组前后测成绩和测试试卷。试卷都是从题库中随机抽取的,其信度、效度、难度和区分度都是通过检验的,可以成为学生学业水平检验的标准。利用SPSS20.0对成绩进行统计录入、描述性分析和独立样本T检验,从而验证假设。定性研究使用到的工具是学生多模态PPT课件,通过对课件的分析来了解他们的多元识读能力特点。

(四)教学实验过程

本次教学实验自2016年3月至2016年7月第二学期进行,共16周,学习教材为前8个单元共16篇文章,实验组和控制组每周都是2学时的精读课,采用不同的教学模式。控制组是以教师讲解为主、课件展示为辅的传统教学模式,辅以小组讨论、课堂问答等活动来实施教学;实验组是以学生为主的多模态PPT演示教学。学期初先将实验组学生分成16组,每组大约4至5人,然后抽签确定每组负责的文章,并要求各组根据文章主题制作一个PPT课件,课件中须用到各种符号,包括声音、图像、视频、版面设计、字体选择等,同时鼓励各小组在教学中尽量多使用面部表情、肢体语言等。此外,外语数字化教学实践中心以及外语云网络综合教学平台会对实验组每周开放2个小时,便于小组合作。学习每一篇文章前,教师会对全班学生安排预习作业。上课时,负责的小组会根据分工,结合制作的多模态课件,通过口语、PPT展示、肢体语言等多种模态符号并结合听觉、视觉、触觉等多种感觉,带领全班学习本篇文章。同时,也会在课堂上组织分组讨论、角色扮演、课堂游戏等来提高教学效果。整个教学时间限定在第一小节课50分钟内完成。第2小节上课时教师会先对学生课件进行点评,然后就布置的预习作业以及文中的疑难疑点继续进行教学活动。16周的教学实验结束后,会对控制组和实验组进行后测。同时,统一收集学生多模态PPT课件,共收集有效课件16份。

三、教学实验结果

试卷批改采取盲审的方式。成绩呈正态分布且标准差在正常范围之内,这保证了测试结果的信度和效度。利用SPSS20.0对前后测成绩进行独立样本T检验,实验结果如表1所示。

表1 实验组、控制组前后测的成绩统计结果Tab.1 Test results of the experimental group

结果显示,控制组和实验组在前测成绩上无显著性差异(T值=-0.216,P值=0.829>0.05),说明两组学习成绩相当。但两组在后测成绩上存在显著性差异(T值= 2.285,P值=0.024<0.05),且实验组平均成绩(M=76.28)高于控制组平均成绩(M=73.53),实验组的离散程度(SD=6.43)低于控制组(SD=7.47)。这说明实验组比控制组的英语整体水平要高,实验组学生之间的水平差异比控制组低。这就验证了之前的假设。

四、分析与讨论

(一)多模态化教学与大学生英语学习成绩的相关性

成绩分析显示,经过一个学期的教学实验,多模态化教学是有成效的。它能够充分调动学生的各种感官并提高课堂学习的参与度,帮助学生增强知识记忆,提高课堂学习效率,同时也能提高他们自主学习的意识和能力。这证明学生多模态化教学模式在大学英语课堂上具有一定的可行性和有效性,对于提高我国大学生英语水平具有较强的实用意义。

(二)大学生多元识读能力特点

胡壮麟教授[6]认为传统读写为主的识读能力在当今时代已不够用,要加强对学生多元识读能力的培养。因此,有效提高大学生多元识读意识和能力是高校教学的重要内容之一,也是多模态化教学的最终目的。PPT演示文稿是集图像、图表、音频和视频于一体的多种模态,是具有多模态性的讲解展示方式[12]。因此,本研究在多模态理论框架下对学生多模态PPT课件进行分析,从而真实客观地了解学生多元识读能力特点。该理论框架以系统功能语言学为基础,由文化层面、语境层面、意义层面、形式层面和媒体层面五个层面构成。通过分析,可以看出学生多元识读能力在语类类型、语类结构、模态符号这三个方面存在以下几个特点。

一是从语类类型来看,PPT语类基本可分为提示性、直观性、分析性和劝诱性这四种。在16份课件共528张PPT中,使用率从大到小排依次为直观性、提示性、分析性、劝诱性(见表2)。

表2 学生多模态PPT课件的语类类型分析Tab.2 Analysis of the generic type of students’

直观性PPT是学生最擅长的。这类课件多采用图像文字相结合的方式,把主题直接呈现出来。从多模态理论形式层面的图觉来看,该类课件中提供类图像(即没有目光接触,主要提供信息)比索取类图像(即呈现的参与者会通过矢量直接注视观看者,会有目光接触)的使用率要高,高饱和度色彩的视觉图像占主要,使整个多模态PPT课件呈现出高感官的情态,信息性较强,能够激发学习者求知的欲望。比如讲《美国文化的五大象征》,学生选取了五大象征的图片,并在图片中添加了有关尺寸、形状、象征意义等信息,直观形象化的展示让学习者对课文内容理解更透彻。但部分学生在制作课件时,选取的图片虽有趣但与主题无关,容易脱离教学目标。比如同样这篇文章,学生本意是想讨论中国文化的象征。介绍了我国当前流行的一种文化“鬼畜视频”,并播放了成龙洗发水广告duang恶搞版。虽然课堂气氛活跃,但该文化并不是中国文化的典型代表,不符合主题,容易偏离教学目标。提示性PPT的使用率排名第二。学生在该类课件中常采用“点句”模态,结合多样的字样(typeface)、色彩对比、文字切入效果等其他模态,引导学习者将思路一步步打开,促进他们的思维由单一变为多向,从而达到思考问题全面、记忆加深的目的。但部分学生会将搜索到的信息直接复制粘贴,使得信息缺少主次。从多模态理论形式层面的关系来看,这说明学生对各个模态的语法之间的关系,即互补性中强化(突出、主次、扩充)和非强化(交叉、联合、协调)两个方面的认识不够到位,在运用精加工策略和组织策略对信息进行处理的能力还有些欠缺。分析性PPT多用在涉及福利制度、电信科技的文章中,即通过图表对某一事物的现象和原因进行分析。在该类课件中学生能将所学内容与当今热点相结合,利用数据进行对比分析,激发学习者批判性思维。但在讨论解决方案时学生多从正面角度提出,缺乏反面考虑问题的能力。例如在讲到有关福利的文章时,学生提出大学应提供更多福利,对食堂饭菜价格的定位提出了质疑,并提出解决方案。但他们只从正面思考,提出学校应降低饭菜价格从而提供更多福利;没有从反面思考,即如果学校不能降低饭菜价格,应怎样做。这反映出部分学生缺乏反向思维,不能从全局角度去分析和解决问题。劝诱性PPT是学生使用最少的,但内容也是最多样化的,主要涉及到人生感悟、道德伦理等。学生会通过添加视频、音频等模态来实现劝诱意图。这些模态都是与时俱进的,说明学生在课外知识方面涉猎广泛。但学生有时运用的视听模态和主题不搭,背景模板、字样设计选择比较随意,导致前景和背景关系不突出、模态搭配突兀、重点不明确等问题的出现。比如在Gracefulhand(《优雅的手》)这篇文章中,作者通过对手的刻画来描绘出一位孱弱之至的老夫人孤独优雅地安静离世的画面,基调是悲伤的。但学生选择的视频短片则是一位芭蕾演员跳舞时优雅的手姿,与主题明显不符。

二是从语类结构来看,收集的课件中篇幅最短是22张PPT,而篇幅最长的是58张PPT,平均篇幅为33张。而且教学进度越往前推进,学生对幻灯片张数总量的把握越合理。所有课件中,大部分课件都包括课文题目(title)、热身活动(warming-up activities)、课文讲解(text study)、生词解析(language application)、总结(summary)这五步。生词解析会在课文讲解前或讲解中进行,这说明学生在组织多模态课件结构时能做到条理清晰、环环相扣。在热身活动这一环节,学生能运用多元识读能力,将课本知识延伸到课外,与当今热点话题相结合,适宜地引出文章主题。比如在讲LegalandMoralImplicationsofCloning(《克隆在法律与道德上的影响》)这篇文章时,学生先通过一部有关克隆的热门美剧Orphanblack(《黑色孤儿》)来引出克隆技术好处和坏处的话题,掀起了课堂讨论的高潮,进而引出文章主题,激发大家阅读文章的欲望。然而,部分课件的开头缺少教学目标(objectives),而总结(sum-mary)部分也仅对文章进行总结,缺少批判性思考(critical thinking),从而使课件缺少完整性和深入性,不利于学习者发散思维的培养(见表3)。从多模态理论语境层面的语境构型来看,这两个环节的缺失反映出部分学生对课堂上话语基调(tenor of discourse)的认识不到位。话语基调体现谈话双方的角色关系即他们之间永久性和暂时性的关系,它影响着谈话双方谈话的语气、态度和感觉[13]。这说明学生在多模态化教学过程中没有扮演好“老师”这一角色,他们只是完整展示课件内容,没有起到传道授业、解惑启迪的作用。

表3 学生多模态PPT课件的语类结构分析Tab.3 Analysis of the generic structure of students’

三是从模态符号的选择和搭配上来看,多模态PPT语篇中涉及到的模态主要有视觉模态和听觉模态这两种。视觉模态主要是语言和图像,而听觉模态则主要是声响和音乐。在模态选择上,视觉模态比听觉模态的使用率要高。在模态搭配上,文字+图像模态组合比纯文字模态的使用率要高。而且无论哪种模态搭配,都是以文字为主,其他符号为辅。这说明学生在使用多种模态协同搭配时能化繁为简、化抽象为具体,以最直观生动的方式传递语篇意义。在模态选择或搭配方面,学生对印刷版式(typography)这一模态的选择较少或搭配不和谐,这也印证了韦琴红教授之前的研究结果[14]。说明部分学生的思维仍停留在传统的读写识读上。Kress和Van Leeuwen[15]曾指出,印刷版式等符号都是模态符号,都有自己的意义潜势,在意义构建和传递过程中起着重要作用。因此,如何改变学生传统思路,提高他们多元识读意识,鼓励他们多尝试使用非常规的模态符号,这是多模态化教学的重要内容之一。在文字编辑方面,学生会对文字添加进入或退出、强调、其他动作路径等效果来达到最佳展示方式。在图像选取方面,学生选取的图像多为高清。从多模态角度来看,这些图像中色彩的饱和度、色彩区分度、色彩调、深度、照明及亮度等都得到很好的展现,视觉情态度较高,能够吸引学习者的注意力。在音乐选取方面,学生多选择一些无歌词的背景音乐,并且音量调节得当,不会喧宾夺主。从多模态理论意义层面的话语意义来看,这类音乐仅体现人际意义,没有概念和谋篇意义,能为主题的展现起到很好的烘托作用。结果还显示学生使用到的视听说模态材料有35%左右属于原创,其中包括数据表图、对话音频、配音秀、视频短片等,这类模态符号组合是最有效的组合模式,最能发挥学生的多元识读能力。学生在制作此类模态时使用的软件也多样,如audio Editor Deluxe,imovie,moviemaker,adobe premiere,会声会影等。这说明学生在利用现代科技获取知识并对之进行加工处理方面表现突出。这些多维度的模态符号对语言符号的外延意义(denotation)和内蕴意义(connotation)的呈现力较强。

四是从学生的英语水平和多元识读能力的相关性来看,两者呈正相关。英语水平越高的学生,其多元识读能力也越强。从多模态理论的媒体层面上来看,他们既会使用到语言媒体,特别是现代技术媒体,对各种模态符号进行合理搭配、重点突出、剪切得当等,从而使课件具有很强的吸引力、娱乐性和启发性,激发学习者求知的内在动机;也会使用到非语言媒体,即结合手势语、身势语、空间移位、面部表情等,实现课堂话语的多模态化。他们讲解课文时思路清晰,内容让人信服,问的问题具有启发和鼓舞作用,课堂教学效果非常好。相反,英语水平越低的学生,其多元识读能力也越低,课件中图像明显多于文字,而文字部分大多是照搬,不进行加工编辑,成为一种信息的灌输;选择的音频、视频时间过长,且偏离主题;教学时,他们也只是盯着屏幕,机械地翻页,表情僵硬,没有眼神交流,组织的小组活动也较少,整个教学过程会使在座学生容易疲倦走神,教学效果不理想。

五、小结

(一)学生多模态化教学模式的可行性

本文以某高校2015级本科生为研究对象,实施两种不同教学方式,经过一个学期的教学实验,验证了“与教师为主的传统PPT演示教学相比,学生多模态PPT演示教学模式更能激发学习兴趣,显著提高英语学习成绩”的假设。实验结果显示,实验组的课堂气氛比控制组明显活跃,问答的频率也比控制组明显高。这证明学生多模态化教学模式在大学英语课堂上具有一定的有效性和可行性。合理运用该模式有助于提高大学英语教学效果并增强学生的多元识读能力,激发他们课外阅读英文原版材料的动力。同时,该教学模式也能提高学生自主学习意识和能力,促进小组合作。特别是课上老师对课件的点评能让学生重新反思和审视自己的作品,让他们对主题的多模态呈现有更深层次的认识。在课后聊天中,学生也反映这种新式教学方式,给他们更大的发挥空间。

(二)应注意的地方及解决对策

实验结果同时表明,学生多元识读能力在多模态化教学过程中存在优势和不足。不足之处主要体现在运用精加工策略和组织策略对文字进行加工处理的能力欠缺、PPT语类选择不均匀、模态符号搭配不和谐等。因此,教师应以培养学生多元识读能力为主,对学生的多模态语篇组织、模态协同搭配、小组分工等进行有效指导,鼓励学生根据专业特点合理分工、互补互利,鼓励他们加强对印刷版式等非常规的模态符号的使用,帮助他们实现多模态的相互交织、协同配合。同时,教师应指导学生正确使用网络资源,让学生能充分发挥传播媒介和互联网技术的优势,实现多维立体化教学。此外,师生都应熟练掌握Power-Point的基本操作和高级应用,补充学习音频、视频处理软件的高级使用。

本次教学实验为一个学期,时间较短,也没有把被试者的性别、专业、课外英语学习等因素考虑在内。收集的课件不够全面,难以说明整个年级学生的多元识读能力,因此还存在一定的局限性和片面性,有待于在以后的研究中完善和补充。