认知心理学框架下多模态英语电影教学探索性研究

李天颐

（广州医学科大学基础学院英语教研室，广东广州510182）

一、研究背景

电影的出现使得语言模态——文本不再是获取信息的唯一手段，话语世界日益呈现多样化。同时国际电影业的飞速发展让中国英语学习者有了更多接触到英文电影的机会。电影中不仅包含语言模态——文本，而且包含非语言模态如图片、音乐、视频等能表意义、传递信息的丰富符号资源。一些学者已证明看电影能产生附带词汇习得。Krashen（2000）指出，“以多感官的方式频繁地接触目标语让词汇习得变得更加有效。”在Vanderplank（1988）的研究中，带字幕的电影能向二语习得者提供地道、真实的一手语言资源，从而提高他们的语言能力。二语习得者喜欢通过看电影来学习目标语，因为在英语作为第二语言的环境中，电影是一种非常有价值的二语输入材料（Chapelle 1998）。从跨文化交际的角度看，语言和文化密不可分，非语言交际在交际领域中的作用设置大于言语交际。Saussure(2001)认为，“语言是由能够传达意义的符号组成的，我们可以通过符号研究语言。但是，动态语境主要是通过图像符号与声响符号来传递信息的，这种非言语性语境同样具有很强的语用功能，任务的面部表情、动作、服饰、室内的摆设、室外的景物、光线的变化、语音语调的变化等都是可以传情达意的。”从语境的角度看，电影能通过创设真实生动的情景进行语境化教学；从认知心理学的角度看，电影图、文、声、情并茂，能全面刺激学生的多个感官系统，增强记忆，激发学生的学习热情，提高学习效率。学生既能通过字幕习得语言文字，又可通过电影图像习得非语言交际（non-verbal communication），是语言教学与非语言教学的结合典范。

二、模态与电影的多模态特征

模态在文本里指人类通过感官（如视觉、听觉等）跟外部环境（如人、机器、物件、动物等）之间的互动方式。用单个的感官进行互动叫单模态，用两个的叫双模态，三个或以上的叫多模态，正常人之间的互动都是多模态的（顾曰国2007）。朱永生（2007）指出，“五种感知通道（视觉通道、听觉通道、触觉通道、嗅觉通道、味觉通道）的获得分别导致以下五种交际模态的产生：视觉模态（visual modality）、听觉模态（auditive modality）、触觉模态（tactile modality）、嗅觉模态（olfactory modality）和味觉模态（gustatory modality）。 ”“多模态文本”则指装载多模态活动的、经过数字化后计算机可以处理的含音频的视频流。一个多模态文本就是一段关于某项多模态活动的含音频的视频流（袁传有2012）。

人类对事物的感知历来是多模态的，电影蕴含的动态语境，它的多模态性符合人类的认知习惯。在观影过程中，观影者启用了视觉和听觉双模态，然后通过音频流、视频流和字幕与电影的多模态内容互动。符号资源是人们在生产和阐释图像和其他信息时用来创造意义的认知资源。交际和再现意义经常需要多种符号编码，即多模式，如图像、手势、身体语言等，语言只是众多交际模式中的一种，多模态语篇指的是除了文本，还带有图像、图表等的复合话语，或者说任何由一种以上符号编码实现意义的文本。电影就是一种利用多种符号资源构建意义、传递信息的多模态语篇（徐畔2012）。

三、认知心理学基本理论

认知心理学是关于人们如何获得、储存、转换、运用信息的过程，这个过程涉及人们心理生活的各个方面：感知、注意、记忆、思维、推理、决策和问题解决认知心理学以信息加工的范式探讨人的认知机能方面的问题，如那些信息加工方法与程序能取得更大效率；联结主义涉及构成人的认知基础的“硬件”，即运用心理模型描述整个认知加工过程是如何在人脑中执行的，它们试图解释人的认知系统或机能如何在现实环境中运行运作并受到周围环境的影响（梁宁建2009）。

1.双重编码理论。大脑中存在两个功能独立却又相互联系的认知系统，即言语系统和非言语系统。言语刺激经过感知系统，以字符为基本单位表征、编码储存在言语系统中；非言语刺激经过感知系统，以图像为基本单位表征、储存在非言语系统中。言语系统和非言语系统内部分别存在一种连接，使系统内部形成关联结构。非言语系统中，一副图像同样也会引发其他相关图像加入编码。言语表征和非言语表征之间还相互连接，形成一个复杂的关联网络，即参照连接（referential connections）。双重编码理论强调了非言语信息加工的同等重要性，有力地支持了多媒体学习有关“人们从词语和画面中学习比仅仅从词语中学习更为深入”的重要假设（Mayer 2005）。

2.图尔文（E.Tulving）总结了已有的有关记忆的研究，对情节记忆（episodic memory）和语义记忆（semantic memory）作了区分。这种区分现已为大多数心理学家所接受。情节记忆是指个体记忆以往经历过的某些特定事件方面的信息，主要用以储存人生中印象比较深刻的事情。情节记忆中的信息是在现象学层次上的，是用一种视觉映像或其他映像形式存储起来的，因而是一种事件知识存储。语义记忆则是保持从经验中抽象出来的，或是从自己经验中所获得的信息的概括，是一种概念存储（梁宁建2009）。以上关于多模态和认知领域的研究成果为本研究提供了坚实的理论依据和可行的方法指导，如下讨论优化教学模式的构建及应用。

四、实证研究

1.研究对象及分组

研究对象为广州医学院2011级大学一年级第一学期的临床系新生，共3个班96人，每班32人。实验中各班英文水平一致，理由：1）大一入学按考生英语高考成绩分班，以高分至低分排序，分别依次编入各自然班，故各班学生英语基础接近。2)开学首次英语课，即对各班进行摸底考试（采用2009年CET4真题），结果各班之间成绩比较无统计学差异（用SPSS15.0统计软件做单因素方差分析，P>0.05）。本研究以自然班进行分组，具体如下：

表1 各班教学采用的不同字幕电影类型

2.观看材料：

选定的三部英文电影：《结婚大作战》，《大学之路》，《飞屋环游记》。理由：Krashen(1981)认为最佳语言输入有以下几个特点：1）语言习得者必须对传递的语言信息感兴趣，从词汇习得的角度出发，这种兴趣能产生去理解信息中未知单词的愿望。认知心理学家指出，要提高学生的注意力，必须让学生在所学的科目和内容上产生一定的兴趣。2）信息中必须有一些语言习得者未能掌握的词汇。大量的研究结果表明，一个人对中等复杂程度的刺激信息或相关事务最具兴趣，也最能保持注意。如果刺激信息对个体的智力和知识经验过于简单，没有新的信息成分，就会引起学习者的厌烦情绪。如果刺激信息过于复杂，个体受自身智力或知识经验的限制，不能从中发现任何新信息，也不会长时间保持对这些信息的注意。因此，只有一个人面临的刺激信息的难度稍微超过他的能力或知识经验，但又不会超过太多时，才能引起他的最大兴趣和注意，从而有利于提高学习和记忆效率。3）所传递的语言信息必须是可理解的。

在其它班级进行的观影预实验结果显示：学生认为这三部电影内容风趣诙谐且贴近生活，电影大意能够理解但部分词句的具体含义不甚清楚。

3.测试工具

词汇水平测试（Vocabulary level test；VLT）

接受性词汇测试，测试题后经Laufer（1998）的修改成型，已被证明有很高的信度和效度(Nation1990)。

两套测试题均由2千、3千、学术词汇、5千和1万共5个词频等级测试组成，每一级词频测试有30题，每题 1 分，共 30 分。 词汇水平计算为：Vocabulary size=a/30×2000+b/30×1000+c/30×2000+e/30×5000。 （a、b、c、d、e分别为2千、3千、5千和1万词频级测试得）(Laufer1998)。

4.实验步骤和统计学处理

本实验从第一周开始至十八周结束，3个班均由同一位英语老师教学，每次英语课 （两节连堂共80分钟）除传统教学时间外均安排20分钟左右的英文电影放映，按实验分组的不同采用不同教学方法。所有同学均用同一VLT测试题进行了两次测试，一次在实验开始前（前测），另一次在实验结束时（后测），每部电影连续播放两次。根据前、后测成绩的变化比较来探讨不同教学方法的优劣。所有数据使用SPSS15.0统计软件，分析前对所有计量资料进行正态性检验，均服从正态分布，数据以均数±标准差表示，三种教学模式下学生词汇量提高程度的比较用重复测量方差分析法，如有差异要进一步两两比较用LSD-t检验，以P﹤0.05认为差异有统计学意义。5.结果与讨论

表2 学生在不同教学模式下词汇量水平的比较（均数±标准差）

学生的后测成绩均较前测成绩提高（F=539.317，P<0.001），三种教学模式对学生词汇量提高幅度之间的差异有统计学意义（F=15.175，P<0.001），其中“传统教学法+观影”要优于“传统教学法”（P=0.01），“传统教学法+观影+附加任务”又优于“传统教学法+观影”（P=0.035）。

“传统教学法+观影”要优于“传统教学法”可解释如下：记忆研究一致认为，心理映像是把信息引入记忆的基本途径之一。日益增加的研究表明，图片记忆比文字记忆容易。视觉映像与文字意义和联想到文字的数量之间存在着高度相关。图画比句子更容易用来进行信息编码。动态语境与静态语境（我们把所有的文字语篇，包括电影里的字幕都纳入静态语境范畴）往往是同时作用于人的认知的，然而两者具有互补性，只有把它们结合起来，才能正确地把握语境的语义。根据Sweller&Chandler(1990)的分离-注意理论(split-attention theory)和Baddeley的工作记忆模型（working memory model）,视觉工作记忆区域、听觉工作记忆区域是相对独立的，所以在语言习得过程中，不同类型的符号指向同一学习内容时，可以充分调动人们的视听两个感知通道的注意力。同时，理想的效果应是：在视觉工作区加工所形成的视觉意象与在听觉工作区加工所形成的相关的听觉意象互相一致，也就是我们常说的，看到的与听到的一样，如此才能引起声画信息（即视听信息）叠加联想，加大感知深度，产生“1+1>2的教学效果(Baddeley 1992)。这是外语影视教学的目的，也是传统教学与英文电影优化组合的出发点。

对于“传统教学法+观影+附加任务”优于“传统教学法+观影”这个结果，我们可以将之解释为对信息的不同加工程度不同而造成的，也就是说对词汇的拼写、意义等知识的注意程度不同造成的，而深层的编码会产生更好的学习与记忆效果。按照Schmidt(1990)解释，有无任务使单词的凸显性不一样，从而使学习效果不一样。

六、结语

单一的文本模式很难满足当前多媒体日益发展的趋势，人的信息获得离不开经验的情境，并且受到情境中各种特征的影响。以语言符号为主、非语言符号为辅的原则，它们同时作用于学习者的认知活动中（曾方本2010）。电影的信息传播过程主要依靠画面，即以非语言符号为主，电影的目的在于提供一种有效的语言教学或语言学习工具。归根到底，外语多媒体所蕴含的动态文本才是学习者的习得内容，其信息载体主要体现在语言符号中，而不是音乐、图像等非语言符号中。因此，必须建立以语言符号为主、非语言符号为辅的外语多媒体符号表征体系，非语言符号虽然能引起学习者的兴趣，但过多使用非语言符号会使英文电影的融入成为一种单纯的娱乐，从而分散学习者的注意力。

电影教学要使学习者能够真正成为学习任务的参与者。围绕着交际目的而产生的互动才是有价值的，交际任务越具体越好。这意味着，任务必须注重使学习者在使用语言的过程中将注意力放到交际目标上，而不是仅仅去解决语言形式上的问题。学习者需要机会输出目的语，应积极参与二语活动，尽量多地获取交流机会，电影教育应有利于语言交际能力的培养，电影内容的选择要重视语境的构建，并且要体现以语言信息为中心，要注意发挥包括字幕、声音、图像在内的符号作用，重视学习者的语言认知规律，运用多模态观察、分析、表述各类语篇信息，并在课堂呈现和交流，支持学习者完成二语学习任务和交际目标。

总之，以研究多模态英语电影教学的命题，涵盖的研究因素较多，本实验仅对此做了有益的初步探讨，实验模式已在我校实际教学工作中推广试行，至今效果良好。

Baddeley,T.(1992).Computer-assisted language learning:An introduciton[A].In S.Fotos(ed.)Multimedia Language Teaching[M].Logos International.

Chapelle,C.(1998).A multimedia CALL:Lesson to be learned from research on instructed SLA[J].Language Learning&Technology，2(1).

Krashen,S.D.(2000).What does it take to acquire language?[J].ElSMagazine，3(3).

Krashen,S.D.(1981).Second Language Acquisition and Second Language Learning[M].New York:Prentice-Hall.

Laufer,B.(1998).The development of passive and active vocabulary in a second language：Same or different?[J].Applied Linguistics，19(2).

Mayer，R.E.(2005).Cognition Theory of Multimedia Learning [A].In R.E.Mayer (ed.).The Cambridge Handbook of Multimedia Learning[M].New York:Cambridge University Press.

Nation,I.S.P.(1990).Teaching and Learning Vocabulary[M].New York:Newbury House.

Saussure(2001).Course in General Linguistics[M].Beijing:Foreign Language Teaching and Reasearch Press.

Schmidt,R.W.(1990).The role of consciousness in second language learning[J].Applied Linguistics(2).

Sweller&Chandler(1990).An Introduction to Cognitive Linguistics[M].London:Longman.

Vanderplank,R.(1988).The value of teletext sub-titles in language learning[J].ELT Journal,42(4).

顾曰国 （2007）.多媒体、多模态学习剖析[J].外语电化教学(4)。

梁宁建 （2009）.应用认知心理学[M].上海：上海教育出版社。

徐畔 （2012）.多模态视角下的高校英美文学专业课构建——基于电影的多模态特征及在英美文学教学中的应用[J].黑龙江高教研究(1)。

袁传有 （2012）.“多模态信息认知教—学模式”初探[J].山东外语教学 (4)。

曾方本 （2010）.现代语言学理论与外语多媒体教学[M].广州：暨南大学出版社。

朱永生(2007).多模态话语分析的理论基础与研究方法[J].外语学刊(5)。