外语学习中的多模态耦合

刘 靖

(青岛科技大学 外国语学院，山东 青岛 266061)

1．引言

信息在现实世界中是以各种各样的模态存在的，而语言的学习是一种信息输入——加工——提取——输出的过程。随着科学技术的发展，多模态信息加工逐渐成为学界的研究热点。信息时代，多模态语言信息输入主要通过两大渠道:外语课堂的社会化学习、基于网络等电子媒介的自主学习。本文拟从理论上对外语学习过程中各种模态的耦合进行分析，以期提高外语学习绩效。

2．认知学习理论

认知心理学理论认为，学习是学习者建构知识和理解的过程，是构建意义的行为，掌握知识的途径是通过与其他人的交互作用实现的。“构建意义”是指学习者在与外部环境互动时，构建自己所理解的意义。学习行为分三个过程:(1)外部环境互动，获取信息。信息获取方式包括:视觉、听觉、触摸、嗅觉、味觉、空感和身体效仿。(2)大脑处理外部环境互动获取的信息，构建意义。构建意义时，大脑通过视、听、触、嗅和味五个模态(感官)处理与外部互动信息。(3)学习效果的外部行为表现，获取实践能力。实践能力包括听、说、读、写、译、体态等能力。(顾曰国，2007)

国外一些认知学习理论，诸如双重编码理论(Paivio，1986)、生成学习理论(Wittroc，1990)、认知负荷理论(Sweller，1994)、多媒体学习理论(Mayer，2001)和协同互动理论(Atkinson，2007)，不仅使人们更加深刻地理解学习过程，而且为语言学习过程(输入和输出)中各种模态的选择提供了有力的理论支撑。

Paivio区分信息的言语编码和视觉编码，同时使用视觉和语言形式呈现信息可以增强信息的回忆与识别，强调空间能力的重要性。Wittroc认为:学习者生成对所知觉事物的意义，总是涉及到学习者原有的思维品质和认知结构;学习就是人脑从环境中接受感觉信息，通过主动地选择和注意来建构信息的意义。Sweller认知负荷理论的一个主要假设是人的工作记忆只有有限的能量。在学习时，当信息加工所需资源超过其可用的认知资源，学习者就会认知超载、阻碍学习的顺利进行，因此应该减少这些外部负荷，使学习者能将更多的可用能量用于实际的学习。Mayer＆Moreno整合了认知学习相关理论，倾向于以听觉形式呈现词汇，主张合理分配认知资源以降低认知负荷。多媒体信息认知加工通过视觉心理模型、言语心理模型和其原有知识间的指示性联系整合信息;其中有言语加工渠道和视觉加工渠道;蕴含基本加工、偶然加工和表征保存等基本认知需求。Atkinson et al认为协同是人类心智和身体与外部世界互动、协调并动态适应身边环境的复杂过程，协同不仅发生在人与人之间，而且还发生在人与物理环境、社会情境、工具等互动参与变量之间。协同是第二语言能被习得的关键，学习就是学习者与社会认知环境不断协同的过程，并将这种学习体验融入自己的学习模式、策略等知识应用结构当中(王初明，2010)。

3．外语学习过程中的多模态耦合

模态指人类通过感官如视觉、听觉等跟外部环境如人、机器、物件、动物等之间的互动方式。多模态话语指运用听觉、视觉、触觉等多种感觉，通过语言、图像、声音、动作等多种手段和符号资源进行交际的现象(张德禄，2009)。耦合最初是物理学的一个概念，后经学者们扩展，是指两个或两个以上的系统或运动方式之间通过各种相互作用而彼此影响以至联合起来的现象。在本文中，耦合是指多模态超文本语篇在构建和解读过程中各模态之间的良性互动，相互依赖、相互协调、相互促进的动态关联关系。信息时代，无论是外语课堂的社会化学习，还是基于网络等媒介的个人自主学习，学习者所面对的都是一种多模态的超文本语篇，因此，在多模态语篇的构建和解读过程中实现各种模态的有效性耦合，其实就是在认知学习理论的指导下，多模态语篇的设计者和学习者动态关联、和谐互动的过程。

3．1 课堂学习过程中的模态耦合分析

外语课堂的多模态信息传递有三个理论基础:首先，物质的媒体经过社会长时间的塑造，成为意义产生的资源，可表达不同社团所要求的意义，这就成了模态。所有模态具有表达意义的潜势。非社团成员不能全部懂得这些意义，因为模态和意义具有社会的和文化的特殊性。其次，作为言语的语言模态和作为书面语的语言模态以及其他模态往往是交织在一起的，在信息传递语境下它们同时存在同时操作。这种互动本身就产生意义。使用者经常对表达和信息传递的模态加以改变，以适应社会的信息传递需要，这样，已有的模态被改造，新模态被创造(Kress，2001;胡壮麟，2007)。信息时代，外语课堂的模态主要有教师、黑板(白板)、电脑、幕布、扬声器、灯光等。学习者的学习过程就是与这些模态组成的超文本语篇进行耦合互动，构建意义，从而达到学习目的。在这一过程中，教师是超文本语篇的主要设计者和呈现者。

发展现代多媒体技术的一个最基本的理念是多模态输入可以使学习者通过多通道获得信息，比单模态话语更容易使学习者理解和记忆，因此，用视觉和听觉双重感官模式呈现学习材料，可以减轻工作记忆负担。教师可以通过视觉和听觉双重通道为学习者提供文字、音频、图像、视频等多种模态，同时刺激学习者的感官，使学习者同时利用工作记忆中的两个处理器来处理信息，避免一个处理器闲置而另一个负荷过重。比如:在呈现“The motorcycle is stuck in the mud”时，PPT呈现文字的同时，文字旁边显示摩托车陷在稀泥里的图片，配以马达轰鸣的声音，教师结合手势和腔调等读出句子，文字中的“is stuck in”也可以用不同字体和颜色使其突显，以引起学习者的注意，这样，通过多模态互动使学习者对“be stuck in”的掌握就比较形象、牢固。

但多模态的组合需要把握一个“度”，过多模态出现或者不适当的模态搭配可能会使学习者认知超载，阻碍学习的顺利进行。比如:在呈现“At half time，the Italian team seemed to have the upper hand”时，如果配以一段世界杯比赛的简短视频，虽然可以引起学习者的兴趣，但由于视频比学习者需要掌握的学习材料更容易引起注意，使学习者对首要加工信息(have the upper hand)的关注反而减少，从而影响学习效果。在多模态组合运用时，一般有一个主模态，其他的则对其传递的信息进行强化、补充。比如，在解释“derby hat，baggy pants”等认知信息时，口语对文字主模态的解释比较抽象，而一幅卓别林形象的图片呈现会使信息认知变得轻松简单。

不可否认，生动形象、恰到好处、信息量大的图像在很大程度上促进了学习者的信息加工。图像和文本通常存在下列四种关系:一是图文各自为一个独立的意义实体，彼此没有关联;二是图像和文本的意义相互补充，彼此增强对方的意义;三是以文本意义为主、图像对文本的意义起辅助作用;四是以图像意义为主，文本对图像意义起辅助作用(Martinec＆Salway，2005)。一般来说，在呈现学习材料时，第一种图文关系是应该避免的，这样的图文并茂表面上似乎赏心悦目，实际上往往会分散学习者的注意力，不利于他们对认知信息的加工。

此外，PPT单位页面呈现的信息量要适中，尤其是采用文字为主模态时，文字的大小、颜色、页面文字量的多少，都会给学习者的认知心理带来影响，从而影响认知效果。问题和答案最好在同一页面由教师根据学习者的认知情况，把握时机即时呈现，页面的转换则可以通过师生互动的方式给学习者留有足够的深度加工时间，减少认知负荷。

3．2 自主学习过程中的模态耦合分析

在外语课堂以外的个性化、主动式自主学习中，学习者所面对的除了传统的文本学习材料外，还有电脑网络、学习机、手机、数码播放器、PDA等提供的超文本语篇。这些超文本语篇是多模态共同构成的意义统一体。这些模态主要包括语言文字(种类、字体、颜色等)、非语言符号(表情符号、标识等)、图片、视频、音频等，它们作为意义的载体，执行着信息传递的功能。在超文本语篇中，“多种模态往往交织出现，体现了一个相互依赖、相互补充的关系，在信息传递过程中他们可以被同时操作和释解”(胡壮麟，2007)。

首先，在超文本语篇创建过程中，创作者需要根据具体交际目标，选择和分配合适的语篇内容和呈现风格，对超文本进行合理设计和编排，最终实现交际意图。创造者要选择适当的语体并根据其语体特点和框架结构选择匹配的词汇、句式结构、修辞手段及字体、颜色、图片、动画、视频、音频等模态，依据认知学习理论和学习者不同的认知水平，对各种模态进行优化组合后添加入文本，并对形成的超文本语篇进行检查、评估和编辑，最后进入网络等学习终端。

其次，由于学习者面对的超文本语篇具有开放性和动态性，学习者在对语篇进行解读的过程中，一方面，学习者自己动手操控，自己把握学习时间和学习进度，真正实现交互式的自主学习。同时，触觉的运用能加强学习的真实感，有效地提高了学习兴趣。另一方面，学习者也不断地参与对超文本语篇中各种模态组合的评论、修正甚至重新设计，使文本得以重构，形成互动性很强的“建构式超文本”。不仅能够让学习者自主地、动态地在大量的信息中检索浏览，获取信息，融入学习者原有的认知结构，实现由信息到知识的转化，更能让学习者与创作者进行实时互动，自由地发表自己的见解，创造出新的文本。这样超文本得以延续和拓展，文本不再是一个封闭的单元，只要有网络存在，这种互动就没有终结(王艳萍，2009)。以网络语言学习平台为例，设计者采用WEB技术和数据库技术整合语言学习软件、多模态视听说资源和阅读资源等，建成资源库，学习者可以根据自身情况，有目的地自主选择学习资源，多模态学习资源呈现的超文本语篇可以提供真实的场景和地道的语言，使学习者参与到虚拟的环境中，进行人机互动和语言交际活动。同时，由于知识不仅是在个体与环境的相互作用中建构的，个体之间社会化的相互作用同样重要，甚至更加重要，因为具有不同的智慧水平、知识结构、思维方式、认知风格的学习者可以互补，协作的集体学习，也有利于学习者自尊、自重情感的产生。因此在平台上还建立一个互动空间，学习者与学习者之间可以通过这个空间交流学习经验，讨论学习中出现的问题，而教师也可以通过这个空间了解学生的学习情况及存在的问题。同时，教师对多模态学习资源使用和管理不仅可以优化提高教师个人的信息素养和信息技能，而且通过对多模态学习资源进行使用加工，又形成新的学习资源。在人机互动的过程中，超文本语篇的设计者和使用者同时作为信息的发送者和接受者，互相刺激并作出反应，促进了多模态学习资源的利用和再生。

作为自主学习的一个重要组成部分，外语学习游戏中的多模态耦合日渐引起研究者的注意。荷兰学者胡伊青加认为人是游戏者，人天生就需要游戏也会游戏，游戏的冲动不仅表现于儿童时期，而且贯穿于人的一生。游戏是人类的最基本的存在方式，是人类各种文化的“母体”。外语的学习本身也是一种游戏，学习者在学习中游戏、在游戏中学习并享受其中的乐趣。设计合理的外语学习游戏在情景创设、兴趣激发、寓教于乐、交互协作等方面的作用不可低估。这些游戏集文本、图形、图像、声音、动画和视频等多模态于一体，呈现的是多维感官共同作用的立体信息，这些多模态信息符号在遵循语言学习规律、视觉审美规律的基础上，融入学习内容的同时体现趣味性，激发学习者的视觉享受和思维驱动，在轻松快乐的状态下通过对语言的理解、运用、内化、迁移，达到学习效果。

4．结语

信息技术的发展使外语学习的方式日益多元化。无论是基于课堂的讲授型社会化学习，还是基于网络等电子媒介的自主学习，各种学习模态的耦合都将是学习绩效提高的关键因素。随着多模态话语研究的深入和信息技术的不断完善，外语学习“费时低效”状况的改变将指日可待。

［1］Atkinson，D．，T．Nishino，E．Churchill＆ H．Okada．A-lignment and Interaction in a Socio-cognitive Approach to Second Language Acquisition［J］．The Modern Language Journal，2007，91(2):169 －188．

［2］Baddeley，A．Is Working Memory Still Working［J］．American Psychologist，2001，56(11):851 －864．

［3］Paivio，A．Mental Representations:A Dual Coding Approach［M］．Oxford:OUP，1986:33．

［4］Martinec，R．A System for Image Text Relations in New(and old)Media［J］．Visual Communication，2005，3(4):337－ 371．

［5］Wittrock M C．Generative Process of Comprehension［J］．Educational Psychologist，1990，24(4):345 －376．

［6］Sweller J．Cognitive Load Theory，Learning Difficulty and Instructional Design［J］．Learning and Instruction，1994(4):295－312．

［7］Mayer，R．E．Multimedia Learning［M］．New York:Cambridge University Press，2001:183 －186．

［8］胡壮麟．社会符号学研究中的多模态化［J］．语言教学与研究，2007(1):3．

［9］顾曰国．多媒体、多模态学习剖析［J］．外语电化教学，2007(4):3－12．

［10］王艳萍．超文本语篇与认知图式的耦合分析［J］．湖南社会科学，2009(4):152－155．

［11］王初明．互动协同与外语教学［J］．外语教学与研究，2010(4):297－299．

［12］张德禄．多模态话语分析综合理论框架探索［J］．中国外语，2009(1):24－30．

［13］李向民．大学英语多媒体资源管理系统的开发及应用研究［J］．广西师范大学学报(哲学社会科学版)，2010(4):146－149．

［14］胡伊青加．人:游戏者——对文化中游戏因素的研究［M］．成穷，译．贵阳:贵州人民出版社，1998:270，9 －10．