试析多模态语料库在外语教学中的应用

牛原 徐日宣

【摘要】多模态语料库始建于20世纪90年代，是一种以计算机为辅助工具应用于语言学习的新型语料库。不同于传统的纯文本语料库，多模态语料库收集的语料集合了文字、视频、音频、图像等，可多维度展示语言的全貌。本文通过对多模态语料库发展历程以及特点的梳理分析，探讨多模态语料库在外语教学中针对词汇、视听、口语、口译以及文化教学方面的具體应用。

【关键词】语料库;多模态语料库;外语教学

【作者简介】牛原（1995-），女，汉族，河南宝丰人，大连外国语大学，在读研究生，研究方向：外语教学法;（通讯作者）徐日宣（1976-），男，汉族，辽宁人，大连外国语大学，副教授，博士研究生，研究方向：外语教学法、跨文化交际、区域与国别研究。

【基金项目】辽宁省2015年度社科基金项目“基于法国CLAPI多模态语料库的法语学习者跨文化交际能力培养研究”（编号：L15BYY020）的阶段性研究成果。

一、引言

在外语教学中，语料库作为先进的语言教学与研究工具，促进了教学多方面的发展。然而现存的语料库多以纯文本语料为主，其单模态的数据不符合如今“多媒体”大背景下语言教学与外语综合能力培养的需求。多模态语料库在传统文本语料库的基础上，保留了与语言文本紧密相关的声调、手势、生理数据以及社会背景等方面的各种信息。因此如黄立鹤所言，它可以为外语教学提供丰富的例证、视角和方法，促进教师的教学效果，反映学生学习中语言使用的多个维度，具有很大的研究价值。

二、多模态语料库的定义以及发展现状

国外自20世纪90年代以来在多模态语料库的建设和应用领域取得了重要进展，已成功建设多个具有影响力的多模态语料库项目，涵盖了包括汉语在内的众多语种，语料选取范围广泛，研究目的主要集中于研发智能机器人以及对于特定疾病医疗诊断等方面。相较之下，国内的多模态语料库建设仍处于步阶段，其中以顾曰国建立的现场即席话语多模态语料库为代表，此外还有刘芹、潘鸣威建立的理工科大学生英语口语多模态语料库以及刘剑、胡开宝建立的多模态口译语料库。

多模态语料库虽历经近30年的发展，但目前尚未出现学界一致认可的定义。Foster认为，多模态语料库是“经过标注的不同交际渠道协同的数据集合，包括话语、目光、手势、身体姿势等，而且通常是基于直接记录的人类行为”。在国内，张霄军最早对多模态语料库给出具体定义，他认为：“多模态语料库是建立在‘言语理论基础之上的，以言语活动为研究对象，以从原始数据中抽取信息和知识为手段，以语境模型为驱动的囊括整个言语活动的语言、声音、图像和动作的多媒体语料库。”顾曰国从用户处理语料以及检索语料的方式入手，强调多模态，如听觉、触觉、视觉、发声等，认为多模态语料库是指“把文字语料、音频语料和静、动态图像语料进行集成处理，用户可以通过多模态方式进行检索、统计等操作的语料库”。

综合这些定义，可以知道多模态语料库具有真实性、直观性、全面性等特点。它借助计算机技术，将人类真实的言语行为活动通过文字、音视频、图像等方式进行集成处理，并且根据实际应用需求，将与文本紧密关联的非语言要素，包括目光、手势、表情、姿态、情感及社会背景信息等进行有针对性的标注，从而使用户可以通过文字、音频、图像输入等多模态方式对语料进行加工、检索和统计等操作。

三、多模态语料库在外语教学中的应用

语料库与教学的结合由来已久。早在20世纪70年代，国外以Leech和Renouf为代表的语言学家和教育家就开始尝试将语料库作为一种辅助性工具应用于教学研究。随着多模态语料库的出现，再加上21世纪初由系统功能语言学家Anthony Baldry牵头研发的多模态语料库标注系统（MCA），以及2008年由欧洲多国共同建成的多模态教学语料库，将多模态语料库应用于外语教学的理论探讨和实证研究逐渐兴起。纯文本语料库虽然规模宏大，题材广泛，但因其只收录文字信息，因此教学价值基本局限在书面的词汇或阅读、写作教学之中。而多模态语料库在多元语境中反映语言在语音、语义和语用等方面的全貌，可为外语课堂教学多个方面注入新活力。

1. 词汇教学。词汇教学是语言教学的重要组成部分，在传统语料库提供词汇文本检索结果的基础之上，多模态语料库还可以提供与词汇相应的以音视频呈现的现实场景。教师既可以引导学生对比词汇或词组在不同语境中的实际用法，增强对词义、句法和语用的理解;又可以打破纸质教科书单一线性教学的枯燥，通过对丰富的交际场景的展示，激发学生的学习兴趣。教师可以要求学生自主总结归纳词汇知识，将其按场景主题分块，帮助实现联想记忆，在扩充词汇量的同时提高话题表达能力。如在进行逻辑连接词的教学时，文本型语料库虽能快速提取相关词汇，但却是词汇的简单堆积，可能导致学生对词汇理解偏差，出现误用、滥用关联词等现象。多模态语料库可以将连接词展示在鲜活的交际场景中。学生将语言文本信息与说话者的神态、语调、肢体活动等非语言信息相结合，全面了解每个逻辑连接词的意义以及在语篇中的应用特点，然后通过教师的引导归纳掌握它们在各种语境下产生的联结作用和范围，有效避免对逻辑连接词的误用，提高语言应用表达能力和写作能力。

2. 视听教学。听在日常交际中占有重要的地位，“听力教学的质量也直接影响语言知识的接受、语言基本技能的训练及实际交流的水平”。视听教学是对单一听力教学的拓展，通过让学生身处尽可能真实的交际场景中，提高学生的听读能力。多模态语料库的出现极大方便了视听教学的展开，用户可以对语料的主题、领域、语料呈现形式、语言活动类型、非语言活动类型等进行检索。丰富的信息储存符合视听课堂上教学资源真实、直观并且交际性强的特点，既方便了教师对课程的设计和思考，又能帮助学生尽快进入教学场景。例如教师可以以话题为牵引，选择语速、词汇难度等合适的语料，在听之前先向学生展示其中一种模态信息，如图片或者静音播放动态视频，引导学生对听力内容的预判和对语篇的整体把握，从而有效减少听力障碍。此外，学生在课下也可以自行检索相关交际主题，通过多模态语料库对语料多方面地标注信息，实现自主训练和自主学习。

3. 口语教学。根据Tepper的观点，口语交际包括言语交际和非言语交际两部分，话语意义中的大部分是由非语言因素体现的。传统的口语教学多将重点放在学生言语交际能力的培养上，忽视了非言语交际的作用。现存的口语语料库，如英国国家语料库（BNC）中的口语子库以及文秋芳、梁茂成领导建立的“中国学生英语口语语料库”等，也只是记載口语语料的文本来供学习者分析语言错误。多模态语料库的出现，使口语教学将言语与非言语因素充分结合成为可能。如刘芹、潘鸣威建立的理工科大学生英语口语多模态语料库，除了文字标注，还有非言语方面的内容，包括声调、目光交流、手势、表情等。教师在教学时，可以利用多模态语料库检索相关口语话题，一方面利用口语文本和音视频的辅助，帮助学生锻炼口语表达能力;另一方面通过语料中各方面的标注信息，引导学生发现总结语言规律，提高学生在真实语境下的口语交际能力。

4. 口译教学。多模态语料库语料真实、直观全面的特点，对口译教学也有很大的应用价值。刘剑、胡开宝基于对口译教学的理论研究，已初步建立多模态口译语料库。首先，得益于多模态语料库中对语料的切分以及对各种元信息的详细标注，教师可以有针对性地根据不同口译类别、专业领域和场景进行筛选检索。其次，教师可以分类提取具体语料中的翻译现象，如卡顿、语音拖长、话语重叠、漏译错译等，让学生分析原因，并尝试提出解决方案。另外，还可以通过语音分析功能，引导学生进行大量口译练习，把握翻译节奏等。例如在进行口译过程中翻译难点的突破训练时，针对新词的翻译，教师可以检索语料中的“新词”标签，将带有新词的口译场景全部提取出来，带领学生进行专项训练。学生课下也可以有目的性地自行训练。

5. 文化教学。语言是文化的载体，每种语言的产生都离不开特定的文化背景。多模态语料库保留了大量文本所依附的现实场景，鲜活直观，检索方式多样化。教师可充分利用多种模态信息为学生提供包含声音、文字和图像的交互式语言环境，帮助学生在学习语言的过程中既能通过与母语文化的对比掌握外国的具体文化知识，又能在这种多模态模式下提高对文化的敏感度。除了专门设立文化学习课程之外，文化的教学更多的是渗透在语言教学的方方面面。比如说在进行词汇、视听、口语以及口译教学时，多模态语料库所呈现的母语使用者在多个交际场景的言语以及非言语表现，包括问好、致歉、请求、命令或者节日习俗等方面，都能帮助学生更好地理解对方国家或民族的思维方式以及文化内涵，从而在潜移默化中掌握各种文化知识，提高学生的跨文化交际能力。

四、结语

多模态语料库既符合一般语料库的整体规律，又具有自身的显著特征;既可以为学习者提供大量真实、鲜活、全面的语言学习资源。又能满足学习者借助语料信息实现自我探索、自我学习的需求，对于转变外语教学思想，探索新型外语课堂教学模式具有重大意义。

随着世界范围内计算机技术的飞速发展以及各领域学者的刻苦钻研，相信多模态语料库的数量和规模会日渐扩大完善。我们要充分利用多模态语料库的优势，积极探索其在外语教学中的应用价值，加大对多模态语料库应用于外语教学的理论探讨和实证研究，推动外语教学实现更长远的发展。

参考文献：

[1]朱乐红.语料库对语言研究及外语教学的作用[J].外语与外语教学，2000（03）.

[2]黄立鹤.语料库4.0：多模态语料库建设及其应用[J].解放军外国语学院学报，2015，38（03）.

[3]Martin J，et al. Introduction to the Special issue on Multimodal Corpora for Modeling Human Multimodal Behavior [J]. Language Resources and Evaluation， 2008（42）.

[4]刘剑.国外多模态语料库建设及相关研究述评[J].外语教学，2017，38（04）.

[5]顾曰国.论言思情貌整一原则与鲜活话语研究——多模态语料库语言学方法[J].当代修辞学，2013（06）.

[6]刘芹，潘鸣威.理工科大学生英语口语多模态语料库构建研究[J].现代教育技术，2010，20（04）.

[7]刘剑，胡开宝.多模态口译语料库的建设与应用研究[J].中国外语，2015，12（05）.

[8]Foster M E，Oberlander J.Corpus-based Generation of Head and Eyebrow Motion for an Embodied Conversational Agent [J].Language Resources and Evaluation， 2007，41（3-4）.

[9]张霄军.多模态语料库：抢救濒危语言的有效途径[C].中国中文信息学会民族语言文字信息专委会.民族语言文字信息技术研究——第十一届全国民族语言文字信息学术研讨会论文集.中国中文信息学会民族语言文字信息专委会：中国中文信息学会，2007.

[10]顾曰国.论言思情貌整一原则与鲜活话语研究——多模态语料库语言学方法[J].当代修辞学，2013（06）.

[11]何安平.语料库与外语教学[J].国外外语教学，2001（03）.

[12]黄璌.英语视听教学中语篇分析的应用[J].太原城市职业技术学院学报，2010（09）.

[13]Tepper A.Speech Communication Theory&Practice[M]. Kendall Hunt Publishing Company， 1978.

[14]文秋芳，梁茂成等.中国学生英语口笔语语料库（1.0版）[M].北京：外语教学与研究出版社，2005.

[15]文秋芳，梁茂成，晏小琴.中国学生英语口笔语语料库（2.0版）[M].外语教学与研究出版社，2008.