国外多模态语言教学研究现状与趋势分析——基于CiteSpace可视化研究*

山西师范大学 史 俊 中国人民大学 王建华

1. 引言

近年来，随着网络信息和人工智能技术的飞速发展，各种媒体形式层出不穷，在外语教学中运用多模态手段逐渐成为一种大趋势(张德禄、丁肇芬，2013)，培养学生多模态交际能力和多元读写能力不容忽视。国外有关多模态的研究早在1996年，就有Kress & van Leeuwen提出了“多模态话语(multimodal discourse)”这个概念。New London Group(1996)也于同年提出了“A pedagogy of multiliteracies(多元读写教学方法)”的概念。国内有关多模态的研究近年来势头强劲，并出现了一定数量的多模态研究综述，其中有对于国内多模态话语研究的综述(潘艳艳、李战子，2017)，也有对于国外多模态研究热点与趋势(康佳萍、姜占好，2020)的综述。其中，以多模态话语研究的综述较多，但也不乏出现有关多模态隐喻(陈风华、胡冬梅，2018)和多模态认知批评分析(潘艳艳，2020)等方面的综述研究。然而多模态语言教学的相关研究较少，且大多是国内英语教学中的各项基本技能与多模态理论的结合(王惠萍，2010；王娟、杨跃，2014)，缺乏对多模态语言教学整体的综述。

多模态语言教学是在当前数字技术快速发展的大背景下，基于多模态理论而提出的一种全新教学模式。教师通过对语言材料编辑处理、借助多媒体资源传达语言信息，学生则通过视觉、听觉、触觉等感官进行互动，创造出一种多模态交替或并举的教学情境(刘菲，2014)。学习语言最地道的方式是通过沉浸式模拟场景进行语境练习。多模态理论的发展恰恰为语言的教与学提供了更丰富、更真实的多感官语境资源。它是时代发展的必然产物，也是新形势下高校进行外语教学改革、培养具有多文化、多媒体、和多模态交际能力的国际化人才目标实现的必然途径。因此，在用多模态理论研究语言教学具体问题之前，有必要对这一领域的发展脉络做系统了解，而目前对多模态语言教学整体的综述较少，且分析的文献数量少，研究工具也仅限于Excel(耿敬北等，2014)。因此，本文基于可视化分析软件CiteSpace，以发表在SSCI和A&HCI的论文为研究对象，对多模态语言教学研究的发文量、高产期刊、共被引文献和关键词聚类进行分析，探究近二十五年来国外该领域的整体脉络与发展态势，提取核心文献和关键词，明晰研究领域，展望未来研究趋势，从而为国内多模态外语教学的相关研究及实践提出一些参考和借鉴。

2. 研究设计

1) 研究问题

本研究拟回答以下问题： (1) 国外多模态语言教学研究的整体脉络与发展态势是什么？(2) 国外多模态语言教学研究的核心领域是什么？(3) 对我国外语教学研究及实践有何启示？

2) 研究工具

本研究采用的Citespace是美国Drexel University陈超美教授基于JAVA语言开发的一款文献计量可视化分析软件。该软件专门用来解答有关知识领域(Knowledge domain)结构和研究动态的问题，如关键词研究、文献共被引和重大转折研究领域等等(Chen, 2016)。与传统文献综述相比，运用Citespace作文献计量分析有以下优势： 第一，可以对某学科的文献作量化统计，发现其存在的客观规律，摒弃了传统综述中的主观性和局限性；第二，通过量化分析关键词、期刊等信息，可以快速把握该领域研究的热点内容和前沿文献；最后，数据结果以可视化方式呈现，更加生动直观。目前外语界学者利用该软件做了相关研究，有语料库语言学(刘霞等，2014)、二语写作研究动态分析(徐锦芬、聂睿，2015)、语用学(李民、陈新仁，2018)、生态文学(王佩玉、王建华，2018)、影视翻译(王建华等，2019)等。鉴于此，Citespace应用在与外语相关领域的优势可见一斑。

本文采用Excel和CiteSpace(5.7.R1, 64-bit)两种工具对国外多模态语言教学研究的文献进行统计分析。Excel用来绘制该领域文献数量随年份变化的态势图和高产期刊的柱状图。CiteSpace用来绘制文献共被引图谱和关键词聚类图谱。

3) 研究方法及数据来源

本研究的操作步骤大致包括： (1) 数据采集与处理(数据筛选、导出、格式转换和存储)；(2) 参数功能选择(共被引文献、关键词)；(3) 可视化运行；(4) 调节标签，绘制图谱；(5) 解读图谱。本节阐述第一步，其余步骤详见后。

数据采集及处理方面，研究选取的国外期刊数据来源于美国科学情报研究所的多学科学术文献索引数据库Web of Science(以下简称WoS)核心合集官网。以 “multimodal” “AND” “language teaching”为主题检索词，在SSCI与A&HCI子库中进行搜索。时间跨度选择“所有年份”，当前WoS数据库时间为1975年至今。选取文献量排名前三的“类别”为 “linguistics” “language linguistics”和 “education educational research”，“文献类型”为 “article” 进行数据精炼，数据检索于2020年7月30日，共析出文献187篇。选择“全记录与引用的参考文献”，文件格式为“纯文本”，导出文献。按照CiteSpace要求，将文件命名为： download_1-187。

3. 研究结果与分析

1) 年度发文趋势

本文首先统计近二十五年来国外187篇多模态语言教学相关文献的年度发文量。结果如图1显示，国外多模态语言教学的文献肇始于1995年，总体上呈现波动性增长趋势，大致可分为以下三个阶段： 缓慢发展期(1995—2007)，稳步增长期(2008—2012)，和曲折发展期(2013—2020)。从1995年第一篇刊文发出到第二篇，期间8年一度出现发文量空白，说明当时多模态语言教学作为新兴研究领域，还未引起国际学者的关注，直到2003—2007年期间才逐步恢复发刊。第二阶段的发展说明多模态语言教学研究开始引起学界的关注，年度发文量为个位数。第三阶段发文量于2013年以后增长势头尤为明显，篇数突破10篇，整体趋势呈波动增长，2019年达到峰值35篇。波动说明多模态语言教学研究逐渐趋于理性，整体的增长趋势反映了近二十五年来多模态语言教学研究的积极发展态势，说明相关研究在国际学界愈发广受关注。

图1. 国外年度发文量(1995—2020)

2) 高产期刊信息

图2. 排名前十的国外高产期刊

用Excel做出排名前十的高产期刊柱状图(图2)，可以清楚地看到发文最多的是Recall期刊,共发表12篇，占全部187篇文献总量的6.417%。该期刊由英国剑桥大学出版社主办，在语言学领域的JCR(Journal Citation Reports 期刊引证报告)分区为Q1。排名第二的是System, 发文11篇，占比5.882%，是由英国Elsevier集团创办，在语言学领域的JCR分区为Q1。并列第三的是TESOL Quarterly(语言学领域JCR分区Q1)和English Teaching Practice and Critique(英国Emerald集团创办，语言学领域JCR分区Q3)。表1列出了多模态语言教学领域研究成果所刊发的国外核心期刊信息。我们发现，在排名前十的高产期刊中，有7个都在语言学领域JCR分区为Q1，且5年的影响因子(impact factor, 下表以IF代替)都较高。说明国外多模态语言教学研究的发文多为语言学核心期刊，隶属于语言学领域。还有2个在教育研究领域，说明与教育学也有一定融合。

表1. 国外高产期刊信息

3) 研究的核心文献及作者

CiteSpace中，“中心值”(centrality)作为节点在图谱中连接作用大小的度量，中心值大的节点文献往往被认为是在该领域发展过程中的核心文献(Chen, 2006)。我们在“node types”选项中选择 “cited references”, “term type” 选择 “burst terms” 绘制文献共被引知识图谱(见图3)。

图3. 文献共被引知识图谱

如图3所示，共被引图谱中，若两篇文献被同一篇文献所引用，这两篇文献(或两个作者)之间就存在共被引关系，这种关系就体现在节点与节点之间的连线。文献出现的先后顺序由颜色来表示，最早时间分区呈冷色调蓝色，逐渐过渡到绿色、黄色、橙色，直到最近的时间分区里呈现暖色调红色。(Chen, 2016)。为了更全面具体的了解国外多模态语言教学研究的核心文献，我们将被引文献中心值≥0.1的10个文献详细信息列入下表中，其中文献类别涵盖了著作、论文集和论文，这些文献即为国外多模态语言教学领域的核心文献。

表2. 中心值≥0.1的文献及作者

在这10篇文献中，Kress的独著或合著有3个，其中独著：(Kress, 2010)是中心值最高的文献，可见其在多模态语言教学领域的重要性和学界较高的认可度，是该领域学者重点关注的文献。该文献中Kress呈现了一个当代独特的，可以广泛适用的交际模式，提供了一个必要的统一理论框架，试图在这一框架下把所有的意义构建模态组合在一起。他曾是伦敦大学符号学和教育学教授，在批评语言学、批评话语分析和社会符号学领域开创了先河，在多模态研究领域影响也颇大。张德禄等(2015)指出Kress & van Leeuwen于1996年出版的：是多模态话语分析理论蓬勃发展的标志性成果。此外，中心值≥0.01的还有他的另外一部独著(Kress, 2003)和与Jewitt的合著(Jewitt & Kress, 2003)，关注的重心均在多元读写能力上，把读和写从传统的纸张移到了屏幕上，交际的媒介也从书本变成了屏幕。

其次，O’Halloran有3篇论文中心值位于前列，2011年的独作和O’Halloran(2015)分别位于第四和第八，与Tan和Wignell合作的文章位于第七。O’Halloran目前就职于英国利物浦大学，是近年来世界公认的多模态领域的领先学者，自20世纪90年代以来一直从事多模态话语分析的相关研究。她早期的研究将数学语言、符号、图像的多种模态综合应用于数学课堂教学，从而映射到科学英语的学习(O’Halloran, 2015)。在此后，研究方向逐渐扩展到多模态语言教学方面，着重开发新的数字工具和技术以用于多模态分析。如运用系统和元语言理论为学生提供分析多模态文本的概念性工具，通过对新加坡一所中学的印刷广告和电影海报进行注释分析，有效支持了视觉文本教学(Lim-Fei, et al., 2015)；她在2016年与Tan和Wignell合作的研究中，描述了3D网络虚拟合成世界Second Life中的语言学习经历及对语言教与学的有效帮助，并对多模态研究提出了一种数字方法，以此来应对CALL(computer assisted language learning)中的各项挑战。此外，她作为跨学科小组的研究主任也已有10年以上的经验，进行了大量跨学科的研究。

位于第二位的Baldry & Thibault合著了：(2006). Forceville(2007)对其进行评价时认为，此著作基于Halliday的符号学，与Kress & van Leeuwen在2006年重新再版的：有着密切的联系，均认为语篇的意义不完全是由语言本身体现的，而是由多种非语言模态来体现，它们共同构成多模态话语，来实现社会交际的目的。

位于第三位的是2014年Halliday与Matthiessen的合著。彭宣维(2009)认为此著作是Halliday语言学思想的集中体现，系统功能语言学是整个语言学研究传统的“集大成者”。这部经久不衰的功能语法著作，中心值为0.16，被视为重点文献，揭示了多模态语言教学研究与系统功能语法之间的紧密联系。

位于第五位的Jewitt早在1997年就与Kress一起在伦敦大学从事“多模态科学课堂”的项目，与Kress合著有(Jewitt & Kress，2003)。在2008年的论文中还讨论了在课堂教学和教学材料中的多模态都有哪些特征，教师和学生如何通过课堂互动来激活这些模态。

位于第九位的Berglund(2009)讨论了学生在远程语言教学过程中，除了言语互动，如何运用其他模态与教师实现互动，构建语言学习的生态性。

综上，这些高被引文献可以归纳为以下两个层面： 一是有关多模态话语分析的研究，主要基于系统功能语言学和社会符号学的理论基础；二是有关语言教学领域的研究，关注教学策略、课堂教学、在线教学、教师发展、二语习得等话题。可见，多模态语言教学从早期的多模态话语分析演变而来，结合了语言学和教育学的相关理论，在“新多媒体时代”背景下得到迅速发展。

4) 核心研究领域

CiteSpace可以通过自动抽取施引文献的关键词或名词短语产生聚类(Cluster)标识，用以研究聚焦点，每一个聚类可以被认为是一个联系相对紧密的独立研究领域(Chen, 2006： 359-377)。我们采用聚类分析方法，绘制多模态语言教学研究核心领域知识图谱。具体操作步骤为： 将CiteSpace设置“时间”为1995年1月—2020年7月，以1年为一个时间分区(slice)，“Term Type”中选择“Noun Phrases”，“Node Types”中选择“Keyword”，其他参数不变，选择寻径(Pathfinder)算法，由软件自动抽取聚类。将相同或类似聚类进行统一归并，设置聚类最大显示值为9，得出图4。其中聚类值Modularity Q为0.7913，(Q>0.3)，聚类平均轮廓值Mean Silhouette值为0.6356(S>0.5)，说明“聚类高效、可信度高，且聚类划分出来的社团结构是显著的。”(陈悦等, 2015)，结果具有参考价值。

图4. 多模态语言教学国际期刊关键词聚类知识图谱

表3汇总了近二十五年来国际多模态语言教学研究最主要的聚类。由此看出，国际多模态语言教学研究的核心领域包括： 二语习得策略研究(#1)、语言教学理论及方法研究(#3)、多模态意义构建(#0)、多模态读写能力研究(#4)。

表3. 多模态语言教学国际期刊研究的关键词主要聚类(5)表格中按聚类大小顺序从大到小排列

(1) 二语习得策略的研究。国外多模态语言教学界早期关注的主题是二语习得策略的使用情况，包括多模态二语输入策略和多模态二语输出策略研究。在输入策略方面，多模态因素对于儿童二语词汇习得记忆方面具有积极的促进作用。Tellier(2008)对20名法国儿童随机分组，进行不同模态对于第二语言(英语)词汇记忆的效果实证研究。实验结果表明，相比文字单模态和图文结合双模态，手势作为一种动作模态，会更有效地促进词汇长时记忆。同样是词汇习得方面，Wigham(2017)则探讨了在词汇解释序列中如何使用不同的符号资源，进一步阐释了逐渐兴起的“词汇教学”和多模态交际策略。在阅读方面，复杂科技学术文本中的抽象概念和意义可以使用图像和其他多模态资源，即通过多模态中的再符号化过程使其变得简单易懂(Almudena et al, 2020)。而对于输出策略方面，多模态因素主要体现在写作方面。多模态写作是应时代发展而出现的新型数字媒体表现形式。它融合了文字、图像、声音等其他模态的表达形式，易于在线分享，作者与读者之间也可以互动，由此产生了语言交际的新体裁和新语境，语言教学的范围也得以扩展到多模态集合的产出(Hafner, 2014)。Hafner & Ho(2020)随后又探讨了数字多模态写作项目(Digital Multimodal Composing project)的评测标准，涵盖的写作体裁较之以前丰富了许多，有网页(website)、博客(blog)、维基网站(wikis)、播客(podcast)、视频游戏(video game)、海报(poster)、宣传手册(brochure)、图像化摘要(visual abstract)等。在评测标准上，多模态写作也与传统文本写作的评测量规有所不同，分为组织和内容、多媒体和视觉效果、语言三个权重相同的维度。语言的评测标准则仍与以往的流利性、准确性和恰当性保持一致。以上多为实证研究，为国内二语习得策略方面的研究开拓了思路，很大程度上推进了多模态因素在二语习得方面的融合。

(2) 语言教学理论及方法研究。将多模态因素用于语言教学理论及方法研究是近些年来二语界研究的持续热点之一。不仅有任务教学法(Satar & Wigham, 2017)、CALL(Tan et al, 2016)、CLIL等教学理论的研究，还有运用多模态语料库(Bonsignori, 2018)、虚拟在线平台(Wigham & Chanier, 2013；Wigham & Chanier, 2015; Wigham, 2017)、游戏教学(Hung et al, 2018)和构建合作学习社区(Vasudevan, et al., 2010；Li, 2020)等教学方法的研究。在科学课堂上以手势、图像等多种模态因素作为符号资源被教师和学生使用，把语言学习与各种科学知识的学习融合在一起的教学方法践行了CLIL这一语言教学理论，促进了语言学习的高效进行，加深了对于知识内容本身的理解。(O’Halloran, 2015; Wigham & Chanier, 2015; Almudena et al., 2020)。随着现代科技的发展，科技成果大量用于课堂教学，各种各样的技术手段，如CD-ROM, 计算机，桌面视频会议、虚拟空间平台、人工智能等，给语言学习带来了飞速发展的契机，打开了一扇完全不同于传统学习的大门。从一定程度上提升了学生的学习兴趣，也培养了学生利用高新科技协同解决问题的能力(Lim-Fei et al, 2015)。未来语言教学多媒体化、多模态化的趋势将继续升温。

(3) 多模态意义构建的研究。对于语言教学中多模态意义构建的研究一直是学界关注的热点话题。此研究领域大多从符号学角度出发，考察不同符号资源在教学互动中的作用，探讨如何将不同符号模态组合起来构建意义，尤以讨论非语言符号为主(Guichon & Wigham 2015; Bonsignori, 2018)。Jones & Hafner(2012)提出模态可以在以下三方面实现交互： 并存性(concurrence)，即不同的模态表达相同的意义；互补性(complementarity)，即一个模态支持另一个模态填补意义的空缺；差异性(divergence)，即不同模态呈现出的意义不尽相同。从而可以使师生双方意识到不同模态的存在及其构建意义时的不同作用，也可以进一步理解多模态符号的表意功能。这些不但体现在传统的面对面授课中，更体现在当今各种虚拟的线上教学平台中(Berglund, 2009; Wigham & Chanier, 2013; 2015; Guichon & Wigham, 2015; Satar & Wigham, 2017)。

(4) 多模态读写能力的研究。有关多模态读写能力的研究是最早将多模态应用于语言教学的产物，也是一直以来学界关注的热点。在数字媒体高速发展的背景下，语言学习者被各种媒体包围着，这些媒体传播信息的方式，不单有语言，还有视频中的眼神、手势、图片、各种音乐等多种模态表达形式。这些模态能够达到综合使用，正是得益于数字媒介，诸如网络和个人电脑的兴起。由此“设计学习”被国外许多研究者提出，它是“通过设计学习”(learning by design)的简称，与“通过记忆学习”“通过训练学习”“通过实践学习”“通过完成任务学习”等概念相比较、相对应。设计学习概念也是New London Group(1996)提出来的，已成为新时代多元读写能力培养的主要理论依据(Kress & van Leeuwen, 2001; Jewitt & Kress, 2003; Kress, 2003)。设计学习是多模态语言教学和多元读写能力培养相融合的时代产物，是现代科技的发展给人类交际带来新变化的结果。多模态教学中，教师和学生都可能成为“设计者”，但更重要的是学生作为设计者。学生通过设计而学，设计的过程就是学习的过程。这也符合当下语言教学模式由以往的“以教师为中心”翻转为“以学生为中心”。此外，多模态读写能力的培养可以锻炼学生多方面的实践技巧，诸如阅读电子材料、练习设计包含图片、声音、动作等多种模态在内的写作、演讲、辩论、话剧表演等任务，也可以促进学生创新性、思辨性学习，鼓励学生发展自主学习能力，构建合作学习社区。

4. 结语

综上所述，近二十五年来国外多模态语言教学研究整体呈现波动性增长态势。研究的核心领域分别为二语习得策略、语言教学理论及方法、多模态意义构建和多模态读写能力的研究。基于对国外该领域研究的关键词聚类和共被引文献的分析，我们对国内外语教学研究及实践做如下建议：

1) 重视语言习得策略。语言学家Krashen(1988)提出了著名的“二语习得理论”，该理论秉持语言习得是通过语言输入来获得的，最佳的语言输入会促进学习者的语言习得。多模态语言教学中大量易于理解、有趣直观的学习材料都是最佳语言输入的必要条件。如Bonsignori(2018)探索通过电影剪辑片段来学习语言和文化，让学生意识到不同模态符号可以组合起来构建意义。再如学生在创造数字化故事时，实则在进行“设计学习”，需要接触大量的语言素材，包括文字、图片、音频、视频等素材，由此构成了最佳的语言输入条件。学习者还可以根据判断自己的学习类型是属于视觉学习型、听觉学习型还是动觉触觉学习型，来选择适合自己的语言输入模态，从而提高语言产出的效率。

2) 重视人脑记忆规律。桂诗春(2010)强调“认识外语教学的认知基础关系到教学思想改变的问题”，揭示了大脑认知规律与语言教学的紧密联系。一般认为，大脑处理画面的速度比单纯处理文字的速度要快很多，因此有丰富意象的图片比单纯的文字更容易被大脑记住。多模态语言教学是通过多个感官通道进行信息的交际，这比单一感官通道交际更直观、生动。目前市面上出现很多通过电影画面和台词记忆单词的APP，从另一个侧面也证实了多感官通道记忆效果要优于单感官通道，从而激发学习兴趣，提高学习效率。

3) 重视师生技术层面的培训。多模态语言教学领域对遇到的困难挑战研究数量较少，研究结论不尽相同。多数研究表明，师生对于多模态语言教学还是持积极支持的态度。少数研究说明，会遇到困难和挑战，教学效果值得商榷。Li(2020)在对TESOL教师多模态教学培训的研究中，对于被试师生分别进行了访谈，结果显示少数教师提出了对于多模态教学话题的选择和技术平台不熟悉的现实困难。相反，学生则更青睐于多模态教学的方式，更喜欢在线社区和同伴之间的互动学习，认为技术方面并不存在太大难题。现代科技的发展增加了许多新的信息呈现方式和资源，这就使得语言教学研究未来还会有更多的新技术理论融入进来，为适应跨学科研究奠定基础。如何构建新媒体时代的语言教学框架，如何实现课堂教学中模态的协同，如何培养教师的数字化素养，如何使技术手段在语言的教与学中发挥最大潜质等等，都是未来一段时间研究的热点和亟待解决的问题。

4) 重视构建虚拟学习共同体。在数字化时代，应该指导学生摆脱语言学习中的时间、空间障碍。利用互联网学习平台，构建虚拟学习共同体。如学生们为了同一个目标，跨院校、跨地区在网络平台构建学习共同体，以此达到自主交流学习经验、互助答疑学习难点的目的。疫情期间的“停课不停学”，催生了一大批在线课程，倒逼教学进行改革，翻转教学关系，很多优质的网课资源也实现了跨越时间和空间的共享。

综上，多模态理论源于国外，要想将其适应中国的外语教学，还需广大学者和教师进行大量的语言教学理论与实践探索。如国外很多中学实施的CLIL教学方式，是否适合我国高校开设的双语专业教学和ESP教学；国外通过3D网络虚拟合成世界给语言学习提供语境是否适合我国目前的教学现状；国外语言课堂中以学生为中心进行话剧表演、演讲等活动是否适合我国语言学习者等等。

由此，我们对所提出的研究问题逐一解答，一定程度上廓清了国外多模态语言教学的核心研究领域，并基于此对国内语言教学研究提供了新视角，对语言教学实践提出了建议。但同时，我们要清醒地认识到，多模态语言教学作为一种新兴领域，其发展必然困难重重，如何处理好与传统教学的关系，如何协调各个模态之间的比例等问题，需要更多的学者进行探究，在国际多模态语言教学领域发出我国学者的声音。