中国多模态话语分析回顾与展望

陈子娟，耿敬北

（宿迁学院 外语系，江苏 宿迁223800）

自20世纪50年代美国语言学家Harris提出“话语分析”这一概念以来，话语分析以跨学科、多维度的态势大大拓展和跨越了语言学研究的传统界域，已发展成一门成熟的独立学科。多模态话语分析作为话语分析的一个重要分支，把话语分析研究对象由“文本的语言”转变到“使用中的语言”之后再一次延伸到更加广阔的符号话语世界，续写了话语分析的研究历史。中国多模态话语分析的发展离不开韩礼德系统功能语言学的推波助澜，国内多模态话语分析的领军学者胡壮麟、李战子、顾曰国、张德禄、朱永生等多是从事话语分析和系统功能语言学研究的专家，从此也可追塑到国内多模态话语研究的理论渊源。在西方，多模态话语分析方法兴起于20世纪90年代，以Kress＆Van Leeuwen等为代表。在国内，2003年，中国学者李战子在《多模式话语的社会符号学分析》一文中首次将多模态话语理论引介到国内，开创了中国多模态话语分析的先河。笔者以近11年来13种外语类核心期刊刊载的102篇多模态话语分析研究论文为研究对象，运用定量与定性相结合的方法，进行综述性分析，以期为今后的研究提供帮助。

一、研究设计

将视觉模态、听觉模态、触觉模态、嗅觉模态和味觉模态等模态中两种或两种以上模态用于话语交际形成的话语就构成多模态话语[1]。其主要理论基础是Halliday创立的系统功能语言学。Barthes是最早研究多模态话语分析者之一，他在著作《图像的修辞》中探讨了图像表意和语言表意的互补性；Kress&Van Leeuwen[2]研究了模态与媒体的关系，专门探讨了多模态表意现象；Royce[3]研究了模态话语中不同符号的互补关系以及外语课堂教学中多模态的协同关系等。O'Halloran[4]以数学语篇中的多模态现象阐释了多模态的理论建构。

（一）语料来源与样本选择

迄今为止多模态话语分析在中国已经走过了11年（2003-2013年）的发展历程，笔者以“SU=‘多模态’AND AB=(‘话语’+‘语言’+‘二语’+‘教学’+‘外语’+‘英语’+‘语篇’+‘隐喻’)”为检索式，在中国知网检索到约1235篇多模态话语分析文献，年均达到约112篇，可见多模态话语分析研究迅猛发展之势头。为了进一步了解多模态话语分析研究在过去11年里的研究状况，笔者通过CNKI选择以上期刊刊名后，分别以“多模态”、“话语”为主题词，关键词和摘要检索词，在中国知网中对2011版北京大学核心期刊目录的每一外语类核心期刊进行检索，检索出所有多模态话语研究论文，共获论文102篇，构成本文主要研究对象。选择这些期刊的原因是其论文一般会经过严格审查，质量有一定保证，具有代表性。

表1 2003-2013年国内多模态话语分析论文统计结果

（二）研究方法

遵循定量与定性相结合研究方法，采用文献计量法、比较研究法和理论分析法，运用统计软件EXCEL，用图表进行描述和统计，并进行解释。

二、调查结果与分析

（一）总体分析

本文将历年多模态话语分析刊文进行统计分析，结果如表1。

表1显示多模态在外语教学领域的应用研究从2003-2006的年均0.5篇再到2013年28篇，总体上呈逐年增长趋势，并呈加速状态。期间出现了2010年刊文大幅增长和2011年刊文的下降趋势,而2011-2013期间刊文数量又恢复了逐年稳定增长的态势，说明该研究符合事物发展的一般规律，即“酝酿—萌芽—缓慢发展—非理性快速发展—回归理性稳定增长”。从刊文覆盖期刊数量的总体增加趋势也反映了多模态话语分析得到学界的越来越多的关注。

（二）多模态话语研究对象

通过对中国多模态话语研究的统计分析，在过去的2007-2013期间，研究对象涉及面较为广泛，基本覆盖静态语篇（PPT、广告、政治漫画、小品、山水画、诗歌、会徽、海报）和动态语篇（教材、影视、课堂话语、演讲）。其中，PPT、广告、教材、诗歌、影视和课堂话语语类占居主体地位，统计结果如表2。

表2多模态话语分析对象：多模态语类统计结果

（三）多模态话语研究内容

自多模态话语研究诞生以来，国内外学者对多模态话语研究的任务做出了各自的设想[1]，经归纳分类如表3。

表3多模态话语研究内容统计结果

多模态话语分析内容主要涉及多模态化与教学研究、多模态研究的学科融合、多模态化话语理论分析、多模态语篇系统功能语言学分析、多模态化与识读实践、模态间关系研究；而多模态化与新媒体、各种模态系统语法研究、批评性多模态研究、多模态语料库与话语标注分析则显不足，多模态研究给语言研究带来的益处研究则散见于少量文章中，在多模态化和类型学等领域研究基本为零。

三、研究内容：理论研究与应用研究

（一）理论研究

1.对国外理论引介

引介分为直接引介和综述性引介，前者主要是对国外多模态话语研究的直接引介，表现为国外理论著作的书评形式。自多模态话语研究在中国起步到现在有三位学者做了引介研究：钟兰凤的《多媒体的世界,多模态的话语—<多模态篇章转录与分析>述评》，该书由Anthony Baldry与Paul J.Thibault于2006年合著而成，探讨不同传播媒介下各种模态之间如何相互协同和多模态语篇转录的工具问题；赵秀凤和谢竞贤对Forceville&Urioa-Aparisi所编《多模态隐喻研究》的书评，该书对多模态隐转喻的认知研究进行了系统的概括性评述，涵盖多模态隐喻研究的缘起、发展、焦点、贡献、挑战和前景等诸多方面，可使我们对这一领域内新的研究动态有较为全面的了解和认识。

综述性引介相对较多，有多模态相关定义界定,从系统功能语言学理论视角对多模态符号分析,社会符号学理论介绍和论述，多模态话语分析方法与途径论述，多元读写能力培养述评，多模态语篇分析述评等。

2．多模态话语分析的理论创新研究

顾曰国[5]提出了用“角色建模语言”对多媒体、多模态学习进行结构化数据建模的思路。并带领其团队创建了中国第一个多模态语料库：现代汉语现场即席话语多模态语料库，采用多模态语料库语言学中贴真建模的研究方法，探讨言、思、情、貌在鲜活话语中的互动关系，提出“言思情貌整一原则”[6]。顾曰国提出的语料库研究方法具有极强的创新性和预见性，代表国内外多模态话语研究的大方向。张德禄在《多模态外语教学的设计与模态调用初探》中探讨了教学设计对模态系统的选择和选择的原则，包括总原则、最佳效果原则和三个一般原则：有效原则、适配原则和经济原则。张德禄在《适用性社会符号学的理论与实践研究》中从资源、变化、原则和功能四个方面探讨社会符号学的适用性,并讨论了适用符号学理论和实践之间的关系，设计出了一个适用社会符号学的综合理论框架。张德禄在多模态互动表意，多模态配合表意等领域进行的模态间关系理论研究，以及在教学领域的应用研究，正是国外多模态话语研究的急需解决之处，是中国多模态话语研究与国际接轨的重要标志。张德禄、顾曰国等学者能够将多模态话语研究提升到具有普遍指导意义研究高度，研究既具有可操作性又具有理论高度，同时为国内本领域自主创新性研究做出了突出贡献。但该类研究所占比例极小，需要国内广大学者致力于本土理论创新和实践创新研究。

（二）应用研究

多模态话语应用研究范围广泛，多集中于静态语篇分析，多模态教学研究占有较大比例。从研究的视角分类来看，主要体现在对多模态化在教学领域的应用，多模态研究的学科融合，模态间关系研究，多模态化与识读实践，多模态语篇系统功能语言学分析。

1.多模态化与识读实践

在西方国家多元读写能力培养研究备受关注，基于此，国内学者也给予了相当的重视。目前，研究重点还停留在引介和实践应用上。该领域研究有两大分支，第一，主要是对培养多元识读能力的宏观理论阐释。朱永生[7]是国内首位详细引介西方多元读写研究成果的学者，并探讨了多元读写能力培养对我国教学改革的启示，为中国多模态读写能力培养研究和国际接轨做出了贡献。胡壮麟[8]还归纳出了多模态识读的9个层次。第二，是基于西方理论的多元读写能力微观论证研究，以实证研究为主体。主要体现多元读写能力培养的教学设计研究和学生多模态学习的设计研究。中国多元读写能力培养研究可以借鉴西方多元读写研究成果，但鉴于中西方文化差异，国内培培养模式和养方法需要更多的本土化创新。

2.多模态在外语教学中的应用

多模态在教学领域应用研究数量较多，多达42篇，几乎占据多模态研究半壁江山（41.2%）研究内容呈多维度特征，从研究内容和视角来看，多模态外语教学涉及面较为广泛，基本覆盖所有外语技能教学领域，有微观听、说、读、写、译研究，课堂话语研究，教材研究，也有宏观的教学模式研究。研究理论基础广泛，涉及系统功能语言学的社会符号学理论、认知与元认知策略、人本主义心理学、可理解性输入理论、动机理论、注意层次理论等。非实证研究占主流，定量实证研究较少；研究对象涉及到学生、教师、教材、多媒体、PPT等主要教学要素，呈现多样化特征。

3.多模态研究的学科融合

多模态话语分析的跨学科融合性较弱，基本集中在与认知学相结合的多模态隐喻研究和与符号学相结合的多模态符号学研究。与认知学融合研究的多模态隐喻研究主要表现对国外理论的引进和综述分析上。目前，多模态隐喻研究还处于起步阶段，其理论还基本上沿用双域映射框架，还没有形成一个适用于多模态隐喻研究的完整的理论体系。多模态隐喻研究主要集中在政治漫画、新闻漫画、平面广告等静态语篇的多模态隐喻表征方式研究和影视、英语演讲、电视广告等动态语篇中动作、语言等多模态隐喻融合研究；此外，概念隐喻与、空间隐喻、教学中多模态隐喻也有所涉及。在多模态与符号学融合研究中，国内学者顾曰国[5]、胡壮麟[8]、朱永生[1]、张德禄[9]等从社会符学视角对多模态话语分析的理据和分析方法进行了研究，与符号学的学科融合研究在国内多模态话语研究中占据相当比例。

4.多模态语篇系统功能语言学分析

多模态系统功能语言学应用研究主要体现在对诗歌尤其是视觉诗进行多模态语篇系统功能语言学分析。运用系统功能语法理论并结合社会符号学，从语言层面和印刷体式上对诗歌做多方位的功能解读,以及印刷、文字和非文字多模态话语在反映内心情感、人际关系,以及作者态度与评价等方面均有特殊的含义。从语言三大元功能视角解读视觉诗歌，认为多模态话语分析理论是系统的、全面的解读诗歌的最佳途径。

5.模态间关系研究

国内模态关系研究主要集中于多模态语篇中不同模态之间的关系研究。张德禄在2009-2012期间撰文4篇，对模态间关系进行了系统研究。综合四篇研究，关注焦点在于多模态外语教学中模态调用，多种模态的协同与配合，模态互动与转换等研究。并提出了教学设计对模态系统的选择和选择的原则，包括总原则、最佳效果原则和三个一般原则：有效原则、适配原则和经济原则。此外，张德禄还以电视天气预报为例探讨了动态多模态话语模态之间的协同[10]。

6.模态系统的语法研究

语法分析方面主要依托Kress和Leeuwen的视觉语法的应用研究，未涉及到听觉语法等其他模态语法构建和应用研究。主要从社会符号学的视觉语法角度出发，解读旅游形象广告超文本的多模态化；以视觉语法为理论基础对中英媒体报道中图像的情况进行多模态语篇分析；用视觉图像分析语法框架分析宣传广告画中的互动意义的构建和体现。

7.多模态语料库与话语标注分析

国内的多模态语料库构建和教学应用研究则处于初始设计和探索阶段。王立非、文艳[11]介绍了多模态分析软件ELAN以及该软件的主要功能，并举例说明如何利用ELAN开展应用语言学研究，以及对建立多模态语料库的价值和重要意义。刘芹、潘鸣威[12]则以多模态话语分析为理论基础，设计出一套中国大学生英语口语非言语交际标注指标，并应用于口语教学研究。该类研究严重不足，需要未来大量研究跟进。

四、国内多模态话语分析成就、不足和未来研究建议

（一）成就与不足

本次统计发现，国内多模态话语分析在2003-2013年间取得了不错的成就，研究对象和研究内容都趋向多元化。研究覆盖的语类对象多达13种，研究内容涉及到10个方面，基本涵盖国内外早期研究者提出的研究课题。从覆盖的外语类核心期刊种类来看，覆盖到所有期刊，多种期刊一期多篇或者一连多期刊载多模态话语分析论文，各种期刊刊文也呈现增多趋势。可见多模态话语分析在国内越来越受关注，极有成为显学趋势。国内以顾曰国[5]、胡壮麟[8]、朱永生[1]、张德禄[9-10]等为代表的相关学者的自主创新研究，也使国内多模态话语研究开始逐渐脱离国外理论及成果的束缚，极大地推动了国内研究的发展。但从多模态话语研究所涉及的课题分布来看，仍然出现一窝蜂现象，存在分布不均，不平衡问题。在多模态化在教学领域的应用研究，多模态研究的学科融合的隐喻和符号学研究，多模态化与识读实践，多模态语篇系统功能语言学分析等领域有过多的重复性研究，而在多模态化与新媒体、各种模态系统语法研究、批评性多模态研究、多模态语料库与话语标注分析、多模态研究给语言研究带来的益处研究等领域则明显不足，多模态化和类型学等领域研究则为零。此外，研究过多的依赖国外理论研究，创新力度不够，严重影响了国内多模态话语本土研究氛围。

（二）未来研究建议

基于以上不足，对未来多模态话语分析的思考和建议如下：

模态话语研究深度和广度还有待进一步挖掘和拓展。由于多模态与认知的天然关系，多模态话语分析可以与认知理论融合，多做本体创新研究。跨学科研究是拓宽多模态外语教学研究理论基础的新方向。如与认知学进一步结合研究，与计算机技术交互研究。继续完善和填补多模态化与新媒体、各种模态系统语法研究、批评性多模态研究、多模态研究给语言研究带来的益处等领域不足和空白。研究对象仍然具有极大的拓展空间，如儿童绘本、儿童故事书、互联网、音乐等语类。多模态读写还包括网络教育中的在线读写，这方面研究需要我们进行跨学科、跨语类、跨模态、跨文化的多维研究。全球性的跨文化信息流动和互联网上的虚拟社区要求我们拥有新的思考方式、解读方式和互动方式。此外，作为未来研究主要方向之一，多模态语料库研究仍然是我们研究的薄弱环节。语料库构建研究必将为多模态话语研究打开全新的局面。因此，多模态语料库构建研究应该成为下一步多模态话语分析的重点之一。

[1]朱永生.多模态话语分析的理论基础与研究方法[J].外语学刊,2007,(5):82-86.

[2]Kress,G.&T.van Leeuwen.Multimodal Discourse:The models and media of contemporary communication[M].London:Arnold,2001.

[3]Royce,T.Multimodality in the TESOL classroom:Exploring visual verbal synergy[J].TESOLQUAR-TERLY,2002,(36):191-206.

[4]O’Halloran,Kay L.Multimodal Discourse Analysis:Systemic-Functional Perspectives[C].London:Continuum,2004.

[5]顾曰国.多媒体、多模态学习剖析[J].外语电化教学,2007,(2):3-12.

[6]顾曰国.论言思情貌整一原则与鲜活话语研究——多模态语料库语言学方法[J].当代修辞学,2013，（6）：1-19.

[7]朱永生.多元读写能力研究及其对我国教学改革的启示[J].外语研究,2008,(4):10-14.

[8]胡壮麟.社会符号学研究中的多模态化[J].外语教学与研究，2007,(1):7-8.

[9]张德禄.适用性社会符号学的理论与实践研究[J].外语与外语教学,2010,(5):5-10.

[10]张德禄,袁艳艳.动态多模态话语的模态协同研究—以电视天气预报多模态语篇为例[J].山东外语教学,2011,(5):9.

[11]王立非,文艳.应用语言学研究的多模态分析方法[J].外语电化教学,2008,(2).

[12]刘芹，潘鸣威.多模态环境下中国大学生英语口语非言语交际能力研究初探[J].外语电化教学,2010,(3):38-43.