国内外多模态隐喻研究综述

朱娜

摘要：多模态隐喻是多模态话语分析的一个研究方向，学术界开展此项研究已有 20 多年时间。基于系统功能语言学理论和认知语言学的研究方法，国内外学者对多模态隐喻的意义构建、模态之间的互补协同进行了理论探讨和实证研究，并对多模态隐喻在不同领域间的应用进行了研究。由于多模态隐喻研究发展历史短暂，在研究方法、研究视角等方面依然存在不足，随着科学技术的发展和研究的深入，多模态隐喻定会稳步发展，进而推动话语分析乃至整个语言学的发展。

关键词：多模态隐喻;理论探讨;应用研究;综述

1960年代，英国语言学家Halliday創立了系统功能语言学。他认为语言系统具有三种元功能：概念功能、人际功能和语篇功能。这三种功能同时在语言中起作用。交际者通过语言与他人进行交流，语言作为一种社会符号，同时反映了客观世界及其内在世界。但是，Halliday的系统功能仅适用于语言系统，对其他社交符号系统则没有影响。

此后，Kress和Van Leeuwen进一步发展了系统功能理论，并将图像视为一种社会符号，将Halliday基于语言符号系统的社会符号理论扩展到视觉符号系统。他们认为读者可以根据图像的呈现方式来进行解读，图像也具有自己的语法特征，像语言一样语言，也可以实现三种元功能，Kress和Van Leeuwen将其称为再现意义、互动意义和构图意义。他们创建了基于多模态话语分析的视觉语法框架，并在1996年出版了Reading Image： the Grammar of Visual Design，其中详细阐述了视觉语法。根据这一理论，交流可以通过除语言之外诸如图片、色彩、声音等多种模态。

（一） 国外视频广告多模态隐喻研究

国外认知语言学框架下多模态隐喻研究的倡导者和发起人是Charles Forceville，他的多模态隐喻理论的创立可追溯到他于 1996 年公开发表的博士论文Pictorial Metaphor in Advertising，该专著首次提出了概念“图像隐喻”，指出隐喻思维的另一种有效表达方式是图像，以Black的隐喻互动论为理论框架，借鉴Sperber&Wilson的关联理论，详细解释了广告（主要是平面广告） 中图像隐喻的组成、分类及解读策略。尽管非统一的分类标准和重叠的类别存在不足之处，但用非语言的媒介来尝试隐喻研究非常新颖，确实为以后的严格意义上的多模态研究奠定了坚实的基础。Forceville将模式定义为“某种感知过程的可解释符号系统”，其中人们表达图像，书面语言，口语，手势，声音，音乐，气味，味道，触感等。且可以分类为单模态隐喻和多模态隐喻。Forceville（2009）认为，单模态隐喻是指主要通过一种模态呈现的源域和目标域，而多模态隐喻在源域和目标域中涉及两个或多个表达。多模态隐喻更加关注基于概念隐喻的隐喻表达的创造力和多样性（钟安林 2018）。例如，O'Toole扩展了语言的元功能，扩展到绘画，建筑和CD-ROM交互格式等领域。在他的《展览艺术语言》（1994）一书中，视觉形象的功能被定义为功能框架内的具象、模式和构图。2005年7月，第九届国际语用学会议在意大利召开，为《多模态隐喻》论文集的出版做出了贡献。该论文由Forceville&Urios-Aparisi编辑，已收集了许多论文。研究类型包括广告，政治漫画，连环漫画，动画，乐谱，口头对话，讲座，故事片等。其中大多数集中于多模态隐喻的研究重点，例如：多模态隐喻的语类型、区别性特征，多模态隐喻与转喻之间的关系，多模态隐喻的相似性表征方式等。

从跨文化角度来分析多模态隐喻要源自于Lakoff & Johnson（1980）认为认知隐喻的体验性虽然是物质层面的，但受到文化差异的影响。文化认知模型可以为人们了解和理解周围的世界提供参考点，但它通常表现为某种社会成员的价值观，民间哲学，经验知识，文化传统，社会习俗等，这是一种社会化的习惯性认知模型。在纯语言隐喻中，通常会投射源域的内涵含义，而不是字面意义，并且在不同的文化（亚文化）中，这种内涵含义可能会完全不同。同年，Yu（2009）提出概念隐喻的经验基础是物质的和文化的，概念隐喻源于经验与文化的相互作用。

（二） 国内多模态隐喻研究

国内认知语言学框架下的多模态隐喻研究起步较晚。曾力（2004）年在语言隐喻之外，开始关注语义冲突和相似性在图形隐喻作中的作用。之后，侯瑞潘和赵秀峰参照Forceville的分类，对平面广告中的多模态隐喻进行了系统的划分，并结合实例探讨了其构成、识别和解释。同年，李毅，石磊，赵秀峰和苏慧艳也分别撰文从不同角度对多模态隐喻进行了探讨。

从研究内容的角度看，主要可以分为以下两类，首先是基于Forceville提出的多模态隐喻理论及其相关著作的理论综述研究，如赵秀峰结合国外最新研究成果对多模态隐喻认知研究的综合评述;谢竞贤以Kress和Forceville的多模态理论为框架，从“超语言环境”的角度进一步探讨隐喻意义的建构和理解。其次是多模态隐喻理论在不同语类中的具体应用。例如，潘艳艳（2011）讨论了政治漫画中的隐转喻现象和源域的文化内涵，进一步解释了源域选择的重要意义，源域的文化内涵在多模态隐喻形成中的重要性及其在身份建构和重构中的作用;张辉和展伟伟（2011）在广告语篇中重点研究了多模态隐喻和转喻的动态建构。刘福英（2012）对演讲手势中的多模态隐喻和转喻现象进行了分析。

从研究方法的角度来看，主要是定性描述和分析，缺乏大规模的实证研究和数据统计的定量研究，并且基本上没有使用高级计算机辅助研究方法（如语料库或神经影像学的实验方法）进行的研究成果。很多研究者选择引用一两个具体的例子进行详细的分析，从中探讨和总结多模态隐喻的认知建构原则、语言特点以及多模态隐喻转喻之间的关系，如张辉、展伟伟等。此外，还涉及某些主题，例如对多模式隐喻理解的文化和个体差异，以及模态来源选择的体裁特征等，这些都需要进行大规模历时研究和实证研究以确保研究结果可靠性和有效性。

从研究视角来看，与跨学科和跨领域的研究成果相比，更多的研究成果仅限于单一学科和单一理论框架。前者（例如潘艳艳等）和后者（例如陈明瑶和谢莉）结合了认知和语用观点，分析了隐喻在多模式交流中的认知和情感说服功能，扩大了隐喻的语用研究。赵秀凤和苏会艳（2010）在概念整合理论的框架内解释了多模态隐喻，而且总结了多模态隐喻特征，并进一步探索了多模态隐喻的映射和综合机制。

综上所述，国内大多数研究者关注的研究热点包括多模态隐喻的识别与解释，区别特征，认知建构以及多模态话语中隐喻与转喻的相互作用，这些基本与国外相吻合。大规模的实证和数据统计类的定量研究，借助语料库等先进的计算机辅助研究方法或神经成像的实验手段的研究将会成为今后的趋势;最后，跨学科、跨领域的研究成果将会在未来大量涌现，多模态隐喻的跨学科本质内在地要求了研究者从不同学科汲取营养、对相关领域融会贯通，不断扩宽多模态隐喻的研究视野，这也将为概念隐喻理论提供更加详实的佐证。

参考文献：

[1]Christie， F. Classroom Discourse Analysis： A Functional Perspective [M]. London： Continuum International Publishing Group， 2005.

[2]Forceville， C. 1996. Pictorial Metophor in Advertising [M] . London： Routledge.

[3]Forceville， C. & E. Urios - Aparisi. 2009. Multimodal Metaphor [M]. Berlin： Mouton De Gruyter.

[4]Halliday， M. A. K.& Matthiessen， C. M. I. M. Introduction to Functional Grammar（third edition） [M]. London： Edward Arnold， 1989： 78-96.

[5]Kress， G.&T. van Leeuwen. Multi-modal Discourse： The Modes and Media of Contemporary Communication [M]. London： Arnold， 2001.

[6]Kress， G.&T. van Leeuwen. Reading Images： The Grammar of Visual Design [M]. London： Routledge， 2006.

[7]Lakoff， G. & M. Johnson. 1980. Metaphors We Live By [M]. Chicago： University of Chicago Press.

[8]Lemke， J. Travels in Hypermodality[M]. Visual Communication， 2006： 124-159.

[9]Multimodal Discourse Analysis： Systemic Functional Perspectives[M]. New York： Continuum， 2004： pp. 19-69.

[10]O'Halloran， K.L. Towards a systematic functional analysis of multisemiotic mathematics texts[J]. Semiotica， 1999：5一55.

[11]O'Toole， M. The Language of Displayed Art [M]. London： Leicester University Press，1994.

[12]The Language of Displayed Art by Michael O'Toole Volume：54 Journal： The Journal of Aesthetics and Art Criticism DOI：10.2307/431639 Date： January， 1996

[13]Yu，Ning. Nonverbal and multimodal manifestations of metaphors and metonymies： A case study [A]. Forceville，C.& Urios- Aparisi，E. Multimodal Metaphor [C]. Berlin/New York： Mouton de Gruyter，2009. 119 -143.

[14]馮德正，赵秀凤.多模态转喻与图像语篇意义建构[J].外语学刊，2017（06）：8-13.

[15]胡壮麟.社会符号学研究中的多模态化[J].语言教学与研究，2007（01）：1-10.

[16]刘福英.演讲手势中多模态隐喻与转喻互动整合分析[J].钦州学院学报，2012，27（04）：52-55.

[17]亓玉杰，冯德正.多模态隐喻与广告语篇分析：隐喻系统的建立与定量分析[J].北京科技大学学报（社会科学版），2014，30（06）：8-13.

[18]曾立.广告图文隐喻运作机制初探[J].外语与外语教学，2004（06）：11-14.

[19]张德禄.多模态外语教学的设计与模态调用初探[J].中国外语，2010，7（03）：48-53+75.

[20]张德禄，王璐.多模态话语模态的协同及在外语教学中的体现[J].外语学刊，2010（02）：97-102.

[21]张德禄.多模态话语分析综合理论框架探索[J].中国外语，2009，6（01）：24-30.

[22]张辉，展伟伟.广告语篇中多模态转喻与隐喻的动态构建[J].外语研究，2011（01）：16-23.

[23]张莉 孙来麟.我国多模态话语研究综述[J].教育教学论坛，2015（45）：225-227.

[24]赵秀凤.多模态隐喻构建的整合模型——以政治漫画为例[J].外语研究，2013（05）：1-8+112.

[25]赵秀凤.概念隐喻研究的新发展——多模态隐喻研究——兼评Forceville & Urios-Aparisi《多模态隐喻》[J].外语研究，2011（01）：1-10+112.

[26]赵秀凤，苏会艳.多模态隐喻性语篇意义的认知构建——多模态转喻和隐喻互动下的整合[J].北京科技大学学报（社会科学版），2010，26（04）：18-24+30.