多模态话语的非言语衔接研究

李 丹，蒋叶群

(湖南农业大学 外国语学院，湖南 长沙 410128)

多模态话语的非言语衔接研究

李 丹，蒋叶群

(湖南农业大学 外国语学院，湖南 长沙 410128)

在日常交际活动中，交流双方为达到交流目的，越来越多地采用非言语因素来实现其话语意义。通过分析多模态话语中非言语符号的主要类型以及主要的衔接方式，探讨多模态话语中非言语符号的应用机制，总结出不同模态衔接的语言功效，从而丰富语言的表达形式。

多模态；非言语；衔接

随着科学技术发展水平的不断提升，人们在探索和认识世界的水平也在不断提高，交流方式相比以前也变得更为多元化和复杂化，根据目前我们已取得的研究成果，我们可以大胆地推测，沟通已经不再局限于言语内，还涉及到非言语范畴。20世纪50年代初期，美国著名语言学家Harris提出了话语分析理论，至此，国内外话语分析专家便纷纷对此展开研究，他们立足不同角度，针对不同问题提出了自己的理论和研究方法，然而，他们的研究大多数是属于言语范畴内，而忽略了如图片、音响等一系列的非言语因素在话语交流中所占据的重要地位。因此，只对交流中言语因素进行研究已经不能满足当前话语分析的需求，国内外语言学专家开始意识到交际中多模态话语的重要性。为此，20世纪90年代，西方国家逐步兴起了多模态话语的研究。多模态话语是在话语分析基础之上产生的一个独立的前沿学术研究领域。它是指运用听觉、视觉、 触觉等多种感觉模式，通过语言、图像、声音、动作等多种手段和符号资源进行交际的现象。 此后，人们加深了对多模态话语的重要性和现实性的认识，在之后的研究中，也逐步意识到言语因素和非言语因素在现代语言学研究中占据着同样的地位，特别是话语分析，将多种模态结合起来进行话语分析研究将成为一个新的课题。文章将系统地探讨多模态话语的非言语的衔接类型及它的应用机制。

一、多模态话语

随着电子时代、信息时代、多媒体时代的到来，人们在交流过程中已经不仅仅采用单一的模态，需要同时用到听觉、视觉、触觉等多种模态，从而最初不被大家所重视的视觉符号以及图像、声音等非言语因素在交流中所占的地位越来越突出，因此多模态话语应运而生。最早对多模态进行研究是西方的语言学家R.Barthes，2003年我国语言学家李战子首次阐述了关于多模态话语理论，此后，国内著名专家学者开始展开了对多模态话语的研究，其中，较为突出的有胡壮麟、朱永生、顾曰国、罗永胜等。多模态(Multimodal)也有人译成“多模式”话语,是指运用听觉、视觉、触觉、嗅觉、味觉，运动觉等多种感觉，通过语言、图像、声音、动作、动漫、网络等多种手段和符号资源进行交际的现象.

二、多模态话语中常见非言语衔接类型

多模态话语作为综合听觉、视觉、触觉等多种感觉的交际现象，它涉及了各种符号系统，文章将着重讨论多模态话语中非言语衔接的主要类型，它们主要是通过身势语、环境语和副语言实现衔接。

1.身势语衔接

身势语的概念最开始是由美国著名心理学家伯德惠斯特尔提出的，它主要包括目光语、手势、身体姿势、面部表情、举止动作以及触觉等方面的内容。身势语作为一种交际方式是先于语言而存在的，人们在没有找到共同的语言或者不能找到正确的表达方式进行交流时通常会使用身势语进行交流。它具备了情感表露、象征动作、伴随动作、反应动作、调节动作五种功能，而多模态话语中，视觉模态通常涉及的就是身势语，通过眼睛观察对方的身势语即可能了解到对方所要表达的意思，因此，身势语可以说是多模态话语中非言语衔接的主要类型。

2.环境语衔接

环境语是指文化本身所造成的生理上和心理上的环境，是人们在交际过程中为更好地实现交流目的而创造的交流环境，它主要涉及的是时间上和空间上一些特殊的存在，如幼儿园内的装饰主要是一些充满童真的物品，向孩子们传递了幼儿园是充满趣味的信息，从而达到激发孩子们上学欲望的目的。而在法院则主要装饰一些彰显公平、公正的物品，向人们传递法院是主持公道、彰显正义的信息，让人们对法院充满了敬畏和信赖。此外，它还涉及颜色、声音、灯光等因素，如在心理咨询室，它的各种装饰以及墙面颜色都是以暖色调为主，给人们传递一种温暖的信息；又如在演讲进入到最激动人心的时候，伴奏则会选择一些节奏较快的曲目；话剧在表演到悲伤的情节时，舞台上的灯光就会变得昏暗，促使观众产生更为强烈的感觉。环境语作为一种非言语的表达方式，充分利用人们的视觉模态和听觉模态，使交流变得更为高效。

3.副语言衔接

从语言学的角度，副语言属于一种没有特定含义却能表达言语意义的有声行为，大多数语言学文献将副语言分为狭义和广义两种，狭义的副语言指伴随语言的某些声音现象,而广义的副语言则是指无声而有形的非言语现象，包括手势、身势、面部表情、对话时的位置和距离等等，本文主要探讨狭义范畴的副语言，分别涉及到语言替代码(指能取代词或话语的无固定语义发音,包括语空填补语、语间停顿和沉默)、语音分隔符号以及语音替代符号。如在进行演讲时，演讲者在即将讲述自己痛苦的经历时会沉默几秒，这几秒时间使得听众的情绪得到一个转换，从某种意义上来说，正是由于这种沉默，使得演讲者的演讲内容得到一个隐性的衔接，让听众能够更好地理解演讲者的意图。又比如，交流双方闲聊时，因为其中一方谈及对方难以启齿的话题时，对方则发出了“额”等词，通过这种隐性的衔接给对方发出自己不愿谈及此事的信号，成功地避免了尴尬气氛的产生，让交流得以顺利进行。

三、多模态话语的主要功能

多模态话语作为一种综合多种感觉，运用多种手段和符号进行交际的现象，它的功能主要体现在交际方面。主要有以下几种：

第一，让交流变得更为简单快捷。当今社会是一个快捷社会，生活节奏变得越来越快，因此，交流方式也在追求速度，人们的交流方式逐渐由写信、发短信、打电话转变成采用QQ、微信、邮件这种不仅可以通过输入语言符号还可以使用非言语符号进行交流的方式，相比之前使用短信等传统交流方式更为迅速、方便，让交流变得更为简单、快捷。

第二，让交流变得更为清楚明了。人们在进行交流时，都渴望对方能在最短的时间里明白自己想表达的东西，而汉语作为一种古老的语言博大精深，一个标点符号，或者是断句、重读位置的变化也可能让意思表达发生改变，因此，人们在交流时常常会因为交流双方的身份地位、所处环境和受教育程度的不同而产生分歧，而多模态话语综合了多种感觉多种手段和符号，在双方进行交流时可以采用两种甚至多种模态同时进行交流，让交流变得更为清楚明了。

第三，让交流变得更为高效。人类是一种感性动物，总是会受到各种信息的干扰，因此，很难做到长时间的精神集中，学生上课就是最典型的，据调查，学生上课四十五分钟内能够集中精神的时间最多三十分钟，因此，现在越来越多的老师喜欢采用多媒体等现代化的教学设备，因为它综合了听觉、视觉等多种感觉以及声音、图像等多种语言符号，可以更好地吸引学生的注意力，相比传统的只依靠老师讲授这种单一模态进行讲授的效果更为高效。

四、多模态话语中非言语衔接的应用

语篇的衔接理论最开始是由著名语言学家韩礼德和哈桑提出的，他们认为文字在形成语篇意义时需要依靠其他的文字来实现便出现了衔接，他们将衔接手段归纳为五种类型：指称、替代、省略、连接和词汇连接，其中指称、替代和省略属于语法衔接手段，词汇连接(复现、词汇搭配) 属于词汇衔接手段，连接(增补关系、转折关系、因果关系和时间关系)则介于两者之间，主要属于语法衔接，但也包含词汇的成分。这些衔接手段都是语言文字上的，而多模态话语作为一种综合听觉、视觉等多种感觉、运用多种符号和手段进行交际的现象，它的衔接除了语篇意义上的衔接，还有非言语上的衔接方式，本文重点探讨多模态话语中非言语衔接的应用。

1.内容的承接

多模态话语充分利用人的视觉、听觉等多种模态，通过交流者双方交流时所展现的身势语、环境语以及副语言等让话题或者演讲内容实现了承上启下的目的。

身势语主要指依靠身体所做出的动作及面部所呈现的表情来传递信息，它包括手势语、目光语、面部表情等。如手势语，又称“哑语”“手势”，手势语作为一种交际手段，不仅仅在聋哑人中使用，它更是作为一种衔接手段在人们的交流中得到广泛运用，尤其是在一些演讲或者脱口秀中，手势语作为一种衔接手段得到了众多人的青睐，它的衔接方式主要是通过不同的手势表现出来，如脱口秀节目《金星秀》，讲述者金星在讲完一个环节时都会做出两手一摊的动作再转个圈告诉观众本环节已结束，即将进入下一个环节。这种手势充分利用了观众的视觉模态让讲述的内容实现了完美的衔接，让信息的传递更加简单快捷。又如目光语，它是指运用眼睛动作或者眼神来传递信息或情感，它只需要一个细微的动作就能让交流者双方在最短的时间里了解对方想要传递的信息，同时，它也可以作为一种衔接方式，通过眼睛动作来促进交流的进行。比如，在电视节目《超级演说家》中，一个演讲者在进行演讲的时候，刚开始他的情绪慷慨激昂，表情十分激动，眼神充满了力量，突然他的眼睛低垂，眼神变得暗淡无光，这一个小小的动作就是在告诉观众，演讲者接下来的讲述将开始进入煽情阶段，而此时，观众的情绪也将由前面的慷慨激昂转变为伤感，无需语言的刻意提醒，便能使演讲内容得到有效衔接，这种通过目光语进行的非言语的衔接，让语篇意义得到更为完整的体现。

2.情绪的调动

演讲者在进行演讲活动时，除了用语言调动听众或者对方的情绪外，还常常会利用一些非言语的因素来调动听众的情绪，因为这些非言语因素不仅充分利用了人们的听觉模态而且还充分地利用了听众的视觉模态，这种多模态的话语对调动听众的情绪通常会收获到意想不到的效果，如环境语。环境语是综合视觉模态、听觉模态、触觉模态等多种模态的交际现象，文章主要讨论演讲者在进行演讲时，如何利用环境语这种非言语的因素达到衔接的目的。如演讲者在进行演讲活动时，会根据不同的内容放送不同的音乐，此时，听众也会根据不同的乐曲了解到演讲者所讲述内容的不同而促使情绪的转变。这种非言语的衔接方式既保证了交流的有序进行，还很好地取得了交流的效果。而颜色则是通过眼、脑和我们的生活经验所产生的一种对光的视觉效应。不同的颜色代表着不同的意义，比如白色代表纯洁、红色代表喜庆等，因此，人们在进行交流时通常可以通过颜色的转变实现衔接，这种衔接方式在演讲活动中最为常见。在进行演讲时，灯光师通常会根据演讲者讲述的不同内容对灯光进行调解，如演讲者在讲述让人高兴的故事时灯光通常以暖色调为主，而讲述悲伤的故事时灯光通常以冷色调为主，这种灯光颜色的切换让演讲内容的衔接变得更为自然，也很好地调动了观众的情绪。

3.话语的暗示

在多模态话语中，非言语衔接充分利用听众的听觉、视觉、触觉等多种模态，不仅能够实现内容上的承上启下以及调动听众或者交流双方的情绪，同时它还能够对话语起到一定的暗示作用，话题讲述者只需要利用一些非言语的因素如身势、环境语以及副语言(狭义)就能暗示接受者。比如一个肯定的眼神就是在暗示对方我对他的话题很感兴趣，他可以继续讲下去；在一些讲座或者演讲中主持人一个摆手有可能是在示意观众们坐下，暗示节目即将开始，现场的观众请保持安静；学生在回答问题时停顿、沉默或者是不断的发出“uh”等词语，就是在暗示老师他可能不知道问题的答案，这种依靠人的视觉、听觉等模态，通过非言语衔接，不仅能够实现话题讲述者的意图，还能让交流更好地进行。

多模态话语中非言语的衔接主要是通过身势语和环境语得以实现的，一个手势的运用、一个转身、又或者是眼神的交流、面部表情的改变，甚至是音量大小、舞台灯光颜色的转换，都可以给交流双方传递大量的信息，这些非言语的交际手段很好地为交流者、演讲者在进行交流或者在阐述话题时实现完美的衔接，让交流变得更为简单、高效。

[1]O’Halloran,Kay L. Multimodal Discourse Analysis: Systemic-Functional Perspectives [C].London:Continuum, 2004.

[2]Lim Fei,V.Developing an integrative multi-semiotic model[A].In O’Halloran,Kay L. Multimodal Discourse Analysis: Systemic-Functional Perspectives [C].London:Continuum,2004:220-246.

[3]顾曰国.多媒体、多模态 学习剖析[J].外语电化教学,2007(2):3-12.

[4]韦琴红.论多模态话语中的模态、媒介与情态[J].外语教学,2009(7):54-57.

[5]张德禄.语篇衔接中的形式与意义[J].外国语,2005(9):32-38.

[6]张德禄.多模态话语分析综合理论框架探索[J].中国外语,2009(1):24-30.

[7]周红云.衔接在功能语篇分析中的应用[J].外语与外语教学,2006(7):22-24.

[8]朱永生.多模态话语分析的理论基础与研究方法[J].外语刊,2007(5):82-86.

Class No.:H030 Document Mark：A

(责任编辑：宋瑞斌)

Non-verbal Cohesion in Multi-modal Discourse

Li Dan, Jiang Yequn

(School of Foreign Languages, Hunan Agricultural University, Changsha, Hu'nan 410128，China)

In order to achieve the purpose of daily communication,, more and more people like to use nonverbal factors to realize its utterance meaning. Through analyzing the main types and cohesive ways of nonverbal factor in multimodal discourse, we explore the application mechanism of nonverbal factor in multimodal discourse and the different modes of convergence of language effect so as to enrich the expression of the language.

multimodal; nonverbal; cohesion

李丹，硕士，教授，湖南农业大学。 蒋叶群，在读硕士，湖南农业大学。

1672-6758(2017)07-0142-4

H030

A