多模态互动视阈下TED演讲模式研究

北京工业大学 杨晓蕾 梁梅红

古今中外，演讲的重要性已不言而喻，好的演讲总能达到事半功倍的效果。古有毛遂以三寸之舌，强于百万之师，今有马丁· 路德·金对人权平等的呐喊。当代社会，演讲成为日常交际和工作交流的重要方式之一。但随着信息与多媒体技术的发展，人们使用的交际模态发生了很大的变化，演讲的形式也随之发生很大改变。这体现在言语不再是交流的唯一模态，表情符号、图片、幻灯片等多种模态的组合逐渐成为演讲的新兴趋势。此外，在线视频的兴起也使得演讲可以超越时空性，被更多的人下载和观看。在这种背景下，多模态演讲更能使观众把握演讲者当时真实的话语意义。

TED演讲是典型的多模态语篇，并且以其学术性、多样性和开放性受到学习者的欢迎。TED演讲自2007年面向全球免费开放后，到如今广受欢迎，其宗旨是“传播有价值的思想”。许多学者已经对TED演讲进行了相关研究，如洪岩、梁林梅(2013)阐述了TED的历史和发展以及TED在中国受欢迎的原因和对中国在线开放课程的启发。TED演讲逐渐在教育领域和语言学领域得到重视。现有关于 TED 演讲的研究多侧重于从演讲的语言技巧、演讲内容的组织安排以及演讲的教学价值等角度进行阐述(如Di Carlo 2014；姜晖 2020；杨晓蕾、梁梅红 2020)。 而针对演讲中的非言语因素，以及言语和非言语互动意义的研究相对较少。虽然Theunissen(2014)关注了TED演讲中的视觉语言，但却只局限于PPT演示。而且这些研究大多没有客观的数据支撑，缺乏直观性和可信度。因此，本研究从多模态角度出发，整合构建了TED演讲多模态互动分析框架，以质性研究为主，并且借助量化研究方法即多模态分析软件ELAN，系统地探讨TED演讲中言语和非言语模态的应用、分布及关系。本研究旨在通过系统分析TED演讲中话语模态的使用，揭示演讲中话语信息的传播方式，以启发演讲者通过多种模态更好地传递思想。

1. 理论背景

1.1 多模态话语相关研究

多模态话语研究始于 Barthes(1977)对图像在视觉意义表达上与文本之间相互作用的探讨。直到20 世纪 90 年代，多模态话语分析理论才蓬勃发展起来，代表性作品是Kress & van Leeuwen(1996)合著的《阅读图像》。Kress & van Leeuwen(2001)首创多模态话语概念，认为多模态是交际中多种符号模态的应用。Jewitt(2009)认为多模态话语分析主要有3个传统：系统功能语言学视角、社会符号学视角和会话分析视角。此后还有多模态互动分析、语料库语言学多模态话语分析以及多模态隐喻分析等。我国相关领域的研究始于 21 世纪，李战子于2003 年把多模态话语研究引介到国内。2007 年，朱永生从系统功能语言学角度探讨了多模态话语分析的理论基础和分析方法。迄今为止，从系统功能语言学角度出发的多模态话语分析研究占大多数。(潘艳艳、李战子 2017)

从研究对象来看，国内外学者对于多模态话语分析的研究多集中于理论研究和静态语篇的研究，如报纸、杂志、海报等(张德禄、王群 2011； Fernndez-Fontechaetal. 2019)。虽然近几年关于动态多模态语篇或者三维静态语篇的研究陆续开展起来，但仍然是少数，例如对课堂教学、演讲、电影、建筑的研究等(张德禄、袁艳艳 2011；Pratiwy & Wulan 2018)。原因如下：多模态话语分析始于对图像和文字组合意义的探讨，所以对静态语篇的关注较早；动态语篇较静态语篇更为复杂，在分析时切分难度相对较大；系统功能语言学指导下的多模态话语分析是目前的主要研究路径，以分析“意义”为核心，更适用于静态语篇的分析，而动态语篇更注重“行动”的过程，需要从其他角度进行分析才能更加深刻，如多模态互动分析的角度(张佐成、陈瑜敏 2014)。综上所述，多模态话语分析的方法和视角亟待完善和丰富。

1.2 多模态互动分析

思想的传递需要话语的支撑以及肢体语言和面部表情等的密切配合。为了探索TED演讲传播思想的语言模式，研究者需要有广阔的视野。TED演讲者不仅使用了言语模态，还使用了丰富的非言语模态，如手势、头部动作、面部表情等，所以TED演讲属于动态多模态语篇。因此，本研究的理论基础是Norris的多模态互动分析方法及张德禄的多模态互动分析框架。Norris的多模态互动分析属于整体分析，以“中介话语活动”为基本分析单位。活动又分为高层活动、低层活动以及凝固活动。比如，参加一场演讲，演讲本身属于高层活动，演讲中使用的手势属于低层活动，而演讲中使用过的笔属于凝固活动。Norris(2004)认为交际中的互动模态有9类，分别是言语、距离、身势、手势、头部运动、眼神、音乐、印刷物和布局。多模态互动分析的重点主要是这9类互动模态，但在具体的分析场景下，可根据语篇的特点进行增添。

张德禄、王正(2016)在此基础上提出了多层次多模态互动分析综合框架，包括5个方面：文化语境、情景语境、互动话语、模态和媒介。他们还认为话语意义中的一大部分是由非语言因素体现的，如伴语言特征：音响度、声调、语调、音速等，身体特征：手势、身势、面部表情、动作、移动等，非身体特征：PPT、音响设备、网络、实验室、周围的环境因素等。各个模态之间的协同关系，分为互补性的和非互补性的两大类，互补性又包括强化和非强化，非互补性包括交叠、内包和语境交互。(张德禄 2009)

1.3 TED演讲多模态互动分析框架

多模态的应用研究中存在的主要问题是理论框架没有被调整或改变，只考虑了较少的特定语言功能，并将其直接应用于分析对象，导致结果只是多模态话语的“重新描述”，而不是“分析”(潘艳艳 2019)。因此，为了对TED演讲进行有针对性的分析，本研究整合了现有的多模态互动分析框架，构建了TED演讲多模态互动分析框架，如下页图1所示。

图1 TED演讲多模态互动分析框架

该框架从3个层面对TED演讲进行了较为全面的多模态话语分析，分别是语境层面、互动话语层面、模态和媒介层面。语境层又分为文化语境和情景语境，是TED演讲话语分析的基础和先决因素；互动话语层的分析以“活动”为单位，尤其是低层活动，如手势、身势、面部表情等，同时考虑了说话人对活动不同的注意度；模态与媒介层面是互动话语的具体体现形式，也是本文的研究重点。本研究将模态分为听觉模态与视觉模态，拟分析模态的应用、功能以及关系，并对话语的媒介进行简要阐述。本研究以该框架为指导，采用自上而下的分析思路，探讨TED演讲模式中交际模态的应用和分布情况，以及它们如何共同构建和传达话语意义并实现传播思想的目标。研究的主要目的不是发现某种特定类型的话语中模态的应用趋势，而是以TED演讲多模态语篇为例，揭示多模态演讲在表达和交流思想上的潜力。

2. 研究设计

2.1 研究对象及研究问题

本研究选用的语料来源是www. ted. com，从中选择了Erika Hamden题为 “What it takes to launch a telescope”的演讲，该演讲视频总时长为7分18秒。演讲中包含了丰富的模态，涉及听觉模态及多种视觉模态，具有研究的价值和代表性。本研究旨在通过多模态互动分析框架探讨该TED多模态演讲的模式，研究问题为：1)影响TED演讲模式构建的语境因素有哪些？2)演讲者话语中模态的整体应用和分布有何特点?3)不同模态之间具有哪些协同关系，对演讲产生了何种影响？

2.2 研究方法

本研究从质性和量性两个方面对该演讲进行系统分析。质性研究是依据TED演讲多模态互动分析理论框架的3个层次：首先通过语料观察和文献参考得出该篇TED演讲的语境特征和互动话语的结构，然后分析模态应用的特点，最后研究模态的组合关系。量性研究采用多模态话语分析软件ELAN (EUDICO Linguistic Annotator)。ELAN 是由荷兰马普心理语言学研究所开发的一个多模态话语分析软件，广泛运用于态势语研究、话语分析和口语语料库建设等方面。本研究采用的版本是ELAN 5.8。该软件可以精确到 0.01 秒，便于对动态视频的分割、标记、定位以及循环播放。

研究步骤是：先在ELAN中根据编码(表1)对视频中出现的重要模态进行分类标注，再统计这些模态在视频总时长中出现的次数，最后根据分析结果总结语料中的模态关系，并探讨这些关系对演讲的影响。本研究的标注模态分为听觉模态(口语、音韵特征)和视觉模态(身势、手势、头部运动、面部表情、PPT)，具体的分析范围体现为表1中的编码。

表1 模态编码表

3. 分析与结果

3.1 语境特征分析

从文化语境的角度来看，对语篇的分析应该包括语篇发生的社会背景、交际目的和体裁。本研究中TED演讲的社会背景是西方文化。 在西方，演讲有着重要的地位，已经成为一种历史悠久的文化。 西方人在演讲中最大程度地使用了各种口头技巧和肢体语言。 在TED中，演讲者还可以使用多媒体技术来演示其演讲的内容，因此演讲中应用的交际模态更加多样化。TED演讲是表达思想的一种方式，宗旨是传递有价值的思想，这是一种具有创新性的分享文化，交际目的是说服人们行动起来做出改变。此外，本研究的TED语料的体裁属于科技类语篇，具有一定的规范性和学术性。

情景语境包括话语范围、话语基调和话语方式。话语范围主要指内容的深度及广度，科技类话题涉及社会发展的前沿问题且较为深奥，但又与人们的生活息息相关。话语基调指的是参加者之间的关系，包括参加者的社会地位以及他们之间的角色关系。TED的演讲者可以是科学家、教育工作者，也可以是在某个领域有新的发现且乐于分享的人，参加的观众一般是对此话题感兴趣的人。TED演讲具有学术性，但参加的人不一定有相关的知识背景，所以演讲又带有一定的口语性。话语方式是指受环境、设备、模态资源等影响的演讲方式。TED是舞台性现场演讲，所以言语模态是演讲的主要表达方式。舞台设备一般包括一个大显示屏，这也让图片、文字及视频等视觉语言的表现形式能够得以实现。

根据语境和演讲目的，本研究将TED多模态互动话语划分为4个步骤：引入、主体、高潮和结尾。 这4个步骤属于演讲活动中的4个高层活动，在TED演讲中以线性顺序构建，每个高层活动又包括了不同的低层交际活动，如手势、头部动作等。引入部分的目的是引入主题，包括简短的自我介绍和主题介绍；主体部分用来阐述事实和摆明观点，分配的时间最长；高潮部分提出演讲的主题思想，是演讲者情感的表达点；结尾部分表达了未来的行动和决心。通过这4个演讲步骤，演讲活动才得以完成。下文将分析交际模态的具体分布和应用。

3.2 模态的应用及分布

从语言表达的形式层面和媒体层面来看，该TED演讲主要分为视觉模态和听觉模态，模态使用的整体特征如表2所示。

表2 视觉模态和听觉模态的整体标注数量

从表2可以看出：在本篇演讲中，听觉模态的标注数量为380次，大于视觉模态的214次，这说明了该演讲中的听觉模态占较大的比例，视觉模态处于次要地位。模态的具体表现形式如表3所示。

表3 视觉模态和听觉模态的具体标注数量

该TED演讲的模态使用具体表现为口语的标注数量最多，标注时长也远远多于其他模态，音韵特征的标注数量次之。视觉模态中标注次数最多的是手势，其余的依次是：头部动作、身势、面部表情和PPT。此外，该演讲的引入部分、主体部分、高潮部分和结尾部分表现出不同的模态分布，各阶段模态使用的特点如图2所示。

图2 演讲各阶段的模态分布

上图中横轴表示模态，竖轴是模态在不同演讲阶段使用的次数。从图2可以看出，模态的分布在这4个阶段的共同点是：PPT的使用在每个阶段都较少，其中演讲者用了少量图片和视频，突出了演讲中的口语模态；口语中的重音、视觉语言中的开放性身体姿态较多，节拍手势和隐喻手势以及头部左右摆动的动作在演讲的各个阶段都比较活跃。除此之外，模态的分布在不同阶段具有差异性：引入阶段中常出现口语中的重音、升降调，并且经常结合视觉模态中的节拍手势、点头动作和左右摆头动作来传达信息；演讲主体阶段的模态最为丰富，语调中经常出现重音、降升调、降调、停顿，加上手部的节拍动作、隐喻手势，以及头部的左右摆动，并且图片也多次出现在主体部分；演讲的高潮阶段中，口语仍然是主要模态，口语中停顿、重音、升降调和降调经常出现，节拍手势以及左右摆头动作也较常出现，但表情多为严肃；演讲结尾的口语次数较少，体现了演讲者语言的精练，视觉模态中隐喻手势和点头动作较多，表情多为微笑。

3.3 模态关系分析

模态之间的协同关系体现在该演讲中，增加了演讲的互动意义。在该演讲中，模态的组合方式有很多种，但篇幅有限，本文不再一一举例。主要的模态组合有以下3种：口语、语调和手势；口语、面部表情和头部动作；口语和图片。下面就以这3种组合为例，从意义层面解释其关系及产生的演讲沟通效果。

(一)口语、语调和手势

图3 视频截取画面一

在这篇演讲中，口语、语调和手势的搭配组合最为常见，口语及语调都属于听觉模态，基本伴随着演讲的始终。演讲者使用最多的视觉模态就是手势，所以口语、语调和手势的搭配在这篇演讲中最多。以上图为例，口语是“I’m an astronomer who builds telescopes”，语调为先升后降，并且伴随节拍手势。这3种模态属于互补关系中的强化关系，就是说一种模态是主要的交际形式，而另一种或者多种形式是对它的强化。在强化关系中，一种模态的形式只提供背景信息，比如语言是主要的交际形式，那么手势、身势等交际形式就只起强化作用。

演讲者用这句话来开场并且介绍自己的身份。主句是升调，让听众意识到这句话还不完整；从句是降调，是对主句的补充和细化，通过语调的变化引起观众的注意力。并且相应的节拍手势分别出现在“astronomer”和“telescope”，这与语调的变化和口语表达的重要信息相一致，因此它们是互补强化关系，使演讲者更具有表现力，增强了语言的交流效果。

(二)口语、面部表情和头部动作

面部表情和头部动作在这篇演讲中也得到了很好的展现，演讲者在表达内心情感时会把这两种视觉模态，即肢体语言与口语相结合。图4中的口语是“But I look at it, and it makes me want to cry”。句末有停顿，面部表情是严肃状，头部动作是低头颔首，若有所思。这3种模态属于互补关系中的强化关系，面部表情和头部动作强调了语言所表达的情感。

图4 视频截取画面二

这里演讲者想表达的是在经过很多的努力后，仍然要面对失败时的心情。句末的停顿和面部的表情引发观众的思考，进而想知道下面发生了什么。头部及眼神朝向地面，避免与观众眼神的接触，这种舞台上流露的真性情更能使观众产生共鸣，这样的演讲也更能抓住人心，表达的信息远远多于单纯的口语表达。

(三)口语和图片

在这篇演讲中，演讲者使用了PPT的演示方法，主要运用了图片和少量的短视频。以图5为例，图片出现时，演讲者的口语是“And I have this picture that’s taken right around sunset on that day of our balloon, FIREBall hanging from it, and the nearly full moon”。图片的底色是漆黑一片，图片偏右是一轮圆月，稍偏左是一个类似泪滴的发光体，其实是承载望远镜的气球。口语是对图片的讲解，图片是对口语的呈现，所以这个图片和口语是互补关系中的非强化关系，即两种交际模态互补，但是缺一不可，即缺乏任何一者，内容都将不完整。

图5 视频截取画面三

另外，图片中大大的圆月与渺小的气球形成了鲜明的对比，为下文演讲者解释失败的原因做铺垫，黑色的图片底色更是增添了神秘和感伤的色彩。演讲者口语描述中的“sunset”“hang”“full”也加剧了伤感的氛围和画面的反差感，与观众产生了强烈的情感互动。

(四) TED多模态演讲模式

本研究在多模态互动分析的框架下对TED演讲进行了语篇分析，通过自上而下对语境层面、互动话语层面、模态及媒介层面进行系统的分析，可以将该TED的演讲模式概括为图6。本研究从多模态角度对演讲语篇进行分析，区别于话语分析的视角，体现为两点：一是基于多模态视角的分析综合反映了讲话者的话语特征，多维度和全方位地解释了演讲者话语信息的表达方式，对我们理解不同语境下的话语模态有启发作用；二是对我们的指导也是立体的，演讲不是一个纯口语性的活动，身体语言和非身体语言都需要调动起来，甚至周围的环境、道具、布置都是表达的方式，这使我们对演讲有更全面的认识。

图6 TED多模态演讲模式

4. 讨论及建议

通过对TED多模态演讲模式的分析，主要得出以下三点启示：

4.1 注意语境和交际目的对交际形式的影响

交际的形式在本文中指交际模态，即手势、姿势、面部表情等。交际发生的语境和目的对交际模态的选择具有重要影响。正如Norris(2004)所说，交际模态是基于一定的语境和文化发生的。本文中TED演讲的社会语境属于西方，尤其是发生在美国文化中，在一定程度上决定了演讲的模式。文化批评家黛博拉·卡梅隆(Cameron 2005)将英美演讲文化定义为“对真实、完整和可呈现自我的永久追求”。演讲者被要求以自己的名义发言，表达自己的观点；并且不仅以真实的方式说话，而且要成为一个真实的人，这样才能获得观众的信任和共鸣。本文中的TED演讲体裁是科技类话题演讲，体现了演讲内容的学术性。但TED演讲的目的是分享思想，是面向大众的，观众不一定有专业的知识背景。尤其是在网络环境的影响下，交际双方都在发生变化。TED的演讲者不再局限于专家学者，观众分为实时观众和线上观众，所以观众的知识背景参差不齐。那么，要在有限的时间内完成演讲并且达到传递思想的效果，演讲者语言的真实性要高于正式性，比如通过一些话语标记语，如“well”“you know”“you guys”等营造亲切的氛围。因此，在多模态的背景下，演讲能力包括了句法能力、文化能力及体裁能力(Rossette-Crake 2020),成功的英语演讲不仅能够运用正确的单词和使用正确的语法，还需要意识到并掌握背后的具体文化习俗。

4.2 要善于运用言语及非言语模态

言语模态在演讲中一般都是主要的模态，但也要善于使用视觉模态，如头部动作、身体姿势、面部表情和PPT等，这也是与观众互动的有效手段。口语模态中音韵特征的变化经常容易被演讲者忽略，但是音调的变化对话语的意义产生了很大的影响。在该TED演讲中，上升语调较少，且出现在疑问句后，大部分的句子都是以降调结尾，这也传达出了一种确定性和可信性。演讲中停顿的恰当使用既给了观众思考的时间，也更容易使观众产生共鸣。此外，重读也能增强语言表达的效果，所以言语模态中的音韵特征是演讲中不可忽略的一部分。言语和非言语模态共同使用时，应该把握不同模态结合的关系。话语的真实意义总是被不同的模态共同构建的(Norris 2004)。因此，演讲者要根据演讲每个阶段的目的，结合听觉与视觉模态共同表达话语意义。该TED演讲中模态的关系通常是互补关系，手势、身势、头部动作及面部表情这几个模态以身体为媒介，对言语的意义起到了强化及突出的作用。而PPT不以讲话者身体为媒介，能够与言语协调完成话语意义。总之，视觉模态与听觉模态相互作用，共同构建了话语意义，实现了TED传递思想的目的。

4.3 交际模态的选择要遵循一定的原则

本研究发现模态结合的密度会随着话语意义的不断推进而变化。演讲的阐述阶段是主体部分，观点的阐述以及观点的论证都会在这一部分得到集中的展示，所以阐述部分的模态使用密度最强。但模态的选择和使用有一定的规律可寻，并非是随意的。张德禄(2010)在外语教学设计中提出了对模态系统选择的原则，总原则是最佳效果原则，下面包括3个一般原则：有效原则、适配原则和经济原则。本文认为这几个原则在演讲的模态使用中同样适用。其中有效原则指模态的使用要对话语意义产生正效应，如PPT在演讲中的使用。PPT作为一种工具对话语意义的表达提供了便利，这遵循了工具原则。再如TED舞台的设计是与观众平视的角度，舞台的布置非常简单，只突出了大会的标志和演讲者，从内部激发观众把注意力不自觉地集中到舞台的演讲者身上，这是模态发挥的引发作用，即引发原则。

此外，模态的选择要遵循适配原则，即把握模态之间的关系。模态之间的关系在前文已经提到，这里不再赘述。最后，演讲中模态的选择要遵循经济原则，以最小的代价换取最优的效果。比如PPT是当今交流的重要辅助形式，但是过于花哨和复杂的视觉设计反而会带来负面的效果，尤其是TED演讲的潜在观众是来自不同国家和不同背景的人群，PPT中的视觉元素一定要简洁有力，所以简单的图片和文字是PPT的主要展现方式。这点在Theunissen(2014)的研究中有过类似的研究结果，通过对TED演讲PPT展示中视觉模态的研究，该报告发现TED演讲者倾向于应用较少技术的视觉演示以迎合背景知识较少的听众。

5. 结语

通过ELAN标注统计该TED演讲多模态话语中的口语、音韵特征、身势、手势、头部动作、面部表情、PPT, 并对它们的使用情况和相互关系进行分析, 本研究发现该演讲者的口语模态是主模态，口语中常用升降调和重音，视觉模态中多用节拍手势和左右转头动作，PPT中用了图片和视频两种表现形式。随着演讲的推进，每个阶段都有侧重使用的模态，视觉模态与听觉模态互为补充，促进了思想的传递，共同体现了演讲的互动意义并增添了演讲的效果。

总之，TED演讲是非常有价值的多模态话语分析语料。本文结合多模态互动分析理论对该TED演讲进行了定性和定量的研究，但是现实的分析过程比理论更为复杂多样，比如TED视频拍摄的远景导致有些手势无法识别，这可能会影响整体的数据分布。作者深知本研究不能代表所有演讲的模态特点，因此，仅以此文的个案为例来探讨演讲中模态运用及意义表达的潜力，启发演讲者学习多模态演讲的方法。以后的研究应该扩大研究范围，建立语料库进行多模态话语分析会是今后的发展趋势。