TED中科技类演讲的多模态互动分析

王雯珂

摘 要：TED演讲风靡全球，不同领域的新发现、新思想触手可及，已然成为最大的网络学习社区之一，其传播思想的力量不容小觑。然而，之前对于TED的相关研究大多集中于语言层面，演讲中多模态的运用还未得到足够的重视。本文以Sigrid Norris的多模态互动分析为理论框架，分析演讲者的交际模态，低层活动和高层活动的运用，并通过分析模态密度，展现演讲者对同时进行的各项活动的注意程度，探析演讲及互动过程中多模态的运用机制。

关键词： TED; 科技类; 多模态互动分析

中图分类号：H313      文献标识码：A     文章编号：1672-8122（2020）02-0043-03

一、引 言

近年来，多模态话语的研究已成为热点，对多模态话语研究的各种理论与方法也纷纷出现。如今被广泛应用的多模态研究途径可以分为五大类，即社会符号学研究、系统功能语法的多模态研究、多模态互动分析、多模态隐喻研究以及多模态语料库研究[1]。作为多模态的研究视角之一，多模态互动分析已在学术界得到较为广泛的认可，但是国内相关研究却很少见，只有少数评价性文章对其进行了简单介绍[2]。多模态互动分析以视频录像为研究对象，本文尝试运用多模态互动分析的研究方法对TED科技类演讲中播放量最高的演讲视频进行分析，探讨演讲过程中多模态的运用机制。

二、研究对象及研究方法

TED是科技（Technology）、娱乐（Entertainment）和设计（Design）的缩写，旨在传递新思想，用思想的力量改变世界。本文以TED科技类演讲中播放量最高的演讲《This is what happens when you reply to spam email》为研究对象。

本文运用多模态互动分析框架分析James Veitch的演讲，探讨演讲人如何运用多模态进行互动。Sigrid Norris在2004年的著作《Analyzing Multimodal Interaction： A Methodological Framework》[3]初步构建了多模态互动分析的理论框架。植根于中介话语分析，并结合互动社会语言学，以及社会符号学，多模态互动分析包含了大量的方法论工具，可以用来分析任何复杂的人类活动[4]。

手势、目光等模态被称为非语言模态（Nonverbal mode），而 Norris认为这种表达暗含着它们都是附属于言语模态（Verbal mode）的意义，但姿势、目光等模态在一定情况下也能在交流中占主导地位[3]。因此，Norris根据媒介特点，把交流模态（Communicative modes）分为身体模态（Embodied mode）和非身体模态（Disembodied mode）。多模态互动分析以中介活动（Mediated action）为基本分析单位，把活动分为低层活动（Lower-level action）、高层活动（Higher-level action）和凝固活动（Frozen action）。低层活动是最小意义的分析单位，如一句话，由一种交流模态完成。高层活动是由一系列的低层活动构成的，如一次会议、一篇演讲，由多种模态共同构成。凝固活动是指活动发生的环境以及环境中的物体。

高层活动中，模态强度（Modal intensity）和模态复杂度（Modal complexity）决定模态密度（Modal density）。模态强度越大，模态密度越高;模态使用越复杂，模态密度越高。模态强度是指一种模态在互動过程中的重要性或权重[2]，分为三类：即高模态强度、中模态强度和低模态强度。一种模态改变或停止，高层活动也随之改变或停止，即这个模态承担高模态强度。模态复杂度意味着多种模态互相作用，任何模态的改变或停止不会对高层活动产生根本影响。

互动过程中，活动者能同时构建多种高层活动，但只能在一种高层活动上集中注意力。因此，Norris提出前景背景连续体这一概念，描述活动者在同时发生的多种高层活动上的注意程度。模态密度与活动者对高层活动的注意程度呈正相关[2]。模态密度分为三种，相应地，注意程度也分为前景、中景和背景。高层活动的模态密度高，那么活动者的注意程度处于前景，模态密度下降，注意程度也会下降。图1为模态密度和前景背景连续体示意图。

图1 模态密度和前景背景连续体示意图注意程度的改变由凸显的低层活动指示出来，Norris把这些指示前景活动转换的低层活动称为手段（Means）。手段具有两种功能：语义功能和语用功能。当手段用来帮助活动者组织自身的注意力程度，并标志了前景高层活动的开始与结束，那么手段承担了语义功能。当手段帮助其他参与者发觉出前景高层活动的转换，此时手段承担了语用功能。本文运用多模态互动分析中的低层活动与高层活动、模态密度和前景背景连续体以及手段来展示在演讲中多模态的运行机制。

三、TED演讲视频的多模态互动分析

（一） 低层活动和高层活动

James Veitch在TED发表《This is what happens when you reply to spam email》为主题的演讲，他花费三年的时间回复垃圾邮件，James Veitch 便分享了他在这个过程中和名叫Solomon Odonkoh和Wennie Mandela两个诈骗犯的邮件往来。

图2 四种同时进行的高层活动图2展示了同时进行的四种高层活动，第一行的第一个图是James讲述曾收到的一封垃圾邮件，第二幅图中，James站姿稍倾斜，左脚向后，说到这封邮件能成功通过垃圾邮件过滤器时，右手在空中划了三圈以表示“通过”这个动作，之后把手收回身前，同时左腿向外打开。第四幅图中，James表示他也不能确定这封垃圾邮件是如何能够做到避开过滤器的，他双手打开在空中摆动表示疑惑。接着他收回手，并抬高右手强调这封垃圾邮件确实出现在他的邮箱中，在表示“出现”时，右手在空中进行了向下拍打的动作。随后把手收回腰间，手肘弯曲，手掌放在腰间，说出这封邮件是来自一个叫做Solomon Odonkoh的人，这时James并没有继续讲话，同时嘴唇向下撇并向外撅，表示对邮件人的名字感到惊讶，并保持了一秒钟，在等观众的反应。之后自己接着说“I know”，仿佛了解观众发笑的原因。之后，James把手放下去，低头看向左手中拿的多媒体播放器，按下控制器，抬起头，左手抬高至胸前，并向观众读出多媒体播放器上的内容。

在这12张图中，演讲者James运用到的低层活动包含每一句话、每一个手势、每一种姿势，如身体的倾斜、腿部的移动和目光的转移，这些低层活动共同构成了高层活动。在这幅图组中，演讲者同时进行了四种高层活动：演讲、与观众互动、展示多媒体，与进行TED演讲的录制，这四种高层活动也包含着许多低层活动链。

（二） 模态密度和前景背景连续体

演讲、与观众互动、展示多媒体与录制演讲这四个高层活动是同时进行的，但是活动者一次只能完全集中在一个高层活动上，通过分析模态密度可以发现演讲者对四种高层活动的注意程度。在演讲这一高层活动中，演讲者虽然使用了多种模态，例如，双手打开、目光直视观众，以及姿势的变换，但是这一高层活动却承担着高模态强度，这是因言语模态起到了关键性作用，言语模态一旦停止，演讲这一高层活动也会随之停止，因此演讲这一高层活动具有高模态密度，演讲者需要完全集中注意于语言的表达，是前景化高层活动。

与观众互动这一高层活动只是在演讲停顿间隙完成的，演讲者在说完垃圾郵件发件人的名字后，停顿了一秒钟没有讲话，等待观众的反应，又对观众的反应做出肯定，说出“I know”。这些不同模态的低层活动共同构成高层活动，其中并没有任何模态改变或停止后会影响到高层活动。同时，与观众互动只是在演讲中间发生的，James只是分散出一些注意力与观众互动，但并未把全部的注意力集中在这上面，演讲仍然占据他最多注意力。因此与观众互动这一高层活动的模态密度是由模态复杂度完成，并且具有中模态密度，处于演讲者注意程度的中景。

展示多媒体这一高层活动则具有高模态密度，且由高模态强度和高模态复杂度共同构成。首先，在这一高层活动中，物质世界中的多媒体播放器承担了高模态强度，如果多媒体播放器停止使用，那么就无法再向观众进行展示。其次，在此高层活动中，多种模态相互作用，模态使用较为复杂，为播放多媒体，James手握播放器，并按下，随之演讲者把头抬起看向播放屏幕，同时用言语模态念出播放器上的文字。在此高层活动中，演讲者的注意力集中在播放多媒体上，对演讲的注意力稍微降低，因此展示多媒体是前景化高层活动。

进行演讲的录制这一高层活动是从James演讲开始直到演讲结束一直在进行的，演讲者进行演讲时能意识到录影，这一高层活动在他整个演讲过程中也会存在于他的意识中，但他并未过多地关注这一件事，因此，演讲的录制这一高层活动具有较低的模态密度，是背景化高层活动。

（三）手段

在四种同时进行的高层活动中，有两个都是前景化高层活动。演讲者组织自己的前景化活动的转变，以及参与者能够意识到这个转变都是通过手段实现的。

图3 前景化高层活动的转变如图2中第三行第三幅图，演讲者通过按下手中控制器这一手段，前景化高层活动从演讲转变到展示多媒体。演讲者运用这一手段组织自己前景化高层活动转变，而且示意观众前景化高层活动的改变。又如图3中第二行图片，观众目光原本都集中在演讲者身上，他们的前景化高层活动就是在认真听演讲，但是演讲者通过手段转变了前景化高层活动，相应地，观众都抬起头，看向多媒体播放器。

四、结 语

运用Norris的多模态互动分析框架，本文对TED科技类演讲中播放量最高的James Veitch的《This is what happens when you reply to spam email》演讲从低层活动和高层活动，模态密度和前景背景连续体，以及手段三个方面进行分析。James频繁使用了言语、手势、目光，姿势以及外部环境中的多媒体，这些低层活动组合链又构成了演讲、与观众互动、展示多媒体与录制TED演讲这四种高层活动。其中，演讲和与观众互动模态密度高，是前景化高层活动，两个前景化高层活动通过演讲者按下多媒体控制器进行转变。通过多模态互动分析，在演讲过程中，演讲者对多种模态的协调运用可以清晰地呈现出来。本文是多模态互动分析运用于演讲视频的一次尝试，同时也期望能够对演讲者提供一定的帮助。

参考文献：

[1] 冯德正， 张德禄， Kay O'Halloran.多模态语篇分析的进展与前沿[J].当代语言学， 2014， 16（1）： 88-99.

[2] 张德禄， 王正. 多模态互动分析框架探索[J].中国外语，2016，13（2）：54-61.

[3] Norris Sigrid.Analyzing Multimodal Interaction：A Methodological Framework[M].London：Routledge，2004.

[4] Norris Sigrid and Jesse Pirini.Communicating knowledge，getting attention，and negotiating disagreement via videoconferencing technology：A multimodal analysis[J].Journal of Organizational Knowledge Communication，2017，3（1）：23–48.

[责任编辑：杨楚珺]