基于ELAN的演讲视频多模态互动机制研究

〔关键词〕 Ted 教育类演讲视频;多模态互动;交流模态;ELAN

随着现代传播技术的发展，多模态话语冲击了传统上文字在交际领域中的中心地位。在许多情况下，语言与其它符号模态资源一起构建意义，共同为交际服务。Kress & van Leeuwen 指出多模态语篇是任何一类通过一种以上符号编码实现意义的语篇[1]。与Kress & van Leeuwen 的研究不同，Norris 的多模态互动分析侧重于动态的多模态话语，认为互动是通过言语（spoken language）、空间距离（proxemics）、身体姿势（posture）、手势（gesture）、头部动作（head movement）、眼神（gaze）、场景布局（layout）、音乐（music）及印刷品（print）交流模态的相互协同使用而完成的[2]24。作为一种有准备的、即席性的话语类型，演讲视频不仅包括了言语模态的使用，还综合了演讲者音韵、手势、头部动作、眼神、脸部表情等模态协作的特点，是典型的动态多模态语篇。本文结合Norris 提出的模态密度前景?背景连续统一体（modal density foregroundbackgroundcontinuum）的分析框架[2]128，探究一则TED 教育类动态多模态演讲视频在演讲问题导入、问题提出、问题分析和问题解决这四个部分中各交流模态的分布特征以及各模态使用的强度和密度。同时，根据各交流模态使用的强度和密度以及交际主体对交际模态的注意或意识程度进行切分，并统计各个模态在互动协调关系中所占的比例，分析在整个演讲视频中演讲者言语、音韵、手势、头部动作、眼神等交流模态在构建演讲信息中所起的作用以及这些交流模态之间的互动机制。

一、研究背景

（一） 多模态话语分析的新发展

随着多模态话语研究的深入，多模态话语分析初步形成了以下三种理论方法[3]：第一种是以Gun-ther Kress & van Leeuwen 为代表的系统功能多模态话语分析（systemic functional-multimodal discourseanalysis）[4];第二种是以Norris 为代表的多模态互动分析（ multimodal interactional analysis）[2]; 第三种是Gu 提出的语料库语言学多模态话语分析[5]，其中系统功能语言学视角的多模态话语分析取得了很多丰硕的成果，如O Halloran[6]、Baldry & Thibault[7]、李战子[8?9]、胡壮麟[10]、张德禄[11?13]、梁兵和蒋平[14]、国防[15]、管乐[16] 等。同时，多模态语料库也受到了研究者的重视。Baldry & Thibault 建立的在线多模态检索器Multimodal Corpus Authoring （MCA） 等多模态分析软件的开发和使用为多模态语料库的建立和分析奠定了基础。但是， 以Norris 为代表的多模态互动分析的应用尚未得到重视。

（二） 关于演讲的研究综述

TED 是技术（ technology）、娱乐（ entertainment）和设计（design）三个英语单词的缩写。近几年来，以“互联网+演讲”的TED 演讲掀起了演讲传播的热潮。演讲者通过TED 演讲平台传递新思想、新信息、新观点。作为TED 主题之一的教育类演讲一直是最受关注的演讲话题之一。从目前对演讲的研究来看，Rendle-short[17] 对演讲中肢体语言和语言使用进行了研究，并发现了两者之间的复杂关系，Morton[18] 对演讲体裁进行了分析，Tardy[19] 对演讲中使用的PPT 与演讲内容之间的关系进行了探讨。从国内来看，学者们主要是从外语教学和语用学的角度来研究演讲的，如赵燕飞[20]、李颖[21]、刘森和吴鸿皓[22]、林岩[23] 等。但是从Norris 多模态互动理论的视角，并运用定性和定量相结合的研究方法来分析演讲者在整个演讲视频中如何使用各种交流模态来构建演讲信息以及各交流模态之间是如何构建多模态互动意义的研究非常少。

二、多模态互动分析理论

以Norris 为代表的多模态互动分析吸收了互动社会学、中介话语分析、联结分析（nexus analysis）、多模态话语等方面的研究成果。Norris 指出多模态互动的基本分析单位为“行动”（action），行动总共分为三个部分，即低一级行动（low-level action）、高一级行动（high-level action）和冰冻行动（frozen action）[2]26。人类互动被看作是一个交际事件，整个交际事件可以分成若干个阶段，各阶段都由一系列高一级行动构成，而每一个高一级行动由一系列低一级行动构成，低一级行动和高一级行动在互动中被连贯地建构起来;冰冻行动属于高一级行动，属于未出现的行为动作的模态。

（一） 交流模态（communicative modes）

Norris 指出人际互动包括九种交流模态：言语、空间距离、身体姿势、手势、头部动作、眼神、场景布局、音乐和印刷品。交流模态是具有规律和规则的意义表达体系或符号体系[24]81，以上九种交流模态在人际互动中起着重要作用。Norris 将场景布局、音乐和印刷品三种交流模态称为非实体（disembodied）模态[2]12。由于在本文选取的语料中这三种交流模态的体现不明显，因此这三种交流模态在此不再赘述。

1.言語

言语交流模态是指交流者在互动过程中使用的话语。其中，语调单位是语言模态的基本单位，也是构成多模态互动的“低一级行动”，言语模态被认为是交流者表达思想和传递信息的主要模态，在交流中交际主体和参与者的声音所表现出的不同语调都具有互动意义[2]17。

2.空间距离

空间距离交流模态是指个人与其他人以及物体之间的空间距离[2]19。在交流过程中，由于文化背景和个人喜好不同，个人与其他人以及物体之间保持的空间距离也有所不同。Hall 把空间距离分为亲密距离、个人距离、社会距离和公众距离，可通过调查保持的距离来分析互动中参与者体现的亲密度和正式程度[2]20。一般情况下，近距离表示亲近，远距离表示正式。

3.身体姿势

身体姿势交流模态是指在特定的交际过程中，参与者保持的身体姿势[2]24。身体姿势主要包括两个方面，一是身体的位置，根据身体位置的方向可分为开放式（open）或封闭式（closed）姿势，如果张开双臂，体现的是一种开放式姿势，如果双臂交叉，双腿交叉体现的是一种封闭式姿势;二是个人身体朝向他人的方向，各种姿势都各自表达不同的信息和互动意义。

4.手势

手势交流模态分为四种类型[2]28。图画型手势（iconic gestures）是指模仿口头表达的内容或描述特定的物体或事件，使其更加生动。隐喻型手势（metaphoricgestures）是指体现那些“看不见”的东西，属于抽象的观点或范畴，通过手势运动描述比喻性物体的形态和形状。指示性手势（deictic gestures）是指向物质世界中的人或物体，也可以指过去或将来发生的事件或真实存在的概念和观点。节奏型手势（beatgestures）像音乐中的节拍一样，指手上下或来回打的节拍。手势是一种综合性的模态，伴随言语发生的手势通常起强调作用或使描述事物更加客观化和形象化。

5.头部动作

头部动作交流模态是指在交流中头部的移动，简单的头部动作包括点头、摇头或侧面运动。根据在交际中的不同意义，Norris 把头部动作分为四种类型[2]45，即方向转变（directional shift）、有节奏地点头（head beats）、姿势移动（postural shifts）和眼神移动（gaze shift）。

6.眼神

眼神交流模态是指目光的组织、方向和强度，在交流中，根据人们参与活动情况，参与者的眼神交流可以起着重要或次要的作用[2]49。

Norris 认为以上交流模态并不是完全孤立存在的，每一个交流模态与其他模态联系在一起，彼此之间相互依存、相互作用。交流模态包含的意义潜势（ meaning potential）主要由互动情境或环境所决定[2]52。

（二） 模态布局和模态密度

关于模态之间的互动，Norris 提出了“模态布局”（modal configuration）和“模态密度”（modal density）两个重要概念[2]125。模态布局是指在构建高一层行动中起作用的各个模态间的层级关系或重要程度。模态密度是多模态互动研究的关键内容，指的是高一层级行为通过模态强度（modal intensity）和模态复杂性（modal complexity）得以实现[24]82。模态强度是指某个或某些模态在构建一个行为中的重要性，模态强度与社会行为者的“注意”（attention）和“意识”（awareness）之间有密切关系， 如高模态强度相当于互动注意或意识（interactional attention/awareness）的高一级行动。根据在构建“高一级行动”中所起的作用，模态强度包括高模态强度（highmodal intensity）、中模態强度（medium modal intensity）和低模态强度（low modal intensity）三个部分，任何模态都能体现高模态强度，有时多种模态相结合也能体现高模态强度，模态强度越高，模态密度就越大。在构建交际活动中，“社会行动者”（social actor） 所进行的高层活动可能多于三种，因此Norris 指出多种同时进行的高层活动可运用“模态密度前景?背景连续统一体”来描述[25]，高层活动的模态密度与行动者对活动的注意（attention）程度呈正态分布。使用模态密度高，最受行动者注意的是前景化行动;反之使用模态密度低，最不受行动者注意的是背景化行动;处于中间的是中景化行动。交际活动中模态复杂性是指“社会行动者” 构建行为时所使用的模态数量，如果共同完成一种交际活动所涉及的模态数量越多，那么这种交际活动的模态复杂性就越强[26]，属于高复杂度的高层活动。

三、研究方法

（一） 语料

本文的语料选自心理学家Angela Lee Duckworth在TED 大会上一次题为“毅力是激情和坚持的力量”的演讲，其主题属于教育类演讲。根据TED 官网的统计，该视频截至2021 年4 月3 日，其点击率超过了2 300 万次①，整个演讲持续的时间虽然只有5 分39 秒，但是演讲主题突出、逻辑清晰、内容新颖，深受观众的喜爱。Duckworth 指出她和她的研究团队通过大量的研究发现I.Q.的高低并不是获得成功的秘密，毅力才是取得成功、实现目标和发挥激情的力量。最后她告诉观众培养毅力最好的方法是培养成长性思维模式。Norris 指出人类互动具有目的性，而目的的实现存在阶段性[2]110，因此根据演讲体裁的阶段性和张德禄[11]28 提出的动态多模态语篇切分的三个标准，笔者将此演讲语料分为演讲问题导入、问题提出、问题分析和问题解决共四个部分，语料特征见表1。

（二） 语料处理

根据Norris 提出的交流模态[2]，运用多模态话语标注软件ELAN 进行标注。为了方便标注，笔者参照王立非、文艳[27] 的附码体系指定附码表（见表2）。一共分为八个层面（图1）：体裁结构、言语、手势、头部动作、脸部表情、眼神、身体姿势和音韵。图1 是使用ELAN 对整个演讲视频进行标注截屏，视图的左边是分层区，右边可以对演讲者的言语进行转写并对各个不同层级（交流模态）进行标注。具体附码如下：

音韵交流模态包括语调下降[PIF]、语调上升[PIR]、语调先升调再降调[PIRF] 以及语调为重读[PIS];手势交流模态包括图画型手势[HNI]、隐喻型手势[HNM]、指示性手势[HNDe] 和节奏型手势[HNB];头部动作包括头部向上仰[HDU]、低头[HDD]、点头[HDN] 和头左右移动[HDMA];面部表情分为面部微笑[FFS] 和面部严肃[FFSe];眼神包括直视观众的眼神[EGA] 和环视四周[EGAr];身体姿势主要包括开放式姿势[POO] 和封闭式姿势[POC]。

（三） 研究问题

（1）在该演讲视频的问题导入、问题提出、问题分析和问题解决这四个部分中，言语、手势、头部动作、脸部表情、眼神、身体姿势和音韵这七种交流模态在构建演讲交际活动中所起的作用以及这些交流模态之间是如何互动的？

（2）在该演讲视频的问题导入、问题提出、问题分析和问题解决这四个部分中，各交流模态使用的强度和密度的差异是什么？

四、语料分析

根据表3 的数据，在整个动态演讲视频中，音韵交流模态持续的标注时长最长，所占标注时长百分比最多，达到85.27%，其次是身体姿势交流模态，占标注时长百分比达75.63%，眼神交流模态占标注时长百分比达71.2%，可见在演讲中，演讲者的音韵、身体姿势和眼神交流模态在演讲中起着重要作用。下面根据ELAN 对该演讲视频四个部分标注的数据（表4），分别对演讲视频四个部分中各交流模态之间的互动关系以及模态使用强度和密度进行分析。

（一） 演讲视频的问题导入部分交流模态之间的互动关系

演讲视频的问题导入部分持续时长1 min 4 s，演讲者主要构建了两个“高一级行动”：一是阐述了自己的职业身份;二是导入演讲问题即指出智商并不是最好和最差的学生之间的差异。在这两个高一级的行动中，演讲的问题导入一直是演讲者和观众关注的焦点，所运用的模态数量最多，模态密度最大，模态复杂性最强，属于前景化高层行动。

通过ELAN 多模态软件的标注（表4），在演讲的问题导入部分，眼神交流模态和音韵交流模态的标注时长百分比分别为56% 和55.8%，可见在构建问题导入部分的两个“高一级行动”中，眼神交流模态和音韵交流模态体现了高模态强度，脸部表情的标注时长百分比最少（31.1%），属于低模态强度。以下是演讲的问题导入部分言语模态与其他交流模态的例证（见表5）。

在演讲视频的开头，首先演讲者面带微笑的表情[FFS] 和开放式身体姿势[POO] 在演讲的一开始就营造出了一种和谐的氛围，拉近了与观众的距离，增进了亲近感。同时，演讲者使用了降调[PIF] 和重读[PIS] 的音韵交流模态强化突出了她的职业身份“teaching”，并使用环视四周的眼神模态[EGAr]和点头的交流模态[HDN] 非常自信地讲述了她选择了一份“more demanding”的工作，即教学工作。可见，言语模态、环视四周的眼神交流模态和重读的音韵交流模态对前景化高层行动即演讲者职业身份的阐述起突出和强调作用。

然后演讲者在运用言语模态的同时，其面部表情表现得比较严肃[FFSe]，从表4 的数据来看，这一部分持续的时间最长，长达23 s，占标注时长的22.4%，同时还使用了节奏型手势（HNB）和重读[PIS] 的音韵交流模态来强调她在教学中发现的令人震惊的问题：I.Q. was not the only difference betweenmy best and my worst students。此時演讲者的姿势由开放式变为封闭式姿势[POC]，两手交叉放在胸前，体现出该问题的严肃性和客观性，面部严肃的表情和节奏型手势以及封闭式姿势的使用加强了言语表达的意义，强化并突出了演讲导入的问题，吸引了观众的注意。与此同时，演讲者还使用了环视四周的眼神模态[EGAr] 和头左右移动的交流模态[HDMA] 环顾在场的观众，提出了I.Q.的高低并不是最好的和最差的学生之间唯一的差别，这个问题很快诱发了在场观众的思考和关注。

最后，在演讲视频的问题导入部分，演讲者运用图画型手势[HNI] 和封闭性身体姿势[POC] 配合言语表达了“I was firmly convinced that every one ofmy students could learn the material if they workedhard and long enough”，并通过严肃的面部表情[FFSe]和重读[PIS] 的音韵交流模态 “I was firmly convinced”强调了演讲者作为教师对每一位学生都可以学会教材内容充满了信心。与此同时，演讲者环视四周的眼神模态转变为直视观众的眼神交流模态[EGA]，对观众的注意力起组织引导作用。可见，在演讲视频的问题导入部分，高模态强度的言语和音韵和眼神交流模态与手势、头部动作、脸部表情、身体姿势交流模态呈强化关系，突出了演讲者的职业身份，强化了她在教学中发现的令人震惊的问题，强调了教师对每一位学生充满信心的重要性，为后面问题的发现部分奠定了基础。

（二） 演讲视频的问题提出部分交流模态之间的互动关系

演讲视频的问题提出部分持续时长1 min 27 s。从多模态软件ELAN 的标注来看，演讲者主要构建了一个“高一级行动”，即“谁是成功者？为什么他们会成功”的研究问题。该高一级行动使用的模态数量最多，模态密度最大，最受观众注意，属于前景化行动，该部分演讲者使用的句式整齐，以排比句为主，使演讲的言语表达更富有感召力和表现力。下面就演讲问题提出部分所使用的各交流模态之间的互动关系进行分析。

通过ELAN 多模态软件的标注（表4），在演讲的问题提出部分，音韵交流模态标注时长的百分比最多，达到83.45%，体现了高模态强度。以下是演讲的问题提出部分言语模态与其他交流模态的例证（见表6）。

在演讲视频的问题提出部分，首先演讲者面部严肃地[FFSe] 运用言语模态总结了经过几年教学之后所得出的一个结论，“What we need in education isa much better understanding of students and learningfrom a motivational perspective， from a psychologicalperspective”，其音韵以降调为主[PIF]。同时演讲者将右手做成图画型手势[HNI] 在胸前来回移动，加之点头的交流模态[[HDN] 生动详细地描述了学习动力和心理学角度的抽象意义，为了保证所有的观众都能参与到问题中来，演讲者还同时使用了环视四周的眼神模态[EGAr]，眼睛扫视全场，抓住了观众的注意力和吸引力。

接着，演讲者面带微笑地[FFS] 通过言语模态提出了她和她的团队所研究的问题：“ I startedstudying kids and adults in all kinds of super challengingsettings， and in every study my question was whois successful here and why.”在叙述经历的时候，大部分句子以第一人称“we”开头，使用的句式整齐，以排比句为主，同时指示性手势[HNDe] 和头左右移动的交流模态[HDMA] 更能体现演讲者和她的团队调研的真实性，更具有说服力。与此同时，演讲者直视观众的眼神交流模态[EGA] 和开放式姿势[POO] 使演讲更富有感召力和表现力。

在演讲视频的问题提出部分，演讲者还重点运用言语模态和一连串的指示性手势模态[HNDe] 描述了她和研究团队在“West Point Military Academy”，“National Spelling Bee”以及对“rookie teachers”和“private companies”调研的真实经历和过程，描述十分形象具体，同时在谈到所研究的关键问题即“ rookie teachers working in really tough neighborhoods，asking which teachers are still going to be herein teaching by the end of the school year”， 以及“whichof these salespeople is going to keep their jobs inprivate companies”的时候，演讲者将左手和右手握拳（封闭式姿势），眼神环视四周，面部表情由微笑转为严肃，突出了该调研过程中的严肃性，引起了观众的注意与思考。从ELAN 多模态分析软件的统计数据来看（表4），演讲问题的提出部分，演讲者的音韵模态主要以叙述内容的降调为主，长达67 s，占标注时长的66.6%，降调音韵的使用使观众更容易地接受新信息。可见，在演讲视频的问题提出部分，高强度的言语和音韵交流模态与手势、头部动作、脸部表情、眼神、身体姿势交流模态相互协同，呈现互补关系，共同完成了演讲者和她的团队研究问题以及调研的意义构建，为交际服务。

（三） 演讲视频的问题分析部分交流模态之间的互动关系

演讲视频的问题分析部分持续时长1 min 31 s。演讲者指出预示成功的特征不是很高的I.Q.而是毅力。在构建“问题分析”这一“高一级行动”中，演讲者使用的模态数量最多，模态密度最大，属于前景化高层行动，该部分中演讲者的大部分句子以简单句为主，论证充实，说服力强。下面我们就演讲问题分析部分所使用的各交流模态之间的互动关系进行分析。

通过ELAN 多模态软件的标注（表4），在演讲的问题分析部分，音韵和脸部表情交流模态标注时长的百分比均超过了60%，模态强度高。以下是演讲的问题分析部分言语模态与其他交流模态的例证（见表7）。

在演讲视频的问题分析部分，首先演讲者眼睛环顾四周，面部表情严肃，头部稍低，运用带有降调的音韵言语模态分析了研究问题的答案，即“Grit is a significant predictor of success”。演讲者指出毅力是对长远目标的激情和坚持，毅力把生活当成一场马拉松而不是一场短跑，肯定了毅力在成功的道路上起的重要作用。同时演讲者的两只手放在胸前，该图画型手势[HNI] 和封闭式姿势[POC] 配合言语模态将“grit”的内涵描述得生动具体，感染力强。

接着，演讲者的面部表情从严肃转为微笑，面带微笑地通过言语模态阐述了针对上千名初中生毅力情况的问卷调查结果，体现了对该调查结果十分满意。在配合言语模态“grittier kids were significantlymore likely to graduate”的同时，演讲者还使用了降调音韵模态[PIF] 让观众更容易接受調查的新信息。再者，演讲者双手自然放在胸前，使用了开放性的姿势[POO]， 并运用指示性手势[HNDe] 客观地描述了有毅力的学生更容易毕业的情况，该手势模态增添了意义表达的真实性和客观性。

在演讲视频的问题分析部分，演讲者在讲到“ the most shocking thing about grit is how little weknow， how little science knows about building it”的时候，演讲者的眼睛环顾四周[EGAr]，指出了在培养毅力上，科学对毅力的理解和认识是非常贫乏的，希望通过眼神的力量能引起观众和科学界对毅力的重视。同时，演讲者此时的姿势由开放式变为封闭式[POC]，演讲者的左手抓住右手，这个姿势传递出的信息是希望观众重视毅力对成功的重要作用。从ELAN 的标注来看，演讲者先升调再降调[PIRF]的标注分别达到2 次，其中演讲者先升调再降调的标注持续时间最长，其标注时长百分比为24.6%。在谈到“the most shocking thing about grit”的时候演讲者用了升调，后面“how little we know， how littlescience knows about building it”使用了降调，先升调再降调的音韵模态突出了我们在培养毅力上知之甚少这一最让演讲者震惊的问题，引人深思。可见，演讲视频的问题分析部分，高强度的言语、音韵、脸部表情交流模态和其他非言语模态互补协调，相互补充，演讲者分析了研究问题的答案即毅力才是成功的秘诀，取得了最佳的交际效果，共同体现交际意义。

（四） 演讲视频的问题解决部分交流模态之间的互动关系

演讲视频的问题解决部分持续时长1 min 46 s，演讲者主要构建了问题解决这一“高一级行动”，即提出了培养毅力最有效的方法是“growth mindset”。该“高一级行动”所运用的模态数量最多，模态密度最大，是观众注意的焦点，属于前景化行动。下面我们就演讲问题解决部分所使用的各交流模态之间的互动关系进行分析。

通过ELAN 多模态软件的标注（表4），在演讲视频的问题解决部分，手势模态、头部动作、脸部表情、眼神、身体姿势和音韵交流模态的标注时长的百分比均超过了75%，这六种交流模态相结合共同体现了高模态强度。以下是演讲的问题解决部分言语模态与其他交流模态的例证（ 见表8）。

在演讲视频的问题解决部分，演讲者在讲述每天都有家长和老师来问她怎样做才能培养孩子的毅力的时候，双手手指张开，放在胸前，即使用了指示性手势模态[HNDe] 和开放性的姿势[POO]，表示“I dont know”，该手势模态与言语模态表达的意义重复，同时演讲者面带微笑地说出了“ I don'tknow”这三个字，全场观众也都笑了起来，各交流模态的运用调动了全场的气氛，增添了演讲幽默诙谐的气氛。与此同时，演讲者在描述家长和老师提出的问题：“How do I build grit in kids？ What do I doto teach kids a solid work ethic， how do I keep themmotivated for the long run？”的时候使用了升调，“Idont know” 使用了降调，其音韵模态主要以先升调再降调[PIRF] 为主，描述生动，让观众对如何才能培养孩子毅力的这个问题更加感到好奇，为后面演讲问题的解决做了铺垫。

然后演讲者大拇指和食指合并，运用图画型手势[HNI] 配合言语描述了“ There are many talentedindividuals who simply do not follow through on theircommitments.”，同时面部表情由微笑转为严肃[FFSe]，其实有许多才华横溢的人都无法坚持兑现自己的承诺，面部表情的转变体现了演讲者构建的不同互动意义。接着演讲者眼睛环顾四周[EGAr]，伴随头左右移动[HDMA] 和身体开放性姿势[POO]，阐述了“ Grit is usually unrelated， or even inversely relatedto measure of talent”，同时“unrelated”使用了升調和重读，“measure of talent”使用了降调，让在场的观众更容易接受调查数据的结果。

在演讲的最后，演讲者面部严肃，并抬起右手运用指示性手势模态[HNDe] 说明了“Growth mindsetis a great idea for building grit”，即成长型思维模式对培养毅力大有裨益。接着，演讲者运用升降调和重读音韵模态说出了带有三个“need to”的排比句，强有力地说明了我们应该如何做才能培养毅力，丰富了演讲的言语表达，深化了演讲主题。同时头左右移动[HDMA] 的交流模态更能增强演讲者与观众之间的互动。最后，演讲者运用点头的交流模态[HDN] 和双手交叉放在胸前的封闭式姿势[POC] 阐述了培养成长型思维模式的方法是“we need to begritty about getting our kids grittier”，即我们只有自己变得更加有毅力才能让我们的孩子变得更有毅力才是培养“成长型思维模式”的最好方法，增强了观众对培养成长型思维模式的信心，启发性强。最后，演讲者点头的交流模态[HDN] 转变为头左右移动的交流模态[HDMA]，向在座的观众表示感谢，结束了自己的演讲。可见，在演讲视频的问题解决部分，演讲者提出了培养毅力最有效的方法，言语模态与与其他交流模态相结合，模态强度高，呈现并列关系，使表达意义更加具体生动。

五、研究结果

通过以上分析，研究发现演讲属于高复杂度的高层活动，言语交流模态和音韵交流模态始终处于高模态强度。在整个演讲的过程中，演讲者使用了言语、音韵、手势、头部动作、脸部表情、眼神、身体姿势这七种交流模态。为了取得最佳的演讲效果，各交流模态之间存在互动关系，相互配合，相互协同，成功达到了演讲的交际目的，共同构建了多模态互动意义。

通过以上分析，在演讲视频的四个部分中各交流模态使用的强度和密度存在差异。在演讲视频的问题导入部分，演讲者身份介绍和问题导入属于高模态密度活动，处于高模态强度的言语、音韵和眼神交流模态与手势、头部动作、脸部表情、身体姿势交流模态呈强化关系，强化了演讲的主题，有效地构建了演讲的导入信息。

在演讲视频的问题提出部分和问题分析部分，演讲者的问题提出和问题分析过程属于高模态密度活动，高模态强度的言语和音韵交流模态与手势、头部动作、脸部表情、眼神、身体姿势交流模态相互协同，相互补充，相互依赖，呈现互补关系，使演讲更具有启发性和感染力，取得了最佳的交际效果，体现了交际意义。

在演讲视频的问题解决部分，演讲的问题解决属于高模态密度活动，所使用的音韵、眼神、头部动作、身体姿势、手势和脸部表情交流模态的标注时长百分比都在75% 以上，言语、音韵交流模态和手势、头部动作、脸部表情、眼神、身体姿势交流模态相结合共同体现了高模态强度，呈现并列关系，实现了演讲者所要表达的意义和目的，加深了观众对演讲的印象。

六、结语

文章运用Norris 多模态互动分析理论，采用“模态密度前景?背景连续统一体（modal density foreground-background continuum）”的分析框架，运用多模态分析软件ELAN 对一则TED 教育类演讲视频进行了多层级同步标注，分析了交际主体即演讲者在演讲的问题导入、问题提出、问题分析和问题解决四个阶段所表现出来的各种交流模态，并对各交流模态的分布特征和各模态之间的互动机制进行了分析。通过综合运用各种交流模态，演讲者在这则TED 教育类演讲中，突出了教育中的最新问题，有效地传播了最新的教育理念，并提出了解决教育问题的方法。多模态互动分析不仅在理论和应用上丰富和发展了多模态话语分析，还为动态多模态话语分析的研究提供了新的视角[28] ，希望在以后的研究中能更多地运用Norris 多模态互动分析理论来研究多模态语篇，以拓展多模态互动分析理论的研究范围，并通过不断的实践来验证该理论的可行性和可发展性，同时运用多模态标注软件ELAN 对TED的其他类型的演讲进行研究，这些都是今后需要进一步研究的课题。