《多模态数据的系统化处理：多模态话语分析中的研究方法》述评

青岛科技大学 刘 靖 陈露露

1. 引言

《多模态数据的系统化处理：多模态话语分析中的研究方法》(SystematicallyWorkingwithMultimodalData:ResearchMethodsinMultimodalDiscourseAnalysis)是多模态话语互动分析研究的代表人物Sigrid Norris于2019年由Wiley-Blackwell出版公司出版的最新成果。多模态互动分析作为一种新的多模态话语分析方法，吸收了互动社会语言学、中介话语理论和多模态领域的研究成果，在多模态话语研究领域的作用日益凸显。Jewitt (2009：28-39)认为多模态互动分析、社会符号学分析、系统功能语言学的多模态话语分析共同组成多模态话语的3种主要研究方法。该书通过介绍具体的多模态数据收集和处理步骤，论述了系统化处理多模态数据对于多模态研究的重要意义。信息技术的发展使数据的收集和处理日益便捷，但多模态话语的跨学科性，增加了其研究的复杂性，因此研究在多模态话语分析过程中如何对数据进行科学、系统的收集与处理就显得尤为必要。

2. 内容概述

第一章概述了整书的主要内容及适用人群，区分了不同层次学习者适用的章节，对该书的使用方法做了说明。该章后半部分介绍了与多模态话语分析相关的理论和框架体系，引用相关文献,阐述了多模态话语研究的跨学科属性,该书的构建框架和相关理论支撑，以及对多模态话语研究者的启发意义。

第二章主要关注多模态话语分析中涉及的基本理论和概念，作者从多模态话语的哲学基础出发，论述了社会行为等相关理论，以及多模态话语分析的经验框架，着重探究了Scollon的多模态中介理论是如何为该书提供哲学和理论支撑的。作者梳理了多模态话语分析中两个重要的哲学概念：感知(perception)和体验(embodiment)，介绍了社会行为的原则和交际的两个次原则。此外，该章还讨论了Scollon多模态中介理论溯源及形成过程，指出Scollon的思想是多模态话语互动分析的理论基础。

第三章详细阐述了多模态数据系统化处理的第一阶段：数据收集。多模态话语分析的特点决定了影像数据收集的重要性和复杂性。该章以影像数据收集为例，介绍了小数据集、中数据集和大数据集的收集方法，整体上可分为10个步骤：确认研究主题或话题，提出研究问题，录像记录和镜头设置，进行现场录制和采访参与者，制作数据收集表格，确定数据采集现场布局，以及整理数据并进行时间标注。第三章还提及了录像记录的局限性，包括数据收集的完整度以及Labov曾提及的观察者悖论。要求研究者基于自己的研究目的和研究问题，选择最佳的数据收集方案。

第四章是多模态数据系统化处理的第二阶段：数据描述。该章详细讨论了在进行数据转写之前对数据进行描述的重要性，并以YouTube视频等为例介绍了对不同类型的数据集如何进行描写。这个阶段主要包括5个步骤：确定目标数据集；借助分析工具(介入点)以图解形式确定研究者在数据集中的位置；确定具体某一个数据块；借助分析工具(介入点)以图解形式确定研究者在数据块中的位置；围绕数据提出完善研究问题。作者结合视频的民族志研究详细阐述了如何将这5个步骤应用于不同大小的数据描写。

第五章阐述了多模态数据系统化处理的第三阶段：微观分析数据块筛选。和Hasko曾提及的大量数据库分析相类似，该章旨在进一步处理所收集的数据，以一种更加系统化的方式为各类微观分析区分和挑选数据，阐明其研究的适用性。多模态数据系统化处理的第三阶段分为4个步骤：借助中介行为的概念对研究问题进行剖析，确定参与者、动作和中介工具；界定区分高层中介行为，该过程可借助表格记录和时间标记法；借助表格等对已界定的高层中介行为进行分类整合，以期在进一步研究中提高效率；具体细化介入点，即围绕中心问题为进一步的微观分析挑选数据块，确定具体研究点。

第六章论述了多模态数据系统化处理的第四阶段：按多模态转写惯例转写数据。多模态转写惯例要求以一种更加系统、全面、精细的方式对数据进行转写，在一定程度上可以说多模态转写就是分析。在人类互动中言语模态并不总是起主导作用，每个模态的使用都有自己可观察到的过程，例如起点、持续和结束，因此可以分别进行描述(张佐成、陈瑜敏 2011： 4)。作者结合多模态实例介绍了几种模态的转写过程，比如布局、空间距离、身体姿态、手势、注视等，最后一步是整理形成揭示互动本质的多种模态转写。

第七章讨论了多模态数据系统化处理的第五阶段：分析工具的使用。该章可大致分为3个部分，首先是为微观挑选合适的分析工具，这是关键的一步，分析工具关系研究角度及研究的可行性。作者介绍了7种分析工具，包括底层中介行为、高层中介行为、凝固中介行为、模态密度、模态结构配置等。其次，作者结合实例介绍了这些分析工具的特点及适用范围，研究者需要根据已转写的数据选择最合适的分析工具。作者最后介绍了中级和宏观分析所需的分析工具，补充了3种分析工具：行为范围、介入点/实践和语篇、时间轮和节奏。

第八章对全书的内容进行了概括和总结，阐述了该书为多模态话语分析领域的研究者提供的收集和分析多模态数据的系统方法，并区分了每个章节的侧重点和适用范围，为该书的使用者提供了建议。

3. 简评

3.1 启示

该书围绕多模态话语分析中涉及的数据处理问题，在多模态互动分析框架及中介行为理论的基础上，借助现代信息技术手段，向读者提供了一种较为系统、科学的多模态数据处理范式，具有较强的启示意义。纵观全书，该书有以下三大特色值得推介。

第一，较为完善的理论基础和跨学科分析范式。社会互动语言学、人类学、心理学以及社会学等众多学科对多模态研究的兴趣日渐增加，不同的研究方法会导致不同的数据、研究问题和焦点(李华兵 2013： 22)，因此，多模态数据收集与转写的重要性日益凸显。该书作者Norris顺应该研究趋势，传承发展了Scollon的介入理论，提出了多模态话语分析模式。Norris的基本理念是，社会交互是多模态的，在特定情景下，不同的交际模式以不同的程度参与交互(辛志英2008： 209)，并在这个过程中丰富发展了感知和体验的内涵。与传统的以语言为中心的话语分析不同，多模态互动分析属于整体分析，以中介活动为基本分析单位，认为语言只是在实际交流过程中起作用的一种模态(张德禄、王正 2016： 54)。Norris在此基础上将中介活动细分为更加具体化的高层中介行为、低层中介行为以及凝固中介行为，聚焦于人的行为和互动。正是由于全新分析视角的理论化，学界才得以将研究者同社会、文化、心理和物质环境相结合，这为对不同类型大小的数据进行系统化分析提供了可能。

第二，较强的可操作性及批判性思维。作为一本工具书，该书具有较强的实践指导价值。首先，该书从理论层面着手，以浅显易懂的语言对Scollon的多模态话语分析理论进行了详细阐述，指出了其局限性，Norris认为多模态话语分析理论是一个动态发展的过程，多模态话语研究者不能固步自封，要时刻保持批判性。基于此，Norris赋予了多模态话语分析理论新的内涵，创造性地提出了多模态互动分析理论(Multimodal Interaction Analysis)，并将其应用到多模态数据的收集和转写上。同时，Norris的批判性思维也贯彻全书，比如在数据收集阶段，作者指出研究者必须辩证地看待收集到的影像数据，即使是完整的影像资料也无法完全记录如参与者的感受、放松的程度等心理活动。研究者必须正视而非拿大量数据去遮盖这个局限，并尽最大努力地去弥补这个不足，比如进行现场采访并进行现场记录。

第三，较广的适用性和启示意义。首先，该书的开始和最后都详细划分了受众层次和对应重点章节。对入门研究者、较高层次的研究者或经验丰富的研究团队来说，均是一本具有启示意义的参考书籍，有利于多模态研究中的横向学习及拓展。其次，人类互动作为一个连续动态的过程，话语分析者如何把其进行切分是一个难题(张佐成、陈瑜敏2011： 5)。但在该书中Norris显然给予了研究者启示，作者认为高层行为是由一系列低层行为构成，而每个高层行为的产生总是伴随着一系列的低层行为，研究者可以根据对相关高层行为的注意度(awareness or attention)进行切分，根据研究者的兴趣点对首先观察到的高层行为进行记录，这些行为通常伴随着多种模态作为中介，而模态的使用是可以辨别分析的，这就为研究者进一步分析人类的互动过程提供了切入点。

值得一提的是，作者认为，无论是在数据收集还是数据分析中，伦理道德因素都是成功进行实证研究不可或缺的一部分。因此受试的许可及其隐私权、知情权必须得到尊重。要熟悉相关视频资源的使用规则，做到正当、合理、合法使用。有关伦理道德的研究在国内的实证研究过程中一直未得到足够的重视，该书对此所做的详细阐述，有益于国内相关研究的进一步完善和发展。

综上所述，《多模态数据的系统化处理：多模态话语分析中的研究方法》 一书有助于研究者的多模态数据处理能力及批判性思维发展，加深其对多模态话语分析这一交叉学科的认识，培养跨学科意识和发展性眼光。

3.2 问题与反思

多模态话语的跨学科发展及应用已成学界共识，如Wieselmannetal.(2020) 从跨学科视角分析了STEM教育模式下课堂小组的互动行为，以微观民族志的方法进行多模态批判话语分析。《多模态数据的系统化处理：多模态话语分析中的研究方法》一书顺应学科发展趋势，具有一定的学术参考价值，但该书也存在一些值得商榷的地方。

由于多模态互动分析方法仍处在发展阶段，目前仍存在不足，比如没有考虑或重视社会文化和情景语境对社会活动选择动机的影响(张德禄、王正 2016： 57) 。书中采用的影像资料均来自于国外网站，参与者国籍较为单一，一定程度上使实验的分析和演示存在一定的偏颇性。比如由于文化差异或者是视频软件的使用差异，可能会导致相关研究方法在实际操作中存在差异，因此参与者及语料的选用覆盖面有待进一步完善。其次，人类互动在本质上是多模态的，但不同民族文化背景下对于模态转写的方式也存在差异(刘玉梅、周思邑 2020： 106)，因此基于印欧语系的多模态互动转写系统是否适合汉语多模态数据的转写有待进一步验证。这就涉及到学界常说的研究方法本土化的问题，尤其是汉语的多模态互动研究尚处于起步阶段，在此背景下，该书对文化差异方面的关注不够充分。

此外,这本书在多模态分析工具使用方面未形成系统化的理论框架。作者在书的后半部分详细介绍了几种多模态分析工具，但只是较为孤立地介绍了各自的定义和适用范围，忽视了其相互之间的联系。Norris(2004)指出，各模态有合作表达意义的情况，例如讲话时语言、手部动作等不同类型的模态都在对进行的说话动作有贡献，同时不同的模态还在完成其他的高一级行动。这样可能会出现利用多种分析工具对某一具体高层活动进行分析的情况，这就需要考虑不同分析工具间的相互联系，即如何共同发挥作用。

各种模态之间的互动关系和互补作用难以确定。多模态话语往往由多种系统构成，而每个系统中又有很多单个成分。这些成分当中，哪些对解读有价值，哪些没有价值，也是不容易确定的因素(朱永生 2007： 85)。仅仅围绕所研究问题进行取舍是不全面的，这个过程也会受到研究者个人的文化背景或是知识储备的影响，这个方面需要在实证中得到进一步完善。其次，书中对大、中和小数据集的划分也并未给出明确的标准，存在较强的主观性，一定程度上可能会影响相关研究方法的使用。最后，作为一本工具书，该书步骤详细，语言通俗易懂，但简洁不足，一定程度上影响了可读性及可操作性。

4. 结语

总体来看，《多模态数据的系统化处理：多模态话语分析中的研究方法》一书虽存在不足，但瑕不掩瑜，仍具有重要的理论价值和实践意义。多模态话语分析已经呈现跨学科发展趋势，如何把现代智能科技手段和多模态话语结合起来进行分析解读是多模态话语分析将要解决的问题，这决定了数据收集必须逐渐科学化、系统化。相信该书可以很好地帮助读者科学地处理多模态数据，进一步推动多模态话语分析研究方法的发展。