《多模态入门》述评

江南大学

俞越聪 李健雪



《多模态入门》述评

江南大学

俞越聪 李健雪

《多模态入门》由Carey Jewitt、Jeff Bezemer和Kay O’Halloran合著，劳特利奇出版社于2016年出版。通过系统的理论对比和大量的实例论证，该书从多模态研究的概念、缘由、主要方法和研究设计等方面入手，对多模态研究进行了全局性剖析解读，是从事多模态、符号学、话语分析、媒体与交际等研究的入门经典。

多模态；话语分析；理论对比；设计

21世纪以来，“多模态”逐渐成为语言学研究的热点话题之一。然而，由于研究视角多样，尚未形成系统。2016年，Carey Jewitt、Jeff Bezemer和Kay O’ Halloran合著出版了《多模态入门》。该书统筹了多模态研究的各个视角，从“多元化领域概览”“为什么进行多模态研究”“系统功能语言学”“社会符号学”“会话分析”“多模态研究的其他5种方法”“多模态研究设计”等7个方面进行剖析，为多模态研究做出了全局性理论阐释和方法论启示。

1.主要内容

全书共七章。

第一章“多元化领域概览”从“什么是多模态”入手，指出“多模态”一词的使用强调了两个“认可”：对研究各种意义构建方式如何相结合构成多模态整体的需要性的认可；对每种模态在意义构建时都具有各自独特的可能性和局限性的认可。作者提出多模态研究的3个前提：1)意义通过各种符号资源被构建，每种符号资源都有自身独特的潜势与局限；2)意义构建是多模态整体的产出；3)研究意义必须关注用于构建意义整体的所有符号资源。针对“什么是多模态研究”，作者区分了“做多模态研究”与“引用多模态概念”。前者中，“多模态”在研究目的、理论方法等方面处于中心地位；后者仅在研究设计时选择性地使用多模态的相关概念。其中，“做多模态研究”主要有3种方法：系统功能语言学法、社会符号学法和会话分析法。

第二章“为什么进行多模态研究”反驳了最有争议的两个语言观点：1)语言是资源最丰富、最重要、最被广泛使用的模态；2)语言可被单独研究。针对第一点，作者认为：首先，对语言的用途下普遍性定论须考虑对象与语境。将语言作为了解社会实践的途径会忽视该实践的其他方面。而多模态会对各资源的重要性做出正确判定，有助于认识语言地位与功能的重要变化。其次，对其他模态的研究尚未达到语言研究的细致特征化阶段，因此不能否定这些模态资源的丰富性，且许多“语言”原则实际是普遍的符号学原则。最后，作者反驳Katz(1972：19)的“可表达原则”，认为其他模态在不丧失准确性的前提下不可转写为语言。语言具有自身的局限性，较其他模态而言仅是资源和意义潜势不同，而非资源更丰富或更具潜势。因此，多模态研究的目的是确定各模态的特性和共性。针对第二点作者指出，人类所产出的意义单元几乎都是多模态的，语言是意义整体中的一部分，与其他符号元素相互修饰；因此只有分析语篇中的多种模态，才可以集合资源更可靠地证明、解释所发生的交际行为。

第三章是“系统功能语言学”。作者指出，系统功能理论对多模态研究的适用性在于其基本前提“符号资源是意义构建的工具”(Jewittetal.2016：33)。系统功能语言学指导下的多模态语篇分析(SF-MDA)关注各符号资源的语法、功能与符号资源在多模态现象中结合产生的意义。功能上，多模态符号可把不同的元功能意义构建能力进行整合以构建无法靠单一资源来构建的意义。系统上，每种符号都具有自己独特的意义系统、分析单位和结构。多模态增加了可用的意义潜势，但又由情景语境和文化语境决定实际上出现于社会实践中的选择结合。作者认为，多模态现象中各模态的结合需要联系现有的社会实践来解读，多模态模式的建立具有文化性，任何多模态符号实例均由先前的选择构型所决定。因而，SF-MDA旨在探究符号资源如何被组织构建意义，以及特定实例中意义构建的实际选择方式，其目的在于将符号资源的意义潜势建模为一系列相互关联的系统，并根据语境分析多模态过程和语篇中符号间互动所产生的意义。作者总结了以下研究方法：1)根据元功能组织、建立系统；2)根据所选系统确定分析语篇；3)根据语域、语类解读选择的结合。

第四章是“社会符号学”。作者回顾了社会符号学的目的、基本假设、早期发展及其多模态转向，并勾勒了各时期社会符号学视角下多模态研究的发展进程。作者重申了许多语言学原则的普遍性，指出“符号学原则”一词应指代适用于所有模态的意义构建原则与特征，并论述了“符号构建者”“兴趣”“动因符号”“符号资源”“模态”“模态动允性”“转移”及“转化”和“设计”等核心原则和概念在多模态意义构建中的重要作用。(Jewittetal.2016：67-73)社会符号学旨在分析人工产物中所呈现出来的社会世界。其方法论特征体现在：1)语料涵盖日常、通俗的以及显著、规范的人工产物；2)对模态特征的微观观察；3)对作品进行对比分析；4)探究人工产品的所有符号学方面；5)假设符号构建者已采用最合适的符号资源来表达意义；6)强调社会语境和意义构建的资源；7)关注人工产物中所有元素以期了解符号构建者的兴趣。作者总结了以下基本研究思路：对人工产物进行概括描述，在交际和再现世界中对其进行定位；确定并描述所使用的模态，对每个模态的符号资源进行细致分析，包括构建它们所采用的原则与惯例、所采用的模态动允性；关注所用模态之间的组织、主导关系和连贯等。作者强调，要避免因系统程序化的方法而错失研究语料的特性；社会符号学的解释不是纯粹的描述和特征之间的映射，它结合了概念和实证，要求分析者高度响应研究语料。

第五章是“会话分析”。作者介绍了会话分析研究的起源和对注视、手势及其他互动资源的研究转向，并指出该方法高度受数据驱使，分析须遵守两个核心原则：不断靠近所选语料，所得相关结论必须严格依据对互动的观察；关注细节，同一互动片段慢速、多次观察。作者论述了4个核心概念：1)相互阐述的符号资源：会话分析基于人们采用不同的符号资源来构建行为的观点，认为不同资源具有不同属性，且自身都是部分的、不完全的，在相互阐述的过程中构建成一个意义整体；2)行为的连续组织：意义不仅存在于行为的形式中，也存在于该行为在序列结构中的位置；3)行为的协调：强调会话者在环境中的定位，互动发生的地点环境也构成互动资源，影响行为的协调性；4)多活动：关注不同的行为如何相互连接，构成并存的行为进程。作者强调多模态转写的重要性，并介绍了两种转写模式：基于言语转写，在与之相关处进行其他模态的转写；依据普遍转写惯例，对各模态都进行转写，以体现互动的顺序展开和各模态的同时性。作者给出两种语料片段的选择方式：通过整体分析确定主要的“主题”和“类型”及其频率，从中选择一个进行细致化研究；选择任何一个包含有趣现象的片段，从独特中归纳普遍性。

第六章是“多模态研究的其他5种方法”。作者介绍了地理符号学、多模态互动分析、多模态人种志学、基于语料库的多模态分析和多模态接受分析这5种混合型方法，包括各种方法的领域渊源、核心概念、研究范围与目的、主要研究问题、数据收集方法和分析步骤等，并总结了它们对多模态研究发展的贡献。作者强调，将前文论述的3种主要理论的概念与方法和其他研究范式相整合构建新框架时，须反思它们在意义的理论化、研究目的、实证焦点等方面的“兼容性”，其中明确界定了多模态在研究中至关重要的地位。

第七章是“多模态研究设计”。作者提出了8个步骤，即选择理论方式、确定研究内容、形成研究问题、确定研究材料、收集研究材料、处理研究材料、转写研究材料和处理道德伦理问题。首先，对意义构建有明确的理论概念是研究的基础，选择研究方法即是确立了针对意义的理论立场。作者强调，理论方法指向相应的研究领域和内容，从而确定相应的研究问题。其次，研究材料应：1)根据研究方法和研究问题来确定材料范围；2)在自然环境下收集，减少干预；3)收集的细致化程度应涵盖材料的总体多模态特征，且满足对各模态、模态间意义的探究；4)体现社会文化情景下的意义构建。再次，有效处理数据的方法包括：1)建立标记编码对材料进行系统记录；2)即时回顾以确保记录所有细节；3)在回顾时对每个类型进行“数据日记”。同时，对材料进行多模态转写，通过实践发现不同转写方式的潜能和局限。作者最后提出，应考虑研究材料的使用授权，并阐释如何恰当地征得使用授权和采取机密性措施。

2.简评

该书的主要贡献如下：

第一，实现了对多模态研究的全局把握，确立了其独立、完整的研究领域地位。全书从多模态的理解、多模态研究的渊源，到多模态研究的理论方法、多模态研究设计等，涵盖了从事多模态研究的各个重要方面。尤其在理论方法上涵盖了多种主流视角，并对每种方法的渊源、核心原则与概念、分析手段、适用领域、主要研究问题、数据收集方法、现有不足与发展方向等做出了详细的论述，首次实现了对多模态各理论方法的梳理、对比与反思。通过对多模态研究的宏观审视，该书体现了当下多模态研究视角的广度，指出了其发展潜能，树立了多模态研究的学术地位。

第二，深化了对“模态”和“多模态”的理解。“多模态”是个复杂的概念，不同理论方法对其理解、界定不同，表达方式也不同。如在会话分析中，“模态”一词较少使用，而“多模态”体现行为的多样性与“同时性”。该书统一保留“模态”一词，不仅保证了全书术语的一贯性，也强调了将一个作为意义整体的互动事件分解开来分析的难度性。该书虽未对“模态”和“多模态”给出明确定义，但对它们的解读超出了其外在呈现方式，突破了以往人们对“符号系统”和“感官系统”的论述(朱永生 2007：83； 韦琴红 2009：55； 张德禄 2009：24)。模态可以是任何一种物理元素的呈现类型，包括环境因素；且无论以何种表层形式呈现，多模态认可每种参与意义构建的资源，且关注它们所构成的意义整体；否认语言模态的先进性，强调各模态的地位平等，且均具有独特的潜势和局限性。

第三，反思了多模态研究理论方法中的争议问题。首先，作者认为系统功能语法不该作为系统选择下意义构建的唯一模型，应避免语言学概念强加于其他符号系统的现象；不可局限于对多模态语篇建立系统性描述，而导致强调文本、脱离语境的后果。其次，社会符号学方法一直被批判在“动允性”命题上过于决断，图文过于二分。这种苛责实际是将韩礼德“意义是选择”的社会符号学释义简化为“二选一”，且没有正确认识到资源虽具有内在的、社会性的动允性，但也能突破其惯用方式而创新使用。此外，作者指出，社会符号学倾向于过度线性地描述符号交际的发展，而了解符号的变化应从社会、文化、技术变化相联系的历史角度进行，不能模糊技术与模态的复杂性和重合性；同时，要将社会符号学和社会学理论相结合，根据研究问题和研究重点确定所需的语境信息，确保结论反映文本与使用语境的紧密联系。会话分析中，研究者们倾向于只关注互动中能体现出与交际者相关的社会类别与人工产物，而忽视了后人对互动进行重语境化时与之相关的其他方面。作者认为，从交际者身上获得的背景信息在分析中十分有用，但却不能根据其在互动中的机构角色形成高度推断或假设；核心文本和相关语境的区分要以交际参与者为导向。

第四，丰富了多模态研究的实证方法。该书对“做多模态研究”和“引用多模态概念”的区分，是对多模态研究本质做出的明确界定。同时对研究语料的确定和收集给出了操作性建议，对分析步骤、研究阶段做出了具体的划分，使整个多模态研究过程更加清晰、规范，为开展多模态研究提供了重要指导。该书强调理论与方法论立场在多模态研究中的重要性、理论方法与研究问题之间的相适性，指出各理论方法具有其自身所侧重的研究领域和研究目的，多模态研究要保持整个理论框架和研究实践的一贯性。通过援引大量最新的优秀研究实例，该书不仅为多模态实证研究提供了多元化范例，揭示了多模态的前沿近况，也为理论的发展提供了实证依据。该书提出的伦理道德问题，特别是对在公开场合流通的信息的正确使用，是当下国内研究实践中易忽视的问题之一。书中提出的合理申请语料使用的授权、采取机密性措施、预备解决措施等建议具有重要启示意义。

当然，该书也存在不足之处。首先，书中援引的实例侧重定性研究，多为举个别例子进行思辨性分析，未见大型统计论证。其次，多模态互动分析和多模态认知研究普遍被视为是多模态研究的主要方法之一(Djonov & Zhao 2014； Pinar Sanz 2015)，该书并没有将其独立成章进行系统详细的对比论述，可谓略有遗憾。

总体来说，该书言必有物，纲举目张，善用图表，富于对比，且文后附有术语表和自学指导，可帮助学习者梳理重要概念并进行自学自测，是从事多模态、符号学、话语分析、媒体与交际等研究时不可多得的必读经典。

Djonov,E.& S.Zhao.2014.FromMultimodaltoCriticalMultimodalStudies[C].London: Routledge.

Jewitt,C.etal.2016.IntroducingMultimodality[M].London: Routledge.

Katz,J.J.1972.SemanticTheory[M].New York: Harper & Row.

Pinar Sanz,M.J.2015.MultimodalityandCognitiveLinguistics[C].Amsterdam/Philadelphia: John Benjamins Publishing Company.

韦琴红.2009.论多模态话语中的模态、媒介与情态 [J].外语教学 (4): 54-57.

张德禄.2009.多模态话语分析综合理论框架探索 [J].中国外语 (1): 24-30.

朱永生.2007.多模态话语分析的理论基础与研究方法 [J].外语学刊 (5): 82-86.

(责任编辑 马应聪)

通讯地址：214122 江苏省无锡市 江南大学外国语学院

H0-06

A

2095-5723(2017)02-0096-04

2017-03-01