多模态互动分析视角下中国英语学习者直接抱怨行为研究

赵继鸿

（大连外国语大学 英语学院，辽宁 大连 116044）

一、研究背景

语用能力是交际能力的重要组成部分，指交际者在具体交际情景下合适、得体使用和理解话语的能力［1］。目前，大多数相关研究仅从语言层面分析，缺乏非语言层面的考察，对语用能力这一概念的描述不够全面。在交际过程中，语言能够传递信息和表达情感，其他模态如手势、面部表情、眼神等都可能会发挥信息传递的作用。近年来，语用能力的多模态研究逐渐被学者关注，如贝尔特兰-帕兰克斯（Beltrán-Palanques）和奎罗·朱利安（Querol-Julián）［2］、裴晓宇等［3］，但仅为初步探索，相关理论和方法并不成熟，需要进一步探讨。

抱怨行为是生活中较为常见且值得研究的言语行为，是语用学研究的重要课题［4］。抱怨是指说话人对过去或正在进行的对自身不利的行为表达的不满或烦恼［5］。根据听话人是否对自身不当行为负责，抱怨语可分为直接抱怨语和间接抱怨语［6］。合理有效地实施抱怨可视为语用能力的体现之一，既可以达到交际目的，又可以减少对双方关系的负面影响。近年来，国际上有个别学者从多模态视角研究学习者抱怨语产出，但研究数量较少。国内相关研究依旧聚焦于语言层面的探讨，鲜少有研究从语言和非语言层面考察学习者抱怨语使用的全貌。鉴于此，本研究以抱怨行为作为主要研究对象，采用多模态互动分析法［7］79-94分析国内英语学习者直接抱怨行为的多模态特征，以期弥补二语语用研究单模态分析的不足，为二语语用多模态实证研究和二语语用教学提供参考。

二、语用能力与多模态话语分析

多模态话语分析作为一个新兴领域，在国内外都处于起步阶段，有很大的研究空间。而且，多模态分析用于语用学的研究更为匮乏。近些年，仅有国外少数研究用多模态话语分析方法考察学习者的语用能力，如肯顿（Kendon）［8］、贝尔特兰-帕兰克斯（Beltrán-Palanques）［9］15-30、贝尔特兰-帕兰克斯（Beltrán-Palanques）和奎罗·朱利安（Querol-Julián）［2］等。在国内，陈新仁、钱永红探讨了多模态分析法应用于语用学分析与研究中的必要性与可行性，构建出一个适用于语用阐释的多模态分析框［10］。黄立鹤指出，运用多模态方法研究语用问题，可在研究方法上对语用学研究进行升级，从而对相关语用学理论进行拓展、修正［11］。但这些研究只停留在理论层面，至今国内多模态视角下语用学相关的实证研究刚刚起步。裴晓宇等通过角色扮演任务，对2 名中国英语学习者与2 名津巴布韦英语学习者的道歉行为进行了多模态互动分析。研究发现：4 名研究对象凝视模态强度普遍较高［3］。相比之下，中国英语学习者模态复杂度略低，但仍使用言语与非言语模态共建会话。

综合以上研究发现，二语语用能力的研究被国内外学者广泛关注，但更多研究局限于语言这一单一模态的思考，缺少多模态的综合考察。近年来，多模态视角也被一些学者发掘，但仅为初步的探索。因此，本研究通过多模态的视角，利用角色扮演收集数据，考察我国高水平英语学习者在使用英语和汉语抱怨时表现出的语用能力，以期进一步探究多模态与语用研究结合的可行性，为后续相关研究提供参考。

三、研究设计

（一）研究问题

1.中国英语学习者在使用英语和汉语抱怨时各模态密度是否有差异？如果有，表现在哪些方面？2.中国英语学习者如何使用不同的模态抱怨？

（二）研究对象

本研究的研究对象为国内某外国语高校的研三学生，女，25 岁，拥有17 年英语学习经历，通过了英语专业八级测试，无出国留学经历，可被认定为高水平英语学习者，能够顺利进行英语交流。为进行角色扮演任务，在同校随机选取一名研三学生，女，27 岁，拥有18 年英语学习经历，通过了英语专业八级测试，且分数与研究对象相近，无出国留学经历，可被认定为与研究对象二语水平相近。双方现实关系为普通同学。

（三）研究工具

本研究使用开放式角色扮演收集数据，设定了两个场景，场景1 交流语言为汉语，场景2 为英语。

场景1：你（抱怨者）和同学被安排为一组完成期末小组作业。你想约她出来讨论，但她一直以没有时间为由拒绝。临近期末，她突然主动联系你，说要一起讨论期末作业。你如期到达约定地点，但是她却没有来，等了近40 分钟后，你打算回图书馆继续学习，刚要离开，她走了进来。

场景2：你（抱怨者）和同学被安排到一组完成期末小组作业。你们分工后，各自完成自己负责的部分。最终你看到这门课的成绩不合格，你询问老师后得知，是同伴所做的那份小组作业太差，导致你们的分数不及格。你找到她质问为什么做得那么差，她说忘记最后的截止日期，当天晚上匆忙赶出来的。

这些场景与大学生活有关，在后续的访谈中，研究对象表示自身经历过或可以轻易想象出这些场景。同时，她们认为自己在实际的生活中也会表现得和角色扮演基本一致。在角色扮演中，研究对象首先进行热身性质的角色扮演任务来熟悉任务类型。在随后的正式任务中，研究对象被要求表现自然，尽可能和现实情景的表现一致。角色扮演无时间限制，她们自行选择饰演的角色和决定哪一方开始谈话，两个场景的抱怨者均为同一位研究对象。当双方认为准备好后，即可进行对话。本研究在征得研究对象同意的基础上对她们的谈话进行了录像。

（四）数据分析

本研究根据贝尔特兰-帕兰克斯（Beltrán-Palanques）的编码方案［9］125-126，对抱怨语步进行编码划分。其中，将抱怨过程分为三步：

抱怨前步（pre-complaint moves）：抱怨者提出抱怨话题，被抱怨者对此作出回应。

话题协商（topic negotiation）：双方就抱怨话题施展话语功能，如责备、解释等。

抱怨后步（pre-complaint moves）：双方试图修复局面。

本研究使用ELAN 软件，对抱怨者的口语、副语言（本研究主要考察语速和音量变化）、面部表情、手势动作、头部动作和凝视进行标注和时间测量。模态密度可由模态强度和模态复杂度两种形式体现。模态强度是指一种模态在互动过程中的重要性或权重。模态复杂度是指多种模态相互作用共同完成活动［12］。一种模态承载的强度越大，模态密度就越高，多个模态交织越复杂，模态密度就越高［7］79。本研究通过计算参与者在交互过程中选择每个模式的时间（以秒为单位）来测量模态强度。

四、结果与讨论

（一）多模态特征

本研究在用ELAN 软件得出数据后，绘制成雷达图，图中数据以秒为单位（见图1）。其中，模态复杂度是话语构建中使用的模态数量；模态强度体现为每个单独轴从中心开始到外环结束所代表的时间长度；模态密度则表现为轴上各个点相连呈现出的图形面积。

图1 各语步中的模态密度

在抱怨前步中，抱怨者提出抱怨话题并得到对方的回应。研究对象在使用汉语抱怨时，话题展开更快，而用英语交流时展开较慢，经历了从隐性到显性的过程。从图1 可以看出，抱怨者在使用英语交流时的模态密度大于用汉语交流（虚线相连呈现的面积大于实线），主要表现在模态复杂度（模态使用数量）和模态强度（模态使用的时间长度）均高于汉语，同时伴有手势语、头部动作和面部表情。在用两种语言交流时，凝视都为高强度模态。

话题协商是抱怨的核心部分，恰当的谈判要求抱怨者具有较高的语用能力。在话题协商阶段，抱怨双方就抱怨内容施展话语功能，如表达不满、解释原因等。从图1 可以看出，研究对象在用英语协商时，模态密度比汉语高。这其中模态复杂度具有一致性，造成密度差异的原因主要是模态强度不同。在用英语实施抱怨时，研究对象各模态的强度都高于汉语，凝视、口语、手势模态强度差异显著。与抱怨前步一致，凝视在汉英场景中都占据较高的模态强度。

在抱怨后步中，抱怨双方试图修复局面。从图1 可以看出，研究对象在用英语、汉语修复局面时的模态复杂度非常接近，主要差异依旧表现在英语交流时的各模态强度比汉语高。口语和凝视作为主要的模态在抱怨后步中构建话语，而副语言、手势、头部移动和面部表情则出于较低的模态强度。

综上所述，研究对象在抱怨的过程中利用丰富的多模态资源一起构建抱怨话语，尤其在话题协商部分，抱怨者呈现出比其他语步更为丰富的模态密度。整体来说，凝视和口语作为主要的符号资源在其中发挥作用。交流语言对研究对象抱怨时呈现的模态强度影响较大，对模态复杂度影响较小。

（二）讨论

研究发现，交流语言会影响学习者在各语步中的模态密度，主要体现在对模态强度的影响，即研究对象在使用英语与汉语抱怨时，各语步中的模态复杂度大致相同，而各模态强度相差较大。这可能由于交流语言不同，对语言模态造成影响，从而进一步影响其他模态的表现，如副语言和非语言模态。

本研究发现，交流语言对语言模态的影响主要表现在研究对象提出抱怨的过程在英汉场景中存在一定差异，汉语抱怨过程更直接。相比之下，研究对象在运用英语抱怨前会交代抱怨背景，给出抱怨理由，以此作为暗示，诱导听话者主动承认错误或承担责任。凝视作为高强度的模态参与抱怨行为的实施过程，这与裴晓宇等的结果相似［3］。他们的研究中发现，中国英语学习者在用英语道歉时，凝视的模态强度较高。与他们的研究相似，本文研究对象的凝视方向在倾听及话语产出过程中大多直指听话者，这具有关注、劝说功能。在凝视这一非言语模态与言语模态的交互关系中，关注及劝说功能体现了凝视对言语模态的强化作用，即凝视在一定程度上协助了言语模态的意义生成［13］146-147。

本研究发现，手势语及头部动作等非语言模态也在抱怨过程中受到语言模态的影响。研究对象的手势差异表现为在二语中手势的模态强度高于母语场景。作为英语学习者，研究对象在用英语表达时，会借助手势来弥补语言上的不足。说话人也会通过节奏手势调节英语表达时的节奏和韵律，从而保证表达的流利度［14］。研究发现，用英语抱怨时，研究对象情绪激动便会更加频繁地使用手势动作。这与贝尔特兰-帕兰克斯（Beltrán-Palanques）和奎罗-朱利安（Querol-Julián）的结果吻合［2］，反映出手势在语言表达过程中起到了强调和表达不满情绪的语用功能。综上讨论表明，学习者用英语实施抱怨言语行为时，会因个人情绪影响手势的使用，同时会通过手势弥补、辅助和强调语言表达和外化个人情感。研究对象在英语情景中的头部移动频率更高，模态强度也更高。这可能由于研究对象用英语交流时，有时无法清楚表达意义，从而会用头部动作来弥补，这与哈达尔（Hadar）等人的研究结果一致［15］，他们也观察到研究对象因语言不流畅而作出的头部运动往往频率和速度都更大。研究对象用英语提出抱怨内容和协商受阻时，会用表示否定的摇头强化自己的表达，而频繁摇头也可能是她气愤的外显，这呼应了麦克拉夫（McClave）的观点，即头部移动会涉及人物心理意象和情绪状态的表达［16］。

在日常交际过程中，直接抱怨语的产出具有多模态共现特征。当一种模态不足以清楚地表达交际意图时，交际者会利用其他模态来进行强化、补充、调节、协同，达到充分表达意义，让听话者理解话语的目的［17］。研究对象利用语言和非语言中的多种模态完成抱怨过程，如在提出抱怨时会加快语速，提高音量，频繁移动头部和出现皱眉表情。在话题协商时，会用头部动作和手势强化或补充表达。

结语

本研究考察了1 名英语专业研究生直接抱怨语语用能力的多模态表现。研究结果表明，研究对象在用英语抱怨时各模态强度都高于汉语，这可能是因为语言模态的改变会影响非语言模态的使用。抱怨过程中，凝视和口语作为高强度的模态参与抱怨话语的构建。抱怨行为是各个模态共同作用的，即多个模态相互协作完成抱怨。同时，个别模态会对意义和情绪表达起到补充和强化作用，这在一定程度上弥补了学习者语用能力的不足。

本研究仅对1 名英语学习者进行分析，数据和结论具有一定片面性，今后的研究可增加研究对象数量，并从更多模态如音调、躯干等入手，提高研究的全面性和可信度。另外，可以尝试从其他言语行为入手，进一步探索多模态话语分析与语用学研究结合的可行性。