多模态视域下网络即时通讯会话的话轮特点

张晓燕

(集美大学诚毅学院， 福建 厦门 361021)

互联网交际是Web 2.0系统支持下的一种交际方式。它基于博客、微博、微信等社交网络平台，融合了大量技术手段，呈现出文本、音频、视频等多模态信息，出现了不同的互动参与框架[1]并逐渐成为日常或非日常交际(如办公、咨询、沟通等)的主要方式。而以QQ、Wechat为代表的即时通讯(instant messenger, IM)，形成了大众网络交际的主要方式，呈现出网络交际的新形态和新的社交关系。在网络技术的助力下，多模态语境下IM产生的独特语言是对交际用语的一种特殊补充。

在网络多模态会话中，人们利用抽象符号或标点符号组合而成大量形象直观、生动活泼、富有创意的网络语言。这些或静态或动态，具有仿真效果的类文字、表情、身姿、体动的副语言符号，弥补了纯文字交流的枯燥和网络非现场交流情感缺失的不足，有效提高了沟通效率，开启了网络多模态聊天方式。在网络交际会话方面，李慧、李经伟[2]对网络购物会话中的称呼语进行研究；孙毅兵[3]从话轮和话轮转换的角度对英语自然会话和网络聊天室会话进行比较分析；黄锦章、田丽娜[4]则探讨网络即时文字会话的语类。而目前鲜有学者研究探讨多模态语境下网络即时通讯话语的话轮特点，因此，本文借助认知语用学框架下的语境观和多模态语境观，以即时通讯交际中的大规模语料为研究对象探讨网络即时通讯会话在多模态语境下的话轮特点，为互联网交际时代的会话分析提供新的分析视角。

一、理论背景

(一)网络多模态话语和网络多模态语境

多模态话语/语篇(multimodal discourse)是一种融合多种交流模态(如声音、文字、形象等)来传递信息的语篇[5]20。多模态话语分析研究始于 20世纪 90 年代， Kress、Leeuwen曾指出，“多模态就是运用几种符号学模态(semiotic modes)，或综合使用若干符号学模态来强化同种意义的表达，或行使补充功能，或进行有层次排序”[5]7。在多模态文本中，接收者需调动多重感官吸收多种模态形式的外部符号，同时，通过这些不同感官获取的信息之间进行(有效的)互动，或者生成某种形象(image)作为文字文本的部分，或者文字文本形式生成形象文本形式等[6]。在互联网中介交际中，话语常常由两个及其以上符号系统，或一种符号系统套上另一种符号系统参与交际，话语中常常包含文字、多种图画符号或输入语音音流、嵌入超级链接，而手势语、面部微表情和身势语之类的副语言(paralanguage)则被具象化为一种表情符号甚至动感符号融入文本语言交流中。用户试图用这些语言符号来补偿网络交际中缺失的声音和肢体手势信息。网络多模态话语既涉及多种模态(语言、声音、图片、视频等)又涉及多种符号系统(文本、图像、图表、副语言等)，是一种基于Web 2.0互联网模式将面对面交流网络化、口语文本化、现实虚拟化、副语言具象化的交流。

根据Sperber & Wilson 的认知语境观[7]，语境是一种心理建构体(psychological construct)，网络多模态语境也是一种心理建构体。网络多模态语境既包括了多模态话语交际中上下文这种语言意义上的语境(linguistic context)，又包括即时情景这种物质语境，还有个人特定的记忆、经历和对未来的期望所构成的心理语境以及社群知识、百科知识构成的知识语境。 当静态文本所蕴含的静态语境转化为多模态语境，会话者需通过话语的字面意义，结合多模态语境推导出相关的会话含义，而这个语境可能是语言的(上下文)，也可能是非语言的(高级表意形态拟就的情景语境等)。网络交际中，话语的产出总是由多种模态共同参与。话语者倾向于使用网络话语的语体来弥补虚拟会话在副语言方面的不足。多模态话语使得认知语境呈现多模态性。网络会话中的多种模态融合而成的会话文本反映了网络说话人的会话意向性与发话态度。在多模态话语理解过程中，听话人更需要经常从多方模态中延伸和扩展相关语境来发现关联信息。

在互联网中介交际中，即时通讯具有多模态话语特性。判断话语多模态性的标准之一是看其涉及的符号系统有多少[8]，显然，即时通讯话语中常有两个及其以上符号系统，其中包含文字、多种图画符号或输入语音音流、嵌入超级链接，而手势语、面部微表情和身势语之类的副语言则是具象化为一种表情符号融入文本语言交流中。在日常面对面交流中，发话者经常通过副语言因素或非语言因素(表情、动作等)来进行明示，听话者可以从对方的明示信息对话语进行衍推和理解。而在网络p-c-p(person-computer-person，人—电脑—人)交际中，交际者可以借由具象化的副语言(各种情感符号等)来取代肢体语言进而传递语言信号，通过构建不同的语境，经由不同的模态来实现话语的意义。尽管多种模态取代单一模态，使得原本话语分析更为复杂，但是不同模态的话语却相互联系，各种模态相辅相成。在这样一种动态、多元、开放的话语环境中，当多种模态同时参与到一个交际事件中时，探讨如何通过多种模态相互配合提高交际的有效性和交际效果成为必然。

(二)话轮

Sacks、Schegloff等认为话轮(turn taking)泛指说话人的话从开始到结束[9-10]。话轮可由单词、短语和句子等不同的句法单位组成。按照Sacks的观点，会话中存在“转换关联位置”(transition relevance place)，即一个意群行将结束，语流出现停顿,下一发话者认为可以进行话轮交替的位置[11]。话轮的转换通常发生在“转换关联位置”上。话轮的转换形式上一般遵循A—B—A—B—A—B …… 的模式，可以根据说话者话语是否连续产出或话语参与者是否进行角色互换来进行话轮产出的判断[12]。Sacks、Schegloff和Jefferson通过对实景会话录音材料进行深入研究提出话轮转换模式，认为：(1)说话者是变更的，一个说话者不能无限地说话，而是一人说完，另一人接着说；(2)一个话轮只能允许一个说话者说话；(3)话轮转换间隙可能很短，甚至出现短暂的多人同时说话；(4)一般情况下话轮转换不会出现间断和重叠；(5)话轮转换中存在分配技巧，当前说话者可以选择下一个说话人，或者下一个说话者进行自选。然而Sacks等[9]700-701认为话轮转换模式是基于现实会话的，网络即时通讯会话又有不同与现实交际的特点。

二、 语料搜集与分析

本研究选择3个活跃度高、代表性强、会员人数超过300人的即时通讯群，分别为社区交流群、学生学习交流群、工作交流群作。从交际内容看，语料涉及学习、工作、生活的分享交流等3个方面。提取纯文字部分建立文档，随机采集共计2 802条话轮。统计数据如表1所示。

表1 即时通讯群数据统计表Table 1 Data statistics of instant messaging groups

利用同步助手软件(V3.4.5.0版本)将微信和QQ群的聊天记录导出到相应的EXCEL文本中，与原聊天记录核查后，根据原聊天记录和媒介因素在类型上进行识别性标注(类型分为文本、表情、文件、图片、音频、视频、超链接，其中超链接包括网页、公告等)。

对语料统计后发现如下特点： 在3个即时通讯群中，文字模态最多，均占55%以上，其次为表情符，均在10%～20%之间，图片、音频、视频、和超链接、文件等模态尽管数量不多，但也在不同群里有所出现，各模态数量见表2。

表2 各模态的数量Table 2 Numbers and proportion of modalities

三、网络即时通讯会话的话轮特点

在网络即时通讯会话中的每一个话轮都受其前序话轮的影响和限制，同时又为其后序话轮提供了新的语境。结合具体数据和语料，分析网络即时通讯会话在多模态语境下形成的主要特点主要表现为以下几个方面。

(一)话轮由多种模态共同参与

在以网络交际文化和技术为背景的特殊网络交际语境中，话语于话轮和毗邻应对的不断转换中生成。其转换形式呈现出异于日常交流的中断和交叉，特别是在多模态的交际语境下常被各种模态打断。模态间的交互出现在话轮内和话轮间。尽管收集的即时通讯语料中，文字模态还是占大多数(生活群为87.6%，学生群为59.8%，工作群为70.4%)，但是表情符、图片、音频、视频和超链接等也形成对对话的有益补充。特别是表情符的使用(生活群为10.7%，学生群为19.7%，工作群为7.2%)既体现个性，又能增强感情，行使着传情表意的功能。

下面选取部分语料进一步分析对话中多种模态的共同参与现象。

[语境：A在向群友们咨询合适的写作教材。本对话中，T代表话轮，T1代表第一个话轮，后面顺同。]

T1 A：

再次请教一下老师们，这本作为写作教材如何呢？我看目录感觉好像还好啊，不知有没有用过的老师，

给点建议吧

T2 B：葛传椝那个书作为参考书不错的

T3 A：唉，要的是教材，有练习搭配就更好了

T4 C：http:∥news.163.com/18/0606/16/DJKNGBLU0001899N.html

T5 D：@A?同问

T6 E：问什么？

T7 A：@E?李老师，在问写作教材哪个好呢～

在此对话中，T1话轮内图片模态参与了对话，在T4中超链接模态作为独立话轮参与对话。当A咨询合适的写作教材时，在T1话轮内给出图片和文字两种模态进行咨询，图片的呈现是为了更好地解释说明所要询问的物体。而C给出了一个超链接模态这一独立话轮作为给A的一个建议，D采用“@”的方式选择受话者，简单地说“同问”，但是由于话语的不完整加上超链接的插入导致后面的交际者对整个对话理解不明确，所以提出疑问 “问什么”。在即时通讯中，话轮分配更为自由灵活，发话人可以采用“@”方式选择受话者，如T5。在T8中，会话者在“very sorry”后面添加一个“糗大了”的表情符号，有了此表情模态的参与，更能传达出会话者说此话的心情，弥补了即时通讯会话中副语言不足的缺点。

(二)不完整的会话结构

从语料看，生活群、学习群、工作群的话轮平均长度分别为20.8字，7.6字，19.5字，总平均长度为16.6字。学生群体使用的话轮最为简短，说明不同的交际对象会影响会话的结构。由于交际的即时性和便捷性，交际者倾向使用较短的句式，单语词、短语、不完整句式都能参与交际中，很多时候缺失标点符号。随着会话的深入，说话者会根据语境等因素调整表达方式或内容，有时也会出现说话者对所说话进行自我修补的过程，进而导致交际话语结构的松散和不完整。以下截取部分语料举例分析。

[语境：某单位工会通知发送数量有限的门票。本对话中，L代表字行(line)，L1代表第一句话语，后面顺同。]

L1 A：工会通知：本周日下午4点，彭于晏电影首映礼现有极少量的门票，有需要的教工见天早上9点前到

我办公室领取(809)。

L2 先到先得

L3 发完为止

L5 A：每人一张

L6 不接受QQ预定

在此对话中，A在L2、L3、L5、L6中均使用简短不完整句式，在对话被B的手势表情插入后仍继续发话自我修补，完成完整的通知。尽管在自然会话中，特别是多方会谈中，不完整话轮也时常出现，但是在网络多模态语境对话中，不完整话轮更加频繁地出现。除了句式的不完整，超链接、视频、表情符号等副语言经常被会话者充当独立话轮，传递丰富的情感内容。

(三)话轮的交叠

网络即时通讯交际的语境不同于p-p(person-to-person)交际的现场语境，其交际语境更为开放、交互性更强，呈现出多个小会话并行的特点。多人可以同时参与交际，并且可能不在同一个会话场。即时交际中，可以无数人同时发话，随时可在话轮中插入话题。期间，有的话轮先结束，有的话轮后面插入，有的话轮继续推进到交际的结束。网络会话者在交际过程中往往会打破轮流说话的会话结构，采用平行推进的多方会话方式。多方会话方式提高了交际效率，也体现了超链接(hyperlinked)、多线性(multi-sequential)的计算机网络系统对人类思维方式和交际方式的巨大影响。[13]

下文截取QQ群中某个对话进行分析(对话中人名部分用字母代替)。

[语境：某学习群里几个交际者就一张关于黄衍教授的学术讲座的图片展开讨论。]

T1 A:

T4 C： cloning是黄老师的独门绝学

上次跟您讨教的资料也很有启发呢，谢谢您@C?

T6 C： @ A?不客气

T7 D： @ A?能分享一下讲座的资料吗？谢谢

T8 A： D老师，我只有录音版呢。您要是需要的话，我私聊发给您。

T9 E:@A 老师，是否能分享一下讲座资料？

T10 A:黄老师讲这个题目没用PPT，口述的，我记的笔记不太全。老师，您要是需要，我再重新整理

一下笔记给您。@E

T11 F：

T12 E:非常感谢！怕给您添麻烦！能听听大师的声音也行。@A?

T13 C:可以查相关文献

黄老师发表了.

T14 G：

此例中的话轮转换模式颠覆了一般的A—B—A—B基本模式，呈现的是A1(T1)—B1(T2)—A2(T3)—C1(T4)—A3(T5)—C2(T6)—D(T7)—A4(T8)—E1(T9)—A5(T10)—F(T11)—E2(T12)—C3(T13)—G(T14)。例中，由发话者A发起了话题1后，有个5个受话者参与回应，产生多个话轮同时平行推进者。其中A1是会话原始引发语，B1是对A1的第一个询问，A2是对B1的第一个答语,C1是对A1内容的评论，A3是对C1的回应和感谢，C2是对A3的回应，D是对A1的第二个询问，A4是对D的回应，E1是对A1的第三个询问，A5是对E1的回应。F发话者则插入一幅图片和一个图符作为话轮T11，试图引发另一个话题，这个话题貌似与第一个话题之间没有内在因果关系，所以F的话题并没有引起连续的回应，E2继续对A5进行回应，C3也替A5对E2答复，并且在下一个话轮(C4)中自我选定为说话者。G则提供一个下载链接，是对C3回答的一种补衬，也作为对E2的回复。这个对话呈现出了话轮的交叠。由于空间、时间的限制，话语者无法利用副语言对话轮转换进行标记，某话轮的结束往往是以信息在对话框中的显示为标记。话轮的交叠主要由两方面产生：一是当发送者A将一个开放式的话题或信息发送出去，他并未选择下一个说话者，而这个话题引起多方的兴趣，多方参与话题的讨论就呈现出一对二，甚至一对多的聊天方式；二是发送者A将话题或信息推送出去后，对方(一方或多方)并没有回应，A就会认为所谈话题不是兴趣点，为了使交际继续进行，交际者调整交际策略，试图转换至对方感兴趣的话题。当对方回复延迟时，话轮也可能呈现交叠，会话也会呈现两条平行话题主线展开。期间遇到对方沉默，有可能是物理因素(如网络繁忙)或人为因素(如暂时离开)造成的。本例属于前者。话轮的交叠可能是一方原因也可能是双方原因共同构成，然而，尽管出现话轮交叠，却不会影响受话人的理解，这是因为即时通讯群聊里带有定向聊天功能，发话者启用定向聊天功能后，其信息就会显示在群聊天窗口的最上边，受话人点击即可定位到提及自己的聊天行，而不会被高密度话语信息刷掉。因此，尽管出现话轮交叠，却不会影响受话人的理解。该特点是p-p日常 交际所不具备的，定向聊天弥补了p-c-p虚拟网络中多人参与交际时无法定向受话者的缺点。当然，如果没有及时使用指定受话人的功能，就会引起话轮的错乱导致语境的交错性，进而影响受话人的理解。因此，借助于即时通讯软件的特色功能，有利于最大限度地对交际双方的认知语境进行优化选择。

四、结语

互联网中介交际的多模态性使得会话的话轮变得更加复杂、富有特点，网络多模态语境下表意的多形态化与感知的多模态化等特点也影响了网络会话双方在交际中的互动。本研究通过对真实语料的量化和质性分析发现如下特点：一是多种模态参与会话，话轮内外多种模态的参与，行使着传情表意的功能；二是不完整的会话结构，超链接、视频、表情符号等副语言经常被会话者充当独立话轮，传递丰富的情感内容；三是话轮的交叠，平行推进的多方会话方式，多个话题的同时参与提高了交际效率，反映了网络时代交际的新特点。然而在网络交际中，多模态话语带来便捷的同时，也给交际参与者带来困扰。在这个语言语境与非语言语境的融合体里，话轮因此变得更加交错复杂，增加了即时交际语言的使用和理解的难度，并且在这极具口语化的网络交际中，交际的物理语境决定了话语者交际的不易。因此，网络交际者应在多模态语境下充分利用会话特征和会话规则，对丰富的语言现象进行分析解释，提高网络即时交际的效果。