基于多模态语料库的英汉副词性关联词语对比研究

张 静，原苏荣

(上海师范大学 外国语学院，上海 200234)

在各种现实社会互动过程中,有时话语内容很少,但参与者结构和交流思想却不断变化。如果仅靠某一种模态，难以理解和体会对方的想法和真实感受[1]。因此，对话语进行多模态研究，可以更全面地了解人类信息传递。本研究以中英电视剧《小欢喜》和《小谢尔顿》为例，对副词性关联词语的功能等进行分析。

1 多模态语料库和副词性关联词语理论

多模态语料库语言学依据20世纪90年代西方兴起的多模态话语分析理论，把文字语料、音频语料和静、动态图像语料进行集成处理，方便学者们通过多模态方式进行检索、统计等操作[2-3]，在很大程度上帮助人们打破了只注重语言系统的局限性。Barthes是最早进行多模态话语分析的研究者，他在1977年发表的论文《图像的修辞》中，探讨了图像三意义，其中图像产生的第一层信息就是语言[4]。意大利语言学家Baldry等人将多模态话语分析与语料库语言学结合起来，提出了“多模态语料库语言学”这一交叉学科，并从多模态语料库的角度出发，将理论和数字技术结合起来对影视语篇进行了分析[5]。最近的相关研究是由Bednarek以美国情景喜剧《吉尔莫女孩》为样本进行的研究[6]。他运用频率排序表对比样本对话中单词和N-Grams的使用频率与其他语料库的差异得出情景喜剧中的对话和口语对话之间存在很大差异，其中情绪性和强调性语言的出现频率更高，而模糊语言和填充词的出现频率较少[7]。国内的多模态话语研究现已开始朝向应用型研究发展，李战子将多模态符号理论首次引介到国内，详细介绍了Kress和 Van Leeuwen在系统语言学的基础上，构建图像分析的社会学符号框架。这一框架通过将多模态意义系统分为再现、互动和构图来分析多模态语篇，并探讨了图像分析对课堂教学的影响[8]。顾曰国采用多模态语料库语言学中贴真建模的方法，根据“言思情貌整一”原则对日常生活里的修辞现象做出统一的阐述，为言语行为的研究提供了理论架构和分析方法[3]。总体而言，国内运用多模态语料库方法对语用问题进行的研究仍处起步阶段，尚未见到专著出版，只有数量不多的论文[9]。

尽管多模态语篇中有大量影视语篇的出现，语言学家对电视语篇的研究大多倾向于使用小规模语料库或只包含一个系列或体裁的对话的语料库[10]，很少聚焦于影视文本的双语对比分析。因此，本文对中英电视语篇进行转录，建立小型多模态语料库。利用统计数据网站Voyant Tools对词频进行排序统计，发现汉语中的“就”和英语中的“just”在副词性关联词语中出现的频率最高。副词性关联词语是一种特殊类词语，它是在复句或语篇中起关联作用，表示分句之间、句子之间或语段之间意义关系的词语；它们既有修饰功能，也有连接功能[11]。国外学界对英语副词性关联词语的研究过程与国内学界对汉语该类词语的研究过程基本一致,主要集中于以下三个方面：(1)副词性关联词语的界定；(2)英语语篇中的研究，重要的成果如Larson对“either…or…”中的either连接功能进行了分析；(3)比较研究。陆建非等、刘曜比较了汉英副词性关联词语的语篇衔接功能；Johannessen论述了副词性关联词语的句法特点、关联特征，尤其是在德语话语中的关联特点，并进行了英、德副词性关联词语比较研究[12]，但是学界对副词性关联词的加合功能少有研究。依据原苏荣界定的副词性关联词语的范围和功能为基础，使用BFSU Qualitative Coder软件对“就”和“just”在语料中的功能进行人工标注统计，探究副词性关联词语“就”和“just”在中英影视语篇中各类功能及使用频率的差异。这种从多模态语料库角度出发的研究方法，不仅整合分析了多种传递信息的模态，也使得副词性关联词语在多模态语篇中的应用得到体现。

2 语料库驱动下的数据统计结果

本研究选用了主题相似的两部家庭生活教育题材的连续剧，对中文电视剧《小欢喜》和英文电视剧《小谢尔顿》前三季的内容进行转录，以此来构建一个小规模的双语语料库，并选取电视剧中的典型语言范例来分析。单镜头喜剧的《小谢尔顿》共三季总计65集，总字数149535。《小欢喜》共计49集，共有 439930个字。转录后的语料文档格式首先转换为软件兼容的txt格式来计算语料库的类符-形符比，从而衡量语料中的词汇使用丰富度。表1为使用AntConc软件计算的中英语料的形符、类符及类符-形符比。

表1 中英电视语料词汇丰富度

软件Corpus Word Parse进行分词标注后，利用AntConc获得相关形符和类符的数据。这一步骤是为了保证中英词语在后续词频统计结果的准确性。从表1的数据可以看出，《小谢尔顿》第一季的类符-形符比最高，为11.02；而和中国电视剧《小欢喜》相比，两部的词汇密度相差一半以上。因为英语电视剧的集数比中文电视剧少，通常只有中文电视剧的一半，且英文情景剧每一集的时长大约比中国电视剧时长短一半。这从侧面反映出美剧剧情的紧凑，倾向于使用口语缩略形式来进行交流；而中国电视剧注重细节化，注重情节发展。

依据张谊生、原苏荣界定的副词性关联词语范畴，首先收集了表加合或追加功能的英汉副词性关联词语[13-14](见表2)。

表2 汉英加合类副词性关联词语

表2展示了加合类副词性关联词中的具体词语，应用Voyant Tools网站检索统计在中英电视会话中该范畴副词性关联词语出现的频率，并将检索到的中英副词性关联词语的使用频率成降序排列(见表3)。

表3 中英电视语料前五位高频副词性关联词 次

副词性关联词“就”在《小欢喜》中使用频次最高，共3627次。“也”在中文语料分布频率中排第二。“还”“再”“又”在中文语料中出现的频率依次递减。将三季《小谢尔顿》的电视语料合并成一个文本，数据显示副词性关联词语“just”在英文语料中出现的频率最高，共出现798次；位居第二的是副词性关联词“too”，285次。中英前两位使用频率最高的副词性关联词语语义相互对应。但是从第三位副词性关联词开始至最后，语义不再对应。根据出现频率最高且语义对应的中英副词“就”和“just”为出发点，用语料库驱动方法，即分析者不从特定的设想出发, 而是从语料库的分析结果出发做进一步分析[15]，探寻副词性关联词语的衔接功能与类别。

通过比较两种语料库中“just”和“就”在各自文本中的使用频率，发现两者之间的相关性，为后续比较研究的可行性提供数据支持。把“就”和“just”在各语料中出现的频率带入Log-likelihood and effect size calculator界面进行计算，比较二者使用频率的相关度。计算结果表明，汉语语料中的“就”与英语中的“just”的使用频率具有一定的相关性，因为作为对零假设的证据度的贝叶斯因子为282.46，当所得数字大于100，是拒绝零假设的有力证据。

以原苏荣界定的副词性关联词语的8大类20小类功能为基础[12]，重新分类整合为12种功能，分别为加合功能、解释功能、断言功能、选择功能、条件功能、时序功能、结果功能、转折功能、命令请求、让步功能、目的功能、类固定短语，并使用BFSU Qualitative Coder对汉语语料中的“就”和英语语料中的“just”的功能进行人工标记，使得数据更加科学准确。统计数据见表4。

表4 中英语料副词性关联词语的功能及频次 次

3 英汉电视剧中副词性关联词语的多模态话语分析

从表4的数据可以看到，在两篇语料中加合功能占据首位，解释功能排名第二，命令请求功能位居第三。选择和转折功能使用次数相对较少。在中文语料《小欢喜》中选择功能最少，转折功能相对次之，但在英语语料一列中，选择功能的使用次数比类固定短语多。类固定短语是指保留一些成分，形成框架，替换其他部分。如if…just或一…就等。加合、解释和命令请求功能在中英各语料中出现的频率最高，尤其是加合功能。从表中可以发现被标注的功能已经超过了副词性关联词语“just”和“就”在语料中出现频次的数量。这是因为“就”和“just”在电视会话中的功能不只一种。本次收集的中英语料中“就”和“just”表加合功能较为显著，这也符合最初原苏荣把“就”和“just”划分到加合功能一类。

当然，副词性关联词语“就”和“just”除了在文本叙述中有着双重功能，在实际交流中也会伴随一些手势、眼神等模态信息。下面集中对中英语料中使用频率较高的加合、解释和命令请求功能进行多模态话语分析。

3.1 副词性关联词语表加合

Greenbaum认为，加合关系表示所说的话是前一个句子的叠加，前后句之间的关系在语义上是不确定的，是对前述句的进一步扩展。加合关系反映了相关人、物和事件之间的共存和共现关系。通常加合关系可分为三类：并列加合、后重加合和加合[12]。

(1)刘铮：上去吧。听话啊，听话就有头盔。

季杨杨:行。

(《小欢喜》第二集)

例(1)中，副词性关联词语“就”将听话人季杨杨和物品头盔连接起来，表现了共现的关系。“就”在这个例句中属于特提加合一类，特提加合更强调接下来出现的事物或事件，例句中“就”强调的是头盔。“听话就有头盔”是一个省略句，还原之后应该是“如果你听话就会有头盔”。因为在中国传统家庭文化中，地位较高的长辈通过简短的句式来达到一种强硬的语气，向小辈显示出自己的威严。副词性关联词语“就”将动作这一模态与话语瞬时连接起来。观察说话人的动作，可以看到他右边的眉首先往上挑，立刻对指定的听话人说了一句“听话啊”，随即将眼神收回，朝正前方看了一下，身体又微微向听话人的方向前倾，在做这个动作时，压低声音说“听话就有头盔”。当说话人刘铮说完“就有头盔”，便将头稍稍抬起，表示话语的结束。听者季杨杨听到后，嘴角上扬点头答应。这从侧面反应该例句中的“就”突出衔接后面的事物，正是听话人心仪的。听话人在说话人的话语结束后积极回应互动正是希望说话人能够兑现承诺。

(2)George：Not just any dive bar; one where everyone knows me.

John：And they are lucky that they do.

(《小谢尔顿》第三季第五集)

“just”在例句中起着双重功能的作用，一是加合功能，二是解释功能。这里的加合关系属于后重加合。后重加合旨在表达某种增强效果，表明对前述句的语气加强，后面所说的人和事在表达上更加突出。在这段对话中，话轮发起人George强调现在所在的酒吧不是普通的酒吧，通过加合功能详细描述了这所酒吧的不同之处是所有人都认识他以此达到强调这所酒吧的特别之处。当他说到“Not just any dive bar”时脸上开始洋溢着自豪的表情，嘴角上扬，眼神看向聆听者John。在说到“one where everyone knows me”时头不禁往上扬起后又低下，但是全程眼神一直注视着听话人，希望他可以理解并认同自己描述这所酒吧的特殊意义。这里的微笑和眼神揭示出George内心对许多人认识自己而感到骄傲。听话人John也积极回应和说话人实现正向互动。

例(1)中，“就”引出的两个事件并不相关但可以同时出现，例(2)中“just”连接的小句和后一个小句属于释因关系。张谊生认为由副词性关联词语引出的附加事物或事件比前者更重或更为突出[14]。在例(1)中，对于听话人来说 “头盔”最重要，而例(2)中，说话人想表达“everyone knows him”更重要。由此可见，说话人更强调添加的信息，这也间接反映了表加合功能的副词性关联词语倾向于表达主观性意义，而不是客观性意义。

3.2 副词性关联词语表解释

解释功能是指通过分析和推理，对上文的陈述和情况的含义、原因、理由等进行解释和说明。依据说话人或作者对前面情况的不同态度，又可以把解释性关系分为确认性解释和补证性解释[13]。在本节中，对一件事或物的描述被归为解释功能。

(1)童文洁: 这都要蹲班了，还升什么学呀，哪儿来的升学率啊？

方圆:这总数是不变的，考上了你就是一分子，这个升学率就上去了。

(《小欢喜》第二集)

这段对话主要讲述了说话人童文洁告诉丈夫方圆，学校希望自己的孩子高二蹲班一年，她对学校为追求升学率而要求蹲班这个做法有些困惑和不满，于是听话人向话轮发起者解释学校实行蹲班的原因。由副词性关联词语“就”引出的句子位于疑问句之后，是对前一说话人的问题进行解释。在这里对前面的疑惑，即蹲班没有升学率，通过给与理由和原因加以说明，属于补证性解释。此处第一轮听话人解释时，眼睛一直注视着最先开启话轮的人，当说到“考上了”时，他伸出的手掌向自己怀里的方向移动。接着说“你就是一分子”时又将手掌朝着听话人的方向移动。这个手势的移动暗示假如听话人考上了，那就是所谓的分子。通过手势的移动，让听话人带入自己假设的情境中，使对方能够理解自己所做的解释。

(2)John：Thank you for agreeing to the early-bird dinner. When I eat too late the food just sits right here.

Meemaw：Yeah, getting’ old is no party.

(《小谢尔顿》第二季第十集)

副词性关联词语“just”在这段对话中也有双重作用。“just”不仅使语句连贯，而且着重解释了为什么自己要请同伴吃早鸟餐。例句中的“just”将前后句关联起来，即“when”所在的条件句和“just”描述的结果句连接起来。“just”所在的分句向听话人解释了说话人早先提议吃早鸟餐的原因。显然，“just”在此处还具有连接多模态的作用。约会对象John感谢对方答应去吃早鸟餐时，头往左边的方向扭过去看着听话人的侧脸，同时头部往左下倾斜，展现了说话人态度诚恳，向听话人表示谢意。当John说到太晚吃晚饭时，首先将手抬高至胸口的位置。随着话语持续发展到 “just sits right here”时，说话人将手横着贴近胸口后立刻拍了几下胸口，表示食物堵会堵在胸口处。随后John眼神从左下方的位置又回到了最初水平向左的视线，暗示自己已经说完，希望得到对方的回应。

副词性关联词语“就”和“just”表解释功能时，在单句中充当状语，在复句和语篇中除了状语功能外，还起到关联作用。在表解释功能的例(1)和例(2)中，由副词性关联词语“就”和“just”引出的句子主要是对前一句的进一步解释说明，说话者不仅向听话人证实某种事实或结果与之前所预测的相符，也通过该方式使得语义更加清晰连贯。但是汉语的副词性关联词语“就”常常与“是”连用，而英语的“just”却不能和表示判断的“系动词be” 连用。这从侧面反映了英语和汉语间“异中有同，同中有异”的特点。

3.3 副词性关联词语表命令或请求

命令或请求就是指要求或以委婉的方式让指定听话人完成某事。

(1)童文洁：凡凡，妈妈跟你说实话，我们是一个很普通的家庭，爸爸妈妈没有任何背景，我们也没有任何关系，我们就指望你通过高考鲤鱼跃龙门了。你这个龙门你要跃过去，你会改变你一生…… (《小欢喜》第四集)

说话人童文洁告诉听话人本来要蹲班，但是现在不需要蹲班，担心学校想要放弃类似听话方学习较落后的孩子，所以劝导听话人要努力学习通过高考。当话轮发起人说到“我们就指望你”时不由自主地将手抬高，眉头紧锁并且眼睛一直盯着听话人，保持下颚抬高向前倾的姿势。当说到“就”时通过提高音量来强调自己话语里的重要内容，同时也带着请求的含义，希望听话人能够将自己的话记住，认真学习顺利通过高考。在这里“就”将所在例句里的人物和事件衔接起来，这里的人物和事件分别指的是听话人方一凡和鲤鱼跃龙门(通过高考)，但是这里的“就”命令的意味更加强烈，要求对方成功做到鲤鱼跃龙门。从视频中可以看出说话人的表情严肃，可以知晓这位母亲在对自己的儿子前途操心的同时也露出隐隐的不安感。

(2) Georgie:How come we ain’ t got no tater tots?…

Mom:Just eat what I made you.

Georgie:Can we at least have tater tots tomorrow?

(《小谢尔顿》第一季第一集)

例(2)中，话轮发起人Georgie因为想吃薯球而不是薯泥所以带着抱怨的语气。当他说这句话时，用叉子挑起一小块薯泥在眼前，然后把食物往下放了后又吃下去。这个举动也侧面暗示说话人Georgie不想吃却又不得不吃的无奈。而母亲要求儿子Georgie不要挑食，她做了什么就要吃什么。当她说“Just eat what I made you”将叉子上的薯泥往上抬了抬，开启了新的话轮，示意Georgie必须吃薯泥，同时表情严肃，眼睛一直盯着Georgie。祈使句中的“Just”和伴随的动作都展现了命令态度以及家长的权威。直到第一话轮发起人Georgie请求“我们明天能吃炸薯球”后，她才低下头停止注视Georgie的行为，因为母亲有时也不得不对孩子妥协让步。这些隐含的意思都是通过观察言语文本外的各种模态并结合相关知识进一步分析而得出。

副词性关联词语在表示命令请求功能时，英文中多省略主语，通常运用祈使句来命令或请求听话人完成或执行某事。在《小谢尔顿》中，“just”位于句首时能够起到承接上文，引出下文的衔接作用，使段、句间的衔接更加连贯，而且，该类词语位于句首命令性较强，能够清晰地反映说话人态度以便于听话人识别。但在汉语中，“就”位于主语和谓语间，命令意味相对较弱，请求意味更重。当说话人说到副词性关联词语“就”或“just”时都会通过升高音调，加重语气来表示命令。

从多模态分析中，可以看出话语能够表达非语言所不能传达的信息，反之亦然。只有将二者结合起来，才能发现更多隐含或者被忽略的含义，这些含义只通过阅读文本是无法实现的。副词性关联词语起到将语言和非语言的模态信息结合起来的作用，使得对话能够流畅地进行下去。

4 结论

基于语料库驱动的多模态话语分析理论分析英汉副词性关联词语，实际上是运用定性和定量结合的方法来分析语言背后的规律。运用语料统计副词性关联词语“就”和“just”在中英语料中分布频率，验证副词性关联词语“就”和“just”在电视会话文本中最主要的功能为加合功能；通过定性分析副词性关联词语和多模态协作的文本，发现副词性关联词语通常伴随着多模态的发生。这对挖掘文本之外的含义以及拓宽多模态语料库语言学的应用范围有着重要的意义。今后随着具体模态的范畴划分进一步发展，可以结合具有重要意义的语篇，进行意义建构与跨学科理论体系的构建，推动多模态语篇分析的研究。