多模态视角的大学生英语口语非言语交际能力研究

纪燕

摘 要：本项研究从多模态视角关注外语学习者的非言语交际能力，注重外语学习者在实际外语输出过程中的目光、表情、语音语调、手势等非言语交际特征，以期拓展对口语交际能力的建构以及优化大学英语口语教学。

关键词：言语交际能力；非言语交际能力；多模态

中图分类号：G640 文献标志码：A 文章编号：2096-000X（2018）14-0075-03

Abstract： From the multimodality perspective， this study focuses on nonverbal communication competence of English learners， especially their sights， expressions， pronunciation and intonation， gesture and other nonverbal communication characteristics， with the aim of expanding competence construction of oral English communication and optimizing college oral English teaching.

Keywords： verbal communication competence； nonverbal communication competence； multimodality

国内外诸多研究关注教学领域的多模态应用，尤其多模态视角下语言学习者口语交际能力的研究，关于分析多模态信息渠道的多元化促进学习者接收教学相关信息，关于这种多元化很大程度上为学习者创造了多层面地学习知识、提升学习效率的优势研究居多，然而多模态视角下折射学习者本身语言产出性特征的功能研究往往被忽视，具有一定的局限性。《大学英语课程要求》提出大学英语教学要使学生具备以英语为工具进行社会交流和开展工作的能力，“说”的能力应当成为大学英语教学的重中之重。然而，以我国现有的各类英语口语测试为例，大学英语四、六级口试、英语专业四、八级口试的评分量表分别为“语言准确性和范围、话语的长短和连贯性、语言灵活性和适切性”和“语音语调、语法与词汇、有条理、灵活自如”为重点。[1-3]这样的评分方式侧重以流利程度、内容、语法和发音等言语因素的考察，以主观判断为依据而缺乏客观性考量标准，忽视了非言语交际的能力而缺乏全面性。诚然，非语言交际能力被忽视的重要原因是非言语交际的内容很难定性、定量。但是，中国大学生缺乏非言语交际能力的事实不容忽视。

非语言交际是人类交际的重要组成部分，交流环节的一个重要因素，在交际中起着语言交际无法替代的作用。多模态视角下发掘学习者在接受信息时其本身的反应及具体运用这些信息的能力特征，一方面能丰富交际语言能力的内涵与外延，另一方面也能提升培养非语言交际能力在外语教学中的重要性。多模态视角的大学生英语口语非言语交际能力研究旨在协助学生直观地了解自己口语产出所呈现的特征，促进教师改进课堂话语，以期促进解决目前大学生英语口语学习内在动机不足、自主学习能力差和学习费时低效，以及大学英语口语教学中未能充分地考虑学习者与各模态之间互动需要等问题，为从真正意义上实现《课程要求》中的内容发挥重要作用，优化大学英语口语教学效果。

一﹑多模态应用于教育领域的研究

国内教育界受到多模态视角研究的直接影响，越来越多的研究人员开展了语言及语言教学相关研究领域的研究，研究内容基于多模态话语分析所呈现形式的多样性展开，大致可以被概括为以下四个方面：第一，侧重从多元读写的含义和多元读写研究的发端出发，结合多模态与多元识读之间的关联，将文字表达的意义与视觉、听觉、手势等其他表意方式相结合的研究。第二，强调以语言和图像之间互动的多模态方式对具体技能教学或整体课堂教学的影响，以多元化信息渠道为英语学习者提供更多语境信息从而优化教学效果。第三，运用多模态符号资源优化语言教材的评估，以及协助解决语言教材编写和使用中的某些具体问题。第四，以多模态例如原版英文电影辅助教学的研究，强调情境在英语口语学习中的重要性，认为原版英语电影的真实性和多模态性能有效地激发学生的语言学习兴趣，刺激学生的听觉和视觉等多重感官。然而，以上的研究大多是从语言输入方面展开关于多模态在教学中给学习者在感官上大量和多样的刺激，很少从学生的语言产出角度来做多模态的分析。多模态视角至今还未应用于研究英语口语特征当中。国际上，已经有研究人员开始从学习者语言产出的角度展开，基于学习者语言产出的各种特征建立话语语料库，尝试从多模态角度对学习者的语言产出特征进行量化并加以解释。然而，国内相关研究仍为数甚少，少量的研究曾聚焦學习者的非言语行为发现在多模态环境下我国大学生的非言语交际能力确实普遍存在不充分、不自然的现象。[4]38

二﹑多模态话语分析理论框架

多模态话语分析（multimodal discourse analysis）于20世纪90年代在西方兴起，是对多模态符号学研究发展而来的。语言只是意义生成的手段之一，传统意义上只以语言为核心的单模态分析法已无法全面地解释意义的生成和交际。在社会交流中人们的手势、面部表情、身体语言等也都是生成意义的符号模态，产生意义的源泉，在交际中有着同样的价值功能。人们往往借助多种符号资源诸如声音、图像和颜色等其他符号在社会语境中完成意义的建构。传统的话语分析理论和方法只注重言语系统和机构及其与社会文化和心理认知的关系等，对于言语以外的模态表现形式及意义缺乏应有的关注。源于系统功能语言学理论的多模态话语分析为语言分析提供了新的视角。众多学者认为多模态话语分析是对话语分析的一个理论补充。他们指出多模态话语分析除了研究语言系统和语义结构本身，还应包含语言以外的其他符号系统。面部表情与语音综合、面部表情与语音识别、言语与手势等多种模态的互补研究对于定性、定量研究非言语交际能力更加客观、全面、有效。多模态话语分析能有效弥补单模态话语分析的不足，多种模态的互补研究已经成为多模态话语分析研究的一大发展趋势。作为系统功能语言学的代表之一，张德禄指出话语意义中的一大部分是由非语言因素“如伴语言特征：音响度、声调、语调、音速等，身体特征：手势、身势、面部表情、动作等体现的，并基于意义、文化、语境、形式和媒体即系统功能语言学的五大层面提出了多模态话语分析的综合理论框架。

三、多模态视角下非言语交际能力的主要元素

以张德禄（2009）所提出的多模态话语分析理论框架为基础，结合中国大学生英语口语分析性评估体系，非言语交际能力包含“基于身体”（即说话人在言语过程中通过其肢体各个部分的移动或变化所发生的情况）和“基于环境”（ 即指说话人在言语过程中周围的客观物理环境）两个层面的标注体系。[5]刘芹、潘鸣威（2010）从不同身体部分所呈现的不同形式及其功能上将这一维度又进行了更为细致的划分：声调、目光交流、手势、表情、头部活动和表述自然性。[4]40

（一）伴语言

受到认知科学的发展的影响，语言学研究经历了从“说话人意义”（speaker meaning）到“话语的意义”（utterance interpretation）的转向，强调含义（implication）在会话交际中的重要性。会话含义是体现讲话者交际意图的主要特征，对于听话者而言，对会话含义的理解是一个依据语境推断出说话者的目的或隐含意义的复杂认知过程。在语言交际中人们说话时语流的轻重、高低、升调降调等变化的模式即语音语调，言语表达的方式如韵律、音量、嗓音、喘息等即音质，均能表达说话者的态度、意图或感情，起到言语的伴随作用，是非常重要的副语言形式。比如，在英语口语中以降调产出某个英文单词或是句子是普通陈述，而以升调产出虽然不会改变基本意思，但有可能附带了“惊奇”或“怀疑”等额外的意思，不同的语调产出相同的语言信息单位可能产生不同的会话含义。此外，音质也包含社交信息，反映交际者的心理状况，比如傲慢、得意、嘲弄、谦卑、热情等不同的口吻往往以不同的音质体现出来。也就是说，不同的语调和音质等伴语言形式均表达不同的态度或情感，传递不同信息和话语意义，有着重要的交际功能。因此在英语口语教学活动中引导学生重视语音语调在语言交际中的重要性，帮助学生正确运用语音语调的话语功能，推断话语的含义显得尤为重要。

（二）体势语

体势语与语言共同参与、完成交际过程，是由表情和姿态传递信息的非语言符号，比如人们谈话时伴随的手势、身体动作、目光、面部表情等。目光交流是一種直接且强有力的非言语交际方式。比如，长久地盯着对方是一种不礼貌的表现，直视往往给对方留下坦率真诚的印象，说话者的内心活动往往有意或无意地由眼睛表露出来，这也正是“眼睛是心灵的窗户”这一俗语的体现。据研究，在一个完整的交际活动中双方的目光接触往往占据交际过程的50%～70%，目光对于塑造一个良好的交际形象起着非常重要的作用。此外，交际双方目光的接触时间长度与频率往往因交际双方的性别、熟悉程度、职位、地位、亲密程度和对交际内容兴趣高低等不同因素而产生差异，比如陌生人之间的交流较之亲密朋友之间的交流彼此目光的接触与频率将会更长、更高，在公务交流中的时长与频率将会比下级目视上级更长、更高。手势是人们看到最多但了解最少的非言语行为，人们说话时伴随的比如捋捋头发、推推眼镜等身体语言，虽然与言语内容无关，但有助于说话者更清楚、更形象地表达意义。坐、卧、立等姿势也能在交际过程中传递信息，比如手脚摆放的位置和身体的正式程度与松弛程度等能表现出交际者焦急、惧怕、紧张、内疚或者是自信、得意等心理状况。再者，面部表情也对信息交流起着至关重要的作用。人们内心丰富的情感往往由各种相应的表情呈现出来，即“情动之于心、形之于外、传之于声”，观察对方的面部表情则是解码交际内容的重要方式。值得一提的是，虽然基于共同的生理基础和相似的生活方式不同民族文化的体势语多有共同之处，但是手势、表情等非言语行为仍具有一定的文化差异性，而且正是这种差异性往往导致不同文化背景讲不同语言人交际活动中的误解。比如，中国人往往以点头表示赞同或己领会对方的意思，以摇头表示不同意、不满意或不理解。然而印度人却以摇头表示赞许，英国人还往往以点头来提示对方接话时机。不同的文化也赋予手势不同的意义，比如拇指、食指围成圆，另二指往上翘的手势在美国表示OK，而在法国则可能表示“一文不值”。 交际双方对彼此的手势、表情等非言语行为所表达的意义虽然有共识，但基于文化的差异性对其意义的解读需视具体情况而定，在交际活动中有一定的难度。

四﹑非言语交际能力的研究

国外诸多学者进行了多模态视角下非言语交际能力研究，Neu（2000）曾以对话分析的方法对英语学习者的非言语行为进行定性研究。[6]Nambiar和Goon（1993）的研究发现口语考试中考生评分高低与非言语特征丰富与否往往正相关。此外，Jungheim（1995）的研究将非言语交际能力作为语言交际能力的一大范畴并提出了非言语能力量表（Nonverbal Ability Scales），将目光交流、头部活动、表情以及手势四个维度纳入其中。[7] Harrison（1965）、Mehrabian&Sus

an（1967）聚焦于量化言语方式与非言语方式在信息传递过程中的作用，其研究成果共同论证了在面对面的交谈中非言语方式如声调和手势等对话语信息的传递达65%，说话人，言语、声调以及面部表情对表达的贡献率分别为7%，38%和55%。[8]Argyle（1970）研究发现在传达意义的过程中非言语交际起到的作用是言语线索功能的4.3倍。[9]可以看出，非言语交际能力的重要性已经引起诸多学者的重视，但是一个能够将言语和非言语维度结合进行研究研究的视角仍在探索中。

语言能力通常被分为听、说、读、写四种能力。虽然这四种语言处理的方式被Bachman的交际能力模式和神经生理学的研究证实了在语言交际中的相对独立性，但是在实际语言运用中这四项技能彼此关联并相互促进。听和读-接受性解码技能（receptive decoding skill），是言语的感应过程；说和写-运用性编码技能（productive encoding skill），是言语的生成过程，这四项语言技能是一个统一的整体。然而，“听说能力”与“读写能力”孰为中心的争论在我国大学英语口语教学中却一直存在。“许多学生听力和口语能力提高不大，听不懂、说不出，即人们常说的“聋子英语”、“哑巴英语”的现象随之出现。“[10]有许多学者肯定“听说”的重要性，指出“听说为本、读写并重”。董亚芬先生提出“阅读原著始终是教学的重要环节，”听说领先“只是昙花一现。因为经验很快告诉你，轻视读与写，听、说（尤其是说）只能沦为无源之水、无本之木。”[11]综上，将多模态应用到口语输出研究中具有必要性、合理性和紧迫性。非言语交际能力和语言能力应当在交际活动中互为依托、相得益彰。建构真实的语境来培养学生综合运用英语的能力一直是大学英语教学改革探讨的中心之一。非言语交际信息具有一定的无意识性，依靠语境进行判断，并建立良好的推断框架。相应地，口语交际能力的培养应该建立在包含显性语境和隐性语境的真实语言环境中，让学习者充分意识到非言语交际信息重要的语义功能，并形成在信息交流过程中依据语用含义和语用效果进行推理判断的能力。此外，大学英语口语教学任务和教学材料也应该重视信息交流的语境和学习者心理认知特点，从而最大限度地发挥语言使用的功能意义。[12]总之，交际能力研究要求研究者关照具体语境和交际主体心理认知特点的前提下，关注非言语交际能力和语言能力的协同发展，以此优化大学英语口语教学，更好地促进具有一定语言表达能力跨学科人才培养目标的实现。

五、结束语

在应用语言学的研究中，非言语交际一直以来是一个受到冷落的研究领域。将多模态视角植入到口语交际能力的研究中去，关注学习者在实际语言输出过程中所运用的伴语言特征和体势语等非言语行为特征，不仅可以对以往交际能力的界定有更深意义的挖掘，也可研究在言语以外，特别是在非言语中生成的意义，弥补以往口语研究的不足。设计包含句子声调、目光交流、手势、表情、头部活动和表述自然性的动态评分量表，特别是将“非言语特征”的维度纳入到区分高水平学生英语口语水平的评分量表中的探索有待大量的后续研究对学习者的口语输出深人分析，并验证、完善，以期为大学英语口语教学和评估提供反馈信息，对英语口语教学、教材编写以及口语测试与评估等形成借鉴意义。

参考文献：

[1]全国大学英语四、六级考试委员会.大学英语四、六级考试口语考试大纲及样题[M].上海：海外语教育出版社，1999：4.

[2]高校英语专业四级口试大纲编写小组.高校英语专业四级口试大纲[M].上海：上海外语教育出版社，2005：4.

[3]高校英语专业八级口试大纲编写小组.高校英语专业八级口试大纲[M].上海：上海外语教育出版社，2005：5.

[4]刘芹，潘鸣威.多模态环境下中国大学生英语口语非言语交际能力研究初探[J].外语电化教学，2010（3）.

[5]张德禄.多模态话语分析综合理论框架探索[J].中国外语，2009（1）：25.

[6]Nunn， R. Designing rating scales for small-group interaction[J].ELT Journal，2000：169-178.

[7]Jungheim， N. O. Assessing the unsaid： The development of tests of nonverbal ability[J].Language Testing in Japan， 1995：149-165.

[8]Mehrabian，A.& Susan R. F. Inference of attitudes from nonverbal communication in two channels[J].Journal of Consulting Psycho

logy，1967， 31（3）：248-252.

[9]Argyle，M. Bodily Communication[M].Boston International Universities Press，1970：222-311.

[10]劉润清.吴一安，等.高校英语教学改革笔谈[J].外语教学与研究，2002（6）：401.

[11]董亚芬.我国英语教学应始终以读写为本[J].外语界，2003（1）：5.

[12]吴春红.口语交际能力的非言语特征研究[J].盐城师范学院学报，2005（4）：63.