应用语言学研究的多模态分析方法

宋 丽 苹

(郑州成功财经学院 文学与新闻传播学系，河南 郑州 451200)



应用语言学研究的多模态分析方法

宋 丽 苹

(郑州成功财经学院 文学与新闻传播学系，河南 郑州 451200)

摘要：多模态分析方法结合了符号学、社会学、美学、心理学以及政治学等多门学科的知识，具有较强的综合性，最初仅仅将文字作为研究对象，目前已经延伸到了图片、音乐以及影像等领域。概述多模态分析理论与应用语言学理论，提出应用语言学研究的多模态分析方法。

关键词：应用语言学；多模态；分析方法

0前言

应用语言学在人类交流中发挥着不可替代的作用，与普通语言学不同的是，其不是对某种语言特征或者使用方法进行直接研究，而是将交际理论作为基础，明确了语言在交际中的重要地位。而交际不仅体现在语言使用习惯上，同时体现在思维和认知上，具有一定的文化性。应用语言多模态分析法来研究应用语言学，能够进一步明确语言在“教”与“学”过程中的特征，对于应用语言学的进一步发展具有重要意义。

1多模态分析法概述

1.1基本理论

一种语言有多种模态形式，包括文字、语音、画面等，广播以及阅读小说属于单模态话语，因为其在传播过程中仅仅使用一种模态；看电视及使用可视电话属于双模态话语，因为其在传播过程中同时使用了视觉以及听觉模态。对话语进行多模态分析需要将系统功能语言学作为基础。在所有社会符号中，语言是最重要的一种，但是要想将语言的价值充分发挥出来，需要其他社会符号的支持。例如，一个人在沉默时什么也没有表达，但是却在无声中传达了某种含义。多模态话语分析主要研究以下六个问题：第一，需要对多模态话语进行定义；第二，需要对话语进行转录，然后根据转录结果进行分析；第三，多模态话语分析技术有哪些；第四，多模态话语分析的意义是什么；第五，多模态与多媒体与多媒体语言学习之间存在怎样的关系，前者可以为后者提供怎样的支持；第六，多模态话语分析会对应用语言学的研究和发展产生哪些影响。总之在多模态分析方法的支持下，对应用语言的研究实现了从文本到现场即席话语的突破，同时语料库也不断丰富，我们可以将其作为基础对应用语言学进行深入研究[1]。

1.2分析方法

多模态分析中一般都会使用分析软件，本文主要介绍使用性较强的软件ELAN，使用者可以在固定网站上直接下载。该软件可以对人在说话中的所有表现进行分析，例如话语内容，判断内容的逻辑性；也包括说话者的表情以及动作等，如面部是微笑还是紧张，肩部和手部是否做出什么动作，这些动作预示着什么等。之所以能够具备以上功能，就是因为其在对视频文件进行分析时采用了多层级同步标注方法，能够对说话中表现出来的所有元素进行同步分析。总结来说ELAN软件具有以下几个优势：首先，视频的播放精确度较高，可以精确到0.01秒，用户可以根据自己的需要对视频进行精确定位，进行循环播放；其次，标注具有同步性，会与声音和图像同步呈现出来；第三，用户可以根据自己的需要自由定义标注编码表，标注层数不会受到限制；第四，可以将所有标注链接起来，实现纵向对比；第五，用户可以根据自己的需要和自身条件合理选择输出格式，该软件可以对mp4、media、quick time等多种文件的格式进行标注。如果文件为avi格式，可以先利用视频转换软件将其转换为ELAN允许的格式以后再进行标注操作[2]。

2应用语言学理论概述

2.1应用语言学的发展

交际理论是应用语言学的基础，因为语言是交际的重要工具，任何一门语言都不是独立的，而是存在于交际之中的。但是在过去很长一段时间内，人们对应用语言学的研究都停留在表层，简单地对语言符号进行研究，但是却忽视了对非语言符号的研究，包括语气、表情以及声音、音色等，实际上这些因素对语言交际会产生重要影响。随着语言学研究理念的革新以及计算机技术的发展，多模态话语交际方法逐渐受到重视，并被广泛运用于应用语言学中，具有重要的理论和现实意义。多模态分析方式为交际语言的分析、理解和学习提供了丰富资料，突破了单纯文字的限制，弥补了应用语言学理论的不足[3]。

2.2多模态分析法在应用语言学研究中的重要意义

多模态分析方法将言语行为理论、语言合作学习理论、关联理论以及心理学理论等多种相关理论作为基础，一方面分析了语言本体在交际过程中发挥的作用，另一方面分析了非语言符号对交际过程的影响，包括神情、动作、语气以及音乐等，这些符号与语言结合起来才构成了完整的交际。很多时候仅仅依靠语言无法准确判断出说话者所要传达的完整信息，非语言符号在一定程度上起到了重要的补充说明作用。我们可以从以下几个角度来理解多模态分析法在应用语言学中的重要意义：

首先，其可以丰富语用分析关于语言使用的客观描写。人们在平时生活交际中，很多时候都喜欢使用一些非语言符号来传达自己的意愿，从而实现交际目的。也就是说语言模态与非语言模态之间是无法被割裂的，在理解语言的过程中无法完全将非语言模态排除在外。例如，在道歉说“对不起”时，语气里需要充满歉意，表情要严肃，否则别人可能就感受不到道歉的诚意，达不到道歉目的[4]。

其次，其可以帮助人们判断出一些非语言符号在表达和理解中的作用。语言和非语言模态信息之间存在一种内在联系，所有符号有机结合起来才能构成完整的交际体。例如，路牌标识上不仅仅要标注清楚名称，同时还要用箭头标明方向，否则标识就失去意义。

3应用语言学研究的多模态分析方法

3.1ELAN软件简述

前面提到过，ELAN软件是一种实用性较强的多模态分析软件，其主要具备以下几种功能：一是可以对语言类型进行定义，包括文本、表情以及语音等。用户有权利进行添加、删除和修改操作。二是对层级进行定义。基本操作与上一步相同，用户同样有权进行添加、删除和修改操作。三是视频标注。语言类型及层级定义完成以后，输入标注内容。四是查找。用户可以根据自己的需要在系统中找到自己需要的标注，并自由选择输出格式。例如，如果用户想要在文件中找到所有的降调标注，就可以这样操作：在屏幕上点击查找菜单，弹出查找对话框以后，在其中输入找到对象，点击查找按钮，文件中的所有降调标注就会显示出来，包括一共有几处，每一处持续多久，开始和结束的时间分别是什么。五是替换。用户可以对查找结果做替换处理，具体操作与上一步大致相同，弹出替换对话框以后，将需要替换的编码输入进去，完成替换操作[5]。

3.2多模态分析在第二语言中的应用

3.2.1问题的设计

在研究多模态分析在第二语言中的应用时，将四名英语教师的课堂录像作为基本语料，其中包含两位男教师、两位女教师，主要研究音韵特征在英语课堂教学中的辅助作用，分析几位教师使用了什么样的音韵策略，取得了怎样的效果。经过多模态分析以后需要解决以下几个问题：第一，几位教师在音韵特征上是否有相同之处？第二，这些音韵特征在教学过程中发挥了什么作用？第三，不同教师在选择音韵策略时是否存在差异性？

3.2.2赋码方案的确定

研究问题确定以后，需要设计一个赋码方案，方案分为三部分：一是音韵特征，二是句型，三是功能特征。具体编码如下：音韵学用[P]表示，升调、降调、平调以及先升调后降调的代码分别是[PIR][PIF][PIL][PIRF]。在对功能部分进行编码时，直接用功能首字母的组合代表编码，例如，提问功能的编码是[FAQ]，结论功能的编码是[FDC]。之后就可以按照这个赋码方案对视频文件进行标注，本研究中定义了九个层级，具体如下：一是transcription，就是将教师的口头语言转换成文字；二是sentence pattern，标注了各种类型的疑问句；三是pause，四是stress，五是intonation，六是silence，七是tempo，三、四、五、六、七是音韵特征范畴，在赋码方案中占据重要位置；八是function，其将角色作为划分依据；九是note，主要作用是解释说明[6]。

3.2.3分析过程

在对课堂视频进行标注的过程中我们会发现，英语教师在课堂中发挥重要作用，其总共扮演了三个角色：一是组织者。任何教学活动都在教师的组织下进行。二是辅助者。学生的学习过程离不开教师的辅助。三是合作伙伴。教师与学生之间是平等互动的关系。分析表明，教师在扮演不同角色时所使用的音韵策略也有所不同，例如，在引起或者结束话题时(包括评论、总结等)，一般会使用降调伴随重音，此时学生能够感受到教师的权威性；而在吸引学生注意力(叫人回答问题、表扬学生)时，一般会使用升调，此时学生更能感受到轻松或者是被肯定。这些结论是对视频文件进行定性分析后得到的，为了对这些结论进行进一步验证，可以使用软件定位功能播放相关阶段视频；如果还需要进一步定量分析，则需要将标注结果输出[7]。

3.2.4结论

最终统计结果表明，教师在扮演组织者角色的时候，引起或结束话题时多使用降调，吸引学生注意力时多使用升调；教师在扮演辅助者或者是合作伙伴时，大多数使用升调。四位英语教师在使用音韵策略时有一定的共性，使用停顿、重音以及语调的场景大致相同，且音韵重复策略在英语课堂教学中发挥了重要作用[8]。

3.3多模态分析在母语中的应用

采用同样的方法对母语的应用进行分析，这里以主持人开场白为例。同样需要解决三个问题：第一，主持人开场白体现了哪些音韵特征？面部表情及肢体语言如何？第二，以上几点特征对主持行为产生了哪些影响？第三，以上非语言符号如何与语言符号结合起来发挥作用的？

根据以上几个问题可以将视频标注设置为四个层级：一是话语内容，将语音符号转写为文字符号；二是音位，包括停顿、语调、重音以及节奏等；三是肢体动作，包括面部表情的变化、眨眼频率以及手势等；四是功能，例如面部表情发挥了什么功能，手势发挥了什么功能等。层级标注完成以后同样需要编制编码表，与第二语言教学视频中的标记相同，分别用[PIR][PIF][PIL][PIRF]代表升调、降调、平调以及先升调后降调[9]。

之后需要对主持人开场白讲话数据进行统计分析，然后输出标注结果，讲话内容、音韵、肢体动作等频率以及所对应的功能或者说达到的效果就会以一一对应的方式直观显示出来。对标注结果进行统计分析以后得出以下结论：首先，视频中主持人的开场白中经常使用音韵策略，语调以及停顿的使用成功吸引了观众的注意；其次，面部表情比较丰富，会在适当时间使用手势或者是移动位置，给人自然、放松的感觉；最后，语言内容具有较强的梗概性，沉稳却不失幽默。总结来说就是该主持人成功使用了音韵策略以及肢体语言等，将语言符号与非语言符号巧妙地结合到了一起，展现出了主持人的风范，达到良好的主持效果[10]。

4结语

随着语言研究理论的发展，人们对应用语言学的研究越来越深入，多模态分析法的发展为应用语言学提供了新的研究方向。这种方法打破了原有将语言作为唯一研究对象的模式，同时对色彩、音韵、肢体语言等进行研究，明确这种非语言符号在交际中的重要作用，对于应用语言学的进一步发展具有重要意义。

参考文献：

[1]耿敬北,陈子娟.多模态话语跨学科研究述评[J].西华大学学报：哲学社会科学版,2014，(6):94—97+107.

[2]陈子娟,耿敬北.中国多模态话语分析回顾与展望[J].云南开放大学学报,2014，(4):72—77.

[3]冯德正,Kay O’Halloran.多模态语篇分析的进展与前沿[J].当代语言学,2014，(1):88—99+126.

[4]李战子,陆丹云.多模态符号学:理论基础,研究途径与发展前景[J].外语研究,2012，(2):1—8.

[5]李战子,陆丹云.系统功能语言学的研究热点和发展方向[J].中国外语,2012，(6):91—95.

[6]陈文凯.语音多模态研究与多模态二语语音习得[J].外语电化教学,2013，(4):59—63.

[7]陈新仁,钱永红.多模态分析法在语用学研究中的应用[J].中国外语,2011，(5):89—93.

[8]刘燕.多模态话语分析研究在中国的发展[J].晋中学院学报,2011，(5):108—111.

[9]李毅,石磊.教学中的多模态隐喻——应用隐喻研究的新方向[J].外语电化教学,2010,(3):47—49+56.

[10]黄立鹤,何继红.从《Routledge多模态分析手册》看多模态语言研究[J].语言教育,2013，(1):92—95+97.

责任编辑：富春凯

中图分类号：H09

文献标志码：A

文章编号：1674-6341(2016)01-0152-03

作者简介：宋丽苹(1979—)，女，吉林蛟河人，硕士，讲师。研究方向：汉语语法。

收稿日期：2015-12-06

doi:10.3969/j.issn.1674-6341.2016.01.066