赵颖,周紫薇,郑启坤
(天津科技大学,天津,300202)
美国脸谱公司路演视频中情态附加语的互动研究
赵颖,周紫薇,郑启坤
(天津科技大学,天津,300202)
情态附加语属于小句中的副词,虽然不具有成为主语的作用,但却是语气系统中表达人际功能的一部分。将系统功能语言学理论、视觉语法和美国脸谱公司路演视频相结合,运用ELAN①ELAN是由德国马克斯普朗克研究所研发的标注软件,它可以帮助创建、编辑标注并且搜索视觉和听觉信息。多层标注软件分析情态附加语在不同模态中是如何构建语篇人际意义的,从理论和理据层面上分析了情态附加语的人际意义。运用多模态互动的方法研究情态附加语有利于拓宽语篇分析的研究范畴,完善对语篇的全面理解。
情态附加语;互动研究;美国脸谱公司路演视频;人际意义
经济发展、社会变迁、科技进步和交流方式日新月异的变化加速了大众交流方式的转变。昔日单一模态的大众交流方式被多模态交流方式所代替:传统的声频电话被视频电话所代替;表达意义的方式也让位于声音、音乐、图像、动作等不同方式的互动表达。造成这一现象的原因是每一种模态在交际上都有优点和局限,传统的单一模态由于其自身的缺陷难以清楚完整地传递复杂的信息。而多模态话语吸收了各个单一模态的优点,可以更高效地进行交流。这就引领话语分析研究进入到一个新阶段,即多模态话语分析。
美国脸谱公司首次公开的募股路演视频,就是这样一个由视觉模态和听觉模态相结合的多模态话语语篇。这个路演视频有着超过1040亿美金的市场资本,被称为科技发展上最大路演宣传展示,也被誉为互联网历史上最大规模的宣传展示之一[1]。该研究以美国脸谱公司路演视频为例旨在拓宽语篇分析的研究范畴,将语篇的研究由静态研究引入动态,进行多模态语篇分析。
脸谱首次公开募股路演视频,作为商业演讲的一种典型方式,其目的是为了表达演讲者对脸谱公司上市的评价,激发观看者的兴趣,从而引发观众对演讲者的认可和支持,最终达到促使观看者成为募股者并和股东一起管理脸谱的目的。因此在演讲者和受众之间存在着一种无形的买卖关系,而这一点恰好符合韩礼德所提出的语言的人际功能,即语言可以构建社会关系。不同于其他文章关注于通过主语、情态动词等视角来研究人际功能的实现[2-4],本文的研究重点放在语气系统中的情态附加语上,试图研究情态附加语是如何再现语篇中的人际意义的,并且通过其在不同模态中的互动,探索模态之间的互动关系。
功能语法学认为语言具有分析人类经验的作用,并且在分析的过程中构建人与人以及人与社会的关系。语言的这种作用称为语言的人际功能。在这种人际功能实现的过程中,小句的各个部分起到了重要的作用。不仅仅是人称代词、动词,附加语在构建人际关系中也起到了重要的作用。附加语是修饰行动、事件、情况的字或者词组[5]。Halliday认为附加语是是限定成分的一部分,多出现在限定操作词附近,根据不同的功能可以分为以下三种,即环境附加语、情态附加语和连词附加语,他们分别代表概念功能、人际功能和语篇功能。情态附加语属于小句中的副词,用来修饰动词,是语气系统中表达人际功能的一部分,由语气附加语和评论附加语组成,这两者没有明显的区别,唯一的区别是有些评论附加语不是属于语法中的语气成分,它是表达作者对命题态度或是突出个别言语功能的修饰语[6]。鉴于情态附加语与语气系统所构建的意义密切相关,具有时间性(temporality)、情态性(modality)、强度(intensity)和言语功能性(speech-functional),这些都是构建人际意义的重要部分,所以本文只讨论具有表达人际功能的情态附加语。
作为一种语言模态,情态附加语会与其他模态一起构建语篇意义。以往对于情态附加语的研究多停留在文字模态层面上,[7-9]而忽略了其与其他模态的互动作用,所以研究显得单调且不充分。本文选择脸谱商业演讲语篇中的情态附加语作为研究对象,试图探索情态附加语在不同模态中的互动关系。路演视频是集视觉、听觉等模态于一身的多模态语篇。笔者将从演讲者的动作、表情、距离和视角等方面出发,探索情态附加语在多模态语篇中的互动情况,以期将情态附加语的研究拓展到多模态这一层面,从而走出之前单一话语研究的窠臼。
Kress和van Leeuwen(2004)发展了系统功能语法,将语言构建的元功能延伸到视觉层面,认为视觉所构建的再现意义、互动意义和构图意义是系统功能语法在视觉上的反应。通常来说,演讲需要观众即时出现在某时某地。这表明说话人在组织信息时会出现互动文本的压力,因为说话人在组织信息时倾向于与即时文本构建联系[10]。而由声音、图像、接触等构成的多模态语篇,超越了单一文字模态的语言构建意义方式,能够更加完整地再现语篇意义与观众进行互动沟通[11]。本研究将把情态附加语的视觉动态行为研究纳入Kress和van Leeuwen的视觉语法分析框架,力图对商业宣传语篇中互动意义的再现做出全面阐释。
视觉图像所呈现的互动关系通过四种方式体现:接触、距离、视角和手势。第一,接触有两种作用:给予或索取。两者的区别在于图像中的人物是否直接与参与者(观看者)进行眼神或手势的接触。若是图像中的人物间接与参与者进行接触,说明图像中的人物想要给观众传递一些信息即是“给予”类图像;而“索取”类图像中的人物与观众有直接的联系,这说明图像中的人物试图要求观众了解一些信息。第二,距离表示图像中的世界与观看者之间的亲疏关系,由镜头的远近来决定,一般来说镜头越近,说明互动参与者与再现参与者之间关系越紧密,而且为了达到预期实现的再现意义,图像中的人物可以自由选择与观众的距离。以下是不同的距离分类:“个人距离”是通过近镜头只展示图像中人物的头部和肩膀,表明演讲者和观众之间存在着一种亲密的关系;而“公共距离”是指通过长镜头展示图像人物的整个身躯,表明演讲者与观众的关系疏远;而“社会距离”是介于两者之间的,只展示图像人物腰部以上的部位,表明演讲者和观众较亲密的关系;“非个人距离”是指图像中没有人物的身躯,只呈现物品,其目的是为了突出某件产品的某种特征。第三,视角表明图像人物与观众所呈现的主客观态度,可以分为水平视角和垂直视角。前者是指图像中的人和观众处于相同的高度,这表明两者在视觉交流中有着相同的权势,可分为正面视角和侧面视角。正面视角与侧面视角的不同之处在于两者呈现的视觉效果不同,正面视角呈现的是一种参与感。而侧面视角给人一种脱离感[12]。而后者垂直视角是指观众与再现参与者不处于相同的高度,表明两者具有不同的权势。因本研究涉及较少,这里将不予赘述。第四,手势是指在演讲和交流信息时手的即席动作[13]。在实际情况中,人们使用指引词语和手势来构建语篇[14]。换句话说,手势不仅仅与涉及词语一起表达意义,也与句子的其他部分一起构建意义。事实上,手势在一定程度上是由信息推动沟通交际活力的谷峰引起的。一般来说,越能促进交际活力,手势也越有可能出现[15]。手势的出现需要手离开并返回初始位置[16]并在这个位置上手处在一种放松的状态。一个典型的手势经过四个阶段:准备、比划、保持和撤回[13]。基于前人对手势的定义和本研究多模态语篇的特点,笔者将手从离开并返回“初始位置”的过程称为一次性手势,将拥有两次或两次以上的这种过程称为循环手势。本文共划分五种手势:无手势、单手一次性手势、单手循环手势、双手一次性手势和双手循环手势[17]。
本文主要采取定性与定量相结合的方法,利用WordSmith Tools 4.0,Online CLAWS,Elan 4.7.3和Excel 5.0这些工具来发现美国脸谱公司路演视频中视觉和听觉模态之间的互动关系。
在听觉模态,笔者首先从互联网上(http://www.56.com/u88/v_ODQ2NTE4NTM.html)下载该路演视频,然后将演讲者的话语进行转写,建立了一个小型语料库(5026 tokens)。其次,笔者使用兰卡斯特大学开发的在线词性附码标注软件CLAW标注文本。然后使用WordSmith Tools 4.0中的Concordance进行检索,发现副词共有381个,达6.33%。最后笔者根据定义,将这些副词逐一放到语境中手动检索出表达人际功能的情态附加语共135个。
在视觉模态中,笔者为了可以直观地看到接触、距离、视角和手势是如何构建互动关系的,利用ELAN(EUDICO Linguistic Annotator)软件将视觉模态分层进行标注。笔者根据Kress&Van Leeuwen的视觉语法将视频划分成五层:W-words,P-angle,P-gaze,P-distance,G-gestures,分别代表话语层、视角层、接触层、距离层以及手势层。
首先笔者先将转写后的话语放到第一层中,然后使用单层搜索功能找出每个情态附加语在各个层面中对应的图像,逐一记录对应的图像信息,最后笔者利用Excel将数据进行统计,建立了一个多模态数据库。
1.强度语气附加语在话语层面中被大量使用
根据数据统计,我们可以看出在话语层面,强度语气附加语在表达人际意义上占的比例最大,达到71.85%,其次为时间语气附加语达到17.03%,情态语气附加语占6.67%,而言语功能性评论附加语只有4.44%,各个情态附加语的频率和比例如表1。
2.情态附加语以各种模态互动形式再现人际意义
通过数据统计,我们可以得到以下列表2。
表1 在美国脸谱公司路演视频中不同的情态附加语
表2 在各种模态中不同情态附加语的互动再现
从这个表格中我们可以看出时间语气附加语在各种模态中多通过表示“索取”(56.52%)类的接触、社会距离(73.91%)、正面视角(82.61%)以及双手循环手势(56.52%)来构建与观众的互动意义。在情态语气附加语中演讲者者多采取“提供”(66.67%)类的接触、非个人距离(33.33%)、正面视角(77.78%)和无手势(77.78%)来建构互动意义,而在话语层面所占比例最大的强度语气附加语中,演讲者多采用“索取”(51.55%)类接触、个人距离(32.99%)或社会距离(32.99%)、正面视角(82.47%)和无手势(70.10%)来建构互动意义。最后演讲者在言语功能性评论附加语中多采取“索取”(83.33%)类接触、社会距离(50.00%)、正面视角(50.00%)和单手循环手势(33.33%)来建构互动意义。
根据上述统计数据发现在美国脸谱公司路演视频中,再现人际意义的情态附加语与韩礼德人际元功能理论中对情态附加语的分类完全吻合,虽然各种情态附加语出现的频率多寡不一,但是四种情态附加语在美国脸谱公司路演视频中都有所使用。而且由于社会行为的解读和语义的再现应当包括所有意识形态资源中的非语言符号资源,所以对美国脸谱公司路演视频的解读和人际意义的再现也应包括其在除话语模态以外的其他模态中的解读。下面笔者将依据数据对美国脸谱公司路演视频中情态附加语的人际意义的再现从不同模态以及各个模态互动中进行解读,以期揭示其在商业宣传语篇中人际意义的再现特征。
1.反期望型的强度附加语
数据统计显示:强度语气附加语所占比例最高达到了71.85%,强度情态附加语表示说话者态度的程度,可分为期望型(expectancy)和反期望型(counter-expectancy),其中期望型是指说话者想要表达某种期望:高程度期望、低程度期望和总程度期望,这类情态附加语总是与表达人际意义的过程和属性相关;而反期望型与期望型相反,表达说话者“限制”或“突出”的观点。在强度语气附加语中反期望型所占比率较高,达到了57.73%,而期望型占42.27%。这表明了演讲者通过正话反说的方式表达人际意义。而反期望型中多以限制型出现(31.96%),期望型中的多以高期望(40.21%)表达人际意义。这表明演讲者用高程度的副词来表达脸谱优越的市场竞争地位。
表3 强度情态附加语的分类
例(1)Chris Cox:So platform just refers to a platform for software’s development which allows anybody who writes software interact with Facebook in the way that makes their experience of building social.
(克里斯·考克斯:所以我们的平台指的是软件开发平台可以让任何的软件开发者与脸谱互动,以这种方式使他们构建的产品社交化。)
限制型附加语:“just,only,even,exclusively,merely,partially”和突出型附加语:“really,approximately,literally”在美国脸谱公司路演视频中共出现了56次,在强度语气附加语中所占比率最大,达到57.73%,这说明演讲者倾向使用反期望型的限制性表达来突显其所要表达的人际意义。例(1)中的“just”是强度语气附加语的反期望型中的限制型表达方式,是“仅仅是,只不过是”的意思,这里用来修饰谓语动词“refer”。在这里演讲者想要表达的是脸谱所提供的社交平台的本质:脸谱所提供的社交平台只是一个可以让所有人在上面进行互动的软件开发平台。演讲者在这里使用“just”虽然限制性地表达了脸谱社交平台本质的神奇之处,但是却通过正话反说的方式起到了强调脸谱社交平台可以满足用户社交化需求的作用。众所周知,所有企业通过脸谱所提供的社交平台可以使企业产品用户体验社交化。在世界经济一体化的今天对于普通产品而讲,做到这一点是非常难的,而脸谱通过准确的市场定位做到了这一点。
2.表示非将来的时间附加语
时间语气附加语与演讲者表达对某件事态度的时间相关,可以表达说话人对非将来(现在、过去)或将来,或者是积极或者消极的判断和评价。本篇语篇中演讲者多使用表示非将来的时间语气附加语(78.26%):“now,earlier,early,recently,etc.”,这表明演讲者更倾向于呈现的是脸谱现在或过去的发展状况,希望让观看者了解过去或当前脸谱的状况。
例(2)Mark Zurkerburg:That’s structural destruction.We really reach the same inflection point recently.
(马克·扎克伯格:这是结构上的转变,最近我们已经遇到了转折点。)
“Recently”是表示现在的时间语气附加语,是“近来、最近”的意思,在这里是用来修饰“reach”的。演讲者在这里想要呈现的是脸谱近期的发展情况,创始人近期发现公司进入了发展的转型期:脸谱与用户所搭建起来的互动关系不仅仅可以用于游戏娱乐上,而且很多企业可以通过脸谱与用户搭建起来的这种互动关系了解用户的喜好,这样一来很多未知的可能将会被打开。演讲者通过客观陈述脸谱当前的发展情况,想要告诉观看者今后脸谱给企业带来的商机是无限的。
3.表示高频率的情态附加语
情态语气附加语在情态附加语中占到了第三的位置,达到了6.67%。从语义上讲,情态附加语所表达的是介于肯定与否定之间的意义领域,其中情态化可以细分为概率和频率两种组成部分。演讲者在语篇中再现人际意义时多采用情态化中表示高频率的情态语气附加语:always,never,constantly,etc.。
例(3)Mark Zuckerburg:But it was this com-plete symbol of the age in which we live where now you have access to all of this information.The thing that seems like missing was always just people.
(马克·扎克伯格:可以完整地代表我们这个时代,而现在你能够获取所有这些信息。所缺少的似乎总是人。)
“Always”是“总是、一直”的意思,是情态语气附加语中情态化的高频率表达。演讲者在这里想要表达的是像雅虎和谷歌这样的巨型搜索引擎,是我们生活着的时代的象征,但是这些搜索引擎却忽略了对周边人物的关注。“always”强调长期以来最普遍的人一直是搜索引擎中忽略的对象。
4.非修饰限定型的言语功能性评论附加语
最后是言语功能性评论附加语,它分为修饰限定型和非修饰限定型的部分。修饰限制型附加语通常与映射有关,因为本研究对象中不涉及此类附加语,所以这里不做赘述;而非修饰限定型附加语通常用于确认事实或者表明确认或允许。本篇语篇中所涉及的言语功能型评论附加语:actually,exactly,intuitively都以陈述型的语气表达人际意义,这说明这些评论附加语所表达的人际意义是站在演讲者的角度,而且多使用非修饰限定型中的事实类表达。
例(4)Jostein Solheim:We really want to have a realistic relationship with our communities with our customers about that is about ice-cream.So having a platform,we can actually engage on large scale conversation,get feedback that was so powerful about Facebook.
(我们希望在价值和制冰激凌上,与我们的客户以及社区建立全方位的联系。有了脸谱这个平台,我们就可以大规模地参与到与顾客的对话中去获得顾客反馈,这才是脸谱的强大之处。)
“Actually”是“的确、事实上”的意思,是言语性评价附加语中的非修饰限定型的表达方式,演讲者在这里使用是为了明确表明脸谱可以满足店商的真实需要,通过脸谱所构建起来的社交平台,Ben&Jerry①Ben&Jerry:美国冰激凌品牌BEN&JERRY’S是由两位童年玩伴Ben Cohen和Jerry Greenfield创办的,以口感香醇和口味新奇闻名。可以与消费者建立真实的社交关系,构建起亲密友好的买卖关系。而通过脸谱这个社交平台,Ben&Jerry确实可以和顾客频繁互动,以此构建起与顾客亲密的关系。
在脸谱视频中,不同的情态附加语在视觉模态互动中所采取的再现方式有所差异,现将其在不同情态附加语中的互动再现进行逐一解读。
图1 时间语气附加语的互动再现
图2 情态语气附加语的互动再现
1.时间语气附加语的互动再现
例(5)David Ebersman:We continue to invest users’growth throughout the world in countries like the United States and the United Kingdom where we already have approximately 60%penetration and seeking to further expended network as well as countries like Brazil,Germany,Japan,South Korea and Russia where we’ve relatively less penetrated.
(我们不断在全球投资,增加用户量。在一些国家,比如美国、英国,我们的用户普及率已经达到了60%。我们正进一步拓展我们的网络,包括普及率相对不高的国家,比如巴西、德国、日本、韩国、俄国。)
演讲者在使用时间语气附加语时,采取索取类接触(56.52%)、社会距离(73.91%)、正面视角(82.61%)和双手循环手势(56.52%)来构建与观众之间的互动关系。如图1,演讲者为了使观众更为直观地了解当前在全世界范围内脸谱公司的用户渗透率,将自己的身躯后置成背景,而将动态符号插图前置成前景,这起到了凸显用户渗透率的作用。这时演讲者是用间接的方式来与观众进行交流的。虽然前景插图遮盖了演讲者的图像,但是我们可以清楚地看出演讲者以正面视角直对观众,将观众视为人际交流的参与者。演讲者显示出了腰部以上的部位,说明他与观众构建了社会距离,两者之间是比较适中的亲疏关系,而这种适中的亲疏关系较为客观地传递了信息。演讲者直视观众,并且他的手势指向观众,这一索取类图像表明演讲者希望观众可以了解演讲者提供的信息。
2.情态语气附加语的互动再现
例(6)Katie O’Brien:You can comment on it you can like it and you can share it.It is something that we would never be able to do for more than for Facebook.
(你可以在上面发表评论、喜欢它、把它分享给别人。如果没有脸谱,我们永远也做不到这些。)
情态附加语在视觉图像中倾向于使用“提供”(66.67%)类图像,非个人距离(33.33%),正面视角(77.78%)或者无手势(77.78%)来与观看者进行互动。如图2,所示图像中只有销售总额的增长图,而没有展现演讲者自身,这说明演讲者与观看者之间构建了一种非个人距离。观看者可以直观地看到演讲者想要表达的某种效果,并且演讲者没有与观众发生直接的眼神或手势上的交流,即提供类图像,这说明演讲者希望观众可以更为清楚地了解演讲者所要传递的信息,凸显出脸谱为Ben&Jerry所带来的前所未有的经济效益。
3.强度附加语的互动再现
例(7)Sheryl Sandberg:Almost all other forms of advertising are one time and one way.
(几乎所有其他形式的广告都是一次性的,只有一种形式。)
图3 强度语气附加语的互动再现图
图4 言语功能性评论附加语的互动再现
演讲者在强度语气附加语中多采取索取类图像(51.55%)、个人距离(32.99%)或者是社会距离(32.99%)、正面视角(82.47%)和无手势(70.10%)来和观众建立互动关系。如图3,演讲者正对观众,眼睛直视观众,试图与观看者建立直接的联系,因此这种图像称为索取类图像,并且演讲者采用正面视角将观众视为人际交流的参与者。演讲者想让观看者积极地了解她所陈述的事实:几乎所有的广告形式都是单一形式的,而在脸谱上所进行的广告是多向互动的。演讲者只显示出了肩膀及以上的部位,属于个人距离,观众可以清楚地看到演讲者的面部表情,甚至可以感受到她对脸谱所提供的全新广告形式的自信,这一距离拉近了与观众之间的关系。而演讲者没有使用任何手势,这在强度语气附加语中所占比例最大,无手势虽然没有促使信息的发展,但是却突出了演讲者想要传递的信息,即大多数广告都是单向一次性的。
4.言语功能性评论附加语的互动再现
例(8)Mark Zuckerburg:When I was in college,erm you know,I was not actually starting Facebook to be a business back then.
(我上大学的时候,那时候我创立脸谱并不是把它作为商业公司。)
演讲者在言语功能性评论附加语中多使用索取类接触(83.33%)、社会距离(50.00%)、正面视角(50.00%)和无手势(50.00%)与观看者构建人际互动关系。如图4,演讲者眼神直视前方,并且左手比划发出手势与观众构建直接联系,属于索取类接触,演讲者希望观众可以了解他所提供的信息。而演讲者侧对观众,将观众作为人际交流的旁观者。观众在观看这一图片时,客观地从图像中获取所需要的信息。演讲者对观众只显示出腰部以上的部位,属于社会距离。这种距离使观众可以较为适中地看到演讲者的肢体动作,客观地传递了信息。
通过数据分析结果,本研究发现:表达人际功能的情态附加语的话语模态在与视觉图像和手势的互动中准确地构建了语篇意义。情态附加语在话语模态中倾向使用反期望型的强度附加语、表示非将来的时间附加语、表示高频率的情态附加语和非修饰限定型的言语功能性评论附加语来再现人际意义;而在视觉模态中情态附加语通过接触、视角、距离和手势等的互动作用,与观看者构建了一种互动关系促进演讲者意图的传递,从而更加清楚形象地实现了语篇人际意义的再现意义。鉴于篇幅所限,本研究没有对情态附加语的声调进行研究,这是本研究的局限所在。
[1]Olney,W.Facebook IPO:A Touchstone Cultural Moment for America?[OL].http://www.kcrw.com/news-culture/shows/to-the-point/facebook-ipo-a-touchstone-cultural-moment-for-america,May,17.2012.
[2]Ye,Ruijuan.The Interpersonal Metafunction Analysis of Barack Obama's Victory Speech[J].English Language Teaching,2010(2):147.
[3]王红阳,程春松.英语政治演讲和学术演讲的情态对比研究[J].外语与外语教学,2007(5):21.
[4]杨敏.立法语篇人际功能的权力意志剖析[J].外语与外语教学,2008(4):5.
[5]John,S.Collins COBUILD Advanced Learners English Dictionary[M].the 5thedition,Beijing:Foreign Language Teaching and Research Press,2006:18.
[6]Halliday,M.A.K..An Introduction to Functional Grammar[M].the 3thedition,London:Arnold,2004:125-129.
[7]杨信彰.英语学术语篇中的评论附加语[J].外语与外语教学,2006(10):11.
[8]常晨光.作为评价手段的情态附加语探析[J].外语与外语教学,2008(1):11.
[9]桂永霞.英语状语(adjunct)的多功能性质研究[J].西安建筑科技大学学报:社会科学版,2011(1):84.
[10]Susan,H.,Gail,F..Introducing a Conference Paper:Getting Interpersonal with Your Audience[J].Journal of English for Academic Purposes,2005(4):292.
[11]Jewitt,C.Handbook of Multimodal Analysis[M].London:Routledge,2009:1.
[12]Kress,G.,Theo,V.L..Reading Image:The Grammar of Visual Design[M].the2ndedition,London:Routledge,2004:136.
[13]Kendon,A..Gesture:Visible Action as Utterance[M].Cambridge:CambridgeUniversityPress,2004:177-210.
[14]Roth,W.M..From Gesture to Scientific Language[J].Journal of Pragmatics,2000(32):1683.
[15]Mcneill,D..Hand and Mind:What Gesture Reveal about Thought[M].Chicago:The University of Chicago Press,1992:206-217.
[16]Sacks,H.,Schegloff E.A..Home Position[J].Gesture,2002(2):133-146.
[17]赵颖,张存颖.话语标记语“yeah/yes”与“对”的多模态话语对比分析——以电视访谈节目《奥普拉秀》和《鲁豫有约》为例[J].重庆邮电大学学报:社会科学版,2015(1):145-151.
H03
A
赵颖(1960-),女,教授,研究方向为语篇分析、语用学、语料库语言学。