口语诗多模态意义的建构

刘素芳 张 红

（内蒙古工业大学外国语学院，内蒙古 呼和浩特 010018）



【语言与文化】

口语诗多模态意义的建构

刘素芳 张 红

（内蒙古工业大学外国语学院，内蒙古 呼和浩特 010018）

口语诗属于现代诗的一个分支，从其诞生到现在，已成为诗坛的新主流。本文以系统功能语言学和多模态话语分析为理论框架，对Sarah Kay的口语诗Point B进行多模态意义建构。研究重点是利用视频标注软件ELAN对口语诗中的文本、音韵特征和手势进行分层标注和统计，从而分析文字模态的概念、人际、语篇功能及视觉模态的分布意义。研究结果表明：听觉与视觉模态的相互配合、协同能更好地解读作者想要传达的话语意义。

多模态；ELAN；意义建构；口语诗

“口语诗”是一个现代概念。以往的诗歌分析模式局限于单一的语言形式，对其他模态如手势、音韵特征等非语言形式的研究还尚不足，因而不能很好地诠释创作者所要传达的意图。这时，多模态话语分析理论的兴起为口语诗的研究提供了一套新的思路。

一、多模态话语分析研究状况

朱永生指出，模态、媒介、媒体三者之间存在一定的区别，因此有必要明确区分其各自含义。［1］多模态（multimodal）是指除了文本之外，还带有图像、图表等符号话语，或者说是任何由一种以上符号编码实现意义的文本。因此，在某种程度上来说，“所有的话语都是多模态的”［2］。

多模态话语分析的意义在于它可以看到语言在意义的交换过程中所起到的作用，同时可以看到如图像、音乐、颜色等其他符号系统在这个过程中所产生的效果，从而更全面、精准地解读话语的意义，进而发现人们如何综合使用多种模态来达到社会交际的目的。［3］

二、口语诗的多模态话语分析模式

（一）研究语料

本研究语料为美国口语诗人Sarah Kay在TED（指technology、entertainment、design在英语中的缩写，即技术、娱乐、设计）演讲中的口语诗Point B。Sarah Kay从14岁开始创作口语诗，是VOICE项目的创始人，在美国很受年轻人喜爱，其口语诗Point B在演讲开头赢得观众热烈的掌声。

（二）研究方法

本文利用ELAN软件①ELAN视频标注软件下载网址为http：／／tla．mpi．nl／tools／tla－tools／elan。对口语诗Point B进行分割、转写和标注。ELAN软件可以通过对视频、音频文件的多层级同步标注来分析说话者的话语内容、面部表情、姿态手势、语音语调等。在进行各种模态分析之前，要先对所要研究的模态进行赋码。本文探讨的是多模态话语中不同模态是如何配合来构建意义的，因此需要对视觉模态中的手势和听觉模态中的语言符号和音韵特征进行赋码。其中，音韵特征包括语调、重音和语速；手势特征采用Norris的分类，分为具象性手势、意象性手势、指示性手势和节奏性手势。［4］赋码如下：文本转写［T－］；音韵特征［P－］，其中音调降低［PIF］，音调升高［PIR］，音调先升后降［PIRF］，音调先降后升［PIFR］，慢速［PTS］，快速［PTF］，强调［PS］，停顿［Pause］；手势特征［G－］，意象手势［GM］，具象性手势［GI］，指示性手势［GD］，节奏性手势［GB］。根据以上赋码，用ELAN软件对视频进行切分和标注后，该标注文件共3个层级，听觉和视觉模态分别为文本转写、语音语调、重音、语速、停顿和手势特征。口语诗Point B在文本转写中被分为31段，在音韵特征中被分为34段，在手势特征中被分为35段，在这一过程中需要极大的耐心，对不确定的地方可以反复修改。

三、Point B多模态意义的建构

（一）文字模态

文字模态即视频中诗人所说的口头话语。我们将从语言的三大元功能——概念功能、人际功能和语篇功能，进行简要分析。

1．概念功能

“我要在她的手背上画太阳系，这样在她学习整个太阳系之前，她就可以自豪地和别人说，‘噢，我对整个宇宙了如指掌＇。”②Sarah Kay－Point B萨拉·凯点B翻译http：／／blog．sina．com．cn／s／blog＿be4003480101lfev．html。在交际过程中，诗人通过语言向人们传达了在现实生活中的各种体验（概念功能）。

2．人际功能

语言交流的互动主要是通过语法系统中的语气和情态来实现的。语气和情态不仅表达了语篇的人际意义，而且为语篇的建构提供了重要的语法资源。［5］全诗采用的时态均为现在时和将来时，且全文语气均为直陈语气。可以看出，作者的创造手法以叙事为主，且主题是一个现实的主题。作者向我们传达的是一个事实，它就发生在我们周围，不是偶然发生的。情态系统表达的是说话者的意愿和判断。例如，“即使无数次你要重新开始，即使遇到多少困难，你要坚定信心，驻足生活中的美好”③Sarah Kay－Point B萨拉·凯点B翻译http：／／blog．sina．com．cn／s／blog＿be4003480101lfev．html。。在这里，作者使用了“will”这个表示将来的情态动词，充分表达了作者如果有一个女儿时急切想要告诉她什么是生活的情感状态。

3．语篇功能

语篇功能是指语言将其本身与其使用者所处的情境环境相联系的功能，它主要是由主位和述位来实现的。［6］诗文中的两个小句的主位相同，属于平行性主位推进类型。例如，“当你张开双手，迎来的只有抨击和中伤；当你走出公用电话亭想要翱翔天空，你会发现你想拯救的人正踩在你的披肩上”④同上。。作者选用这一主位推进模式，方便听者理解，并且以“when you”作为主语，充分体现了作者对女儿的爱，一切以女儿为主的情感。

（二）视觉模态

口语诗中诗人的音调和手势分布十分广泛。各模态使用的情况如下：降调占总数的43%，升调占6%，先升后降占29%，停顿占3%，慢速占9%，强调占9%；意象性手势占24%，具象性手势占24%，节奏性手势占21%。在口语诗中，诗人的口头模态、音韵特征以及手势特征共同建构了话语的意义。

四、结语

对文字模态的分析表明，作者在该诗歌中所要传达的意义：假如我有一个女儿，我希望她叫我Point B而不是mom，因为无论她遇到什么困难，她都会顺着一端找到我。对视觉模态的分析表明，对口语诗的研究，需要考虑诗文的音韵、手势、语境等因素。正是诗人那种动容的演说，更加有力地强化了诗歌所要传达的诗意，进一步体现了诗歌的主题。在语篇分析过程中，其他非语言模态所发挥的作用也应引起我们的重视，因为它们对语篇意义的建构所起的强化作用不容小觑。此外，通过研究发现，ELAN软件对多模态文本的分析非常实用，希望可以对未来语言学的研究提供一个不同的视角。

［1］［3］朱永生．多模态话语分析的理论基础与研究方法［J］．外语学刊，2007，（5）：83－85．

［2］Kress，van Leeuwen．Front Images：The Critical Analysis of Newspaper Layout［A］．In A．Bell＆P．Garrett（eds．）Approach to Multimodal Discourse ［C］．London：Times New Roman，1998．186．

［4］Norris，S．Analyzing Multimodal Interaction：A Methodological Framework［M］．London：Routledge，2004．215．

［5］［6］张旭红．视觉诗Me up at does多模态意义的构建［J］．外语学刊，2010，（1）：85－90．

【责任编辑：周 丹】

汉 富贵万岁

H03

A

1673－7725（2016）08－0180－03

2016－06－05

本文系内蒙古地区大学英语多模态教学模式下学生多元文化认知能力培养的研究（项目编号：WYZX2015－02）的阶段性成果。

刘素芳（1991－），女，内蒙古呼和浩特人，主要从事外国语言学及应用语言学研究。