多模态语音情感语料库的语言符号学“全文本”解读

汤朝菊，　魏全凤

(电子科技大学 外国语学院，成都 611731)



多模态语音情感语料库的语言符号学“全文本”解读

汤朝菊，魏全凤

(电子科技大学 外国语学院，成都 611731)

在符号学与语言学的交叉学科语言符号学视角下，探讨语言符号学对语料库全文本解读的可行性和实际应用价值，是语言符号学应用广度上一个新尝试，也是对语料库后续价值的进一步挖掘。本文主要从已经建立的语力和韵律关联性多模态语音情感语料库的语言符号学全文本解读分析入手，论证语言符号学视角下多模态语音情感语料库的全文本解读不仅可以还原语料库的原有信息，而且生成新的可用信息，更好地解释语力、韵律和情感的互动关联，同时为语料库的后续研发提供资源基础，从而说明语言符号学这个新兴交叉学科的实际应用价值和对研究空间的拓展功能。

语言符号学；多模态；语音情感语料库；全文本

一、引言

语音情感研究是当前人机互动工程的热点话题。语音情感依托文本、声音等载体，故语音情感是多模态的，涉及视觉(语音的文本呈现)、听觉(生理神经感官)、心理触觉(言者和听者对语音的意义解读)以及其他如思想、道德、伦理方面的诸多因素，所以要进行语音情感的工程学研究，比较通用的方法是首先建立语音情感语料库。这类语料库与其他语料库的区别在于：语料不是纯文字文本而是声音文本，语料标注的重点信息是情感，语料库的建库原理是基于语言学方法论，语料库的标注内容要体现多模态特征，语料库的建立是为后续工程研发提供通用信息[1-5]。目前中国社会科学院创新工程项目之“语力、韵律与情感研究”子课题所建立的语料库即属于这类语料库。该类语料库在语言学方法论指导下，结合语音流中语力施事行为单元中语力和韵律的特征标注语音情感，标注原理是在Damasio等人的情感论基础上，通过情感分层建模来实现不同情感的表征形式[6-9]，标注软件是当前语音学界通用的由荷兰阿姆斯特丹大学人文学院语音科学研究所主席保罗·博尔斯马(Paul Boersma)教授和大卫·威宁克(David Weenink)博士研发的跨平台的多功能语音学专业软件Praat。当前这类语料库语料的主要来源是广播体小说录音和现场即席讲话录音。

这类语料库建好后，如何解读语料库内容是对其后续研发服务的前提。本文讨论从语言符号学观点如何对其进行全文本解读，这类语音情感语料库的核心内容是将听觉形态的语音情感用符号与形式化的手段表示出来。

这类语料库实际是一个多模态的符号化整合系统，是各种模态在感知、复现、互动方面的文本表现，这些符号化的文本意义通过一个全文本模型，将符号交际意义进行共现式的表达，用什么方法通过何种角度解读是决定语料库的价值关键。

二、语音情感语料库的语言符号学全文本解读

语音情感语料库的建立主要是为后续的工程研发服务，那么如何解读语料库内容，决定了根据不同的研发目的对语料库数据的取舍和特征提取。本着符号学对语言学提供的系统化思维方式、丰富的概念工具和有效的分析方法的观点[10]，我们来讨论如何对上述语料库进行语言符号学的全文本解读问题，具体地说，讨论如何用语言符号学观点全文本解读语音情感语料库，并探讨语音情感与语力和韵律的互动关联性，以便界定语料库应用价值，为后续开发提供足够的信息资源。

(一)语言符号学理论及全文本概念

1.语言符号学理论及应用

语言符号学是结合符号学和语言学相关知识的一门交叉学科。我们知道，符号学理论是基于语言学、人类学和现象学三个学科的相关知识，这就注定了语言学和符号学之间的密切关联性。语言符号学本身是在汲取人文社会科学和自然科学中与信息的编码、传递、解码以及语义等问题相关的理论与实践的诸多理论和学科，如控制论、信息论、哲学、语言学、心理学、社会学等发展起来的一门交叉学科，奠定了语言符号学的多元性特征。语言符号学从语言的本体结构(语素、词汇、句子、篇章)构建语言符号的层级概念，并把这些语言层级的符号学研究作为主要内容[10-14]。这个理论框架的提出为语言学与符号学的结合和实际应用提供了很多研究空间，因为语言的元语言特质决定了语言本身就具有对其他所有符号系统进行解释的功能。

目前语言符号学的应用在传播学、词汇学、哲学等学科领域以及跨文化交际、语篇分析、翻译、古诗词的解读、网络符号的解读、短信文本的解读、广告传媒等方面都有文献探讨。本文将语言符号学分析运用到语音情感语料库的全文本解读中，进一步论证语言符号学在应用领域的可行性和拓展功能，从而论证语言符号学具有一个更为开放的前景，论证语音情感语料库后续研发的潜力和价值。

2.全文本概念

全文本概念是基于世界普遍联系的哲学观点，因为“文本”即“有意义的符号组合”[15]。赵毅衡认为全文本就是“进入惯例式解释的全部文本元素之集合”，包括通常意义潜势下的主体文本和文本边界外的伴随文本等[16-17]，既有显性文本也有隐性文本。基于上述观点，本文的全文本是指通过语料库构建方法，用语音软件Praat切分及标注语音流中的情感，从而形成一个多模态的全文本。Praat软件的功能是可以通过层级表达的方式对声音和图形处理及文字标注处理进行分区分层。但是就语音情感语料库而言，这些分区分层后的文本组合元素都是意义解读的符号实体，都服务于一个整体文本目标，即情感的解读。

(二)语音情感语料库全文本解读

1.语音情感语料库解读的可行性

按照索绪尔的观点，语言本身是一套传达思想意义的符号系统，得出语言是一个表意系统的概念，即语言是一个层级符号系统、多维的关系系统、纯粹的价值系统[18]。人类社会所有信息的所有沟通形式都是通过符号进行的，语言符号在本质上是一种社会性的存在。从这个意义上说，语言符号与我们建立的语音情感语料库存在层级对应关系，语料库建立后，就是一个全文本的打包系统，那么用语言符号学观点首先要解读语音情感。语音情感涉及很多因素，其解读也是多元性的。本文从语言符号学视觉讨论语音情感的“全文本”解读。首先，语音情感是多模态的，因为根据Kress的观点，所有的话语都是多模态的[19]；其次，对语音情感的解读是多模态的，顾曰国认为：“人类在正常情况下跟外部世界(包括人际之间)的互动都是多模态的。”[4]3

语料库全文本解读就是语料库从聚合整体性方面对语料的表达实体、表达内容、内容实体、内容形式从多个维度进行符号系统性、意指性的宏观解读，同时对各个具体内容进行线性和非线性、切分性、语境关联性和信息的丰富性进行解析。具体地说，Praat软件对听觉单模态的语音流进行数字化、文本化等性质的可视化转变，从而形成多模态语音情感语料库。语言符号学就是对其各种模态特征、模态的间际关系、模态功能互动以及由此构成的整体意义等进行解读[20]。

多模态语音情感语料库的语言符号学全文本解读是基于人类多种感官基础之上的语言和非语言符号的多样性符号系统的理解，因为多模态本身就是指交际符号的多样性。当前这类语料库一般是用Praat软件进行人工标注，从而形成语音符号化，这些文本的各个要素都是为整体意义解读的符号。从文本符号学和视觉符号学的角度来看，这是由行为事件、声音、图形、文字、色彩、符号、线条、标示记号、空间层次等多模态符号形式对原有的符号化文本进行再生性转化或创造，通过分割、截取和标注后，将即时性的符号意义转化为长时性的示意性和描述性符号意义。在语料库的基础上，进行语音情感的语言符号学全文本解读是在了解语音文本具有了符号意义的基础上，如何通过这些符号解读语音情感，这些语音情感又是如何通过语言的转写转述而被人更加了解和认知、感知的。每一个符号在规约化之前都有一个具体的意向性关联，是存在于心理感知与对象之间的内容，语言符号学的主要任务就是对所有符号文本承载的意义进行尽量多的全方位传递和解读。

2.语音情感语料库的全文本解读示例

显然，多模态下任何一个事件的意义呈现都是在一个打包系统下同时进行的，对该事件的各项意义解读却必须是分步逐一解构的，即对各个模态成分的意义解读。从通常的认知逻辑来看，这种解构秩序是遵循先表象后真相，先现象后本质，先具象后抽象，先主要后次要，先简单后复杂，先解凸显事件后解背景事件，在符号与意义的组合与聚合、广度和深度双重维度下进行的。

以语料库单元为例，“道歉”语力施事单元的文本内容是“万丽不好意思的/冲许大姐笑了一下说/对不起许大姐/反正/反正您知道”。通过语音软件对这个施事单元进行人工标注后，形成了一个多模态语料库单位组件，通过对这个单位组件的语言符号学全文本解读，可以得到丰富的信息：(1)首先这是一个语音流单元。(2)这个语音流的总时长为8.9秒。(3)这个语音流包含3个语调单元。(4)这个语音流有声波、语图、韵律、文字等的同步呈现。(5)这个语音流除了再现音高、音强、停顿、语速等信息，重点是情感的呈现。(6)这个语音流单元同时呈现了语音的三种情感：社会情感、基本情感和背景情感。(7)这个语音情感的值价是正面的，取向是对人而非对己。(8)由标注我们得知，言者表达出了“愧疚”的社会情感，而基本情感是很真诚坦然的，却有因理亏而显得底气不足的背景情感。(9)言者在表达这些情感时，伴随了韵律特征，如长停顿、核心韵律词反复、低音、高调、少能量等。(10)这些韵律特征和情感分层形成对应关系，同时扣合“道歉”语力，形成语力与情感和韵律的关联。(11)因为这样的标注，在即使不听声音的条件下，我们仍然可以把言者声音的停顿和犹豫通过转化文本“〈万丽不好意思的〉〈冲许大姐笑了一下说〉对不起许大姐……反正……反正您知道”体现出来。(12)这个文本还包含了一些附加文本信息，由此我们知道叙事者对言者的神态“不好意思”和讲话方式“冲……笑了一下”都有既定的描述。(13)这个语料库单元是由图、文、声构成的多模态。(14)这种文本的层级建构是开放式的，可以继续增加。(15)这种语料库发展了语构、语义和语用的符号学句意结构。(16)这类语料库将句子和语篇的话语意义有机结合……由此看出，这种解构至少遵循先宏观、后微观、再宏观的程式秩序，同时在过程中关联了图像、图形、声音、文字、色彩、空间、时间、立体维度与平面序列等诸多符号。

这个只是对语料库中的一个施事单元的解读。皮尔斯认为，任何一个个体符号的解释都指向另外一个(或诸多)符号，即符号可以无限衍义。按照这样的关联，当语料库足够大的时候，其符号资源非常丰富，这样的全文本解读就具有了系统性的结果，对语音情感的意义指涉更加精细和明确，从而形成语音情感诱发条件、语音情感表达方式的范畴性和范式化，就可以建立语音情感意义解读的对应关系。当然，我们必须保证解读描写的规约性、可重复性以及相同概念的一致性。

三、讨论

(一)多模态语音情感语料库的语言符号学全文本解读的理据和可行性

多模态语音情感语料库的语言符号学全文本解读的理据在于：多模态语音情感语料库是一个符号的集合系统，而语言对符号是有阐释功能的，可以通过语言符号学视角进行解读；其次，多模态语音情感语料库的语言符号学全文本解读的可行性在于，多模态语音情感语料库是一个兼容主体文本和伴随文本的全文本。根据de Bauderande，文本具有七个特性：结构上的整合性、概念上的一贯性、发出者的意图性、接收者的可接受性、解释的情境性、文化的文本间性、文本本身的信息性[21]。按照这七个特性界定，多模态视觉下语音情感全文本符合这些特征，而且语音情感语料库通过软件把一些隐性文本符号信息如音高、音强、能量、共振峰、语速、音色、声域、响度、发音清晰度等，同时加上伴随文本如语力施事单元的两端边界信息、韵律的音乐性和节奏感，以及副文本信息如停顿、叹息、言者的思想或感情等形成联合表意整体，实际上形成了语言与非语言的文本资源，不但提高了文本的清晰度，同时增加了文本的叙事性和可视性，还增强了文本的直观性和修辞效果。因此，可以进行全文本的系统解读。

由此我们看到，符号学的方法论和应用性至少在语言学领域找到又一个接口，并看到了符号学在分析具体语言现象上的又一种功效。对语言现象进行符号学分析，建立符号学与语言学之间的实质关系，也是符号学的主要任务。语言学与符号学孰为种孰为属之争已经不重要了，重要的是二者相互依存和联手之后内在功能的增强以及强大的描述性和解释力。

(二)多模态语音情感语料库全文本解读的实用性

通过语音软件生成的标注语音情感语料库符合情感性、可理解性、可预期性，同时兼具目的性、评价性、取效性、必要性、义务性和认知性，其跨学科的应用性不言而喻。通过语言符号学的全文本解读，可以增生和提供该类语料库的价值，拓展后续研发的前景，使之更加有应用价值，如：柔性语音语言的可接受度研究，人机互动中语力、韵律和情感的对应范式，声讯台、语音广告用语、广播用语的语力、韵律和情感的对应范式，领导人话语场合的适宜性和语用效应，教师课堂用语的得体性，医患交流的语力情感选择性等等。

四、结语

语音中的情感主要是通过话语和声音特征来体现，用Praat软件对语音情感信息进行切割后，将音频信息可视化、符号化，并构成一个涉及情感诱发事件、情感表达自我事件、情感感知他人事件的主体行为和客体行为共同体，同时，事件的性质决定了情感的正面与负面反应和效应，最终形成一个多维全文本。对该全文本用语言符号学解读的可行性和效价性可以总结为：语言符号学为语音情感语料库的全文本解读提供了理论支持；多模态视觉下，语音情感全文本的语言符号学解读方式涉及言者和听者的双向性；多模态视觉下，语音情感全文本的语言符号学解读要注重过程解读，即进行动态解读；对语料库的全文本解读要遵循以人为本的解读原则；对多模态语音情感语料库的语言符号学全文本解读在足够量的情况下，逐渐形成范式化的解读模式，对语料库的后续研发是有明显意义的。

总之，语音情感语料形式的文本是经过人工标注的文本，因为标注中的各种参数和标注软件的技术化处理，使得该类文本具有全文本特质，但这样的全文本最终还是要进行意义的解读，从符号学观点来看，其实就是系列符号的意义化。语言符号学全文本解读观将语音情感进行文本化、图示化、符号化，使得对语音情感的解读超越了基于纯文字文本或纯声音文本的意义和语用的多向关联，提高了对语音情感的阐释力。多模态语料库的语音情感解读涉及听读能力、文字的识读能力，在各种符号资源(语力、韵律、言者、听者、文字标注、语图)非常丰富的情况下，能更好地识读情感，形成一个通感解读。同时，语用环境下，语言还有社会性和差异性，通过语力、韵律和情感的关联来解读情感文本是有靶向性的，容易抓住情感的特质，尽量体现符号传意的一致性。

多模态语料库的语音情感解读是基于语言符号母版系统的文本再现，融合了索绪尔的符号学理论和皮尔斯的符号学思想，语力的符号意指既由语言的元语言性质决定，又因语言的社会功能决定。可以说结合语力和韵律的多模态语料库语音情感的语言符号学解读跳出了单纯从语音的声学特征参数来分析情感的框架，融入了叙事学立场和视角，有利于提高多模态识读能力，从文本意向性解决了语力和韵律表达情感的联动问题。

[1]GU Y.Multimodal text analysis:a corpus linguistic approach to situated discourse[J]．Text and talk,2006,26(2):127-167.

[2]GU Y.From real-life situated discourse to video-stream data-mining[J].International journal of corpus linguistics,2009,14(4):433-466.

[3]GU Y.A conceptual model of Chinese illocution,emotion and prosody[C]//Human language resources and linguistic typology.Taipei:Academia Sinica,2013:309-362.

[4]顾曰国.论言思情貌整一原则与鲜活话语研究:多模态语料库语言学方法[J].当代修辞学,2013(6):1-19.

[5]GU Y.Elementary introduction to multimodal corpus linguistics[R]//Sino-UK school of corpus linguis-tics.Shanghai:Shanghai Jiao Tong University,2014.

[6]DAMASIO A.Descartes’ Error:emotion,reason and the uuman brain[M].London:Papermac,1996.

[7]DAMASIO A.The feeling of what happens:body and emotion in the making of consciousness[M].London:William Heinemann,1999.

[8]DAMASIO A.Looking for spinoza:joy,sorrow,and the feeling brain[M].London:William Heinemann,2003.

[9]DAMASIO A,MEYER K.Consciousness:an overview of the phenomenon and of its possible neural basis[C]//LAUREY S,TONONI G.The neurology of consciousness.Amsterdam:Academic Press Elsevier,2009.

[10]王铭玉.谈语言符号学系统理论的构建[J].外语学刊,2007(1):105-112.

[11]王铭玉.符号学与语言学[J].外语研究,1999(2):5-7.

[12]王铭玉.从符号学看语言符号学[J].解放军外国语学院学报,2004(1):1-9.

[13]王铭玉.语言符号学[M].北京:高等教育出版社,2004.

[14]王铭玉,等.现代语言符号学[M].北京:商务印书馆,2013.

[15]LOTMAN J.The structure of artistic text[M].Ann Arbor:University of Michigan Press，1970:64．

[16]赵毅衡.“全文本”与普遍隐含作者[J].甘肃社会科学,2012(6):145.

[17]赵毅衡.论文本的普遍性[J].重庆广播电视大学学报,2013,25(6):23.

[18]吕红周.索绪尔的语言系统观研究[J].外语学刊,2010(4):57-60.

[19]KRESS G,LEEUWEN van T.Front pages:the critical analysis of newspaper layout[C]//BELL A,GARRETT P.Approaches to media discourse.London:Times New Roman,1998:186.

[20]KRESS G,LEEUWEN van T.Multimodal discourse:the modes and media of contemporary communication[M].London:Arnold,2001:111.

[21]BAUDERANDE de R.Text,discourse and process[M].Norwood NJ:Ablex,1980.

(责任编辑：张璠)

Full-textualizing towards Multimodal Corpus of Emotion in Speech from Linguistic Semiotics

TANG Chaoju, WEI Quanfeng

(School of Foreign Languages, University of Electronic Science and Technology of China, Chengdu 611731, China)

The feasibility and practical application of full-textualizing towards Multimodal corpus of emotion in speech is explored from the perspective of linguistic semiotics. It is actually an initial methodological application and discussion on both the discipline of linguistic semiotics and further explorations and researchers of the established corpus. With the implication of the interface of semiotics and linguistics, the full-textualizing perspectives and methods can not only restore the given information, but also dig out new information carried by the transcribed corpus.

linguistic semiotics; multi-modality; corpus of emotion in speech; full-text

2016-02-26

电子科技大学人文社科重点培育项目“语音情感识别多模态研究：语力、韵律和情感互动关系”(ZYGX2015SKZ01)；中国社会科学院创新工程项目子课题 “语力、韵律与情感研究”

汤朝菊(1968—)，女，重庆人，电子科技大学外语学院教授，博士，研究方向：语言学；魏全凤(1972—)，女，四川人，电子科技大学外语学院副教授，博士，研究方向：符号学。

H0-0

A

1674-0297(2016)04-0134-05