浅谈语音隋绪识别的脑机制研究进展

李晓庆　李东　蒋重清

摘要：本文根据语音信息传递的特性，将情绪性语音进行归类，并根据当前归类，以及近年来的研究，对关于语音情绪识别的脑机制的研究进行归纳总结，进而根据归纳总结提出研究展望，为以后语音情绪识别的研究提供参考。

关键词：情绪语音；情绪韵律；情绪识别；脑机制

doi：10.16083/j.cnki.1671-1580.2018.4.048

中图分類号：H11 文献标识码：A 文章编号：1671-1580（2018）4-0166-03

一、引言

作为人际交往的必备技能之一——“情绪识别”能够帮助我们更好地与他人进行交往，进而更好地生活和工作。人们对于情绪的识别主要依赖两个感觉通道：视觉和听觉。“语言”作为人际交往和情绪表达最直接的方式之一，通过视觉表达的时候，被称作“文本”，进行听觉表达时，则被称为“口语”。文本在表达情绪的时候只能传递语义情绪，而口语不仅可以传递情绪语义内容，还可以传递韵律信息。两种情绪传递方式存在巨大的差异，与视觉呈现相比，听觉呈现更为复杂。所以，对于听觉方面的情绪识别的脑机制与视觉也应该存在一定的差异。为了更好的了解这些差异，需要对语音情绪识别进行研究。

对于人类声音而言，大量研究表明，语音情绪的识别是一个多步骤的加工过程，就语音加工的时程来说，当语音出现后的lOOms内，个体会对语音的声学线索进行加工，这些声学线索包括音强等，之后，大约再过100ms左右，听者会整合所听到的语音的声学信息，并开始解读出所听到的语音所表现出的情绪意义，之后带着这些情绪意义，个体进行更高级的认知加工，如情绪的评价和判断等。大脑在进行这些步骤的情绪语音加工的时候，需要大量神经网络的参与，如杏仁核（Amygdala）和听觉区域主要编码情绪相关的声学信息，而前岛（AnteriorInsu.1ar）和前额叶区域更多的负责声音情绪抽象的认知表征。且有研究表明，大脑对具有高相似的中性韵律声音的反应与对情绪韵律的反应存在一定的差异，其对情绪韵律有更大的激活。由此证明，大脑能够很好地表征和区分纷杂多变的情绪性语音并予以一定的反应。本文旨在根据前人的研究，对表达情绪的语音进行分类，并在此分类的基础上，总结前人关于“语音情绪识别的脑机制”方面的研究成果，进而根据归纳总结提出研究展望，为以后语音情绪识别的研究提供参考。

二、语音的类型

根据语音信息传递的特性（既可以通过语音文本的语义内容传递信息，又可以通过韵律传递信息），研究者们会通过改变语音的语义或韵律信息来进行语音情绪识别的研究。语音的语义信息是指说话者说了什么，个体可以根据积极或消极的说话内容来判断说话者的情绪。而韵律信息是指说话者是怎样说的，包括语调、重音和音质等，是理解说话者意图、意义和情绪状态的重要线索。

根据研究时实验材料的不同，语音一般分为以下类型：（1）情绪语义和情绪韵律共存的语音。在此类语音中，既包含语音的语义情绪，又包含语音的韵律情绪，如语义——韵律情绪一致的语音和语义——韵律情绪不一致的词、句子等。（2）只存在情绪韵律的语音。在此类语音中，语音的语义不带任何情绪信息，如携带情绪韵律的中性词、句子，或者是表达不同情绪的感叹词如Yeah、Heey、Wow、Oooh等。此外，还有非言语发声，也就是一种不用言语而发出的声音，如叹息声、哭泣声或是性愉悦声等等。（3）只存在情绪语义的语音。没有韵律信息的情绪词、句子。

三、语音情绪加工的脑机制

目前，关于语音情绪加工脑机制的研究，主要根据语音信息传递的特性（既可以通过语音文本的语义内容传递信息，又可以通过韵律传递信息），主要分成两个方面：情绪语义和情绪韵律共存的语音情绪的加工，这里的情绪语义指的是语音当中带有情绪性语义的文本信息，而情绪韵律指的是情绪的非词汇言语表达；情绪韵律的加工，此类研究中的语音所表达的文本不包含任何情绪信息，而韵律则含有情绪信息。本文将从这两个方面具体进行分析。

（一）情绪语义和情绪韵律共存的语音情绪加工的脑机制。目前，对于情绪语义和情绪韵律共存的语音情绪加工脑机制的研究，其结果解释基本上都是以具体的脑区为参照。早期对于听觉加工的研究就发现，颞横回（Transverse Temporal Gyms，简称TTG）与早期的听觉加工有关。之后，进一步对情绪语音的研究发现，外侧颞回的活性与情绪语音和情绪性语调的加工有关，相比于中性的语音，情绪语音能引起其更大的激活。另外，大量研究表明，额叶也与语音情绪的加工存在联系。前额叶对应的是语音情绪的抽象认知表征，携带情绪信息的语音会引起前额叶区域的激活；额下区域（InferiorFrontal Ar-eas，简称IFA）是对情绪刺激产生反应的脑区之一，具体到额下回（InferiorFrontalis Gyms，简称IFG），有研究表明，额下回参与语音情绪的评价，评价判断语音情绪的效价以及所属的情绪类别。另外，研究还表明右侧额下回是评价判断的中心。而对于左侧额下回来说，其被称为语音情绪评价的语义脑区，更多的负责语音中语义内容情绪的评价。而语音情绪评价的语音脑区，一般是指双侧颞上回（su.perior Temporal Gyms，简称STG）/颞上沟（SulciTemporalis Superior，简称STS），其对语音的情绪线索非常敏感，能够对情绪韵律进行评价。

除了上述脑区，多年的研究还发现，颞顶联合处、杏仁核和前岛也与语音情绪的识别有关。2010年，Shari和Marc在对语音情绪的研究中发现，右侧颞顶联合处（right TPJ）对情绪韵律的知觉相比于对情绪语义的知觉更敏锐，表现为，包含情绪韵律和中性语义的语音相比于包含中性韵律和情绪语义的语音，能引起右侧颞顶联合处更高的激活水平。而对于左侧颞顶联合处（left TPJ），研究发现其并不是对情绪性内容优先反应，只有当心理状态（包括潜在环境因素导致的听者的心理状态）感知和情绪识别的结合被要求时，才会与其相关。也就是说，当个体要求感知语音的情绪并对语音的情绪进行判断时，左侧颞顶联合处才会对语音的情绪性内容优先反应，包括韵律的情绪性内容和语义的情绪性内容。对于杏仁核而言，其主要参与情绪相关声学信息的编码，对情绪韵律很敏感，且无论是左侧杏仁核，还是右侧杏仁核，相比于中性语音，情绪语音会引起更大的激活。此外，研究还发现，前岛与前额叶类似，更多的也是对应声音情绪的抽象认知表征。

（二）情绪韵律加工的脑机制。在对语音情绪中的情绪韵律进行研究时，大部分的研究者并没有将大脑区域进行细分，只是将大脑大致分成了两个区域——左侧大脑和右侧大脑。

研究初期，研究者们普遍认为，大脑右半球更多的与情绪韵律的加工相联系。1982年，Ley和Bryden的研究发现，右侧大脑对情绪韵律的加工具有优先性。之后的研究也表明：右侧大脑对副语言（情绪韵律信息）加工有着极其重要的作用，相比于其他的信息，大脑右半球对声调（韵律包括声调和重音）的加工更加专业。例如，当抛弃语音的词汇信息的时候，右侧额颞网络或右颞回（STG）就会对情绪韵律基频的变化和外形进行加工。

但是，随着研究的不断深入，最近的研究发现，大脑对情绪韵律的加工并不只是有右侧大脑的参与，大脑左半球也参与了情绪韵律的加工。有研究发现，一些双侧区域与明确注意的情绪韵律加工有关，包括右颞中回（right Middle Temporal Gyms，简称rMTG）、右侧颞上回前部（right Planum Polare，簡称rPP）、左侧亚属前扣带皮层（1eft Sub-genualAnte.rior Cingulate Cortex，简称1SACC）、左侧壳核（Puta.men）和左侧杏仁核。另外，关于“生气”这个单一情绪的研究发现，大脑两半球参与了生气韵律的加工，更加证实了情绪韵律的加工是大脑两半球共同作用的结果。因而，综上所述可推知，对于情绪韵律的加工，应该是大脑两半球共同作用的结果，但大脑右半球的参与度可能比左半球更高。

四、展望

目前为止，关于语音情绪识别的研究并没有完善，研究者们还可以从其它角度进行研究。

首先，在语音情绪的加工方面，完全脱离情绪韵律，而单独研究语音情绪文本加工的研究极少。所以，需要研究者们对语音情绪中的带有情绪语义的文本进行单独研究，探讨大脑对此类语音情绪加工的规律。另外，人们在日常交流中，也可以通过非言语发声来表达自己的情绪，即不用言语而发出的声音，如叹息声、哭泣声等等，但是此方面脑机制的研究比较少。同样的情况也发生在情绪感叹词的脑机制的研究方面。因此，对此方面的研究，需要研究者们踊跃加人。值得一提的是，作为人类最复杂的器官——大脑应该还有许多与语音情绪加工有关的脑区，也等待着研究者们的进一步挖掘。

[责任编辑：王辰]