情绪识别研究述评

唐嵩潇

（吉林化工学院 学工部，吉林 吉林 132022）



情绪识别研究述评

唐嵩潇

（吉林化工学院 学工部，吉林 吉林 132022）

情绪作为人类心理活动的重要组成部分，在组织和指导人们的行为、交流与预测他人意愿方面，都起着举足重轻的作用。由于生理变化、表情变化和声音的变化等因素，使人们表达出自己的情绪时产生对应信号，并且引起他人推断，这一过程就是情绪的识别过程。情绪识别研究作为心理学和认知科学领域的重要分支，已经越来越受到很多学者的重视。通过大量文献分析，探讨了情绪的定义与分类，情绪识别的定义、研究现状以及当前研究下存在的不足，并对情绪识别研究的未来方向及其应用价值进行了展望，这将给情绪心理学的研究领域提供一定的参考价值。

情绪；情绪识别；面部表情；身段表情；语音

情绪是什么？心理学上认为，情绪是个体受到某种内在的或外在的刺激时所产生的一种身心状态，比如：欢乐时，笑逐颜开、手舞足蹈；愤怒时，竖眉立眼、心跳加快；悲哀时，双眉深锁、涕泪交流；恐惧时，脸色苍白、周身发抖。个体的情绪往往和所受的内在的或外在的刺激密切相关，然而其情绪状态也往往会通过一定的外在表达形式（如面部表情、语音表情和身段表情等）表现出来，也正是由于情绪的这些外在表达形式的表现从而使人们在日常生活中体验到了情绪识别的作用。首先人们可以把自己的想法通过情绪传达给他人，其次，人们也可以通过他人的情绪状态，来判断当事人的想法与心声。因此，情绪识别研究在社会心理学及认知科学领域上具有非常重要的意义。

一、情绪和情绪识别

（一） 情绪的定义及其分类

在百度百科里，“情绪”有六种释义：①[lingering affection]：缠绵的情意；②[feeling]：泛指感情；③[mood]：心情、心境；④[condition]：情况、端绪；⑤[vigour,spirit]：劲头；⑥[depression,moodiness]：指不正当或不愉快的情感。本文中的“情绪”是一个心理学名词，国内外的学者对“情绪”有很多定义。中国的北大教授孟昭兰在其著作《人类情绪》指出：无论情绪、情感或感情，指的是不同于认识和意志的同一过程和心理现象[1]；Davidson等[2]发现，情绪的产生，是由于个体适应环境的结果，并且情绪作为一种生理现象或生理现象，其产生具有瞬时性；Keith Oatley等[3]在其著作中提出，情绪起到了人们沟通的作用。是由心理变化、生理变化、外部环境、主观感受等方面的共同影响。

由于情绪的复杂性，不同的学者对情绪的定义各不相同。这是由于它是脑的各个结构和系统综合作用的结果，并且它还是感知、判断、思维、记忆、意识上和意识下等心理认知水平综合作用的结果。通常来说，情绪包含以下四个组成成分：（1）情绪涉及到身体上的一些变化，情绪通过这些变化来表达出来；（2）情绪是行动的准备阶段，跟实际行为有联系；（3）情绪包含有意识体验；（4）情绪涉及到对外界事物的态度，同时包含认知成分。

由于情绪的定义在心理学领域并没有十分统一，如何有效的划分情绪类型也一直是一个颇有争论的问题。早在2000多年前的周朝，古书《礼记》里就把人的情绪称为“七情”，即喜、怒、哀、惧、爱、恶、欲。目前对于情绪的划分方式有很多种，情绪也有很多种，如高兴、愉快、难过、悲伤、愤怒、恐惧、厌恶、恐惧、惊奇、爱和怜悯，等等。现代心理学家把情绪分为四类：快乐、愤怒、悲哀、恐惧。（1）快乐（Joy）：感到幸福或满意。（2）愤怒（Anger）：是一种紧张、不愉快的情绪体验，通常发生在挫折之后，在人的成长过程中出现较早。（3）悲哀（Sadness）：当理想没有实现、愿望破灭或失去了心爱的对象时所产生的一种体验。理想、愿望和对象的价值及重要性决定了悲哀情绪的体验程度；（4）恐惧（Fear）：是有机体为了摆脱或躲避某种情景而又无能为力的情绪体验。缺乏处理不利情景的能力与手段常常是引起恐惧情绪的罪魁祸首。

现在普遍认为情绪可以分为基本情绪和复合情绪，基本情绪分为社会情绪、生理情绪、认知情绪、精神情绪，复合情绪是包含基本情绪中的两种或两种以上的情绪复合体[4]。通常我们所说的情绪更多的是复合情绪而不仅仅是某一种基本情绪[5]。在我们日常生活中较为常见的一种划分方式是把情绪分为正面情绪（积极情绪）和负面情绪（消极情绪），如图1所示:

图1 情绪的分类

（二） 情绪识别的定义

通过以上对情绪概念的阐述，产生情绪时，必然会发生表情、声音或身段等方面的变化。因此，可以通过上述变化对其个体情绪进行推测与判断。生理的变化与心理变化共同对情绪产生作用，而对于内部的生理变化与心理变化，我们没有办法进行直接的观察。因此，通过表情、语调、肢体动作方面直观可测的因素进行切入，进而个体的内部情绪就会间接的得知。而这一过程就是情绪识别的过程[6]。

（三） 情绪识别研究的意义

情绪作为一种心理活动操控着我们的一言一行，它对生活、学习、工作以及身心健康等各个方面都有着极大的影响。图2列出了情绪对个人、组织、人际关系和社会关系等方面的影响。

图2 情绪的影响

图3说明了积极情绪有利于我们的身段健康、智力发展和水平发挥，而消极情绪则对它们产生不利影响。

通过情绪识别研究可以让个体更加了解自己和他人的情绪，从而能够对情绪进行有效的控制和管理，这不仅有利于身心健康，还可以大大提高生活、学习和工作能力及效率。与此同时，情绪研究又属于社会心理学和认知科学领域范畴，通过对情绪识别的研究，一方面可以极大丰富情绪心理学研究理论，另一方面它还具有很大的现实意义，能够帮助和指导人类的社会实践活动，主要体现在：

1.促进个体适应环境与社会。在环境与社会迅速发展的今天，情绪的识别能够帮助我们较快较好地适应社会环境。个体适应社会的一种重要表现就是对谈话者的表情能够做出准确分析判断且迅速回应。在家庭、职场与社会生活中，通过准确迅速的情绪识别来适时调整自己的语言、举止和行为，是能够让我们很容易适应社会并达到目标。举个例子来说明，职场应聘中应聘者若能对主考官的表情情绪和语音情绪进行迅速准确识别，通过面试官情绪来初步了解自己的表现，进而对自己的面试表现进行调节，给主考官留下好印象，从而面试成功获得该工作机会；对于主考官，他也可以通过表情识别来发觉应聘者的个人特质，并判断应聘者是否有能力胜任该工作，有利于最优化的岗位选择。

2.促进心理咨询工作的开展。在心理咨询过程中，来访者在进行叙述时多会带有情绪表现，而由于人的本能防御心理，这些表述通常带有一定掩饰性，从而可能为建立咨访关系和解决心理咨询人的问题带来阻力。因此为保障良好的咨询关系，达到良好的咨询效果，情绪识别起到至关重要的作用。即使来访者没有袒露心声，但是从外部表现即会反映出其心理情绪状态。通过情绪识别，咨询师在咨询过程中对心理咨询人的心理状态进行分析判断，有利于咨访关系的建立和问题的解决。

3.促进情绪障碍等临床研究的发展。情绪障碍是临床上常见的一种心理障碍，患者常常表现出绝望、沮丧、悲伤等情绪特点。因此，可以以正常人的情绪识别特征作为基准进行研究，间接探讨情绪障碍个体的情绪产生与反馈。进而为心境障碍患者提供实践支持与理论支持。创新治疗方案。

4.促进测谎技术在生活中的应用。通过情绪识别的作用，可以将表情识别、身段识别，特别是语音识别的理论与方法巧妙的联系到科学技术应用方面，例如测谎技术上。将情绪识别方面的理论意义与实践数据与科技产品进行智能匹配，进而能将被测者的心理情绪状态推测出来，并且具有较高的参考价值。例如：在机场、审讯室等重要场合，在被调查者不知情的情况下，对其表情、身段、语音进行分析判断，即使将情绪特征数据进行统计，达到测试目的。

二、情绪识别研究

生理信号情绪识别、表情情绪识别和语音情绪识别是当今情绪识别研究的主要内容。三种识别方式所推断情绪的依据不同，即分别通过生理方面的变化、个体面部表情的变化、声调语速方面的变化来进行判断。而三种情绪识别方式中，表情情绪识别与语音情绪识别为主流研究领域。主要是因为它们直观且方便采集，但是缺点是结果通常受主试和被试的主观因素影响；生理信号情绪识别由于只受到机体的客观因素作用，因此识别率比较准确。目前生理信号情绪识别在国内外也逐渐引起了众多心理学研究者的兴趣，但是它一般都需要特定的仪器设备进行测量，测量过程较为困难，也无法做到实时识别。因此，在人们日常生活中应用较多的仍然是表情情绪识别和语音情绪识别，其作用也比较大。

（一） 生理信号情绪识别研究

生理信号情绪识别即从生理信号中抽取出特征模式来识别情绪。通过生理信号的获取，在计算机上进行处理分析，根据收集的原始数据与实验数据相结合，探讨哪种情绪起到至关重要的作用。主要生理信号主要包括有：心电信号（ECG）、肌电信号（EMG）、呼吸信号（RSP），皮电信号（SC）。

1.心电信号（ECG）

人体心脏每周期窦房结发出的一次电兴奋，电兴奋按一定的途径和时程，依次传向心房和心室，引发整个心脏兴奋，从而使心脏产生周期性收缩，并推动全身血液的循环。心脏电变化曲线（即ECG心电图）就是通过把测量电极放置于人体表面的特定部位记录采集得到的，其波形反映了具收缩性的心房心室去极化和再极化的序列，该电活动同心房心室的收缩与舒张有密切关系。典型的心电图，如图4所示。

有研究表明，愤怒及恐惧时人的心率最快，高兴时较快，当悲伤和惊奇时心率减慢，在厌恶时心率达到最低点；并且男女之间的性别差异对心电信号也会产生影响，男性的心率比女性的心率反应水平较低[7]。

图4 典型ECG信号特性指标

2.肌电信号（EMG）

作为生物信号的一种，表皮肌肉的电活动与皮肤表面区域和时间的综合产生了肌电信号（EMG）

肌电图信号是一维的时间序列信号，肌肉表面引导电极所接触的众多运动单位在活动时会产生一定电变化，进而得到肌电信号图。可以看出，肌电信号和不同活动状态及机能状态下活动的运动单位的数量、运动单位活动的同步化程度、运动单位募集模式、不同运动单位的放电频率以及表面电极所放置的位置、体温、皮下脂肪的厚度等因素有很大关系。表皮肌肉的电活动与皮肤表面区域和时间的综合产生了肌电信号（EMG）

程波等[8]通过小波变换对肌电信号（EMG）情感识别进行模拟，得出用表面肌电信号对joy、anger、sadness、pleasure 四种情感识别效果较好，用单一生理信号进行情感识别是可以达到较好效果的。

3.呼吸信号（RSP）

呼吸是人体重要的一个生理过程。通过人体与外界的气体交换，使外界环境的养分通过呼吸达到机体内，并将二氧化碳气体排出体外。

林时来等[9]在论文中通过采集212 个被试6 种不同情绪（高兴、厌恶、惊奇、悲伤、恐惧、愤怒）的呼吸信号数据进行仿真实验，发现高兴的识别效果是最好的，测试识别率最好达到92.06%，相应的验证识别率达到了87.28%；厌恶的识别效果最差，测试识别率只有83.26%，相应的验证识别率为69.62%。

4.皮电信号（SC）

皮电信号是通过在人们手指上安装一个小伏电压，进而进行测量的。

不同的情绪状态下的人们，汗腺的分泌以及皮肤血管的舒张与收缩等会使皮肤的电阻发生改变，而通过改变的电阻，测量人们的情绪状态。同样，皮肤电反应的基础水平的个体差异性显著，并且与个性特征有很大联系。

（二） 表情情绪识别研究

1.面部表情识别

面孔蕴涵着丰富的信息，它既具有生物学意义，又具有社会意义。通过人们的面部特征，能够获得许多个体的信息。早在19世纪，研究者们就开始了对面部特征的分析，即从面部特征的变化探讨其相对应的情绪。在达尔文提出人类的面部表情特征是先天具备以来，心理学者们逐渐对面部表情识别这一课题感到兴趣。到上世纪70年代，Frisen和Ekman认为人类的面部表情是由高兴、惊讶、悲伤、愤怒、恐惧与厌恶构成。1980年后，关于人脸面部表情的研究开始在国内心理学界陆续开展起来。

目前，国内外关于面部表情的研究主要形成了以下五种理论：（1）整体说。该理论认为，人类的面部表情特征具有整体性。面部特征的每一个痕迹都不是独立存在，而是整合在一起的。（2）先天机制说。该理论强调的是面部认知能力。1991年Johnson和Morton曾指出个体的面部表情特征具有与生俱来的特点。婴儿出生后30天前后，人类的先天的认知偏好机制会迅速衰减，且随着婴儿不断长大，在视觉偏好中原先的内在加工倾向所起的决定性作用变小，记忆和经验则慢慢变得重要。（3）专家说。该理论则强调，人类是由进化形成的能够做到对不同个体面孔进行识别的专家。该理论认为，大脑的面孔反应区是对全部物体做出反应的。（4）机能模型。面孔加工机能模型于1986年被Young和Bruce提出，他们用该理论对人脸认知加工的过程进行了解释。他们强调在人脸认知中有两个平行路线，一个加工面孔表情信息，一个对面孔特征信息进行编码，二者的功能是相对独立的。（5）交互加工与结构参照假说。该观点则认为，一个面孔会以什么样的特殊方式表达情绪决定于该面孔的潜在结构。

面部表情是指通过面部的各个器官如眼睛、额眉、鼻颊、口唇等肌肉变化所表现出来的各种情绪，它能精细的表达出不同性质的情感与情绪，人们鉴别情绪的主要通过面部表情，所以关于面部表情情绪识别的研究也非常多。五官是面孔中的重要组成，是传达情绪的舵手，其中嘴巴和眼睛的作用尤为突出。嘴巴周围的口部肌肉的变化能够为情感情绪传达提供重要线索，如人在紧张的时候，则会“张口结舌”；俗语说“眼睛是人心灵的窗户”，通过眼睛我们能够看出人的内心世界，当然也就包括人的感情和情绪，而不同的眼神也能够反映出人不同的态度喜好和心理活动。由此可见，面部表情是人类基本情绪的最基本的外显反应，它是人类信息沟通和传递的重要工具[10]。一些情绪心理学家具体地研究了9种原始情绪，包括愉快、悲伤、惊奇、兴趣、恐惧、痛苦、轻蔑、羞愧与愤怒出现时面部肌肉组合和其对应的表情模式。

2.身段表情识别

身段表情情绪识别是指通过身段动作、身段姿势、位置以及动作的多少、行动的特点等信息来进行情绪识别。身段表情的研究比面部表情的研究要晚得多和少得多，而实际上，身段表情和面部表情一样能够传达出个体的情绪状态，同时更能够表明其动作意图。例如一个人感觉到害怕，他所处的的姿态不仅仅包括被胁迫被危害等姿态，还会表现出浑身颤抖、逃跑或四肢僵硬等方面的身段信息。所以，身段表情识别的研究是最具有实践意义的，是与个体状态最为贴切的。表2是达尔文（1872）所研究的身段表情与情绪表达的对照表[10]。

3.语音情绪识别研究

语音情绪识别是指人们的情绪状态是通过个体的声音言语方面，如音调、音色、响度等方面识别出来的。言语作为一种社会符号，是人们交流的重要媒介之一，言语所传递的内容，不仅仅是字面意义上所表达的意思，而且包括从语调、停顿等方面表达的深层意义。例如带有情绪声调的声音，就是一个非常明显的非语言信息。非语言信息可以包含很多内容，诸如音调、响度、说话快慢等等。有许多倾听者就非常擅于从说话者的非语言信息中听出说话者的一些情绪状态，包括悲伤、高兴和愤怒等。为了能够准确的获取说话者想要表达的信息，聆听者还需要把言语信息进行一定的整合，包括说话者的方式、短语、单词和音节等。当人处于一定情绪状态下时，由于生理作用，人们会产生与平时不一样的状态，从而导致一定情绪状态下的语气和语调会发生一些变化，研究人员把这种现象称为语音情绪表达。语音情绪识别就是指对所说言语进行推断，进而评估其情绪状态的过程。

研究表明，如愤怒，害怕和兴奋等等起伏波动较大的情绪，其产生将会激励交感神经系（sympathetic nervous system），进而导致一系列明显的生理变化。例如呼吸急促，心率加快，偶尔会产生肌肉震颤等等。说话时的响度与音调也会相应的变高。在另一方面，对于一些较为平缓的情绪如悲伤等等，其产生将会激励副交感神经系（parasympathetic nervous system），从而导致呼吸缓慢，心率降低。说话时的语音也相应的变低，缓慢，具有很少的高频能量。这些生理上的变化说明了处于不同的情绪中，能量在不同频谱上的分布，速率存在着不同。根据众多研究的结果，基音（pitch，fundamental frequency，FO）是识别情绪最重要的声学特征。其它的一些特征还包括有能量，持续时间，说话速率等等。综合来说，情绪对语音的影响主要表现在以下三个方面：基音曲线 （fundamental frequency contour），连续声学特征（continuous acoustic variables），和语音品质 （voice quality）。基音曲线主要用来描述基音序列的几何分布。连续声学特征包括有基因的大小，能量，说话速率，能量在频谱上的分布等等，这些特征也有时被称为韵律特征（prosodic features）。语音品质包括有松紧度，粗糙度，有无带呼吸声。这三种语音品质的类型在某种程度上是互相相关的。

（三） 目前情绪识别研究中的不足

通过对情绪识别研究的调研，发现目前情绪识别研究中还存在一些主要不足之处：

1.面部表情识别和语音情绪识别的研究比较成熟，而生理信号识别和身段表情识别由于技术的困难性。所以研究较少。生理信号识别、语音表情识别和身段表情识别上没有大量的理论支持与数据支持；

2.关于对生理信号、面部表情、身段表情和语音四者同某种特定情绪之间的相互联系的研究较少。

三、情绪识别研究展望

通过情绪及情绪识别研究的相关文献的归纳学习和分析，得出以下四个方面情绪识别研究的发展方向。

一是情绪识别的系统化研究。根据上文对目前情绪识别研究中的不足，我们可以看出情绪识别将来的研究重点会是把生理信号、面部表情、身段表情和语音四者同某种特定情绪之间的相互的联系进行研究，形成一个系统的情绪识别体系。

二是特殊被试的情绪识别研究。以往有一些针对特殊个体的面部表情情绪识别研究，如对焦虑症患者进行面部情绪识别时，被试的中性情绪与负性情绪直接容易混淆。对于身段表情与语音情绪识别中是否也存在相同或类似的特性是值得人们待人们进一步去研究的，而在这方面的探讨需要大量的理论支持与实证研究。

三是表情情绪交互作用的脑电研究。面孔的事件相关电位技术（ERP）与功能磁共振成像技术（FMRI）研究已经较为普及，单独就面部表情识别的ERP研究非常多。而面部表情、身段表情和语音中三者或两者之间交互作用时的脑电波效应的相关研究几乎还没有，表情情绪交互作用的脑电研究非常值得进一步去研究。

四是表情情绪具体化及交互作用的研究。目前一些学者探讨了恐惧和高兴情绪在面部表情、身段表情和语音情绪上的相互作用与影响以及高兴和悲伤的身段表情对面孔识别与语音的影响，但是关于其他具体情绪类型及其交互作用还有待研究。

情绪作为社会化信息的载体，在社会生活中起着重要的作用。个体出生之后就开始形成对面部表情、身段表情和语音的识别能力，这种能力也在不断的社会化过程中得到了发展，并在人们的日常生活中上发挥着举足轻重的作用。我们应重视情绪识别的研究，对于研究较少的身段识别研究应有更多的深入和探索；根据目前情绪识别研究中的不足，需加强对情绪识别系统性的研究，形成一个系统的情绪识别研究体系，以帮助于人们准确而快速的对情绪进行识别；而最重要的是，我们要利用已有的研究成果及其理论来指导我们的现实生活，更全面的为我们的生活服务。

[1] 孟昭兰.人类情绪[M].上海：上海人民出版社,1989.

[2] Richard J Davidson,Heather Abercrombie,Jack B Nitschke and Katherine Putnam,Regional brain function,emotion and disorders of emotion [J].Current Opinion Neurobiology,1999,9（2）:228-234.

[3] Keith Oatley,Dacher Keltner,Jennifer M Jenkins,Understanding Emotion[M].Cambridge,MA:Blackwell, 2006.

[4] Buck R.Biological affects:a typology[J].Psychological Review,1999,106（2）:301-336.

[5] 叶映华.现代人情绪管理[D].杭州：浙江大学，2008:4.

[6] 张威.汉语语音情绪识别[D].北京：中国科学科技大学,2007.

[7] 刘月华.典型生理信号综合测量及情绪识别研究[D].上海：上海交通大学,2011.

[8] 程波,刘光远.基于小波变换的表面肌电信号的情感识别[J].计算机工程与应用,2007（35）:216-218.

[9] 林时来,刘光远,张慧玲.蚁群算法在呼吸信号情感识别中的应用研究[J].计算机工程与应用,2011（2）:169-172.

[10] 张琰.三种情绪表情的识别及其相互影响研究[D].苏州：苏州大学,2010.

The Commentary on the Emotion Recognition Research

TANG Song-xiao

（Student Work Department,Jilin Institute of Chemical Technology,Jilin City 132022,China）

Emotion,as a form of human responses to the objective world,is an important part of our human psychology.Emotion plays an important role both in organizing and guiding others’ behavior,communication and in predicting others’ will.Emotion recognition is a process to infer the individual’s emotion status through physiological changes,expression changes and voice changes when emotions happen.As an important branch of psychology and cognitive sciences,study on emotion recognition has been noticed by majority of scholars.In this paper,according to a lot of literature researches,the definition of emotion,classification of emotion and the definition of emotion recognition were reviewed and summed up and the inadequacies of the study were analyzed.Finally,the future direction and the application of the studies on emotion recognition were prospected,which would provide some reference for the study in emotional psychology.

emotion；emotion recognition；facial expression；posturesvoice

2015-09-25

唐嵩潇（1990-），女，吉林省吉林市人，吉林化工学院助教，硕士，主要从事认知心理学方面的研究。

1007-2853（2015）10-0109-06

B 849

A

10.16039/j.cnki.cn22-1249.2015.10.031