可穿戴技术在情绪识别中的应用进展及发展趋势

刘欢欢，王朝晖，叶勤文，陈子唯，郑婧瑾

(1.东华大学 服装与艺术设计学院，上海 200051；2.东华大学 现代服装设计与技术教育部重点实验室，上海 200051;3.上海市智能制造与工程一带一路国际联合实验室，上海 200051)

随着现代生活节奏的加快，人们压力不断增大而导致不良情绪增多甚至引发疾病问题。情绪识别的目的是根据观察结果来监测人体的情绪状态，从而更好地掌握情绪并进行积极调节，这在心理疾病、远程教育、交通等[1]领域都有着重要作用。可穿戴设备被广泛理解为主要是穿戴在人体上的电子设备，是可以融合到衣服中或类似服装的便携设备[2]。可穿戴技术由于其丰富的功能性且便携无创，成为长期情绪识别应用的理想平台。情绪识别可穿戴技术是指情绪识别智能系统集成到可穿戴设备和织物上的先进技术,其与情绪识别监测方法、识别算法以及可穿戴产品技术的发展息息相关。

当前情绪识别监测内容方法主要基于生理信号与行为表现，为提高识别结果的准确率，情绪感知可穿戴设备大都综合多种监测内容进行情绪识别。随着计算机技术的发展，情绪识别的算法种类中机器学习方法的运用越来越广泛，当进一步考虑到大数据量以及高维度特征问题后，如深度置信网络和集成学习等基于深度学习的方法将运用到情绪识别中。目前的可穿戴技术在健康监测和运动健身等领域实现了智能化快速发展，但在情绪识别监测方面还有很大发展空间，其在柔性舒适采集设备、识别准确度以及人机交互等方面都还有待进一步发展。

本文根据识别内容对情绪识别可穿戴设备进行归类总结，并提出情绪识别智能可穿戴设备发展趋势，旨在总结情绪识别方法理论和现今情绪识别可穿戴设备发展现状，推动情绪识别智能可穿戴设备的创新发展，为智能可穿戴提供新的研究方向。

1 情绪及生理反应

情绪是人脑对客观外部事物与主体需求之间关系的反应，其伴随认知和意识过程的对外部事物的态度体验[3]。为能够准确认识情绪，首先是从科学角度对情绪状态进行分类量化，以便准确识别监测情绪状态。依据情绪表征方式不同，可分类为离散情绪模型和维度情绪模型[3]。离散模型是指由几种基本情绪组成的模型。美国心理学家Ekman等[4]认为由悲伤、恐惧、厌恶、惊讶、高兴和愤怒6种组成的基本情绪类别在情感识别研究中受到广泛应用。维度情绪模型是将情绪状态量化映射到不同维度空间中的坐标点位置。多维度连续模型有二维、三维及四维等。目前，情绪研究中使用最多的模型是Russell在1970年构建的“效价-唤醒度”二维情绪模型[5]，如图1所示。效价反映情绪的积极性或消极性，唤醒度反映情绪的平稳或强烈。

图1 效价-唤醒度情绪模型Fig.1 Valence-arousal dimension mood model

情绪状态是自发产生的，并伴随着一定的生理反应和行为表现，这些结果都是由自主神经系统(ANS)主导的，对于人来说是很难甚至是不可能控制的。ANS有2个主要分支：交感神经系统(SNS)和副交感神经系统(PNS)。交感神经系统的主要功能与人体“战斗或躲避”状态有关，会使唾液分泌和消化功能下降，瞳孔放大，心率、呼吸率、皮电活动和肌肉活动增加，同时肾上腺素和葡萄糖得到释放；副交感神经系统的主要功能与人体“休息和消化”状态有关，人体的唾液分泌和消化功能增强，瞳孔收缩，同时心率和呼吸率下降[6]。情绪状态的改变，使得交感神经和副交感神经产生变化，从而在生理信号和行为表现方面发生变化。

Kreibig[7]研究了ANS对某些情感状态反应的特异性，包括2个积极与2个消极的情绪状态，如表1所示。以愤怒为例，因为愤怒代表由SNS控制的高唤醒状态，其与心率(HR)、皮肤电导率水平(SCL)的增加一致。愤怒情绪下会带来皮肤电导反应(SCR)的上升和更高的呼吸频率，同时发现悲伤会降低HR、SCL和SCR，同时增加呼吸频率。愉悦和快乐都是具有相似唤醒水平的积极情感状态，因此，他们具有相似的生理反应。

表1 4种典型情绪状态及其生理反应Tab.1 Four typical emotional states and their physiological responses

情绪识别是基于可采集到的信息来监测人体情绪状态。从理论上讲，情绪识别可看作是信号模式识别问题[8]。情绪识别可穿戴设备即能够监测、处理和解释人类情绪状态的设备，因此，其是一个综合交叉化的研究领域，与信号处理、机器学习、心理学和神经科学等紧密联系在一起[9]。1997年，Picard等[10]第1次提出“情感计算”这一概念。情绪识别作为情感计算的重要研究方向，近年来受到较多学者的关注，并根据情绪识别内容不同在各相关领域展开研究。

2 情绪识别监测内容方法分类

在情绪识别可穿戴设备发展中，主要通过便携式传感器采集到的数据内容展开识别应用。目前，情绪识别监测内容主要基于生理信号(包括心电、皮电、呼吸和脑电信号)与行为动作(包括面部表情、肢体动作、语音语调以及行为线索)这二大类信号。情绪感知可穿戴设备大都综合多种数据内容进行情绪识别(多模态)。D′mello等[11]指出，基于多模态数据的情感识别系统往往比单一数据的识别准确率高出近10%。

2.1 生理信号

生理信号情绪识别是指通过从各种人体生理信号中提取特征进行识别和分类。主要的生理信号有：心电、脑电、皮电和呼吸信号。Picard等[12]率先从生理信号中提取特征进行情绪识别，该方法的基本流程为：利用各类传感器采集信号、预处理、特征提取、特征选择和识别分类。生理信号的变化是由人体内在神经和内分泌系统控制的，不易受到主观意识影响，具有客观真实性，目前在可穿戴设备技术中备受青睐[13]。

2.1.1 心电信号

心电信号(ECG)是指每次心跳周期所产生的电活动变化，通过贴在四肢或者胸部的成对电极来测量。心率和心率变异性是很重要的测量指标[14]。采集心电图样本的频率高达1 024 Hz，可在不丢失信息的情况下将信号采样频率降至256 Hz[15]。Mahdiani等[16]的实验表明，50 Hz的采样频率足以获得心率变异性(HRV)相关特征参数，且误差合理。研究表明：正向情绪的每2次心跳间隔要小于负向情绪；愤怒及恐惧时人体心率最快，高兴时次之，悲伤时心率减慢，厌恶时心率最低[17]。

2.1.2 皮电信号

皮肤电(EDA)反应是指电路中使用外部电流和未使用外部电流时，由情绪刺激引起的皮肤电变化[18]，其中皮肤电导水平和手指皮肤温度是重要的测量指标[19]。皮肤电活性通常在汗腺密度较高的位置进行测量[20]，如手掌、手指或脚部。从监测技术角度来看，可采用恒流或恒压系统记录EDA数据。然而，由于皮肤电导与活跃汗腺数量之间的线性关系更大，Lykken等[21]主张使用恒压系统直接测量皮肤电导，同时皮肤电的检测会受到监测部位温度、局部汗液量、被试者状态等其他因素影响[22]。Jang等[23]通过皮电信号找到识别情绪的最佳特征，如最高皮肤温度、平均皮肤温度和平均EDA，采用支持向量机识别成功率为99.04%。

2.1.3 呼吸信号

呼吸信号(RESP)通常是由呼吸运动使得传感器胸带(呼吸诱导容积描记仪)绷紧程度和伸缩量发生变化并转化为电压量输出获得[24]，其主要指标包括呼吸频率和幅度。呼吸诱导容积描记仪设置的采样频率下限可设定在10～15 Hz。

2.1.4 脑电信号

脑电图(EEG)可反映脑电信号，脑电波图像是由安置在头部特定位置的电极对脑细胞自发性的生物电活动进行测量记录形成[25]。Soleymani等[26]采用EEG使用放在头皮上的电极来测量大脑神经元的离子电流，检测视频诱发情绪准确性。因脑电采集设备对穿戴者的移动造成较大限制，通常仅运用在实验室研究中，且其具有较强的入侵性，因此较少运用在日常生活中的情绪识别可穿戴设备中。

基于可穿戴装备的情绪识别研究旨在识别不同类型情绪，大部分使用维度情绪模型可达到更精准的识别效果；在识别生理信号中，心电和皮电数据使用较多，因为情绪唤醒维度的改变与心电和皮电活动强烈影响关联度更高。

2.2 行为动作

2.2.1 面部表情

面部表情通常与一个人的情绪状态紧密相连，是情绪识别的显著线索之一[27]。面部表情一方面是指瞳孔大小和眨眼频次等[28]，另一方面是指不同情绪下眼部肌肉、口舌唇肌和脸颊肌肉的变化情况[29]，如图2所示。通常可依据面部肌电图检测面部肌肉的改变来进行情绪识别[30]。Ekman等[4]研究开发了面部动作编码系统(EFACS)，将千幅用户表情图像根据不同情绪特征划分为7类。情绪与表情的关系归纳成与情绪相关的EFACS，在这个编码系统里每个动作单元AU代表1组面部肌肉运动形成的基本动作，每种情绪对应不同的AU单元。不同的AU控制着不同位置的面部肌肉，眼部区域的AU单元如图3所示。

图2 不同情绪下嘴部肌肉差异Fig.2 Differences in mouth muscles by mood

图3 眼部区域面容改变的7个AU单元Fig.3 AU units for facial changes in eye area

2.2.2 肢体动作

人体运动姿势蕴藏着丰富的个人情绪信息，基于人体姿势的情绪识别主要是以不同情绪人体动作姿势持续时间和运动频率等数据作为依据。惯性传感器是常用的识别人体活动的传感器，如肢体动作信号可利用电容式加速度传感器检测每个方向的加速度和振动变化。崔莉庆等[31]利用步态分析实现情绪识别，通过手机和脚环记录手腕和脚踝处的运动加速度，结果显示脚踝处的数据要优于手腕处，平静和愤怒一对一识别精度达到90.31%，平静-喜悦识别精度为89.7%。

2.2.3 语音和语调

语音情感识别是通过提取带有情绪色彩的声学特征参数，利用搭建的情绪识别模型对特征参数进行分析辨别[32]。语音信号重要的特征包括基础音频率、语音速率、流利程度、共振峰、能量、Mel倒谱系数等[33]。单独以语音信息作为识别情绪的方法存在较大个体差异性，通常会结合其他识别内容方法，多以佩戴型产品或智能机器人形式运用，更便于交互行为。

2.2.4 行为线索数据

行为线索数据识别是指收集用户的通话记录、短信记录、电子邮件、互联网历史和应用程序使用情况以及地址位置等信息，并使用多元线性回归方法进行情绪预测[34]。Alajmi等[35]研发了一个在购物中心对商店进行评级和基于手机监测顾客情绪的反应系统，如图4所示。其通过移动非侵入式可穿戴传感器测量顾客的皮电信号并综合智能手机上的定位程序了解顾客与商店之间的距离，以此判断用户情绪水平及在购物环境中的满意度。

图4 购物中心情绪监测系统示意图Fig.4 Schematic diagram of mood monitoring system for shopping centers

3 情绪识别算法

情绪识别流程为：首先是在传感器采集完各类信号数据后进行特征提取工作；然后构建情绪识别特征数据集，这些特征值与原始目标情绪标签构成情绪识别模型训练集；最后训练情绪识别模型。在情绪识别中考虑到数据维度等问题，分类通常采用机器学习的方法，例如支持向量机(SVM)、K近邻算法(KNN)等。情绪识别算法及识别准确度结果如表2所示。由于各实验条件以及样本熟练度和分类目标情绪的差异性问题，并不能准确比较各常用算法的分类优缺点。但SVM具有可处理高维小样本的性能，大多数实验采用该分类方法。KNN和决策树(DT)是第二受欢迎的分类器，因为这2类算法只需要很少的参数调整，几乎以现成的方式应用。在运用机器学习进行情绪识别过程中，进一步考虑到大数据量以及高维度特征问题后，开始将深度学习运用在情绪识别中，如深度置信网络(DBN)和集成学习。从表2看出，集成方法(如AdaBoost)的使用频率较低，但目前研究结果已证明集成方法是性能较强的分类器。Fernndez-Delgado等[36]在100多个不同的数据集上评估了179个分类器发现，随机森林是最好的分类器。Rubin[37]采用随机森林来检测恐慌和恐慌前状态，准确度分别达到97%和91%。

表2 情绪识别可穿戴研究中情绪类型和识别信号及结果总结Tab.2 Summary of emotion types and recognition signals and results in emotion recognition wearable research

此外，Boosting是一个强大的分类器，Friedman等[38]研究认为Boosting是“世界上最好的现成分类器”。Mozoso等[39]应用AdaBoost方法检测压力准确度达到94%。当前在情绪识别研究所用的算法中机器学习法占大多数，基于深度学习的方法运用较少。深度网络分类器能够通过层次结构剖析多模态信号数据特征，并可在未来的研究中运用深度学习方法提高情绪识别的准确度。

4 情绪识别的可穿戴技术或产品

情绪识别内容方法各有优缺点，考虑到设计可行性以及情绪识别的准确度，在智能可穿戴产品设计中，可利用多模态数据方法，即综合利用不同的情绪识别方法展开可穿戴产品设计。不同情绪识别方法与可穿戴技术结合总结如表3所示。本文按照可穿戴式智能设备的支撑部分展开介绍，包括头部穿戴类、手足部穿戴类和躯干穿戴类等。

表3 不同情绪识别方法与可穿戴技术结合总结Tab.3 Summary comparison of advantages and disadvantages of different methods of emotion recognition content

4.1 头部类

头部可穿戴设备通常设计为眼镜或头盔的形式，通过采集瞳孔大小以及面部表情等信号作为情绪识别监测内容。由皇家艺术学院和帝国理工学院的学生共同设计的Amoeba智能眼镜[54](见图5)，通过3个传感器来监测人体情绪。呼吸频率由在嘴巴附近的热传感器采集，镜框上设置的摄像系统和皮肤传感器用来采集眼动情况和监测出汗情况，综合多模态数据进行情绪识别。

图5 Amoeba智能眼镜Fig.5 Amoeba smart glasses

Kwon等[55]研发了眼镜式可穿戴系统，如图6所示。该系统通过内置摄像头和传感器获取面部表情与生理信号(光电脉搏容积和皮电)，其优点在于只是使用了局部侧面表情就拥有较好的识别度，但同时也存在一定局限性，该设备在不同用户使用前需重新掌握个体规律性。

图6 眼镜式可穿戴系统Fig.6 Eyewear wearable system

4.2 手足类

由于人体手腕部最适合穿戴，便于长时间监测血压、心率等生理信号，因此，手足部可穿戴式智能设备最为常见。手足类的产品大都是智能手环、脚环、手表或手套的形式。徐诗怡[56]设计研发了一款针对老年人情绪监测的智能手环，通过手环传感器对老年人的身体数据指标进行采集，将结构传输至子女手机APP中进行情绪判别；最终结果可在APP中显示，便于子女对老人负向情绪的了解及判断，及时帮助老人调节情绪问题。美国Galvactivator公司设计的情绪手套，通过检测手温、皮电和脉博次数进行情绪判别。若监测到负向情绪结果时，手套上的指示灯通过不停闪烁发出提示警报[57]。

4.3 躯干类

躯干穿戴类主要是以内衣、背心、裙子等织物形式出现。Lanata等[58]研究了个性化可穿戴式监测系统(PSYCHE)，如图7所示。其是由1个T恤背心作为载体，内置传感器由用于监测心电图心率变异性(HRV)系列的纺织电极、呼吸活动的压阻式传感器和活动识别的三轴加速计组成，可为精神障碍患者和治疗此类疾病的医生提供信息和通信技术，但该智能背心识别系统属于个性化系统，需要根据个人特征进行系统定制。

图7 PSYCHE可穿戴监控系统模型Fig.7 PSYCHE prototype wearable monitoring system

2008年飞利浦公司推出创意概念服饰“布贝尓服”，如图8所示。服装颜色可由情绪决定，采用2层设计。内层配备生物识别传感器，用以采集体温和出汗量。情绪的变动会引起体温和出汗量的变化，从而改变外层衣服的图案和颜色，以监测人体情绪变化。当穿着人体处于愤怒或高压状态时，服装会变成红色，而平静时则会变成绿色[59]。

图8 飞利浦“布贝尔服”Fig.8 Philips "Buell suit"

5 结束语

目前，可穿戴技术在健康监测和运动健身等领域实现了智能化快速发展，但在情绪识别监测方面还有很大发展空间。

1)在柔性舒适采集设备方面，智能可穿戴监测硬件设施目前还都是利用电子传感器，通常是手表式或固定装置，如何制备柔性化和轻便化的监测设备是未来重要的研究方向。目前，一方面柔性电子学的最新进展促进了柔性传感器和表皮电子学的发展，这可使监测信号的传感器和信号处理单元织进织物中，提供了新的潜在监测位置；另一方面弹性电导线和柔性电池技术的研究发展也将会提供更高的穿戴舒适性。

2)在识别准确度方面，目前针对唤醒度维度情绪有很好的识别率，但效价维度情绪存在不易察觉、识别率低的问题；且情绪个体差异性也是一个无法规避的问题。有研究表明，汗液的化学成分可进一步提供人体的生理信息，因此，在情绪识别研究中可整合化学和电生理传感器采集到的信息，为人体不同情绪状态的生理反应研究提供新思路；未来还可利用多模态特征组合方法并同时优化识别算法，将深度学习应用在情绪识别领域，提高情绪识别准确度。

3)在交互方面，情绪识别结果大都通过智能终端如电脑、手机等呈现，未来可尝试应用更多新型智能服装材料将情感识别结果可视化，例如利用光纤以及变色材料等来呈现识别的不同结果。

情绪识别智能可穿戴设备有着广泛的应用，如从医疗保健角度来看，基于可穿戴设备的情感识别系统能帮助监测精神障碍患者的情绪状态，这些数据可有效帮助医生诊断治疗。此外，还可用于远程教育、交通领域、城市规划和服装营销等方面。情绪识别智能可穿戴设备尽管近年来取得了令人印象深刻的进展，但其仍处于研究发展阶段，相信未来适用于日常生活的强大和个性化的情感识别可穿戴设备可为用户提供更多价值。

FZXB