基于面部表情分析的抑郁症识别研究

陈坤林，胡德锋，陈楠楠

(南京审计大学计算机学院，江苏 南京 211815)

0 引言

近些年来，抑郁症逐渐走进人们的视野，该疾病是一种患病率高、临床治愈率高的精神障碍疾病。然而大多数人对于此病的认知较低，导致坚持接受正规治疗的患者较少，另一方面，对于该类疾病的诊断仍处于简单的初级阶段。据世界卫生组织[1]数据显示，全球抑郁症患者数量超过3.5 亿，预计在2030 年将成为常见疾病之一。抑郁症对于个人、家庭以及社会都产生了巨大的困扰，因此，结合当前计算机技术提升抑郁症的诊断水平成为了研究的重点/热点问题之一。

对于抑郁症的识别，众多研究者做了相关的研究。余涛[2]等提出了一种基于机器学习检测抑郁症患者自杀意图的方法，通过K 最近邻(KNN)、一般线性模型(GLM)、随机森林(RF)等传统机器学习方法构建模型，预测以及预防抑郁症患者自杀等不良行为。辛逸男[3]等人提出了一种基于语音特征的抑郁症诊断方法，该方法根据语音信号作为特征区分抑郁症患者和正常人群。王萌[4]等结合深度学习技术设计了一种抑郁症患者表情识别系统，利用卷积神经网络(CNN)，构建模型，提取患者表情特征，实现表情识别。

深度学习作为当今热门技术之一，在计算机视觉领域和自然语言处理领域都发挥着重要的作用，因此，将该类技术应用于抑郁症预防具有良好的可行性。抑郁症患者常有失望等负面面部表情且长期处于负面情绪阶段，而对患者面部表情的数据采集具有成本低、效率高等优点。故本文提出一种基于面部表情分析的抑郁症识别方法。通过卷积神经网络(CNN)建立模型并训练得到抑郁症患者的各类表情参数，其中表情参数包括愤怒、厌恶、恐惧、开心、伤心、惊讶、中性、蔑视，最后从数据集中选取百分之三十的数据作为测试集并检测其正确率。

1 准备工作

本文所采用的数据集是包含抑郁症患者的音频和面部扫描视频的中文抑郁库数据集EATD，该数据集由接受咨询的212 名志愿者的视频组成，其中包含80 名抑郁症患者。卷积神经网络(CNN)[5]是一种带有卷积结构的前馈神经网络，如图1所示，其主要结构包含输入层、卷积层、池化层、全连接层和输出层，其中输入层接受输入的训练数据，卷积层可以为多层且主要作用为使用卷积核进行特征提取和特征映射，池化层与卷积层可任意搭配并同样存在多层，其作用是下采样降维，最后由全连接层在尾部进行拟合，减少特征信息的损失，由输出层输出数据。

图1 抑郁症识别模型结构图

在训练数据之前，由于获取的数据集是以视频的形式存在，我们需要对该数据集进行一定的预处理，过程如下。

⑴图片截取：我们对于数据集中每个视频按10秒间隔截取一张照片且大小为320×240，处理完的图片格式统一为.png。

⑵滤波去噪：采用Pyhton中blur函数对于图片进行滤波去噪处理，该函数使用归一化框过滤器模糊图像，计算每个像素中对应核的平均值，对输入的图像进行均值滤波后用目标图像输出。

⑶特征点标定：特征点是指在其他相似的图像或目标中，以相同或相似的不变形式表示的点，我们可以在不同图像之间建立几何或统计关系，实现输入人脸图片的识别。在本文中采用HOG特征基础，通过寻找数据集中人脸照片的68 个标定点，遍历所有点，打印出其坐标作为特征点标定。

2 神经网络模型搭建

2.1 网络初始化

如图1 所示，本文所搭建网络结构包含5 层卷积层和2 层池化层，我们从高斯分布中随机采样权重且这些随机初始化的权重将在网络的训练过程中逐渐调整以适应任务，除了权重，每个卷积层和全连接层还包含一个偏置（bias）项，偏置的初始化为随机最小值。其中卷积层的卷积核大小和池化层大小、向量维度、步长和填充参数如表1 所示，在卷积层中我们使用Relu函数取代Sigmoid函数，其作为激活函数，能够有效地避免饱和问题且对抗梯度消失等情况。另一方面，该函数使用了简单的阈值化，具有很高的计算效率，能够降低本文实验对算力的要求。

表1 网络初始化参数表

Relu函数和Sigmoid函数定义为公式⑴和公式⑵，在全连接层中的激活函数，我们仍使用Relu函数。

2.2 输入层

本文中输入层采用三维张量(H,W,C)，其中H表示图像的垂直维度大小，即图像的行数；W 表示图像的水平维度大小，即图像的列数。C 指的是图像的颜色通道数量。本文数据集图片为彩色图像，因此采用三原色通道(RGB通道)。经过数据预处理后，我们将每张图片转换为(48,48,3)的三维张量作为输入层的输入。

2.3 卷积层

在卷积过程中，卷积核的权重起到了特征提取的作用，通过多次训练学习得到适合任务的卷积核权重，从而帮助模型提取数据中有效特征。卷积计算公式如公式⑶，其中l-1 为卷积层，采样大小为a*a，g(x)将x中a*a 的大小中像素值进行求和并乘以权重系数w，然后加上偏置项b，最后做Sigmoid函数运算。公式⑷、公式⑸为每一层卷积层的长度与宽度的计算法则，Hi、Wi分别为上一层长度和宽度，F为卷积核大小，S为步长，P为边界填充参数。

2.4 池化层

池化层用于减小特征图尺寸从而实现降维作用并且有效缓解过拟合问题，在该层中卷积核个数不给予改变。如图1 所示，池化层特征提取维度为(2,2)，我们采用图2中最大汇聚(Max Pooling)，从每个2*2的特征数据中提取最大的数作为新的特征数据，公式⑹、公式⑺为池化层中长度与宽度的计算公式。

图2 Max Pooling

2.5 全连接层

在经过卷积层和池化层处理之后，我们通过全连接层将数据转换为一维张量，本文中使用Flatten 层和两层Dense 层构建全连接层。在该层中，如图3 所示，采用Dropout 机制降低过拟合能力，该机制随机选取部分神经元不参与计算，这样一来可以减少神经元之间的依赖，权值的更新不再依赖固有关系的隐含节点的共同作用，从而提高模型学习的鲁棒性。

图3 Dropout机制

2.6 输出层

从图1可以看出，从界面中输入测试图片后，图片经训练过的抑郁症检测模型处理，输出每个表情的得分概率值，将该数据与抑郁症患者数据进行对比，从而预测测试者患抑郁症的几率。在输出层，soft max函数计算各表情的概率值，公式如下：

其中，P 表示每个表情的概率值，eak表示所有表情的得分值。

3 实验与结果分析

3.1 实验环境

本文采用64 位操作系统Windows 10，处理器为AMD Ryzen5-4500U with Radeon Graphics 2.38 GHz，RAM 16.00GB，程序编写以及运行环境为Python 3.10。

3.2 GUI界面

为了方便观察抑郁症患者各个表情元素的占比，本文通过Python 中PyQt5 设计了可视化界面，如图4所示，我们在该界面中输入一张抑郁症患者的图片，并通过直方图显示了各类表情的概率值，其中伤心和中性情绪占比最高，其次是害怕和愤怒。总体而言，该患者的负面情绪占比较高，本文所采用模型识别效果符合患者情况。

图4 基于面部表情分析的抑郁症识别系统

3.3 检测结果以及结论

我们将数据集划分为训练集和测试集，比例为7：3，通过训练集中训练出抑郁症识别的模型并并将测试集进行检测。由于数据集是以视频的形式，因此我们按照上述10秒间隔截取一张患者照片，每个视频各截取15 张照片。我们从中随机抽取了5 个抑郁症患者进行检测并给出了每个患者各类感情因素的平均占比率，如表2所示。

表2 患者各类情绪因素的平均占比表

从表2 中数据可以得出检测的5 名患者伤心情绪比例最大，其次是中性表情，总体上来看，这些检测者的负面情绪比较多，抑郁症者个人很难保持开心的状态，因此我们对于患者应该着重关注他们的情绪心态等问题。另一方面，抑郁症是一种长期困扰患者的精神类疾病，因此单次对于患者的检测并不能完全体现其准确性，为提高实验有效性，我们对于检测者进行了持续一周的不定期检测，并抽取了一名患者一周内情绪的变化，其数据如表3所示。

表3 某患者一周内各类情绪因素的平局占比表

从表3可以看出，该患者长期处于低落状态，这很符合抑郁症患者的情绪状态；他们偶尔会出现恐惧的心态，这说明患者个人情绪不仅长期处于负面情绪状态，而且会出现情绪变化幅度大且不稳定的情况。

最后，我们采用抑郁库数据集EATD 中30%数据作为测试数据，采用本文模型进行检测，当检测出负面情绪占比大的测试者符合患者自身情况，则视为正确的数据，反之则视为错误数据。本文检测的正确率为71.3%，该方案对于识别抑郁症具有较高的准确性，并且详细的分析了这些患者情绪变化情况。

4 结论

本文结合深度学习技术提出了一种基于人脸面部表情分析的抑郁症识别方法，该方法通过循环神经网络建立模型，以面部表情为分析因素，实现抑郁症识别。根据上述实验结果可知，该方案能够较好的识别出测试者的个人情绪变化是否符合抑郁症的症状，且测试集检测的正确率良好。通过分析面部表情，我们能够更好地预测和诊断抑郁症，为患者提供早期干预和治疗的机会。此外，该方案还具有良好的可行性和合理性，可为抑郁症的诊断提供一种新的非侵入性方法。

本方案可应用于辅助抑郁症的诊断和预防。对于方案的改进与完善有以下考虑：①患者的日常行为和言语也会影响到抑郁症识别，应考虑这部分因素；②随着深度学习技术的快速发展，研究者对于神经网络的研究可以更全面和深入，可以继续探讨将其他模型应用到该问题上，进一步提升识别效率。