私人心理“医生”设计与实现

周神美　朱屹诚　李星烨　张大秀

摘  要：在信息爆炸的时代，针对人们常伴有焦虑抑郁等不良情绪会对其生理和心理造成不可逆转伤害的问题，文章设计了一款私人心理“医生”。该私人心理“医生”通过所收集的用户面部表情的照片或视频，运用面部识别技术来识别人脸;继而通过微表情技术，精准地识别微表情中隐藏和压抑的情绪信号;最后通过情感识别技术推测和初步判断用户的情绪，并对其心理问题做出诊断。

关键词：面部情感识别;微表情;心理健康;缓解推荐

中图分类号：TP391.4                    文献标识码：A文章编号：2096-4706（2021）20-0011-05

Design and Implementation of Private Psychological “Doctor”

ZHOU Shenmei， ZHU Yicheng， LI Xingye， ZHANG Daxiu

（Bengbu University， Bengbu  233030， China）

Abstract： In the era of information explosion， aiming at the problem that people are often accompanied by adverse emotions such as anxiety and depression， which will cause irreversible damage to their physiology and psychology， this paper designs a private psychological “doctor”. The private psychological “doctor” uses face recognition technology to recognize faces through the collected photos or videos of users facial expressions; then， through micro expression technology， it can accurately identify the hidden and repressed emotional signals in micro expression; finally， the emotion of users is inferred and preliminarily judged through emotion recognition technology， and their psychological problems are diagnosed.

Keywords： facial emotion recognition; micro expression; mental health; mitigation recommendation

0  引  言

2020年初，受新冠肺炎疫情的影響，人们需要居家隔离减少社会活动，网络的过度使用以及身体活动受限，影响了人们的心理状态，使其更容易产生负面情绪。由于出行受限，许多群众不能及时前往医院就医。近几年出现了如好医生、健康小屋、欣九康健康等一系列网络问诊平台，这些平台具有智能诊断、智能病例分析、快速复诊等功能，使医生可以方便快捷地为患者诊疗，为出行不便的患者就医提供便利。然而，这些网络问诊平台基本上只关注生理方面的诊断治疗，心理方面的诊疗却寥寥无几。本文提出的私人心理“医生”可以完成对患者心理问题的初步诊断，给出科学的建议，从而达到辅助治疗、缓解压力的效果。

1  系统设计

私人心理“医生”的整体结构如图1所示，主要包括图像采集、人脸识别系统、情感匹配数据库、控制系统等部分。其整体工作流程为：首先自动打开摄像头，对用户进行图像采集，通过摄像头读取用户的脸部模型和脸部表情;然后通过人脸识别系统对用户的微表情进行识别分析，并将分析结果传送至情感匹配数据库进行匹配，从而得到用户当前的情感状态;随后将情绪匹配结果传送至控制系统，控制系统对听觉、视觉、空气条件三大模块发布指令，通过智能设备调节出一个相对舒适的环境，从而达到改善用户心情的目的。用户也可以依照自己的生活习惯，通过操作系统自行设置待启动的模块，从而实现更加人性化、个性化的调节。

1.1  图像采集

图像采集是指相机将采集到的光学图像转换成视频信号，然后把视频信号送入图像采集卡，进行数字化处理，再转换成图像数据的过程，最后通过计算机对这些数据进行处理和存储。图像采集有灰度和采集分辨率两个指标，将视觉传感器采集到的光信号转换为电信号，经过空间采样和幅度转换后，信号被转换成数字图像。

1.2  人脸识别系统

二十世纪六十年代，西方国家德国、日本、美国率先开始研究人脸识别，到九十年代后期，人脸识别技术才开始在中国起步。人脸识别是一项复杂的技术，人体面部检测和面部身份认证都属于面部识别技术的范畴，并涉及许多领域的知识内容，例如人工智能、图像数字化处理、计算机视觉层面和神经网络。人脸识别通过人脸特征采集、人脸部位检测、人脸匹配等环节，快速识别和获取目标的身份信息，从而达到解锁设备、人脸支付、考察考勤、侦查犯罪分子等目的，具有无须接触、侵扰性弱、采集便捷等优点。

人脸识别系统[1-3]有两个模块：人脸检测模块和人脸识别模块。人脸检测模块采用自带人脸检测器的dlib库，并采用经典的方向梯度直方图加线性分类器的方案，提高人脸识别的准确性。人脸识别模块需要用到两个模型，一个是人脸关键点检测模型，另一个是人脸识别模型。人脸关键点检测模型用于检测和收集面部的68个特征点。为了使人脸识别更加精准，同时使不同表情的人脸置于相同的位置时，系统均会对整个五官和面部轮廓进行有效识别，在绘制完68个特征点之后，人脸识别模型可以将面部信息提取成128维的向量空间，并对所收集的信息进行分析。编码人脸识别过程如图2所示。

1.3  微表情

人们通过观察某人面部表情、肢体语言或者听闻其声音达到认识了解该人的目的，其中通过表情分析情绪在心理学领域受到广泛的关注[2]。但由于人类的自我保护意识较强，在很多情况下习惯于通过伪装或者抑制自己的真实情感来自我保护，这将导致通过正常的面部表情分析所得到的情感并不准确。然而，在人们伪装的情绪下会产生一种局部、瞬间的面部表情，即微表情。微表情是指人们在试图隐藏或压抑情绪信号，却又无法做到完全隐藏或压抑情绪信号而不自觉流露出来的不易觉察的表情。此外，由于微表情呈现时间极短，只会在脸上持续1/25到1/5秒的时间，而且无法被有意识地压制，所以通常它又被视为揭示人类隐藏真实情绪的重要途径。

1.4  情感识别

情感识别有两种方式：一种是通过给定图片路径对获取的图片进行情感识别;另一种是通过摄像头获取图片进行识别并且实时显示识别结果。情感识别的主要流程如图3所示，即先用dlib库的人脸检测算法获取图片中的人脸，将人脸图片部分截取下来后进行大小调整以及灰度化，接着通过已经训练好的卷积神经网络模型对图片进行情感识别，最后显示识别的结果[4，5]。

因为面部表情具有丰富性和复杂性等特征，所以采用了客观的编码标准，即采用面部动作编码系统（Facial Action Coding System， FACS）对面部表情进行客观的编码。根据面部的运动强度分解面部表情，分析各个面部肌肉。

1.5  识别功能实现

1.5.1  图片剪辑

图片剪辑是利用dlib.get_frontal_face_detector（）初始化人脸检测器detector，检测人脸在图片中的位置，再进行图片裁剪，只保留图片中的人脸部分，具体代码为：

gray = cv2.cvtColor（image， cv2.COLOR_BGR2GRAY）

clahe = cv2.createCLAHE（clipLimit=2.0， tileGridSize=（8， 8））

clahe_image = clahe.apply（gray）

detections = detector（clahe_image， 1）

for k， d in enumerate（detections）：

1.5.2  提取特征

图片剪辑后，通过提取人脸的坐标特征、动作单位（AUs）、动作特征获取整个人脸的主要特征：

Step1：提取人脸坐标特征，图片剪辑后利用dlib.shape_predictor（）初始化predictor，提取出68个人脸坐标。

for k， d in enumerate（detections）：

shape = predictor（clahe_image， d）

xlist = []

ylist = []

for i in range（0， 68）：

cv2.circle（clahe_image， （shape.part（i）.x， shape.part（i）.y）， 1， （0， 0， 255）， thickness=2）

xlist.append（float（shape.part（i）.x））

ylist.append（float（shape.part（i）.y））

Step2：提取动作单位（AUs），利用68个人脸坐标特征，通过几何法运算得出动作单位。

Step3：提取动作特征，结合opencv2的Video Capture  （），遍历视频的每一帧图像，得到整个人脸表情特征。

def getVideoFeature（path_video， path_feature）：

1.6  控制模塊

检测识别面部表情之后，需要对检测出的对应情感进行缓解治疗，具体的控制模块如图4所示。

1.6.1  听觉调节模块

听觉是影响人们情绪变化的重要因素，人们的喜怒哀乐等情绪可以通过音乐来表达，音乐对人的心理具有一定的调节作用。例如，悠长的音乐会让管理人类情绪和感觉的大脑产生自主反应，从而引起个人情绪上的变化。人的不同意识和状态会产生不同频率的脑电波，频率在8～12 Hz之间的α波通常出现在人们轻松、愉悦、舒适时;大脑处于β波状态时，说明人们感到焦虑或不安。利用这些特征，对不同的音乐进行相应的分类，将其保存在系统数据库中，以便为处于不同情感状态的个人给出相应的音乐。系统成功识别出用户情绪后，由控制系统发出指令，控制音乐播放器播放适当的音乐（甚至是控制音乐的频率和波形），通过控制声乐，达到调节用户心情的目的。

1.6.2  视觉调节模块

人的视力也是影响情绪的重要因素之一，不同的颜色会对人产生不同的影响。比如，充满活力的红色，可以让人富有激情;蓝色可以让人的内心平静下来，使人放松。外在的意象丰富，内在的心理复杂，外在意象对内在心理的影响是神奇而微妙的。同一人不同境况下对于相同的景物，产生的情绪可能大有不同。比如，某人看到一朵花，当其处于高兴状态时就会觉得花在娇艳中透着可爱，难过时不禁觉得花在美丽中暗含几分忧伤;同样的景色，初次观看的人欣赏它的秀美，经常过目的人感受它的平淡。与听觉模块类似，系统在接收到来自控制系统的命令后，可以根据当前的情绪匹配结果控制视频播放不同的画面，达到色彩控制的目的，从而调节用户的情绪。

1.6.3  空气条件调节模块

除了听觉和视觉会影响情绪外，触觉和嗅觉也会在一定程度上影响情绪。例如，新鲜的空气可以为大脑带来更多的氧气，使人体细胞拥有大量的氧气，从而确保其能够高效运行。闷热的空气会使人心烦意乱、无精打采，沮丧和困倦。当一個人的情绪处于紧张、焦虑状态时，淡淡的清香可以使其大脑放松，情绪逐渐得以改善。空气条件调节模块主要利用空调、加湿器等装置来改变空气环境，控制系统发出指令后，可以根据用户的情绪匹配情况调整温度和湿度。同时，芳香精油被设置在加湿器内部，如有必要，可以将其自动添加到加湿器的水中，飘出一丝丝淡淡的芳香，协助调整用户的情绪[6]。

2  程序流程设计

2.1  初始化

产品的开启可以通过微信一键登录功能实现，在用户同意授权后即可完成微信号免密登录（无须验证），给用户带来更高的安全性和更好的使用体验，也可使用账号密码登录。为提高识别的准确性，首次使用时，用户需要在喜、怒、哀、乐四个图标中分别上传对应的表情，作为四种基础表情，如图5所示。

2.2  识别

初始化完成后，进入识别页面，用户需点击一键识别，并将手机的前置摄像头正对面部，稳定地保持一会，即可得到表情分析报告。情感报告以六边形的模块实现，体现用户的情感区间，再点击解决方案。私人心理“医生”将会根据用户的表情分析报告给出适当的建议，同时控制系统会控制智能家居对室内环境进行调节，让用户处在一个更加舒适的环境之中，具体识别过程如图6所示。

2.3  个人

如图7所示，在个人页面中用户可以绑定自己佩戴的手环、智能家居等健康监测设备。用户佩戴设备，系统可以记录其每日的运动消耗，睡眠质量等参数。借助蓝牙可以将参数上传到该应用，用户可以随时在该应用中查看自己的身体状况。智能家居则会根据所识别的用户情感情况，从舒适度方面适度调节室内环境，从而更好地调节用户情绪。

2.4  其他功能设计

2.4.1  青少年模式和老年模式

老年模式与子女账号绑定，子女可以实时查看了解老年人心理状况，有助于将老年人的生活起居照顾周全。青少年模式与父母账号绑定，便于父母随时了解孩子的心理健康状况，有利于青少年身心健康发展。

2.4.2  交流社区

用户可以通过社区交流功能，与社区其他用户进行必要的交流和分享。用户通过分享自己的生活意趣，激励自己多做一些感兴趣的事情，调动其生活的积极性。适当的交流和分享既可以帮助用户获得和谐的人际关系，交到志同道合的朋友，又对舒缓用户焦虑的心情和治疗起到积极的作用。

2.4.3  智能家居环境

私人心理“医生”可以与智能家居绑定，智能家居可以根据用户的状态智能调节环境，从视觉、听觉、空气质量三个方面为用户营造舒适的环境，协助调理用户的情绪，同时解放双手，给用户带来更好的体验。

2.4.4  用户反馈

好的产品并非是一蹴而就的，为了提高用户体验感，以为用户提供更加有效的帮护，设置用户反馈模块，用户在使用过程中有任何问题或建议都可以随时进行反馈，产品也会根据用户反馈不断地予以完善。

3  测试

如图8所示，私人心理“医生”设计完成之后，进行了相应的测试。主要包括对登录注册、人脸识别分析等功能进行测试：

测试1：正确注册的账号和密码登录。

测试2：注册的账号和错误的密码登录。

测试3：未注册账号和已注册账号密码登录。

测试4：只输入账号不输入密码登录。

测试5：不输入账号只输入密码登录。

结果：测试2、测试3、测试4、测试5如图9测试结果所示，均无法登录。

测试1可以登录，测试1的结果如图10所示。

测试6：打开摄像头，正常检测正脸，观察能否在人脸检测中识别到人脸。

测试7：打开摄像头，正常检测侧脸，观察能否在人脸检测中识别到人脸。

结果：测试6可以识别到人脸，测试6的结果如图11所示。

测试7无法识别到人脸，测试7的结果如图12所示。

经过测试可知，私人心理“医生”基本可以实现需求的功能，具有一定的可行性。

4  结  论

基于在重大灾难之际人们出行不便，许多人对便利的心理问题诊疗平台有刚性需求的状况，本文设计并实现了私人心理“医生”，能够在用户足不出户的情况下对其进行心理诊断和治疗。本项目投入实践，将为不方便出行的群众带来诸多便利，节约医生方对患者心理问题诊断的时间和成本，及时缓解和辅助心理问题的治疗，且能够提高用户对心理问题的重视。

参考文献：

[1] 巫春玲，冯志文，钟沈豪，等.基于人脸识别技术的高校课堂自动考勤管理系统 [J].智能建筑与智慧城市，2020（5）：20-24.

[2] 张人，何宁.微表情识别研究综述 [J].计算机工程与应用，2021，57（1）：38-47.

[3] 郑浩鑫，林楷焱，陶铭.视觉情感识别系统的设计与实现 [J].计算机时代，2021（3）：33-36.

[4] 何正轩.基于面部识别的情感辅助调节系统 [J].中国新技术新产品，2017（1）：10-11.

[5] 许嘉诚.基于并行算法的快速人脸识别系统设计与实现 [J].无线互联科技，2020，17（6）：63-65.

[6] Kotsia I， Pitas I. Facial Expression Recognition in Image Sequences Using Geometric Deformation Features and Support Vector Machines [J].IEEE Transactions on Image Processing，2007，16（1）：172-187.

作者简介：周神美（2000—），男，汉族，安徽合肥人，本科在读，研究方向：计算机与信息技术;

朱屹诚（2001—），男，汉族，安徽宣城人，本科在读，研究方向：计算机与信息技术;

李星烨（2000—），女，汉族，安徽淮南人，本科在读，研究方向：计算机与信息技术;

张大秀（1992—），女，汉族，安徽宿州人，助教，硕士研究生，研究方向：移动边缘计算、深度学习、计算机技术。