人脸识别的智能防疫系统设计

王继超，张丽娟，尤 田，孙东来，回振桥

(1.河北水利电力学院自动化与通信工程学院，河北省沧州市黄河西路49号 061001；2.河北省高校水利自动化与信息化应用技术研发中心，河北省沧州市黄河西路49号 061001)

随着疫情在世界范围内的肆虐，利用生物识别手段来实现高效即时的防疫已成为人工智能的新研究方向。面对各个行业的复工复产，对工作人员或学生的防疫检测已经成为了当下的主流，但实地落实时还有很多弊端，例如操作过程复杂，人员劳动量大，检查过程不规范等，这些都会为防疫落实带来影响，因此设计智能防疫系统替代人工检测成为必然，本设计通过人脸识别对被测者进行身份核实与记录，如果通过核实则进行红外测温和口罩检测，若被测者信息不匹配、体温异常或未佩戴口罩，本地便会触发异常报警，并将相关信息反馈上云，实现防疫检测去人工化，达到更高效防疫实施和更精准的防疫效果。

本设计的关键是人脸识别技术的应用，而传统的人脸识别技术是基于可见光图像的人脸识别，但这种方法受到环境光照的影响较大，如光照强度变化较大的时候，识别效果会急剧下降。近些年随着深度神经网络(Deep Neural Networks,DNN)如区域卷积神经网络(region-convolutional neural network，R-CNN)[1]、快速区域卷积神经网络(Fast-region convolutional neural network，Fast-RCNN)[2]、更快速区域卷积神经网络(Faster-region convolutional neural network，Faster-RCNN)[3]、YOLO(You Only Look Once)[4-6]出现和发展，基于深度学习的图像处理算法成为主流算法。从传统的LBP和SIFT特征转变为深度学习的不同层级卷积特征，研究方向也逐渐由单任务二分类演变为多任务学习、多粒度层级式学习、多标签学习等[7]。深度学习算法相对于传统的人脸识别算法有着明显的优势，通常在人脸识别过程中想要全面的表现出所有的规则和规律是极其复杂的，而神经网络可以通过学习的过程获得对这些规则和规律的隐性表达，它的适应性更强，更容易实现。因此本文使用深度学习技术来实现一个防疫系统的搭建，此系统主要功能如下：

(1)人脸识别算法中加入红外测温程序实现身份核实的同时完成对体温的检测。

(2)检测被测者是否佩戴口罩，若佩戴口罩则通过，如没有佩戴则本地报警。

(3)系统可将检测结果信息上云，如果体温异常还会显示在异常人员出现的就几个被测者信息，将他们划分为可能异常人群。以便管理者及时作出处理。

(4)云平台将收集到的数据统一进行管理，方便数据的监控与审查，以便及时与异常人员取得联系，降低疫情传播风险。本设计主要包括人脸识别设计、口罩检测设计、红外测温设计。

1 人脸识别的身份核实应用

生物识别技术领域中，人脸识别是相当引人注意的高新技术之一。人脸识别作为现在常用的身份鉴别手段，被逐渐引入到人们的学习、工作和生活当中[8]。人脸识别是一个具有发展潜质的领域，也是一个具有极大挑战力的领域[9]。本设计主要是依托人脸识别的基础上做的一系列符合当下疫情场景的拓展。下面是我们对人脸识别流程做的改进，以及人脸识别现代方法的实现和选择。

1.1 人脸识别的流程

人脸识别所需的图像素材是通过摄像头获取的，经过图像预处理后，即可作为素材进行使用。人脸图像的预处理的目的是规范化图像质量，以提高人脸特征提取的准确度。常见的用于人脸图像预处理的操作有调整明暗、裁剪、滤波、旋转等。可以使得采集到的图像能够更有利于对人脸图像进行特征提取[10]。具体流程主要分为人脸数据采集、人脸检测、人脸特征提取、人脸特征对比。流程图1如下：

图1 人脸识别流程图Fig.1 Face recognition flow chart

总体来说对于一个人脸识别系统，图像匹配的目的是把通过不同传感器、不同时间拍摄、不同视觉的人脸图像统一到一个框架下，便于后续的特征提取和识别，我们将红外测温算法加入到人脸特征匹配之后，以实现匹配结果与测温结果的同时显示。

1.2 人脸识别设计

1.2.1 基于多分类的人脸识别方法

多分类器方法主要是运用数据库内数据的整合拼凑来获取目标图像数据的，首先需要将人脸的不同变化数据分别存储于多个分类器中[11]，每个分类器中储存一种人脸状态。在进行数据采集时便将数据分成不同种类，再根据数据的分类器储存数据的不同从数据库中提取所需的数据。特征提取完成后，将提取到的数据进行拼凑叠加，这种识别的方法因为是将大量的表情进行聚类，所以当遇到光照或者表情的变化时，表现得相比于其他的方法要好一些，但也存在着采集系统过于庞大和数据传输过于缓慢的缺点。

1.2.2 基于几何识别的人脸识别方法

几何识别方法是利用人脸器官特征轮廓的分布比例进行数据分析，从而构建模型的[12]。主要是将人脸构建一个矢量的人脸几何模型。Crow曾提出人脸椭圆特征检测[13]，是将人脸 分为三个部分进行检测，根据曲线进行模拟人脸。后又由DR.Gpvindaraju等人进行方法改进，提高了精确度[14]，该方法的缺点就是当人脸的表情不同或体态不同时都会有较大的影响，导致识别效果不准确。

1.2.3 基于深度学习的人脸识别方法

神经网络的手段是综合运用深度卷积、网络级联、面部区域识别等技术，从标签相关性加权和多分支网络融合两方面，综合研究基于机器视觉的人脸属性识别技术[15]该方法是现在人脸识别应用的主流技术，基于深度学习的人脸识别识别速度快，适应力强应用场景复杂多样，弊端是神经网络方法通常需要将人脸作为一个一维向量输入，因此输入节点庞大，其识别重要的一个目标就是降维处理[16]。

1.2.4 人脸识别算法

使用开源的Retinaface人脸识别算法实现人脸识别功能，retinaface是一种鲁棒的single stage人脸检测器，这种算法利用额外监督(extra-supervised)和自监督(self-supervised)结合的多任务学习(multi-task learning)，能对不同的人脸进行像素级的定位。

1.2.5 实验数据集

Retinface训练数据集使用WIDER FACE数据集，数据集包括32203幅图像，其中有393703个人脸边界框，数据集中的人脸图片在尺度、姿态、表情、遮挡和光照上存在明显差异。通过随机抽取61个场景类别，将WIDER FACE数据集按照4：1：5的比例划分为训练集、验证集、测试集。

2 口罩检测设计

2.1 口罩检测算法

使用yolov4Tiny目标检测算法完成口罩检测功能，yolov4Tiny的算法是一种在保证准确性的同时又增加了检测速度的高效算法，yolov4Tiny使用特征金字塔网络提取不同尺度的特征图，从而获取更高层次的语义特征，在网络结构上yolov4Tiny摒弃了yolov4中使用的空间金字塔池和路径聚合网络，并且最终只生成两个featuremap用来检测结果，使得模型结构轻量化，大大减少了训练的参数，进而在保证准确性的基础上提高目标检测速度，如图2.1所示是yolov4Tiny的网络结构。

图2 yolov4Tiny网络结构Fig.2 Yolov4Tiny network structure diagram

2.2 实验数据集及模型训练

实验环境是NVIDIAGeForce RTX 2070GPU，TensorFlow为2.3.0版本，CUDA版本为10.2，CUDNN版本为7.6.5，模型训练的操作系统为Ubuntu20.10，使用python作为程序设计语言口罩识别识别数据集应用的开源的口罩检测数据集一共有图片2707张，其中包含佩戴口罩和不佩戴口罩两种数据 按照5：3：2的比例分为训练集、验证集、测试集。在训练阶段，应用随机梯度下降对模型参数进行调整，设置初始学习率为0.0005，批量尺寸为(batch_rate)为8，设置迭代次数为200。

2.3 口罩检测功能效果

实验最后大约在第120个epoch收敛，平均损失值为3.02。应用时被测者要先进行口罩检测，检测佩戴口罩后再进行后续的人脸识别和体温测量，如图3、4分别是不戴口罩是的效果和戴口罩的效果。人脸识别准确率不戴口罩和戴口罩分别可以达到98.57%和98.11%。

图3 不戴口罩的检测效果展示图Fig.3 Rendering without a mask

图4 戴口罩的检测效果展示图Fig.4 Rendering with a mask

3 红外测温设计

3.1 红外测温的基本构成

红外线测温系统主要由显示输出电路、光学系统、光电探测器、信号放大处理放大器等部分组成，测量时对准被测物体即可实现测温。上面我们提到人体可以时刻不断地向外辐射红外能量，而红外线测温仪的光学系统可以采集这些辐射能量。光学系统将采集到的能量聚焦送到光电探测器上转变为一系列的电信号，这些电信号经过信号处理电路内设置的算法处理，再经过显示输出电路，就可以在测温的屏幕上显示出被测者的体温。如图5所示为红外测温系统结构。

图5 红外测温系统结构Fig.5 Infrared temperature measuring system structure

3.2 红外测温模块的选择

红外体温检测技术在这次疫情时期有了大量的应用，尤其是红外测温仪的应用随处可见。因为大多数人体疾病产生都伴随着人体体温变化。人体体温的检测离不开体温计，随着科学技术的不断发展，越来越多的领域需要用到非接触式的体温计[17]。本设计的红外测温模块采用MLX90614红外非接触温度传感器[18]作为体温测量的主要载体，TO-39金属封装里，同时集成了红外感应热电堆探测器芯片和信号处理专用集成芯片。由于集成了低噪声放大器、17位模数转换器和强大的数字信号处理单元，使得高精度和高分辨度的温度计得以实现。MLX90614采用I2C协议与主控板进行通信，I2C总线有简单性和有效性的特点，传输数据更快，能更及时将测温结果反馈。

4 云平台的数据分析与展示

本设计使用NLECloud新大陆物联网云平台，该云平台开发便捷，支持所有终端的案例开发，支持所有开发语言，数据储存安全方便，储存采用分布式服务器、分布式数据库，这种结构可将请求压力平分，能定期数据备份和永久历史保存。

4.1 与云平台的通信方式选择

本设计使用TCP协议来实现本地数据的上云，TCP是因特网中的传输层协议，使用三次握手协议建立连接。当主动方发出SYN连接请求后，等待对方回答SYN+ACK，并最终对对方的 SYN 执行 ACK 确认。这种建立连接的方法可以防止产生错误的连接，TCP使用的流量控制协议是可变大小的滑动窗口协议[19]。TCP协议的最大优点就是安全可靠，所以可以最安全的与系统进行数据的交互，每次运行都会将一组数据上传到云平台，上传数据包括被测者的身份信息(即被测者的姓名、联系方式)、位置信息(现工作或生活位置)和体温信息，其中身份信息提前与人脸识别的特征一起提前入库，云平台对被测者数据信息的展示如图6所示。

图6 云平台的数据展示Fig.6 Data presentation on cloud platform

为方便本设计的数据查询，可在云平台进行数据的可视化展示。展示数据分别是体温数、姓名、所在位置以及异常报警。云平台的可视化界面如图7所示。

图7 云平台的数据可视化界面Fig.7 Data visualization interface of cloud platform

4.2 云平台的综合管理介绍

该云平台向内可以对数据进行统一的监测、控制和管理，向外可以提供统一的安全认证和数据接口[20]，兼容性好，是一个规模较大的综合管理平台，真正实现了各个设备的数据信息统一收集、统一规划和统一管理。此外联网与各个设备之间以TCP的方式进行数据和控制信息的交互。云平台还对各个设备进行位置标注以实现多点物联的功能，达到出现异常可以马上发现并加以管控的效果，实现了对各个设备的统一管理和监测。

5 防疫系统设计总结

本文提出了一种疫情期间智能防疫、防疫去人工化的系统设计，首先此设计是通过人脸识别对人员进行身份验证，通过后进行口罩检测和红外测温对被测者情况做出响应，以上所有数据都将实施反馈上云，最后得出的结论如下：

在人脸识别算法中添加红外测温功能与口罩检测功能，符合当前的防疫需要，实际应用场景广泛。云平台的数据储存与防疫报警，可有效降低疫情传播风险，加强防疫保障。