双光谱智能体温检测与健康大数据管理系统

张洁茹，苏峰，袁培江，王田苗，陶一宁，丁东

（北京航空航天大学 机械工程及自动化学院，北京 100083）

公共安全视频监控是中国一项重要的基础设施建设，具有易于部署、信息捕获充分、接口和标准统一、可全时段运行等优点，对于建立社会治安防控体系具有重要意义，是维护国家安全和社会安定的重要手段［1］。近年来，面向图像分析和视频监控分析的深度学习技术和大数据挖掘技术取得了很多突破性进展，同时也推动了公共安全视频监控在治安防范、社会治理、服务民生等方面的应用［2］。如在建立公共安全视频监控集成管理系统的过程中，通过规范联网、提高集成程度、统一数据接口、提升动态数据分析能力等方式，将人脸识别、车牌识别、智能预警、地理位置等众多信息有机融合在一起，形成全方位的公共安全监管体系，对于提高公安视频图像信息的综合应用水平具有重要意义［3］。在新型冠状病毒肺炎（简称新冠肺炎）防治攻坚战中，将红外热成像技术和人脸识别技术融入到监控视频体系，从而实现无接触式体温快速检测和人员信息登记，对于迅速遏制新冠肺炎的传播起到了重要作用，同时也印证了视频监控公共安全监管体系在治安防范和保障民生等方面的强效作用。

新冠肺炎的传播时值春节返乡之际，人员流动促使新冠肺炎迅速肆掠全国，对人民健康带来了严重威胁，对社会安稳带来了潜在的破坏因素，同时也对国家经济的发展带来严重影响［4］。新冠肺炎潜伏期长、传染性强，甚至存在无症状感染的病例，能在人与人之间传播，在人员密集的公共场所极易引起爆发式的感染，故而打好新冠肺炎战役的一个重要举措就是加强实时检测和防控力度。

车站、机场、地铁站、商圈以及复工之后的办公楼等，都是人员密集、人流量大的场所，在人群中快速找出病毒潜伏者以及感染者，并进行隔离观察和治疗，对于个人方面的加速治愈以及社会方面的遏制病毒传播、保障民生都具有重要意义。钟南山院士团队对大量新冠肺炎患者的症状进行了深入分析，发现发热是新冠肺炎患者的显著临床症状，1 099名患者中发热症状高达87.9%［5］。因此，在人流量较大的公共场所，采用无接触体温快速检测方法，实现病毒潜伏者和感染者的筛查和预警，是最为快速有效的方式。

正常生理状态下，人体中枢神经系统会进行体温调节，使人体能够在环境温度变化的情况下保持体温的相对稳定。当体温下降时，则产热增加散热减少，使体温维持在正常水平（36.2～37.3℃）；当体温升高时，通过减少产热和增加散热来维持体温恒定［6］。病毒感染会激活人体的免疫系统，使吞噬细胞和嗜中性粒细胞的杀菌活性增强，导致体温上升至37.3℃以上，从而产生发热的症状，发热是新冠肺炎患者的常见临床症状和检测指标。传统的体温测量方法分为接触式和非接触式两大类，而在新冠肺炎患者的体温检测中，玻璃温度计和电子温度计等接触式方法有很大的传染隐患［7］。为防止交叉传染，目前常见的是手持式额温度仪为代表的非接触式测温方法。然而手持式额温度仪测量误差大，测量效率低，此外检测需要一名专门人员操作，仍然存在交叉传染的风险。因此，一种非接触、高精度、速度快的智能体温检测系统对于公共场所体温异常人员的识别具有重要的意义，是疫情防控的重要一环。此外，将人脸识别技术和智能体温检测相结合，并实时上传数据库，对发热人员身份识别并快速追溯人员近期踪迹，有效提高疫情防控水平。

为了提高人脸识别和体温检测的精度，本文基于深度学习、非接触红外热成像测温、智能AI终端识别和大数据技术，将红外热图像可解决人脸受光照影响的优势和可见光图像的高清晰度优势相结合，采用可见光和红外光双摄像头目标检测，对可见光图像与红外热图像进行融合，并通过卷积神经网络对人脸特征及人员是否佩戴口罩进行识别，将识别到的人员信息和体温信息进行整合，建立体温检测与健康大数据管理系统，对人流量较大的场所进行视频监控，快速准确地确定人员身份及人体温度，建立疫情登记档案，监控人员流动，实现无人值守条件下的全自动高精度数据分析。同时优化大数据系统，定制数据分析APP平台，实时向相关部门上报健康数据，保证信息数据、测温数据电子化、结构化，并给予大数据对疫情进行统计、分析和预测，做到准确定位，细致分析，完善疫情防控策略，为疫情下的监控视频防控工作带来有效的帮助。

1 视频监控大数据

1.1 基于深度学习的目标检测

目标识别是人工智能领域的热门应用方向，是指用计算机实现人的视觉功能，它的研究目标是使计算机具有图像或者视频中认知目标和环境的能力［8］。传统目标检测算法通常可以分为3个阶段：首先在待测的图像上提取一些感兴趣区域，其次从这些感兴趣区域中提取特征，最后使用训练分类器实现分类。然而这类算法识别的准确度低，计算复杂度大。近年来随着人工智能的发展，目标检测算法也逐渐从传统的人为设计特征转向了基于深度神经网络的检测技术；基于深度学习的目标检测算法可分为2个关键的子任务：目标定位和目标分类。目标定位即对待测图像中的感兴趣区域所在位置进行检测，输出物体的包围框或物体中心等参数表示物体的位置信息［9］。目标分类任务负责判断前一步定位得到的图像区域中是否包含目标类别的物体，最终得到目标类别的物体出现在所选择图像区域中的概率。与传统目标检测算法比较，深度学习算法精度高，速度快，特别适用于复杂条件下的目标识别。目前常用的目标检测算法基于卷积神经网络，包括Faster R-CNN、SSD、YOLO等算法，其有助于从图像中识别出所需要的目标［10］。根据目标的识别过程，又可以将上述算法分为2类，即Two-Stage和One-Stage目标检测算法。Two-Stage是先由算法生成一系列作为样本的候选框，然后对候选区域进行分类和位置精修，再通过卷积神经网络进行样本分类；One-Stage则没有生成候选框这一步骤，直接将目标框定位的问题转化为回归问题，在处理过程中一步到位［11］。这2种算法原理上的差异直接导致其在性能上的优劣，Two-Stage在检测准确率和定位精度上具有很大优势，One-Stage在算法速度上具有优势。随着技术的不断发展，2类算法都在不断地优化和改进，在识别精度和识别速度上均能达到可观的效果。

对人体进行快速非接触式体温检测，主要通过对人体额头表面温度进行测量，因此首先需要对人脸在视频中的位置进行检测，这同样也是人脸识别的第一步，基于Two-Stage的高精度识别优势，本文采用Mask R-CNN对人脸区域进行检测，Mask R-CNN算法在Faster R-CNN算法的基础上进行了优化，可以在每一个像素上表示目标的所属类别，达到像素级别的特征点定位，可以更加精准地检测人脸目标区域，同时划分温度检测的感兴趣区域，将感兴趣区域映射到红外热图像上，在红外热图像上获取特定区域的温度，进而得到待测人员的体温。

人脸区域检测完成后，需对人脸特征进行识别，由于人脸图像类内差异大，类间差异小，本文采用可以较好提取人脸特征值的VGG-Net神经网络对人员开展基于面部特征的人脸识别，并与现有的人脸库进行比对，从而识别出人员身份［12］；此外，通过对人脸特征的识别还能推断出目标人员的性别、年龄等信息，将信息整合上传到和安防系统连接的大数据分析系统追溯行踪，准确发现疫情高发地区人员。

1.2 红外热像仪体温检测

当物体受热时，其内部分子和原子的运动随着温度的升高而加剧，而分子和原子受热从低能态跃迁至高能态并辐射出电磁波，称为热辐射，且该辐射与物体本身的温度成比例。红外热辐射的波长在0.76～100μm之间，在电磁波连续频谱中的位置处于无线电波与可见光之间的区域［13］。用红外热像仪对辐射信号进行采集、放大，得到模拟物体表面温度空间分布的信息，经过后期处理形成热图像视频信号，即红外热成像［14］。红外热成像技术可以获得图像中每个区域的温度，通过红外光与可见光双摄像头同时对目标拍摄，并进行图像的配准，这样就能够避免图像中的背景干扰，准确划分感兴趣区域并获得目标温度。

利用高精度数字式医用红外热像仪MTIEconomy-C，搭配高清可见光摄像头，实现双摄像头数据融合。医用红外热像仪温度检测精度高于普通商用红外热像仪，满足检测误差在±0.1℃范围内的要求，搭配高清可见光摄像头，实现高清图像和高精度热感应图像的映射。通过优化智能AI识别终端，利用双光谱融合技术实现异源图像的融合。采用Mask R-CNN作为目标识别和分割模型，实现像素级的图像分割并映射至热感应图像，精确查找目标测温部位。

先对测温系统进行标定，将黑体辐射源放置在红外热像仪视野范围内，对测量温度进行实时校正，将视频图像和待测人员体温对应显示，拟合标定曲线；当系统运行时，红外热图像将热辐射转化为灰度值，通过黑体辐射源标定得到的测温算法模型建立灰度值与温度之间的对应关系，从而实现测温功能。对人体温度进行检测时，遍历目标检测提取的感兴趣区域的每个像素点，为了保证疫情期间对体温测量的不遗漏、不错判，严格对异常温度进行把控，将感兴趣区域的最高温度作为系统输出温度，可以有效避免外界遮挡面部区域，造成局部温度较低的情况。

2 双光谱体温检测与人员识别

2.1 系统框架

利用红外热成像及可见光成像获得图像信息，基于深度学习图像分析技术，建立以神经网络算法为核心的人体高精度实时测温系统，完成热成像体温筛查和人员身份识别；对超过正常体温人群，通过红外热像仪近距离对手臂成像，对人体体温进行复查，获得准确体温信息，并结合应急大数据一体化平台，实现实时追踪报警、情报轨迹跟踪，配合疫情管控，协助公安机关进行疑似病例排查。系统框架设计如图1所示。

图1 双光谱智能体温检测与健康大数据管理系统框架Fig.1 Architecture of dual-spectrum intelligent temperature detection and health big data management system

系统主要通过以下方法提高检测精度：缩小传感器的测温范围，结合热成像的测温特性对传感器进行优化，采用深度学习的算法结合彩色图像信息和热成像图像信息分析图像，缩小成像范围，对可疑人群手臂红外成像检测，利用黑体对检测设备实时校准，实现高精度测量人体体温。从而实现非接触、高精度、高速度的测量。

通过红外热成像系统检测人体热辐射的红外线特定波段信号，将该信号转换成可视化、可分辨的图像，并利用可见光成像系统获得RGB图像；将得到的信息进行光照归一化、拍摄角度矫正及模糊图像复原处理；将红外热像仪得到的红外图像与可见光成像系统得到的RGB图像相结合，生成四通道图像［15］，联动对测温区域进行判断，对得到的图像基于神经网络的深度学习算法进行分析；并利用测温算法模型补偿环境参数对测温结果的影响，得到人体温度信息并识别人脸；对超过正常体温的人员，采用红外热像仪近距离成像的方法，增大图像目标识别区域，并通过对手臂成像降低环境对人体表面体温的影响，从而提高测量准确率。

2.2 可见光与红外光双光谱成像融合

红外热像仪采集待测物体表面产生的红外辐射能量，经过能量收集系统汇聚后，将红外光波映射至红外焦平面探测器上［16］，生成与待测物体热辐射分布相应的热成像图像。可见光成像利用待测物体的光谱反射特性形成二维图像，包含丰富的纹理细节信息。对红外热成像与可见光成像生成的图像进行融合，可以实现信息互补，使得物体的热辐射分布特征与纹理细节外观特征有机结合，识别性能不易受光照变化的影响，形成包含信息更加丰富，更有利于识别处理的图像［17］。

如图2所示，首先对前端视频进行预处理，包括光照归一化、拍摄角度矫正、模糊图像复原、图像比对等；将红外热图像和可见光图像配准；采用Mask R-CNN网络提取人体头部目标区域并映射到红外热图像进行测温，然后利用图像融合算法将可见光图像和红外热图像融合得到双光谱图像，同时将融合后的图像送入卷积神经网络VGGNet中，结合彩色图像信息和热成像图像信息，对人脸区域进行深度特征的提取，在检测目标区域温度的同时识别人脸特征。

图2 基于深度学习的双光谱体温检测与人脸识别Fig.2 Dual-spectrum temperature detection and face recognition based on deep learning

2.2.1 图像配准

为了在红外热图像中获取准确部位的人体温度，需要对可见光图像与红外热图像进行配准。其中可见光摄像头分辨率为1 920像素×1 080像素，红外摄像头分辨率为324像素×256像素。在图像配准之前，首先基于Opencv对双目相机进行标定，获取相机内外参数，从而对图像进行畸变校正，然后统一两幅图像的分辨率和大小，在不改变图像清晰度的情况下对红外图像进行重采样，将红外图像的水平分辨率和竖直分辨率分别重采样为1 920像素和1 080像素，此操作只增加了数据量，不影响图像清晰度。

由于可见光成像和红外成像的原理不同，且拍摄时间不能完全同步、拍摄角度存在不同，因此需要获得两幅图像的空间变换关系实现图像配准。首先利用Canny算子对图像进行边缘提取，当边缘线出现断点时，利用插值的方法使其联通，由于可见光与红外热图像的特征点相对位置基本不变，因此选用仿射变换作为图像空间变换方法，仿射变换的模型可表示为

式中：（x1，y1）和（x2，y2）分别为红外热图像和可见光图像对应特征点的坐标；k11、k12、k21、k22、t1、t2为2幅图像坐标之间的转换关系矩阵参数。为了达到拟合最优解的目的，选取多个匹配点，利用最小二乘法求取最佳变换参数，将可见光图像作为基准图像，红外热图像向基准图像进行配准变换，实现图像配准。

2.2.2 图像融合

为了消除光照变化对人脸区域产生的影响，更好地识别人脸特征，将可见光和红外热图像进行融合。图像融合算法直接影响融合后的图像质量，由于人脸局部特征是由多个像素表征的，因此选择基于区域的小波变换算法对图像进行融合，融合基本流程如图3所示。

图3 图像融合流程图Fig.3 Image fusion flowchart

为了保留图像的彩色信息，首先将配准后的可见光图像从RGB变换到HIS空间，并提取I分量，对配准后的红外热图像进行灰度变换增强图像效果，然后对可见光的I分量及变换后的红外热图像进行小波分解，得到各自的高频子图和低频子图，对高频和低频子图分别处理，其中低频子图包含了图像的轮廓信息，高频子图包含了图像的细节信息，对低频子图采用以下策略进行融合：当红外热图像和可见光图像的低频子图系数值相近时，取两者平均值作为融合后的低频系数值，反之，取其中较大值。对高频子图采用局域能量最大法进行融合，首先对各自的高频子图区域方差计算，得出区域能量，然后计算出红外热图像和可见光图像在各自高频子图中所对应的局部区域内的特征相似度，并设定一个匹配阈值，根据特征相似度和匹配阈值之间的关系，确定融合后的高频系数值。最后使用融合后的小波系数矩阵逆变换得到新的I分量，经过HIS逆变换得到融合图像。

2.3 监控视频效果分析

如图4所示，系统对视频中出现的多张人脸同时进行体温检测，并采集多张角度人脸照片，图中2名待测人员均佩戴口罩，其中有一名人员额头被遮挡，此时系统输出为该人员人脸检测区域未遮挡部分的最高温度，而另一名人员的检测输出温度为额头区域最高温度。此外，系统会对人员属性进行检测采集，可对人体年龄及性别进行判断，并支持视频回溯，可对视频中的人像以图搜图，有效提高疫情防控；获得数据可实时上传到AI应急防疫一体化平台，根据前端采集的多维数据，通过大数据平台分析后，提供搭建三维可视化地图。大数据记录事件发生事前、事中、事后的全过程数据，以便分析原因、持续优化、针对性改善以及模拟事件推演。

2.4 智能体温检测系统实施案例和可靠性验证

双光谱智能体温检测系统在监控视频下的快速体温检测和人脸识别实施案例如图5所示，系统对监控视频下的人员进行抓拍，将抓拍到的可见光图像和热成像图像进行配准融合，并对人脸区域检测划分，通过卷积神经网络进行人脸识别、体温检测及是否佩戴口罩预警，并将人脸检测、人脸识别、体温测量等结果反映在软件界面上；图中人员体温检测结果为36.2℃，与人脸底库的特征相似度为93%。系统支持在断网模式下单机运行，断网模式下储存的数据可以后期上传至平台数据库，也可以在联网模式下将监控数据、设备比对结果及抓拍照片实时上传给平台保存。设计实验对不同人员在不同场景（场景1：大型商场入口，场景2：校园食堂入口，场景3：工业园区入口）下进行多次体温检测，实验数据如表1所示。通过实验验证可得：

表1 不同场景下的体温检测情况Table 1 Tem perature detection in d ifferent scenes

图5 双光谱智能体温检测系统快速体温检测与人脸识别Fig.5 Fast temperature detection and face recognition by dual-spectrum intelligent temperature detection system

1）多目标体温检测的响应时间在30 ms以内，满足人员流动区域的快速测温要求；实现了对经过检测区域的被检测人流非接触式动态检测，解决了接触式测温效率低且存在感染风险的问题；其测量温度误差在±0.3℃以内，适应1.4～2.0m的身高范围。

2）可实现全域范围内的各类疫情卡点、单位、公共场所、工作场所等的证件、视频、人像、手机、温度信息的全面感知和统一汇聚。建立城市出入卡口、市内关键路段与场所等的无死角、无遗漏、闭环式证件、人像、车轨、视频、手机、温度信息的采集，形成全市统一的人像视频资料库和泛感知信息库等。

3）该系统基于深度学习算法进行人脸识别，可同时对人体是否带口罩、画面中的人体性别进行识别；并结合大数据实施未防护预警、发热预警、未防护人员数据分析、疫区人员布控、人员轨迹分析、人员身份鉴别等。识别条件要求最小瞳距30像素，面部无大面积遮挡，露出鼻梁及以上区域，上下俯仰角小于45°，左右侧脸角度小于45°。正常使用情况下人脸抓拍率99%以上，对于佩戴口罩情况下的人脸识别，当人脸底库为最近采集的现场照片时，识别率可达到95%；若人脸底库为身份证底库照片，识别率可达到90%以上。

4）环境温度会对人体温度造成影响，如在冬天的室外环境下，由于人体额头暴露在外，表面温度会变低，因此，在此环境下进行室外量测体温，测出的温度可能会偏低。即由于人体在不同环境下的体表温度发生变化，导致测出的温度与人体实际温度有偏差，但这并不是测温系统本身在不同温度下的测量准确性造成的。

2.5 健康大数据管理系统

结合双光谱智能体温检测结果，建立健康大数据管理系统，系统框架如图6所示。健康大数据管理系统能实时监控和追踪回溯人员流动，在多维度上对人员信息和疫情发展大数据进行统计分析，实现地域、年龄、性别、时间分布、人员流动等多维度上的疫情状态可视化，并对疫情发展动态进行建模和预测，根据分析结果完善疫情防控策略，开展精准高效的疫情防控。

图6 健康大数据管理系统框架Fig.6 Architecture of health big datamanagement system

3 结 论

1）本文建立了融合可见光和红外光双光谱智能体温检测与健康大数据管理系统，既提高了温度检测区域的精准性，又避免了光照变化对人脸识别的影响。利用红外热成像技术实现非接触式快速体温检测，针对目前疫情需求，无需摘下口罩即可进行人脸识别；同时对人员属性及是否佩戴口罩等进行识别并实时上传至数据库，快速完成人员信息登记。

2）系统已在多地完成部署，通过了有效性和可靠性验证，测量速度快，响应时间为30 ms以内；测量精度高，测量温度误差在±0.3℃以内；测量范围广，可监控距离0.1～10 m；人脸抓拍率99%以上，识别率95%以上。

3）将检测结果融入到健康大数据管理系统，实时跟进疫情的动态趋势，方便快捷地实现疫情发展的宏观把控，对于疫情防治具有指导意义。