图像超分辨率技术应用于门禁系统

文/熊鹰 郑君临 刘晓兰 毛文卉

当前，随着全国疫情防控常态化政策的执行，基于人脸识别的智能门禁系统正在被高校广泛应用。

在实际应用中，因为师生原始人脸图像数据通常来源于不同的信息系统，所以图像采集标准很难做到统一，各类人员的人脸图像数据质量难以从源头上得到保证。基础数据中，部分师生的人脸图像分辨率过低，且不同品牌的智能门禁设备对于人脸图像分辨率的最低要求也未形成统一标准，最终导致一小部分师生的人脸图像无法导入智能门禁系统，影响师生正常通行。

通过采用图像超分辨率处理技术，在后台将低分辨率的人脸图像重建为可以满足要求的高分辨率人脸图像，于师生无感知的情况下，解决其人脸图像分辨率低的问题，成为当下高校信息化建设工作的创新点。

技术原理

图像超分辨率基本概念

目前，图像超分辨率通过充分利用深度学习技术，大幅提升了重建图像的质量。图像超分辨率不是简单改变图像尺寸大小，而是在将低分辨率图像放大到对应尺寸的高分辨率图像的基础上，准确预测出低分辨率图像相对高分辨率图像所缺失的信息；基于深度学习的图像超分辨率算法则通过学习训练多层的神经网络模型，达到恢复低分辨率图像中所丢失的信息、复原成高分辨率图像的目的。

假定原始高分辨率图像Y，其低分辨率图像为X，通过图像超分辨率处理后的高分辨率图像为Y_SR。图像超分辨率处理的目标就是通过一定的算法来训练模型并不断迭代调优，最终让Y_SR与原始高分辨率图像Y尽可能接近。基于深度神经网络的图像超分辨率算法，本质上都是将低分辨率图像X经过若干层神经网络的处理，最终生成超分辨率的图像Y_SR，而不同算法的区别往往是在神经网络的内部结构、功能模块组成以及参数调优方法上的不同。

相关算法

基于卷积神经网络的图像超分辨率算法（Super Resolution Convolutional Neural Networks, SRCNN）是深度学习首次在图像超分辨率问题中的应用。该算法首先对低分辨率图像进行双三次插值上采样处理，将其放大到高分辨率图像相同尺寸，再利用三层卷积神经网络这一较为简单的网络结构，获得超越以往传统图像超分辨率算法所能达到的最优结果。此后，Wenzhe等人提出了一种全新的高效亚像素卷积神经网络（Efficient Sub-Pixel Convolutional Neural Network，ESPCN），直接在低分辨率图像上提取特征，并计算得到高分辨率图像，不需要将低分辨率图像通过双三次插值上采样来预处理再输入到网络中，从而降低了网络结构的复杂度，提升了图像超分辨率处理的速度。Bee等人通过改造残差神经网络结构，删除了残差神经网络中非必须的归一化层，并通过扩大模型尺寸来提升结果质量。

采用超分辨率技术处理人脸图像，不仅能够放大图像尺寸，还原图像信息，还可以在图像信息还原得足够丰富的前提下，保障人脸识别的准确率。

方案设计与实现

常规的门禁数据管理方案

如图1所示，常规的智能门禁人脸图像数据同步方案首先由基础数据库从不同源头采集各类人员的人脸图像数据，人脸图像数据按照统一标准结构化地存储在学校基础数据库中。数据共享交换平台将基础数据库中的人脸数据自动、定时地同步到门禁中台系统中；门禁中台根据基础数据库中同步过来的人员状态（学生为学籍状态、教职工为当前在职状态），以及预先设定的规则，将状态有效的用户数据下发到各个楼栋及校门的门禁中。

图1 人脸识别门禁人脸图像数据同步方案

基于图像超分辨率的门禁数据管理方案

如图2所示，本文对常规的门禁数据管理方案进行了改造，提出一种基于图像超分辨率技术的人脸图像闭环管理方案：在所有人脸数据批量导入到智能门禁后台之前，预先筛选出数据质量不达标的人脸图像，并对不达标的数据图像按照特定比例进行图像超分辨率处理，再对超分辨率处理完的图像进行二次筛选，直到所有人脸图像都能够达到预设的标准并成功导入门禁。与常规门禁数据的更新维护不同，本方案不需要依靠用户反馈被动发现人脸图像质量问题，而是通过增加图像筛选与质量控制模块、图像超分辨率处理模块两个核心功能，达到主动筛选人脸图像、自动优化图像质量的效果。

图2 基于图像超分辨率处理技术的门禁数据同步方案

图像筛选与质量控制

当存储在基础数据库中的图像分辨率过低，图像数据无法被正常导入门禁系统，用户无法刷脸通行时，用户需要自行找到对应数据源头管理部门进行反馈。为保证数据准确性，新提交的高分辨率照片通常需要人工审核，审核通过后，才能更新到门禁系统。

基于图像超分辨率的门禁数据管理方案引入了图像筛选与质量控制模块，系统能够根据预先设置的分辨率最小值来批量自动筛选分辨率不达标的人脸图像，主动发现质量不佳的图像数据，并将分辨率达标和不达标的图像数据分别输出到不同路径，大幅降低人工审核工作量。

图像超分辨率系统

基于PyTorch这一开源机器学习平台搭建深度学习环境，并基于ESPCN算法训练得到的神经网络模型建设图像超分辨率处理系统。如图3所示，只需要将低分辨率的图片作为输入，放置到对应的路径下方，即可运用超分辨率系统批量处理该路径下的所有图片，并将高分辨率图片自动输出到对应的路径下。

图3 基于PyTorch的图像超分辨率系统

应用效果

在实际应用中，华中科技大学于2021年9月中旬采用基于图像超分辨率的门禁数据管理方案，共筛选出2800余张不达标的人脸照片，并将其以3倍的比例进行超分辨率处理，最终得到的超分辨率照片全部成功导入正在使用的门禁。图4为2021年网络与信息化运维系统中“门禁”相关问题的工单数量统计，剔除掉1月、2月、7月、8月寒暑假期间各类问题报修量较少外，自9月采用新的处理方案以来，系统中门禁相关问题咨询报修数量出现明显下降，证明应用效果良好。

图4 2021年“门禁” 相关问题咨询工单数量统计

基于图像超分辨率技术的人脸图像数据闭环管理方案主要有以下三方面优势：一是能够主动甄别筛选图像质量不达标的数据，不再依靠人工反馈被动地发现数据质量问题；二是充分发挥当前先进的基于深度学习的图像超分辨技术优势，对质量不达标的人脸图像中缺乏的信息进行高效而精准的预测；三是在不需要人工干预的情况下自动提升整体的图像数据质量，大大提升学校师生的通行体验。