基于单幅图像超分辨率重建的在线考勤系统

胡晨熙 范红 林威 于淑雨 杨天择

（东华大学信息科学与技术学院 上海市 201620）

1 引言

单幅图像超分辨率（Single Image Super-Resolution Reconstruction，SISR）重建技术是将低分辨率（Low-Resolution，LR）图像转化为高分辨率（High-Resolution，HR）图像的一种技术。Chao Dong等人提出的快速超分辨率重建卷积神经网络（Fast S-resolution Convolutional Neural Networks，FSRCNN）是针对SRCNN算法存在实时性较低问题的一种改进算法。为优化图像超分辨率网络各层之间的信息流、提高模型参数利用率，新加坡国立大学的Qibin Hou等人提出了协调注意力机制（Coordinate Attention，CA）。它不仅捕获跨通道的信息，还包含空间信息，使得模型更准确地定位到期望区域。对一个预训练的模型，CA可以给使用移动网络处理的下采样任务带来性能提升。考虑人脸识别算法直接获取LR人脸图像存在识别不准确的问题，采用单幅图像超分辨率重建算法结合CA以提高人脸识别的准确率。

2 在线考勤系统的搭建

在线考勤系统先将员工人脸数据信息保存至数据库，对应该名员工的姓名和部门等。在进行身份识别时，先通过图像超分辨率重建算法改进人脸图像质量，然后再进行识别。在线考勤系统功能框图如图1所示。

图1：在线考勤系统功能图

系统操作步骤为：

（1）采集员工信息并建立数据库。命名员工信息名称，将唯一编号作为主键。建立员工的姓名、性别、年龄和部门等信息，建立用户信息数据库总表。

（2）人脸图像超分辨率重建及识别。摄像头获取的人脸图像通过网络传输至数据中心，在识别前先经过超分辨率重建算法改进人脸图像质量，然后和数据库中的信息进行比对，从而确定员工身份。

（3）用户信息的可视化。从数据库总表获取员工的信息，将考勤所需要展示的信息输出到界面上，并且保存识别的人脸图像、打卡时间以及身份信息，完成考勤过程。

3 图像超分辨率重建算法

为将摄像头直接获取原始人脸图像的分辨率提高以改善人脸识别的准确率，考虑用图像超分辨率算法对获取的LR人脸图像质量做改善，然后再进行人脸识别的步骤。

EAR、MAAR即眼部纵横比(Eye Aspect Ratio,EAR)、嘴部纵横比(Mouth Aspect Ratio,MAR)。

3.1 FSRCNN算法

FSRCNN算法是从SRCNN算法的基础上发展而来的。SRCNN算法用双三次插值算法将LR图像放大至期望尺寸，再通过卷积网络得到HR图像。

经过双三次插值放大后的图像Y作为输入，计算输出值为F(Y)：

其中W和B表示该卷积核权重与偏置，W的大小为c×f×f×n，c代表输入通道数，f是滤波器的大小，n是滤波器的个数。

生成n维LR图像的特征向量映射为n个特征向量，计算输出值为F(Y)：

将得到的HR图像特征聚合，形成最终需要得到的期望图像：

SRCNN模型由于首先经过双三次插值重建会使模型的计算量较大，耗时也越高，对于实时性较高的场合并不适用。因此FSRCNN算法进行了改进，取消双三次插值放大步骤，在末端添加一个反卷积层。在模型的结构上，使用更小的卷积核与更多的卷积层来替代大的卷积核。使用均方误差（Mean Squared Error, MSE）作为损失函数，公式如下：

其中I(i,j)代表I图像的像素值，K(i,j)代表K图像的像素值，两个图像的尺寸均为m×n。

在非线性映射层加入线性整流函数（Rectified Linear Unit, RELU）作为激活函数，使得模型的收敛速度更快。

3.2 融合CA模块的改进FSRCNN

改进的FSRCNN模型引入从输入到输出的残差网络结构，以两层卷积层作为特征提取层，随后经过收缩层、映射层、扩张层与亚像素卷积层。改进的FSRCNN模型如图2所示，改为用亚像素卷积层上采样得到HR人脸图像。周期性混排算子与反卷积层相比可以更快生成HR图片，图2中上方虚线框部分为改进的FSRCNN模型示意图。注意力模块的核心思想是使模型关注重要特征，忽略非必要特征，以提高图像重建质量。SE-block、CBAM等注意力模块已被用于各种人脸图像超分辨率重建实验中，有不俗成效。将CA模块放至映射层中每个卷积层的前面，避免每次卷积之后位置等重要信息的缺失，同时保留长程依赖，避免大量的计算开销。CA模块如图2中下方虚线框所示。

图2：融合CA的改进FSRCNN模型图

4 实验结果及分析

实验使用pycharm集成开发环境， Python版本为3.7，使用TensorFlow2.4.0框架。人脸检测部分使用face_recognition库函数，图像处理使用OpenCV软件库。训练集采用数据集ImageNet-291，测试集采用Set5数据集以及Set14数据集。硬件上，CPU采用6×Xeon E5-2678 v3，内存为62GB，GPU采用NVIDA GeForce RTX 2080 Ti。

4.1 单幅图像超分辨率重建

采用融合CA的改进FSRCNN算法对单幅人脸图像进行超分辨率重建，经过300轮的迭代（每轮迭代为18556次），最终得到了在set5数据集，放大倍数为4的条件下的模型。采用Adam梯度优化算法，默认参数设置如下：batch_size=32, nEpoch=300，学习率lr=0.001，β=0.9，β=0.999，ε=10。用峰值信噪比（Peak signal-to-noise ratio，PSNR）作为衡量人脸图像质量的指标，数字越大代表人脸图像失真越少。公式如下：

其中MAX表示人脸图像点颜色最大的像素值。FSRCNN模型与融合CA改进的FSRCNN模型如图3所示。用实线和虚线分别表示在放大倍数为4的条件下，训练了300轮之后的重建图片的PSNR图。观察图3可得，在迭代的前50轮，两种模型的PSNR参数值差别不大。在50轮之后，融合CA改进FSRCNN模型的PSNR参数的增长速度远高于原PSNR模型。在经过大约200轮迭代后曲线趋于稳定，融合CA改进的FSRCNN模型比原FSRCNN的PSNR多0.11dB，有效地改善了重建图像的质量。

图3：FSRCNN与本模型PSNR对照图

表1所示为各种算法在不同放大倍数下的PSNR参数值与重建时间的对比表格。

由表1可得，在放大倍数较小的情况下，融合CA的改进FSRCNN算法的PSNR参数值为32.32dB，对比其他几种算法数值最大，且时间精度控制在0.01秒级别，算法的实时性较好。

表1：各种算法的PSNR 与重建时间对比

4.2 人脸识别准确率对比实验

选取UMass Amherst大学收集的Labeled Faces in the Wild Home数据集中的210张含人脸图像，共有105个人的姿态图像，每个人保证有两种不同的姿态。将这210张人脸图像以及其拷贝图像分别放入两个不同的文件夹中进行对照实验，两组实验名称分别命名为LR人脸图像组和HR人脸图像组。对于HR人脸图像组的操作过程为：在一个文件夹中，同一个人两种姿势的两张姿态图分别放入两个子文件夹中，以相同的名称对图像进行命名。用融合CA的改进FSRCNN模型结合人脸识别库检测其中的一个子文件夹的人脸图像并匹配另一个子文件夹中同一个人的不同姿态图。若检测到名称相同代表匹配成功，反之则失败。最后，计算匹配成功的所有图片数占这105张总样本图片数的比率，即为人脸识别的识别成功率，并且调用python的time函数库计算整个人脸识别过程所需时间。在人脸识别库中不加入人脸识别算法，相同的操作用于LR人脸图像组中，得到原LR人脸图像人脸识别率与识别时间。结果如图4（a）和（b）所示。原LR人脸图像的识别成功率为79.05%，超分辨率算法重建得到的HR人脸图像识别成功率为84.76%，两组实验平均识别每张图片所用时间均小于1秒。

图4：超分辨率重建前后人脸图像人脸识别率与识别时间

实验结果表明，融合了CA的改进FSRCNN模型对LR人脸图像的重建效果对比原始FSRCNN模型，人脸图像质量提高，且实时性也在可接受范围之内。

4.3 在线考勤系统显示界面设计

用PyQt5完成人脸识别在线考勤系统界面的设计。设置参数sign_between=10s为两次签到的间隔时间为10秒；rectimes=2为连续识别成功2次可进行签到数据写入；avatar_between=5s为签到成功后数据库信息从主界面消失的时间间隔为5秒，my_sleep_time=18s为系统检测不到任何人脸图像时，进入休眠状态时间为18秒。若检测不到任何人脸图像，则会出现“请将面部靠近摄像头唤醒在线考勤系统”字样，代表考勤系统进入休眠状态。若检测到的人脸图像不在数据库中，则会出现“此人不在数据库中”字样，如图5所示。其中（a）为无法检测到任何人脸图像时的考勤界面图。（b）为显示成员1不在数据库中时的考勤界面图。如果此成员是新进来的员工，应先将其人脸信息保存至数据库中。（c）和（d）为成员2和3检测成功的考勤界面图。其中第一次打卡成功对应该成员签到成功的情况，第二次打卡成功对应该成员签出成功的情况。本系统能够实时统计员工的在岗情况。

图5：考勤界面图

4 结论

本文提出了一种将在线考勤系统中获取的低分辨率人脸图像进行超分辨率重建，再进行身份识别的方法。融合协调注意力模块的快速超分辨率重建卷积网络算法模型，与原超分辨率和其他算法相比提高了人脸识别的准确率。下一步的工作目标是优化人脸识别算法，提高识别准确率，将算法映射到FPGA硬件中实现加速，改善在线考勤系统的性能。