人脸识别技术在智慧校园建设中的应用研究

摘  要：通过从智慧校园门禁或考勤系统建设的角度出发，基于改进SSD深度学习算法，构建起用于门禁或考勤人脸监测的网络框架，利用多尺度特征图框选识别目标候选区域，通常人脸识别只需要设置4×4×n的卷积核，使用DAN算法、特征向量分类器，实现人脸关键点提取、特征向量层次聚类，并将识别后的人脸特征向量与后台数据库的人脸图像比对，以保证人脸识别结果的精确性。

关键词：人脸识别技术；智慧校园；门禁或考勤系统；深度学习算法

中图分类号：TP391.4    文献标识码：A  文章编号：2096-4706（2023）13-0071-05

Research on the Application of Face Recognition Technology in the

Construction of Smart Campus

XU Bin

（Gansu Vocational and Technical College of Communications， Lanzhou  730207， China）

Abstract： From the perspective of the construction of smart campus access control or attendance system， based on the improved SSD Deep Learning algorithm， a network framework for access control or attendance face monitoring is constructed， and the multi-scale feature map is used to frame the recognition target candidate area. Generally， face recognition only needs to set a 4×4×n convolution kernel， and it uses the DAN algorithm and feature vector classifier to realize the extraction of face key points and hierarchical clustering of feature vectors. It compares the recognized face feature vectors with the face images in the background database to ensure the accuracy of face recognition results.

Keywords： face recognition technology; smart campus; access control or attendance system; Deep Learning algorithm

0  引  言

人臉识别作为公共空间环境中的生物特征识别技术，可被用于城市智慧安防、智慧校园的门禁或考勤人脸识别监测，具有高安全可靠性、便捷性的优势。因而基于改进SSD（Single Shot MultiBox Detector）深度学习算法、多尺度特征图，框选需识别的人脸目标候选区域，并使用DAN（Deep Alignment Network）算法进行人脸关键点检测、人脸特征提取，完成人脸检测、人脸对齐、人脸特征提取、人脸识别等执行流程，带动校园人员管理的智能化发展。

1  智慧校园建设中涉及的人脸识别技术

1.1  SSD深度学习算法

采用基于MobileNet卷积网络的SSD目标检测框架，替代原有VGG-16大目标检测框架作为骨干网络，包括数据集扩充、先验框铺设、正负样本获取等的预处理流程，以及输出多尺度特征图、人脸候选框映射匹配、人脸分类与回归、置信度过滤等人脸检测过程，可过滤掉某一图像中的背景信息、提取人脸特征图像信息[1]。

1.1.1  数据集扩充方法

在进行人脸检测目标训练之前，需根据采集的图像进行数据样本集数量、形状的扩充，截取某一人脸图像的不同区域，形成原图、截取图之间的交并比值为0.1、0.3、0.5、0.7和0.9，截取的子图像实例如图1所示。

根据图1可得出，截取后的子图像与原图像在大小比例上为0.1～1.0、长宽比例上为0.5～1.0。将所有子图像完成采样后，重新调整子图像大小、以1/2概率进行图像水平翻转，构造出更多不同大小、形状的人脸目标图像，使SSD算法的网络迭代训练具有更好鲁棒性。

1.1.2  先验框铺设策略

SSD深度学习算法的核心是采用多尺度特征图，包括4×4、8×8等不同尺寸的特征图，完成对待检测人脸特征的框选。其中特征图每个小格作为一个单元，则4×4、8×8特征图对应分别有16、64个单元，每个特征图小格分别对应k个先验选框，每个框预测C个不同特征类别得分、四个偏移目标框的值，则m×n规格的特征图上，会产生（C+4）×k×m×n个预测值。人脸目标检测的特征图及先验框如图2所示。

1.1.3  正负样本获取方法

在进行人脸目标识别的算法迭代训练时，首先需对训练样本集中的每张图片，确认图像中真实目标框与先验框的匹配准则。首先找到与真实目标框存在最大交并比的先验框，形成真实目标框与先验框的合理匹配，之后验证该匹配的先验框是否为正样本，若“是”则表明该先验框为人脸识别检测框，若“否”则表明该先验框为背景框，其中包含数据样本为只能与背景匹配的负样本。

根据图3可得出，实线框为GT真实目标框、虚线框为先验框，TP和FP分别为正样本、负样本。尽管真实目标框、先验框可进行合理匹配，但匹配到的先验框负样本仍旧过多[2]。为解决这一问题，需采用hard negative mining策略，进行特征图的m个正样本、其他负样本数据挖掘，按照置信度误差进行先验框预测前景、背景的置信度排列，保证识别到人脸样本的准确性。

1.2  改进SSD网络算法

由于人脸相比于人体面积小得多，因而改进SSD人脸目标检测算法，使用计算量级更小的MobileNet卷积层作为骨干网络，进行人脸目标检测任务设置、卷积层添加与抽取[3]。同样与原有SSD网络框架相比，改进SSD网络算法舍弃了Conv6之前的特征图层，这是因为Conv4/5层次以前的位置较浅、人脸与背景的特征建设不足，很难保证先验框中存在有价值的人脸检测信息，因此用于人脸检测的卷积层只包括Conv11、Conv13、Conv14_2、Conv15_2、Conv16_2、Conv17_2，所对应的特征图大小分别为19×19、10×10、5×5、3×3、2×2、1×1，具体如图4所示。

按照{1/2，1}、{1，2}、{1，3}等不同的长宽比设置先验框，6层特征图中分别对应的先验框个数为3个、6个、6个、6个、6个、6个，按照每个先验框有四个预测器得到偏移值，则与之对应的坐标回归预测器数目为12个、24个、24个、24个、24个、24个。利用预测器对先验框背景、人脸检测目标置信度值进行预测，可在保证预测精度前提下，有效降低模型运算复杂度、运行时间。

1.3  DAN关键点检测算法

DAN算法也被称为人脸关键点检测算法，该算法通过对检测人脸的角度调整、人脸目标关键特征点提取、关键点位置修正，得到对齐于标准位置的完整人脸图像，作为关键点热图如图5所示[4]。根据输入的人脸目标灰度图I、标准关键点模板S0，利用关键点变换层的相似变换公式 ，预测得到新的关键点位置S1，其中S0表示检测到的人脸关键点求平均值得到。

在以上19×19、10×10、5×5、3×3、2×2、1×1等不同特征图尺寸中，完成S0～St关键点的更新，新的关键点会输入至连接层；连接层对原始图像进行变换，得到t + 1阶段的输入图像Tt+1 （I ）。根据St、Tt+1 （I ）计算得到人脸关键点热图Ht+1，计算如式（1）：

其中H表示人脸关键点热图图像， Si表示Tt+1（St）中的第i个关键点。当所有关键点都被构造、更新并输出完成后，即得到整个人脸关键点的检测热图。

2  基于人脸识别的智慧校园门禁考勤系统设计

2.1  智慧校园门禁考勤系统的总体框架

本文采用MobileNet轻量级的SSD网络，作为人脸目标检测的特征提取、卷积计算骨干网络，来降低模型训练及运行时间[5]。同时由于人脸识别系统用于学生访问和出勤控制，存在着人员频繁进出与变化的问题，因此应使用无需开展预训练的“投票法”作为分类器，进行不同人脸特征向量的分类。

当前智慧校园的人脸识别门禁考勤系统，按照工作流程可分為人员注册、人脸检测、人脸特征提取和人脸识别等组成框架，具体结构如图6、图7所示。其中注册阶段是对师生的人脸信息、身份信息进行采集录入；人脸检测阶段是判断识别框中是否存在人脸；人脸特征提取、识别阶段是指提取不同特征图尺寸下，某一人脸的关键点信息，并将关键点信息与后台的人脸数据进行比对，完成人脸识别工作后，进行师生人员的门禁控制和考勤操作。

2.2  人员注册

高校师生人员注册阶段，首先录入注册人员的姓名、学号等信息，同时使用外接摄像头采集人脸图像信息，判断采集区域是否出现人脸信号，并将采集到的人脸信息输出显示、存储至MySQL数据库之中将大于预设置信度的人脸图像作出整合，保存到本地文件系统。为保证识别精度，采集的人脸帧数不能低于20帧，具体的人脸信息采集界面如图8所示。

2.3  人脸关键点检测与变换

利用以上DAN深度学习算法的网络模型，执行人脸关键点检测、仿射变换等的步骤，对外接摄像头拍摄的人脸图像帧进行模型训练。采用人眼关键点作为基准点，进行人脸图像数据集的旋转、平移和尺度变换，将数据集样本转化为灰度图，计算样本均值μ、标准差std，按照（I - μ） / std的计算公式规范化处理样本。

之后加载训练好的DAN模型，得到人脸检测图像的关键点坐标信息。基于检测到的人脸面部关键点信息，通过平移、旋转、反转和缩放操作，使用仿射变换方法。将面部图像映射到正面校正图像，来完成人脸面部图像对齐操作（如图8），其“线性变换+平移”过程的计算公式如式（2）：

其中（x′，y′）表示原始坐标、（x，y）表示变换后的坐标，a、b、c、d、e、f表示仿射变换系数。假设识别标准脸中存在n个关键点，且第i个关键点表示为（xi，yi）T、待对齐人脸目标的关键点坐标为（xi，yi）T，那么该人脸检测目标与标准脸对齐的仿射变换，可用以下矩阵计算公式进行表示：

2.4  人脸特征提取与比对

人脸特征提取是选择多张不同侧面的人脸图像帧，按照19×19、10×10、5×5、3×3、2×2、1×1的特征图大小设置数据集，在人脸特征提取训练前，对数据集进行裁剪、旋转、镜像等的操作。使用改进SSD网络框架作为特征提取器，取正向传播法Conv11、Conv13、Conv14_2、Conv15_2、Conv16_2、Conv17_2卷积层，作为人脸识别图像的样本特征向量[6]。

利用多数投票法，对人脸识别待测样本、人脸库数据样本之间的距离进行预测，若二者的间距小于阈值，则为该人脸特征向量投票，得票最多的人脸特征向量，即可参与人脸对应特征的比对（如图9所示），具体的人脸特征提取与比对执行步骤如下：

1）计算所有人脸数据样本的特征向量，将其保存为文件，并计算新捕获的视频帧中与人脸相对应的特征向量。

2）对于要测试的样本，计算要测试的人脸，与人脸库的所有特征向量之间的距离（特征向量的相似度越大，距离值越小），并确定匹配是否基于设置的阈值。

3）根据标签对所有具有匹配特征的人脸图像进行分类，找出匹配数量最多的组作为人脸判断信息（类别p），用于用户的智能识别。

4）计算所有人脸面部特征匹配结果，并判断类别p的比例是否大于设置的阈值0.7。如果“是”，則完成面部相似性判断识别，并打开相应的控制门；否则，该脸被判断为陌生人脸。

对不同数据集的测试样本数据作出识别，得到不同阈值条件下的识别准确度如表1所示。由于人脸图像特征向量的提取，会受到光照、角度、背景等条件影响，因而使得特征向量之间欧氏距离的大小有所波动，因此管理者只需选择实际情况下的最小测试结果。

实验结果得出，基于改进SSD、DAN网络学习算法的人脸识别技术，被用于智慧校园门禁或考勤系统建设中，对内部人员的人脸识别平均跟踪帧率为37帧/秒，识别检测时间为100 ms左右、识别精度为95%以上，可满足智慧校园中不同公共空间的人脸识别需求。

3  结  论

传统智慧校园管理系统的建设，通常依托网络摄像机、射频识别（RFID）技术、热成像测温技术等，发出射频或红外信号，自动识别门禁卡的目标对象、获取相关数据，但难以保证出入人员智能化管理的安全性。而SSD网络算法是对人脸识别区域作出框定和检测的方法，其借鉴了Faster RCNN目标检测、YOLO目标检测与训练方法，通过设置锚点形成目标检测选框，使用包含高层、低层特征的多尺度特征图，进行不同尺度的人脸目标识别、关键点检测、特征向量提取，将人脸检测任务转换为特征锚点回归任务，能够为师生的日常出入门禁控制、考勤管理提供支持。

参考文献：

[1] 杨增.信息化背景下智能校园管理平台建设研究——以云南文化艺术职业学院为例[J].学园，2020，13（20）：3-4.

[2] 赵飞燕，张丙虎.智慧校园学生管理系统的设计与构建 [J].现代信息科技，2021，5（16）：35-37.

[3] 罗利华.校园管理系统的标准化策略分析 [J].电子技术，2022，51（4）：262-263.

[4] 林寿光.基于实验室考勤系统的快速人脸识别算法研究 [J].信息技术，2019，43（4）：16-18+22.

[5] 黄义妨，魏丹丹，武淼，等.面向不同传感器与复杂场景的人脸识别系统防伪方法综述 [J].计算机工程，2021，47（12）：1-18.

[6] 王彦秋，冯英伟.基于大数据的人脸识别方法 [J].现代电子技术，2021，44（7）：87-90.

作者简介：徐斌（1965—），男，汉族，四川什邡人，正高级工程师，本科，研究方向：图形图像。

收稿日期：2023-02-09

基金项目：甘肃省教育厅厅级课题（2022A-235）