一种非合作的人脸智能识别系统

邹新雷 王云

【摘要】    随着人脸识别技术的普及与应用，用户对于人脸识别的技术细节以及人脸识别的速度有了技术需求。对于实时非合作性质的人脸识别，其精确度与速度经常难以满足用户需求。本文设计并实现了一种能够自动识别人脸的系统，能筛除掉质量不足以进行人脸识别的人脸图像，加快识别速度，实现对实时视频的高速人脸识别。

【关键词】    人脸检测    机器学习    人脸识别

引言：

在算法飞速发展的今天，人脸识别越来越多的普及到了我们的生活与工作中，火车站、机场的安检，遍布城市的天眼监控系统，都有人脸识别活跃的地方。在我们平日生活生产应用的领域中，很多图像中的人员并不会仔细正脸面对摄像头，这就导致了人脸识别所需信息的不足。除此以外，光照、遮挡等环境因素也会导致无法采集到人脸识别所需要的信息。如果能通过机器学习的方法，筛除掉信息不足的人员，便能够提升系统识别率，节省系统运算空间。本文基于此目的进行了对人脸识别系统的一系列设计。

一、系统总体设计方案

由于本系统的运作路线明确，由检测→质量判断→人脸识别构成，所以初期设定了如上图1所示的系统框架。但是在实际应用中，人脸识别的耗时大概要占到80到100毫秒，也就是帧率10左右，完全不能实现实时识别的要求。除此之外，对同一目标的多次检测识别也浪费了许多系统资源。

因此，考虑到检测与质量判断的速度只有几毫秒，不会影响视频的流畅性，我们在系统内加入了跟踪的算法，重新设计了一种多线程的运行方式，具体框架如图2所示。

在这个方案的具体运行路线如下：

1.对摄像头传输的图像进行检测，框出视频中人员的位置;

2.根据人员框的跟踪ID判断，如果该ID已经在上一帧识别过了，则显示识别结果回到步骤1，未识别则进入人脸质量判断模块;

3.对人脸进行质量判断，考察阴阳脸，光照，遮挡，正脸与摄像头的倾斜角等因素给出质量评分，评分低于标准则筛除该人员，回到步骤1，评分足够则将图像传入人脸识别模块;

4.人脸识别的算法模块在另一个线程运行（耗时为80-100ms），展示识别结果的主线程从人脸识别线程取出其标志位，代表识别完成与否，识别未完成则在人脸显示“识别中”，回到步骤1，识别完成则取出其识别结果展示在人脸上，回到步骤1。

二、系统算法技术介绍

2.1人脸检测算法MTCNN

MTCNN，Multi-task convolutional neural network（多任务卷积神经网络）是2016年中国科学院深圳研究院提出的用于人脸检测任务的多任务神经网络模型，MTCNN总体可分为P-Net、R-Net、和O-Net三层网络结构。本系统通过编写model.py定义了P-Net、R-Net、和O-Net的网络结构。P-Net为全卷积的网络，主要包含3*3的卷积层、2*2的池化层，该网络用于人脸目标的初步检测，将特征输入经过三个卷积层之后，通过一个人脸分类器判断该区域是否是人脸。R-Net网络接收P-Net的结果作为输入，主要包含3*3、2*2的卷积层、3*3的池化层，并增加了全连接层。O-Net和R-Net的结构类似，只是输入尺寸为48*48，同时增加一层卷积层，以及全连接层的维度增加为256维，因此可以保留更多的图像特征，再进行人脸判别、人脸区域边框回归和人脸特征定位。所以O-Net的输出作为最终的网络模型输出。其算法流程图如图3所示。

2.2人脸质量判断算法

人脸质量的判断因素众多，本系统考虑的因素有：人脸姿态，人眼闭合，人脸模糊度以及人脸光照。所应用的算法有：基于关键点的人脸姿态估计算法，基于关键点的人眼闭合检测算法，二次模糊算法，基于深度学习的人脸遮挡检测算法。

基于深度学习的方法通常训练一个深度CNN分类网络或检测网络，这种方法首先通过人脸检测定位人脸的区域，然后将人脸区域送入CNN网络，输出无遮挡或遮挡人脸的结果。本项目采用Yolov3进行训练。

2.3人脸识别算法SeetaFace

SeetaFace，是中科院计算机所山世光老师所带领的团队开发出来的人脸识别库，包括人脸检测，人脸识别以及人脸对齐三个模块。

其中，人脸识别模块的特征提取算法是基于卷积神经网络的，使用的是深度卷积神经网络VIPLFaceNet，这是一个包含两个全连接层与七个卷积层的DCNN，是由2012年设计的AlexNet修改而来。与原网络相比，有三处改进：

①VIPLFaceNet将5x5的卷积核拆分为两层3x3的卷积核，在不改变计算量的情况下加深了网络的深度;

②VIPLFaceNet中每个卷积层的kernel数目和FC2层节点都有所减少;

③引入了FNL（Fast Normalization Layer），使得网络收敛速度加快，也更具有泛化性。

以LFW数据集测试为例，VIPLFaceNet错误率较原网络降低了40%，训练时间仅为原网络的20%，测试时间为60%。

其流程图如图4所示。

三、室内测试结果

本系统在实验室内进行测试。在光照充足以及正脸面对情况下，都能准确实时的识别到目标结果，实地测试检测结果如图5所示。能够准确的检測到人脸的位置，首先（1）在侧脸情况下由于判断人脸质量不足以进行人脸识别展示结果“ignored”，在（2）的正脸情况下准确识别到我们二人的ID“wangyun”、“zouxinlei”。

四、结束语

本文设计一种非合作的人脸智能识别系统，该系统基于人脸检测、机器学习、人脸识别等技术，利用多线程的设计思想，完成了一种准确、实时的人脸识别程序，目前已在与酒仙网合作的智能门店项目中成功应用，在门店监控领域有很大的市场应用价值。

参  考  文  献

[1]Chunming Wu，Ying Zhang. MTCNN and FACENET Based Access Control System for Face Detection and Recognition[J]. Automatic Control and Computer Sciences，2021，55（1）.

[2]陈飞玥，朱玉莲，陈晓红.多层特征融合的PCANet及其在人脸识别中的应用[J/OL].南京师大学报（自然科学版）：1-7[2021-04-30].http：//kns.cnki.net/kcms/detail/32.1239.N.20210426.2145.006.html.

[3]胡超，李春国，杨绿溪.稀疏特征重用的人脸特征提取网络[J/OL].信号处理：1-14[2021-04-30].http：//kns.cnki.net/kcms/detail/11.2406.TN.20210422.1828.029.html.