基于卷积神经网络的视频监控人脸识别方法

晏鹏程 张一鸣 童光红 黄锋 欧先锋

摘要：视频监控中的人脸识别算法主要包含人脸检测、预处理、特征提取和特征匹配（人脸识别）4个部分，其中最重要的是人脸检测和特征匹配。视频监控图像中的人脸可能有多姿态、多尺度和局部遮挡等问题，对人脸的提取和識别有较大影响。采用基于Haar特征的AdaBoost算法实时检测出视频中的人脸区域，获取人脸图像，通过卷积神经网络（CNN）训练得到人脸图像的深层特征，进而进行人脸识别。实验结果表明：该方法可以满足识别准确率和实时检测的要求，对视频图像中光照变化、姿态变化、尺度变化和局部遮挡等问题具有较好的鲁棒性。

关键词：视频监控，人脸识别，卷积神经网络，人脸检测，Haar，AdaBoost

中图分类号：TP391 文献标志码：A 文章编号：2095-5383（2020）01-0026-06

Abstract：The face recognition algorithm in video surveillance mainly includes four parts：face detection，preprocessing，feature extraction and feature matching （face recognition），and the two most important parts are face detection and feature matching. Faces images in video surveillance may have problems such as multi-pose，multi-scale，and local occlusion，which have a greater impact on face extraction and recognition.In this paper，the AdaBoost algorithm based on Haar feature was used to detect the face regions in real time，and the face image was obtained. The deep features of the face image were obtained through the convolutional neural network （CNN） training，and then face recognition were performed. The simulation results indicate that the proposed algorithm meets the requirements of recognition accuracy and real-time detection，and is robust to problems such as illumination change，attitude change，scale change and partial occlusion.

Keywords：video surveillance，face recognition，Convolutional Neural Networks，face detection，Haar，AdaBoost

随着视频监控技术的发展，视频监控系统在许多公共场合得到了广泛应用，为公共安全的保障提供了技术基础[1-2]。但是，现有的视频监控系统大都只具备视频传输和视频储存的功能，需要人工跟进或者后续进行查阅，占用了安全人员的大部分时间和资源。如果视频监控系统具备智能分析的功能，能够对视频监控场景中的目标进行智能分析，将大幅度减少安全人员在后续查阅视频上的时间。如果能够提前预警，在危情尚未发生时将其扼杀，将达到进一步提升监控区域安全的目的。

由于视频监控中人脸分辨率较低、经常快速移动、尺度变化范围大、光照和姿态等变化不定等因素的影响，视频监控人脸识别面临更多的困难和更大的挑战。视频监控中的人脸识别主要包含人脸检测、预处理、特征提取和特征匹配（人脸识别）4个部分，其中最重要的2个部分是人脸检测和特征提取[3]。要做到实时人脸检测，要求算法的检测速度快，检测效果准确。而特征提取直接影响人脸识别的准确率。本文在人脸检测部分采用基于Haar特征[4]的AdaBoost算法[5]实时检测出视频中的人脸区域，人脸区域图像经过预处理后得到人脸目标图像，然后采用卷积神经网络（Convolutional Neural Networks，CNN）来提取人脸目标图像的特征[6]，网络经过训练后得到预训练模型作为人脸的分类器，通过fine-tuning[7]可以减少网络模型的训练时间。

1 人脸检测

视频图像采集完成后，需要通过人脸检测算法对视频图像中的人脸区域进行截取。本文采用基于Haar特征的Adaboost分类器进行人脸区域的检测。

1.1 Haar特征

Haar特征是一种矩形特征，通常用来进行目标检测。其值表示为黑色矩形所表示区域的灰度值之和与白色矩形所表示区域的灰度值之和的差，这样就可以反映该图像局部区域的灰度变化。Haar特征的基本原型[8]如图1所示。

在人脸检测中，人脸的眼睛、鼻子、嘴巴为人脸目标的重要面部特征，通过检测这些特征可以极大概率地检测出图像中是否存在人脸目标，因此在算法中引入了两种扩展的Haar特征原型[9]：眼睛与眉毛组成的Haar特征、眼睛与鼻子组成的Haar特征，如图2所示。

1.2 基于Haar特征的AdaBoost算法

AdaBoost算法[10-12]的原理是通过训练得到多个不同的弱分类器，并将这些弱分类器通过叠加、级联得到强分类器。AdaBoost算法流程如图3所示。

[2]薛晓利，胡蓉，朱金陵. 一种改进的Gabor算法及其在人脸识别中的应用[J]. 成都工业学院学报，2011，14（2）：6-8.

[3]曾青松. 多核支持向量域描述在基于图像集合匹配的人脸识别中的应用[J]. 中国图象图形学报，2016，21（8）：1021-1027.

[4]MA S，BAI L. A face detection algorithm based on Adaboost and new Haar-Like feature[C]// IEEE International Conference on Software Engineering and Service Science. IEEE，2017：651-654.

[5]GUDIPATI V K，BARMAN O R，GAFFOOR M，et al. Efficient facial expression recognition using adaboost and haar cascade classifiers[C]// Industrial Electronics，Technology & Automation. IEEE，2017.

[6]卢宏涛，张秦川. 深度卷积神经网络在计算机视觉中的应用研究综述[J]. 数据采集与处理，2016，31（1）：1-17.

[7]欧先锋，向灿群，湛西羊.基于CNN的车牌数字字符识别算法[J]. 成都工业学院学报，2016，19（4）：26-30.

[8]杨秋芬，桂卫华，胡豁生，等. 局部二元Haar特征Kadane多阈值AdaBoost面部分类识别[J]. 小型微型计算机系统，2016，37（11）：2582-2587.

[9]糜元根，陈丹驰，季鹏. 基于几何特征与新Haar特征的人脸检测算法[J]. 传感器与微系统，2017，36（2）：154-157.

[10]李晶惠，葉学义，夏胡云，等. 基于“大T”型区域的AdaBoost人脸检测算法[J]. 软件导刊，2017，16（10）：22-26.

[11]SONG X，RUI T，ZHA Z，et al. The AdaBoost algorithm for vehicle detection based on CNN features[C]//International Conference on Internet Multimedia Computing and Service. ACM，2015：5.

[12]王庆伟，应自炉. 一种基于Haar-Like T特征的人脸检测算法[J]. 模式识别与人工智能，2015，28（1）：35-41.

[13]李勇，林小竹，蒋梦莹.基于跨连接LeNet-5网络的面部表情识别[J].自动化学报，2018，44（1）：176-182.