视频人脸检测与追踪方法研究

李彦璇　王蓉　方银旺

摘要：在科技飞速发展的今天，视频图像侦查技术在公安工作中发挥的作用越来越显著，尤其是人脸检测与识别技术的广泛应用，极大地提高了公安机关的办案效率。本文研究了一种视频中运动人脸的检测与追踪方法。首先，对视频每帧图像进行分析，使用Haar分类器检测出视频图像中的人脸，锁定人脸区域；然后，对视频序列中的人脸进行跟踪；最后，基于OpenCV视觉库进行了仿真实验。仿真实验结果表明该方法能准确检测出视频中的人脸，可有效排除视频中其他运动物体对跟踪的干扰，能够对运动人脸进行跟踪。

关键词：人脸检测；人脸跟踪；OpenCV；Haar分类器

中图分类号：TP18 文献标识码：A 文章编号：1009-3044（2015）28-0131-05

Study on Face Detection and Tracking Method in Video

LI Yan-xuan1，WANG Rong1，FANG Yin-wang2

（1.People's Public Security University of China，Beijing 102623；2.Hangzhou State Tax Bureau，Hangzhou 310009）

Abstract： With the rapid development of science and technology， video image detection technology plays an increasingly prominent role in the public security work， especially the wide application of human face detection and recognition technology， which greatly improves the efficiency of public security organs. In this paper， a method of detecting and tracking moving human face in video is studied. Firstly， the video frames are analyzed and the Haar classifier is used to detect the face in the video frames， then the face region is locked， and the human face in the video sequence is tracked. Finally， the simulation experiment is carried out based on the OpenCV. Experimental results show that this method can detect the human face in the video， and can effectively eliminate the interference of other moving objects in the video.

Key words： face detection； face tracking； OpenCV； Haar classifier

视频中人脸信息对于公安的案件侦破、嫌疑人锁定、线索获取、群体性事件和突发事件的预防和控制等方面有着不可或缺的作用，公安机关越来越重视其在公安工作中的应用。目前，公安对于视频信息的利用多数比较被动，怎样在大量且丰富的视频数据中检测和跟踪到感兴趣目标，实现对其进行分析和预判，已成为视频监控技术研究的关键。目前在智能视频分析领域，国内外研究的热点主要集中在算法改进和更高效求解复杂全局化的问题上，以解决检测及跟踪过程中的遮挡问题、光线问题，增强抗干扰能力和鲁棒性。1996年，美国国防高级研究项目署启动了视频监控项目 VSAM（Visual Surveillance and Monitoring），进行视频监控的管理和自动化研究，提出了运用自适应模板匹配的方法进行目标跟踪[1]。Nagel and Enkelman和Black and Weldon等人对光流方法进行了改进[2]。随后，有学者使用“主动轮廓”（active contours）（也称为蛇模型），粒子滤波器（particle filter）对跟踪算法进行改进[2]。国内在这方面的研究虽然起步比较晚，但也已经取得了一定的成就。南京理工大学提出了一种基于连续核密度逼近理论的运动目标检测方法和基于Bagging集成学习的运动阴影消除方法减小背景和照度的影响，通过一种改进的基于空间颜色高斯混合模型的目标跟踪方法提高检测的自适应性[1]。南京邮电大学结合 Meanshift算法和 Kalman（卡尔曼）估计器算法的优点，实现了复杂背景下遮挡弱小物体的跟踪[3]。本文基于Opencv，分解视频序列，利用Haar分类器检测出视频中的人脸，锁定人脸区域，在VisualStudio2010平台上编程实现视频中人脸的跟踪，简化算法复杂程度，提高跟踪的准确性和鲁棒性。

1 人脸检测方法

常用的人脸检测方法大致分为两类：基于特征的人脸检测和基于统计的人脸检测。基于特征的人脸检测根据人脸的五官特征和其位置分布识别出图像中的人脸区域，这种方法容易受到背景中其他物体的干扰，而且如果图像中人脸尺寸太小也无法准确检测，识别率较低。建立人脸模板的方法虽然提高了检测率，但是由于复杂的算法，检测过程耗时太长，检测效率并不理想。基于特征的人脸检测方法对于检测复杂的人脸图像表现出很大的局限性，基于统计的方法越来越受到研究者的青睐。基于统计指使用大量的人脸模板来训练出人脸识别的分类器，通过训练好的分类器与图像特征进行匹配，得到人脸区域。常用的基于统计的人脸检测方法有基于特征空间的检测方法、基于神经网络的检测方法、基于支持向量机的检测方法和Boosting方法[4]。

Boosting算法用多次决策的思想提高了分类器的学习能力，把不符合标准的特征排除在外，对符合检测标准的特征继续判断，Boosting通过多个分类器的级联形成强分类器，只有通过分类器的所有节点才认为检测到了物体，一旦判断为不是目标，则算法结束，这大大提高了检测的准确率[5]。其训练过程如图1所示：

AdaBoost算法是对Boosting算法中的弱分类器的级联，弱分类器大多数情况下只有一层决策树，决策树通过下式表示：

[fi=+1，vi≥ti-1，vi≥ti] （1）

其中[fi]表示第i个特征，[vi]表示特征值，[ti]为设定的阈值，如果特征值大于阈值，用1表示，表示可能是人脸，如果特征值小于阈值，用-1表示，表示可能不是人脸。

AdaBoost算法对于Boosting的改进之处在于进行多次阈值判断时，给特征赋予一个权值。设Boosting算法训练T个分类器[ht]，[t∈{1，...，T}]，M个样本，样本图像用[（xi，yi）]表示，其中[i∈{1，...，M}]，在图像上第一次遍历数据的时候，训练得到f1的阈值t1，然后使用得到的错误来计算投票权值[ωt（i）]，将这个权值重新赋予下一次训练的特征，初始化权值：

[ω1（i）=1M]，[i∈{1，...，M}] （2）

寻找获得错误最小的投票权值[ωt（i）]的分类器[ht]：

[εt（i）=miniωiht-yi] （3）

其中[εt]为获得最小误差。

设置[ht]的权重：

[αt=log1-εtεt] （4）

更新节点权重：

[ωt+1（i）=ωt（i）exp（-αtyiht（xi））Wt] （5）

其中[Wt=ωt（i）j=1Mωt（j）]为权值归一化值。

得到级联加权分类器[5]：

[H（x）=signt=1Tαtht（x）] （6）

Harr分类器是人脸检测中一种较为有效的方法，它实际上是基于统计的方法中Boosting算法的一个应用，使用Haar-like特征对图像区域的和或差进行阈值化，Haar-like特征如图2和图3所示，图2分别代表了垂直边缘特征、垂直线性特征、水平边缘特征和对角边缘特征，图3对这些原始特征进行扩展，分别代表边缘特征、线性特征和中心特征。这些特征是通过对原始灰度图像积分图得到的，组成了Boosting分类器的全部“原材料”[6]。可以通过这些特征组成的窗口在图像上的移动，筛选出图像中哪些是人脸区域，哪些是非人脸区域。

Haar分类器把AdaBoost算法训练出的强分类器进行了级联，加强了分类器的分类性能，它在底层的特征提取中采用了高效率的矩形特征和积分图方法[5]，当图像中包含较多的像素点时，搜索人脸特征过程复杂、计算量大，所以需要消耗很长的时间，使用遍历图像积分的方法通过总结特征，大大降低了计算量，节约了搜索时间。

2人脸跟踪方法

在第1节描述的人脸检测方法的基础上，本文采用Haar分类器实现人脸检测，利用分解视频为帧的思想，实现视频中人脸的跟踪，排除视频中运动物体对检测的干扰，简化跟踪算法，为视频中人脸跟踪提供新的思路。基于人脸检测的人脸跟踪方法的实现原理如图4所示。将输入的视频分解为帧，按帧进行检测，每检测完一帧将检测结果显示出来 ，继续检测下一帧，直到将视频中的帧检测完，通过这样连续地检测与显示，实现对视频中运动的人脸的跟踪。该方法充分利用了Haar分类器的优点，检测准确率高。

视频人脸跟踪实现的流程图如图4所示，首先打开摄像头或通过打开指定路径下的视频，从输入视频流中获得输入图像，判断是否输入成功，如果没有获取到图像则退出，如果获取到图像捕捉视频中第一帧，如果捕捉帧成功，则检测该帧中的人脸，并标定人脸区域，显示标定人脸的图像帧，继续捕捉下一帧。

3 实验仿真与结果分析

3.1实验仿真

仿真实验通过在VisualStudio2010平台上用OpenCV视觉库的函数、使用C++语言进行编程实现，实验在联想Intel（R）Core（TM）i5-2410M CPU@2.30GHz处理器的PC机上实现。实验用视频来源于三星手机拍摄，格式转化为“.avi”，用[f]表示帧数，总帧数[f=256]；摄像头视频来源于PC机自带摄像头实时摄像。视频的拍摄环境分别为室内、室外广场和嘈杂的马路边，分别包括了简单背景、复杂背景和有其他运动物体的复杂背景。实验对视频中有单个人脸、多个人脸的情况分别进行仿真，对比没有运动物体干扰的简单环境下人脸跟踪和有运动物体干扰的复杂背景下的人脸跟踪的实验结果，实验结果中红色区域表示检测出的人脸区域。图6实验环境为室内，是在简单的环境中对单个人的检测与跟踪结果序列截图，（a）、（b）、（c）、（d）、（e）、（f）分别为顺序截取的随机帧跟踪结果；图7实验环境为室外广场，是对视频中有多个人的检测与跟踪结果序列截图，（a）、（b）、（c）、（d）、（e）、（f）分别为顺序截取的随机帧跟踪结果；图7是在嘈杂马路边的视频人脸检测与跟踪效果序列截图，（a）、（b）、（c）、（d）、（e）、（f）分别为顺序截取的随机帧跟踪结果；图8是打开摄像头进行实时跟踪的效果随机序列截图，图（a）表示连续跟踪效果，图（b）为跟踪过程中某帧出现的误检。

（a）跟踪连续

（b）误检帧

4.2结果分析

图6表明该方法对于简单场景视频中的人脸有很好的跟踪效果；图7显示对于视频中的多个人脸也有很好的跟踪效果，除了个别帧会出现一个误检或者漏检，整体跟踪效果尚佳，准确率可达97.6%，说明适用于视频中有多个人脸的情况；图8是在复杂场景中的实验，视频背景中有车辆等运动物体，结果显示其他运动物体被有效排除在检测外，说明该方在视频运动目标的跟踪中能够对人脸有针对性地进行跟踪。图9（a）实现了摄像头实时跟踪，说明该方法具有实时性，图9（b）为实验过程中出现的误检情况，这种误检只会出现在偶尔帧中，例如视频图像中有类人脸特征的情况，这是由于检测方法的局限造成的，图9（b）的误检是由于系统将鼻子和嘴巴也误以为是人脸特征，误检率为1.17%～2.34%。

实验结果表明该方法可以有效地对视频中的人脸进行跟踪，只要捕获到视频帧、检测到人脸就可以实现跟踪。基于视频帧的跟踪有很好的实时性和针对性，算法简洁、易于实现，便于进一步深入研究和功能扩展。由于基于人脸检测，使用该方法进行跟踪稳定性较好，不仅适用于视频中有运动的人脸，也适用于摄像机的运动形成的人脸位置变化的情况。

5结论

近些年来，公安工作越来越重视对视频信息的利用，通过计算机智能的分析视频中包含的信息，节约人力资源，提高工作效率。本文使用的方法通过在VisualStudio2010环境中使用OpenCV实现了对视频中的人脸进行跟踪，基于Haar的分类器能将视频关注点准确集中于人脸上，采用分解帧的跟踪方法避免其他运动物体的干扰。该方法可以帮助公安工作人员在利用视频信息寻找线索时关注嫌疑人的活动，对案件的侦破和人员的控制有着重要的意义。该方法为人脸跟踪技术的进一步研究提供了基本的模型和新的思路，在自适应性、运行速度和兼容性方面还有着很大的发展空间，通过对该方法的不断完善和改进，在视频侦查中具有广阔的应用前景。

参考文献：

[1] 王欢.运动目标检测与跟踪技术研究[D].南京理工大学，2009.

[2] Szeliski R.计算机视觉算法与应用[M]. 艾海舟，兴军亮，译.北京：清华大学出版社，2012：509-513.

[3] 李亚玲.视频监控中运动目标检测与跟踪算法的研究[D].南京邮电大学，2011.

[4] 廖绍雯.人脸检测方法研究[J].河西学院学报，2012（2）.

[5] Bradski&Kaehler.于仕琪，刘瑞祯，译.[M].清华大学出版社，2009.

[6] http：//blog.csdn.net/zouxy09/article/details/7922923.

[7] 李孟歆.基于小波边缘提取的混合运动目标检测算法[J].集成技术，2013（5）.

[8] Yoo T.w.，Oh I.S. A fast algorithm for tracking human face based on chromatic histograms.Pattern Recognition Letters，1999，20：967-978.

[9] Wei G.，Sethi I.K..Face detection for image annotation.Pattern Recognition Letters，1999，20：1313～1321

[10] Abdel-Mottaleb M.，Elgammal A...Face detiction in complex environment from color images.In：Proc.IEEE Conf . On Image Processing，Kobe，1999，3（11～13）：622～626

[11] 雷玉堂.安防 & 智能化：视频监控系统智能化实现方案[M].北京：电子工业出版社，2013.

[12] 朱苗.基于视频的智能人脸识别系统设计[D].北京：华南理工大学，2013.

[13] 黄海洋.基于复合人工神经网络的人脸识别方法研究[D].黑龙江科技学院，2010.