多人脸目标动态识别

胡昌盛，丁德红

（湖南文理学院计算机科学与技术学院，湖南 415000）

多人脸目标动态识别

胡昌盛，丁德红

（湖南文理学院计算机科学与技术学院，湖南 415000）

针对小场合特定人群进行动态识别，在要求的速度及准确率等条件下展开研究。目前进行目标识别技术众多，采用LBPH技术，为适应动态捕捉进行算法上的改进，先介绍Haar分类器的原理，依据原理设计并制作Haar分类器，用实际的多目标图片作实验准确地检测出人脸并加框标识，再将所选区域的人脸与样本库中预预先采集的人脸样品进行LBP局部二值特征比对，识别率达80%，从而基本实现多目标识别。该成果产品化后可用于车站码头等公共场合的安防监测。

分类器制作；人脸识别；LBPH特征

湖南省科技计划（No.2016GK2019）、湖南省教育厅一般项目（No.14CO542）

0 引言

人脸识别技术是机器视觉领域重要的研究内容。相对于指纹、虹膜等其他生物特征识别方法而言，人脸识别有不易察觉性，易采集性等特殊优势，具有相当广泛的应用前景。在信息检索方面，人脸识别可以帮助检索相关人物资料；在身份认证方面，人脸识别相对于传统的身份识别具有更高的可靠性及安全性。

人脸识别技术经过长时间发展，在人脸检测与人脸跟踪、人脸特征点的检测与标定、人脸特征描述与特征提取、人脸特征分类等各个领域都展开了广泛而深入的研究，众多理论、算法层出不穷。如：（1）基于特征子空间分析的主成分分析方法（PCA），线性判别分析方法（LDA），独立成分分析方法（ICA）。（2）基于统计的支持向量机方法（SVM），人工神经网络方法（ANN）。（3）基于局部模式的Gabor小波变换方法，基于局部二值模式（LBP）的方法等。

其中局部二值模式（LBP）算法作为图像纹理表示的一种方法，用中心像素的灰度值作为阈值与其领域相比较得到的二进制编码来表述局部纹理特征。因此其能表征出对光照及外界条件变化不敏感的图像本身的特征，对一定基数下的人脸识别表现的很好。识别流程如图1。

图1 识别流程图

1 Haar分类器

Haar特征在图像中取大大小小很多矩形，将矩形分成两份或三份，用黑白两种颜色标记，将黑白两色矩形里的像素值和相减得到差值。然后用这些差值来对图像的子区域进行分类。通过不同的黑白矩形组合，就能提取边缘特征、线性特征、中心特征和对角线特征，共同构成特征模板。如图2所示。

图2 人脸特征图

1.1 Haar分类器原理

Haar分类器由Haar-like特征、积分图（Integral Image）方法、AdaBoost算法、级联分类器组成。

①Haar-like特征用来进行检测。

②积分图对Haar-like特征值进行加速。

③AdaBoost算法训练来判别是否为人脸的强分类器。

④使用筛选式级联把训练出来的强分类器级联到一起，提高准确率。

（1）弱分类器

弱分类器由子窗口图像，特征，方向和阈值组成。

（2）弱分类器的生成

①将权重归一化

②对于每一个特征f，训练一个弱分类器h；计算所有特征的加权错误率εf，

③选取具有最小错误率εf的弱分类器hi

④权重的调整

其中ei=0表示xi分类正确，ei=1表示xi分类错误；

（3）强分类器的生成

①给定训练样本集S，样本总数N，正负样本X，Y；训练的最大循环数T。

②初始样本权重为训练样本的初始概率分布1/N；

③第一次迭代所有训练样本，得到第一个最优弱分类器。

④将上一轮中被误判样本的权重增加；

⑤将新样本和上次分错的样本进行新一轮训练。

⑥循环执行步骤4-5，经过T轮循环后产生T个最优弱分类器。

⑦将T个最优弱分类器组合得到所需要的强分类器，方式为：

1.2 级联

级联分类器可以看作是一种退化了的决策树。即图像被拒绝后就直接抛弃，不再进行推断。级联强分类器思想是：将若干个强分类器由简到繁排序，期望经过特定训练使得每个强分类器都可以有理想的检测率，而误识率可以降低。例如强分类器可以使得99%的人脸通过检测，同时50%的几率非人脸也可以通过检测，这样我们将20个强分类器进行级联。则总识别率99% 20约为98%，误识率为50%20约为0.0001%。这样已经可以满足实际需要了。所以我们要解决的问题是如何使每个强分类器都有较高检测率。

（1）决策树结构

图3 决策树结构

（2）级联分类器的训练

给定一个级联分类器的层数K，检测率D，误识率F，第i层强分类器的检测率di，误识率fi。假使训练一个级联分类器达到给定的F值和D值，只用训练出每层的d值和f值，方式为：

级联分类器的关键部分在于怎样训练每层强分类器的d值和f值使之达到指定要求。

这里我们用OpenCV310级联分类器的训练，OpenCV提供了opencv_traincascade函数供我们训练分类器。opencv_traincascade用来准备训练用的正样本数据和测试数据（输出为以vec为扩展名的文件，以二进制方式存储图像，程序路径如图4。

①训练样本的准备：

训练样本要包括正样本和负样本。通俗来讲，正样本就是图中只有你所需要的目标。而负样本只要求图

中不含有目标即可（最好尽可能多的提供场景的背景图；负样本尽可能的多，而且要多样化，和正样本有一定的差距但是差别也不要太大）。其中正样本用opencv_createsample创建。负样本则手动创建。

图4 训练程序所在的路径

②归一化样本图片，即在训练前将正负样本归一化为统一的尺寸大小，转化成灰度图，并放在相应目录下。

③集合文件格式（collection file format）和描述文件格式（description file format）：负样本用集合文件格式描述（.txt文件），正样本用描述文件格式描述（.dat文件）。

④进行样本训练

利用opencv_traincascade程序训练结束后，生成的XML文件即为训练好的级联分类器，这个文件位于–data选项的目录中。该目录中的其他文件是训练过程的中间结果，若训练程序被中断，再次运行训练程序将读入之前训练的中间结果，不需要从头重新开始训练。训练结束后，可以选择删除中间文件，保留最终的XML文件。至此，级联分类器制作完毕，已经可以用来检测人脸。

2 多目标识别研究

2.1 方法与材料

在普通光照条件，学生宿舍环境，与室友及一个相框，三个目标排成一排拍照合影，将所得照片用于多目标识别。

2.2 识别流程

（1）图像预处理

对检测到的图像做直方图或者滤波处理来更好地进行下一步的特征提取。

（2）特征提取

通过提取人脸特征，然后对其分类进而实现人脸识别，这里我们用LBP（Local Binary Pattern）进行特征提取。

（3）人脸识别

即将提取出的特征进行分类，匹配。

为了在匹配过程中我们需要知道匹配图的名字，而一张张更改是很麻烦的，这里我们使用CSV（逗号分隔值文件格式）来读取所准备的数据，CSV文件包含文件名，后面紧跟一个标签，两者以逗号隔开，当然，也可以用自己喜欢的符号，例如分号等。（形如/path/image. bmp；0（0即为你所为该图所指定的标签，类似为该图的人的名字））。

在OpenCV中提供了LBPH人脸识别类，可以用它来进行人脸识别。首先，设定我们的感兴趣区域（ROI，Region Of Interest）来专注工作过程。这里我们的感兴趣区域为图像中检测到的人脸，用之前所训练的级联分类器去检测并框定出来，这里我们采取扩大检测窗口的方法来进行检测。若同一个目标被多次检测到，则表明该目标为正确目标。在检测窗口遍历完一次图像后，处理重复检测到的人脸区域，进行合并等操作。

已经获得了人脸区域，接下来就可以对图像中的人脸进行识别，这里使用LBPH算法，该算法会根据用户的输入自动更新，而不需要在每添加一个人或纠正一次错误判断时便要进行重新的训练。

读取CSV文件，将检测到的窗口与与训练的样本进行LBP特征向量的相似度比对，设置一个置信度阈值，当两者的相似度小于阈值则认为是同一人，然后读取样本标签，返回识别结果。

当识别器给了我们一个识别结果，即样本标签，可以将该标签使得用户发出一个反馈，即选择是否识别正确。不管如何，我们都可以通过人脸图像和正确的标签来更新LBPH模型，以提高未来识别的性能。

3 实验结果

检测过程中，已训练好的分类器会用不同的尺度遍历输入图像的每一个像素，以检测不同大小的人脸。对每个检测到的人脸，去所训练得到的样本模型里去匹配尽可能相似的值，找到后将模型里的显示出来，利用predict函数提供相应的置信度。如图5、图6所示。

4 结语

本文给出了多目标识别的方法，采用监督式学习，读取训练好的yaml文件，对每个监测到的区域的图像分类，并在视频帧人脸区域上方显示分类结果（分类结果显示为标签和可信度），在左上角显示缩略图。利用

解FaceRecognizer::update可解决当有识别错误时无法立即更新样本库的问题。实验结果表明改进后的Harr分类器用于多目标动态识别时，响应快，改进后可用于公众场合进行人流识别。

图5 LBP模型图

图6 识别结果（准确）

[1]Peter N.Belhumeur，Jo～ao P.Hespanha，and David J.Eigenfaces vs.Fisherfaces:Recognition.Using Class Specific Linear ProjectionKriegman.IEEE Transactions On Pattern Analysis And Machine Intelligence，1997，19（4）:711-719.

[2]吴巾一，周德龙.人脸识别方法综述[J].计算机应用研究，2009，26（9）:3205-3208

[3]山世光.人脸识别中若干关键问题的研究.PhD thesis，中国科学院计算技术研究所，2004.

[4]O.Jesorsky，K.Kirchberg，R.Frischholz.Audio-and Video-Based Biometric Person Authentication，Chapter Robust Face Detection Using the Hausdorff Distance，pages 90–95.Berlin:Springer，2001.

[5]江小辉.基于改进型LBP特征的人脸识别研究[D].金华：浙江师范大学，2009.

Multiplayer Target Dynamic Face Recognition

HU Chang-sheng，DING De-hong

（Hunan University of Arts and Science of Computer Science and Technology College，Hunan 415000）

In view of the small occasion to identify the dynamic specific people,under the condition of the required speed and accuracy of launched research.There are many target identification technology at present,adopts LBPH technology,in order to adapt to the dynamic capture the improvement to the algorithm.First introduces the principle of Haar classifier,based on the principle of the design and construction of the Haar classifiers,with the actual experiment on multi-objective images accurately detect the human face and add logo.Then samples of the selected area faces to libraries face in the process of the collection in advance samples than LBP local binary characteristics,and the recognition rate up to 80%,which basically achieved target recognition.The results after the transition can be used for security monitoring station,wharf and other public places.

Classifier Production;Face Recognition;LBPH Characteristics

1007-1423（2016）30-0007-04

10.3969/j.issn.1007-1423.2016.30.002

丁德红（1975-），男，博士后，高工，研究方向为嵌入式、图形图像、系统集成胡昌盛（1994-），男，本科

2016-08-19

2016-10-14