基于嵌入式Linux的复杂光照人脸实时检测研究

黄世震，黄志勇

(1. 福州大学 物理与信息工程学院，福建 福州 350116； 2. 福建省微电子集成电路重点实验室，福建 福州 350002)



基于嵌入式Linux的复杂光照人脸实时检测研究

黄世震1,2，黄志勇1,2

(1. 福州大学 物理与信息工程学院，福建 福州 350116； 2. 福建省微电子集成电路重点实验室，福建 福州 350002)

摘要：为了满足嵌入式设备在复杂光照条件下的人脸检测需求，提出了一种基于光照不变特征的人脸检测方法。该方法先基于Retinex理论提取光照不变分量，再以MB-LBP特征进行AdaBoost人脸检测。结合该方法，实现了一种基于嵌入式Linux的人脸实时检测系统。实验与实际使用结果表明，该人脸检测系统具有较高的人脸检出率，且满足实时性要求。

关键词：人脸检测；嵌入式；ARM；Retinex；MB-LBP；AdaBoost

引用格式：黄世震，黄志勇. 基于嵌入式Linux的复杂光照人脸实时检测研究[J].微型机与应用，2016,35(12)：46-48，51.

0引言

人脸检测是人脸识别等脸部分析的基础，其在图像检索、目标定位、视频监控以及智能人机交互等领域具有广泛的应用前景。经过多年的发展，人脸检测技术已经取得了很大的进展。与此同时，嵌入式平台技术突飞猛进，不仅具备体积小、功耗低等特点，而且其运算能力也得到了很大的提高。除了实时性的要求外，光照变化对人脸检测的影响举足轻重。国内外研究者对光照处理方法做了大量的研究，主要可分为光照归一化、人脸建模、光照不变量三类方法。以直方图均衡化为代表的光照归一化方法在一定程度上能够减弱光照变化的影响，但是在复杂光照情况下效果不是很理想。光锥法和球谐函数法等人脸建模方法效果好，但计算量大，难以满足嵌入式平台的实时性要求。本文从光照不变量的角度入手，提出了一种结合Retinex理论和MB-LBP算子的AdaBoost人脸检测算法，并在ARM开发板上实现。

1硬件平台构建

本文采用处理器为三星Exynos 4412的ARM开发板作为实现平台，该开发板具有主频为1.5 GHz的Cortex-A9 CPU，Mali-400 GPU，1 GB DDR3 RAM。采用USB摄像头作为视频采集输入设备，LCD触控显示屏作为图形界面显示以及触控操作设备。整个硬件平台架构如图1所示。

图1　硬件平台框图

在PC上的Ubuntu系统中建立交叉编译环境，裁剪和编译Linux内核、制作根文件系统，并将Bootloader、Linux内核、根文件系统、USB摄像头和LCD触控显示屏等驱动移植到ARM板上。配置NFS，通过以太网实现PC与ARM板的通信。使用SecureCRT软件通过串口对ARM板进行调试操作。

2软件设计

本文的程序设计用到了开源计算机视觉库(Open Source Computer Vision Library, OpenCV)，图形用户界面设计采用Qt，因此需对OpenCV和QtEmbedded进行交叉编译并移植到ARM板上。整个软件系统框图如图2所示。

图2　软件系统框图

由摄像头的图像传感器将采集到的图像传输到Exynos 4412，经过图像灰度化、尺寸归一化等预处理后，提取光照不变分量，再计算其MB-LBP值，通过Adaboost算法进行人脸检测，若检测到人脸则在显示区域进行标记。

2.1图像采集

本文基于V4L2[1]进行视频图像采集程序设计，其流程图如图3所示。

图3　视频采集流程图

2.2关键算法分析

2.2.1光照不变分量的提取

LAND E H等人[2]在辐照度模型的基础上提出了Retinex理论。物体的颜色不受非均匀性光照的影响，而是取决于物体对不同波长光线的反射能力。图像中的固有属性为其反射分量，图像中的干扰部分为光照分量，可通过去除光照分量保留反射分量，实现光照不变分量的提取。

辐照度模型可用如下公式表示：

I(x,y)=R(x,y)L(x,y)

(1)

式中，I(x,y)为采集到的光照图像，R(x,y)和L(x,y)分别表示图像在(x,y)处的反射系数和光照分量。

辐照度模型中，R(x,y)由物体的固有属性决定，与光照无关，因此Retinex理论的重点在于如何获得R(x,y)。

将灰度化的采集图像变换到对数域，通过低通滤波器分离出光照分量，最后用上述获得的对数域图像减去分离出的光照分量获得光照不变分量。

对公式(1)进行对数变换得到公式(2)：

I′(x,y)=R′(x,y)+L′(x,y)

(2)

式中，I′(x,y)=logI(x,y)，表示对数域的采集图像；R′(x,y)=logR(x,y)，表示对数域的光照不变分量；L′(x,y)=logL(x,y)，表示对数域的光照分量。

这里选用的低通滤波器为极大值滤波器，以保证提取的光照不变分量能有足够的LBP纹理特征供后续人脸检测使用。该滤波器提取图像上(2n+1)×(2n+1)窗口的灰度值，并且将最大的灰度值替换掉当前窗口中心像素点的灰度值，通过该窗口遍历整幅图像求得每个像素点的灰度值。其公式如下：

(3)

其中I(x,y)为像素点(x,y)的灰度值，I(i,j)为像素点(i,j)的(2n+1)×(2n+1)邻域内的灰度值。

本文提取光照不变分量的算法流程如图4所示。

图4提取光照不变分量的算法流程示意图

2.2.2人脸检测

目前广泛使用的人脸检测方法是VIOLA P和JONES M J[3-4]提出的以Haar-like特征和积分图方法进行人脸检测的Haar分类器，该方法是基于FREUND Y和SCHAPIRE R E[5]提出的AdaBoost算法。AdaBoost是一种通过迭代的方法将同一训练集训练的不同弱分类器提升形成强分类器的算法。

OJALA T等人[6-7]提出的局部二值模式(Local Binary Pattern, LBP)是一种图像局部纹理特征描述算子。原始的LBP定义为：对于每幅图像上的像素点在其周围3×3窗口内提取像素值，将周围8邻域的灰度值与窗口中心点的灰度值进行比较，若周围像素点的灰度值大于中心点，则该像素点标记为1，否则为0。用公式表示为：

(4)

(5)

式中：(xc,yc)为窗口中心点坐标；ic为中心点的灰度值；ip为相邻像素的灰度值。

如图5所示，周围8邻域内的像素灰度值经比较可生成8位二进制数00111101，转换成十进制数为61，该值即为中心像素点的LBP值，可用来反映该区域的纹理信息[8]。

图5　原始LBP编码过程

Liao Shengcai等人[9]在原始LBP的基础上提出了MB-LBP (Multi-scale Block Local Binary Patterns)。与原始LBP进行单一像素间比较不同的是MB-LBP采用了子区域块的平均像素值进行比较，较好地对不同尺度的纹理信息进行描述，且具有更好的鲁棒性。

以9×9 MB-LBP为例，如图6所示，将一幅图像的每个子区域等分为9块，计算这9块的平均灰度值，按照原始LBP的编码方式将邻域的平均灰度值与中心子区域的平均灰度值进行比较，得到的编码即为中心子区域的特征值。

图6　9×9 MB-LBP算子

LBP特征是整数特征，相比Haar特征，其训练和检测速度更快。用LBP特征表征人脸时，对光照变化(除局部剧烈变化之外)不敏感。这一点，在实验中进行了验证。本文进行的人脸检测训练与测试基本流程如图7所示。

图7　人脸检测训练与测试基本流程

3测试与分析

为了验证本文提出的方法的效果，从CMU和MIT-CBCL数据库中选取了625个未参加过训练的人脸样本(包括不同复杂光照条件下的人脸)作为测试样本集。测试实验结果如表1所示。

表1　人脸检测测试结果对比

通过实验，可得知本文训练的人脸分类器中，MB-LBP分类器和IIF+MB-LBP分类器的检测速度相比其他两个速度更快。在不同复杂光照条件下，MB-LBP人脸分类器的检测率比Haar-like人脸分类器有所提高，但提高并不多，查找漏检的样本发现MB-LBP分类器相比Haar-like分类器能够多检测出一些光照变化的样本，但对于光照变化剧烈的样本仍然无法有效检测出。而采用提取光照不变分量的IIF+Haar-like分类器和IIF+MB-LBP分类器均能够有效检测出这些光照变化剧烈的样本，且两者的检出率相近。综合检出率与检测速度，在ARM设备上采用IIF+MB-LBP人脸分类器进行人脸检测，不仅满足实时性要求，而且能够有效应对不同复杂光照条件下的检测需求。

图8为最终在ARM平台上实现的人脸实时检测系统，图9为该系统在复杂光照条件下的人脸检测效果。

图8　ARM平台人脸检测系统实物图

图9　复杂光照条件下人脸检测效果

4结论

本文提出了适用于嵌入式设备的复杂光照人脸实时检测的方法，通过基于Retinex理论提取光照不变分量，再以MB-LBP特征训练AdaBoost分类器，用该分类器进行人脸检测。实验验证，该方法能够提高复杂光照情况下的人脸检出率，且具备较快的检测速度。最后，在ARM Cortex-A9平台上实现了摄像头人脸实时检测，经测试与实际使用，整个人脸检测系统效果良好，为后续研究人脸识别以及其他应用奠定了基础。

参考文献

[1] 徐家，陈奇. 基于V4L2的视频设备驱动开发[J]. 计算机工程与设计，2010，31(16):3569-3572.

[2] LAND E H, MCCANN J. Lightness and Retinex theory [J]. Journal of the Optical Society America, 1971, 61(l):1-11.

[3] JONES V M. Rapid object detection using a boosted cascade of simple features[C]. Conference on Computer Vision And Pattern Recognition, 2001:511-518.

[4] VIOLA P, JONES M J. Robust real-time face detection[J]. International Journal of Computer Vision, 2004,57(2):137-154.

[5] FREUND Y, SCHAPIRE R E. A decision-theoretic generalization of on-line learning and an application to boosting [J]. Computer and System Sciences, 1997, 55(1):119-139.

[6] OJALA T, PIETIKäINEN M, HARWOOD D. A comparative study of texture measures with classification based on featured distributions[J]. Pattern Recognition, 1996, 29(1):51-59.

[7] OJALA T, PIETIKAINEN M, MAENPAA T. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(7):971-987.

[8] 贺永刚. 基于局部二值模式的纹理表达研究[D]. 武汉：华中科技大学，2012.

[9] Liao Shengcai, Zhu Xiangxin, Lei Zhen，et al. Learning multiscale block local binary patterns for face recognition[C]. Proceedings of the 2007 International Conference on Aduances in Biometrics， Berlin: Springer-Verlag, 2007:828-837.

中图分类号：TP391.4

文献标识码：A

DOI：10.19358/j.issn.1674- 7720.2016.12.015

(收稿日期：2016-01-26)

作者简介：

黄世震(1968-)，男，博士，高级工程师，主要研究方向：集成电路设计、嵌入式系统。

黄志勇(1990-)，男，硕士研究生，主要研究方向：嵌入式系统、人工智能。

Research on real-time face detection of complex illumination based on embedded Linux

Huang Shizhen1,2，Huang Zhiyong1,2

(1.College of Physics and Information Engineering, Fuzhou University, Fuzhou 350116, China;2.Fujian Key Laboratory of Microelectronics and Integrated Circuits, Fuzhou 350002, China)

Abstract:In order to meet the demand of the embedded device in the face detection under complex illumination, a face detection method based on the illumination invariant features is proposed. The method is based on the Retinex theory to extract the illumination invariant component, and then AdaBoost face detection based on Multi-scale Block Local Binary Patterns (MB-LBP) features is executed. According to this method, a real-time face detection system based on embedded Linux is realized. Experimental and practical using results show that the design of the face detection system has a high rate of face detection, and meets the real-time requirements.

Key words:face detection; embedded; ARM; Retinex; MB-LBP; AdaBoost