改进RCPR的人脸对齐方法

莫建文，彭　倜，袁　华，张　彤

(桂林电子科技大学 a.信息与通信学院；b.机电工程学院，广西 桂林 541004)



改进RCPR的人脸对齐方法

莫建文a，彭倜a，袁华a，张彤b

(桂林电子科技大学 a.信息与通信学院；b.机电工程学院，广西 桂林 541004)

在鲁棒级联位置回归(RCPR)方法中，逐级迭代决策树的结构单一，而且初始化形状机制效率低和不精准。因而提出了一种改进RCPR的人脸对齐方法，采用随机森林的级联回归，由逐级迭代决策树转成结构稳定的并行决策树；同时在测试阶段，采用直方图统计的人脸形状初始化机制，高效地实现了粗定位。改进的方法在多个数据库中验证了可行性，结果表明提出的算法在光照、表情变化、遮挡等情况下能够保持很好的鲁棒性，并且在精度、失败率上都有较大的提高。

决策树；人脸对齐；随机森林；直方图统计

(1)

式中：S=[x1,y1,…,xP,yP]T。P表示人脸关键点个数。最早Hill[1]等提出了主动形状模型 (Active Shape Model，ASM )，文献[1]能够提取正面人脸的轮廓特征，达到很好的识别效果，但是该算法提取脸部特征时容易产生偏差，使得定位不准确，且迭代寻找最优解的度量函数单一，搜索范围受到限制。随着深度学习的发展，采用卷积神经网络的方法进行人脸对齐也出现了，比如Sun[2]和Zhang[3]的人脸对齐方法，可以达到很好的对齐效果，

但是计算成本较大，模型参数过多。而Dollar[4]提出的双层级联位置回归的人脸对齐算法，该方法采用级联形式，进行位置拟合。紧接着Cao[5]提出了基于显式形状回归(Explicit Shape Regression，ESR)的人脸对齐算法，该算法直接学习一个向量回归函数从而代替整个人脸模型，有效克服了参数模型复杂的问题，具有很强的灵活性，但是该算法在表情变化、遮挡方面等情况下性能较低。针对遮挡问题，Dollar[6]提出鲁棒的级联姿态回归(Robust Cascaded Pose Regression，RCPR)，该算法在文献[4]的基础上增加了对遮挡变化的处理以及特征的选择等方面，增强了遮挡情况下人脸对齐方面的鲁棒性，同时提出了一种技巧重置(Smart Restart)的初始化机制，这种双层级联回归框架，第二层与第一层的训练过程类似，均采用逐级迭代方式，其结构较为单一，同时Smart Restart机制效率较低。Vahid Kazemi[7]也采用了这种级联回归树进行人脸对齐。

在鲁棒级联位置回归(RCPR)方法中，逐级迭代决策树的结构单一，而且初始化形状机制效率低和不精准。本文提出了一种基于随机森林[8]的级联回归器人脸对齐算法，随机森林可以很好地解决多类多分类的问题，其基本思想是将很多弱分类器集成为一个强分类器，也容易实现并行计算，结构很稳定；同时结合了直方图统计方法[9]以获得最接近人脸目标形状的初始化形状，直方图统计高效且实用。在LFPW[10]、COFW[6]自然场景数据库上验证了本文方法的配准效果。本算法在较大姿态、表情、遮挡条件下取得了优于传统级联回归方法的对齐效果。

1　RCPR训练框架以及初始化机制

Dollar[6]采用双层级联回归方法应用于人脸对齐，级联回归器由T个回归器(R1,…，Rt,…，RT)组成，给定一个初始化形状S0，通过不断迭代估计形状，输出最终的人脸形状。人脸形状S表示P个关键点坐标向量，其中Sp=[xp,yp]，p∈1，2,…，P。在每个回归器Rt产生一个形状增量δS，结合之前的估计形状St-1，产生一个新的形状St。

δS=Rt(xt)

(2)

进行人脸形状的更新

St=St-1+δS

(3)

迭代T次后输出最终的人脸形状ST。

在测试阶段，因为基于模型的人脸对齐方法对初始化人脸形状较为敏感。现有的级联回归人脸对齐方法中对初始化有不同的机制，Cao[11]等平均形状作为初始化形状，而RCPR采用了Smart Restart机制，该机制在测试阶段，同时给定M个初始化形状，送入回归器，执行级联回归过程的10%后，计算该M个形状对应关键点坐标的方差var。将阈值记为Th，当var>Th时，则重新初始M个初始化形状，重复以上过程；否则当var

RCPR采用的双层级联回归结构对形状进行从粗定位到细定位的逐级过程，同时所采用的Smart Restart形状初始化机制，能减少失败率。但是因第二层结构采用的是逐级迭代决策树，其结构单一，同时初始化机制类似与“傻瓜式”的重复。存在效率低和不精准的问题。

Smart Restart机制流程(伪代码)如下：

For t=1 to maxIter do

记Md={(mdx0,mdy0),…,(mdxP,mdyP)}

var=Mean(conf)//均值

Ifvar

Break；

End

End

输出：Md //通过smart restart机制得到的形状

2　改进的人脸对齐方法

针对第1节中RCPR的缺陷，本文从两方面对RCPR进行相关改进。

第一，针对RCPR的结构单一导致的鲁棒性不够，在第二层回归器中将逐级迭代的决策树改成随机森林。采用随机森林的回归器，具有无可比拟的分类精度和更强的鲁棒性。

第二，针对测试阶段所采用的Smart Restart初始化机制效率低和不精准的问题，本节基于随机森林的回归框架以及直方图统计提出了一种新的初始化形状机制。该机制能抑制异常点，同时能很好地对关键点进行粗定位。

2.1基于随机森林的回归框架

(4)

(5)

该级联回归算法(伪代码)如下：

输入：回归器R1,…,T，初始形状S0，图像I，位置索引特征h1,…,T

For t=1 to T do

xt=ht(St-1,I) //计算索引特征

δScj=Rt(xt) //回归器的输出

的输出(形状增量δSk)

St=St-1+δSt//更新形状

End

输出：最后的估计形状ST

2.2基于直方图统计的初始化机制

1)对输入的M个初始化形状送入模型中，执行级联回归过程的10%。

3)对P个关键点，重复步骤2)。

本节改进的RCPR人脸对齐方法，结合随机森林的级联回归结构，具有很强分类精度和鲁棒性，同时采用的并行决策树，提高了效率。在测试阶段，结合直方图统计的初始化机制，对噪声具备鲁棒性，同时能很好地对关键点进行粗定位。

3　实验与结果分析

实验1：本实验在原始RCPR模型中仅改进了第二层级联结构，实验首先在COFW人脸库中选取1 345幅人脸图像作为训练集，在COFW中选取剩下的507幅人脸图像作为测试集，得到实验结果如图。对级联回归器的级数(T)以及每个森林所包含的决策树数目(L)进行了分析，统计其对误差的影响，其结果由表1所示。同时对平均误差、失败率、帧率进行了对比，结果见表2。

表1级联回归框架选择对比

第一层级数(T)15102005002000并行决策树数目(L)201210842平均误差0.250.210.180.070.180.23

表2结合随机森林的级联回归对平均误差、失败率、帧率对比

方法平均误差失败率/%帧率/(f·s-1)ESR0.1145.363RCPR0.0827.427本文0.0727.5310

由表1可知，并行决策树个数太少，结构较弱。当T取200、L取8时，结构最优，平均误差最小。观测表2，采用随机森林结构，可以明显增强回归器的性能，但失败率较大，因COFW数据集姿态、遮挡情况较多，对初始化形状很敏感。

实验2：本实验在原始RCPR模型中仅改进了其初始化机制，测试数据集为COFW。得到实验结果如图1所示。

图1　直方图统计初始化机制示意图

测试阶段，给定M(本实验为20)个初始化形状，左图仅显示一个关键点(鼻尖处)，圆点为执行级联回归过程的10%后M个点的分布情况，通过本方法提出的直方图统计初始化机制后，得到右边圆点，作为后期鼻尖关键点处的坐标位置。由图可知，本文初始化机制，能抑制异常点，同时能很好地对关键点进行粗定位。本文也对平均误差、失败率、帧率进行了对比，结果如表3所示。

表3平均误差、失败率、帧率对比

方法平均误差失败率/%帧率/(f·s-1)ESR0.1145.363RCPR0.0827.427本文0.0617.368

由表可知，本文初始化机制在失败率上明显优于RCPR的初始化机制，同时减少了平均误差。因采用直方图统计的初始化机制，去除了“傻瓜式”重复机制，从而提高了帧率。

实验3：改进的RCPR人脸对齐方法，测试数据集为COFW和LFPW。其中LFPW，首先利用Opencv自带的人脸检测方法(Viola-Jones检测器)[12]对LFPW进行人脸检测，最终只得到772张训练图片，217张测试图片。

图2和图3(突显关键点位置)标注点均为人脸对齐测试效果点。实验挑选了遮挡、光照、姿态等情况的图片，由图可知，本文改进模型在光照、表情变化、遮挡等情况下对齐精度比ESR和RCPR模型高，验证了本文所提出的改进模型更具普遍性，鲁棒性更强。为了验证提取算法的整体性能以及鲁棒性，对平均误差、失败率、帧率进行了对比，如表4和表5所示。

图2　COFW数据集测试效果图

图3　LFPW数据集测试效果图

由表4～5可知，本文算法平均误差得到很大的抑制，验证该算法级联框架的可行性。同时本文算法的失败率大大降低，帧率和RCPR相比也有所增加，证明了初始化形状机制的可行性。

表4在COFW上性能对比

方法平均误差失败率/%帧率/(f·s-1)ESR0.1145.363RCPR0.0827.427本文0.0614.7811

表5在LFPW上性能对比

方法平均误差失败率/%帧率/(f·s-1)ESR0.1465.905RCPR0.1141.4713本文0.0924.8815

最后，对累积误差曲线也进行了对比，如图4所示。

图4　累计误差曲线图

观察图4可知，在关键点误差值同样的条件下，关键集分值明显高于ESR和RCPR，证明改进的RCPR在人脸关键点检测方面性能更佳。

改进的RCPR方法已经成功地为人脸提取特征点，通过实验可以看到，改进的RCPR方法从定位特征点的精度和运算成本上都有所提高。

5　结束语

本文针对RCPR算法的不足，提出了一种新的回归器结构，同时对初始化机制进行了改进。本文在第一层采用迭代级联的形式，每个回归器训练若干个并行的决策树(随机森林)，该回归结构，具备很强的鲁棒性和性能。测试阶段，采用一种结合直方图统计的初始化机制，提高了初始化效率和精度，同时减少人脸对齐的失败率。后面在LFPW、COFW数据集上进行了实验，验证提出的算法在对齐精度和效率方面的性能。结果表明，所提算法在平均误差性能有较大改善的同时，大大减少了失败率，提高了帧率。

[1]HILLA，COOTESTF，TAYLORCJ.Activeshapemodelsandtheshapeapproximationproblem[J].Imageandvisioncomputing，1996，14(8)：601-607.

[2]SUNY，WANGX，TANGX.Deepconvolutionalnetworkcascadeforfacialpointdetection[C]//2013IEEEConferenceonComputerVisionandPatternRecognition(CVPR). [S.l.]:IEEE，2013：3476-3483.

[3]ZHANGZ，LUOP，LOYCC，etal.Faciallandmarkdetectionbydeepmulti-tasklearning[M]. [S.l.]:SpringerInternationalPublishing，2014.

[4]DOLLARP，WELINDERP，PERONAP.Cascadedposeregression[C]//CVPR2010.[S.l.]：IEEE，2010：16-27.

[5]CAOX，WEIY，WENF，etal.Facealignmentbyexplicitshaperegression[J].Internationaljournalofcomputervision，2014，107(2)：177-190.

[6]BURGOS-ARTIZZUXP，PERONAP，DOLLARP.Robustfacelandmarkestimationunderocclusion[C]//IEEEInternationalConferenceonComputerVision(ICCV) 2013. [S.l.]：IEEE，2013：1513-1520.

[7]KAZEMIV，SULLIVANJ.Onemillisecondfacealignmentwithanensembleofregressiontrees[C]//IEEEConferenceonComputerVisionandPatternRecognition(CVPR) 2014. [S.l.]：IEEE，2014：1867-1874.

[8]LEOB.Randomforests[J].MaCHINElearning，2001(1)：56-60.

[9]GONZALEZRC.Digitalimageprocessing[M]. [S.l.]：PearsonEducationIndia， 2009.

[10]BELHUMEURPN，JACOBSDW，KRIEGMANDJ，etal.Localizingpartsoffacesusingaconsensusofexemplars[J].IEEEtransactionsonpatternanalysisandmachineintelligence，2013，35(12)：2930-2940.

[11]RENS，CAOX，WEIY，etal.Facealignmentat3000fpsviaregressinglocalbinaryfeatures[C]//IEEEConferenceonComputerVisionandPatternRecognition(CVPR) 2014. [S.l.]：IEEE，2014：1685-1692.

[12]VIOLAP，JONESM.Rapidobjectdetectionusingaboostedcascadeofsimplefeatures[C]//IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition2001. [S.l.]：IEEE，2001：511-518.

责任编辑：时雯

Improved RCPR for face alignment method

MO Jianwena，PENG Tia，YUAN Huaa，ZHANG Tongb

(a.SchoolofInformationandCommunication；b.ElectromechanicalEngineeringCollege，GuilinUniversityofElectronicTechnology，GuangxiGuilin541004,China)

In the robust cascade position regression (RCPR) method， the structure of the decision tree is single， and the efficiency of the initial shape mechanism is low and not accurate.This paper proposes an improved RCPR face alignment method.By using the cascade regression of random forests， the decision tree is transformed into a stable parallel decision tree. At the same time， face shape initialization mechanism with histogram statistics is adopted in the testing stage，so as to achieve efficient coarse positioning. Improved method in multiple database verifies the feasibility. The results show that proposed algorithm can keep good robustness in the light， expression and occlusion. The accuracy and the failure rate are greatly improved.

decision tree； face alignment； random forest；histogram statistics

TN911.73

A

10.16280/j.videoe.2016.09.006

国家自然科学基金项目(61362021);广西自然科学基金项目(2013GXNSFDA019030;2014GXNSFDA118035);广西科技创新能力与条件建设计划项目(桂科能1598025-21)；桂林科技开发项目(20150103-6)；桂林电子科技大学研究生教育创新计划项目(YJCXS201531)

2016-02-03

文献引用格式：莫建文，彭倜，袁华，等.改进RCPR的人脸对齐方法[J].电视技术，2016，40(9)：31-35.

MO J W，PENG T，YUAN H，et al.Improved RCPR for face alignment method[J].Video engineering，2016,40(9)：31-35.