基于最大间隔准则的鲁棒多流形判别局部图嵌入算法

杨洋 王正群 徐春林 严陈 鞠玲

摘 要：针对显式形状回归（ESR）对于一些面部遮挡、面部表情过大样本定位精度低的问题，提出一种自适应窗回归方法。首先，应用先验信息为每张图片生成精确的人脸框，用人脸框的中心点对人脸进行特征映射，并进行相似变换得到多个初始形状;其次，提出一种自适应窗口调整策略，基于先前回归的均方误差自适应地调整特征窗口大小;最后，基于互信息（MI）的特征选择策略，提出新的相关性计算方法，在候选像素集中选出最相关的特征。在三个公开数据集LFPW、HELEN、COFW上，相较于ESR算法，所提方法的定位精度分别提升7.52%、5.72%和5.89%。实验结果表明，自适应窗回归方法可以有效提高人脸特征点定位精度。

关键词：显式形状回归;人脸特征点定位;相似人脸变换;自适应窗回归;互信息

中图分类号：TP391.4

文献标志码：A

3 实验结果与分析

3.1 实验环境

本实验的运行环境为：Windows10 64位操作系统，8GB内存，Intel Core i74700MQ 2.4GHz中央处理器，Matlab R2016a工作站。实验数据选用人脸特征点定位领域三大通用数据集：LFPW[18]、HELEN[19]、COFW[11]。LFPW是一个轻量级的图片库，图片全部来源于网络，包含各种姿态以及不同室外环境下的人脸图片，共有1035张图片。本文选择其中811张图片作为训练集，224张图片作为测试集，每张图片上面标记了68个特征点坐标。HELEN图片库共有2330张图片，同样来源于网络。本文选取2000张作为训练图片，其余330张作为测试图片，每张图片标注68个特征点。COFW数据集是一个高遮挡且大姿态的数据集，由现实世界中有挑战性的几类图片组成，例如：戴墨镜的图片、戴帽子的图片、夸张表情的图片以及大角度的侧脸图片等。该数据集可用来测试算法的鲁棒性，共有1852张图片，本文选择1345张图片作为训练集，剩余507张图片作为测试集，每张图片标记29个特征点坐标。

3.2 实验细节

参数设置 人脸初始化形状个数M设为10，初始特征选择窗口的长度为0.3倍双眼距离，第一级级联回归器的个数K设为10，第二级回归器的个数L设为500，每次级联回归在人脸框范围内选择的候选像素点个数N1设为500，在候选像素点中选出最相关的像素差个数N2设为5，式（5）中的β设为1000，式（12）中的θ设为0.025。

衡量指标 为了衡量不同人脸定位的误差，采用了一种对于不同尺寸人脸均适用的误差评价指标：

3.3 实验结果

3.3.1 与现存方法对比

为了验证本文提出的改进算法是有效的，本文分别在LFPW、HELEN、COFW数据集上与ESR算法进行对比。为了综合衡量本算法的效果，本文还选择了当前特征点定位领域最先进的三个算法：RCPR算法、SDM算法、LBF算法进行对比。由表1可知：本文算法在LFPW和HELEN数据集上面的定位误差都要小于上述四个算法，在COFW数据库上面的定位误差略大于RCPR算法。这是由于RCPR算法针对大面积遮挡与丰富面部表情的数据样本进行算法优化，引入了样本特征点是否遮挡这一先验信息，而COFW数据集上面大多数都是带有遮挡的样本，故RCPR算法在COFW数据集上面效果很好。本文算法通过相似变换的人脸初始化，可以有效减小面部尺度大小、面部偏转角度以及面部表情带来的误差;通过自适应由粗到细的窗口调节方法与基于互信息的特征选择方法，可以有效地提取出面部最有代表性的特征，也可以在一定程度上对面部遮挡区域进行过滤，减少遮挡区域特征的提取，提高遮挡样本的定位精度。

4 结语

本文对ESR算法进行了以下改进：首先，应用先验信息为每张图片生成人脸框，然后进行特征映射，再进行相似变换得到多个初始形状;其次，提出一种自适应由粗到细的特征选择方法，基于先前回归的均方误差自适应地调整特征窗口大小;最后，改进了相关性公式，使用基于互信息的特征选择方法，在候选像素集中选出最相关的特征。在三个公开数据集LFPW、HELEN、COFW上的实验结果表明，本文的改进算法相较于ESR算法定位精度有较大提升。

然而，本文算法对于大面积遮挡样本的定位并不是十分精准，存在细小的误差，并且，根据表1中的结果，本文算法的定位误差在LFPW、HELEN、COFW数据集上是递增的。这是因为三个数据集中遮挡样本所占比例依次递增。由此可见，本文算法对于遮挡样本的定位能力还有提升空间。未来工作，将集中在提升遮挡样本的定位精度上，设计一种方法，可以在不使用遮挡信息的情况下，提高定位精度。

參考文献 （References）

[1]     VIOLA P， JONES M. Rapid object detection using a boosted cascade of simple features[C]// Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2001： 511.

[2]     陈凯星， 刘赟， 王金海，等. 基于遗传机制和高斯变差的自动前景提取方法[J]. 计算机应用， 2017， 37（11）： 3231-3237.（CHEN K X，LIU Y， WANG J H， et al. Foreground extraction with genetic and difference of Guassian[J]. Journal of Computer Applications， 2017， 37（11）： 3231-3237.）

[3]     張欢欢， 洪敏， 袁玉波. 基于极端学习机的人脸特征深度稀疏自编码方法[J]. 计算机应用，2018， 38（11）： 3193-3198.（ZHANG H H， HONG M， YUAN Y B. Deep sparse autoencoder using extreme learning machine for facial feature[J]. Journal of Computer Applications， 2018， 38（11）： 3193-3198.）

[4]     COOTES T F， TAYLOR C J， COOPER D H， et al. Active shape modelstheir training and application[J]. Computer Vision & Image Understanding， 1995， 61（1）： 38-59.

[5]     COOTES T F， EDWARDS G J， TAYLOR C J. Active appearance models[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2001， 23（6）： 681-685.

[6]     KAZEMI V， SULLIVAN J. One millisecond face alignment with an ensemble of regression trees[C]// Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2014： 1867-1874.

[7]     DOLLAR P， WELINDER P， PERONA P. Cascaded pose regression[C]// Proceedings of the 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2010： 1078-1085.

[8]     OZUYSAL M， CALONDER M， LEPETIT V， et al. Fast keypoint recognition using random ferns[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2010， 32（3）： 448-461.

[9]     CAO X， WEI Y， WEN F， et al. Face alignment by explicit shape regression[C]// Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2012： 2887-2894.

[10]    REN S， CAO X， WEI Y， et al. Face alignment at 3000 fps via regressing local binary features[C]// Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2014： 1685-1692.

[11]    BURGOSARTIZZU X P， PERONA P， DOLLAR P. Robust face landmark estimation under occlusion[C]// Proceedings of the 2013 IEEE International Conference on Computer Vision. Washington， DC： IEEE Computer Society， 2014： 1513-1520.

[12]    XIONG X， TORRE F D L. Supervised descent method and its applications to face alignment[C]// Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2013： 532-539.

[13]    SUN Y， WANG X， TANG X. Deep convolutional network cascade for facial point detection[C]// Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2013： 3476-3483.

[14]    ZHOU E， FAN H， CAO Z， et al. Extensive facial landmark localization with coarsetofine convolutional network cascade[C]// Proceedings of the 2013 IEEE International Conference on Computer Vision Workshops. Washington， DC： IEEE Computer Society， 2013： 386-391.

[15]    賈项南， 于凤芹， 陈莹. 改进的显式形状回归人脸特征点定位算法[J]. 计算机应用， 2018， 38（5）： 1289-1293. （JIA X N， YU F Q， CHEN Y. Improved explicit shape regression for face alignment algorithm[J]. Journal of Computer Applications， 2018， 38（5）： 1289-1293.）

[16]    YU L， LIU H. Efficient feature selection via analysis of relevance and redundancy[J]. Journal of Machine Learning Research， 2004， 5（12）： 1205-1224.

[17]    黄玉琴， 潘华伟. 基于分类外形搜索的人脸特征点定位[J/OL]. 计算机应用研究， 2019， 36（5） [2018-09-20]. http：//www.arocmag.com/article/02201905056.html.（HUANG Y Q， PAN H W. Face alignment based on classified shape searching[J/OL]. Application Research of Computers， 2019， 36（5） [2018-09-20]. http：//www.arocmag.com/article/02201905056.html.）

[18]    BELHUMEUR P N， JACOBS D W， KRIEGMAN D J， et al. Localizing parts of faces using a consensus of exemplars[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2013， 35（12）： 2930-2940.

[19]    LE V， BRANDT J， LIN Z， et al. Interactive facial feature localization[C]// Proceedings of the 12th European Conference on Computer Vision. Berlin： SpringerVerlag， 2012： 679-692.