基于相对索引特征回归的人脸对齐算法*

杨 韬， 孔 军,2

(1.江南大学 轻工业先进过程控制重点实验室，江苏 无锡 214122；2.新疆大学 电气工程学院, 新疆 乌鲁木齐 830047)

0 引 言

人脸对齐的目的是从人脸图像或视频中定位出诸如眼睛、鼻子、嘴巴等面部特征点，具有广泛的应用前景。但是在现实中，由于人脸形状的多变性，及姿态、不同人脸检测结果等因素的影响，人脸对齐问题仍然面临巨大挑战。

近年，人脸对齐问题的研究取得了很大进步。在诸多算法中，级联形状回归算法作为主流算法而不断被研究改进。Cao X等人[1]提出的显式形状回归(ESR)，通过学习一系列人脸形状回归量，控制人脸由初始形状逐步收敛于目标真实形状，但该算法对噪声十分敏感，且需要存储大量的形状回归量。Ren S等人[2]随后提出了对于每个面部特征点编码局部二值特征(local binary feature,LBF)，提高了对齐速度与精度，但该算法很容易受不同人脸检测器的影响，同时对于较大人脸姿态的鲁棒性不强。

本文在原始LBF算法的基础上进行改进。首先，在特征点相关子区域设计了一种相对索引特征代替形状索引特征;同时提出了一种空间依赖假设，结合相对索引在每个依赖区域进行联合线性回归，最后以实验的方式比较本文的算法与原始的LBF算法，包括对齐表现(精度比较)和算法的鲁棒性(敏感性分析)。

1 级联形状回归

给出一张人脸图像I，人脸对齐问题可以看作由一个包含M个面部特征点的形状S通过迭代的方式最终收敛到目标真实形状的过程

(1)

级联形状回归算法通常从一个初始形状S0开始，可以是取自所有训练样本的平均形状，然后通过T个回归器(R1,R2,…,RT)以级联的方式逐渐修正形状估计。回归器Rt输出形状增量ΔSt结合上一级形状估计St-1更新当前形状估计St

St=St-1+ΔSt

(2)

实际算法设计中，形状增量ΔSt获取可以解释为

ΔSt=WtΦt(I,St-1)

(3)

级联形状回归算法：

1:fort=1 toTdo

2:Set ΔSt←0,Δt←-St-1

3:ft=Φt(I,St-1) ▷ 获得特征

4:ΔSt=Rt(ft) ▷ 回归

5:St=St-1+ΔS▷更新形状估计

6:end for

输出:最终估计ST

LBF算法的创新在于在随机森林的框架下编码每个特征点周围的局部纹理，将像素特征转化成二值化稀疏特征矩阵。随后结合这些局部二值化特征联合学习一个全局线性回归矩阵Wt

(4)

公式前半部分为回归目标；后者为Wt的L2范数正则化矩阵;λ为一个自由收缩参数。实验证明，这种编码方式可使回归更快地收敛，LBF也因此取得了目前对齐算法中最快的成绩。

但该算法很容易受不同人脸检测器的影响。图1给出了原始LBF算法在不同人脸检测器下对齐效果。图中第一列的人脸检测结果来自于IBUG[3]，后2列来自于目前最先进的人脸检测器HeadHunter[4]和Dlib[5]。同时该算法对于较大人脸姿态的鲁棒性不强。可能是由于单一的形状索引特征与全局线性回归配合不足以有效解决现实中的人脸对齐问题。同时，由于人脸外部轮廓和五官各部分的定位难度不同，全局回归共用一个损失函数会导致各个特征点在训练损失函数中分布严重不平衡。

图1 LBF人脸对齐算法在不同人脸检测器下的表现

2 相对索引特征

现实中的人脸对齐常受到较大形状变化的挑战，为了解决这个问题，ESR算法利用形状索引特征：以当前形状St-1为基准，任意像素点在图像中的位置可以由离其最近的特征点m到这个像素点的相对坐标索引，即(m,δx,δy)。这种索引方法相较于传统的图像全局坐标索引方式鲁棒性更强。受启发于ESR算法的成功，LBF在St-1的每个特征点周围随机采样P个像素点，并使用形状索引方式索引像素点。

然而，单一的形状索引特征在面对较大形状变化或个体差异时鲁棒性仍不够强，如图2(a)所示，相同形状索引值对应的像素点在两个人脸上位置差别很大。本文提出了一种更为鲁棒的特征索引方式，称为相对索引特征。对于每个目标特征点m，首先寻找与其具有依赖关系的特征点n。随后在这两个特征点之间采样像素点，并通过二者距离比例r来索引像素点，即(m,n,r)，如图2(b)所示。从图2中可以看出，在面对较大人脸形状变化时，本文的相对索引特征鲁棒性更强。

图2 相对索引特征对比形状索引特征

实际上，如果直接在任意两个特征点之间采样像素点，会出现一些采样的像素点与目标特征点距离过远，从而导致这些像素点失去了描述目标特征点周围纹理信息的意义。将具有相互依赖关系的特征点归为一组可以避免出现该问题。本文简单地将所有特征点进行分组。如图3所示，图3(a)给出了本文作者手动将所有特征点划分为K组，即St=(St,1,St,2,…,St,K)；图3(b)给出了原始LBF算法在以特征点为圆心的一个圆区域内采样像素点；图3(c)给出了本文算法在一个空间依赖假设的前提下，在相邻特征点之间进行采样。这种特征点间依赖假设在后续线性回归中仍然使用到。

图3 空间依赖假设和特征采样

3 半全局线性学习

(5)

式中L和R分别为当前结点中训练样本经过分裂后分别落在左、右子结点的子样本集合；D(L)和D(R)为左、右子结点样本回归目标的方差。训练完成后，所有的叶子结点储存了训练样本的特征信息。随机森林的输出为所有叶子结点的集合：样本到达叶子结点处值为1；否则，为0。

考虑到简单结合所有的局部二值特征构成一个Φt并全局学习一个线性回归矩阵Wt并未有效利用特征点之间的形状约束，且会导致各个特征点在训练损失函数中分布严重不平衡。本文将放弃原有的全局线性学习，在之前的空间依赖假设的前提下将特征映射函数分为K组，即{Φt,1,Φt,2,…,Φt,K} 。然后分别对每组特征点联合学习，即半全局线性学习。对于每一组k，学习过程可以描述为

(6)

特征映射函数Φt,k具有以下特性：1)特征的维数很大；2)特征是高度稀疏的，因为大部分值为0。选择使用支持向量回归(SVR)，同时采用双坐标下降法处理该大规模稀疏线性系统，即使用基于L2范数正则化的L2损失支持向量回归[6]。

4 实 验

实验将本文算法与近几年出现的几种先进算法进行对比。实验评估使用300-W[3]基准数据集，包含3 148个训练样本和689个测试样本。实验中所做的唯一预处理是图像去均值操作。

4.1 评估对齐精度

实验平台为Ubuntu C++环境。实验将本文算法与ESR，LBF，CLM[7,8]算法进行对比，实验结果如图4所示。首先比较了几种算法的平均对齐误差(AE)，如图4(a)，误差通过除以两眼间距离的方式正规化。为了防止一些对齐误差较大的样本影响评估，舍去了对齐误差最高的10个样本后重新绘制了图4(b)。对比2图可以看出，尽管只去掉了10个样本，平均对齐误差的改变幅度却有所差别，例如LBF算法降低了0.83，而本文的算法降低了0.79，相对更稳定。

图4 算法表现对比

绘制了累积误差分布(cumulative error distribution,CED)曲线，如图4(c)。本文采用了文献[8]的设定，样本对齐误差大于0.1即为对齐失败。由于使用平均对齐误差的方式比较算法优良容易受到较大对齐误差样本的影响，设计了一种新的评价机制，即曲线下面积(area under curve,AUC)

(7)

式中e为对齐误差；f(e)为累积误差分布函数。图4(d)给出了这种评价机制结果。从式(7)可以看出 不受对齐误差大于0.1的样本的影响，且相较于CED曲线可以更为直观地评价算法的表现。本文统一采用平均形状作为各个算法的初始形状S0。从图4中可以看出，本文的算法无论在对齐精度还是稳定性上均优于其他算法。

4.2 人脸框敏感性分析

4.2.1 人脸框中心偏移

为了测试算法的鲁棒性，实验将继续测试各个算法在人脸框中心出现偏移的情况下的表现。实验中，将标准人脸框按照上下左右4个方向从0.01～0.1倍框大小共偏移40次。对于每个偏移半径，计算4个方向上的平均对齐误差，将得到10组检测结果，并绘制AUC0.1曲线比较算法的鲁棒性，如图5所示。从图中可以看出，当人脸框发生偏移时，各算法均会受到影响，其中CLM算法表现最为稳定。到当偏移半径超过0.04时，LBF算法变得十分敏感，AUC0.1值从0.451(原始) 到0.438(3 %偏移)，到0.409(5 %偏移)，到0.363(7 %偏移)。本文的算法较LBF和ESR算法更为稳定。

图5 人脸框位移下各算法表现

4.2.2 人脸框缩放

实验测试了各个算法在人脸框缩放情况下的表现。实验中，将标准人脸框按0.9～1.1倍比例缩放，图6给出了各个算法的表现。比较发现，本文算法与CLM算法对于人脸框缩放稳定性较好，LBF算法对于人脸框缩放十分敏感，即使微小的缩放即极大影响算法的表现。

图6 人脸框缩放下各算法表现

5 结束语

提出了一种鲁棒性更强的相对索引特征，并且依赖于特征点间的约束关系将所有特征点分组学习。实验结果表明：本文算法加强了形状约束，在人脸姿态或人脸框变化条件下具有更强的鲁棒性。下一步将尝试改进二值特征编码方式，降低特征维度，提高特征的判决性。

参考文献:

[1] Cao X,Wei Y,Wen F,et al.Face alignment by explicit shape regression[C]∥Computer Vision and Pattern Recognition,IEEE,2012:2887-2894.

[2] Ren S,Cao X,Wei Y,et al.Face alignment at 3000 FPS via regressing local binary features[C]∥IEEE Conference on Computer Vision and Pattern Recognition,IEEE,2014:1685-1692.

[3] Sagonas C,Tzimiropoulos G,Zafeiriou S,et al.300 Faces in-the-wild challenge:The first facial landmark localization challenge[C]∥IEEE International Conference on Computer Vision Workshops,IEEE,2013:397-403.

[4] Mathias M,Benenson R,Pedersoli M,et al.Face detection without bells and whistles[M].Computer Vision,ECCV 2014,Springer International Publishing,2014:720-735.

[5] King D E.Dlibml:A machine learning toolkit[J].Journal of Machine Learning Research,2009,10(3):1755-1758.

[6] Fan R E,Chang K W,Hsieh C J,et al.LIBLINEAR:A library for large linear classification[J].Journal of Machine Learning Research,2008,9(9):1871-1874.

[7] Wang Y,Lucey S,Cohn J F.Enforcing convexity for improved alignment with constrained local models[C]∥IEEE Conference on Computer Vision & Pattern Recognition,Proc of IEEE Comput Soc Conf on Comput Vis Pattern Recognit,2008:1.

[8] Fanelli G,Gall J,Dantone M,et al.Real-time facial feature detection using conditional regression forests[C]∥IEEE Conference on Computer Vision and Pattern Recognition,IEEE Computer Society,2012:2578-2585.