利用判决回归的快速人脸特征定位算法

刘 畅，毕笃彦，熊 磊，李岳云

（空军工程大学 航空航天工程学院，陕西 西安710038）

0 引 言

当前，跟踪与记录非刚体物体 （比如人脸）的形状与外观变化，仍然是一个十分具有挑战性的问题。经过几十年的探索，人们研究出了一系列高效而又准确的方法，包括常用的主动形状模型 （active shape models，ASM）、主动外观模型 （active appearance models，AAM）以及受限局部 模 型 （constrained local models，CLM）［1］。若 干 衍 生的AAM［2，3］匹配方法中，一些具有实时的人脸跟踪能力，这使得AAM 成为最常用的人脸跟踪方法之一，然而该方法的特征点初始化准确度对于最终匹配结果的精确度影响非常大。由此学者们又提出了AAM 的判别匹配方法［4，5］，它利用已有的训练数据来学习匹配更新模型，对于粗略的特征点初始化显示出了很强的鲁棒性，但是该算法在运算效率方面差强人意［5］。

Cristinacce等提出的受限局部模型从某种程度上解决了这个问题，之后Saragih创造性地提出了正则特征点均值漂移法 （regularized landmark mean－shift，RLMS），在特征点定位精确度方面已经超越了AAM 算法，并且被认为是在一般性人脸匹配情景下当今最好的算法之一。Asthana等［6］提出了一种CLM 框架下的判别响应图匹配法 （discriminative response map fitting，DRMF），它 的 性 能 优 于RLMS［1］和树状模型的算法［7］，并且实验显示基于HOG 特征的块专家方法能够大幅提高CLM 框架下匹配的表现及其鲁棒性。

本文对DRMF方法中的回归算法进行了进一步优化，可以实现鲁棒的形状参数更新，并大幅提高了算法的处理速度。

1 研究中存在的问题

人脸可变形模型的目标是对未知图像中的人脸形状进行预测并用参数表示。人脸可变形模型大致可以被分为两大类：①全局模型：利用全局纹理对人脸进行表示；②局部模型：主要利用特征点周围的局部图像块对人脸进行表示。第一类中比较著名的模型有AAM［2］；第二类包括的模型有CLM［1］和树状模型［7］。

1.1 全局模型

全局模型首先需要建立一个形状模型，通常先标记n个面部基准特征点x＝ ｛xi，yi｝T，i＝1，…，n 并把它们串联成一个向量s＝ ｛x1，…，xn｝T，然后就可以对这些训练样本点进行PCA 降维并通过学习来建立一个统计的形状模型，之后我们分别针对每个特征点建立一个局部的纹理特征，并在搜索过程中在形状模型的约束下，利用建立好的纹理特征与目标图像进行匹配来更新特征点位置，反复迭代从而获得准确地人脸特征点定位。

全局模型的缺点：①定义一个线性统计模型来说明身份、表情、姿态、光照的变化比较困难；②同样，由于面部纹理的巨大变化，实现纹理特征到形状参数的回归也很困难 （在最新的一个算法当中利用随机选择的纹理样本实现了全局形状回归［8］，但文中没有提及具体的实现方法）；③部分遮挡问题不容易处理；④由于需要对整个图像定义一个翘曲函数，三维形状模型也不易被合成，只能通过牺牲效率［9］或在代价函数中加入其它参数来实现。

1.2 局部模型

局部模型的主要优点有：①因为我们关心的只有人脸区域，所以部分遮挡问题可以很容易地解决；②由于不需要对翘曲函数进行估计，三维的人脸模型可以直接进行合成。通常来说，利用局部模型表达人脸时，可以用M ＝｛S，D｝进行表示，其中是一组面部特征的检测器 （每个检测器与形状模型中的特征相对应）。目前有许多种构造局部模型的方法［1，7］，在本文当中我们主要研究的是ASM 与CLM 的方法［1］。

CLM 的形状模型可由下式表示

其中，R （通过俯仰rx、偏航ry和滚转rz进行计算），s和t＝ ［tx；ty；0］分别控制着形状刚性的旋转、尺度和平移变化，q控制着形状的非刚性变换。因此形状模型的参数就是p＝ ［s，rx，ry，rz，tx，ty，q］。另外，D 是一组用于检测人脸n 个分块的线性分类器，可以写作D＝ ｛wi，，其中wi和bi是人脸第i 个分块的线性检测器 （例如嘴角检测器），这些检测器把第i个分块与给定图像L 中位置x被正确定位 （li＝1）定义为

式中：f（x； ）是从图像 中以xi为中心的分块中提取的特征。显然，在x处没有被正确定位的概率就是p（li＝－1｜x， ）＝1－p （li＝1｜x， ）。

ASM 和CLM 的目标就是从参数p中建立一个形状模型，使得模型中形状与特征点的位置与图像能够准确地对应。用概率论的方法，我们可以通过求解下面的公式来找到形状模型s（p）

在文献 ［1］中，通过假设一个等方差各向同性的高斯核密度对于每一个训练集的每一个分块i都进行估计，即p（li＝（xi（p）｜yi，p ）上面的优化问题可以被重写为

先验概率p（p）起到规范的作用，一般选择关于q的零均值高斯先验函数 （p（p）＝ （q）｜0，Λ））。在文献［1］中采用了期望最大化 （expectation maximization，EM）算法解决了上述优化问题。

2 判别响应图匹配

在本文当中，我们借用了不同于1.2中RLMS中最大化重建概率的方法，在已知图像中所有块区域都被正确定位的条件下，用判别回归的方法来估计模型参数p，找到一个形状变化的响应估计到形状参数更新的映射。我们假设在训练集中引入一个形变Δp，并且我们对每一个形变点周围w×w 的区域进行响应估计，Ai（Δp）＝［p（li＝1｜x＋xi（Δp）］；然后从得到的响应图f（｛Ai（Δp））中，我们希望学习到一个函数f，满足f（｛Ai（Δp））＝Δp，我们把这种方法就叫做判别响应图匹配 （DRMF）［6］。选择这种方法主要是考虑到与纹理特征在基于全局回归方法的AAM框架下不同，响应图有以下特点：①可以在参数集很小的情况下准确地表示人脸；②具有学习能力的概率响应图字典可以非常忠实地重建出未知图像的响应图。

总体来说，DRMF方法的训练过程包含两大步：首先，我们需要训练一个用于响应图近似的字典，用它来提取相关的特征来对更新的匹配模型进行学习；然后通过一个改良的Boosting方法来进行迭代学习更新模型，目的是学习弱分类器来对所有特征点响应图的联合低维投影和形状模型的更新参数Δp 之间的非线性关系进行建模。

2.1 训练响应块模型

在进入到学习步骤之前，我们首先要建立一个响应图的字典，使它可以对任何未知图像的响应图进行表示，也就是用很少的参数去表示Ai（Δp）。假设我们已经获得了一组包含着多种形状变化的训练响应数据 ｛Ai（Δpj）｝j＝1，可以通过一个简单的方法来对第i个字典进行学习：将训练响应集向量化并列成一个矩 阵Xi＝［vec（Ai（Δp1）），...，vec（Ai（Δpn））］，然后进行非负矩阵分解 （non－negative ma－trix factorization，NMF））得到我们需要处理的非负响应。这样矩阵就被分解为Xi≈ZiHi，Zi就是我们要求的字典，Hi表示对应权重。在给定一个字典的条件下，响应图的对应权重可以通过下式得到

公式的求解可以采用NMF的方法。之后，与之前直接在形变响应 ｛Ai（Δp）中计算回归函数不同，本文是在低维的权重向量 ｛hi（Δp）中计算回归函数来 更新参数Ltest。

根据实际需求考虑并且为了避免在匹配过程中对每个分块进行式 （5）的优化求解，我们对 ｛Ai（Δp）进行PCA 处理。在对其进行PCA 处理后，对应的权重向量hi就可以通过在PCA 主成分中进行简单的投影得到。可以从图一看出运用PCA 响应图进行重建的效率 （能捕捉到人脸85%的变化）。我们把这种字典称作响应块模型

其中，mi和Vi分别是从n个特征点中得到的平均形状向量和PCA 主成分。

2.2 训练参数更新模型

给定N 个训练图像L 和对应的形状模型S，我们的目标是对从响应块模型 ｛M，V｝当中得到低维投影与参数更新之间的关系进行迭代建模。使用改进Boosting的方法在一个在预先标定好的真实参数附近来采样形状模型参数空间，然后对当前采样形状响应块的低维投影 （由第t个采样形状参数pt表示）和更新参数Δp（Δp＝pg－pt）之间的关系进行迭代建模。详细的训练步骤如下：

令T 为从形状S中采样得到的参数个数，初始采样形状参数集就可以用p（1）表示

式中：上标 “1”表示初始集 （第一次迭代）。然后提取出响应块 （用p（1）中的采样形状参数来表示），并用响应块模型 ｛M，V｝来计算其低维投影。之后将这些投影排列成一个 联 合 低 维 投 影 向 量c（） ＝ ［h1（Δ），...，hn（）］T，与每个采样形状一一对应，得到

其中，χ（1）表示从训练集中得到的初始联合低维投影。通过训练集T（1）＝ ｛x（1），Ψ（1）｝，我们学习到了第一次迭代的匹配参数更新函数，也就是一个弱学习器

我们再把所有T（1）中的样本通过F（1）来生成并去除掉）中已经收敛的样本来生成T（2）进行第二次迭代，这里的收敛指的是预测形状与标定好的真实形状之间的标准差小于某个阈值 （本文设此阈值为2）。

任何一种回归都可以运用到这个框架下，本文对这一环节进行了具体的优化，采用线性支持向量回归（SVR）［10］方法。我们总共设置了16个形状参数，包括6个全局形状参数和重要性排名最靠前的10 个非刚性变化参数。基于结构化的方法同样也可以运用到我们这个框架下，对于那些被去除的收敛样本，我们从相同的图像I中利用第一次收敛中被去除的样本生成一个新的样本集来替代。我们把这个新样本通过F（1）继续增殖并去除掉其中的收敛样本来另外生成第二次迭代的替代训练集T（2）rep，第二次迭代的更新为

得到了第二次迭代得到的匹配参数更新函数，即弱学习器F（2）。在每次迭代中这种去除与替代的方法有两层优点：一是它可以保证匹配更新函数是利用在先前迭代中未收敛的样本进行训练，来增强模型的鲁棒性；二是矫正之前迭代过程中因过度匹配而出现的样本偏移。

上述的训练过程将会不断迭代进行直到训练样本收敛或者到达我们所设置的最大迭代次数η。最终得到的匹配参数更新模型U 就是一个弱学习器的集合

整个训练过程如算法1所示。

算法1：训练参数更新模型输入：PDM， ，S，｛M，V｝1 初始化形状参数样本集2 初始化联合低维样本集3 生成样本集 （1），进行第1次迭代4 for i＝1→ηdo 5 利用样本集 （i）计算弱分类器 （i）6 通过 （i）增殖 （i），生成 （i）new 7 消除 （i）new 中的收敛样本，生成 （i＋1）8 if （i＋1）是空集 then 9 所有训练集收敛，停止训练。10 else 11 从步骤7被消除的样本图片中得到新的形状参数样本集12 计算步骤11中生成样本集的联合低维投影集13 生成新的替代训练集 （i）rep 14 for j＝1→i－1 do 15 通过 （j）增殖 （i）rep 16 去除 （i）rep中收敛的样本17 更新 （i＋1）← ｛ （i＋1）， （i）rep ｝输出：匹配参数更新模型U

2.3 匹配过程

给定训练图像Ltest，匹配参数更新模型U 就可以对参数更新Δp 进行迭代计算。匹配结果的好坏由当前形状模型在当前迭代步骤中对每个特征点的位置的匹配得分 （概率值）来评判，得分最高的就是最后的匹配形状。

3 实 验

我们对算法在Multi－PIE 数据库进行一般性的人脸匹配实验。Multi－PIE是最常用的一般性人脸匹配实验数据库，也是与前人算法进行比较最常用的数据库，并且其中包含有数千张不同人脸及各种表情、光照和姿态的图片，也就更能突显出DRMF算法在一般性人脸匹配当中处理多种人脸变化的准确性。本文选取树状模型作为对比算法，我们截取部分实验图像如图1～图3 所示，结果表明本文提出的算法优于树状模型。并且我们还发现在同等条件下在特征点定位方面CLM 的表现要比树状模型要好，我们猜测是因为树状模型并不是专门应对人脸而建立的模型，它允许其它非人脸的结构出现，这就使得在匹配过程中很难准确的定位，特别是在处理人脸表情比较丰富的图像时。另外，从表1 可以看出本文算法的匹配过程非常高效，可以实现对图像的实时处理。在目前的MATLAB平 台上，在Intel Xeon 3.80 GHz处理器上处理一张图片只需要1s。

图1 对 “Psy”的定位结果比较

图2 对 “Obama”的定位结果比较

图3 对 “Blonde”的定位结果比较

表1 算法速度／s

4 结束语

我们提出了一种在CLM 框架下的判别响应图匹配法，该方法可以用很少的参数表示响应图并且高效地对未知的响应图进行重构并对其回归方法进行了优化，实现鲁棒的形状参数更新，并大大提高运算速度。我们在一般性的人脸匹配环境（Multi－PIE）下进行了深入的实验，结果表明DRMF方法对于非标记的人脸图像表述效果显著并优于目前流行的树状模型算法。而且DRMF方法在计算方面非常地高效，能够达到实时处理的要求，其定位准确度也有一定提高。

［1］Saragih J，Lucey S，Cohn J.Deformable model fitting by regularized landmark mean－shift ［J］.IJCV，2011，91 （2）：200－215.

［2］Asthana A，Asragih J，Wagner M，et al.Evaluating AAM fitting methods for facial expression recognition ［C］／／In ACII，2009.

［3］Tzimiropoulos G，Alabort－i－medina J，Zafeiriou S，et al.Generic active appearance models revisited ［C ］／／In ACCV，2012.

［4］Liu X.Discriminative face alignment ［J］.IEEE PAMI，2009，31 （11）：1941－1954.

［5］Saragih J，Goecke R.Learning AAM fitting through simulation ［J］.Pattern Recognition，2009，42 （11）：2628－2636.

［6］Asthana A，Zafeiriou S，Cheng S，et al.Robust discriminative response map fitting with constrained local models［C］／／In CVPR，2013.

［7］Zhu X，Ramanan D.Face detection，pose estimation and landmark localization in the wild ［C］／／In CVPR，2012.

［8］Cao X，Wei Y，Wen F，et al.Face alignment by explicit shape regression ［J］.International Journal of Computer Vision，2014，107 （2）：177－190.

［9］Albrecht T，Lüthi M，Vetter T.A statistical deformation prior for non－rigid image and shape registration ［C］／／In CVPR，2008.

［10］Ho C，Lin C.Large－scale linear support vector regression［J］.Journal of Machine Learning Research，2012，13：3323－3348.