基于特征部位圆形域的人脸图像修复方法

王 肖，魏嘉旺，袁玉波，2

（1. 华东理工大学信息科学与工程学院，上海200237； 2. 上海大数据与互联网受众工程技术中心，上海200072）

（*通信作者电子邮箱1450061144@qq.com）

0 引言

数字人脸图像识别是目前学术界研究的焦点，具有广阔的应用前景。然而，由于人为因素干扰、拍摄设备故障，在传输的过程中的编码、解码等因素，致使原始数字图像有明显缺损［1］，带来人脸图像特征信息损失问题，严重影响人脸识别的精确性。数字图像修复技术针对图像中缺损区域，从目标区域边缘开始，利用非目标区域的结构和纹理信息，按照匹配准则预测并修补未知区域，使得填充后图像视觉上合理真实［2］。

根据修复原理的不同，数字图像修复算法可以分为两类:基于偏微分方程（Partial Differential Equation，PDE）的结构传播方法［3］和基于样本块的纹理合成方法［4］。基于PDE 的结构传播方法结合平滑先验知识，从目标区域的外部向内部传递结构信息完成图像修复［5］。该类有两种经典方法:基于总体变分（Total Variation，TV）［6］的方法和基于曲率驱动扩散（Curvature Driven Diffusion，CDD）［7］的方法。基于PDE 的方法针对小面积非结构的缺损区域（如划痕），修复效果良好，但并不适用于大块缺失且包含复杂结构信息的图像［8］。

基于样本块的纹理合成图像修复方法的原理由非目标区域的信息构造修复优先权，对最高优先权块搜寻最佳匹配块填充目标区域完成图像修复［9］。该类方法最初由Criminisi等［10］于2003 年提出，以去除图像中的大物体为目标，采用非目标区域的纹理信息合成图像中未被遮挡的原始背景。文献［11］在基于样本块的修复基础之上，提出样本块结构稀疏性概念，通过块与相邻块的稀疏性的相似性来度量图像结构块的置信度构造优先级，结果显示该方法使修复区域纹理清晰且与周围结构保持一致。文献［12］在修改Criminisi算法基础上，将图像梯度卷积后的散度作为数据项构造结构张量，进一步提高了修复图像的质量。针对以上方法存在的填充块选择不恰当的问题，2015 年文献［13］提出了一种分离优先级的图像修复方法，根据图像中纹理信息与非纹理信息的比例设计分离优先级定义的算法，实验结果显示该方法可以较好地恢复图像的纹理结构信息。文献［14］针对修复结果存在锯齿效应问题，在优先级修复模型中加入局部特征信息，约束目标块的修复顺序；通过加入梯度信息减小搜索域，提高修复的时间效率。

对于人脸数字图像，文献［15］通过引入人脸先验知识，在人脸数据库中选择同一人脸图像做源区域搜寻匹配块填充目标区域完成图像修复。文献［16］针对人脸图像大块缺失问题，利用在线稀疏字典学习算法，从人脸图像的各种数据集的语料库中设计大量的适应性原子来完成图像修复，该方法在全局模型上，将修复任务表示为一个具有稀疏推广先验的逆问题。但文献［15］和文献［16］的方法均需要人脸数据库的支持，对单一人脸图像并不适用。文献［17］提出了一种新的动态阈值策略，使用快速迭代收缩阈值算法来实现了人脸图像修复。文献［18］针对经典图像修复方法对强纹理结构图像修复效果好，而对于弱纹理的人脸图像修复存在分解精度低，修复结果差的问题，提出分解人脸图像为骨架部分与纹理部分获取稀疏系数修复人脸图像，结果表明该方法可以有效提高图像分解精度恢复人脸图像。

本文方法将人脸特征点定位思想应用于基于样本块的人脸图像修复框架中，提出了基于特征部位圆形域的人脸图像修复方法。通过引入结构梯度项，改善了原始优先级修复模型中未能保持良好的结构连通性的问题，精确计算优先级，使修复效果更接近真实人脸图像；通过人脸特征点定位的自适应窗回归模型［19］对人脸特征部位圆形域分割，提高匹配块搜寻效率，有效减少算法的时间消耗。

1 基于样本块的纹理合成算法原理

基于样本块的纹理合成方法的过程是按照一定顺序搜寻目标块的匹配块修复图像，用优先级函数确定修复顺序，用相似匹配规则确定匹配块的选择。对于输入图像I，图像中的待修复的目标区域为Ω，搜索匹配块的源区域为=I-Ω，即已知区域，目标区域的边界表示为∂Ω，如图1 所示。其中ψp是边界线∂Ω中以点p为中心的像素块。

基于样本块的纹理合成算法的基本步骤如下:

1）计算目标区域Ω中所有像素点的初始优先级：

C（p）为置信度项，计算如式（2）所示:

其中|ψp|是像素块ψp的面积，即像素点数目。初始化时，置信度C（p）在目标区域Ω均为0，在源区域Ωˉ均为1。D（p）为数据项，计算如式（3）所示:

图1 算法原理示意图Fig. 1 Schematic diagram of algorithm

2）选取最高优先级待填充块ψp。以最大优先级像素点p为中心，选取一定大小的像素块为作为待填充的目标块。

3）搜寻最佳匹配块。对目标块ψp，在源区域Ωˉ搜素匹配块，相似性度量规则是:

其中:d（）表示目标块与搜索块像素之间的差异平方和，n是ψp中像素点的数目。

将匹配块的像素值填充到目标块ψp，目标区域Ω发生变化，置信度项与数据项也随之变化，需对其进行更新。重新计算优先级P(p)并重复上述三个步骤直至目标区域Ω为空，完成图像修复。

2 基于特征部位圆形域的人脸图像修复方法

对人脸图像，本文方法在基于人脸特征点定位的自适应窗回归技术［19］上，改进基于样本块的纹理合成方法，提出基于特征部位圆形域的人脸图像修复方法。本文方法的流程如图2所示。

算法的关键内容包括:

1）人脸特征点定位。通过引入人脸特征点定位技术，定位待修复人脸图像的特征点，明确待修复区域在人脸的位置。

2）特征部位圆形域确定。具体实现是根据特征点定位结果，对不同特征部位的特征点分类，计算出特征部极大半径以及圆形域，更精确地定位待修复区域所处的特征部位。

3）重新定义优先级。通过加入结构梯度项，使用梯度信息约束目标区域优先级，优先修复结构区域，提高修复结果的结构连通性。

4）特征部位圆形域搜寻匹配块。对待修复块，判断其所处的特征部位，在其所处的特征部位中搜寻匹配块。对符合结构相似性准则的搜寻结果，直接复制匹配块到目标块完成修复；否则在图像全局搜索匹配块，取结构相似性大的块填充目标区域。

图2 基于特征部位圆形域的人脸图像修复方法流程Fig. 2 Flow chart of face image inpainting based on circular field of feature parts

2.1 人脸特征点定位

对待修复的人脸图像，在基于显式形状回归（Explicit Shape Regression，ESR）［20］的人脸特征点定位的基础上，使用自适应窗回归方法模型［19］，初步定位人脸特征点。该模型核心包括:人脸形状初始化，自适应调整窗口稳定预测结果和基于互信息相关计算的特征选择，该模型的流程如图3所示。

图3 人脸特征点定位模型流程Fig. 3 Flow chart of face feature point location model

针对ESR算法的多级级联回归中预测形状与真实形状偏差较大的问题，自适应窗回归模型使用由粗到细的自适应特征选择方法。该模型在基于先前回归的均方误差上，以αk=αk-1-λμ的方式调整特征窗口长度。具体方式是通过级联回归误差，调整缩减参数λ进而约束特征窗口长度α。基于特征窗口更新方式，对于大误差结果采用大窗口，小误差使用小窗口的方式动态调整搜索窗口，使预测结果不断向真实值逼近。

在特征选择迭代N次后得到N个候选特征点，将特征点成对做差得N*N个像素差。为了规避ESR 算法通过线性相关系数选择特征点的弊端，自适应窗回归方法模型使用基于互信息的特征选择策略。首先计算像素差μ的信息熵H(μ)，以及特征点的定位残差值Y 的条件信息熵H(Y|μ)，然后根据定位残差与像素差之间的互信息I(Y|μ)，最后使用熵相关系数ECC(Y|μ)选择出R个最具代表性的像素差。根据R各像素差构造叶节点数为2R的随机蕨构造回归模型。

2.2 特征部位极大半径圆形域

基于人脸特征点定位的自适应窗回归模型，得到初步定位的人脸特征点。人脸特征点集合记为:

分类为特征点集合S1、S2、S3、S4、S5。S1是左眉眼特征点1～11的集合；S2是右眉眼特征点12～22的集合；S3是鼻子特征点23～31 的集合；S4是嘴巴特征点32～51 的集合；S5是脸部轮廓特征点52～68的集合。

特征点集合S1、S2、S3、S4中的特征点分布在特征部位周围，根据特征点的位置信息确定特征部位的范围。对集合Si分别计算其中心点Ri(Xi，Yi)，Xi、Yi可以通过（7）得到:

其中（xij，yij）∈Si，Ni表示集合Si中特征点的个数。以中心点Ri（Xi，Yi）为圆心，计算特征集合Si中特征点到圆心的欧氏距离，选择最远距离为极大半径ri，即:

其中i= 1，2，3，4。特征部位极大半径圆形域的就是以Ri为圆心、ri为极大半径得到人脸图像的特征部位区域Ei。实验结果如图4所示。

图4 人脸特征部位圆形域Fig. 4 Circular fields of facial feature parts

2.3 优先级的计算

基于样本块的纹理合成图像修复方法中，优先级由置信度项和数据项计算得到。置信度是目标块周围像素信息可靠程度的度量，如图5（a）所示的圆圈部分会有更高优先级，会随着图像修复进程逐渐减小。数据项使得修复过程优先沿着线性结构的方向进行，如图5（b）所示的圆圈部分为结构方向，传播过程进行到目标区域内部，使修复后的图像视觉上有更好的连通性。

置信度项C（p）表示待修复块中已知像素信息的可靠程度，在图像修复过程中会迅速衰减为0 而失去约束效力。对C（p）做指数ex变换，改变衰减趋势使其在修复过程中有效约束优先级。人脸图像作为弱纹理图像，数据项D（p）在图像修复结果的结构连通性上表现并不突出，为了使图像结构信息得到更高的关注，本文引入结构梯度项α（p）。重新定义修复

图6 不同算法的人脸修复结果对比Figure 6 Inpainting results comparison of face images by different algorithms

图7 不同算法修复结果的局部放大对比Figure 7 Local magnification comparison of inpainting results by different methods

3.2 定量分析

实验的定量分析借助峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）与结构相似性（Structural Similarity Index，SSIM）作为评估指标。PSNR的计算方式如下:

其中均方误差（Mean Square Error，MSE）是对比图像的均方误差，2n- 1= 255。PSNR值越大证明两张图像越相似。SSIM的计算如式（15）:

其中:μ是均值，σ是方差，σxy是x和y的协方差。c1、c2是用来维持稳定的常数。SSIM的取值范围是0～1，越接近1 表示两张图像的结构越相似。

采用PSNR 和SSIM 对图6 中的5 张人脸图像修复效果进行对比，如表1所示。

表1 不同算法修复结果的PSNR对比 单位：dB Tab. 1 Comparison of PSNR of inpainting results of different methods unit:dB

相比对比实验，本文方法修复结果的PSNR 值均有最优结果，提高了0.13～4.39 dB。SSIM值结果如图8所示，本文算法对结构相似性也有提高，最高值达到0.977。在科学角度论证了上本文方法相较对比方法有更好的修复效果。即使是修复效果不好的实验结果（图6 人脸1），本文方法在PSNR、SSIM以及视觉效果上均比对比表现优异。

图8 不同算法结果的SSIM对比Fig. 8 Comparison of SSIM of inpainting results of different methods

为了验证本文算法的有效性，对100 张人脸图像进行修复实验及对比实验。实验结果的PSNR 对比如图9 所示。其中柱状图是文献［10，12-14］的方法的结果，折线图是本文算法的结果。对100张人脸图像，本文算法修复效果只有3%的情况下略逊于对比实验。对于所有人脸图像的修复结果，文献［10，12-13］方法的PSNR 均值差异不大，分别为34.132 dB、34.354 dB、34.576 dB；文献［14］相对有较好的修复效果，PSNR 均值为35.576 dB；而本文算法的PSNR 均值为36.795 dB，比对比方法高出1.219～2.663 dB，再一次论证本文算法在修复人脸图像上的优越性。

图9 不同算法修复人脸图像的PSNR对比Figure 9 PSNR comparison of different algorithms for inpainting face images

3.3 时间评估

相对于对比实验采用全局搜索的方案，本文方法在搜索匹配块时是在特征部位极大圆形域内搜索，所以在时间效率上有绝对的优势。为了验证本文方法的时间效率优越性，对图5的各个实验的耗时记录如表2所示。由表可知，修复方法的时间消耗与图像大小以及破损像素数紧密相关。文献［12］的时间消耗最多，这是由于该方法将图像梯度卷积后的散度作为数据项构造结构张量，在每次更新目标域后的数据项计算极度消耗时间。文献［14］的方法由于加入梯度信息减小搜索域，实验耗时会比文献［10，12-13］的方法少。本文方法采用局部搜索匹配块的方式不仅可以准确修复目标域，且速度更快。

表2 不同方法消耗时间对比Tab. 2 Comparison of time consumption of different methods

对100张人脸图像的修复耗时箱型图如图10所示。本文算法在修复耗时上的优越性非常明显。对于所有人脸图像的实验耗时，文献［10］的平均结果为36.918 s，文献［12］为59.308 s，文献［13］为52.688 s，文献［14］为27.568 s；本文方法为18.003 s，时间消耗减少了34.7%～69.6%。以文献［10］方法时间消耗作为基准，可以看出文献［12-13］方法均是以时间消耗作为代价提高图像修复精度的；文献［14］方法在时间消耗上有所减少，但对于人脸图像的修复效果并没有非常突出；而本文算法在提升精度的同时有效减少时间消耗，具有最佳性能。

图10 不同方法的耗时箱型图对比Fig. 10 Box diagram of time consumption of different methods

4 结语

由于优先级计算的不精确性，对弱结构特征的人脸图像，基于样本块的纹理合成方法在修复时通常会出现结构不连通和填充不合理的情况。鉴于此，本文在文献［10］方法的基础上，提出了一种基于特征部位圆形域的人脸图像修复方法，通过引入人脸特征点定位的自适应窗回归模型定位特征点，确定人脸特征部位极大半径圆形域，精确分割人脸图像。对优先级函数进行改进，引入结构梯度项，使修复顺序更为合理。此外，在搜索匹配块的过程中，根据目标块与各特征部位圆形域的相对位置，选择更为精准的搜索域完成匹配块搜索，减少时间消耗。实验结果表明，本文方法在修复人脸图像上，不仅可以保持结构连通性，相比文献［10，12-14］方法，视觉上更加合理，更接近真实人脸特征，且限定搜索域有效地缩短修复时间。