部分遮挡人脸识别的研究进展

摘 要：文章针对部分遮挡人脸识别问题研究进行了综述，总结了人脸识别存在的主要困难，详细分析了部分遮挡人脸识别的主要方法，如图像修复法、局部特征法、鲁棒估计法、稀疏表示法和非负判别式字典学习法，指出了各类方法的主要思想和其中代表性方法，分析了存在的问题以及未来的发展趋势。

关键词：部分遮挡；人脸识别；局部特征；鲁棒估计；稀疏表示

人脸识别包括人脸检测、特征提取和分类器设计等基本步骤，是典型的生物特征识别技术之一。目前已在金融、教育、医疗、旅游和安防等众多领域得到了广泛的应用。

近年来，人脸识别技术已经取得了重大进展，但仍然面临诸多困难，比如光照的变化、表情的变化、姿态的变化、年龄的变化和部分遮挡，如图1所示。

针对表情变化、光照变化、姿态变化和年龄变化等问题，研究人员已经分别进行了深入的研究。然而部分遮挡问题却一直没有引起研究人员足够的重视。现有算法对被遮挡人脸的识别率急剧下降，即使是在严格控制的实验室环境下的遮挡人脸识别问题都一直未得到很好的解决。另一方面，遮挡人脸识别问题又广泛存在于实际应用中，如图2所示。人们日常生活戴的墨镜、帽子、围巾等遮挡物成为导致现有人脸识别算法失败的主要因素。

总之，遮挡已经成为人脸识别技术进一步广泛应用的主要障碍之一，研究对遮挡鲁棒的人脸识别算法有着重要的理论意义和应用价值。

1 部分遮挡人脸识别方法

目前的部分遮挡人脸识别方法大致可以分为4类：图像修复法、局部特征分析法、鲁棒估计法和稀疏表示法。

1.1图像修复法

部分遮挡即相对整个人脸而言，遮挡只占一小部分。图像修复法[5-7]正是基于这样的事实，利用图像信息的冗余性，通过未被遮挡人脸区域的像素值去修复遮挡区域，然后利用恢复后的图像进行识别。这类方法的优点是能够使修复后的区域与整体人脸图像灰度信息一致，不足的是无法恢复遮挡区域的纹理特征。另一方面，此类方法是基于单张图像内已有的冗余信息进行修复的，若双眼区被完全遮挡，则图像内无相关冗余信息，因而无法从图像其他区域找到合适的图像模式来填充遮挡的眼睛区域。因此，基于图像修复的方法能有效解决小面积遮挡人脸识别问题，且需要手动标记遮挡区域，这显然不适合大规模的自动人脸识别。事实上，实际中遮挡类型多样复杂，无法预测。

1.2局部特征法

局部特征法的基本思想是减弱或丢弃遮挡区域在识别中的作用。与图像修复法不同，它不是试图去恢复被遮挡区域。此类方法同样是基于遮挡为局部性的事实，通过对未遮挡局部区域赋予大的权重值，对被遮挡区域赋予小权重值，或者完全舍弃其对应部分的特征，达到消除遮挡影响的目的。典型的方法如局部非负约束的矩阵分解（Local Non-negative Matrix Factorization，LNMF）。实际中，因遮挡导致的重构误差并不服从高斯分布，因此对大面积遮挡很敏感。为此，Oh[9]等提出了改进的局部特征学习法。具体做法是，先将图像分为互不相连的子块，然后利用主成分分析法检测各子块是否被遮挡，据此选择与遮挡无关的基底张成新的投影空间，在新的投影空间上进行人脸识别，实现消除遮挡影响的目的。类似的工作，如Martinez等则是先将人脸划分为多个子块，提出了一种取代传统投票机制的概率权重确定方法。Tan[ll]等在各人脸子块的基础上，通过学习组织映射神经网络来提取特征，实现减弱遮挡影响的目的。整体来看，上述几种算法都是基于图像子块，根据子块是否受影响再作进一步的处理。该方法只对局部集中遮挡有效，如果遮挡分散在整个人脸，如网状遮挡即各个子块中都存在遮挡时，图像分块的方法无法再通过调节权重来消除遮挡的影响。另外实际中遮挡物形状各异、大小不一，同时子块划分方案对结果影响也很大。为此，研究人员提出了提取或增强局部特征的方法来减弱遮挡的影响。如，Zhang等为了减少遮挡对算法的影响，在已有的Gabor=值模式[13]基础上，通过无遮挡局部区域与待评测局部区域之间的局部Gabor=值特征散度来预测遮挡发生的概率，并利用此概率对特征加权，从而达到减弱遮挡的影响。该方法基于以下假设，即遮挡区域直方图分布与对应遮挡物的区域直方图分布之间存在差异。如果遮挡物颜色与人脸肤色相近时（如人脸被手遮挡），该方法性能将受到影响。局部特征法对特定类型的遮取得较好效果，但并未从根本上将遮挡从人脸图像中移除。另外，实际中遮挡类型复杂，仅靠“风险均衡或转移”的思想无法应对所有情况。还存在以下问题值得研究，如遮挡区域检测、未受遮挡区域局部特征有效融合、权重设定等。

1.3鲁棒估计法

上述两种方法都存在不足，如图像修复法在眼睛、嘴巴等重要部位缺失时无法由单张的人脸图像得到恢复，而局部特征法则是减弱或舍弃遮挡区域，导致相应的判别特征一起遭到舍弃。

鲁棒估计法的基本想法是由已有无遮挡样本中通过学习的方法来估计受遮挡部分的图像特征，因而不受遮挡区域大小、位置等因素影响，在遮挡人脸识别中得到了深入研究。

代表性方法有鲁棒主成分分析方法，如Leonardis等[14-15]提出不直接将样本投影到特征空间，而是通过假设检验的方法来估计重建系数，从而实现对遮挡区域的估计。然而，该方法要求训练样本是干净的，不能包含遮挡或噪声。实际中，对人脸这种非刚体而言，在实验环境下采集的样本很难达到此方法对训练集的要求，从而影響遮挡区域估计及最终识别。基于鲁棒估计理论，Dahyot等提出自适应地去估计误差分布，利用半二次优化方法，通过迭代加权最小二乘求解得到主分量。该方法同样依赖于训练样本。类似的工作，如He等提出的最大相关熵的鲁棒主成分分析。Candes等基于低秩的约束提出了一种新的鲁棒主成分分析方法，即将其建模为低秩部分加上稀疏噪声部分。这种方法中训练集中容许有遮挡的人脸图像。但该方法在将遮挡等分离去除的同时，将纹理等一些判别式信息也作为噪声去除了。另外，该方法是无监督的，无法有效利用监督信息。

1.4稀疏表示法

稀疏表示是近年来发展起来的一种新的理论和方法，其核心在于自适应的学习过完备基，使处理对象在这组基下表示是稀疏的。稀疏表示在图像去噪、超分辨率、压缩传感、特征选择等方面取得了成功。稀疏表示最先由Olshausen等提出，该方法通过冗余字典上的稀疏编码，学习得到的字典有类似Gabor滤波器的性质，这为图像表示和分析提供了一条新的思路和方法。Wright等提出将稀疏表示应用于人脸识别SRC（ Sparse RepresentationClassification）。稀疏表示人脸识别的基础是假设同一个人不同光照下的人脸图像处于同一个线性子空间中，将所有不同人脸的训练样本组合得到训练样本字典。对测试样本而言，它只可能由其所在类的样本进行线性表示，因而其在训练样字典的表示是稀疏的。通过求解该稀疏表示，利用在各子类字典上的重构误差大小判别测试样本的类别。结果表明，该方法对光照变化、部分遮挡及随机噪声等鲁棒性非常好。

稀疏表示的鲁棒性，为部分遮挡人脸识别问题提供了新的研究思路。但如何增强字典的判别性，当学习样本部分被遮挡时如何学习字典，如何融合各种判别信息提高算法的鲁棒性，如何解决字典原子中负值像素等问题值得进一步深入研究。在SRC中，以12-范数来度量重构误差，实际上就是假设误差服从高斯分布。然而实际中，遮挡情况下，重构误差根本不服从高斯分布，也不服从拉普拉斯分布。为了解决此问题，Yang等将稀疏编码问题建模为稀疏约束的鲁棒回归问题，通过迭代稀疏编码求解。He等[22]利用相关熵诱导的測度度量重构误差，对重构误差大的像素点赋予小的权重，对重构误差小的像素点赋予大的权重，减小被遮挡像素点的影响，得到了较好的识别结果。与前两种方法不同，Yang等先通过自适应地编码残差来估计被遮挡的像素，然后求得未被遮挡像素的协同表示重构误差，结合类中心的编码偏差分类识别。总的来说，这类方法自适应估计误差分布预测遮挡，区别在于所用的误差估计模型不一样。这些方法在稀疏表示框架下有效提高了算法的鲁棒性，但它们的共同点是：字典仍然是由训练样本组成，因而判别性不强。如何在含有遮挡样本情况下增强字典的判别性，是遮挡人脸识别值得进一步研究的问题。

实际中遮挡部分的像素在空间上具有连续性。基于这样的事实，Zhou等用马尔科夫随机场刻画遮挡像素的空域相关性，提出了基于马尔科夫随机场的部分遮挡人脸识别算法。进一步，结合编码误差的分布和遮挡区域的形状结构信息，Dai等[24]提出了结构化稀疏误差编码的遮挡人脸识别算法。这些研究表明，考虑遮挡的实际形状结构信息能有效提高算法对遮挡的鲁棒性。但不足的是上述两类方法仍然是以训练样本作为字典，要求训练样本都不能被遮挡，因而无法利用实际中大量的遮挡人脸数据。另一方面，由训练样本构成的字典通常都很大，导致稀疏表示求解复杂度急剧增加。因此，研究者提出了从数据中学习紧凑的字典进行遮挡人脸识别。

Deng等[25]提出了通过类内变化表示遮挡的扩展字典人脸识别算法（ Extended-SRC，ESRC），为遮挡人脸识别研究提出了新的思路。但该方法仅仅是将同一个人不同遮挡下的图与无遮挡图的差作为类内变化。这样出现了两个问题：第一，相减产生了负值像素，这与实际是不符合的；第二，当训练样本多时，遮挡字典很大，没有经过任何的优化。基于此，Ou等提出了基于相关性最小化的遮挡字典学习方法。该方法通过投影而非相减得到遮挡模式样本，约束与训练样本字典的相关性，提高遮挡字典的判别性。有效地解决了遮挡字典过大的问题。但与ESRC方法一样，训练样本仍然不能包含任何的遮挡，且训练样本字典没有经过任何优化。Yang等提出了基于fisher准则的判别式结构字典学习方法的人脸识别。该字典由各类的字典构成，每个子字典对本类样本表达力强而对其他类表达力弱，从而增加判别性。最后利用重构误差和稀疏编码系数进行识别。Jiang等[28]直接利用稀疏编码系数作为人脸表示特征，直接将类标信息及线性分类函数一起加入字典学习框架，通过k-svd算法求解字典，有效提高了字典的判别性。类似的工作有]。总之，上述方法分别从重构性、判别性和稀疏性3个方面提出了各种字典学习方法，为研究对遮挡鲁棒的人脸识别算法做了有益的探索。

1.5非负表示法

稀疏表示因没有限制系数的非负性，因而得到的基底出现负像素，这与实际不符。非负矩阵分解作为稀疏非负特征提取方法，有效结合了二者的优势。综合考虑稀疏性和非负性，欧卫华提出了鲁棒判别式非负字典学习方法。该方法利用相关熵诱导距离度量重构误差，通过考虑局部几何相似性和判别式信息，学习到了鲁棒的判别式非负基底，在实际遮挡和随机模拟遮挡中取得了很好地识别效果。

2 存在的问题及研究方向

因部分遮挡人脸识别问题未向光照、表情和姿态等问题受到研究者的关注，目前该领域的研究存在以下问题。

（1）数据集缺乏。没有专门的数据集是阻碍该领域深入发展的重要瓶颈。目前研究实验主要集中在AR数据集上。该数据集是在实验控制条件下采集的、只有两种类型的遮挡，即墨镜、围巾。因此，遮挡类型有限，遮挡方式固定，与实际中复杂遮挡模式差距较大。

（2）实验协议标准不统一。不同研究者通过随机模拟实际中的遮挡进行实验，因而实验结果很难重复，无法进行比较优劣。

近年来，深度学习在人脸识别领域取得了突破性进展，如代表性工作DeepFace'32]，DeepID'33].FaceNet[34]。在深度学习框架下，学习算法直接从原始图像学习对于光照、表情、角度等不变的特征。这些特性是从大量数据中学习得到，并未特别针对每种人脸识别问题。因此，如果针对部分遮挡的特点，设计专门的深度学习神经网络，将是未来解决部分遮挡人脸识别问题的有效途径。

3结语

本文分析了人脸识别面临的主要挑战，指出部分遮挡是其中的主要困难之一，系统分析和总结目前部分遮挡人脸识别的主要方法以及存在的不足，分析存在的主要问题和未来可能的研究途径。