多流形耦合映射下的低分辨人脸识别

郑冬冬,张凯兵

(西安工程大学 电子信息学院,陕西 西安 710048)

0 引 言

人脸识别是计算机视觉领域最重要的研究课题之一[1-2]。目前,在受控条件下的高分辨 (HR,high-resolution)人脸识别方法已趋于成熟,在很多生产实践中开始大范围推广应用。然而,在实际的非受控条件下,受姿态、光照、表情、遮挡和分辨率等不利因素的影响, 人脸识别系统的性能急剧下降, 无法满足实际应用要求。因此,研究低分辨率(LR,low-resolution)人脸的识别技术受到研究者的广泛关注。

在过去几十年,人们提出了许多不同的低分辨人脸识别方法。根据识别原理的不同,大体可以分为3种类型:基于重构超分辨(SR,super-resolution)图像的LR人脸识别方法、基于公共特征子空间的LR人脸识别方法和基于深度学习的LR人脸识别方法。

基于重构SR图像的LR人脸识别方法[3-5]发展迅速,该类方法主要利用图像SR重建技术,获得视觉效果较好的HR人脸图像实现人脸的相似性匹配。尽管基于图像SR的方法能够获得视觉效果较好的HR人脸图像,但容易在人脸关键特征点处引入伪像,严重影响识别性能,而且,随着监控网络的大面积覆盖,该类方法的计算复杂度较高,难以满足实际应用要求。

近年来,基于公共特征子空间的LR人脸识别方法由于其算法相对简单,耗时少等优点,成为一条解决HR-LR人脸图像特征维度不匹配问题的有效途径。此类方法通过学习HR-LR人脸的耦合映射,将不同维数的HR-LR人脸图像先映射到一个公共特征子空间,然后在维数相同的特征子空间中完成HR-LR人脸图像的相似性匹配。目前针对公共特征子空间的LR人脸识别问题主要有2种常见的解决方法:第1种是基于字典学习和稀疏表示的LR人脸识别方法[6-9],该方法主要通过字典学习和稀疏表示对人脸的局部结构特征进行稀疏编码后变换到低维特征空间，实现LR人脸的匹配;第2种是基于耦合映射的LR人脸识别方法,一般有3种映射方式,分别为HR人脸特征到LR人脸特征空间的映射[10-11],LR人脸特征到HR人脸特征空间的映射[12]和HR-LR人脸特征到公共特征子空间的映射[13-14]。其中同时将HR-LR人脸特征映射到公共特征子空间进行匹配的映射方式最为有效,该方法利用HR-LR人脸图像对学习HR-LR耦合映射矩阵,然后利用得到的HR-LR耦合映射矩阵将HR人脸图像特征和LR人脸图像特征变换到维数相同的公共特征子空间,实现HR人脸图像与LR人脸图像的相似性匹配。

随着深度学习的迅速发展,基于深度学习的LR人脸识别方法[15-20]受到了研究者的广泛关注。相比传统机器学习算法,深度学习在处理大量训练样本时更具有优势。其主要通过卷积神经网络提取人脸特征,采用有效的激活函数和损失函数对网络参数进行优化,实现端到端HR-LR人脸的识别。

耦合局部保留映射方法[21](CLPMs,coupled locality preserving mappings method)是一种具有代表性的耦合映射的LR人脸识别方法。该方法在学习HR-LR耦合映射以构建公共特征子空间过程中,仅考虑了样本的局部几何结构信息,而忽略了样本的判别信息和标签信息,导致获得的对偶映射判别能力和可分性不足。为解决上述问题,本文充分考虑了样本的判别信息和标签信息,利用HR-LR人脸图像的局部流形几何结构信息与标签信息,使得相同类别的HR-LR人脸图像在获得的公共特征子空间中的距离应尽可能接近,而不同类别的HR-LR人脸图像在公共特征子空间中的距离应尽可能疏远,从而增强耦合映射关系矩阵的判别能力和可分性,提高LR人脸的识别性能。

1 理论基础

1.1 问题描述

LR人脸识别本质上属于分类问题,核心在于人脸特征的选择与提取,而分类问题可以通过找到一种合适且有效的度量学习方法实现。基于耦合映射的LR人脸识别方法的关键在于如何学习将HR-LR训练人脸图像特征变换到公共特征子空间的两种耦合映射[21],即fL:Rm→Rd与fH:RM→Rd。其中,d表示公共特征子空间的特征维度。理想而言,在公共特征子空间内,同类HR-LR人脸图像特征之间的距离应尽可能接近,反之亦然。耦合映射学习用数学公式表述为

(1)

(2)

通过最小化上述目标函数求解两个耦合映射矩阵PH∈RM×d,PL∈Rm×d。

1.2 多流形耦合映射

与CLPMs方法不同,本文方法不仅考虑了训练人脸图像样本的局部几何结构信息,同时考虑了样本的判别信息和标签信息。用数学公式描述为

(3)

(4)

(5)

(6)

式中kw,kb分别表示HR训练人脸图像类内和类间的邻域样本数目。

(7)

则式(7)可简化为

J(PH,PL)=tr(PTYGYTP)

(8)

通过施加约束实现尺度和旋转不变特性,最小化目标函数解决如下优化问题:

J(PH,PL)s.t.PTYYTP=I,PTYI*=0

(9)

式中:I是大小为d×d的单位阵;I*=[1,1,…,1]T是2Nt项向量。设E=YGYT和F=YYT,优化问题的解p可通过求解P的第2到(d+1)个广义特征向量Ep=λFp得到。注意,矩阵YYT并不总是可逆,故需要施加正则项参数,即YYT+τI。式中的τ是一个小的正整数(本文设置为τ=10-5)。具体求解过程见文献[21]。

本文提出的方法包括2个阶段,即训练阶段和测试阶段。算法流程如下:

2 结果比较与分析

本文使用3个标准人脸库 FERET[22]、YaleB[23]和 CMU PIE[24]验证提出方法的有效性, 并对实验结果进行比较与分析。在所有的实验中, HR 人脸图像均经过手工裁剪和对齐, LR人脸图像由 HR 人脸图像先经过高斯平滑, 然后再通过采样得到。

2.1 人脸库设置

FERET人脸库包含429个不同表情、姿态和光照的人脸图像,其中1 002幅正面人脸图像作为训练集,1 196幅人脸图像作为参考集,1 195幅人脸图像作为测试集,HR人脸图像分辨率为72×72,LR人脸图像分辨率分别为8×8和18×18。YaleB人脸库包含38个不同光照、姿态和表情的人脸图像,其中2 414幅人脸图像作为参考集;CMU PIE人脸库包含68个不同姿态、光照和表情的人脸图像,其中3 329幅人脸图像作为参考集。YaleB和CMU PIE人脸库,均随机选取每个人的50%人脸图像作为训练集,剩余的人脸图像作为测试集,其中HR人脸图像分辨率为32×28,LR人脸图像分辨率分别为8×7和16×14。本文方法在3个标准人脸库上与一些使用主成分分析(PCA,principal component analysis)和线性判别分析(LDA,linear discriminant analysis)提取人脸特征的基准方法,如HR-PCA(直接对HR人脸图像使用PCA提取特征),HR-LDA(直接对HR人脸图像使用LDA提取特征),Cubic-PCA(对LR人脸图像进行Cubic插值并用PCA提取特征),Cubic-LDA(对LR人脸图像进行Cubic插值并用LDA提取特征)和CLPMs方法进行比较。

2.2 特征维度比较与分析

本文在3个标准人脸库上均使用50%的样本作为训练集,利用Rank-1和分辨率为8×8(FERET人脸库)、8×7(YaleB和CMU PIE人脸库)进行实验,分析特征维度对识别效果的影响。如图1所示,本文方法在3个标准人脸库上的识别效果接近或超过HR-LDA基准方法,与CLPMs方法相比,识别率分别提升了3.7%(FERET人脸库),2.5%(YaleB人脸库)和6.5%(CMU PIE人脸库)。对YaleB人脸库,由于人脸图像之间的光照变化差异较大,本文方法的性能提升不太明显,但仍然优于其他方法,且都分布在特征维度较低的维数段。这是因为本文方法不仅考虑了样本的局部几何结构信息,同时考虑了样本的类内与类间判别信息,从而使学习获得的对偶映射能有效提高样本的判别性和可分性。

(a)FERET

(b)YaleB

(c)CMU PIE

2.3 Rank比较与分析

Rank-n是模式识别中用于评价识别算法性能的一项重要指标,它用于计算匹配结果中最靠前的N张人脸图像中包含正确匹配的概率。当匹配的人脸在候选集中按照相似性由大到小排序后,正确匹配的人脸排序越靠前,则算法的效果越好。本部分实验采用Rank-n来评价本文方法的性能,实验设置同上。如图2是不同Rank下算法的识别性能。以FERET人脸库的Rank-1为例,本文方法在N个(N=1,2,…,10)最相似人脸中第一次匹配到目标人脸的概率达到94%左右。而且,在3个标准人脸库上,本文方法的最高识别率在不同rank下均明显优于其他方法,识别率随着rank的逐渐增加而缓慢上升,最终趋于平缓。该实验充分表明了本文方法具有较好的稳定性。

(a)FERET

(b)YaleB

(c)CMU PIE

2.4 分辨率比较与分析

本实验分别对每个标准人脸库设置了两种分辨率来评估本文方法的识别性能,分析分辨率对识别效果的影响,其中FERET人脸库的分辨率分别为8×8和18×18,YaleB和CMU PIE人脸库分辨率分别为8×7和16×14。如图3所示,本文方法在3个标准人脸库上的识别效果都要优于其他方法,不会受分辨率的影响而导致识别效果差于其他方法,充分说明了本文方法对人脸图像的分辨率具有良好的鲁棒性。

(a)FERET

(b)YaleB

(c)CMU PIE

2.5 参数设置对识别效果的影响分析

本文以 FERET 人脸库为基准数据库,在实验参数设置c=24,n=kw=2和kb=10 条件下,分析类内判别项与类间判别项的权重因子a,b对识别效果的影响。如图4所示,随着类内判别项权重因子a的缓慢增加, 识别率迅速上升直至最大值,而后又缓慢下降最终趋于平稳。而随着类间判别项权重因子b的缓慢增加, 识别率在a较小时逐渐下降, 随后识别率基本保持平稳。由此可见, 类内判别项对识别效果有着较大的影响, 充分说明利用训练样本的类别信息构造对偶映射对分类性能的重要性。

图4 参数设置对识别效果的影响

3 结 语

针对低分辨人脸识别中基于耦合映射学习方法的关键问题,提出了一种基于多流形耦合映射的低分辨人脸识别方法。该方法在学习高低分辨率人脸特征间的耦合映射时充分考虑了训练人脸样本的局部几何结构信息和标签信息,同时将样本的类内与类间判别信息加入到目标函数中优化求解对偶映射关系,以进一步提升低分辨人脸的识别性能。通过使用3个标准人脸库进行实验,验证了该方法的有效性。不过,对于光照变化差异比较大的人脸图像,本文方法的识别效果还存在明显的不足,研究提升本文方法对光照变化差异较大的人脸图像的鲁棒性,将是下一步研究工作的重点。