基于生成式对抗网络的人脸识别开发

成都理工大学核技术与自动化工程学院 张 卫 马 丽 黄 金

基于生成式对抗网络的人脸识别开发

成都理工大学核技术与自动化工程学院 张 卫 马 丽 黄 金

目前人脸验证和识别在计算机科学应用中仍然存在困难，依据侧脸合成正脸一直是计算机视觉领域的一个难题，而生成对抗网络在图像生成描述方面取得了一定突破，双路径对抗生成网络通过单一侧面照片合成高清晰的正面人脸图像，能够有效的保留身份特征，从而减小姿势和光线对人脸识别的干扰，大大提高识别的正确率。

双路径生成对抗网络；人脸识别；计算机视觉

一、双路径对抗生成网络的技术背景

虽然目前在人脸识别这个问题上，计算机视觉算法在多个基准数据集上表现优于人类，但在实际应用场景中，由于姿势而引起的识别问题仍然没有得到很好的处理。在人类视觉处理中，人们通常是通过观察到的侧脸，在以往的经验上，推测出整张脸的结构，然后再集中注意力到脸部的细节，比如五官的形状结构以及五官的位置关系，并将这些脸部细节描绘与刚才的脸部结构图上。

生成式模型在无监督深度学习方面占据着重要位置，它可以通过学习真实数据的本质特征，刻画出样本数据的分布特征，生成与训练样本相似的新数据。生成对抗网络（GANs）即是生成式模型的一种，由Goodfellow et al[1]提出，包括一个生成模型和一个判别模型，该模型训练时固定一方，更新另一方的参数，交替迭代，使得对方错误最大化，最终估测出样本数据的分布。深度GANs模型进行图片修补能依据缺失区域的周边区域进行语义层面的修补，比传统的计算机近邻法[2]，场景计算法[3]提供了更好的特征。

二、双路径对抗生成网络的应用提出

在人类视觉认知过程的基础上，结合深度学习前沿对抗生成网络（GAN）理论，提出一个基于全局和局部感知的双路径对抗生成网络（TP-GAN），其中一条路径专注于推理全局拓扑结构，另一条则专注于局部纹理的推理，两条路径分别生成特征图。将这两组特征图融合用于人脸图片的最终融合。在关注整体拓扑结构的同时，较好的处理人脸面部细节，在不同的角度和光照条件下都取得了比较好的效果。

此外通过将正面人脸特征的分布信息引入生成对抗网络框架，在恢复过程中起到了很好的约束作用，以此确保生成的人脸图像逼真自然，并且依据人脸的镜像对称性这一自然特性，在模型中引进对称主分量分析算法[4]，在不同视角，光照等干扰条件下进行特征选择，能够增强人脸识别，显著提高识别率。在整合人脸整体和局部特征关系的处理上，通过预训练的人脸特征提取网络，在压缩特征空间中使用了融合全局与局部特征的子空间人脸识别算法，先利用主成分分析提取人脸全局特征，针对人脸局部特征，提出依据各部分子块的特征偏离程度度进行自动加权算法，最后基于模糊综合的原理对全局和局部进行数据融合，结合人脸图像全局和局部的互补信息，给出最终的识别结果，在实现逼真，高清晰的正面脸部合成的同时，显著提高人脸识别率。

图1所示为TP-GAN总结构示意图，生成器由两条路径组成，其中一条负责全局结构生成，另一条负责处理局部细节生成。判别器则同时在合成的人脸正面图像和真实的侧面图像上训练。

图1 TP-GAN总结构示意图

基于此方法的模型处理下能够处理大量不同姿势的照片，为强化学习和深度学习提供大量的训练样本。此外由于侧面人脸只含有正脸视图的一部分信息，所以依据侧面人脸合成正面人脸是一个病态问题，在计算机视觉领域上一直是个难题。双路径对抗生成网络的提出为解决此类病态数学问题提供了新的解决方向。

三、双路径对抗生成网络的展望总结

无监督学习和半监督学习将是机器学习下一阶段研究的热点，对抗生成网络成了现阶段无监督学习的一个热门技术，双路径对抗生成网络模型作为生成模型的一种，在“无中生有”的场合：图像复原，图像修补，图像超分辨等起到了关键突破的作用。

它提出了一个能够像人类一样兼顾整体和局部信息的对抗生成网络，不仅能够依据侧脸图像合成正脸视图，而且合成的视图在逼真的基础上很好的保留了身份特征。在应对图像维数转换时固有的信息缺失问题，将从对抗训练得来的数据分布与人脸领域知识结合起来，较精确的复原了缺失信息。再者，在大量不同姿势下，特别是极端光照，角度的侧脸图像中，取得了目前较好的人脸识别结果，推动了对抗生成网络在计算机视觉问题中的应用。作为一种生成模型，不直接估计数据样本的分布，而是通过模型学习来估测潜在分布并且生成同分布的新样本，在图像和视觉计算领域具有重大的应用价值。

[1]Goodfeiiow I,Pouget-Abadie J,Mirza M．Generative Adversarial Networks[DB/OL]．(2014-06-10)．http：//arxiv．org/abs/1406．2661．

[2]徐一峰．生成对抗网络理论模型和应用综述[J]．金华职业技术学院学报,2017,03：019．

[3]王蕴红,范伟,谭铁牛．融合全局和局部特征的子空间人脸识别算法[J]．计算机学报,2015,10(28)．

[4]王坤峰,荀超,段艳杰,林懿伦,郑心湖,王飞跃．生成式对抗网络GAN的研究进展和展望[J]．自动化学报,2017,3(43)．

[5]杨琼,丁晓青．对称主分量分析及其在人脸识别中的应用[J]．计算机学报,2003,9(26)．