一种基于VAE的人脸修复式生成方法

◆丁一鸣 黄晨 孔聪 孔祥懿 庞毅林

一种基于VAE的人脸修复式生成方法

◆丁一鸣 黄晨 孔聪 孔祥懿 庞毅林通讯作者

（华东理工大学信息科学与工程学院 上海 200237）

如今互联网中的人脸图像信息繁多，这些信息如果运用不当则会触及网民的信息安全问题。人脸生成技术是一种人像使用场景中的替代性方法。本文提出了一种人脸生成方法，首先采用变分自编码器（VAE）对输入的基准人像进行低程度的人脸重构，然后将真实的基准人像和低清晰度重构人像通过隐空间转换进行域对齐，在该隐空间中学习人像修复，在保留人像的基本构图后重新得到一张全新的高清细节人像。

变分自编码器；人脸生成；深度学习

如今互联网中的人脸图像信息繁多，这些信息如果运用不当则会触及网民的信息安全问题。人脸生成技术是一种人像使用场景中的替代性方法。Goodfellow于2014年提出生成对抗网络[1]，为人脸图像生成提供了一种好的解决方案，人脸图像合成的研究变得热门起来。人脸图像生成常常分为两类[2]：由无条件的噪声输入生成人脸图像和有一定条件的输入，例如侧脸、佩戴眼镜的人脸等生成人脸图像。对于第二类，目前的人脸图像生成技术已经可以很好地解决多属性生成的问题[3]，但是生成图像依然存在例如扭曲、模糊、背景干扰等问题，且多属性控制有时难以生成期望的人像构图。

本文提出了一种人脸生成方法，首先采用VAE对输入的基准人像进行低程度的人脸重构，并根据现有的隐空间图像修复算法对生成后的图像扭曲、模糊等问题进行修复，新生成的图像在保留原人像的基本结构后重新得到全新的高清细节，使生成人像具有一定的可控性和实用性。

1 变分自编码器

其中：

2 隐空间修复算法

2.1 通过隐空间转换进行域对齐

最终，VAE的总的目标函数定义为：

2.2 通过隐映射进行修复

利用VAE捕获的隐空间编码，利用重构图像并通过映射它们的隐空间来学习人像的生成。隐空间还原的优点在于：其一，在紧凑的低维隐空间中的映射在原理上比高维图像空间中更容易学习。其二，由于两个VAE是独立训练的，重建不会彼此干扰。

3 网络结构

本文沿用了文献[5]中提出的网络，优化了映射网络T的部分结构。如图1所示：

图1 修复网络结构

4 实验

4.1 数据集

4.2 实验环境

实验环境为Win 10操作系统、8G内存，在配置了NVIDIA GPU （1660Ti）的pyTorch框架下实现。

4.3 实验方法

实验分为两个阶段。第一阶段，输入基准人脸图像，在VAE上进行10个epoch的训练得到低程度的人脸重构生成图像；第二阶段，将生成的人脸图像和原图像作为新的训练数据对，在隐空间学习人像的修复和生成，最终通过一个VAE映射回真实图像，得到新的高清人像图。

4.4 实验结果与分析

第一阶段VAE的低程度人脸重构效果如下图2所示。

图2 VAE的人脸重构效果样例（batchsize=64）

同一图片各阶段得到人像结果如下图3所示，从左到右依次为输入基准人像、VAE生成人像和修复得到的高清生成人像。

图3 各阶段得到的人像结果

为了进一步评价生成器的人像生成质量，引入两种客观质量评价指标：峰值信噪比（Peak Signal to Noise Ratio，PSNR）和结构相似性指数（Structural Similarity index，SSIM），这两个指标数值越高，表示效果越好。下表1是一个batch的重构人像与生成人像的平均PSNR和SSIM数值与其他方法的比较[7]：

表1 质量评价表

修复方法PSNRSSIM 本文方法19.790.786 DCGAN18.270.829 LSGAN18.430.824

表1的实验结果表明，本文方法相比DCGAN和LSGAN的方法，生成人像的PSNR和SSIM的评价指标更好。本文方法最终在保留了人像基本结构的同时，生成的人像质量更高。

5 结束语

本文研究了一种基于VAE的人脸生成方法，根据现有的隐空间图像修复算法提出了一种根据输入的基准人脸进行人像修复式生成方法。实验结果表明。本文复现并改进的方法具有可行性和有效性。在下一步工作中，该方法在网络结构等、边缘模糊问题方面可进一步改进。

[1]Goodfellow I，Pouget-Abadie J， Mirza M， et al. Generative adversarial nets[J]. Advances in neural information processing systems， 2014，27.

[2]曹仰杰，贾丽丽，陈永霞，等.生成式对抗网络及其计算机视觉应用研究综述[J].中国图像图形学报，2018，23（10）：1433-1449.

[3]张皓，周凤.基于生成对抗网络的多属性人脸图像生成[J].计算机与数字工程，2021，49（08）：1642-1646+1701.

[4]Larsen A B L，Sønderby S K，Larochelle H，et al. Autoencoding beyond pixels using a learned similarity metric[C]//International conference on machine learning. PMLR，2016：1558-1566.

[5]Wan Z，Zhang B，Chen D，et al. Bringing old photos back to life[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020：2747-2757.

[6]Liu Z，Luo P，Wang X，et al. Large-scale celebfaces attributes （celeba） dataset[J]. Retrieved August，2018，15（2018）：11.

[7]谢卓然，寸怡鹏，姜德航，王菲.基于最小二乘生成对抗网络的人脸图像修复研究[J].科技视界，2020（22）：1-6.

大学生创新创业训练计划资助项目