电子上妆技术在载人航天中的应用设计

张枫璐，严春满，邱 晨

(1.西北师范大学物理与电子工程学院，兰州 730070； 2.空军军医大学教研保障中心，西安，710032)

0 引言

人脸妆容迁移[1]技术作为图像风格迁移技术的一个分支，主要目的是在不改变目标人脸身份的基础上，将想要的妆容转换到目标人脸的一种计算机视觉领域的新兴技术。文章在充分学习图像风格迁移和生成对抗网络[2]相关技术的基础上通过生成对抗网络构建人脸妆容迁移网络。通过优化网络结构，进一步提升人脸妆容迁移效果并将其设计应用于航天虚拟试妆。

随着我国航天事业的不断发展，国内对于航天事业的关注度越来越高，载人空间活动也越来越频繁，尤其是中国空间站建成和开放后，将会有越来越多的来自世界各国的航天员长期驻留其中生活、科研和实验操纵，王亚平等女航天员的太空科普课教学和空间科研探索使得空间站相关科研工作更加多姿多彩。但是，空间环境资源非常有限，宇航员通常是没有充足的水等资源进行妆容美化的，而空间微重力环境下卸妆的各种多余物均会随意漂浮而干扰空间站部分设备的正常运行，另外，我国空间科研任务中一些装备是不适合公开展示的，因此，通过人脸妆容迁移技术对航天电子虚拟上妆应用进行研究，对宇航员面部通过计算机图像处理技术进行美化和上妆、对一些涉密图像智能化替换以及简化传输数据进行了一些探索，以期使来自世界各国的宇航员能在科研、太空教学等活动中将更美好的形象展现给大众。

妆容迁移技术不同于普通的风格迁移，它不是简单的域到域之间的转换，因为同一风格的妆容在不同人脸上给人的视觉效果都大有不同，如果将妆容仅是进行简单的域到域之间的迁移，那么妆容在人脸上就会显得非常不自然，看上去像是将妆效直接贴在人脸上，这并不符合预期，因此妆容迁移更注重实例级的迁移。人脸妆容迁移的目的是在保持源图像人脸面部特征不变的同时，将参考人脸上的妆容迁移至源图像上。

1 相关技术状况

妆容迁移技术通过计算机算法实现人脸妆容的编辑与合成,是目前人脸图像处理领域的热门研究方向之一。但是暂未见有关将妆容迁移技术设计应用于载人航天科研的工作。航天员的形象不仅仅代表着个人，也代表着我国的航天形象。研发太空适用的化妆品不仅成本高，还需要宇航员自己进行上妆，在目前看来较难实现。但是在公开的、需要保持宇航员形象的影像中通过妆容迁移技术对宇航员进行上妆，不仅成本低，且不需要宇航员自己手动作业，可以大大提升航天员的形象。妆容迁移不同于美颜软件中的妆容贴片技术，只能生成模板中的十几种妆效，妆容迁移技术可以实现任意妆效的生成，且更加灵活多样，生成的人脸图像也相对自然真实。妆容迁移技术不仅可以运用于虚拟上妆，还可以结合人脸识别技术实现上妆人脸的卸妆功能，解决银行、高铁等大型公共系统中化妆人脸识别困难的问题。

Gatys等[3]提出了一种图像风格迁移算法，此算法可以合成高质量的新图片，这为深度学习方法实现妆容迁移奠定了理论基础。Liu[4]等提出了基于卷积神经网络的人脸妆容迁移算法。Wang等[5]提出了一种基于局部约束字典学习的面部化妆与卸妆框架。Li等[6]提出了一种双输入输出生成对抗网络框架BeautyGAN来实现妆容迁移，实现了实例级妆容迁移。Chang等[7]提出了CycleGAN网络[8]的思想，运用博弈的思想，通过训练两个网络进行博弈，最后实现了妆容的定向生成。PSGAN[9]解决了不同姿态和脸部朝向妆容迁移效果差的问题。Nguyen等[10]引入新的妆容迁移数据集，实现了极端妆容的迁移。Deng等[11]提出了一个与现有方法相比具有最佳灵活性的全自动妆容迁移模型，解决了当输入的两张图片存在较大空间错位情况下，妆容迁移效果差的问题。白玉等[12]贡献了第1 个像素级对齐的美妆转移数据集，并且提出使用混合监督的方法在BeautyGAN的基础上实现妆容迁移。

2 基于生成对抗网络的航天员妆容迁移模型技术设计

文章针对宇航员面部美化需求，设计了基于改进CycleGAN的妆容迁移模型，通过生成对抗网络的博弈使神经网络自动学习宇航员面部和妆效图的特征，最终生成对宇航员面部的自动虚拟上妆图。其次提出了一个新的设想，即将图像处理技术应用于载人航天，对宇航员附近设备特征有隐匿需求的地方也可以通过神经网络进行定位和识别，将其进行替换或遮挡等处理。文章重点讨论对于宇航员人脸部分的图像处理。

2.1 模型结构

设计的基于生成对抗网络的航天员妆容迁移模型使用的是常用于风格迁移的经典生成对抗网络循环一致生成网络CycleGAN。CycleGAN网络是通过对原域图像先映射到目标域，再将图像循环回至原域得到二次生成的图像，使用生成器网络将图像映射到目标域，将二次生成图像与原始图像对比，通过生成器与判别器的不断博弈，由损失函数指导网络更新参数，不断提高网络学习人脸细节特征的能力，最终生成图像与原始图像分布一致。本文优化了CycleGAN网络结构，并设想将其应用于宇航员电子上妆。基于优化CycleGAN的妆容迁移网络结构如图1所示，其中A代表化妆人脸图像集合，B代表素颜人脸图像集合。整体为双输入双输出网络，本文将CycleGAN网络结构中的两个生成器合并，将生成后的图像循环放回生成器中再次生成以取代第二个生成器，减少网络参数。

图1 基于CycleGAN的妆容迁移网络结构Fig.1 Makeup transfer network structure based on CycleGAN

图2 生成器网络结构Fig.2 Generator network structure

判别器DA、DB都是简单的卷积神经网络，用来判别输入的图像是“真”图像还是网络生成的“假”图像。网络采用了经典的图像翻译结构，先编码再解码，编码部分是通过编码器将输入数据的低维空间特征转换为高维空间特征，在解码过程中解码器将高维空间特征解码并输出生成图像。在宇航员人脸的妆容迁移工作中，需要尽可能的保留宇航员的身份信息，在解码部分完成宇航员人脸的妆容迁移。

2.2 损失函数

在生成对抗网络中，生成图像的方向一般是不定向的，需要添加一些约束条件使网络生成用户想要的图像，一般GAN都会使用损失函数作为这一约束条件。损失函数的规定直接决定了输出图像的结果，因此损失函数对整个生成网络起着至关重要的作用。

本文损失函数的设计在CycleGAN网络损失函数的基础上，参考BeautyGAN网络中的妆容损失函数设计。对生成器而言，生成器的最终目的是将网络中生成的数据尽可能的接近于原始数据，使“假”数据无限接近于真实数据分布。在训练过程中，本文网络中生成器一共包含3项损失函数，生成器总的损失函数如式(1)所示。

(1)

其中，α、β是权重因子，adv代表对抗损失函数，cyc代表循环一致性损失函数，makeup代表妆容损失函数。

对抗损失函数(adversarial loss，AL)：目的是使生成器生成的图片更加逼真，更接近于原始图像，指导生成器和判别器收敛。Wasserstein GAN (WGAN)[13]采用了Earth-Move距离作为损失函数，解决了GAN训练不稳定的问题，WGAN-GP[14]在WGAN的基础上提出了梯度惩罚概念，用于满足 Lipschitz 限制条件，判别器参数可以学到合理的参数取值，从而显著提高训练速度，解决了原始WGAN收敛缓慢的问题，使网络训练更加稳定。因此本文对抗损失函数采用WGAN-GP的设计，如式(2)所示。

(2)

循环一致性损失函数(cycle consistency loss，CCL)：该损失函数用于维持输入、输出图像背景信息一致。在CycleGAN网络的双输入双输出模式中，希望生成的图像尽可能和源图像接近，这个过程可以用式(3)表示。

(Isrc,Iref)→G(Isrc,Iref)→G(G(Isrc,Iref))≈(Isrc,Iref)

(3)

循环一致性损失函数定义如式(4)所示。

(4)

妆容损失函数(makeup loss，ML)：该损失函数为了保证目标人脸的身份信息。BeautyGAN通过人脸分割模型PSPNet[15]，训练了一个语义分割模型，提取了人脸不同区域的掩膜，结合局部颜色迁移方法，利用人脸口红、眼妆和粉底引导掩码计算妆容直方图损失，用来保证在迁移过程中只迁移人脸局部颜色，不改变身份信息。各区域直方图损失如式(5)所示。

(5)

(6)

其中λl、λe、λf分别为唇部、眼部、面部区域对应的权重。

3 实验与技术验证

3.1 实验数据集

本文数据集使用的是Makeup Transfer(MT)数据集，该数据集中共有3834张女性人脸图像，其中素颜人脸图像1115张，带妆人脸图像2719张，是目前用于妆容迁移的最大的数据集。它集合了烟熏妆、复古妆、韩式妆、日系妆等多种妆容。

3.2 实验设置及细节

本实验中，按照9∶1的比例随机将数据划分为训练集和测试集，MT数据集中的单张图像大小为361×361像素，通过随机裁剪调整为256×256的方式增强数据。在网络训练过程中将Batch-size设置为1，Epoch设置为300。在网络设置上，生成器的双输入输出分支在层内不共享参数。由于GAN在训练过程中易出现判别器过早进入理想状态，导致无法为生成器提供梯度信息，从而导致训练无法进行。为了训练过程稳定，需要判别器的映射函数满足Lipschitz约束，因此在判别器中引入谱归一化[16]。在损失函数设置上，经过多次实验后发现损失函数权重配置如表1所列时效果最佳。网络损失函数优化器采用随机优化算法Adam[17]优化参数，生成器和判别器的学习率均为2×10-5，一阶动量项为0.5，二阶动量项为0.999。

表1 损失函数权重配置

3.3 实验结果验证

经过网络训练后生成的迁移妆容图如图3所示，第一列为输入原始图像，第二列为输入参考图像，第三列CycleGAN生成图，第四列为本文方法生成图。第一行是欧美妆容迁移对比，第二行为亚洲妆容迁移对比。从图3可以看出，本文方法可以完整迁移参考人脸上的妆容，生成图像自然，原始人脸五官特征未受影响。对比CycleGAN网络生成图，无论迁移的是亚洲妆容还是欧美妆容，本文方法生成图都更符合实际参考妆容，CycleGAN在迁移过程中丢失了许多人脸细节特征，面部肤色有所丢失，在唇部对比更加明显，对比验证了本文改进的有效性。

4 结论

随着我国航天事业的不断发展，以空间站为基础的太空科研及教学任务必将逐渐增加，工作的视频和图像的美感及周边设备外形特征隐匿、更改需求也越来越受到关注，通过文章设计与实验验证的妆容迁移技术，实现了航天员通过计算机技术实现电子化上妆，可实现在资源有限的太空站中，依然保持良好形象及周边设备外形特征更改的需求。经实验验证，本文使用的妆容迁移技术不仅不会改变航天员的身份信息，还可以根据需求实现多种妆容迁移，美化航天员在公众面前的形象，同时还可用于更改设备图像的特征，保护国家秘密。本文所述方法是目前电子妆容迁移技术中上妆效果较为理想的技术之一，能够在提升航天员形象中起到辅助作用。

图3 妆容迁移效果图Fig.3 Makeup transfer effect pictures