亲缘关系约束下的青少年人脸年龄合成研究

林 霞，李建微

福州大学 物理与信息工程学院，福州350116

年龄合成旨在预测各年龄段的人脸变化，生成相应的人像，已广泛应用于社会保障、法医、数字娱乐、寻找走失人口等领域[1]。数据显示自2008 年至2017 年间经法院判决的拐卖儿童案件有2 217 起，被立案调查以及未报案的儿童走失案件则更多[2]。已有研究表明，年龄合成生成逼真的人脸图像可以提高人脸识别准确率[3-4]，有效地帮助寻找走失儿童。近年来对面部年龄合成的研究已取得了较大的进展[5-11]。但是现有的年龄合成网络模型大多是基于类间差异的普适模型，在成年人图像上的年龄合成能够得到优越的测试结果。青少年的颅骨复合体与成年人有很大的不同[12]，普适模型针对青少年的年龄合成并不能对青少年跨年龄人脸识别以及老化起到较好的作用[13]。因此在青少年群体的年龄合成研究领域仍然存在着急需解决的问题：类内差异不明显导致的个体个性特征丢失；较面部骨骼定型的成年人而言青少年随时间推移面部变化更为剧烈；青少年逐年龄段人脸数据集稀缺；该领域现有研究较少且仅从个体面部图像出发，忽略了外部客观因素可能对青少年面部变化带来的影响。针对以上问题，本文的主要研究工作如下：

（1）针对青少年群体提出了使用亲属特征匹配模块对因年龄推进而导致的面部变化进行约束的端到端人脸老化架构，在现有方法使用的年龄与身份约束外加入亲缘约束，增加青少年群体的类内差异，减少了人脸老化对大量同个体不同年龄段图像数据的依赖，一定程度上减小了相关数据量稀缺的影响。同时也是将亲缘匹配与年龄合成相结合的研究。

（2）在亲属对数据集TSK[14]上进行了实验，以验证所提出方法在老化过程中保持身份特征与提高亲属匹配准确性的能力，并与同样利用亲属关系进行特征融合的年龄合成方法[11]进行了对比实验，证明了所提出方法在青少年年龄段老化的优越性。

（3）与现有先进青少年人脸年龄合成算法IPCGAN和ChildGAN 在20+年龄组展开了对比实验，从生成图像质量、验证准确率、人脸召回率三方面进行对比，验证了所提出方法具备一定的有效性和先进性。

1 相关工作

1.1 生成对抗网络在年龄合成上的应用

模拟面部年龄进展过程是一项艰巨的任务，因为在婴儿、幼儿、青年、中年、老年时期的面部生长中存在大的非线性偏差。基于生成对抗网络（generative adversarial network，GAN）的模型在面部识别中显示了更高的视觉保真度结果。

Antipov等人[15]提出了age-cGAN方法，以获得保留个人身份的高质量面部老化结果。Zhang 等人[16]提出了一种用于年龄进展和回归的条件对抗自动编码器（conditional adversarial auto-encoder，CAAE）方法，该方法基于面部流形学习概念，并添加了年龄作为条件。Yang 等人[17]应用了一个具有多个尺度的金字塔敌对鉴别器，并增加了一个保持身份的目标。Li等人[18]提出了一种全局和局部一致年龄GAN，引入了残差网络来训练脸部全局和局部特征。同一作者小组提出了一种基于小波的GAN来解决非配对数据集中年轻和年老人脸图像之间的匹配模糊性。Tang 等人[19]提出了一种保持身份的条件GAN，旨在根据年龄组合成人脸，将基于AlexNet 的感知损失和年龄分类项合并到目标函数中。Zhao 等人[20-21]提出了一个年龄不变模型（age-invariant model，AIM）用于跨年龄人脸年轻化/老化和识别。Huang等人[22]在AIM 的基础上加入了注意力机制以及权重共享策略，保持身份信息，实现平滑的人脸老化。Alaluf等人[11]使用年龄回归网络指导风格生成对抗网络（style generative adversarial network，StyleGAN）编码器生成目标年龄潜在向量。但是以上方法都是面向全年龄段的普适年龄合成模型，在成年人年龄段的表现较好，缺少针对青少年的年龄合成模型，这一年龄阶段的个体往往面部变化较为剧烈。近年来学者们也看到了年龄合成在青少年群体中的局限性，展开了许多针对青少年人脸年龄合成的研究。Deb等人[23]针对儿童人脸提出深度特征老化GAN模型。Chandaliya等人[24]受自注意力生成对抗网络（self-attention generative adversarial network，SAGAN）[25]的启发，引入自注意力机制模拟跨人脸图像区域的长期、多层次的依赖关系。Liu 等人[26]将老化分为形状老化与纹理老化两部分，以模拟儿童老化面部变形的过程。但是以上方法同样是在研究青少年群体老化的规律，对于身份特征尚不明晰的孩童而言，年龄合成必然有较大的误差。Shu等人[27]利用遗传基因学将家长特征与孩子老化特征进行融合，在年龄合成中引入了个体以外的参考对象。但是特征融合却易丢失孩子个体身份特征。

1.2 基于深度学习的亲缘特征匹配

近年来许多亲属关系验证算法被提出，主要分为特征提取与度量判断两个步骤。其中受深度学习显著成功的影响，基于深度学习的特征提取方法成为了亲属关系验证领域的主流方法。Zhang等人[28]利用卷积神经网络（convolutional neural network，CNN）进行特征学习，并取得了令人印象深刻的验证性能。Dehghan等人[29]利用带辨别神经网络层的门控自动编码器来学习描绘亲子关系的最佳特征。在深度学习中，利用多级特征也是提高性能的一种常用方法。这些策略已经过广泛测试，并在许多计算机视觉任务中证明了它们的有效性，例如物体检测[30-31]。由于较浅层的特征图编码几何细节，而来自较深层的特征图编码空间信息，二者结合可以更好地描绘结构轮廓。最近的一项亲属关系验证研究使用了两个共享参数的CNN 来提取不同尺度的深度特征，从而提供人脸图像的全局上下文信息[32]。

在特征提取之后，后续步骤需要学习用于区分两个给定的面部图像是否具有亲缘关系的判别度量。深度学习是一种可以用于学习复杂非线性关系的技术。例如，深度鉴别度量学习[33]旨在学习一组分层非线性变换，以将人脸对投影到同一潜在特征空间，在此空间下，每个正对的距离减小，每个负对的距离增大。Zhou等人[34]开发了一种耦合深度神经网络，该网络明确地模拟了父子对中固有的跨代差异，并学习了一种耦合深度相似性度量，使得具有亲缘关系的图像对被拉近，而没有亲缘关系的图像对被推得尽可能远。Nandy等人[35]使用两个并行预训练的SqueezeNet网络建立了一个孪生CNN架构，并将其与不同的常见相似性度量结合起来进行亲缘关系验证。深度度量学习方法的主要优点是它们可以以端到端的方式进行训练，其中特征学习和度量学习被联合优化。

2 提出方法

本文受Image to Image 网络[36-37]的启发，针对青少年人脸设计了一个基于亲缘关系约束的端到端年龄合成网络。该网络主要包含人脸老化模块（FA）以及亲缘特征匹配模块，网络结构如图1所示。

图1 青少年人脸老化网络结构Fig.1 Structure of adolescents face aging

现有算法主要采用分年龄组训练网络学习不同年龄组的特征，这需要大量对应的数据集提供支持。针对上述问题本文提出加入目标年龄的人脸老化模块：新建与图像维度一致的张量，数值为目标年龄t，将其作为常数值通道与输入图像x的三维度张量联结成为四通道张量，通过编码器aged-Encoder对包含了目标年龄信息的四通道张量提取人脸特征，并将输出特征与图像风格特征联结，而后利用解码器输出对应目标年龄人脸预测图像xaged。

针对青少年面部变化剧烈现有算法不能很好地生成青少年老化图像的问题，基于基因遗传学，本文提出加入亲缘特征匹配模块对青少年年龄合成进行约束：对上述人脸老化模块输出的xaged和对应父母的图像进行特征提取，将提取到的特征进行匹配得出相似度，该相似度得分作为损失函数的一部分对青少年年龄合成模型进行约束。

2.1 人脸老化模块

对于输入图像x，假设有对应的图像y，两者分别代表同一个体在不同年龄的真实图像，年龄合成就是使x向y转变的过程，用F 来表示此过程：

针对现有亲属对数据集年龄标签缺失的问题，本文使用预训练VGG年龄分类器[38]来获得x的年龄标签s，目标年龄t在青少年面部变化较大的5～30 岁年龄段中随机选取：

利用编码网络E提取出年龄合成后人像的特征：

为了得到图像关于风格编码的向量w，以解决人脸特征外特征丢失的问题，保存如发型、衣着以及是否佩戴眼镜等信息，本文将输入x通过编码网络Estyle映射到StyleGAN生成网络的W+空间：

本文的Estyle使用残差网络ResNet 标准特征金字塔提取特征图，并参考文献[37]map2style 分层训练StyleGAN网络所需的18个目标风格向量，如图2所示。

图2 编码器Estyle结构Fig.2 Structure of encoder Estyle

结合式（3）与式（4），将特征ft与风格编码向量w输入StyleGAN生成网络Gstyle，得到输出人脸老化预测图像xaged：

2.2 亲缘特征匹配

亲属关系验证主要分为两个步骤：（1）特征提取；（2）度量学习。

本文使用ResNet[39]作为亲属特征提取网络，并参考文献[40]将不同卷积层的输出联结，生成多级特征，以保留除轮廓、边缘外的整体抽象特征，不同粒度特征间互补。使用欧几里德距离作为图像对的相似度度量，输出亲属关系得分。亲缘匹配网络结构如表1所示。

表1 亲缘特征匹配网络结构Tabel 1 Structure of kinship feature verification

2.3 损失函数

本文所提出模型训练的损失由亲缘损失、年龄损失、身份信息损失、像素级损失组成，四部分的损失进行加权相加得到总损失：

人脸老化最重要的一部分就是在转变年龄的过程中保持个体身份信息。对于青少年年龄段而言，面部变形较为巨大，相较于成年人单一使用特征间余弦相似性作为保持身份信息的约束，误差较大。本文使用基于余弦相似性的预训练人脸验证网络[41]和亲缘特征匹配模块K[40]对青少年年龄合成过程的身份特征进行约束，K输出图像对属于亲属的概率，损失函数如式（7）、（8）所示：

为了提高模型年龄转化的准确性，使用预训练年龄分类器V对老化后人脸的年龄做出预测，并与目标年龄t进行均方差损失的计算，年龄估计损失函数如式（9）所示：

使用像素级损失减少身份特征外的图像信息丢失，维持编码器输入输出的相似性，像素损失函数如式（10）所示：

3 实验与结果分析

3.1 数据集与实验环境

本文使用TSK 数据集[14]对模型进行实验与验证，TSK数据集由3 045张照片、1 015组家庭、2 030对家长-孩子图像对组成。每组家庭均由父亲（F）、母亲（M）、孩子（S/D）三张图像组成，其中包含502组女儿（D）家庭和513组儿子（S）家庭。数据集中的所有图片都是从互联网上获取的，包含公众人物家庭和照片分享社交网络上的图片。该数据集采集不受姿势、光照、表情、背景、种族、图像质量等的限制。数据集中图像大小为64×64，并且已经进行了基于眼睛坐标对齐裁剪操作。数据集部分图片如图3所示。

图3 TSK数据集部分图像Fig.3 Part images of TSK dataset

本文从四类图像对M-D、F-S、M-S、F-D中随机选取80%作为训练样本，余下20%作为测试样本。用于训练的实验设备操作系统为Ubuntu，GPU 为GeForce RTX 3080 12 GB，CPU 为Intel Core i7-12700F 64 GB。训练所用各损失函数的权值λkin、λid、λage、λpix设置为1、0.25、5、0.25。

3.2 实验结果与分析

基于特征融合的年龄合成方法[27]与本文方法均利用了亲缘关系来加强青少年年龄合成的准确性。本文为了验证所提出方法的可行性与优越性，展开了两组对比实验：第一组以特征融合方法作为对照，展开了在人脸身份特征保持、年龄评估以及亲缘特征匹配这三方面的对比实验，分别计算人脸验证准确率（face verification accuracy，FVACC）、召回率（ID recall）、亲缘检测准确率（kinship accuracy，KinACC）以及年龄预测平均误差（mean age error，MAE）；第二组以现有先进算法ChildGAN[24]、IPCGAN[19]作为对照，对比各模型在20+年龄组的青少年年龄合成的图像质量，并分别计算人脸验证准确率以及召回率。所有实验都是在同一实验环境和同样测试集下进行的，最终用于测试的图像均由各方法的年龄合成结果构成。

3.2.1 与特征融合方法的对比

图4 为青少年测试样本在不同方法下的年龄合成结果示意图。从图中可以看出，本文方法在年龄合成过程中较好地保持了身份特征，并且本文引入的亲缘特征约束模块也一定程度上减轻了青少年随着年龄的推进颅面部变化所带来的影响。

图4 年龄合成示意图对比Fig.4 Comparison of age synthesis images

在人脸验证领域，评估指标包括准确率（accuracy，ACC）、召回率（true positive rate，TPR）、等错误率（equal error rate，EER）等[42]。本文目的是针对青少年进行个性化年龄合成，故选取准确率和召回率来评估方法对身份特征保持的性能，计算公式如式（11）、（12）所示。FaceNet[43]在公开人脸数据集上已经可以达到99.6%的准确度，有着很高的验证精度，故本文使用FaceNet网络来计算逐年龄段的人脸验证准确率以及召回率。

从图5（a）和图5（b）可以看出，本文方法的验证准确率与身份召回率在5～30岁年龄段内整体高于特征融合方法，在18岁前后人脸验证准确率最高达到97%，较特征融合年龄合成方法提高了3个百分点，身份召回率最高同样达到97%，较特征融合年龄合成方法提高了1个百分点，在5 岁与30 岁前后的准确率与召回率较低，但是也达到了92%、96%。验证了本文方法能够在年龄合成过程中较好地保持青少年个体的身份特征。

图5 各评估指标曲线图Fig.5 Curves of evaluation indexs

为了验证本文提出方法对提升亲缘特征匹配率的作用，先行计算出测试数据集TSK 初始亲属对（raw）的亲缘匹配率作为衡量标准，从图5（c）可以看到，随着年龄的推进本文方法能够有效地提高亲缘匹配率，在25岁左右将匹配率从49%提高了8.5 个百分点，验证了本文提出的亲缘特征约束模块的有效性。但是与特征融合年龄合成方法相比，本文方法在匹配率上还是有5个百分点的差距。

图5（d）是随年龄的推进对测试样本的年龄预测与目标输入年龄之间平均差距的趋势示意图。从图中能够看到，本文方法在年龄合成过程中对年龄的控制优于特征融合方法。本文方法不论是表现较差的小年龄段，还是表现较好的成年段，与目标年龄之间的差距始终比特征融合年龄合成方法少4.5岁左右。这也验证了本文方法在针对青少年的年龄合成过程中，对年龄的控制是有效且更优的。

3.2.2 与现有青少年年龄合成算法的对比

图6 为本文方法与IPCGAN[19]、ChildGAN[24]算法在TSK 数据集孩子图像上生成20 岁年龄组的效果示意图。可以看到IPCGAN 算法生成的结果与输入图像特征基本一致，对青少年的年龄合成效果不佳；ChildGAN算法生成的结果质量不高；在对比之下，本文算法能够较好地在保留青少年个性特征的同时实现年龄合成。

图6 各算法在20+年龄组的年龄合成效果Fig.6 Age synthesis result of algorithms in 20+age group

表2 是各算法在TSK 数据集下的准确率以及召回率的对比。可以看到由于IPCGAN 算法的生成结果与输入几乎一致，其准确率最高为99.5%，随后就是本文所提方法，准确率为95.3%；在召回率的表现上本文方法为92.7%，优于其他算法。

表2 TSK数据集下准确率与召回率对比Table 2 Comparison of accuracy and recall under TSK dataset 单位：%

3.2.3 结果分析

综上所述，从实验结果来看，本文方法不仅在视觉上可以得到逼真的年龄合成结果，并且在一定程度上能够提高跨年龄的人脸验证准确率与亲缘匹配率，对建立青少年跨年龄个体联系与跨年龄亲缘联系都有着重要的意义。与现有其他采用亲缘约束的年龄合成方法相比，本文方法在人脸验证准确率、身份召回率以及平均年龄差距的表现上都更优。性能提升的原因如下：（1）引入了亲缘特征匹配约束模块，充分利用了基因遗传学对青少年面部变化进行合理的预测，提高了类内差异，较现有方法而言并不是对特征直接进行融合，因此年龄合成过程中在保持个体身份特征的同时也能很好地提高亲缘匹配率；（2）本文使用StyleGAN风格化生成网络将人脸特征以外像素信息进行了保留，使得背景、发型等信息能够留存，得到更好的视觉结果。

4 结束语

本文提出了一个基于亲缘特征匹配的端到端青少年年龄合成方法，在年龄合成过程中可以保持身份特征与亲缘关系信息。实验证明本文方法对比现有其他方法而言在人脸验证准确率、身份召回率、平均年龄差以及亲缘特征匹配率上都有着更好的表现。但是本文方法还有不完善的地方：在幼童年龄段由于性别特征区分不明显，会出现性别混淆的情况；网络结构较为复杂，训练速度较慢。在未来的研究工作中，将尝试探索在现有基础上加入性别约束对幼童年龄合成的影响，以及加入注意力机制对模型训练效果的影响。