面部美化图像质量无参考评价方法

张俊升，徐晶晶，余 伟

（中国矿业大学信息与控制工程学院，江苏徐州221000）

（∗通信作者电子邮箱1458589197@qq.com）

0 引言

面部美化这一短语来自Leyvand 等最近的一项研究［1］，它是一种新颖的计算摄影技术，以增强人脸图像的美学吸引力即质量，同时保持与原始图像的高度相似性。面部美化是一种引人入胜的技术，该技术已经深入日常生活，例如广告，直播、社交等。随着微信、微博等软件的流行，对人脸图像修饰的需求不断增加，促进了面部美化技术的进一步研究与发展，进而关于评判面部美化标准的面部图像质量评估应运而生。

在过去的几年中，面部美化领域已经出现了大量的工作，主要从皮肤、眼睛和嘴巴等方面对面部图像表观进行美化。例如Chen 等［2］提出了一种基于色温不敏感皮肤颜色检测的自动皮肤美化框架，为了打磨选定的皮肤区域，应用双侧过滤器来平滑面部缺陷，并使用泊松图像克隆将美化部分集成到原始输入中；Sakurai 等［3］将超分辨率（Super-Resolution，SR）技术应用于人脸美化的图像处理，以使眼睛清晰明亮；Chung等［4］为用户提供4种不同类型的口红来改变面部风格，以满足他们寻求化妆和个性的需要。而现有的面部美学评价主要是基于面部基准点选取的面部几何评价［5-8］，几何评价方法在面部化妆［9］、面部增强［10］等面部表观美化方法中明显存在问题，因为这些面部美化主要改变颜色、纹理等表观特征而非几何特征；同时，又因为面部美化图像美学评价除了具备一定的“客观性”之外，还具有很强的“主观性”，诸如对白皙光滑的皮肤、清晰明亮的眼睛等的偏爱，导致传统的图像质量和图像美学在面部质量评价中并不适用。近年来，卷积神经网络（Convolutional Neural Network，CNN）作为机器学习的一个分支，已被证明能在各种视觉信息处理应用中有着出色性能，这种快速发展的技术最近也被应用到图像质量预测问题。Kang等［11］第一次将CNN 模型应于图像质量预测。Jongyoo 等［12］将无参考图像质量评价的训练分为两个阶段:在第一阶段，用CNN学习预测客观误差图；第二阶段模型学习预测主观评分。但由于缺乏足够的人类主观分数，导致训练的卷积神经网络识别准确率不高。面部图像质量的评价能够促进美化技术进一步发展，甚至指导其发展方向。由此可见，提出针对面部美化特性的美学质量评价模型是必要的。

面部皮肤美化、面部化妆和面部图像增强等改变面部表观的技术是人脸修饰过程中最重要且最耗时的任务，因此本文专注这些技术提出提取面部美感认知特征+支持向量回归（Support Vactor Regression，SVR）训练的无参考质量评价方法。首先，构建了包含六种美化方法的面部美化图像数据库（Facial Beautification Image Database，FBID）；然后根据面部美感特性，将面部分为皮肤、眼睛和嘴巴三部分。从人类对人脸美感的认知与感知和面部美化技术出发，本文的美学质量评价包含基本的皮肤美感属性为光滑度、光照和颜色；眼睛和嘴巴美学特性为灰度差和眼睛的清晰度，总共从这5 个方面提取美学特征并使用SVR 模型训练美学质量评价模型。本文方法的总流程如图1 所示。在FBID 数据库的实验结果表明本文方法的性能明显优于现有的图像质量评价方法。

图1 本文方法的总流程Fig.1 Overall flowchart of the proposed method

1 面部美化图像库

目前，并没有可用于面部美化图像美学质量评估的数据库。基于此，本文建立了一个由常用美化方法生成的不同美化等级的图像数据库FBID，完整数据库以及GUI 评分程序已上传，对面部美化质量评价有兴趣的读者可以下载以作研究（https://pan.baidu.com/s/1xXz7suAynNAPESrZEra4PQ）。

1.1 构建

本数据库共包含25 张面部图像，其中15 张女性和10 张男性，面部表情为中性，面部美丑相对一致。这些图像均来自SCUT-FBP5500 数据库［13］。图2 展示了10 张数据库部分原始图像。为了生成面部美化图像，本研究使用磨皮、美白、亮度、对比度、清晰度和智能优化6 种美化增强方法美化图像。具体而言，使用这6 种美化方法处理每张图像，每种方法包括4个等级，产生24 张美化后的图像，为使数据库合理以及更贴近应用，本文设计时每种美化均包含了美化不足、美化正常和美化过度3 种情况。最终，FBID 数据集共包含600 张美化图像。图3展示了数据集中6种美化图像示例。

1.2 主观测试

为了评价面部美化图像的真实得分，每次将同种美化方法不同美化等级的图像呈现给观察者。采用1～10 分评分规则，其中10 分表示最美。在测试中，15 名女性和15 名男性共30名年龄分布在20～30岁的中国志愿者参与评分。主观评分在具有正常照明条件的实验室环境中进行。分辨率为1 920×1 080的LCD显示器用于显示图像。为了方便评级，开发了一个基于Matlab 的GUI 界面，如图4 所示。为了避免视觉疲劳，所有的测试被限制在30 min以内。

图2 数据库中部分原始图像Fig.2 Part original images in the database

图3 6种美化效果展示Fig.3 Six beautification effects to display

图4 主观质量评分的GUIFig.4 GUI for subjective quality scoring

1.3 主观实验结果分析

获得所有受试者的评分后，使用文献［14］方法去除异常值。对于每幅图像，平均移除5 个异常值。然后计算剩余分数的平均值并将其用作真实得分，这也称为主观平均意见得分（Mean Opinion Score，MOS），图5显示了面部美化图像的最终主观评分。

图5 数据库图像主观评分Fig.5 Subjective scores of database images

2 面部美化美学质量模型

近几年出现的大量面部美学质量评价方法主要是基于面部基准点的选取来表征面部几何形状［15-18］。作为面部修饰中最主要组成部分的面部皮肤美化、面部化妆和面部图像增强，现仍未有可使用的方法来度量美化质量。因此，对于面部美化图像美学质量评价这个全新的问题，研究有效的面部美化图像美学质量评价方法是非常必要和有意义的。

本文的面部美化图像美学质量评价系统框架中有两个关键部分:面部图像预处理和美学特征提取。因为面部吸引力受不同区域的影响［19］，因此，为了充分提取面部特征，本文将面部分解成皮肤、眼睛和嘴巴三部分。然后，分析每部分影响吸引力大小的因素以及面部美化技术的编辑内容。对于面部皮肤，使用肤色、光照和光滑度来度量；灰度差被用来衡量眼睛与嘴巴的吸引力；最后，清晰度被用来表征人对清晰明亮眼睛的喜爱。

2.1 面部图像预处理

通过心理学研究发现面部不同区域有着不同的“美感”要求，针对这一特点，研究人员开发了大量针对性的美化技术。例如皮肤美化可以改变皮肤的光滑度，以使面孔看起来更光泽亮丽并且富有弹性；而红色或其他颜色可以施加到嘴部以获得美丽的外观。基于此，本文将面部图像分块。同时，对于面部皮肤，参考影响其吸引力三大主要属性［20-22］，将皮肤分解成颜色层、光照层和细节层。

2.1.1 面部分块

为了解决面部区域不同的“美感”需求和充分分析面部不同区域的美感特征，本文在脸部图像上使用局部补丁。使用局部补丁还有另一个优点，就是可以使本文方法对头部姿势、面部表情和美化处理具有鲁棒性。最终，特征提取和相关学习都基于局部补丁而不是全局面部图像。本文采用文献［23］方法将图像分块。在每张脸部图像中使用的补丁如图6所示。

图6 本文实验在每张图像上使用的局部补丁Fig.6 Partial patches used in this experiment on each image

2.1.2 皮肤分层

皮肤的光滑度、光照和颜色是影响面部吸引力的3 个主要因素，许多研究都涉及这些领域。在计算摄影中，图像通常通过颜色空间变换分解为亮度层和颜色层。然后，将亮度层通过边缘保留滤波器分解成平滑的基础层和用于图像编辑的细节层［24］。本文按照这种思路将皮肤区域分成细节层、光照层和颜色层，如图7所示。

图7 使用边缘保持平滑算子将皮肤图像分成三个特定面部层的过程Fig.7 Process of dividing skin image into three specific facial layers using an edge-preserving smoothing operator

首先是输入皮肤图像转换到CIELAB 色彩空间，该空间常被用于心理学中研究人类知觉和面部吸引力工作［25］。转换后的输入图像由一个亮度通道IL和两个颜色通道Ia和Ib组成。两个颜色通道被视为颜色层。其次，在亮度通道使用边缘保持平滑算子以捕获其大尺度变化，被视为光照层I*L。最后，从亮度通道中减去大尺度变化（光照层），结果被视为细节层IT，用于面部平滑度增强。

在这里，选择基于加权最小二乘法（Weighted Least Squares，WLS）［25］的边缘保持平滑算子用于光照和细节层分离，因为它对于细节操作是有效的，且不会如双边滤波器［26］或引导过滤器［27］那样引入光晕伪像。

2.2 面部美学特征提取

本文综合考虑了面部美感心理学［17-20］、面部美化技术［2-4］和图像质量的研究分析，合理性地提出5 种“美感”特征来表征面部吸引力，分别是人类对人脸美感认知和感知特征的肤色、光滑度和灰度差以及图像高质量特征的光照和清晰度。它们在面部不同区域被提取。

2.2.1 肤色

白皙细腻的肤色可能使人看起来更美丽、更年轻。面部美白等技术均是基于此改变面部皮肤色调以提升面部美感，因此，直观的面部皮肤色调［28-29］可用于表征面部吸引力。

本文方法的面部肤色由两个颜色通道Ia和Ib的平均值表示，记作符号C，具体计算过程如下:

其中:c ∈{Ia，Ib}表示两个颜色通道；H(i)表示颜色通道的像素值的归一化直方图；i是像素值得索引。

2.2.2 光滑度

面部涂抹粉底、BB 霜等化妆品，能使得面部外观看起来更光滑。毫无疑问，人们更倾向于光滑细腻的皮肤，在面部美化中磨皮等技术，可以改变面部光滑度。皮肤的光滑度表征为其纹理的复杂度，在统计上，粗糙甚至充满痘印的皮肤图像表现为较高的熵值。

本文采用空间熵的概念。用一阶估计的办法来估计熵值:

其中:rk为皮肤的灰度级；S为面部图像中所有灰度级的集合；P(rk)为该灰度级在面部中出现的概率。考虑到影响面部皮肤光滑度的主要因素是痘印、皱纹和痣等局部区域，图像熵的一阶估计，只能表示图像全局灰度的复杂性而无法体现出空间上的复杂性。因此，本文将面部皮肤细节层IT进一步分块，并分别计算每一块的一阶熵估计，最后将所有块的估计值累加起来，作为描述光滑度的统计量空间熵Esum。

2.2.3 灰度差

眼影、眼线和口红等化妆品的使用，可以改变眼睛和嘴巴的颜色状态，以增加面部“美感”。研究表明，在一定范围内增大眼睛嘴巴与周围皮肤的灰度差，可以增加面部吸引力，进而影响人类对面部美学质量的判断［25］。这一研究发现也被广泛应用到面部美化框架中。

为了计算灰度差这一美学特征，首先使用SDSP（a novel Saliency Detection method by combining Simple Priors）显 著性［30］处理眼睛区域，然后训练不同阈值以实现眼睛与周围皮肤分离的最佳效果。其中显著区域即为眼睛部分，背景区域表示周围皮肤。灰度差的计算公式为:

其中:HD为灰度差；Fa为眼睛的灰度平均值；Fs为周围皮肤的灰度平均值；K表示Fa和Fs的均值。

同上，处理嘴巴区域，得到嘴巴区域的灰度差。

2.2.4 光照

光照是影响面部吸引力的主要因素之一。在面部美化增强下，无论是欠增强还是过度增强都会导致光照不舒服。因此，表征面部光照情况的特征是必需的。

一幅光照良好的面部图像不但平均照明适宜，而且应该具有理想的光照分布。因此，在本工作中，使用式（1）来度量平均光照情况。将真实光照直方图与理想均匀光照直方图之间的距离作为测量面孔光照分布，KL（Kullback-Leibler）散度［31］被用来计算这一特性:

其中:P和U分别为真实光照层与理想光照层的直方图分布。

2.2.5 清晰度

清晰度是人类评判质量和美学的最重要指标之一。而眼睛是影响人类对图像清晰度感知的重要部位。所以，在眼睛区域利用最近关于盲图像模糊评估工作来计算清晰度特征，利用概率模型来估计在图像中的每个边缘处检测模糊的概率，然后通过计算模糊检测的累积概率（Cumulative Probability of Blur Detection，CPBD）来汇集信息。

其中:CPBD表示清晰度；PJNR表示预先设定的概率阈值；PBLUR表示图像的边缘模糊概率；w(ei)表示在边缘点ei处的边缘宽度。该方法已被证明对模拟和真实迷糊图像都有效。关于模糊评估方法的更多细节可参见文献［32］。

2.3 基于支持向量回归的美学训练

3 实验结果和应用

3.1 评价方案

在构建的FBID 数据库上进行实验，验证所提出的美学质量模型的有效性。采用三种广泛使用的标准来评估模型性能，包括皮尔逊（Pearson）线性相关系数（Pearson Linear Correlation Coefficient，PLCC）、Spearman 等 级 相 关 系 数（Spearman RankOrder Correlation Coefficient，SROCC）和均方根误差（Root Mean Squared Error，RMSE）。其中，PLCC 和RMSE 用于测量预测精度，SROCC 用于测量预测单调性；PLCC、SRCC 数值越大，RMSE 越小代表方法性能越好。在计算它们之前，在主观与客观分数之间进行5参数的逻辑映射:

其中:τi（i = 1，2，…，5）为拟合参数。

3.2 结果和比较

3.2.1 与现有质量评价方法比较

将本文方法性能同最先进的无参考图像质量评价结果进行比较，包括BIQI（Blind Image Quality Indices）［34］、BRISQUE（Blind/Referenceless Image Spatial QUality Evaluator）［35］、CCF（Colorfulness index，Contrast index and Fog density index）［36］、DIIVINE（Distortion Identification-based Image Verity and INtegrity Evaluation）［37］、FADE（Fog Aware Density Evaluation）［38］、NIQE（Natural Image Quality Evaluation）［39］、SSEQ（Spatial-Spectral Entropy Quality）［40］、CNN［10］、DIQA（Deep CNN-based Image Quality Assessment）［11］。实验结果如表1所示。

表1 不同无参考评价方法在本数据库上的汇总Tab. 1 Summary of different no-reference evaluation methods on the proposed database

从表1 中可以看出，本文方法能获得最好的性能表现，而且显著优于传统特征设计的质量评价方法。这些结果并不令人惊讶，因为几乎当前所有的质量指标都是基于全局图像或显著性区域测量，同时具有很强的客观性，而面部美化是在面部不同区域根据面部的主观美吸引力处理的。换句话说，面部美感的主观视觉特性在面部美化图像的美学质量评估中起着更重要的作用。同时，面部图像美学评价与传统图像质量评价有明显不同，面部图像美学评价侧重于面部吸引力的评价；虽然最近流行的关于图像质量评价的卷积神经网络性能也优于现有评价方法，但本文模型性能优势更明显。这主要得益于本文特征是依据面部美化图像特性和面部美感心理学提出的，模型更具有针对性，这也意味着模型失去了通用性，同时模型性能依赖于提出的特征；卷积神经网络的优势在于其能挖掘图像更深层次的规律，提取高级感知特征，而且具有很好的泛化能力，但由于本文构建的数据库样本量较少，导致通用的无参考质量评价卷积神经网络性能并不是很理想。综上所述，本文模型在面部美化图像质量评价上更具优势。

为了更加直观地展示本文方法的性能，给出了本文方法和传统取得最好性能的质量评价方法DIIVINE 的散点图的对比，如图8 所示。客观评分是指测试图像在质量评价方法下的算法得分。

图8 两种方法散点图Fig.8 Scatter graphs of two methods

从图8 可以看出:与DIIVINE 相比，本文方法线性拟合得更好，评分更接近主观评分。

3.2.2 训练测试比例的变化

为了验证本实验是否存在过拟合现象，共选取5 种不同训练测试比例进行测试。实验结果如表2 所示，由本文方法性能相对于训练测试比例的变化保持相对稳定，进而说明本实验没有出现过拟合现象。

近年来，随着各项工作的逐步展开，遵医附院新技术新项目开展数量逐年提升，年均开展新技术新项目数量从20余项增加到现在的200余项，通过在临床诊疗过程中不断创新、突破，并积极促进临床科研项目实现成果转化，有效助推了医院科研工作水平实现跨越式发展，极大提升了医院的综合实力和市场竞争力。

表2 不同训练测试比例的测试结果Tab. 2 Test results for different training test ratios

3.2.3 不同美化方法下的性能

FBID 数据库根据美化方法的不同分成6 个子库，分别为磨皮、美白、亮度、对比度、清晰度和智能优化。本文方法在不同美化方法上的稳定性结果如图9所示。

图9 本文方法在不同美化方法上的测试结果Fig.9 Test results of proposed algorithm on different beautification methods

由图9 可看出，本文方法总体具有很高的稳定性。具体分析，由于本方法是对面部质量的总体讨论，在针对单一图像增强如美白、亮度和对比度上，不相关的特征带来信息的冗余甚至是干扰，在一定程度上降低了方法的稳定性。而智能优化是一种综合性的美化方法，本文方法在其上的高稳定性，也进一步说明了它的全面性。

3.3 面部不同区域对吸引力的贡献

为了进一步了解面部3 个区域对面部美学判断的相对贡献，本文进行了另一个实验。具体而言，分别使用单类补丁以及两两结合组成的区域进行性能测试。然后将计算结果与整体模型进行了比较。通过这种方法，可以知道组成区域的相对重要性。表3为仿真结果。

表3 不同区域结合对面部吸引力的贡献Tab.3 Contribution of different area combinations to facial attractiveness

从表3 可知，皮肤对整体性能的影响较大，甚至超过了眼睛和嘴巴的组合；而嘴巴区域的影响较小。这3 个区域的组合提供了最佳性能，进一步验证了本文美学质量模型的合理性和有效性。

3.4 应用

本文方法最终是为了实现美化方法参数的最优选择，以达到美化的最佳效果。本文构建了一个GUI系统来展示面部美化图像美学质量评估模型的应用，如图10所示。

图10 面部质量评估模型应用展示Fig.10 Facial quality assessment model application display

该界面展示了面部在不同“美白”参数下的美化图像及其美学得分。在用户使用美白方法时，会自动嵌入本文方法结论筛选出得分最高的美白图像展示给用户，节省了用户调参过程。尤其在视频美化中，用户无法实时手动调节美化参数，本文方法结论更尤为重要。

4 结语

本文讨论了面部美化图像的美学质量评估。基于6 种面部美化技术，构建了首个面部美化图像数据库，通过主观测试来收集人的真实评分。考虑到目前基于失真的图像质量度量方法在面部美化图像美学质量评价中存在很大的局限性，提出一种新的面部美化图像美学质量评价方法，在构建的数据库上对该方法的性能进行了评估，实验结果和比较验证了本文所提美学质量模型的有效性和优越性。但本文只是在传统方式上做了美化图像质量评价相关工作，下一步将结合CNN提取符合人感知层次的高水平特征继续提高模型的准确性。