基于深度神经网络的秒变妆容系统

申珺妤 李许辰 胡超 孙小语 丘双飞 聂小伟 乐光学

摘要：基于深度神经网络的秒变妆容软件通过计算机算法实现人脸妆容的编辑与合成，是计算机视觉中的人脸图像分析领域。其在互动娱乐应用、图像视频编辑、辅助人脸识别等多方面有着重要作用。近几年蓬勃发展的卷积神经网络CNN和生成对抗网络GAN，在人脸图片分析方面有着重要影响。文章基于神经网络CNN和GAN生成对抗网络，在深度神经网络算法下对人脸图片进行特征点提取，根据人脸特征点，在不改变人脸特征的前提下，对人脸图片进行上妆，节约用户时间的同时还减少了不必要的资源浪费。

关键词：卷积神经网络；生成对抗网络；人脸图片；上妆

中图分类号：TP18      文献标识码：A

文章编号：1009-3044（2022）27-0033-03

开放科学（资源服务）标识码（OSID）：

1 概述

人工智能将引发第四次工业革命，改变人们工作、生活和互动的方式。而在市场竞争日益激烈，店面客流量大幅减少，促销活动效果越来越差的情况下，越来越多的美妆业企业开始意识到AI技术的重要性。在人脸分割的应用中，美妆是一个受众较广的问题。给出一张素颜正面照，如果能够给出其最适合的化妆风格并将其渲染到这张素颜脸上，可以让用户们更方便地找到合适的风格。如今的科技信息时代，为美妆行业由传统模式向新零售转型起到了关键作用，为新零售的发展创造必然的条件，正在成为美妆业终端制胜的关键力量。

智能美妆正逐渐成为美妆市场的新趋势。本团队基于当前美妆市场发展趋势以及相关研究现状，提出设计了基于深度神经网络的秒变妆容系统，该系统有两方面主要作用或优点。一方面，帮助用户精准学习如何画出适合自己的妆容，放大自身优点展现自信，同时节省了大量的时间和精力，借助互联网的调试去尝试更多的可能性。另一方面，为用户提高了个性化需求的同时，公平推荐算法在微美妆系统中的合理应用为社会的资源节约和消费支出提供了良好的条件，也落实了节约资源和环境保护的基本国策，实现了资源的合理使用，有利于生态环境的可持续发展。在满足人们日常妆容需求的同时，不必提前购买的情况下测试出合适的妆容搭配。在物质和资源满足的前提下，更好地提供了节约的条件。

2 总体设计

秒变妆容系统基于深度神经网络方向进行设计开发，该系统通过卷积神经网络（CNN）提取图像的局部的特征，获取上传图片的锚点等信息。在不改变图片内人像特征的前提下，利用獲取来的信息，对人像进行智能化妆，选出契合人们审美的化妆效果图，供用户参考选择，同时提供每个部位对应妆容的化妆技巧。该系统由图像处理、智能化妆、化妆技巧推荐、信息交互四个方面组成，如图1所示。

图像处理：把用户上传的面部图像进行特征提取，提取出锚点以及用户的特征，对提取出的特征进行分析，打包处理后输出。

智能化妆：根据图像处理输出的人物图像特征，以及用户需要化妆的部位、应用的场合、用户的个人喜好等限制条件，在保证不会对用户的锚点造成改变的前提下，对相应的部位进行模拟化妆，对化好妆后的不同妆容进行对比，筛选符合个人审美的效果图，输出给用户参考。

技巧推荐：根据用户是否为敏感皮肤，提示用户关于敏感皮肤在这次化妆中需要注意的事项。在用户看完并且选择想要化的妆容之后，根据用户对效果图的选择，给用户推荐化妆的技巧提示，如：口红的色号、涂抹的力度等。在用户化好妆后，如果化妆品有特殊情况（如彩妆）或者用户较少进行化妆的情况下，给用户一些卸妆方法的提示，防止用户在化妆后对皮肤造成巨大的损伤。

信息交互分为用户和系统两个模块：1）用户方面：用户需要输入自己的正脸照片、本次化妆需要化妆的部位，对妆容的特殊要求（个人的特殊喜好、妆容的应用场景）、皮肤是否为敏感皮肤，若有更多的要求，用户可自行补充即可。选择妆后效果图，返回系统；2）系统：根据用户输入信息和要求制作出化妆后的效果图提供给用户选择。用户选择想要的效果后，给出化妆提示。

2.1功能结构设计

秒变妆容系统功能结构分为用户信息收集处理、图像特征处理和分析、智能化妆及效果图的推荐展示、妆容技巧推荐四个部分。系统功能结构如图2所示。

2.1.1 用户信息收集和处理

用户访问系统，根据系统的提示上传用户的正脸照片，选择本次化妆需要化妆的部位（可选全部），对妆容的特殊要求（个人的特殊喜好、皮肤偏好、妆容的应用场景）。基本信息输入完成后，系统会提示用户：皮肤是否为敏感皮肤、本次化妆是否选择彩妆等（如有更多要求，用户可自行补充）。

系统根据用户输入的条件，制定出用户的专属妆容效果图集后，返回给用户，供用户挑选，选择出自己最喜欢的化妆效果图，反馈给系统。系统根据用户的反馈，给出这个妆的技巧，再和用户条件里的化妆技巧进行整合，输出给用户，让用户化出好妆。在用户化妆完成后提供用户卸妆和保养方法。

2.1.2 图像特征处理和分析

人像分析：人脸检测技术指的是对图片中的人脸进行检测，并定位到图片中人脸的位置。人脸检测主要的技术难点在于，人脸在一张图片中可能存在人脸区域光照条件，人脸姿态变化、人脸表情变化、遮挡等问题。项目组决定采用MTCNN（Multi-task Cascaded Convolutional Neural Network，多任务级联卷积神经网络）从用户上传的人像中提取出人脸部位。

人像锚点提取：人脸锚点定位技术是对人脸中眉毛、眼睛、鼻子、嘴巴以及脸部的轮廓进行定位，人脸锚点定位是紧接在人脸检测后，首先在一张图片中检测到人脸，然后对检测到的人脸做关键点定位。项目组会对MTCNN技术进行深入学习，在需要的部位进行更加深入的应用，达到在后续步骤使用的目的。

人像微处理：在特征点定位好后，对图像进行还原，把头发等除人像外的部分还原。

人像特征总结：把提取到的人脸特征进行总结，准备发送至下一模块。流程图如图3所示：

2.1.3 智能化妆及效果图的推荐展示

化妆信息输入：首先通过摄像头获取用户的面部信息，人脸特征的深度处理方法是用于处理分析的，可以使妆容与用户的条件相结合，根据肤色、种族、民族等对应不同的妆容体系，传输给下一步。

适合的妆容分析：把用户想要化妆的部位与当前用户的面部特征、发型等相比对，通过妆容数据库和化妆品数据库自动执行样品及效果对比，再根据对应特征值匹配适合的妆容，把在该部位哪种颜色、什么形状等信息打包总结，传输到下一步。

妆容模拟：根据妆容分析传输过来打包好的信息，进行具体化的上妆，由于打包的化妆后的信息有较多版本，全部展示给用户并不契合实际，所以要对这些上好妆的图片进行对比，经过反复对比把筛选后效果最好的几张图片输出供用户参考选择。筛选后每张效果图，对五官进行分别提取分类成不同的风格，依据样例数据的特征风格，进行最优匹配并上妆。

样品妆容对比：利用GAN的判别网络把妆容模拟产生的效果图与妆容数据库中的图片进行比较，如果成功通过网络（Discriminator），就把高度匹配的效果图输出供用户参考，同时调用化妆品数据库，把化该妆容所需要的各种化妆品、化妆品对应的色号、品牌输出给用户，让用户进行化妆；如果匹配度一般，就返回妆容模拟，重新修改再对比，经过多次的比较，不断完善化妆效果，流程图如图4所示。

2.1.4 妆容技巧推荐

在用户选择好本次化妆想要的效果后，把效果图、该效果对应化妆使用的化妆品信息传入化妆技巧推荐模块，再对这次化妆需要用到的技巧进行搜索，搜索好的化妆技巧与特殊要求的化妆技巧相结合，生成最终的化妆技巧总结，反馈给用户，以供用户使用。这里提供两种搜索途径，上网搜索和本地数据库搜索，上网搜索必定提供，本地数据库搜索若没有则不必提供，但是当本地搜索没有提供时或者用户选择的网络化妆技巧与本地有较大不同时，会根据用户选择，补充数据库的内容。数据中的技巧在每个用户选择后会有统计使用次数和百分比信息。由于网页搜索内容不唯一，以及数据库搜索会给用户提供几种进行自我选择。优先使用本地搜索中用户选择多的，以及上网搜索中可靠网站的内容。上网搜索的化妆技巧以网页链接方式提供给用户参考。

特殊化妆技巧：根据用户输入的特殊条件进行分析，由分析结果提供化妆技巧。化妆技巧同样进行搜索，方法与正常化妆的搜索一样，流程图如5所示：

2.2功能模块设计

秒变妆容软件界面设计如下：

用户打开电脑，给电脑连接网络，在浏览器的搜索框内输入基于深度神经网络的秒变妆容软件或者秒变妆容软件，回车后跳转此软件的链接，点击软件链接，即可进入软件的主界面，随后打开软件主界面，即可点击秒变妆容软件的功能使用。

主界面：软件在使用的过程中，用户主要以鼠标操作为主。如图6是软件的主界面，点击使用按钮即可进入选择妆容模式和风格，用户可根据场合实际情况选择合适的妆容模式和风格。

选择图片和妆容风格界面：界面要求默認选择模式为单张图片所形成的文件（需要包含全脸）。如图7选择妆容模式和风格界面，首先上传自己的照片，然后选择化妆风格，从“端庄”“自然”“甜美”三种妆容风格中选出一种想要的妆容风格，最后点击上传，即可得到上妆图片。

关于系统内容和相关合作方式展示：关于秒变妆容系统内容和相关合作方式展示。如图8是关于系统内容和相关合作方式展示界面。本项目是一个围绕智能美妆设计综合多方面研究应用于广阔市场的智能科技实现，致力于从多方面综合出发，实现对人像的高契合度的智能化妆。本项目把握当下社会生活中智能美妆逐渐成为美妆市场的新趋势和大潮流，完善其中各方面系统性能，实现针对用户的个体特征分析，选择适合用户妆容的智能美妆系统。本项目不仅可以节约用户选择合适化妆品的时间成本，还能减少化妆品资源浪费。除此之外，通过与化妆品供应商合作，也能有利于化妆品的推广和销售。

秒变妆容软件实现步骤如下：

妆容风格的三种模式切换：点击选择一种化妆风格，化妆风格有自然妆容、端庄妆容、甜美妆容，用户可根据自己的喜好选择妆容风格。

选择图片文件：输入图片时点击上传文件，选择要上妆的全脸图片。用户若上传半边脸或者各种缺角的照片，就会导致系统检测用户脸部特征点时出现差错，软件就无法完成妆容推荐给用户，导致软件推荐的妆容效果不佳。

输出上妆后的图片：系统最终将根据用户的照片，提取用户的脸部特征点，在不改变用户脸部特征的同时，对比数据库深度学习用户适合的妆容，输出上妆图片给用户。

3 结束语

智能美妆是用户进行便捷化妆的有效方式。本产品能够帮助用户精准学习如何画出适合自己的妆容，放大自身优点展现自信，同时节省了大量的时间和精力，借助互联网的调试去尝试更多的可能性。为用户提高了个性化需求的同时，公平推荐算法在微美妆系统中的合理应用为社会的资源节约和消费支出提供了良好的条件。也落实了习近平总书记“坚持节约资源和保护环境”的基本策略，实现了资源的合理使用。在满足人们日常妆容需要的同时，不必提前购买化妆品的情况下测试出合适的妆容搭配。在物质和资源满足的前提下，更好地创造了节约条件。此外，该系统有利于环境的可持续发展，资源的消耗将有所减少，创造了经济价值，对于各方面具有积极的调控作用。当今市面上比较流行的美妆软件主打的还是人像照片上的美化，可用于现实化妆的并不多。有针对性地对每个用户的面部特征进行分析，选择适合的妆容也有利于促进美妆行业的发展，同时方便用户快速找到适合自己的产品。该系统实现后，将可以极大地减少化妆品资源浪费，节省用户选择合适化妆品的时间成本，同时可以与化妆品供应商合作，便于化妆品的推广和销售，从而保证了物尽所用，层层递进的效果。

参考文献：

[1] 庾涵.基于生成对抗网络的自动上妆算法研究[D].北京：中国科学院大学，2018.

[2] 黄萍，朱惠娟，左志远.深度学习在人脸妆容推荐系统中的应用研究[J].软件工程，2020，23（12）：19-23.

[3] 李阳帆.东方女性人脸妆容推荐算法研究[D].西安：西北大学，2018.

[4] 黄玉萍，梁炜萱，肖祖环.基于TensorFlow和PyTorch的深度学习框架对比分析[J].现代信息科技，2020（4）：80-82，87.

[5] 唐贤伦，杜一铭，刘雨微，等.基于条件深度卷积生成对抗网络的图像识别方法[J].自动化学报，2018，44（5）：855-864.

[6] 梁俊杰，韦舰晶，蒋正锋.生成对抗网络GAN综述[J].计算机科学与探索，2020，14（1）：1-17.

[7] Liu Z W，Luo P，Wang X G，et al.Deep learning face attributes in the wild[C]//2015 IEEE International Conference on Computer Vision （ICCV）.December 7-13，2015.Santiago，Chile.IEEE，2015：3730-3738.

[8] 韩晓旭.东方女性人脸颜值量化算法研究[D].西安：西北大学，2017.

【通联编辑：唐一东】