基于深度学习的时装搭配的设计

朱开心，季波，刘海涛，杨艳婷

摘要：为解决每日服装搭配难以选择这一痛点问题，本文以公开的模特时装图片数据集为研究对象，首先通过对图片中的局部服饰（如领口等）位置进行检测，其次根据深度学习的分类算法对局部服饰进行识别，最后基于推荐算法进行时装搭配。系统采用TensorFlow主流的深度学习开发平台，界面简洁友好，性能良好。

关键词：时装搭配;深度学习;TensorFlow

中图分类号：G642      文献标识码：A

文章编号：1009-3044（2021）19-0086-02

近年来，学者们尝试将前沿技术应用到服装搭配中。国外早期研究，衣服搭配是个比较新的课题，Iwata等人提出利用时尚杂志的人体照片来进行服装搭配的推荐系统[1]。作者使用概率主题模型来学习时尚物品之间的搭配模型，从而进行衣服搭配推荐。Andreas Veit， Balazs Kovacs 等人提出从不同类别中学习到物品间的风格相似性，进而产生搭配更好的组合[2]。Liu S， Feng J和Song Z提出了能自适应地根据不同情境推荐衣服搭配。给定用户的情境，给用户指定的参考服装配对最适合的电商平台衣服[3]。Liu， Xin等人开源MMLab，一款专注于时尚服饰领域的计算机视觉分析工具，基于 PyTorch 框架，构建于MMLab开源的计算机视觉库MMCV之上，时尚服饰搭配与推荐模块[4]。这些研究深刻表明时装搭配是未来服装市场的主导模式。

市面上存在的服装搭配普遍存在以下不足：第一，服装搭配中对时装局部特征的表达能力较弱;第二，服装推荐算法较单一。本文设计的基于深度学习的时装搭配算法，综合了目前市场上已存在的相似服装搭配平台的功能，TensorFlow主流的深度学习开发平台进行算法实现，并解决了上诉的不足之处，为每天的时装搭配提供高效的解决方案。

1 系统分析

通过基于微信小程序的时装搭配算法，意在打造一个可以实现每天的时装搭配多样性，本文在需求分析的相关基础之上着重研究以下几个方面：

如何检测服饰（如领口等）所在位置;

如何对模特时装进行多任务属性分类;

如何时装搭配推荐，构建时装搭配关系，最终为用户推荐个性化时装搭配方案。

为实现上述研究目标，系统需具备如下功能：

（1）检测服饰（如领口等）所在位置：对输入的时装图片进行处理，经过检测环节、放大环节、填充环节、数据增强环节，识别服饰（如领口等）所属位置;

（2）对模特时装进行多任务属性分类：输入已检测服饰，对其进行多分类识别，输出局部服饰标签，实现时装属性分类;

（3）时装搭配推荐：输入经过时装属性分类处理的服饰图片，构建时装搭配关系，最终为用户推荐个性化时装搭配方案。

2 系统主要功能实现

2.1 技术架构

系统采用前端框架微信小程序，后端Servlet技术，数据库采用MYSQL数据库，深度学习TensorFlow等。如表1所示。

2.2 主要功能实现

根据系统分析，本系统主要包含如下功能模块， 微信小程序界面如图1所示。

（1）服饰检测模块

本模块通过输入时装图片，基于Fast R-CNN算法，首先检测出服饰（如领口等）所在区域，其次对服饰图片经过放大操作，然后根据上下文信息对放大图像进行填充、最后对时装属性数据增强，输出局部服饰图片，如图2所示。

（2）多任务属性分类模块

本模块经过局部服饰图片输入，基于NasNet算法模型，引入多任务训练，提出增量标签的表达方式，对检测出的服饰属性进行多分类识别，将服饰属性标注相匹配的标签，并将其标注在时装图片中，如图3所示。

（3）搭配推荐算法模块

输入分类后的服饰图片，首先基于内容的推荐算法，构建搭配关系，利用TF-IDF算法和余弦相似度算法计算每件时装的相似度，并计算每件服饰的搭配度;其次基于协同过滤算法，如图4所示。对用户行为，购买记录及穿搭组合分析，最后推荐个性化搭配方案，如图5所示。

3 结束语

本文设计与实现的基于深度学习的时装搭配是对服装搭配的探索，通过对图片中的局部服饰（如领口等）位置进行检测，根据深度学习的分类算法对局部服饰进行识别，基于推荐算法进行时装搭配。本系统的创新点包括：

（1）利用多任务属性分类增强时装局部特征的表达能力，在具有层级结构标签的分类任务中能够达到更好的分类效果。

（2）利用基于内容的推荐算法与协同过滤算法，构建时装搭配组合。

参考文献：

[1] Iwata T， Wanatabe S， Sawada H. Fashion Coordinates Recommender System Using Photographs from Fashion Magazines[C] Proceedings of the International Joint Conference on Artificial Intelligence. 2011， 22（3）： 2262.

[2] Veit A，Kovacs B，Bell S，et al.Learning visual clothing style with heterogeneous dyadic co-occurrences[C]//2015 IEEE International Conference on Computer Vision （ICCV）.December 7-13，2015，Santiago，Chile.IEEE，2015：4642-4650.

[3] Liu S， Feng J， Song Z， et al. Hi， Magic Closet， Tell Me What to Wear！[C] Proceedings of the 20th ACM International Conference on Multimedia. ACM， 2012： 619-628.

[4] Liu X，Li J C，Wang J Q，et al.MMFashion：an open-source toolbox for visual fashion analysis[EB/OL].2020

【通聯编辑：光文玲】