图像识别技术在纺织品及服装研究中的应用

刘咏梅 洪雯婷 童卫青

摘 要：纺织品及服装研究与计算机、信息技术的融合发展是推进纺织品及服装产业智能化的必然途径，聚焦图像识别技术在纺织品及服装研究中的应用，归纳其研究内容和研究成果。如纺织品领域的纤维及织物组织识别、纺织品疵点检验、面料检索，服装领域的人体体型识别、服装款式图与样版图识别、服装着装图检索分类等;阐述图像识别关键技术简况及分类依据等。讨论研究中存在的问题、空缺与难点，提出未来的研究方向和研究前景。

关键词：图像识别;纺织品检验;服装图像;计算机视觉;机器学习

中图分类号：TS941.26              文献标识码：A          文章編号：1674-2346（2019）04-0019-06

信息化时代快速发展下，纺织服装领域中图像信息所占比例日益提高，成为获取和传递信息的重要工具。人们的生产生活方式也因此改变：在纺织服装生产过程中，通过获取与处理图像将物理图像转化为所需信息，为自动化生产提供信息输入;在纺织服装作为商品的展示与销售过程中，以纺织品及服装为内容的图像检索、识别、标注等技术为用户筛选商品信息提供了便利，还可进行个性化推荐等。

其中所用技术为图像工程及人工智能领域中的图像识别技术，其目的是让计算机代替人类处理大量物理信息，对图像作出各种处理、分析，最终识别所要研究的目标。图像识别技术的研究进展与计算机图形学、计算机视觉、机器学习、模糊逻辑等理论和技术有密切联系，[1]其应用范围涉及医学、生物、工业自动化、公共安全等领域。[2]

本文结合国内外文献研究及技术调查，针对纺织服装图像，对图像识别相关技术进行简要介绍;并就纺织品和服装领域分别阐述图像识别在其中的应用构想与结果。讨论目前应用中存在的不足和研究空缺，期望促进图像识别在纺织服装领域的进一步发展，带动传统纺织服装行业的转型升级。

1    图像识别在纺织服装上的应用

根据应用领域及生产过程的不同，图像识别在纺织服装上的应用可分为纺织品领域和服装领域。

1.1    纺织领域

图像识别技术在纺织及纺织品中多用于纤维和织物组织识别、疵点检测以及面料检索等，其识别难度和应用广泛度有所差异，介绍如下。

1.1.1    纤维及织物组织识别

纺织阶段，图像识别技术可用于识别区分各类纤维及其织物，还可用于原棉加工前识别非棉杂质。对于织物组织结构，针织物中对纬编组织的研究较多，如对其编织周期的识别及组织结构的编码分类等。[3]机织物中目前能够识别出织物中的三原组织;还可辅以亮度累加法检测分割经纬纱线、定位组织点，用于计算纱线密度和组织点的自动分类。[4]但由于织物组织结构复杂多样，即使是人工识别，若非专业人士也难以轻易辨认，因此目前大多相关研究还停留在人工与计算机交互操作提取特征进行识别，难以大范围推广。

1.1.2    织物疵点检测

织物疵点检测经过十数年的发展，已基本能完成疵点判别、疵点分割、疵点分类等功能，并应用于工业。识别准度是其中较为重要的验收指标，但在保证准度的前提下，识别速度也需逐步提高，目前疵点在线监测的速度要求一般高于60 m/min，检测的疵点最小尺寸为0.5 mm。[5]近年进展多为提高精细度及速度、扩展识别疵点类别及检验规范化等，还有部分学者在对织物褶皱及折痕的研究中也使用了图像识别相关技术，提出多视域织物外观平整度客观评级方法，尝试让机器判断织物平整度并验证，为织物表现性能的评估提供了有效的解决方案。[6]

1.1.3    面料检索

面料图像的商业价值和大众使用率较高，消费者和生产商都有挑选符合自己预期面料的需求;且面料图像的颜色、纹理、形状等底层特征相对较为简单明晰，易于被计算机提取和区分。计算机除了能够通过对比面料图像实现相似面料的检索之外，还可基于对部分特征明显的面料进行感性属性定义，实现对面料的主观情感标注。如分析面料颜色的饱和度、对比度、色彩关系及纹理、图案等，人工将客观指标归纳至感性认知，用于面料检索和推荐。[7]但目前的面料检索研究样本仍较为单一，多为同类面料不同色彩，或同类面料不同图案的研究，且人工定义情感属性局限较大，可尝试多维度多分类研究。

1.2    服装领域

服装领域中，对人体体型及服装款式图、样板图的识别多为服装院校和服装专业研究者完成;而计算机、信息技术领域等学者通常从识别服装实物图、着装图入手，对相关图像进行识别、检索、分割、分类及标注等。

1.2.1    人体体型识别

人体是服装的基础，服装的智能化生产离不开对个体体型的研究及描述。对人体体型的研究多基于来源于二维测量或三维人体扫描的数据，但就图像识别技术发展以来，也渐有学者致力于对图像信息的分析以识别体型。一般是对人体二维照片进行预处理后提取轮廓曲线，再用一定的描述方法对曲线分类、以达到对体型分类的目的。[8]

1.2.2    服装款式图与样版图识别

关于服装款式图，可运用shock graph技术提取形状特征再对其分类;[9]对于样版图，可对样版边缘进行识别，在样片文件中储存缝纫信息以用于自动缝纫技术。[10]但服装行业中的款式图风格不一，还未形成一个统一规范作为分类标准;且shock graph一般用于进行形状外轮廓的识别与匹配，不包括内部细节，无法作为样版库的检索依据。需求方面，对服装款式图与样版图的识别需求较小;识别难度方面，服装款式图和样版图像只包含黑白二色及线条，无颜色和纹理特征，就发展现状而言识别难度较实物图高，需要对比不同的图像识别模型和方法，综合选择最合适的方案

1.2.3    服装着装图检索分类（图1）

服装图像识别可分为对服装廓形、尺寸的识别，及服装分类、检索和标注。服装廓形的识别中，一般先在人体着装照片以人脸或人体肤色为参照来确定照片中的服装，再对服装扫描识别特征点、获取数据，由人体身高比例或其他公式自动计算测量服装廓形相关尺寸，以此定义照片中的服装廓形。[11]借助计算机可实现部分服装实物图的尺寸及尺码测量，但仍有较多人机交互工作量。[12]

服装着装图的识别发展相对成熟，基本能够实现对相同或相似服装的检索，服装长度、宽松度及各部件等细节要素的识别，以及服装图像的分类和款式属性标注，其中用到了大量计算机视觉及机器学习的前沿技术。[13]

2    相关技术

图像识别技术主要通过对比存储的信息和当前信息从而识别图像，不同图像不同目的的识别分析稍有不同，在此介绍图像识别的分类及其关键技术。

2.1    图像识别分类

2.1.1    按发展阶段

图像识别的发展主要经历了文字识别、数字图像识别、物体识别3个阶段。[14]可分为最初对拥有模式数据库的印刷体文本的识别，对较为清晰的数字图像提取轮廓、线条计算加以识别，以及扫描获取现实物体图像、记录像素色值对物体进行识别3类。服装标签及样版图纸中的文字、符号可通过文字识别技术获得，服装图像的识别也从外轮廓线条推进至内部细节和款式属性的识别，即往识别细分类、自动化发展。

2.1.2    按识别粒度

根据识别粒度不同，可分为通用图像识别、细粒度图像识别和更精细粒度图像识别等。[15]其中通用图像识别，指识别区分度较大、隶属不同大类的物体，如目标检测、图像分割（将人体、衣物从背景中区分出来）和图像分类等;细粒度图像识别，则是对大类下的子类进行识别，如服装中的各类服饰、款式识别等，大多采用深度学习方法;更精细粒度识别，包括人脸识别、指纹识别等，还有纺织品中的织物组织识别。根据目前的技术原理，其发展需要质量更好的大量织物组织图片，以及对细部特征提取更为敏感的学习算法。

2.1.3    按识别形式

常见的图像识别技术形式有模式识别、神经网络识别和降维形式识别等。模式识别原理是按一定的规则，对比已有图像和新获得图像的相似度，相似度高为同类，一般用于面料和服装的检索、分类等。神经网络识别形式是在传统图像识别的基础上融合神经网络算法。降维形式的图像识别则是对图像中包含的高维性特征数据信息进行降维。降维又可分为线性降维和非线性降维，一般用于特征筛选与表达。[16]

2.1.4    按图像语义层次

图像语义可分为低层、中层、高层，也称为视觉层、对象层和概念层，[17]对图像的研究因此可分为图像处理、图像分析和图像理解3个层次（图2）。

图像识别技术也可据此分为3类，它们的识别依据、识别技术路线都不同。基于低层语义的图像识别以颜色、纹理和形状为识别基础，这些特征也被称为底层特征语义;中层语义通常包含了属性特征，及某一对象在某一时刻的状态和特点，如服装中可由数据归纳出的客观属性――款式细节等，目前需要人为归纳;高层语义指图像表达出的接近人类理解的主观感受语言，如人们对衣物的风格描述等，图像识别可基于此进行情感或物体关系的描述。

2.2    计算机视觉

计算机要进行图像识别，首先需要“看见”、“看懂”图像，这由计算机视觉相关技术实现，其关键技术有特征提取、图像分割、图像匹配等。

2.2.1    特征提取

特征提取是将图像上的特征点划分为不同特征子集的过程，对图像识别的精度和速度有重要影响。[2]图像的基础特征有颜色、纹理、形状及各部分之间的空间关系等，其中空间关系特征包括图像中不同识别目标的相对位置关系和每个目标在图像中的绝对位置信息。服装及人体的关键点及关键部位等的识别均以特征提取为基础;[18]在对织物组织结构的识别中，重点提取组织点的色彩和纹理特征，再对提取出的特征向量进行运算和自动分类，有助于实现组织结构的自动识别。[4]吴欢等[19]基于CaffeNet模型通过女裤外轮廓并描述，对女裤廓形进行了分类，但在进行特征提取时由于自动化识别不足，还无法实现自动拾取关键点，需进行手动操作，这是识别系统实现全自动亟待解决的问题。

2.2.2    圖像分割

根据不同识别目的，图像分割可以是图像识别的前期工作，如先将服装从杂乱背景中分割出来、再进行进一步识别提高准确性;[20]也可以是最终成果，如着装人体的服装检测、轮廓检测、自动识别抓取衣物等。[21]分割方法有基于阈值、基于边缘检测，以及基于区域的图像分割。目前借助各种理论模型提出的分割算法已达上千种，在进行某幅图像分割时，只采用一种方法一般较难得到理想的分割结果，因此需要将以上各种方法有机结合并加以改造，构造多级分割体系，以获得最优的分割结果。

2.2.3    图像匹配

图像匹配是指从不同视角得到的图像中识别出与目标相同或相似的图像区域。[2]最常用的匹配方法是模板匹配和模式识别，模板匹配形式较单一，基本是将图像像素逐一对比，难以解决变形图像的识别。

模式识别可用于图像检索和分类等，将相似的、与其他图像区分度大的部分图像分为同类，是人工智能发展的基石。现今某些模式识别算法还可进行图像理解和描述，如高珊[22]提出样本之间的相似度可通过距离度量学习来得到，其建立了一种多标签距离度量学习模型，并将该模型运用到已获得的特征上，得到新的距离度量学习特征;之后结合服装图片的客观风格文本描述信息，对多视图学习特征集进行多标签分类，得到服装多个主观风格的识别结果。

2.3    机器学习

计算机视觉领域的图像识别一般基于像素或底层特征，通过编写一定的规则对图像进行处理、检索或分类。后期在机器学习助力下，计算机获得一定的学习能力，规则发展为智能算法，图像识别准确度和速度大幅提高。在此简要介绍与图像识别技术相关的机器学习算法。

2.3.1    早期学习算法

机器学习算法在图像识别中一般助于进行图像分类。自1967年发展以来，较为典型的算法有k最近邻算法（k-NearestNeighbor， kNN）、反向传播算法（Backpropagation，BP）、决策树（Decision Trees）算法、随机森林算法（Random Forest， RF）等。李佳平等[23]对8种纯纺织物采集高光谱图像，基于光谱数据分别使用最小二乘支持向量机和最近邻分类器进行分类识别，其中最近邻分类器识别正确率达95.0%;邓淇英[24]则对机织织物的三原组织利用灰度共生矩阵及BP神经网络进行识别分类，准确率为96.4%以上。

2.3.2    支持向量机

支持向量机（Support Vector Machine， SVM）对样本量和编码人员的要求相对较低，且提取属性由研究人员按自己的理论归纳，因此服装领域研究者使用率较高。如张春艳[7]对电商网站中部分面料提取颜色、纹理等底层特征，人工将其降维至三维情感因子空间，对面料进行感性定义，实现基于情感、风格的面料检索。但支持向量机需要人工提取选择特征，过程繁琐，难以应用于大量数据分析。

2.3.3    深度学习

近10年计算机信息存储量和运算速度的提高为机器学习的进一步发展奠定了硬件基础，以及进入上世纪90年代后图像信息在多媒体传播中占比的增加使图像识别相关算法有了海量数据作为支撑，促使图像识别技术进入快速发展阶段。其中深度神经网络中的卷积神经网络（Convolutional Neural Networks， CNN）仿造生物的视知觉机制构建，被大量应用于计算机视觉领域，[25]卷积神经网络经过一定的训练可自行完成从图像中抽取特征这个步骤，且能够减少因图像的平移、旋转、拉伸、部分遮挡等因素造成的识别误判。

深度学习研究者亦对服装领域颇为关注，为此构建了2个服装图像数据集――香港中文大学多媒体实验室公开的包含50类别、1000属性的着装图数据集DeepFashion[26]和Zalando旗下研究部门的10类商品正面图像数据集Fashion-MNIST[27]，供算法研究者们使用及训练（图3）。

基于以上数据集，罗梦研[28]在消除背景的干扰、图像局部信息的利用及模型的轻量化处理上做出了改进;林城龙等[29]在不改变深度网络模型的基础上，基于组合层次化标注数据，提高服装数据的分类准确率，并将服装图像数据的分类属性依据相关性进行分层，用多任务网络技术对应相关的多类别属性进行训练。

3    结语

在纺织及服装领域，先进制造技术一直是较为热门的研究方向，也常借助图像处理技术处理服装各类图像、提取数据等。除神经网络中需要实现自动拾取关键点或自动提取轮廓线条的功能外，还需考虑因着装人体的姿势不同而产生服装形态变化，及头发肢体遮挡衣物导致的识别准确率下降问题。

神经网络中的深层网络结构能够从大规模数据中学习输入到输出的映射，[30]但很多情况下难以获取某一类带有标签的大量样本，譬如越来越趋向于个性化定制的纺织品与服装。因此如何在样本量不多的情况下进行准确的检索和分类也是当下一个具有挑战性的问题。目前有部分论文使用了某种形式的预训练、迁移学习或零样本训练。其中迁移学习（Transfer Learning）是指将从一个环境中学到的知识用来帮助新环境中的学习任务，能够利用已经存在的相关任务或域中带有标记的数据去处理新任务，相比于传统的方法训练模型更加具有广泛的应用价值。[31]关于零样本分类，由于训练样本和测试样本分布不同，传统监督方法设计的分类器直接应用到零样本图像分类问题中可能会出现难理解和泛化性差等问题，但它在图像检索、人脸识别和语音识别等领域有着广泛的应用前景。[32]

随着移动设备及先进制造机器的广泛使用，在各类产品上应用图像识别技术已是大势所趋。但就目前来说，在移动端及各种工业机器上应用部分图像识别技术仍有一定难度，且量级越大越为困难，还要面对各种机型和硬件的指标要求，因此，如何使识别程序稳定高效运转也是一项挑战。

参考文献

[1]章毓晋.图像工程上册：图像处理和分析[M].北京：清华大学出版社，1999：3.

[2]谢永杰，智贺宁.基于机器视觉的图像识别技术研究综述[J].科学技术创新，2018，（07）：74-75.

[3]KOPACZKA M，HAM H，SIMONIS K，et al.Automated enhancement and detection of stripe defects in large circular we-ft knitted fabrics[C].IEEE International Conference on Emerging Technologies & Factory Automation，2016.

[4]孫佳理.织物组织自动识别关键技术研究[D].杭州：浙江大学，2015.

[5]邹超，汪秉文，孙志刚.基于机器视觉的织物疵点检测方法综述[J].天津工业大学学报，2009，28（2）：78-85.

[6]徐平华.基于稀疏编码的多视域织物外观平整度表征与评级[D].上海：东华大学，2016.

[7]張春艳.电商网站中面料商品的情感自动分类研究[D].北京：北京服装学院，2017.

[8]龚昱.基于形状上下文的体型分类和自动识别研究[D].上海：东华大学，2017.

[9]安立新.服装款式图提取及其模式识别的研究[D].上海：东华大学，2015.

[10]LEE J， SULIHJIJOC S. Construction of garment pattern shape information system using image analysis and shape recognition techniques[J].International Journal of Cloth-ing Science Technology， 2016，28（4）： 543-555.

[11]傅白璐，李峻，刘晓刚.基于人体分割的智能女装廓形尺寸数据库构建[J].纺织学报，2018，39（01）：119-125.

[12]王生伟，张侃健.基于角点检测的服装尺寸在线测量技术[J].信息技术与信息化，2018，（12）：73-75.

[13]包青平.基于深度学习的服装图像分类与检索[D].杭州：浙江大学，2017.

[14]张家怡.图像识别的技术现状和发展趋势[J].电脑知识与技术，2010，6（21）：6045-6046.

[15]GE Z Y， BEWLEY A， MCCOOL C， et al. Fine-grained classification via mixture of deep convolutional neural networks[C]. Applications of Computer Vision， 2016.

[16]宋炯，柏松平，王燕华.基于人工智能的图像识别技术探讨[J].科技传播，2018（1）：106-107.

[17]赵婕.图像语义理解的关键技术研究[D].太原：太原理工大学，2016.

[18]WEI S E， RAMAKRISHNA V， KANADE T， et al. Con-volutional Pose Machines[J].2016（6）：4724-4732.

[19]吴欢，丁笑君，李秦曼，等.采用卷积神经网络Caffe-Net模型的女裤廓形分类[J].纺织学报，2019，40（04）：117-121.

[20]CYCHNERSKI J，BRZESKI A，BOGUSZEWSKI A，et al.Clothes detection and classification using convolutional neural net- works[C].IEEE International Conference on Emerging Technologies & Factory Automation，2018.

[21]RAMISA A，ALENY€？G，MORENO-NOGUER F，et al.Learning RGB-D descriptors of garment parts for informed robot gras- ping[J].Engineering Applications of Artificial Intelligence，2014，35（2）：246-258.

[22]高珊.基于距离度量学习和多视图学习的服装主观风格识别方法[D].杭州：浙江大学，2016.

[23]李佳平，沈国康，欧耀明，等.应用连续投影算法及最小二乘支持向量机的单组分纺织品识别[J].纺织学报，2018，39（08）： 46-51.

[24]邓淇英.基于数字图像处理的织物组织结构自动识别研究[D].西安：西安工程大学，2016.

[25]GU J，WANG Z，KUEN J.Recent Advances in Con-volutional Neural Networks[J].Computer Science，2015（4）.

[26]LIU Z，PING L，SHI Q，et al.DeepFashion：Powering Robust Clothes Recognition and Retrieval with Rich Annotations[C].Com- puter Vision & Pattern Recognition，2016.

[27]XIAO H，RASUL K，VOLLGRAF R.Fashion-MNIST：a Novel Image Dataset for Benchmarking Machine Learning Algorithms [J].2017（9）.

[28]罗梦研，刘雁飞.基于轻量化卷积神经网络的服装分类方法[J].计算机系统应用，2019，28（3）： 223-228.

[29]林城龙，胡伟，李瑞瑞.基于深度卷积神经网络的层次多任务服装分类[J].中国体视学与图像分析，2018，23（02）：39-45.

[30]K S， A Z.Very Deep Convolutional Networks for Large-Scale Image Recognition[J].Computer Science，2015.

[31]袁文翠，孔雪.基于迁移学习的图像识别研究[J].微型电脑应用，2018，34（7）：10-12.

[32]LAMPERT C H，NICKISCH H，HARMELING S.Attribute-based classification for zero-shot visual object categorization[J]. IEEE Transactions on Pattern AnalysisMachine Intelligence，2014， 36（3）：453-465.

Application of Image Recognition Technology in Research of Textiles and Garments

LIU Yong-mei1，2 HONG Wen-ting1 TONG Wei-qing3

（1.College of Fashion and Design，Donghua University，Shanghai 200051，China;

2.Key Laboratory of Clothing Design and Technology，Ministry of Education，DonghuaUniversiry，Shanghai   200051，China;

3.Department of Computer Science and Software Engineering，East China Normal University，Shanghai   200062，China）

Abstract： The integration of textile and garment research with computer and information technology is an inevitable way to promote the intelligent development of textile and garment industry.Focusing on the image recognition technology in textile and garment research，this paper summarizes the contents and results of the research such as the identification of fabric and structure，the inspection of textile defects，the retrieval of fabrics， the identification of human bodies，garment style and pattern drawings， and the retrieval and classification of garments and dressing drawings，etc.It also describes the general situation of key technologies of image recognition and the classification basis.The problems，gaps and difficulties in the research are discussed， and the future research direction and prospect are proposed.

Key words： image recognition;textile inspection;garment drawing;computer vision;machine learning