结合视觉显著性和卷积神经网络的提花织物疵点检测技术

李敏 杨珊 何儒汉 姚迅 崔树芹

摘 要：为了实现提花织物疵点自动检测，提出了一种结合视觉显著性和卷积神经网络的提花织物疵点检测方法。针对提花织物背景干扰的问题，利用视觉显著性模型（Context-aware，CA）抑制背景信息，突出疵点区域的显著性来获得图像的显著图;为了区分织物图像中是否存在疵点，使用在通用数据集上训练过的VGG16神经网络模型对提花织物图像的显著图分类。结果表明：该方法在提花织物疵点检测上平均准确率为97.07%，比直接利用VGG16模型对提花织物疵点检测的准确率提高了19.44%，是一种适合提花织物疵点检测的方法。

关键词：提花织物;疵点检测;视觉显著性;卷积神经网络

中图分类号： TS101.9

文献标志码：A

文章编号：1009-265X（2021）06-0062-05

Jacquard Fabric Defect Detection Technology CombiningContext-awareness and Convolutional Neural Network

LI Min， YANG Shan， He Ruhan， YAO Xun， CUI Shuqin

（School of Computer Science and Artificial Intelligence， Wuhan Textile University， Wuhan 430200， China）

Abstract： In order to achieve the automatic detection of jacquard fabric defects， a method is proposed to detect jacquard fabric defects， which combines context-awareness and convolutional neural network. In order to solve the problem of background interference in the jacquard fabric， a context-aware （CA） model was used to suppress the background information and highlight the salience of the defect area to obtain a context-aware view of the image. To distinguish whether there are defects in the fabric image， the VGG16 neural network model trained on the general data set was used to classify the context-aware views of the image. The results show that this method has an average accuracy of 97.07% in the detection of jacquard fabric defects， which is 19.44% higher than that of the detection of jacquard fabric defects by the direct use of the VGG16 model. It is a suitable method for detecting jacquard fabric defects.

Key words： jacquard fabric; defect detection; context-awareness; convolutional neural network

收稿日期：2020-11-03  網络首发日期：2021-04-15

基金项目：湖北省教育厅科技项目（D20161605）

作者简介：李敏（1978-），女，湖北武汉人，副教授，博士，主要从事图像处理和模式识别方面的研究。

织物疵点检测是提高纺织质量的重要环节，其中提花织物的检测是织物疵点检测中的难点[1]。近年来，随着深度学习技术的快速发展，卷积神经网络作为其主要的算法被广泛运用到图像的缺陷检测中[2]，如罗俊丽等[3]提出基于卷积神经网络和迁移学习的色织物疵点检测，该方法是分别利用残差网络模型和在通用数据集上训练过的残差网络模型对预处理过的织物图像进行分类训练，然后比较在大小不同的数据集上训练的效果;曹振军等[4]提出了基于树莓派的深度学习色织物疵点检测方法，使用改进的Inception-v3模型和人工交互界面来实现的色织物疵点的实时检测系统;Liu等[5]提出基于更快的R-CNN的织物疵点检测，通过RPN提取多个候选区域并利用Fast R-CNN对候选区进行疵点检测，最后采用Soft-NMS来精确检测结果;Jun等[6]提出基于深度卷积神经网络的两阶段策略的织物缺陷检测，是利用Inception-v1模型对图像进行局部缺陷预测再用LeNet-5模型对全局缺陷进行识别。

上述方法针对素织物图像的疵点检测效果明显，但在提花织物图像的疵点检测上不能满足纺织品质量的要求，这是因为提花织物存在复杂的背景，在检测过程中背景信息往往会被当作疵点从而影响了检测的准确率。

为了消除提花织物花纹对疵点检测的干扰，李敏等[7]、周文明等[8]提出了使用视觉显著性来对织物疵点进行检测，先将织物图像输入视觉显著模型中生成显著图，然后通过显著图来确定疵点的位置。虽然上述方法能够较好地解决有疵点的织物图像中背景花纹对疵点检测的干扰，但容易导致在检测过程中将无疵点的织物图像误判为有疵点的织物图像，增大了误检率。

为了提高检测的准确率，降低误检率，本文提出了结合视觉显著性和卷积神经网络的提花织物疵点检测方法。该方法先利用视觉显著性模型抑制背景信息，突出疵点区域的显著性;然后利用卷积神经网络对织物图像进行有无疵点的判断。经实验验证，本文所提方法可以大大提高提花织物疵点检测的准确率，同时降低误检率。

1 基于VGG16的织物疵点检测法

近年来，VGG网络被广泛应用到织物疵点检测领域。Sun等[9]将基于VGG16的卷积神经网络系统用于织物疵点检测中;张驰[10]提出了一种基于VGGNet的织物缺陷识别方法，该方法用于解决复杂的织物疵点检测和疵点分割的问题。

利用在通用数据集上訓练过的VGG16网络，本文对有疵点和无疵点的两类织物图像上进行了实验。实验过程中用到了852张提花织物图像，图像大小为250像素×250像素。经过100轮训练后得到的准确率跟损失率结果如图1所示。其中，方法1为在素织物数据集上的检测结果，方法2为在提花数据集上的检测结果。分析图1可以发现，VGG16模型在素织物数据集上的检测效果明显好于提花数据集。因为在训练100轮后，方法2检测的准确率只有88.06%，损失率为40.15%;而方法1检测的准确率可达到94.55%，损失率为27.20%。造成这种现象的主要原因为，跟素织物相比较，提花织物图像背景复杂，提花织物的花纹在检测过程中往往会被误判为疵点，从而影响了检测的准确率。

2 结合视觉显著性和神经网络的织物疵点检测法

2.1 基本思想

视觉显著性旨在突出显示图像中最显著的对象或区域[11]。为了排除背景信息对检测的干扰提升检测的准确率，先将提花织物图像输入到CA模型[12]中生成显著图。然后将生成的显著图输入到VGG16模型中对显著图进行分类，从而区分有疵点的显著图和无疵点的显著图，即为有疵点的织物图像和无疵点的织物图像。图2为本文方法的流程图。

2.2 方法实现

利用视觉显著性做提花织物疵点检测时，图像中存在疵点的区域较图像中其他部分有一定的差别，而这种差别会使得该区域显著性更高。基于此，从全局和局部考虑，通过抑制提花织物背景区域的显著性，提高异常区域的显著性来实现提花织物疵点检测。根据如下原则对提花织物图像进行处理。

a）从图像局部考虑，提高图像中存在颜色或纹理异常区域的显著值，降低正常区域的显著值。

b）从图像的全局考虑，抑制经常出现的区域的特征，增强异常区域的特征。

c）从图像的空间位置考虑，显著的像素是聚集的，非显著区域的像素是分散的。

2.2.1 局部全局单尺度显著性计算

首先将图像切分成多个块（文中将图像分为7像素×7像素的图像块），将图像所对应的块与所有的其他块做对比，根据原则a）、b）可知，如果以像素为中心的块是独特的，则像素是显著的。根据原则c），图像块之间的位置距离是一个重要因素，显著区域的图像块是聚集的，而背景区域的图像块是分散的，因此图像块之间的差异性计算为式（1）。

式中：dposition（pi，pj）是块pi和块pj之间的位置距离，dcolor（pi，pj）是块pi和块pj在Lab空间上的颜色距离，然后将它们归一化到[0，1]区间。根据实验验证c取值为3。

2.2.2 多尺度显著性增强

考虑到背景图像会在不同的尺度上出现相似的像素块，但对于显著图而言，相似的像素块只会出现在某些尺度上。因此选取4个尺度R=（r，0.8r，0.5r，0.3r），根据单尺度计算法则来计4个尺度上pi的显著性，如式（2）所示，其中rk∈R。

然后，通过以pi为中心的一组多尺度图像块集合来表示每个像素。设R={r1，…，rM}表示pi需要考虑的块大小的集合，M取值为4。r越大，分割像素的数量越少，块越大。pi的显著性取其在不同尺度下显著性的平均值，如式（3）所示。

2.2.3 融合场景

根据视觉注意力理论，图像中可能存在一个或多个注意焦点，而注意焦点区域是显著区域。为了获得注意焦点，分两步进行。首先，从式（3）生成的显著图Sri中提取出显著性较高的像素（通过阈值取像素，最佳阈值为0.8）;然后对显著像素之外的区域进行加权，权值通过与其最近的显著像素的欧式距离获得。dfoci（i）是像素i与最近显著像素之间的欧几里德位置距离，归一化为范围[0，1]。计算为式（4）。

图3是将提花织物图像输入CA模型中得到相应的显著图。从图3中可看出，视觉显著性模型对存在疵点的提花织物图像处理，生成的显著图能够准确高亮的显示出疵点的位置及形状。而对于无疵点的提花织物图像，生成的显著图将背景当作疵点高亮显示，并且显示的部分杂乱无章。因此利用存在这种特征的显著图，既能够降低背景区域的干扰也能很好的区分有疵点的提花织物和无疵点的提花织物。

3 结果及分析

实验的硬件环境为CPU 2.81GHZ，内存8G，操作系统为Windows 10，软件及编译环境为Matlab r2018a、Tensorflow-gpu 1.8.0、Python 3.5.2和Keras2.2.4。

实验中共使用了852张提花织物图片生成的显著图，其中有疵点织物图像有357张，无疵点织物图像有495张，显著图的大小为均为250像素×250像素。

实验使用几种不同的显著性模型对提花织物计算生成的显著图做了比较，即SR（Spectral residual， SR）模型（方法1），GVBS（Graph-based visual saliency， GBVS）模型（方法2），COV（Covariances， COV）模型（方法3）和本文使用的CA模型（方法4）[12]结果如图4所示。从图4中可以看到，CA模型相较于其他模型生成的疵点的大小、形状以及位置更准确，因此使用CA模型来生成显著图更有益于后面对图像做分类测试。

分析圖5发现，利用CA模型对852张提花织物图像进行显著性计算生成显著图，再对显著图利用神经网络做分类（本文的方法），在同样经过100轮训练后，检测的准确率可达到99.42%，损失率为5.16%。相较于其他两种拟合效果更好。这说明结合显著性模型和神经网络的方法对提花织物数据的检测是可行的。

VGG16在3种数据集上的检测结果如表1所示，从表1中可以看到，对显著图进行分类比直接对提花织物图像分类效果更好。从训练分类阶段看，在相同的学习步长下，VGG16对提花织物的显著图分类的速度是对提花织物数据分类速度的两倍。

4 结 语

针对提花织物的疵点检测，提出了一种结合视觉显著性和卷积神经网络织物疵点检测方法，主要是利用卷积神经网络对织物图像的显著图进行分类，并在不同的模型上对多种提花织物图像进行了实验。结果表明，该方法在条纹、格子等规则的织物数据集上效果最佳，然而，对于微小型疵点在不规则的提花数据上检测效果却不尽人意。因此，提高不规则提花织物疵点检测的准确率和多分类是下一步研究的重点。

参考文献：

[1]NGAN H， PANG G， YUNG N. Automated fabric defect detection： A review[J].Image and Vision Computing， 2011，29（7）：442-458.

[2]赵艳，左保齐.机器视觉在织物疵点检测上的应用研究综述[J].计算机工程与应用，2020，56（2）：11-17.

[3]罗俊丽，路凯.基于卷积神经网络和迁移学习的色织物疵点检测[J].上海纺织科技，2019，47（6）：52-56.

[4]曹振军，景军锋，苏泽斌，等.基于树莓派的深度学习色织物疵点检测研究[J].棉纺织技术，2019，47（1）：11-15.

[5]LIU X， LIU Z， LI C， et al. Fabric defect detection based on faster R-CNN[C]// International Conference on Graphic and Image Processing， Proc SPIE： 2018，1061：55-63.

[6]JUN X， WANG J， ZHOU J， et al. Fabric defect detection based on a deep convolutional neural network using a two-stage strategy[J].Textile Research Journal， 2021，91（1/2）：130-142.

[7]李敏，崔树芹，陈佳.应用视觉显著性的小提花织物疵点检测[J].纺织学报，2016，37（12）：38-42，48.

[8]周文明，周建，潘如如.应用上下文视觉显著性的色织物疵点检测[J].纺织学报，2020，41（8）：39-44.

[9]SUN H C， CASTOR N M. Fabrics defects detection system based on convolution neural network[J].International Journal of Science， 2020，7（5）：154-158.

[10]张驰.基于轻量级卷积神经网络的织物缺陷识别算法研究[D].郑州：中原工学院，2019.

[11]LI M， WAN S， DENG Z， et al.Fabric defect detection based on saliency histogram features[J]. Computational Intelligence， 2019，35（3）：517-534.

[12]GOFERMAN S， ZELNIK-MANOR L，TAL A.Context-aware saliency detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2012，34（10）：1915-1926.