基于机器视觉的疵点检测方法的研究进展

王孟涛 李岳阳 杜帅

摘 要：机器视觉在织物疵点检测方面具有广泛的应用，对纺织品质量控制具有重要的现实意义。本文通过对近几年相关文献的分析，简要综述关于疵点检测各种方法，并按照对织物图像处理的方法不同可分为：结构方法、统计学方法、频谱分析方法、基于模型的方法和基于学习的方法。着重阐述了各类方法的优缺点，并总结该领域的发展趋势。

关键词：图像处理;纺织品;疵点检测;机器视觉

中图分类号：TS186.3

文献标志码：A

文章编号：1009-265X（2019）05-0057-05

Abstract：Machine vision is widely applied in the detection of fabric defects， and carries important practical significance for the quality control of textiles. Through the analysis of relevant literatures in recent years， the various methods of defect detection are summarized， and they can be divided into structural method， statistical method， spectrum analysis method， model-based method and learning-based method in accordance with the different methods of fabric image processing. This paper highlights the advantages and disadvantages of various methods and summarizes the development trends of this field.

Key words：image processing; textiles; defect detection; machine vision

织物疵点检测是纺织品质量控制中必不可少的环节，随着工业技术的发展，基于机器视觉的织物疵点检测逐渐成为纺织企业发展的必然趋势。传统的织物疵点检测方法都是由检验人员来完成，有数据表明：一个较为熟练的检验人员的验布速度不超过20 m/min，验布的幅宽在1 m之内，检验效率约70%[1-2]。并且，织物疵点可出现在生产过程中的任何阶段，疵点的形状和种类千变万化，给疵点识别带来了诸多的困难。因此，以快速和可靠机器视觉来代替低效的人工视觉，实现织物疵点自动化检测，具有重要的经济效益和现实意义。

1 织物疵点检测方法

一般根据对图像处理的原理不同，织物庛点检测可以分为如下几类[3-4]：结构方法、统计学方法、频谱分析方法、基于模型的方法以及基于学习的方法。本文主要对近几年检测算法的最新研究进展进行了分类探究和分析，比较了各种算法的优劣势，着重分析基于支持向量机和深度学习方法的特性。

1.1 基于结构方法的织物疵点检测

结构方法将纹理视为纹理基元的组合，纹理分析通过获取纹理特征并推断其替换规则来执行。根据这种方法，织物图案的纹理可以通过简单纹理结构的组合来实现。结构纹理分析包含两个顺序阶段：基本织物纹理的检测;整体织物纹理图案的建模。Abouelela等[5]进行了结构疵点的检测，但是结构方法的可靠性很低，结构化方法只能将织物疵点从非常规整的纹理中分离出来。

1.2 基于统计方法的织物疵点检测

统计方法使用一阶统计量和二阶统计量来提取织物纹理的特征，该特征来描述织物纹理之间相异性及织物纹理整体结构的一致性。基于统计方法的疵点检测主要有[6]：灰度共生矩阵（Gray-leve Cooccurr-ence Matrix）、数学形态学（Mathematical Morphology）、直方图统计法（Histogram Statistical Appr-oach）等方法。

1.2.1 灰度共生矩阵

灰度共生矩阵（GLCM）統计方法是20世纪70年代初由Haralick首次提出，它是在假定图像中各像素间的空间分布关系包含了图像纹理信息的前提下，提出的具有广泛性的纹理分析方法。由于灰度图像是由接近的灰度值像素块构成，因此采用灰度共生矩阵的熵、惯性矩、同质性、角二阶距等14个统计特性的特征值，能很好的表征二维织物纹理特性。Zhu等[7]首先利用自相关函数来确定色织物的图案周期，得到检测窗口的大小，其次用GLCM计算可以表征原图像的特征值，然后计算无疵点图像与模板图像之间的GLCM的欧氏距离，最后给出合适的阈值以实现织物疵点检测。Latif等[8]首次提出将小波变换和灰度共生矩阵相结合的疵点检测算法，算法流程是：首先采用小波变换将原织物图像分成一定大小的子图块，然后选取灰度共生矩阵的（熵、惯性矩、同质性、角二阶距）4个统计特性对每一子图像提取特征值，组成特征向量，最后采用测试样本中的36幅图像进行检测，实验结果：正确率达到90.78%。但是共生矩阵存在两个主要劣势：高分辨率图像的性能较差;计算成本高。

1.2.2 数学形态学

数学形态学是基于对象几何的初步信息的特征提取方法，其基本操作是膨胀，侵蚀，开放和关闭[9]。目前，形态学图像处理已逐步演化成为图像处理的一个核心研究领域。Mak等[10]利用最佳形态学滤波器对于一些特定种类疵点进行检测，并且应用到一个实时的检测系统中，检测率可达97.4%。

1.2.3 直方图统计法

直方图包含图像灰度像素分布的基本统计数据。常见的直方图统计特性有平均值、标准差、方差和中值等。刘洲峰等[11]首先将织物原图像按照要求分割成一定大小的子图像，然后对每一子图像利用局部二进制模式（LBP）和灰度直方图等方法提取子图像的特征，任意选取一个子图像块的特征，与其他n个子图像块特征作对比，经对比之后生成视觉显著图，最后选取合适的阈值对生成的显著图进行阈值分割，达到检测出疵点结果。但是由于灰度直方图的计算过程过于简单和LBP生成的特征向量的维数过高，计算量大等因素，导致这种方法使用较少，可靠性低。

1.3 基于频谱方法的织物疵点检测

基于频谱的织物疵点检测是利用织物中基本纹理基元高度的周期性类似于频谱特性的规律，将图像从空间域（或时域）变换到频域，来检测织物疵点。有傅里叶变换法[12]、小波变换[13-14]、Gabor滤波器[15]等。

1.3.1 傅里叶变换

傅里叶变换是一种图像纹理分析技术，能够进行从时域到频域的详细分析。在图像处理中，这种技术和纹理图像的特征是频率分量，织物图像的大小在旋转期间不会改变。

Dorian等[16]提出一种基于傅里叶分析、模糊聚类和模板匹配的疵点检测算法框架，主要对于机织物的平纹，斜纹和缎纹140种织物图像进行实验。结果表明：实验精度可达到97%。由于傅里叶变换受织物结构变化的影响较大，因此该方法的实时性和通用性都较差。

1.3.2 小波变换

小波变换是一种信号分析技术，它作为傅里叶变换的一种替代方案而被开发，具有多分辨率分析的特点，而且小波变换最主要的优点就是局部的分析。由于织物疵点产生的位置一般不会遍及整个织物表面，因此，小波变换在织物疵点应用也越来越多。

李敏等[17]将小波变换和神经网络相结合对织物疵点进行检测和识别：首先采用小波变换对原图像进行预处理，分解成一定大小的子块，然后利用Radon小波对每一小块进行小波变换生成特征曲线图，最后用神经网络对特征曲线图进行分析以达到识别出疵点区域的目的。张国英等[18]首先使用小波变换将原始织物图像分解成m×n大小的子图，分别从（0°，45°，90°，135°）方向的子图像上提取织物纹理的特征值，然后将不同方向的特征值组成特征向量，用于后续的检测。结果表明：织物疵点检测的正确率达到84%。但是杨晓波[19]提取小波分解后各通道的方差值作为分类的特征值，通过采用不同的优化方案进行实验，实验流程：首先使用标准小波基对前5种方案进行测试，然后再使用自适应小波对余下实验进行测试。结果表明：分类精确率达95.8%。

1.3.3 Gabor滤波器

Gabor变换是D.Gabor 1946年提出的，可以根据纹理结构定制不同比例和方向的滤波器。在图像处理中，Gabor滤波器的频率和方向决定了滤波器的大小和处理图像的位置，适合对织物纹理结构的描述和分析。

尉苗苗等[20]研究提出通过优化Gabor滤波器中的参数来达到识别经编织物疵点的目的。该方法的优点在于将Gabor滤波器和QPSO优化算法相结合，最终使得检测率达到96.67%，且具有良好的鲁棒性。Jing等[21]设计了一种采用多个Gabor滤波器和核主成分分析方法以检测织物疵点。此算法首先选取4个方向和6个尺度的Gabor滤波器组对织物图像进行滤波处理并计算特征向量，通过使用核主成分分析方法降低高维特征向量，相似矩阵由欧式方程计算，并用OTSU进行图像分割，实验结果表明：该方法获得较高的检测率。

1.4 基于模型方法的织物疵点检测

常见基于模型的织物疵点检测方法包括自回归模型（AutoRegressive，AR）、高斯马尔可夫模型（Gauss Markoff，GM）以及其他模型。朱俊岭等[22]在高斯马尔科夫模型的基础上作了改进，首先在水平和垂直方向对子窗口的灰度值分别进行方差投影，然后通过GM模型对灰度值的方差投影进行谱估计，通过谱估计后正常和待检测织物都会有各自的相关系数，通过比较相关系数的不同，以实现检测出疵点的目的。但是，基于模型的方法计算量大，检测的织物疵点种类少，实时性和通用性不理想，因此近几年没有关于此方法的最新研究。

1.5 基于学习的织物疵点检测

模式识别问题的一般模式：图像预处理、提取特征、分析特征和分类器设计。随着近几年计算机技术的进展，各个纺织企业都向着智能制造方向转变，因而基于机器学习的方式也是越来越受欢迎。基于学习的织物疵点检测方法有人工神经网络、深度学习和支持向量机等。

1.5.1 神经网络

神经网络具有很强的非线性拟合能力，可映射任意复杂的非线性关系，而且学习规则简单，便于计算机实现。而且它的鲁棒性、记忆能力、非线性映射能力都很强。

Wong等[23]提出了一种新的疵点检测技术，将小波变换和BP神经网络相结合，首先采用小波变换对原始图像进行平滑处理，再采用均值滤波对织物纹理背景进行衰减，然后利用阈值处理获得二值图像，并用小波变换提取二值图像的9个特征向量，送入到BP神经网络进行分类。结果表明：此方法能够有效识别出常见的5种疵点。槐向兵等[24]采用特征融合的方法来提取常见5类织物疵点的特征值，然后形成特征向量，进而输入到BP神经网络进行识别。实验结果：检测准确率达98.3%。

1.5.2 深度学习

随着近几年深度学习的兴起，在织物疵点检测方面的应用也越来越多。Li等[25]提出一种基于Fisher准则的叠加去噪自动编码器的算法（FCSDA），首先将原始图像分成相同大小的块，利用有疵点和无疵点的样本训练FCSDA，然后对测试集的样本利用已训练的FCSDA进行疵点分类，最后通过重建图像和疵点图像的残差来确定疵点位置的阈值。结果表明：在具有周期性图案的提花经编织物上，该方法的检测效果较好。然而景军锋等[26]对深度学习又进一步改进，提出基于Fisher准则的栈式去噪自编码器算法，首先也是把原始图像分解成一定大小的块，采用稀疏自编码器提取小块的特征，然后利用该特征训练卷积自编码器的参数，提取原图像的低维特征，最后将该特征输入到栈式去噪自编码器网络进行疵点分类，结果表明：該算法能有效地提取织物图像的分类特征，又有Fisher准则的加入，疵点检测准确率又有所提高。

1.5.3 支持向量机

支持向量机是一种常见的分类器，通常在两分类或者多分类的情况下使用较多。支持向量机SVM在小样本检测分类中优势较为明显。Basu等[27]将基于子图像的PCA方法应用于从训练和测试结构图像中提取特征，并使用多类SVM分类器来执行分类任务。该方法在织物疵点标准TILDA数据库上进行测试，成功率达到96.36%。Ding等[28]将原图像分解成图像块，然后将不同的Gabor滤波器组应用到每个图像块中，通过将每个图像块的不同方向和尺度的所有Gabor特征连接起来生成特征向量，采用PCA来减少Gabor特征向量的维数，最后利用SVM将每个图像块分为无疵点和有疵点的类。

[12] SAKHARE K， KULKARNI A， KUMBHAKARN M， et al. Spectral and spatial domain approach for fabric defect detection and classification[C]// Internat-ional Conference on Industrial Instrumentation and Control，2015：640-644.

[13] JASPER W， JOINES J， BRENZOVICH J. Fabric defect detection using a genetic algorithm tuned wavelet filter[J].The Journal of the Textile Institute，2005，96（1）：43-54.

[14] XIA D， JIANG G， LIY， et al. Warp-knitted fabric defect segmentation based on non-subsampled Contourlet transform[J]. The Journal of The Textile Institute， 2017，108（2）：239-245.

[15] JING J. Automatic defect detection of patterned fabric via combining the optimal gabor filter and golden image subtraction[J].Journal of Fiber Bioengineering & Informatics， 2015，8（2）：229-239.

[16] DORIANS， DORIT M. Blind weave detection for woven fabrics[J].Pattern Analysis and Applica-tions，2015，18（3）：725-737.

[17] 李敏，崔树芹，陈佳.应用视觉显著性的小提花织物疵点检测[J].纺织学报，2016（12）：38-42.

[18] 张国英，陈淑兰，赵君.不同光照下织物瑕疵检测方法研究[J].计算机科学与应用，2014（9）：181-186.

[19] 杨晓波.基于自适应离散小波变换的混合特征畸变织物疵点识别[J].纺织学报，2013（1）：133-137.

[20] 尉苗苗，李岳阳，蒋高明，等.应用最优Gabor滤波器的经编织物疵点检测[J].纺织学报，2016，37（11）：48-54.

[21] JING J， FAN X， LI P. Automated fabric defect detection based on multiple gabor filters and KPCA[J]. International Journal of Multimedia & Ubiquitous Engineering，2016，11（6）：93-106.

[22] 朱俊岭，汪军，张孝南，等.基于AR模型的机织物线状疵点研究[J].纺织学报，2012（8）：50-54.

[23] WONG W K， YUEN C W M， FAN D D， et al.Stitching defect detection and classification using wavelet transform and BP neural network[J]. Expert Systems with Appli-cations.2009，36（2）：3845-3856.

[24] 槐向兵，厲征鑫，刘建立，等.基于轮廓波变换的织物疵点分割[J].计算机工程与设计，2014（6）：2153-2158.

[25] LIY D，ZHAOW G，PANJ H.Deformable patterned fabric defect detection with fisher criterion-based deep learning[J]. IEEE，2017，14（2）：1256-1264.

[26] 景军锋，党永强，苏泽斌，等.基于改进SAE网络的织物疵点检测算法[J].电子测量与仪器学报，2017（8）：1321-1329.

[27] BASU A， CHANDRA J K， BANERJEE P K， et al. Sub image based eigen fabrics method using multi-class SVM classifier for the detection and classification of defects in woven fabric[C]//Third International Conference on Computing Communication & NETWORKING Technologies， 2012：1-6.

[28] DINGS M，LIC L，LIUZ F.Fabric defect detection scheme based on gabor filter and PCA[J].Advanced Materials Research， 2012，482-484：159-163.