基于相似性定位和超像素分割的织物疵点检测

朱 磊， 任梦凡， 潘 杨， 李博涛

(西安工程大学 电子信息学院， 陕西 西安 710048)

织物疵点检测是纺织行业保值增效的重要手段，但织物图像纹理具有多样性和复杂性，是织物疵点检测领域的研究难点。传统的织物疵点大都由经验丰富的员工进行人工检测，该方法不仅存在效率低、成本高等问题，还会产生由于主观因素造成的大量误检、漏检等情况[1]。为解决人工检测带来的问题，数字图像处理和机器视觉等现代技术已被应用于织物疵点检测[2-4]。

现有基于数字图像处理的织物疵点检测方法大致可分为以下4类：变换域检测法、数学统计检测法、视觉显著性检测法和深度学习检测法。变换域检测法将图像由空域转换到小波域等变换域进行检测，对周期性简单纹理织物图像具有较好的检测效果，但对复杂纹理织物图像的检测效果一般[5-6]；数学统计检测法通过对图像灰度、纹理等特征进行统计分析，来引导织物的疵点检测，此类方法的检测效果受统计参量与统计方法的选择影响较大[7-8]；视觉显著性检测法利用随机疵点阻隔织物纹理周期性特征的显著性变化实现疵点检测，此类方法对明显的疵点检测效果较好，对细微的疵点检测效果欠佳[9-11]；近年来提出的深度学习检测法检测精度较高，但检测模型和参数的确定需要提供大量的训练样本，实现过程较为复杂[12-14]。

为进一步提升织物疵点检测的准确率并实现疵点轮廓的精确分割，本文将数学统计和视觉显著性检测思路相结合，提出了一种基于相似性定位和超像素分割的织物疵点检测方法。该方法将灰度相似性检测参量与结构相似性检测参量相结合，构建了一种能适用于更多类型周期性纹理织物图像的相似性度量函数，并利用该函数在显著图中实现疵点粗定位；以期通过超像素分割和连通域分析，实现对疵点轮廓的准确细分割。

1 几种常见检测方法

带有疵点的周期性纹理织物图像由周期性纹理背景和不规则随机疵点所在的前景组成。文献[7]通过具有噪声项的鲁棒主成分分析模型，提取疵点所在的前景，再通过阈值分割得到检测结果；文献[9]通过计算图像频谱冗余提取出显著性区域，而织物图像中疵点相比周期性背景纹理显著值更高，以此为依据可获得带有疵点的显著性前景，从而实现疵点检测；文献[15]将图像分成大小相同的图像分块，再通过最小二乘回归获得1幅灰度图像，其中灰度级越高的区域，表明其为疵点的可能性更高。总结以上3种方法的大致检测流程，即：先将待检测图像进行滤波、增强等预处理，从而增强疵点和背景纹理之间的对比度；然后，通过进一步分析预处理图像，提取疵点所在的前景；最后对疵点所在的前景进行阈值分割和数学形态学等后处理，得到检测结果。

图1示出以上3种方法对部分周期性纹理织物图像的疵点检测效果。可知，文献[7]方法可准确检测出第1幅测试图像中的疵点，但对复杂纹理织物图像检测效果欠佳；文献[9]方法可较好地抑制织物图像中的背景纹理，但易发生多检的情况；文献[15]方法对前2幅织物图像展现出了较好的检测效果，但在第3幅织物图像检测中出现了较多的错检点。同时，3种方法均难以提取疵点的准确轮廓，且对无疵点织物图像均出现了错检。

注：1#为带疵点简单纹理织物图像；2#为带疵点复杂横向条纹织物图像；3#为带疵点复杂纵向条纹织物图像；4#为无疵点织物图像。图1 测试图像及各方法的疵点检测结果Fig.1 Test images(a) and defect detection results by method of reference [7](b), reference [9](c) and reference [15](d)

针对上述3种检测方法存在的问题，本文将数学统计检测思路和视觉显著性检测思路相结合，提出了一种基于相似性粗定位和超像素细分割的织物疵点检测方法，可明显改善织物图像中的纹理对疵点漏检与错检的影响，且能较为准确地提取出疵点轮廓。

2 织物疵点检测方法

2.1 检测思路

本文提出的检测方法包括基于图像增强和FT显著性估计[16]的预处理、基于相似性度量函数的疵点粗定位和基于SLIC[17]的疵点细分割3大步骤，流程框图如图2所示。可知：以虚箭头表示的辅助流程需先计算增强图像中各图像分块之间的相似性测量值，然后在显著图中实现疵点粗定位；以实箭头表示的主流程先对待检测图像进行将数增强，然后采用显著性检测得到其对应的显著图，再借助辅助流程实现疵点粗定位，进而对粗定位图像分块进行超像素细分割和二值化处理，并采用连通域分析剔除孤立点，最后得到检测结果。

图2 基于相似性定位和超像素分割的织物疵点检测方法流程框图Fig.2 Flow chart of fabric defect detection method based on similarity location and superpixel segmentation

2.2 检测步骤

下面按预处理、疵点粗定位和疵点细分割3个步骤，分别进行阐述。

2.2.1 基于图像增强和FT显著性估计的预处理

为抑制织物图像中噪声、模糊等问题，需在疵点定位前对其进行滤波、增强等预处理，以降低噪声干扰，提升疵点和背景之间的对比度。本文方法的预处理包括颜色空间转换、中值滤波、对数增强及显著图估计4步。

由于本文方法在后续处理中图像亮度信息是重要组成成分，因此首先需将输入彩色图像由RGB颜色空间模型转换到HSV颜色空间模型。设输入的织物图像为Ir，则提取的亮度信息Iv可表示为：

(1)

式中，R、G、B分别为输入图像Ir的红、绿、蓝分量。

本文方法选择简单且具有一定边缘保护能力的中值滤波来对亮度信息Iv进行平滑，得到的滤波图像Im可表示为：

Im(x,y)=median(Iv(x±m,y±n))

(2)

式中，(x±m,y±n)∈W，W为中值滤波窗口。

本文方法选择对数增强算子来提升滤波图像Im中疵点和背景之间的对比度，得到的增强图像I可表示为：

I=clg(1+Im)

(3)

式中，c为常数。

为削弱增强图像I中的周期性纹理对疵点检测的影响，本文引入FT显著性检测算法[16]估计增强图像I对应的显著图Ism。显著图Ism可明显提升疵点的灰度值，进一步提升疵点和背景之间的对比度，其计算公式为：

(4)

2.2.2 基于相似性度量函数的疵点粗定位

为缩小疵点检测范围，本文方法将结构相似性检测参量和灰度相似性检测参量结合，构建了一种相似性度量函数，利用该函数计算增强图像分块之间的相似性测量值，并通过阈值化相似性测量值实现对疵点在显著图中的粗定位。

本文选用的结构相似性检测参量[18]可有效度量2幅图像块之间的结构相似性。图像块X和Y之间的结构相似性检测参量SSIM(X,Y)计算公式如下：

SSIM(X,Y)=[l(X,Y)]ω[c(X,Y)]β[s(X,Y)]γ

(5)

(6)

(7)

(8)

式中：l(X,Y)、c(X,Y)和s(X,Y)分别为图像块X和Y之间的亮度、对比度及结构对比值；ω、β、γ是用于调整图像亮度、对比度和结构所占权重的参数；μX和μY分别为图像块X和Y的均值；δX和δY分别为图像块X、Y的标准差；δXY为图像块X、Y之间的协方差；C1、C2、C3为常系数。

本文方法提出了基于归一化局部均值差分的灰度相似性检测参量，该参量可有效度量图像块之间的灰度相似性。图像块X和Y之间的灰度相似性检测参量GRAY(X,Y)计算公式如下：

(9)

考虑到式(5)所刻画的结构相似性检测参量只能对2个图像块之间的结构相似性进行有效测量，式(9)所描述的灰度相似性检测参量只能对2个图像块之间的灰度相似性进行有效测量，因此本文方法将结构相似性检测参量和灰度相似性检测参量结合，提出了一种可适用于更多类型周期性纹理织物图像的相似性度量函数，计算公式如下：

S(Pn,Qi)=α×SSIM(Pn,Qi)+

(1-α)×GRAY(Pn,Qi)

(10)

式中：Pn(n=1，2，3，…,N)为将增强图像I分成H×H像素(本文中，H取30)大小相同且互不重叠的N个图像分块；Qi(i=1，2，3，…,M)为将增强图像I分成H×H像素大小相同且互相重叠的M个图像分块(本文中，互相重叠图像分块之间的步长取20像素)；S(Pn,Qi)为图像分块Pn和Qi之间的相似性测量值，其值越接近1，相似程度越高；SSIM为结构相似性检测参量；GRAY为灰度相似性检测参量；α为调节结构相似性检测参量和灰度相似性检测参量所占权重的参数。

对于周期性纹理织物图像中的无疵点图像分块，在增强图像中可找到1个与其高度相似的图像分块，但很难找到1个和带有疵点图像分块高度相似的图像分块。以此为依据，实现疵点在显著图中的粗定位，计算公式如下：

(11)

图3示出使用SSIM方法和本文提出的相似性度量函数对周期性纹理织物图像中的疵点进行相似性粗定位结果。可知，2种方法对具有明显周期性复杂纹理织物图像中的疵点均表现出了较好的定位效果，而SSIM对灰度信息不敏感，因此难以准确定位出简单纹理织物图像中疵点的大致位置，而本文提出的相似性度量函数中由于加入了基于归一化局部均值差分的灰度相似性检测参量，可实现对更多类型周期性纹理织物图像中的疵点进行相似性粗定位。

图3 SSIM方法和本文方法对疵点的相似性粗定位结果比较Fig.3 Comparison on similarity rough location results of defects using SSIM and proposed method. (a) Test images; (b) Similarity rough location results of SSIM method; (c) Similarity rough location results of proposed method

图4示出式(10)中α取不同值时本文方法对织物图像中疵点的相似性粗定位结果。可知，当α取0.8时能更准确地定位出疵点大致位置，因此本文方法中α取0.8。

图4 α取不同值时对疵点的相似性粗定位检测Fig.4 Similarity rough location results of defects at different weights α. (a) Test image; (b) α=0.7;(c) α=0.8; (d) α=0.9

2.2.3 基于SLIC的疵点细分割

在对疵点进行相似性粗定位的基础上，为进一步提取出疵点的准确轮廓，本文采用SLIC算法[17]代替全局阈值分割方法对疵点进行细分割。

SLIC算法按灰度将图像分成大小均匀的超像素，每个超像素内的灰度值基本相同。对相似性粗定位结果Ic进行超像素分割，设超像素分割结果为L，Ic对应的平均灰度图VS计算公式如下：

(12)

式中：VS为得到的平均灰度图，本文预设的超像素个数C为100，j=1,2,…,100。由于周期性纹理织物图像中的疵点显著性较高，即在显著图中疵点区域的灰度值相比背景中纹理的灰度值较高，对分割得到的超像素进行二值化，可得到疵点的准确轮廓。本文方法在进行二值化处理时，分割阈值取各个超像素灰度值的平均值，将灰度值低于分割阈值的超像素删除，保留灰度值高于分割阈值的超像素，得到的分割结果图Bc可表示为：

(13)

对分割结果图Bc进行连通域分析，剔除孤立点，即可得到疵点检测结果B。图5示出使用全局阈值和超像素分割对图3中相似性粗定位图像进行分割的结果比较。由图可知，2种方法均可分割出织物图像中的疵点，但使用超像素分割处理得到的疵点轮廓更精确，更接近于原图中的疵点形状。

图5 全局阈值与超像素分割对图3相似性粗定位图像的分割结果比较Fig.5 Comparison on segmentation results of similarity rough location image in Fig.3 using global threshold(a) and superpixel segmentation(b)

2.3 计算流程

本文方法对织物图像进行疵点检测时，先将待检测图像进行预处理，然后在显著图中实现疵点粗定位，最后对疵点进行超像素细分割，具体计算流程如表1所示。

表1 本文方法的计算流程Tab.1 Calculation process of proposed method

3 实验结果

为验证本文方法的有效性，将本文方法与基于鲁棒主成分分析模型的文献[7]方法、基于显著性检测的文献[9]方法和基于最小二乘回归的文献[15] 方法检测结果进行直接视觉和参数性能比较。实验从德国TILDA织物纹理数据库和溢达织物裁片库中选用了140幅具有不同周期性纹理的织物图像作为测试集，图像尺度均为256像素×256像素，其中70幅为无疵点织物图像，70幅为带疵点织物图像。实验中70幅带疵点测试图像中包含有扭结、异纤、跳纱、破洞、油污、毛球等多种疵点类型。各检测方法的程序均在配置为2.3 GHz 酷睿I5-6200U处理器和4 GB RAM内存的计算机上，利用MatLab R2014b软件运行。实验中按简单纹理和复杂纹理织物图像分类，分别进行各方法的检测结果直接视觉比较；按有疵点和无疵点织物图像分类，进行各方法的检测参数比较。实验选用了灵敏度TPR、误检率FPR、准确率ACC及平均检测时间T这4个参数进行织物疵点检测参数比较，其中TPR和ACC的统计值越接近1，FPR的统计值越接近0，而T越小，则说明方法的检测性能越好。ACC、TPR、FPR的定义如下：

(14)

(15)

(16)

式中：TP为正确检测的带疵点样本个数；FN为错误检测的带疵点样本个数；FP为错误检测的无疵点样本个数；TN为正确检测的无疵点样本个数。

为公平展示各方法的最好检测性能，特选取了各检测方法在最好检测效果下的参数设置，具体如下：文献[7]方法分成的图像分块大小为16像素×16像素，步长为8像素，用于平衡疵点部分和噪声部分的参数n=0.03、ξ=0.2；文献[9]方法计算均值图像频谱时采用原图和1个3×3的均值算子卷积得到，高斯滤波窗口大小为10像素×10像素；文献[15]方法中图像分块大小为16像素×16像素，步长为8像素，用于平衡疵点部分和无疵点部分的参数λ=0.75，计算平均特征向量时随机选取的小块数量b=5，重复次数k=5；本文方法中分成的图像分块大小为30像素×30像素，互相重叠图像分块的步长取20像素，用于调节结构相似性检测参量和灰度相似性检测参量所占权重的参数α取0.8，区分疵点部分和无疵点部分的相似性阈值Ts=0.998 ，预设超像素个数为100。各检测方法对测试集中的织物图像进行测试，实验结果如图6～7及表2所示。

注：a1，a2，a3为带有较明显疵点的织物图像；b1，b2，b3为带有细微疵点的织物图像；c1为无疵点织物图像。图6 各方法对简单纹理织物图像的疵点检测结果比较Fig.6 Comparison of defect detection results for simple texture fabric images using different methods. (a) Simple texture fabric images; (b) Defect detection results by method of reference [7]; (c) Defect detection results by method of reference [9]; (d) Defect detection results by method of reference [15]; (e) Defect detection results of proposed method

注：a1，a2，a3为带有较明显疵点的织物图像；b1，b2，b3为带有细微疵点的织物图像；c1为无疵点织物图像。图7 各方法对复杂纹理织物图像的疵点检测结果比较Fig.7 Comparison on defect detection results for complex texture fabric images using different methods. (a) Complex texture fabric images; (b) Defect detection results by method of reference [7]; (c) Defect detection results by method of reference [9]; (d) Defect detection results by method of reference [15]; (e) Defect detection results of proposed method

图6示出各方法对简单纹理织物图像的疵点检测结果。可知，在对带疵点简单纹理织物图像进行检测时，文献[9]方法可检测到疵点，但易发生多检，且提取出的疵点轮廓相比原图中疵点轮廓发生了较大的变化。文献[7]方法和文献[15] 方法可正确检测出前5幅测试图像中的疵点，其中，文献[7]方法可较为准确地提取出疵点轮廓，而文献[15]方法在准确提取疵点轮廓方面效果一般。在对无疵点简单纹理织物图像进行检测时，3种对比方法均发生了错检。本文方法可正确检测出无疵点织物图像，并准确检测出带疵点织物图像中的疵点，且提取出的疵点轮廓更完整。

图7示出各方法对复杂纹理织物图像的疵点检测结果比较。可知，在对带疵点的复杂纹理织物图像进行检测时：文献[9]方法虽可较好地抑制织物图像中的周期性纹理且检测到疵点，但易将无疵点区域误判为存在疵点的区域，易发生多检，且由于后处理中采用了数学形态学处理，故提取出的疵点轮廓不够精确；文献[7]方法难以消除周期性复杂纹理织物图像中的背景纹理，检测效果一般；文献[15] 方法对明显疵点的检测效果较好，但对细微疵点的检测效果欠佳。在对无疵点复杂纹理织物图像进行检测时，其他3种对比方法均发生了错检的情况，将无疵点织物图像误判为存在疵点的织物图像。本文方法可有效检测出复杂纹理织物图像中的疵点，对带疵点和无疵点的复杂纹理织物图像均表现出了较好的检测效果，且由于本文方法中使用SLIC超像素分割方法对粗定位图像分块进行分割，故提取出的疵点轮廓更加精细。

表2示出各方法对测试集中织物图像检测结果的参数比较。可知，从表征检测效果的TPR、FPR和ACC3个参数比较来看，本文方法均优于其他3种对比方法。4种检测方法的检测灵敏度均在77%以上，而本文方法的检测灵敏度最高，比排名第2的检测方法高出15%以上。3种对比方法对无疵点织物图像易发生错检，导致其误检率较高，而本文方法对误检率降低明显。由于3种对比方法的误检率较高，因此拉低了各自的检测准确率，而本文方法由于具有较高的检测灵敏度和较低的误检率，故检测准确率相对于3种对比方法有明显提升。本文方法检测效果的明显改善，得益于将基于相似性测量的数学统计检测与FT显著性估计相结合，不仅提升了对各类疵点的检测率，而且明显改善了纹理对疵点检测的影响，降低误检的发生。从表征检测速度的T参数比较来看，文献[9] 方法与文献[7]方法的检测速度较快，但检测效果靠后，本文方法的检测效果最好，但检测速度并不占优仅排名第3。本文方法在对疵点进行粗定位时，将每个互不重叠的图像分块与互相重叠的各图像分块分别进行比较，而这种比较策略既有效地提升了检测效果，也明显增加了运算量，导致平均检测时间较长。

表2 各方法对织物图像检测结果的参数比较Tab.2 Comparison of parameters of fabric image detection results by different methods

综合以上实验结果可知，文献[7]方法、文献[9] 方法及文献[15]方法均可用于测试集中多种疵点类型的检测，而其准确率偏低的原因主要有以下2个方面：1)由图6、7中的直接视觉比较可知，3种对比方法对简单纹理织物图像检测效果较好，但对复杂纹理织物图像检测效果一般，故其灵敏度略低于本文方法；2)本文选取的测试集中包含70幅带疵点织物图像和70幅无疵点织物图像，由表2中的参数性能比较可以看出，3种对比方法易将无疵点织物图像误判为存在疵点的织物图像，导致其误检率较高，同时也拉低了其检测准确率。而本文方法采用将每个互不重叠的图像分块与互相重叠的各图像分块分别进行相似性比较的策略，可实现对不同周期性纹理织物图像中疵点在显著图中的粗定位，从而明显地改善了织物纹理对疵点检测的不利影响，故其准确率相比3种对比方法有明显提升。

综上所述，本文方法可对更多类型周期性纹理织物图像进行疵点检测，且可精确提取出疵点的完整轮廓，与其他3种对比方法相比，检测准确率更高，且提取出的疵点轮廓更完整。

4 结 论

本文将数学统计和视觉显著性检测思路相结合，提出了一种基于相似性粗定位和超像素细分割的织物疵点检测方法。该方法将结构与灰度相似性测量相融合构建了相似性度量函数，采用将增强图中大小相同且互不重叠的图像分块和互相重叠的各图像分块进行相似性测量的统计策略，并利用在FT显著图中的疵点定位，有效改善了背景纹理对检测效果的不利影响，对简单纹理织物图像和复杂纹理织物图像中的疵点都可进行有效的粗定位；另外，利用SLIC超像素分割对粗定位图像分块进行处理，实现了对疵点轮廓更精细的提取。