基于显著性检测和超像素分割的本色织物疵点检测系统

汤 锋，张团善，黄乾玮，李乐乐

(西安工程大学 陕西省智能纺织装备研究院，陕西 西安 710048)

本色织物作为服饰、医用、汽车等行业基本的原材料，其表面质量是影响产品价值、品质、外观和性能的主要因素。在纺织行业中，仍有很多企业使用传统的人工检布、验布，检测效率低、人工成本高且可靠性差，不能满足先进生产的需求[1]。应用机器视觉的自动化检测方法正在逐步代替传统的人工检测。

传统的织物缺陷检测方法大致可分为4种:基于统计信息的方法[2]71、基于频谱信息的方法[3]、基于模型的方法[4-5]和基于显著性机制[6-7]的方法，现在主流的检测方法则是基于机器学习[8]663的方法。刘海军等[2]71-76利用分块的梯度直方图进行K-means聚类以构建纹理字典，将字典的纹理频次直方图作为原图的特征向量，对特征采用最近邻分类标记出疵点，此方法利用图像的有用信息进行疵点的分类和标记，适合纹理结构清晰，颜色单一的织物。周文明等[9]利用遗传算法对Gabor滤波器的参数进行优化得到最优Gabor滤波器对织物疵点进行检测，该方法在一定程度上解决了最优Gabor滤波器参数选择困难问题，此方法对纹理结构复杂的印花织物以及本色织物的细小疵点的检测效果不佳。李明等[8]663-669利用生成对抗网络对原始织物缺陷样本进行训练，生成真实的缺陷样本以扩充数据库，再应用Faster R-CNN对扩充后的数据库进行训练，使模型达到实时检测的目的，此方法很容易受到原始数据样本的影响，检测的准确度和实时性都有待提高。

课题组针对本色织物常见的缺陷为研究对象，设计了一种基于显著性检测和超像素分割的缺陷检测系统，在印制背景纹理的同时采用分块计算显著值，再进行超像素细分割，有效提高了检测精度，缩短了检测时间。实验结果表明：本系统具有实际应用价值。

1 检测系统硬件设计

硬件：6 500 K的正白LED光源，斜45°对称布局以消除阴影；迈德威视MV-LD-25-5M-K工业镜头，焦距25 mm；迈德威视MV-GED500C-T彩色面阵传感器相机，最大分辨率和最大帧率分别为2 448 dpi×2 048 dpi和15 帧/s；大恒MicroEnable 5 marathon VCL图像采集卡，最大传输速度1 800 MiB/s，板载内存2 GiB；86HS12步进电机；灵信A4L运动控制卡；传送装置。视觉平台原理如图1所示。

图1 视觉平台原理图Figure 1 Visual platform schematic

系统的工作流程为：辊子带动布料正常运转，工业相机采集到的图像转为数字信号交由视觉检测系统检测；当检测系统检测到缺陷时发送指令到控制模块使电机停止运转，同时相应的喷码机或贴标机获取上位机的数据给布料进行喷码或贴标操作；操作完成，上位机发送指令使机器继续运行，重复上述步骤。

2 织物缺陷检测算法

织物缺陷区域呈点状、线状或块状分布，与背景呈现出很大的差别。针对此特征，课题组提出显著性检测和超像素分割的本色织物疵点检测算法。算法流程如图2所示，将CCD相机采集的RGB图像转到HSI空间，对转换后的图像进行平滑背景和增强边缘处理，再对图像使用基于全局对比度的显著性检测(luminance contrast，LC)对疵点区域粗定位，然后进行超像素的细分割和二值化处理，并采用图形学处理剔除孤立点，得到最后的检测结果。

图2 检测流程Figure 2 Detection flow

2.1 图像预处理

为了降低噪声的干扰，抑制织物的纹理，提升疵点和背景之间的对比度，首先进行颜色空间转换、双边滤波增强预处理。RGB颜色空间各分量之间存在着线性相关性，是极度不均匀的颜色空间，为了提高检测的准确性，先将输入的RGB彩色图像转到HSI颜色空间：

(1)

式中：R，G，B为输入图像的红、绿、蓝颜色分量；H(θ)，S和I分别为输出的色调、饱和度和亮度分量。

普通的高斯滤波和均值滤波会将图像的边缘模糊掉，严重丢失图片的信息。课题组采用非线性的双边滤波(bilateral filter，BF)，是一种结合空间邻度和像素值相似度的折中处理。普通的滤波采样时只考虑了像素间的空间距离，使得滤波后的图像在边缘处的信息会严重丢失；双边滤波的改进之处就在于采样时不仅考虑像素间的空间距离，同时还考虑了像素值间的相似程度，因而可以保持图像的大体分块，进而保持边缘。

普通的2D高斯滤波对一定邻域范围内的像素赋予不同的高斯权重并加权平均后得到结果，会比较明显地模糊图像的边缘。高斯权重因子的生成仅依靠像素间的空间距离，改进后的双边滤波的权重因子取决于空间邻近度因子，也就是值域模板d(i,j,k,l)与亮度相似度因子，即值域模板系数r(i,j,k,l)的乘积ω(i,j,k,l)：

ω(i,j,k,l)=d(i,j,k,l)*r(i,j,k,l)=

(2)

式中：(k，l)为模板窗口中心坐标；(i，j)为窗口模板的其他数系的坐标；f(k，l)表示图像在(k，l)处的亮度值；σd为距离空间高斯核函数的标准差;σr为颜色空间高斯函数的标准差。

与原图进行加权平均得到滤波后的输出：

(3)

2.2 基于全局对比度的显著性检测

目前已有许多显著性检测模型，在织物缺陷检测领域，疵点区域对应与其他背景区域差别较大的高显著性区域，纹理结构简单的背景区域则定义为低显著性区域。为了保证检测的精准性，检测前先将图像进行n×n等分，经过试验得出，n=5时的检测效果最佳；然后对每一个图像块进行基于全局对比度的显著性检测，检测的原理就是在HIS空间的I(亮度)通道计算某个像素在整个小图像块上的全局对比度，即该像素的亮度值与该像素块所有像素的颜色距离之和作为该像素的显著值。图像块I中的像素Ik的显著值SalS(Ik)：

(4)

对每个小图像块进行全局对比度的显著性检测，再将其拼接成一幅完整的图像。不同的显著性检测方法的检测结果存在较大的差异。课题组利用4种显著性检测模型对有缺陷的2个织物图像进行检测，结果如图3所示。4种显著性检测模型为FT算法(frequency-tuned)显著性检测、基于残差谱(spectral residual,SR)显著性检测、基于直方图对比度(histogram contrast,HC)的显著性检测以及课题组提出的检测模型。

图3 不同算法的检测结果Figure 3 Detection results of different algorithms

如图3所示，基于FT的显著性检测能抹除织物的背景纹理，但同时也抹除细长的缺陷；基于直方图对比度的显著性检测虽然可以很好地标记出疵点区域，但是对背景的去除效果不佳，不利于后期的分割定位；基于残差谱的显著性检测既能很好地去除背景纹理，也能凸显细长的疵点，但是此方法对忽略了块状疵点区域，会严重影响检测的结果；而课题组所用的LC显著性检测方法既能很好地抹除背景，又对于各种细长形和块状疵点都具有很好的检测效果。

2.3 超像素分割

为了提取显著图中的高显著性区域也就是疵点区域的位置和轮廓，课题组采用Mean-Shift超像素分割方法对显著图进行进一步精细分割。均值偏移(mean-shift)超像素分割属于无参密度估计理论中多模型分割方法的核密度估计法，该分割方法不需要先验知识，只依靠特征样本空间的样本点概率密度函数的局部最大值来确定样本的密度模式，并将具有相同密度模式的样本聚类到相关的类别中。本质上均值偏移超像素分割还是聚类分割，在给定的d维样本空间Rd中生成N个样本点xI,其中I=1,…,N，则xI的Mean-Shift向量形式为：

(5)

式中：SK是xI具有一定大小的邻域;Mh(xI)则为邻域范围内的样本点相对xI的平均偏移量，即表示该分布的概率密度增加最快的方向。

根据邻域范围内样本点的像素值不同，因而对Mean-Shift向量的重要性也不一样，从而引进核函数计算加权的Mh(xI)，且有:

(6)

以Mh(xI)的终点为新的邻域中心，再计算该邻域的梯度，反复计算直到Mh(xI)的值小于设定的阈值时结束迭代，并且认为在一轮迭代过程中邻域扫描过的所有像素点属于同一类，将最终收敛点的像素值代替该类别中所有像素点的值，对所有样本点都进行此操作得到细分割的显著图。将细分割的显著图二值化，最后对其进行形态学处理，剔除孤立点，合并疵点区域，得到最终的结果，结果如图4所示。

图4 像素分割结果Figure 4 Result of pixel segmentation

3 实验结果对比分析

本实验的软件开发工具包括Python3.7，Opencv 3.4.2，MATLAB R2018a，VS Code1.52，基于64位Windows10系统，Inter(R)Core(TM)i5-8265U@1.80 Hz处理器，RAM为8 GiB。用课题组提出检测方法进行图像分块，将织物的疵点检测转成小区域内的异常检测。由于小范围内的光照强度的变化是很小的，有效的避免了光照不均以及外界因素对检测结果的影响。最后使用超像素分割对疵点位置进行精细分割，极大地提高了本色织物的疵点检测效率。

为验证本研究检测方法的有效性，选取采集的带缺经、缺纬、油污、擦伤和破洞的素色织物图150张以及50张不带缺陷的本色织物样本，图像大小为844 dpi×845 dpi，将本实验方法与基于残差谱的(SR)显著性模型、基于直方图对比度的显著性检测(HC)和基于FT显著性检测结果进行直接的视觉效果以及性能参数比较，各检测方法的检测结果如表1及图5所示。

图5 各算法的检测结果Figure 5 Test results of each algorithm

表1 各算法样本检测结果参数比较Table 1 Comparison of parameters of sample test results by each algorithm

从表1可看出：基于HC对各类缺陷的检测都存在明显的漏检和误检现象；基于SR和FT的检测则对条形缺陷的漏检率较高，平均检测时间较长；而本文方法对有缺陷和无缺陷的织物图像检测都有较高的准确率，且由于在疵点定位和分割上使用Mean-Shift超分割，提取的疵点轮廓更加完整精细，检测时长也较其它3种方法有明显优势。

4 结语

课题组将图像分块和视觉显著性检测相结合，提出一种基于显著性定位和超像素分割的本色织物疵点检测系统。该方法将增强图像的小图像块进行全局对比度的显著性检测，有效的改善了织物背景纹理的变化以及光照强度的变化对检测结果的影响，以及使用Mean-Shift超像素分割对疵点轮廓的精细分割。通过不同算法的实验对比可以看出，课题组提出的算法能够实现对本色织物疵点的更快速高效的检测，具有实际的应用价值。后续将对更多类型织物的缺陷检测做深入研究，扩大算法的适用范围。