基于图元分割与Gabor滤波的织物瑕疵检测方法

狄 岚， 杨 达， 梁久祯， 马明寅

(1. 江南大学 人工智能与计算机学院， 江苏 无锡 214122； 2. 道路交通安全公安部重点实验室， 江苏 无锡 214151；3. 常州大学 信息科学与工程学院， 江苏 常州 213164)

织物图案和瑕疵的多样性是瑕疵检测中的关键难题。纺织品瑕疵检测的方法主要分为3类:统计的方法、光谱和模型的方法。统计法使用像素点的统计特征来对比图像灰度完成疵点检测。统计法包括分形法[1-2]、共生矩阵法[3-5]、形态学法[6-7]。该方法虽然简便快速，但易受到噪声的影响，对于不规则纹理的织物检测率较低。其中应用最广泛的是光谱的方法，所用到的方法主要包括小波变换[8-10]、傅里叶变换[11]、Gabor滤波变换[12-14]。光谱法的核心作用是将在空间域中很难分离的织物纹理转为变换域进行滤波，或以无瑕图像为样本使用最优化理论完成对瑕疵图像的重建。织物纹理通常由随机和规则纹理组合而成，织物纹理的结构与分布特性可以使用建模的方法进行表现。一般假设某种模型可以表现该纹理的特点，模型法通过对无瑕图像训练得出该模型的参数值，根据计算得到的模型检查待检测织物图像是否符合计算得到的模型，若不符合则其为瑕疵图像。模型法主要包括自回归模型[15-17]、Markov随机场模型[18-19]等。

针对含有较复杂图案的织物，纪旋等人提出了基于模板校正与低秩分解的纺织品瑕疵检测方法[20]。Ngan等提出了小波预处理黄金图像相减的方法(WGIS)[21]。而布林带法(BB)[22],正则带法(RB)[23],图像分解(ID)[24]，棋盘法(ER)[25]等方法都是手工提取子图像模板，但由于瑕疵类型的多样性，使得手工确定的模板检测的准确率难以预测。WGIS、ER等方法对面积较小的纺织品瑕疵检测效果不佳，ID方法的查全率较低。

本文使用了一种自适应模板提取方法[26]，避免了手动提取模板造成的影响，提出了基于自适应分割与Gabor滤波的织物瑕疵检测方法。首先将具有周期性质的织物图像自适应分割成单元格，并使用图元分割获取图像单元晶格，通过Gabor滤波器获取每个晶格的特征，完成疵点的检测操作。根据每个滤波器获取到特征信息的Manhattan距离，建立理想晶格，当做晶格相似关系对比的参考。将织物疵点检测问题转化为基于参考晶格的曼哈顿距离表示的格子相似性估计问题。

针对传统算法通过多个滤波器构成的Gabor滤波器组的局限性，本文采用了只有4个滤波器的小型Gabor滤波器组进行特征提取，并提出了降低尺寸与增强滤波器特征信息的方法。把瑕疵检测问题转变成晶格间相似性的对比，提出一种阈值分割方法。根据图元分割方法，确定单位格子，提升单位格的相关性，解决星形图和盒形图瑕疵问题时，体现出优异的检测结果，提高了检测的精度。

1 图元分割与Gabor滤波瑕疵检测

1.1 单位周期模板确定

由于晶格间邻域信息的相关性很高，如果可以确定织物图案的周期，即可利用其邻域相关性对织物进行检测。对于具有周期性质的有图案织物图像I，通过使用损失函数f来获取理想晶格图案尺寸。

(r*,c*)=Argminf(r,c)

(1)

从图像中选取一个模板尺寸为r×c的晶格，当所有晶格与灰度均值矩阵中相应的像素的灰度值标准差之和最小时，求取理想的晶格图案尺寸(r*,c*)。f(r,c)定义为

(2)

其中S2(i,j)为晶格内方差，定义为

(3)

(4)

晶格高度标准差取极小值为21,42,63，晶格宽度标准差取极小值为16,33,49。由于图案具有周期性质，当所求晶格标准差达到最小时，得到理想晶格尺寸为21像素×16像素，如图1所示。

图1 获得图像单位模板大小Fig.1 Get image unit template size.(a)Sample image; (b)Split image

1.2 图元分割

纺织品图案的基本组成单位是lattice。图2示出星状图的图元分割。如果检测单元是lattice,块级算法则会判定全部图像晶格均是瑕疵，显然图2(c)的右半部分和图2(d)的下半部分是没有瑕疵的。

针对以上问题，提出了图形元素进行分割的算法，把m×n大小的lattice分割为4个图像基础单元，I定义为

(5)

图2 星状图的图元分割Fig.2 Segmentation of star images. (a)Upper left primitive;(b)Upper right primitive; (c)Lower left primitive;(d)Lower right primitive

所有单元晶格可分为4个图元，图元仍是具有周期性的图像。

1.3 Gabor滤波器组进行特征提取

图3 Gabor 滤波器卷积投影Fig.3 Gabor filter convolution project

通过Gabor滤波器的虚部使每个图元晶格进行卷积，虚部定义为

(6)

(7)

式中：k为Gabor的尺寸,像素；g为g(m,n|s,θ)；mθ与nθ取值均为45°；Gi,j|s,θ=⊕xGi,j(x|s,θ),其中⨁表示向量进行串联操作，例如：t1=[3,5],t2=[7,9],t1⨁t2=[3,5,7,9]。针对特征Gi,j(x|s,θ)量化晶格特征信息间差异的局限性，提出一种基于能量Ei,j和幅值Ai,j的特征向量νi,j。定义如下：

(8)

1.4 用于表示晶格相似性的特征向量距离

图4 全部晶格卷积后的特征向量Fig.4 Characteristic vector after different latiice convolution

根据一行中的每个晶格，求出其和所在行中剩余晶格的曼哈顿距离来研究Gi,j|s,θ的差异，存储在距离矩阵Di|s,θ

(9)

式中，M(Gi,j,Gi,j+1)表示Gi,j与Gi,j+1的曼哈顿距离，i,s和θ都是常数

(10)

(11)

i=1,2,…|Sh|}

μd和σd分别表示d的平均值和标准差。

(12)

最终求得所有νi,j与ν*的曼哈顿距离,并将其排列为矩阵D中索引为i和j的元素如下所示

Di,j=M(νi,j,ν*)

(13)

1.5 基于晶格特征向量距离的相似度分析

D中距离的信息反应了晶格的相似度，对于无瑕图像，D是稀疏的，因此D的极大值d*可用作判定瑕疵晶格的阈值上限。当d*

(14)

D的特征如大于阈值t1或t2，则标记为瑕疵晶格，如果均大于二个阈值，t1作为评估指标，因为t1可以客观的反映出纹理之间的不同。

1.6 算法描述

本文算法步骤描述如下：

步骤1:对无瑕图像进行自动分割，并对其进行图元分割，得到n个图元Bi(i=1,2,…,n)。

步骤2:将不同尺度和方向的Gabor滤波器和图元晶格卷积，降维映射为G。

步骤3:基于G的能量和幅值，如式(8)所示,计算晶格的特征向量v。

步骤4:针对每一个晶格中的特征向量，如式(9)所示,求出每行不同格子间的曼哈顿距离，用距离矩阵D来存放，并找到每一行的理想参考晶格。

步骤5:求出每行中所有晶格与理想参考晶格间特征向量的曼哈顿距离，并用特征矩阵D来表示,如式(13)所示。

步骤6:求出特征矩阵D的直方特征图，由直方特征图求得t1和t2。

步骤7:特征矩阵D中Di,j>t的晶格判定为瑕疵晶格。

2 实验结果及其分析

本文实验使用由香港电气与电子工程系工业自动化研究实验室提供的数据库。该数据库共包含106幅为256像素×256像素的24位的纺织品图像和106幅手工标定的瑕疵基准图。数据库含有箱形和星形2种类型的织物图像，箱形图织物数据库包含26幅瑕疵图和30幅无瑕疵图像。星形图织物数据库包含20幅瑕疵图和20幅无瑕疵图像。每种图案包含4种瑕疵类型：断端、破洞、细条纹、粗条纹。其中断端疵由于经纱断裂造成纺织品宽度上缺少经纱，细条纹疵表现为细小带状疵点，粗条纹疵表现为宽大带状疵点。将本文算法与WGIS(黄金图像相减法),RB(规则带法),ER(Elo评分方法),BB(布林带法)进行对比。定义MTPR为查全率评价指标，表示瑕疵基准图中的瑕疵像素点被正确识别的比例。MFPR为误检率，表示瑕疵基准图中的瑕疵像素点被错误识别的比例。MPPV为查准率，表示算法识别的瑕疵在瑕疵基准图中所占比例。MNPV为阴性预测指标，表示算法识别的背景在瑕疵基准图中所占的比例。定义f值为检测结果分析的参考指标。计算方式如下：

(15)

(16)

(17)

(18)

(19)

式中：MTP为手工标记的瑕疵与检测结果瑕疵相同的部分；MFP为手工标记的瑕疵而漏检的部分；MTN表示手工标记的无瑕区域与检测结果的无瑕区域相同的部分；MFN表示手工标记的无瑕而漏检的部分；f值表示查准率与查全率的几何加权平均值；α值为1，表示手工标记为无瑕区域却被误检的部分增加时其检测结果不同，f值会减少。

2.1 星状图不同算法对比

本文算法和BB,RB,WGIS,ER 5种算法对星状图中的断端型、破洞型、细条纹型、粗条纹型共4种不同类型的瑕疵进行了对比实验，实验检测结果数据如表1所示。

表1 不同算法对星状图织物瑕疵检测结果Tab.1 Different algorithms for detection of star-shaped

图5示出5种方法的误检率-查全率(MFPR-MTPR)的散点图。图中不同位置同种类型纺织品的散点分别表示不同的瑕疵种类。在MFPR-MTPR的散点图中，MTPR值与检测结果精度成正比，MFPR值与检测结果精度成反比，所以在散点图中，越靠近左上角的散点，检测效果精度越高。本文方法的MTPR值均分布在80%左右，且MFPR值分布在0%附近。

图5 5种方法对星状图检测的MFPR-MTPR图Fig.5 MFPR-MTPR figures of star-shaped by 5 detection methods

实验结果检测图如图6所示。对于星状类型的纺织品来说，本文算法实验结果在4种类型的星状图案纺织品瑕疵数据图中优于其他4种算法。相比BB、RB、WGIS、ER方法，对于星状类型的织物本文方法可以准确检测出瑕疵的具体位置。且误检部分较少，说明本文方法对星状图的织物具有一定的适应性。

图6 不同算法的检测结果Fig.6 Fabric detection results using different algorithms. (a) Original image; (b) Ground-truth； (c)Algorithm of this paper; (d) BB; (e) RB; (f) WGIS; (g) ER

表1列出了星状图的检测结果，RB方法在细条纹型瑕疵图中MPPV值达到最优值，WGIS方法在粗条纹型瑕疵图中MTPR值达到最优值，但MFPR值较高。本文算法在断端型、破洞型、细条纹型瑕疵图中的MTPR值优于其他4种算法，MTPR值平均在80%以上。在破洞型、断端型、粗条纹型瑕疵图中的MPPV值均优于其他4种算法，MPPV值平均在30%左右。ER方法在细条纹型瑕疵中f值达到最优值。本文算法在断端型、破洞型、粗条纹型瑕疵图中f值均优于其他4种算法，且在所有类型的检测结果中MFPR的值都较低。

2.2 盒状图不同算法对比

本文算法与BB,RB,WGIS,ER 5种算法对盒状图中的断端型、破洞型、细条纹型、粗条纹型共4种不同类型的瑕疵进行了对比实验，实验检测结果数据如表2所示。可知，BB方法针对盒状图的瑕疵图检测中检测效果不佳，仅在细条纹和粗条纹检测中瑕疵区域可以模糊分辨出，但误检部分较在星状图类型检测上有明显提升。RB方法在BB方法基础上显著增强了识别精度。WGIS方法对盒状图断端、细条纹、粗条纹上检测效果比较突出，可以检测出大部分瑕疵区域的轮廓部分，但依然存在较大面积的误检部分。本文方法对盒状图断端、破洞、网纹、细条纹、粗条纹5种类型的缺陷图查全率结果为最佳，在所有类型的检测上均表现较好。查全率在星状图断端、破洞、网纹、粗条纹4种类型瑕疵图检测中为最优值。

表2 不同算法对盒状图织物瑕疵检测结果Tab.2 Different algorithms for detection of box-shaped

由图6可知，对于box类型的纺织品来说，本文算法的检测结果在4种类型的盒状纺织品瑕疵数据图中均优于其他算法。相比BB、RB、WGIS、ER方法，对于box类型的织物本文方法可以准确检测出瑕疵的具体位置。本文算法在保持较高MTPR值的同时保持着较低的MFPR，说明本文方法对于盒状图织物的检测具有一定的适应性。

图7为5种方法对盒状图的误检率-查全率(MFPR-MTPR)散点图，图中不同位置的同种类型的纺织品的散点分别表示不同的瑕疵种类。在MFPR-MTPR的散点图中，MTPR的值与检测结果精度成正比，MFPR的值与检测结果的精度成反比，所以在散点图中，越靠近左上角的散点，检测效果精度越高。本文方法的MTPR值均分布在80%左右，且MFPR值分布在0%附近。

图7 5种方法对盒状图检测的MFPR-MTPR图Fig.7 MFPR-MTPR figures of box-shaped by 5 detection methods

由表2可知盒状图的检测结果，WGIS方法在粗条纹类型纺织品数据中的MTPR值为最优值，RB方法在4种类型的瑕疵图数据中MPPV值达到最优。本文算法在断端型、破洞型、细条纹型瑕疵数据中MTPR值达到最优值，MTPR值平均在75%以上，MPPV值平均在30%左右。在断端型、破洞型、粗条纹型瑕疵图中f值达到最优值。在断端型、破洞型、粗条纹型的瑕疵数据图中MFPR值达到最低。

3 结 论

本文提出了一种基于图元分割与Gabor滤波的织物瑕疵检测算法。针对具有复杂周期图案的纺织品瑕疵检测问题，将图像按周期完成分割，然后用Gabor滤波器卷积分割后的每个晶格，为了增强卷积处理的特征，将二维卷积结果映射到一维投影，增强了Gabor滤波器的方向特征。基于投影的比较，找到每行的无瑕疵理想晶格。根据它们的投影能量和幅值来生成理想晶格的特征。这些特征信息的平均值作为评估晶格相似度的对比模板。然后通过分析其特征信息Manhattan距离表示的晶格的差别得到瑕疵晶格。数据和图像实验结果表明，本文方法对于含有图案的织物瑕疵检测具有最佳的准确率和误检率。对于其他样本，具有先验知识的RB方法检测效果较好。实际工作中还要继续研究优异的特征提取方法。