基于多分辨率的全局及局部显著性的色织物疵点检测

韩士星,李鹏飞,张银河

(1.西安工程大学 电子信息学院, 陕西 西安710048；2.西安工程大学 陕西省2011产业用纺织品协同创新中心, 陕西 西安710048)

0 引 言

在纺织工业生产中,大多数成品的疵点仍然依靠人工进行检测。人工检测强度大、效率低,检测准确率也会随之降低[1]。因此,实现疵点检测的生产线自动化势在必行。

目前，国内在织物疵点检测方面,景军锋研究团队作了大量的研究工作[2-4]。随后,景军锋等[5]又提出基于Gaussian回代交替方向(ADMG)图像分解的色织物疵点检测算法。文献[6]提出一种基于能量局部二值模式的色织物疵点智能检测算法,能够快速有效地识别色织物疵点。文献[7]提出一种应用双频FTP检测色织物缺陷的方法。文献[8]提出一种在不依赖于标注样本的条件下，利用无监督去噪卷积自编码器对色织物进行疵点检测和定位。

视觉显著性检测是通过模拟人的视觉特点[9], 提取图像中的显著区域。 随后， 有专家学者提出不基于任何生物视觉原理的纯数学计算方法, 如基于上下文感知的显著性检测 (context-aware saliency detection,CA)[10]以及谱残差显著性检测 (saliency detection:a spectral residual approach,SR)[11]。 近年来, 视觉显著性检测已经广泛应用于高光谱异常点检测[12]、 声呐图像[13]以及木板实时分类[14]等领域。

视觉显著性检测在纺织品的疵点检测中也得到应用。文献[15]对图像进行分块后提取局部纹理及统计特征,然后使用基于上下文的显著性算法进行计算,虽然检测效果较好,但是由于算法迭代冗余,计算时间较长,不适应工业生产。本文选取了200幅色织物样品,其色织物背景只存在一种纹理,主要以彩色格子、彩色条纹、碎花图案等以一定规律出现的图案为主。通过融合局部显著性模型的方法,生成综合显著图,最后进行图像分割及形态学处理,进一步完善分割效果。

1 多分辨率综合显著性算法

通过对带有疵点的织物图像灰度图进行高斯金字塔变换得到多分辨率的子图像,计算其全局显著性,然后用最近邻方法进行图像融合。由于小波具有边缘检测的效应,会使织物纹理背景在边缘的部分变得显著,所以使用低通滤波器对其进行滤波降低边缘检测效应,得到全局综合显著图。与GBVS[16]方法计算得到的局部显著图进行加权融合得到综合显著图,使用图像分割及形态学操作方法得到最终分割结果,具体步骤如图1所示。

尺寸较大的图像,人们的注意力往往集中于局部;尺寸较小的图像,人们的注意力往往集中于全局。因此,本文对于多分辨率变换后的小尺寸子图像计算全局显著性,对于原图的灰度图则计算局部显著性。

1.1 多分辨率显著性分析

有学者通过使用Beltrami[17-18]方法对图像进行不同程度的平滑,生成多尺度图像,发现在不同尺度下的1幅图像具有不同的显著性。基于此思想,本文试图通过高斯金字塔变换[19]对原图生成多分辨率子图像,分别计算全局显著性。如图2所示。

将原织物疵点图像(a)(分辨率为256×256)用高斯金字塔方法变换得到分辨率为128×128以及64×64的子图像,用谱残差方法计算全局显著性，得到图像(b)、(c)。可以发现在不同分辨率下显著区域有所不同。

1.2 全局显著性算法

谱残差模型(SR)[11]能够在简单背景下有效检测出图像的显著区域。其计算谱残差模型为

P(f)=L(f)-L(f)Qn(f)

(1)

式中:P(f)为谱残差;L(f)为原图像灰度图的幅值的log谱;Qn(f)为均值滤波器。从模型(1)可知,计算谱残差会减少显著区域的信息,导致疵点区域不够显著。因此,本文提出以下方法计算疵点织物图像全局显著性:

1) 将疵点织物图像灰度化,得到I(x),计算其幅值A(f)和相位谱X(f):

A(f)=|F[I(x)]|

(2)

X(f)=δ{F[I(x)]}

(3)

式中:F为傅里叶变换;|·|及δ分别为傅里叶变换对应的幅值及相位。

2) 通过对A(f)进行对数运算可得到图像f的log谱L(f)。

3) 对L(f)进行二维离散小波分解,得到低频以及高频分量[20]。在疵点织物图像中,低频信息为背景和简单变化的纹理,高频信息为疵点信息[21]。对分解得到的高频分量进行大幅衰减,保留原有低频分量。然后利用二维小波重构,得到背景纹理的log谱L0(f),即

L0(f)=R[L(f)]

(4)

式中:R为二维离散小波分解及重构。小波分解及重构具体方法为

(5)

(6)

P(f)=L(f)-L0(f)

(7)

4) 对X(f)及P(f)得到的结果进行傅里叶反变换,得到全局显著图S(x),即

S(x)=|F-1[exp{P(f)+iX(f)}]|2

(8)

5) 使用高斯滤波对步骤(4)的结果进行处理,以降低小波变换所带来较强的边缘检测效应[22]。

图3为SR谱残差法与本文算法的对比。

从图3可以看出,本文算法应用于织物疵点检测拥有更好的显著效果，是由于使用SR方法计算谱残差时, 对图案整体进行均值滤波, 对应地减少了一部分疵点信息。本文提出的方法, 更有针对性地对织物图像低频高频信息进行分析。小波的分解重构可以在保留低频信息的同时大幅减去疵点信息,计算残差谱时就可以得到相对更完整的疵点显著区域。

通过上述步骤可以得到不同分辨率的子图像的全局显著图,再使用双线性插值放大到原图像大小,然后使用傅里叶变换图像融合的方法得到不同分辨率的显著图,以及全局综合显著图T,即

T=F-1[F(T1)+F(T2)]

(9)

式中：F为傅里叶变换；T1和T2分别为不同分辨率的子图像。

1.3 局部显著性算法

使用GBVS进行局部显著性检测,在特征提取时使用Itti等[8]提出的方法,在计算特征差异时使用马尔科夫链得到显著性值。

输入大小为256×256 的色织物灰度图,利用高斯金字塔对其降维下采样3次,并提取这3幅图的亮度及方向特征,可得到15幅底层特征图。分别计算每一幅图的激活图,连接权值矩阵并归一化直至马尔科夫链平稳分布,最后将方向以及亮度特征的激活图进行叠加得到局部显著图。

1.4 综合显著图模型

本文提出的多分辨率全局综合显著图能够有效保留全局信息,但是会引入背景纹理信息；GBVS算法能够有效过滤背景纹理信息及图案信息,但是会过度的关注视觉显著区域。对两者进行加权融合得到的综合显著图,能够达到良好分割的效果,如图4所示。

1.5 瑕疵区域检测

为了得到有效的瑕疵区域,对综合显著图使用最大熵法进行图像分割,然后使用形态学操作去除孤立小点区域以及噪声带来的影响[23],见图5。

由图5可以看出,本文的综合显著图能够有效识别缺陷区域,符合人眼关注区域。但有些会被人眼忽略的细小噪声也能被图像分割算法检测出来,因此需要形态学开闭操作去除噪声以及误检查孤立小区域的影响。

2 结果与分析

通过实验验证算法的有效性。实验硬件为2.60 GHz的Intel Core(R) i7处理器,软件编译环境为Matlab 2016a。选择香港溢达裁片疵点库的5种带有不同疵点的共200张彩色格子、彩色条纹、碎花图案的色织物图片进行实验,其中跳花40幅,污渍38幅,破洞30幅,断头疵45幅,打结47幅。

实验过程使用4种不同算法对显著图进行计算,结果如图6所示。图6第1列为疵点原图；第2列为方法1，即基于图论的GBVS算法；第3列为方法2，即纯数学计算模型谱残余法SR；第4列为方法3，即基于上下文感知的CA算法；第5列为方法4，即本文提出的方法；最后一列为本文法进行图像分割及形态学处理后的结果。

分析图6可知,GBVS算法能有效识别出疵点,但是在纹理复杂环境下会引入大量噪声;SR算法整体表现不错,但是对于背景对比度较大时,会引入细小的背景噪声,难以分割;CA算法会引入疵点附近的背景纹理,且算法时间运行时间较长,不适用工业生产环境;本文方法通过多分辨率全局及局部显著性算法,能够准确识别出疵点位置,加权融合能够有效过滤掉GBVS方法过度的显著区域检测。

选择5种类型疵点共200张图像进行对比。定义检测准确率

T*=(P/A)×100%

(10)

式中：P为疵点图片的个数；A为所选色织物图片总数个数。

表1为5种不同方法对不同类型疵点的检测准确率及检测时间。从表1可以看出,本文方法检测准确率远高于方法1及方法2,略高于方法3,说明在显著性分析应用于色织物疵点检测中,全局显著性分析的重要性。当显著区域附近有复杂纹理或图案的时候,过多的关注局部显著性会引入大量噪声。方法1虽然能识别出疵点所在区域,但是会引入大量噪声,只能判断疵点位置,不能做到对疵点区域有效的图像分割;方法2的检测速率较其他方法快很多,值得继续研究改进,但是遇见背景复杂的纹理情况时,会引入大量细小的噪声,显著区域不明显;方法3通过对全局及局部显著性计算,取得了较好的效果,但是算法时间较长,无法适应工业生产的需求。本文方法检测速率尚可,具有良好的鲁棒性以及色织物疵点的识别正确率,能够满足部分工业生产的需求。

表 1 不同方法对不同类型疵点的检测准确率及时间Tab.1 The detection accuracy and time of different types of defects by different methods

3 结 语

通过融合局部显著性算法,构建综合显著性模型,能够识别色织物疵点。首先通过高斯金字塔变换,将原始图像灰度图生成2幅分辨率较小的图片,对其进行全局显著性检测；再对原始图像的灰度图计算局部显著性,通过图像融合方式得到综合显著图；最后使用最大熵阈值进行图像分割,并通过形态学操作去除噪声及孤立小点的影响。

本文算法对于疵点检测的正确率相比其他几种使用较为广泛的显著性模型更高,为色织物疵点检测提供了一定的参考,但是算法运行速度尚未达到在线检测的要求。后续研究将致力于提高算法运行速度,实现色织物的疵点在线检测。