结合全局和随机局部频率调谐的复杂纹理表面缺陷检测

李 健， 陈海丰， 吴 华

(陕西科技大学 电气与信息工程学院, 陕西 西安 710021)

0 引言

随着计算机技术的发展，机器视觉被越来越多的引入到工业生产中，不但可以提高生产效率和产品质量，还可以降低成本[1].目前，机器视觉已经成功应用于一些表面纹理较为规则的刚体表面缺陷检测中[2]，但难以应用在复杂纹理干扰的表面缺陷检测上[3]，如皮革、特殊纸类等.

近年来，随着生物技术的发展，人们对视觉感知机制作了大量的研究和应用.张学武等人提出了基于仿生机理的铜带表面缺陷检测方法[4]，该方法运用Itti视觉注意模型[5]，并结合离散可观测马尔科夫模型，实现铜带表面缺陷的分类；张菁提出了一种基于视觉注意机制的感兴趣区检测方法[6]，该方法运用Itti视觉注意模型，并结合传统的图像分割方法而得；以上两种方法可以归结为：从空间域获取显著图，并结合传统的图像分割方法，得到最终的缺陷区域.但是空间域显著性检测方法计算复杂、结果过于依赖参数的选择，很难应用于一些实时的检测识别系统.

针对空间域显著性检测方法的不足，Hou[7]提出了谱残差方法，从频域出发实现了显著区域的检测.而后，Guo[8]在其基础上提出了四元数傅里叶变换法，增加颜色和运动两个特征进行显著性检测.但是这类方法在显著区域的检测过程中，往往要对图像进行下采样，这样必定会造成图像细节信息丢失.Achnta[9]提出了一种频率调谐显著性度量方法，该方法可以在图像的原分辨率上提取显著目标，并将显著区域的轮廓完整的提取出来，从而克服了以上问题.任蕾[10]提出了一种基于频率调谐的海上小目标检测方法，该方法对图像进行分块并应用频率调谐方法，但该方法对图像进行了分块且要求分块模式固定，故在检测较大目标时，难以应用.

本文针对复杂纹理表面缺陷有大有小、受自身纹理干扰大的固有特点，结合视觉显著图方法应用背景，提出了一种复杂纹理表面缺陷检测方法，该方法克服了传统方法计算量大、大目标与小目标难以同时准确检测的问题.

1 理论基础

显著图是指通过计算各像素的显著度，生成与原始图像大小相等的灰度图像，其中灰度值的高低表示对应位置显著度的大小；图1给出了利用显著图对复杂纹理表面缺陷检测的基本处理流程，下面分别对本文所要用到的相关理论和方法做以介绍.

1.1 显著性度量方法——频率调谐方法

对输入的图像Im×n×3(x,y)，首先对其进行高斯平滑，以便消除细小的纹理细节以及噪音和编码失真.

IG(x,y)=I(x,y)×Gq×q

(1)

Gq×q表示q×q的高斯平滑滤波器，为降低对小目标的影响，尺寸选为3×3.

考虑到Lab空间具有与人类心里视觉空间相似的特点，因此，将图像IG(x,y)转换到Lab颜色空间，记为ILabG(x,y)并提取各通道分量，记为LG(x,y)，aG(x,y)，bG(x,y)，分别计算其全局均值：

(2)

(3)

(4)

图1 显著图的复杂纹理表面缺陷检测方法

图像Im×n×3(x,y)的显著图S可由公式(5)计算得到：

S(x,y)=‖Iμ-ILabG(x,y)‖

(5)

式中，‖·‖表示2范数，Iμ=[Lμ,aμ,bμ]T，ILabG(x,y)=[LG(x,y),aG(x,y),bG(x,y)]T.

1.2 显著图生成策略——融合全局和局部显著图

本文通过计算全局显著图和局部显著图，并将其融合来生成综合显著图.

全局显著图可以很好的表示显著目标的大小、形状及内部信息，但图像中原有的复杂纹理，与缺陷同样显著，因此也会被检测到.文献[10]为抑制海杂波，将图像分块并应用频率调谐方法，但要求待检测目标小于分块大小.在复杂纹理表面的缺陷检测中，待检测目标有大有小，这种固定分块模式并不适用.针对这种情况，本文应用随机局部频率调谐方法计算局部显著图.最后，融合局部显著图和全局显著图，生成综合显著图，使得大、小缺陷都能得到凸显，具体生成方法如下：

(1)全局显著图的生成

在全局显著图中，任一像素的显著值(灰度值)表示它相对于整幅图像的显著程度.对输入的图像Im×n×3(x,y)，直接对整幅图像运用频率调谐方法得到全局显著图S全局(x,y).

(2)局部显著图的生成

在局部显著图中，任一像素点的显著值(灰度值)表示它相对于其周围邻域的显著程度.对输入的图像Im×n×3(x,y)，首先生成一些随机的子窗口，假设共生成n个子窗口：

Windows(i)=[x1i,y1i;x2i,y2i]

(6)

式中i∈[1,n]，x1i是属于[1,m-1]中的一个随机数，y1i是属于[1,n-1]中的一个随机数，x2i是属于[x1i+1,m]中的一个随机数，y2i是属于[y1i+1,n]中的一个随机数.

对每个随机窗口区域使用频率调谐方法，如：对第k个窗口应用式(1)进行高斯平滑得到IkG(x,y)，然后转换到Lab颜色空间，记为IkLabG(x,y)，提取各通道分量，记为LkG(x,y)，akG(x,y)，bkG(x,y)，分别计算其局部均值：

(7)

(8)

(9)

则每一个随机块的显著图由公式(10)给出：

Sk(x,y)=‖Ikμ-IkLabG(x,y)‖

(10)

式中，‖·‖表示2范数，Ikμ=[Lkμ,akμ,bkμ]，IkLabG(x,y)=[LkG(x,y),akG(x,y),bkG(x,y)].

最后，将所有随机窗口的显著图按其对应位置进行累加，由公式(11)给出，得到局部显著图：

(11)

(3)综合显著图的生成

为进一步凸显缺陷目标，需将全局和随机局部显著图相融合.首先，分别对全局和随机局部显著图按式(12)做归一化处理：

N(S)=(S-min(S))/(max(S)-min(S))

(12)

式中max(S),min(S)分别代表显著图中的最大值和最小值.

在此基础上，将两者按式(13)做融合处理得到总显著图

S总=N(S全局)×N(S局部)

(13)

这里将两者之积作为最终总显著图，这样可以有效地保留具有全局显著性和局部显著性两种特征的缺陷目标，从而除去显著的纹理目标.

1.3 显著目标的获取

对于显著目标的获取通过对综合显著图的分割予以实现.这里采用文献[6]的方法，该方法采用阈值对显著图进行二值化，所以得到的二值化显著图为：

(14)

2 算法设计

基于上述分析，本文设计的复杂纹理表面缺陷检测算法如下：

表1 算法流程

3 实验结果与分析

3.1 实验1

为验证本文算法对各种复杂纹理表面缺陷的检测效果，共选两组图片进行实验；第一组为皮革图像，缺陷类型包括：牛蝇伤、刀洞、刻刀痕、烙印伤、色差污染等；第二组为特种纸类图像，包括纸病孔洞缺陷和黑斑缺陷.实验用机为Intel Core i3，4.00 GB内存，实验平台为Matlab2008b，实验结果如图2和图3所示.

由图2(c)和图3(c)可以看出，全局显著图在保留了不同大小缺陷的同时，也将众多的纹理目标检测了出来；由图2(b)和图3(b)可以看出，随机局部频率调谐方法相较于图2(c)和图3(c)全局显著图，对抑制纹理的显著度有了一定提升，同时，在随机局部分块的作用下，大目标也有相对完善的保留；由图2(d)和图3(d)可以看出，综合显著图有效的去除了自身纹理干扰，增强不同大小的缺陷目标，对缺陷分割奠定了良好的基础.

图2 利用本文算法的皮革缺陷检测结果

图3 利用本文算法的纸病缺陷检测结果

3.2 实验2

为评价本文算法的检测性能，将实验1中两组图像用改进的频率调谐方法[10]，模糊C均值(FCM)算法[11]进行缺陷的检测及分割.其中，改进的频率调谐方法中图像子块的尺度分别为18×18，36×36；模糊C均值(FCM)算法中，隶属度矩阵的指数选择为2，最大迭代次数选择为100，迭代终止条件为10-5，聚类数目为2，结果分别如图4、图5所示.

图4、图5中，(b)、(c)分别是尺度为18×18，36×36的改进频率调谐方法所得的显著图及二值图像.

由图4、图5中(b)、(c)可以看出，相对于图2(c)和图3(c)中全局显著图，改进的频率调谐方法可以有效的抑制表面纹理；但由于分块模式固定，对于较大目标，如图4(b)和4(c)中第4、5行刻刀痕缺陷和烙印伤缺陷检测结果所示，大目标被分块，其内部不会被认为是显著目标，则降低了大缺陷的显著度；图4、图5中，(d)为应用FCM算法所得的分割图，可以看出FCM算法无法准确区分纹理点区域与缺陷点区域，与图2、图3中本文方法检测结果比较后可得，本文方法的检测效果明显要优于改进的频率调谐方法和FCM算法.

图4 利用其他算法的皮革缺陷检测结果

图5 利用其他算法的纸病缺陷检测结果

3.3 算法运行效率测试

算法运行效率测试共7幅图像，包括5幅皮革图像和2幅特种纸类图像；其中皮革图像尺寸为576×576像素,特种纸类图像尺寸为640×480像素；测试算法包括实验1中本文算法，实验2中改进的频率调谐算法和FCM算法；表2所示为3种算法分别对7幅不同图像进行分割所需的平均时间.

表2 其他算法与本文算法平均运行时间对比

由表2可得，FCM算法速度相对较快，因为在实现过程中，使用的聚类数仅仅为2，而且该算法只是简单的分类，检测效果很不理想.基于频率调谐的算法运行时间基本一致，但本文算法去除纹理

干扰并凸显缺陷目标的效果更为突出.总体来说，测试所用的所有方法运行时间均相差不大，保持在同一数量级.

4 结论

本文提出了一种将全局与随机局部频率调谐相结合对复杂纹理表面缺陷进行检测的方法，该方法克服了复杂纹理表面缺陷检测过程中的纹理干扰，适用于各种大小的缺陷检测.在实际中可为各类缺陷的分类识别提供有效的位置信息.下一步，可在此基础上增加各类缺陷类别的先验信息，通过学习训练对检测到的缺陷进行种类判别，实现对缺陷先定位、后分类的自动甄选过程.

[1] Newman T S,Jain A K.A survey of automated visual inspection[J].Computer Vision and Image Understanding,1995,61(2):231-262.

[2] 李武斌,路长厚,李 君,等.圆钢表面缺陷视觉检测技术研究现状与展望[J].无损检测,2012,34(5):54-58.

[3] 王岩松,金伟其,钟克洪.随机纹理表面缺陷检测方法与应用[J].中国图象图形学报,2009,14(1):131-136.

[4] 张学武,丁燕琼,段敦勤,等.基于视觉仿生机理的铜带表面缺陷检测[J].中国图象图形学报,2011,16(4):593-599.

[5] Laurent I,Koch C,Niebur E.A model of saliency-based visual attention for rapid scene analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1998,20(11):1 254-1 259.

[6] 张 菁,沈兰荪,高静静.基于视觉注意模型和进化规划的感兴趣区检测方法[J].电子与信息学报,2009,31(7):1 646-1 652.

[7] Hou X D,Zhang L Q.Saliency detection: A spectral residual approach[C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Minneapdis,MN:Institute of Electrical and Electronics Engineers,2007:1-8.

[8] Guo C L,Ma Q,Zhang L M.Spatio-temporal saliency detection using phase spectrum of quaternion Fourier transform[C]//Proceedings of 26th IEEE Conference on Computer Vision and Pattern Recognition.Anchorage.AK:Institute of Electrical and Electronics Engineers,2008:1-8.

[9] Achanta R,Hemami S,Estrada F,et al.Frequency-tuned salient region detection[C]//Proceedings of 2009 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshop.Miami,FL:IEEE Computer Society,2009:1 597-1 604.

[10] 任 蕾,施朝健,冉 鑫.应用改进频率调谐的海上小目标检测方法[J].中国图象图形学报,2012,17(3):365-369.

[11] Pal N R,Bezdek J C.On cluster validity for the fuzzy c-means model[J].IEEE Transactions on Fuzzy Systems,1995,3(3):370-379.