改进频率调谐显著算法在疵点图像分割中的应用

徐启永， 胡 峰， 王传桐， 吴雨川

(1. 武汉纺织大学 机械工程与自动化学院， 湖北 武汉 430074; 2. 武汉纺织大学 湖北省数字化纺织装备重点实验室， 湖北 武汉 430074)

疵点图像分割精度对织物等级自动评定的准确性具有重要意义[1]。图像分割方法主要有阈值分割法[2]、区域分割法[3]和边缘分割法[4]等。阈值分割方法计算简单，运算效率高，被广泛应用。最大类间方差法(OTSU)是典型阈值分割法，该方法依据背景和目标区域间最大类间方差来获取门限值，将图像背景和目标区域分离。为使织物图像的疵点和背景区域间的类间方差增大，需对织物图像进行显著处理，提高织物疵点和背景区域的对比度。

常用的图像显著性区域提取方法有：谱残差(SR)方法[5-6]、基于图论的视觉显著性(GBVS)方法[7]、基于全局对比度的显著(LC)方法[8]和基于局部统计和整体显著的方法[9]等。SR方法首先根据图像对数幅值谱得到残余谱，再利用残余谱进行傅里叶逆变换，得到显著图。虽然该方法可抑制织物背景纹理，但是在计算对数幅值谱过程中使用了减法操作，在抑制背景信息的同时也抑制了疵点信息，不利于疵点准确分割。GBVS方法通过马尔科夫随机场构建图像的马尔可夫链，根据像素点与其周围点的平衡分布情况获得显著图，存在不能正确凸显细小疵点的问题。LC方法通过计算每个像素点与整幅图像中其他像素点间的欧式距离和，获得显著图。虽然该方法计算简单，但在计算显著值的过程中容易使频数小的像素点获得较大的显著值，导致噪声和疵点一起被显著，使得疵点图像分割精度下降。局部统计和整体显著方法是在分块图像中，通过测试图像与随机选取图像块间的局部二进制模式统计特征和灰度统计特征的对比度，来完成基于上下文的整体显著性分析，生成显著图。当背景区域基元与疵点区域基元相差不大时，该方法显著效果不佳。相较于上述方法，频率调谐显著(FT)法不仅计算量小，而且具有显著图与原图分辨率相同的优点[10]，可保持目标区域的整体性，有利于疵点分割精度的提高；但是，该方法要求疵点与背景区域有一定的对比度，并存在高斯滤波器平滑能力弱和降噪能力差的缺点。

针对FT算法存在的问题，本文采用非局部均值滤波器(NLM)[11]替代FT算法中的高斯滤波器，增强背景纹理的平滑能力和噪声的抑制能力，并且针对NLM滤波器中参数h对疵点分割精度影响较大的问题，提出了基于平均最大类间方差的参数优化方法。将改进FT算法和OTSU算法一起用于疵点图像分割，以期能达到提高疵点分割精度的目的。

1 基于改进FT的疵点分割算法

基于改进FT的疵点分割算法主要分为3个步骤,图1示出其图像分割步骤流程。

图1 基于改进FT算法的疵点图像分割步骤流程图Fig.1 Flow chart of improved FT algorithm for fabric defect segmentation

步骤1：使用最优NLM滤波器替代FT方法中的高斯滤波器[10]对织物图像进行滤波。

设织物图像f={f(i)|i∈I}，i和I分别为像素点和搜索窗。根据式(1)和式(2)[11]计算像素点i经过NLM滤波后的灰度值fN(i)：

(1)

(2)

滤波参数h通过影响权重ω(i,j)的大小来决定滤波程度。如果取值太小，则噪声滤除不彻底；反之，会导致图像过度平滑，不利于疵点分割精度的提高[12]。OTSU方法根据背景和目标间最大方差来选取门限值，进行图像分割[2]。如果疵点和背景区域的类间方差越大，则OTSU方法的分割精度越高。因此，采用平均最大类间方差作为滤波参数h的优化准则，如式(3)所示：

(3)

式中:n为疵点图像的张数；pi1和pi2分别为第i幅图像疵点和背景区域的概率；ui为第i幅图像的平均灰度值；ui1和ui2分别为第i幅图像疵点和背景区域的平均灰度值。

滤波参数h的优化方法如下：首先，在同种织物中随机选取若干张疵点图像组成训练样本集；然后，分别令滤波参数h为m,m+1,m+2,…,n。通常情况下m≥5,n≤25,m≠n；然后，通过式(1)、(2)对训练样本进行NLM滤波。其次，根据式(3)计算不同h值对应的平均最大类间方差；最后，δ(h)最大值所对应的h的值即为所求。

图2示出使用推荐方法对竹节疵点进行显著分割所得到的各步骤结果。可知：竹节疵点图像经过NLM滤波器滤波处理后(见图2(b))，织物背景纹理被有效模糊。

图2 推荐方法对竹节图像处理的3个步骤结果图Fig.2 3 Steps result maps of slab yarn by using recommended method. (a)Slab yarn; (b)Map result of step 1; (c) Map result of step 2;(d) Map result of step 3

步骤2：计算滤波后的织物显著图。

1) 将NLM滤波后的图像转换到Lab颜色空间，计算其显著值，如式(4)所示：

S=‖Iu-INLM‖

(4)

式中：Iu为疵点图像在 Lab颜色空间的像素算术平均值；INLM为NLM滤波后的图像；║║为欧式距离。

2) 对显著值S进行归一化处理，如式(5)所示：

(5)

由图2(b)经过显著值计算和归一化处理后，得到图2(c)。从图2(c)中可以看出疵点区域对比度被显著增强。

步骤3：利用OTSU方法对显著图G进行分割，其分割结果如图2(d)所示。从图中可以看出疵点区域位置和大小被准确确定。

2 实验研究

2.1 数据来源

本文研究数据来源于2种不同纹理的疵点数据库D1和D2。其中：D1数据库(平纹组织；纬密为30 根/cm；经密为32 根/cm；线密度为18.23 tex；采集分辨率为0.089 mm/像素)和D2数据库(平纹组织；纬密为37.5 根/cm；经密为41 根/cm；线密度为36.34 tex；采集分辨率为0.089 mm/像素)。2个数据库中包含粗经、竹节、结头、断纬、油污和破洞等常见疵点和正常织物图像，图像大小为512像素×512像素。

2.2 织物反射和透射图像对比

为提高疵点区域与背景区域的对比度。图像采集过程中，将光源和相机分别置于织物两侧进行图像采集。利用疵点和背景区域透射率的不同，提高疵点区域对比度[13]。分别利用光的反射(相机和光源在织物同侧)和透射(相机和光源在织物两侧)2种方式采集不同纹理的织物疵点图像，其疵点图像如图3所示。由图3(a)、(c)可看出织物图像的对比度极低，疵点区域难以分辨。由图3(b)、(d)可看出织物透射图像中疵点与背景区域的对比度被显著增强，因此，利用织物透射率差异可提高疵点区域对比度，可满足FT算法对疵点与背景区域的对比度要求[9]。

图3 不同采集方式下的疵点图像Fig.3 Fabric defect images by different acquiring methods.(a) Coarse pick of reflection; (b) Coarse pick of transmission;(c) Missed warp of reflection; (d)Missed warp of transmission

2.3 h与平均最大类间方差的关系

分别从D1和D2数据库中随机选取40张图像作为训练样本集，计算不同h值对应的平均最大类间方差。图4示出D1和D2数据库中疵点图像滤波参数h与平均最大类间方差值的关系。可看出平均最大类间方差所对应的参数h值具有唯一性，D1数据库的最优滤波参数h为13，D2数据库的最优滤波参数h为16。

图4 滤波参数h与平均最大类间方差的关系曲线Fig.4 Change curves of filter parameter h and maximum variance between clusters. (a) Relation curve of database D1;(b) Relation curve of database D2

D1和D2数据库的h值不同，原因可能是h值会影响式(2)的计算结果，而权重值ω(i,j)主要受噪声水平和图像内容影响。首先，D1和D2数据库的织物组织和结构不同，即图像内容不同；其次，受实验条件限制，疵点图像在采集过程中的噪声水平可能不一致，因此，2个数据库优化得到的滤波参数h不同。

2.4 实验过程

为验证改进FT算法的合理性和有效性，使用D1和D2数据库织物图像进行验证性实验。首先，利用式(1)、(2)分别对疵点图像进行滤波，式(1)中搜索窗I取值为21像素×21像素，式(2)中相似窗N取值为5像素×5像素[14-15]，D1和D2数据库的滤波参数h分别取13和16；然后，将滤波后的图像转换到Lab颜色空间；利用式(4)、(5)计算滤波后的织物显著图；最后，使用OTSU算法对显著图进行分割。

2.5 结果与分析

将改进FT算法的分割结果与OTSU算法、最大熵方法、FT与OTSU算法、NLM滤波器与OTSU算法的分割结果进行实验对比，结果如图5～12所示。

由图5～12中的(b)图可看出，OTSU算法的分割结果中含有大量织物纹理信息，说明OTSU算法不能正确区分疵点和背景区域。原因是：疵点图像未经过预处理，其灰度直方图呈现较弱的单峰性，OTSU算法不能通过最大类间方差找到合适的阈值。

由图5～12中的(c)图可看出，最大熵分割方法对破洞、断纬和线头等疵点图像的分割结果较好，而对其他疵点图像的分割效果较差。原因是:最大熵的计算准确度易受织物组织和结构复杂程度的影响，由此说明数据库D1和D2中疵点图像不经预处理，直接采用阈值方法进行分割，不能将疵点和背景区域分离。

由图5～12中的(d)图可看出，FT算法(高斯滤波器模板尺寸为5像素×5像素[10]，样显著值归一化后应用于OTSU算法分割)的分割结果中，破洞分割效果最好，断纬和线头的二值图中存在少量伪疵点，而其他疵点的二值图中出现大量背景纹理，没能实现疵点的精确分割。说明部分疵点图像直接使用FT算法进行预处理，不能提高OTSU算法的分割精度。原因是：破洞与背景区域在颜色和亮度上差异明显，使用FT算法显著后，灰度直方图呈现明显的二峰性，使OTSU算法可通过最大类间方差找到合适的阈值；其他疵点与背景区域在颜色和亮度上差异比较小(如油污和结头)，显著后的灰度直方图二峰性不明显；OTSU算法不能通过最大类间方差找到合适的阈值；FT算法中高斯滤波器平滑和去噪能力较弱。

由图5～12中的(e)图可看出，使用NLM滤波器进行预处理，不能提高OTSU算法的分割精度，疵点图像的分割结果不好。原因可能是：使用式(2)计算像素点相似窗的加权欧式距离时，可克服噪声对加权欧式距离计算精度的影响，提高像素点相似度估计的准确性，但高斯核是各向同性的，图像内不相似的像素点同样参与了加权欧式距离的计算，会给像素点相似性估计造成误差；因此，NLM滤波器对提高疵点区域对比度的作用有限。

图5 不同分割方法对数据库D1中粗经疵点检测结果Fig.5 Detection results of coarse warp defects in database D1 with different segmentation methods.(a)Original；(b) OTSU algorithm；(c)Maximum entropy method；(d) FT algorithm；(e) NLM method；(f) Improved FT algorithm

图6 不同分割方法对数据库D1中竹节疵点检测结果Fig.6 Detection results of slab yarn defects in database D1 with different segmentation methods.(a)Original；(b) OTSU algorithm；(c)Maximum entropy method；(d)FT algorithm；(e) NLM method；(f) Improved FT algorithm

图7 不同分割方法对数据库D1中吊经疵点检测结果Fig.7 Detection results of warp suspends defects in database D1 with different segmentation methods.(a)Original；(b) OTSU algorithm；(c) Maximum entropy method；(d) FT algorithm；(e) NLM method；(f) Improved FT algorithm

图8 不同分割方法对数据库D1中结头疵点检测结果Fig.8 Detection results of knot defects in database D1 with different segmentation methods.(a)Original；(b) OTSU algorithm；(c) Maximum entropy method；(d) FT algorithm；(e) NLM method；(f) Improved FT algorithm

图10 不同分割方法对数据库D2中线头疵点检测结果Fig.10 Detection results of thrum defects in database D2 with different segmentation methods.(a)Original；(b) OTSU algorthim；(c) Maximum entropy method；(d) FT algorthim；(e) NLM method；(f) Improved FT algorthim

图11 不同分割方法对数据库D2中油污疵点检测结果Fig.11 Detection results of oil stain defects in database D2 with different segmentation methods.(a)Original；(b) OTSU algorthim；(c) Maximum entropy method；(d) FT algorthim；(e) NLM method；(f) Improved FT algorthim

图12 不同分割方法对数据库D2中破洞疵点检测结果Fig.12 Detection results of hole defects in database D2 with different segmentation methods.(a)Original；(b) OTSU algorthim；(c) Maximum entropy method；(d) FT algorthim；(e) NLM method；(f) Improved FT algorthim

由图5～12中的(f)图可看出，与原FT算法和NLM滤波方法相比使用改进FT法对疵点图像进行预处理，可提高OTSU算法的分割精度，疵点二值图中没有出现背景纹理信息。原因可能是：使用NLM滤波器替代原FT算法中的高斯滤波器，提高了对背景纹理的平滑和降噪能力；使用平均最大类间方差作为优化准则，可得到较为理想的滤波参数h。

3 结 论

利用织物疵点和背景区域透光性的不同，使用透射方式获取疵点图像可提高疵点区域对比度，满足FT算法的使用要求；利用NLM滤波器替代FT算法中的高斯滤波器，可提高疵点图像的背景平滑和降噪能力；NLM滤波器参数h对疵点分割精度影响较大，将平均最大类间方差作为参数h的优化准则，能够获得最优参数；将改进FT算法应用于疵点图像预处理，可提高OTSU算法的疵点分割精度。

参考文献：

[1] 夏冬升, 汪军. 基于小波变换和图像分割的织物等级自动评定[J]. 东华大学学报(自然科学版), 2007, 33(2): 221-226.

XIA Dongsheng, WANG Jun. Automatic fabric grading based on wavelet transform and image segment-ation [J]. Journal of Donghua University (Natural Science Edition), 2007, 33 (2): 221-226.

[2] OTSU N. A threshold selection method from gray-level histograms[J]. IEEE Transactions on Systems Man &.Cybernetics，1979，9(1)： 62-66.

[3] VINCENT L, SOILLE L. Watersheds in digital space: an efficient algorithm based on immersion simula-tions [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1991, 13(6): 583-598.

[4] 朱桂英，张瑞林. Canny 算子在织物防水性能自动识别中的应用[J]. 纺织学报, 2008, 29 (3):122-125.

ZHU Guiying, ZHANG Ruilin.Application of Canny operator on automatic detection of fabric waterproof performance[J]. Journal of Textile Research, 2008, 29(3):122-125.

[5] HOU X D, ZHANG L Q. Saliency detection: a spectral residual approach [C]//Institute of Electrical and Electronics Engineers, Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Minneapolis：IEEE Compututer Society Press，2007：1-8.

[6] 李敏, 崔树芹, 陈佳. 应用视觉显著性的小提花织物疵点检测[J]. 纺织学报, 2016, 37(2): 38-42.

LI Min, CUI Shuqin, CHEN Jia. Defection for mini-jacquard fabric based on visual saliency [J]. Journal of Textile Research, 2016, 37(2): 38-42.

[7] HAREL J, KOCH C, PERONA P. Graph-based visual saliency[C]//Conference and workshop on Neural Information Proccssing Systems Advances in Neural Information Processing Systems. Vancouver: NIPS, 2007: 545-552.

[8] ZHAI Y, SHAN M. Visual attention detection in video sequences using spatiotemporal cues[C]//Associaiton for Computing Machinery. The 14th Annual ACM International Conference on Multimedia. Santa Barbara, CA, USA, 2006: 815-824.

[9] 刘洲峰, 赵全军, 李春雷, 等. 基于局部统计与整体显著性的织物疵点检测算法[J]. 纺织学报, 2014, 35(11): 62-67.

LIU Zhoufeng, ZHAO Quanjun, LI Chunlei, et al. Fabric defect detection algorithm using local statistic features and global saliency analysis [J]. Journal of Textile Research, 2014, 35(11): 62-67.

[10] ACHANTA R, HEMAMI S, ESTRADA F, et al. Frequency-turned salient region detection [C]//Institute of Electrical and Etectronics Engineers. Proceedings of 2009 IEEE Computer Society Conference on Computer Society Conference on Computer Vision and Pattern Recognition Workshop. Miami: IEEE Computer Society Press, 2009:1597-1604.

[11] BUADES A, COLL B, Morel J M. A non-local algorithm for image denoising [C]//Institute of Electrical and Etectronics Engineers. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Diego:IEEE Computer Society Press, 2005: 60-65.

[12] 张权, 罗立民, 桂志国, 等. 一种基于优化参数的非局部均值滤波算法[J]. 计算机应用与软件, 2012, 29(3)： 78-81.

ZHANG Quan, LUO Limin, GUI Zhiguo, et al. A non-local mean filtering algorithm based on optimum parameter[J]. Computer Applications and software, 2012, 29(3); 78-81.

[13] 王传桐, 胡峰, 徐启永, 等. 改进频率调谐显著算法在疵点辨识中的应用[J]. 纺织学报，2018，39(3)：154-160.

WANG Chuantong，HU Feng，XU Qiyong，et al. Detection of fabric defect based on improved frequency-tuned salient region[J]. Journal of Textile Research，2018，39(3):154-160.

[14] 孙伟峰. 基于非局部信息的信号与图像处算法及其应用研究[D]. 济南: 山东大学, 2010:79-81.

SUN Weifeng. Research on signal and image processing algorithms based on non-local information and their applications[D]. Jinan: Shandong University, 2010:79-81.

[15] KERVRANN C, BOULANGER J. Optimal spatial adaptation for patch-based image denoising [J]. IEEE Transactions on Image Processing, 2006, 15(10): 2866-2878．