基于总变差的织物疵点分割方法

刘国维， 潘如如， 高卫东， 周 建

(生态纺织教育部重点实验室(江南大学), 江苏 无锡 214122)

机织物的外观质量直接影响终端产品质量等级，其检验方式仍然依赖人工目视，通过四分制评分法确定质量等级。传统的人工目视检测由于存在强度高、检测效率低及客观性差等缺点，难以适应当前高效化、高品质的生产模式。先进的检测技术是生产高品质产品的必要条件，为此，应用计算机视觉代替人工目视，使用高效、可靠的检测算法实现机织物表面疵点的自动检测一直是近年来的研究热点。

根据不同疵点检测算法的检测方式，可将算法分为基于特征提取和基于非特征提取二大类。基于特征提取的算法通常将织物图像分割为多个子图像，提取其特征后利用分类器进行识别[1]。如Latif-Amet等[2]于2000年提出了基于共生矩阵的织物疵点检测方法，利用织物图像的共现特征检查织物纹理的缺陷。Chan等[3]利用傅里叶变换提取了用于中央空间频谱的7个特征参数以进行织物疵点分类。李仁忠等[4]采用基于期望最大化思想(EM)算法的高斯混合模型来计算各织物图像像素点为疵点的概率。潘如如等[5]基于互相关理论及模板匹配技术，检测印花布的花纹偏移、颜色色差等疵点。同时，近年来基于深度学习的疵点检测逐渐发展，也属于特征提取类。如Jing等[6]将织物映像分解为局部补丁作为深度学习对象，再使用预训练的模型检测疵点的类别和位置。织物疵点检测实质上属于典型的模式识别问题，即如何将异常模式(疵点区域)从正常纹理模式中准确识别出来。机织物生产过程中经纬向疵点的占比较高，且外观模式与正常织物纹理存在较强的相关性，常规的特征提取方法需要训练大量样本且难以将疵点模式与正常模式进行有效区分。

基于非特征提取的检测方法可看作图像分割问题。该方法不进行子图像划分而是基于整张织物图像样本，通过弱化或消除织物纹理背景来突出疵点区域，将疵点检测问题转化为图像分割问题[1]。其中最常用的是Gabor滤波器、小波变换等，厉征鑫等[7]利用拉普拉斯小波进行织物图像的单演小波分析，并利用最优响应子带法分割织物疵点。屈博等[8]改进了传统多通道Gabor滤波器，提出了用强输出通道进行融合的新方法，分割出特定的疵点。祝双武等[9]采用自相关函数确定织物纹理的横纵周期，以弱化织物背景并突出织物的疵点，最后经过均值增强后釆用Ostu法进行疵点分割。基于非特征提取的织物疵点检测方法在原理上更符合疵点检测问题的单分类本质，同时也充分利用了织物纹理及疵点的局部性特征[1]。

受总变差(TV)去噪算法的启发，本文将疵点检测问题视为一个图像分割问题，运用总变差最小化思想实现织物疵点的准确分割。当前，总变差多用于图像去噪，即将图像去噪问题建模成一个求总变差最小化的过程。Antonin[10]提出新的最小化总变差算法，实验证明该方法在图像去噪方面具有很好的效果[12]。Bresson等在文献[11]的基础上提出能够处理彩色图像的总变差最小化方法，随后又提出一种非局部无监督图像变差分割模型，利用非局部滤波器和非局部变分模型有效地对半局部/非局部图像信息进行去噪。

本文结合经纬向疵点的特征，通过构建总变差模型，提出基于总变差模式的织物疵点分割方法，旨在分割呈经纬向、尺寸小且异常不显著的疵点。这类疵点具有细、窄、面积小的特点，多属于横档疵点。相对于破洞等局部疵点来说，这类疵点在灰度和结构方面都没有显著变化。如大部分的双纬、紧经等疵点，它们的灰度和方向与织物纹理的灰度和方向相似，难以被分割出来。本文首先利用奇异值分解(SVD)强大的低秩重建性能去除正常织物纹理背景，获取疵点异常图，然后通过构建总变差模型对疵点异常图进行最优化求解处理，得到不同约束下的疵点增强图，最终实现织物疵点的准确分割。

1 实验方法

1.1 SVD低秩重建

由于机织物纹理属于结构性纹理，规则度高，而织物疵点对织物正常纹理属于小概率事件，具有稀疏特征，因此可以利用SVD强大的低秩重建性能，重建织物正常的背景纹理，忽略那些稀少且存有异常的疵点区域，即可实现织物纹理背景的去除，同时突出那些被重建忽略的疵点区域，得到疵点异常图。相关SVD低秩重建原理如下。

设织物图像为A，大小为M×N，SVD可将织物图像A分解为3个部分[12]：

A=UΣVT

(1)

(2)

式中：Uk和Vk分别是矩阵U和V的前k列；Σk×k由Σ的前k行和前k列组成。

则A的最优k秩近似为

(3)

最小目标值由下式给出：

(4)

其中：

(5)

如上所述，对图像A的SVD分解可以看作一个线性组合，即A中每一列都可以由以左奇异向量Uk为基本向量的线性组合得到。为此，本文应用SVD对图像A低秩重建,步骤如下。

1)将织物图像划分为w×w的图像块，以向量形式表示每个图像块。

2)将每个图像块的向量视为式(1)中矩阵A的列，并进行SVD分解，提取前k个左奇异值作为重建的基本向量，记为B=[b1b2…bk]。

(6)

图1示出通过SVD低秩重建得到的织物重建图像与疵点异常图(k=10)。可以看出，得到的重建图保留了正常纹理区域，且在疵点异常图中有效地突出了疵点和去除了纹理背景。

图1 SVD重建效果图Fig.1 SVD reconstruction renderings. (a) Original image; (b) Reconstructed image; (c) Defect abnormal image

1.2 增强疵点图

虽然通过SVD低秩重建可以去除大部分规律性的织物背景纹理，获取较为明显的疵点区域，但背景仍然存在噪声干扰，无法通过阈值法实现疵点区域的准确分割。为此，考虑到背景噪声的随机性与疵点区域的方向性和连续性的特征，本文借鉴总变差去噪原理，通过构建基于总变差疵点增强模型，实现对疵点异常图的进一步去噪并增强疵点区域连续性和显著性，最终获取便于疵点分割的疵点增强图[13]。相关总变差算法原理如下。

Rudin等最早将总变差模型引入计算机视觉领域，并提出了有界变差空间(BV)，建立了图像去噪的ROF模型，ROF模型如式(7)[14-15]所示：

(7)

根据以上原理，对于织物疵点异常图，可将较为平滑连续的疵点看作前景目标图像，将无规律的背景视作噪声。为此，可利用总变差约束去除疵点异常图中的杂乱背景并使疵点区域平滑且连续，实现疵点增强。利用这一原理，本文构建了疵点增强模型，可分别从经向与纬向对疵点进行增强处理，以图1(c)中疵点异常图为例，记该图像为B，大小为M×N，构建疵点增强模型：

(8)

(9)

式中,BV和BH分别为经向和纬向疵点增强图。

式(8)和(9)中的第1项是平滑项，用于控制相邻像素间的平滑度；第2项是保真项，控制疵点异常图B与所得增强疵点图BV或者BH之间的相似度，其数值越小，与原图像越相似高；λ值为预先设定的权重参数，控制平滑和保真之间的平衡。

式(8)和(9)属于凸优化问题，所得最优解即为增强的疵点图，去除了原图像(见图1(c))中的背景噪声并增强了疵点区域,图2为增强效果图。

图2 经纬向增强效果图和总变差模型增强效果图Fig.2 Enhancement image in weft (a)and warp(b) direction and enhancement image of total variation model(c)

由图2可以看出，纬向疵点增强模型能有效去除背景,同时增强纬向疵点，大大提升了疵点的可割分性。同理，图3为对经向疵点的增强效果图，可看出增强模型能够对经向疵点实现有效增强，表明了增强模型的有效性。

图3 疵点增强效果图Fig.3 Enhancement effect images of defect. (a) Original image; (b) Defect abnormal image; (c) Enhancement image; (d) Enhancement image in weft direction; (e) Enhancement image in warp direction

为同时适应经纬向疵点，在应用中分别对经纬向增强图进行融合，融合方法为直接相加，图2(c)和图 3(c)为融合后的结果。可见，本文中所提出的总变差模型得到的疵点增强图背景与疵点具有明显的可分割性，采用简单阈值法即可实现分割，图4示出采用阈值为0.46、0.31的分割结果。

图4 分割结果图Fig.4 Segmentation result images. (a) Segmentation result of Fig.1(a); (b) Segmentation result of Fig.3(a)

2 实验验证

为了验证本文疵点分割方法的有效性和准确性，对从工厂收集的真实织物疵点样本进行实验，该样本共有8种不同经纬向形状的平纹或斜纹织物的疵点图像，织物的原材料均为棉，经纬向各有4张，尺寸为256像素×256像素。8个样本上的疵点均呈经纬向、尺寸小且异常不显著，各个样本的疵点类型不同，分别为：沉纱、双纬、缺纬、双纬、纬缩、稀纬、紧经、松经。对所有样本疵点区域进行手工标注来对本文方法的分割性能进行客观评估。表1示出8个样本织物的经纬密、疵点类型等参数。图5示出部分手工标注疵点区域。

表1 8个样本织物的参数Tab.1 Parameters of 8 sample fabrics

2.1 分割效果评价

本文采用F-measure(简称F值)曲线来评估分割结果，该曲线是基于精准(P)-召回(R)曲线所提出的，用于疵点分割性能评估，F值越大，对疵点的分割性能越好，公式如下:

图5 部分手工标注疵点区域Fig.5 Several manually marked defect areas. (a) Original images and manually marked defect areas of sample 1#； (b) Original images and manually marked defect areas of sample 3#； (c) Original images and manually marked defect areas of sample 5#

(10)

(11)

(12)

式中：Nr表示被分类为正例的像素数；Ngt表示实际的像素总数；Nn表示分割结果中的像素总数。

考虑到疵点区域的不确定性，允许实际分割结果和真实值之间有一定的容限，具体是指实际分割结果与真实值之间小于3个像素，仍被视为正确的分割结果。

2.2 结果和讨论

本文方法中的关键参数是权重值λ，该值控制平滑项和保真项之间的平衡。根据式(8)和(9)可知：当λ值过小时，保真项权重过小，无法保证增强图疵点的完整性，分割效果不理想；而当λ值过大时，平滑项权重过小，无法去除杂乱的背景。图6示出λ值在[0.001,1.5]范围时的F值曲线。

图6 不同λ值下F曲线Fig.6 F curve under different λ

观察不同样本的F值可以发现：λ值从0.001增加到0.1时，F值有明显提升，分割效果逐渐变好；当λ值在0.1左右时，疵点分割效果最佳；随着λ值增大，F值趋于稳定并能保持在0.7以上，这表明本文方法在参数λ值于一定范围内均可获得比较稳定的疵点增强效果，说明此方法具有稳定性；当λ值大于0.8时，F值逐渐下降，分割效果变差。F值随着λ值变化的原因是：λ值过小时，由于保真项权重过小，输出的增强图太过平滑，导致疵点区域误分割。部分样本在λ值从0.001开始时F值较高，这是因为该样本的疵点本身较明显且与背景噪声相似性低，较小的平滑权重即可获得良好的分割效果。但当λ值过大时，平滑项权重减少，对疵点区域平滑增强效果不足，导致疵点区域漏分割，为达到最佳的分割效果，需要选取合适的λ值。

平滑程度对疵点分割效果有着直接的影响，为此，本文提出利用平滑项与λ值的关系曲线确定最佳λ值的方法。经研究发现，所有样本的平滑项变化趋势基本相同，因此以织物样本7#为例进行说明，图7示出织物样本7#的平滑项曲线。

图7 织物样本7#的平滑项曲线Fig.7 Smooth term curve of fabric sample 7#

由图7可知:λ值从0.001增加到0.07左右时，平滑项的增加趋势比较缓慢，数值几乎不变；λ值增加至0.07之后，平滑项的增加趋势发生变化。通过观察发现，发生变化的点与图6中样本7#产生最大F值的λ值基本吻合。结合式(8)、(9)可知，当平滑项几乎不变时，保真项占主导地位，无法获得良好的增强效果，故需要在平滑项变化的区间选取λ值。为了突出平滑项变化情况，本文选用该区间的平滑项差分值曲线，如图8所示。通过观察可以发现，在平滑项差分值快速增长时的第1个拐点处，F值能达到最大值或非常接近最大值。以样本7#为例，第1拐点对应的λ值为0.085，与图6中该值所对应的最大F值吻合。在拐点处取得最大F值的原因是此时平滑项差分值的增大趋势放缓，平滑项由于保真项的存在不再随着λ值的线性增加而过度增加，平滑项与保真项都保持了一定的权重而不再是平滑项主导，所得到的疵点增强图既去除了噪声又保证了与异常图的相似度，故平滑项差分值曲线快速增长时的第1个拐点所对应的λ值可作为最佳λ值。利用不同织物的平滑项差分值曲线图作为最佳λ值曲线，其第1拐点所对应的最优λ值及其F值如表2所示。

图8 织物样本的平滑项差分-权重值曲线Fig.8 Smooth term difference curve of fabric samples

表2 织物样本检测结果Tab.2 Test results of each test sample

由表2可知，采用本文方法确定的最优λ值对所有织物样本进行测试时，可以取得最大的F值或非常接近最大值，说明本方法可以得到理想的分割结果。

为了直观展示本文方法的分割效果，图9示出在表2所得最优λ值下的可视化分割结果。

图9 各样本的分割结果Fig.9 Visualized segmentation results. (a) Original images; (b) Defect abnormal images; (c) Defect enhancement images; (d) Segmentation results of Fig.(b) using threshold method; (e) Segmentation results of Fig.(c) using threshold method

在图9(d)示出未采用本文TV方法直接对疵点异常图进行阈值分割的结果，织物图片中仍然存在织物背景纹理。图9(e)示出采用本文TV方法后对得到的疵点增强图进行阈值分割的结果，织物图片中不再有背景纹理，且疵点十分清晰。对比图9中的分割结果可知，使用本文方法的8个样本的分割结果都十分理想，均优于未使用本文方法直接对疵点异常图进行分割的方法，证明了本文方法的有效性与准确性。

3 结 论

本文利用奇异值分解(SVD)低秩重建与总变差(TV)模型实现了织物图像的纹理去除、疵点图像强化以及疵点分割，并针对构建的总变差疵点增强模型，设计了参数权重值λ的优选方法，完成了基于总变差的织物疵点分割。实验结果表明，基于总变差的疵点分割算法对经纬向尺寸小且异常不显著的各种类型的疵点具有良好的分割效果和较高的稳定性与精准率。

FZXB