基于改进L0梯度的织物沾水区域提取

汪亚明　童朝凯　韩永华

摘要： 针对目前织物沾水等级评定方法不能有效消除噪声干扰和减弱光照不匀影响，提出L0梯度最小化和拉普拉斯特征映射相结合的方法解决上述问题。根据织物沾水图像的边缘信息，对图像中的像素值沿x、y方向求导，利用非零梯度个数约束整体平滑程度，并保持边缘不被平滑；然后把图像转化为CIELAB模式消除光照影响，计算邻域内颜色相似度；根据拉普拉斯特征映射理论計算其广义特征向量，组成颜色平缓过渡的图像，并使用模糊聚类算法对去噪后图像进行聚类分割。实验结果表明，该方法能够有效实现织物沾水图像的去噪处理，得到正确分割的织物沾水区域。

关键词： 平滑；梯度最小化；拉普拉斯特征映射；模糊聚类；织物

中图分类号： TS101.91

文献标志码： A

文章编号： 10017003（2017）05002907

引用页码： 051106

Abstract： Current detection method of fabric wetting performance cannot eliminate the noise interference and suppress the influence of uneven illumination. Thus， this paper proposes the combination of L0 gradient minimization and laplacian eigenmaps for image smoothing in order to remove the above problems. According to the edge information of fabric wetting image， the derivative of pixel value in the image is figured out along the x and y directions. The number of nonzero gradients is used to constrain the whole smoothness degree， and the edge is kept not to smoothen. Then， the image is transformed into CIELAB mode to eliminate the effect of illumination， and color similarity in the neighborhood is calculated. Meanwhile， the generalized egienvectors are calculated according to laplacian eigenmaps theory to consist of a piecewise smoothing image. Finally， the clustering segmentation is carried out for the denoised image with fuzzy clustering. The results show that this method can effectively achieve denoising treatment of fabric wetting image， and gain the correct wetting region.

Key words： smoothing； gradient minimization； laplacian eigenmaps； fuzzy clustering； fabric

在織物沾水等级检测中，通过图像处理手段代替人眼判断，能提升检测速度和精度。基于图像处理的织物沾水等级自动评定系统的关键是有效分割出沾水区域，目前提取织物感兴趣区域的分割方法主要有基于聚类算法和基于边缘检测算法两类。王晓红等[1]利用模糊聚类方法对实验图像进行分割处理，完成图像的二值化，当图像中含有噪声时会干扰聚类中心提取的准确性，影响算法收敛速度，分割效果不理想；朱桂英等[2]改进Canny算子中的参数，提取织物沾水区域的边缘，进行多次膨胀使边缘联结，然后利用腐蚀操作消除干扰边缘，进而获得待分割区域，但实验中存在的水渍和水珠反光、织物不平整等引起灰度图整体光照不匀，以及织物纹理粗糙程度会影响边缘提取的准确率。

据以上分析可知，去除实验图的噪声是进行有效分割的必要步骤。目前去噪方法有空域去噪、小波去噪、平滑去噪、总变分去噪和稀疏去噪，鉴于自动评定系统要求能快速、准确的自动检测，选择实时性好的图像平滑操作进行去噪处理。平滑算法可分为两类：一类为局部平滑，该类方法根据邻域内像素特性决定平滑程度。Tomasi[3]提出双边滤波（bilateral filtering，BLF），考虑到像素的位置和颜色因素，计算空间距离与颜色距离的高斯函数，由权重系数得出邻域内像素值的加权平均值代替待处理像素值，由于空域核函数与值域核函数会随空间不同而变化，需要较长时间来进行运算；Farbman等[4]基于加权最小二乘优化方法（weighted least squares，WLS），介绍了一种边缘保持操作，当图像边缘像素值梯度变化较大时，平滑权重约束小一些，以保留图像结构信息，反之亦然。另一类为全局平滑，该类方法通过优化全局能量函数滤除不重要的细节，保留显著结构。Xu等[5]确定全局重要边缘稀疏集合，平滑无关紧要的细节，同时增强边缘过渡。庞学舜等[6]对梯度最小化改进，使用预置梯度滤波器来消除梯度噪声影响。本文沾水图像所包含的噪声不仅有布满整幅图像的加性噪声或随机噪声，还包含光照影响、织物不平整及丰富的颜色变化，影响着后面分割提取准确性。因此，本文依据织物沾水图特点，提出使用改进最小化L0梯度保边平滑和拉普拉斯局部降维相结合的方式，消除噪声干扰和减弱光照不匀影响，进而利用分割算法得到有效分割，提取沾水区域。

1计算原理及分析

1.1最小化L0梯度法原理

最小化L0梯度法（L0 gradient minimization，LGM）主要思想是控制图像中大梯度的稀疏度，忽略图像中过多的小梯度。LGM通过构造一个目标函数，使原图与平滑近似误差最小，以达到锐化主要边缘，增加图中不同色块间过渡陡度的目的。设I是大小为n×m的原始圖像，S是平滑近似后的图像，Δ Sp=（xSp，ySp）T是平滑图S中像素点p沿x方向与沿y方向梯度，令C（S）是像素点p沿x方向梯度绝对值与沿y方向梯度绝对值相加不为零的个数，则：

C（S）=#{p‖xSp|+|ySp|≠0}=ΔSp0（1）

目标函数可以写为下列形式：

Eg=minS∑p（Sp-Ip）2s.t.C（S）=ΔSp0=k（2）

1.2存在的问题及解决方法

在提取织物湿润区域的过程中，通过最小化L0梯度法发现织物纹理噪声及采集图中噪声被去除，同时增强了显著边缘的对比度，但水珠的光照不匀影响依旧存在。后续实验中，若实验图像灰度对比度过大且存在光照不匀时，在进行聚类分割时会对各类的隶属度计算出现误判，导致分割后的沾水区域和背景区域发生连结。由此可知，应用该方法能有效降低、减弱高频噪声平滑了的图像，但对沾水区域灰度强度不均匀及光照不匀等噪声不能有效处理。虽然能通过限制非零梯度数量，并调整图像的相似度参数可获得更加平滑的效果，减弱光照不匀等噪声的影响，但其会引起实验图像过度模糊失真，进而影响后续分割效果。针对光照影响，文献[7]指出可以通过转化到CIELab空间对L分量进行调整控制光照不匀。针对抑制区域内的颜色变化，文献[8]分段平面嵌入（piecewise flat embedding， PFE）把拉普拉斯特征映射[9]写成1范数形式，通过最小化该L1正则能量项，得到全局稀疏解达到很好的分段平坦化效果，但在求解优化算法中嵌套两层循环，导致计算耗时；该算法在单核英特尔3.3GHz处理器下运行时间大约为15min，不符合快速检测系统的实时性。文献[10]指出L2范数对稀疏性限制虽然比L1范数弱些，成像效果没L1范数那么好，但L2范数最小化问题计算量小，符合本文自动评定系统实时性要求。因此要最大程度抑制无关紧要的细节又不改变图像原有结构，平缓前文提出的灰度变化，可采用基于最小化L0梯度法，应用拉普拉斯特征映射同时转换颜色空间，控制L分量参数对其进行降维处理，达到保持图像中主要的流形结构[11]，减弱图像灰度强度不均匀，得到灰度图像分段平滑的预分割效果。

2颜色空间转换

RGB空间包含的是颜色信息，CIELAB包含亮度分量L*和两个色彩分量a*和b*。分析CIELAB空间可知，光照变化在该颜色空间下表现为L*分量的形式，通过缩放该L*分量值大小可以达到减弱光照影响的目的。由RGB到CIELAB的转换过程如下所示[12]。

第一步，对原图I中像素点xi给定的非线性r、g、b值归一化到区间[0，1]，再线性化Gamma校正：R=fγ（r），G=fγ（g），B=fγ（b）。其中，Gamma校正函數定义如下：

fγ（c）=c+0.0551.0552.4当c>0.03928

c12.92当c≤0.03928（3）

第二步，对校正后的R、G、B值进行M映射到，如下式所示：

XYZ=MRBGRGB（4）

MRBG=0.4124530.3575800.1804230.2126710.7151600.0721690.0193340.1191930.950227（5）

第三步，由ISO标准13655，将上述X、Y、Z值按下式进行运算，最终将RGB空间的像素值颜色信息转换到LAB空间：

L*=116·f1Y/Yref-16

a*=500·f1X/Xref-f1Y/Yref

b*=200·f1Y/Yref-f1Z/Zref（6）

其中参数（Xref，Yref，Zref）一般取（95.047，100.000，108.883），f1（c）对应计算如下式所示：

f1c=c1/3当c>6/293

7.787·c+16/116其他（7）

3基于局部降维最小化L0梯度

本文实验中主要有以下“噪声”：沾水图像采集时的加性与随机噪声；光源变化及摄像机拍摄角度引起的光照变化；在进行沾水实验时，织物未固定平整聚类分割后形成的“伪”沾水区域；依附在织物表面的水渍和水珠反光聚类分割后形成的“伪”背景区域。为了去除上述噪声，可先将局部颜色信息转换到CIELab颜色空间，调整L*分量减轻光照影响，消除“伪”沾水区域；然后应用拉普拉斯特征映射（laplacian eigenmaps， LE）对其进行降维处理，达到保持图像中主要的流形结构，减弱图像灰度强度不均匀，得到灰度图像分段平滑的预分割效果，消除“伪”背景区域。在图像颜色信息降维过程中，就已经完成了图像去除加性或随机噪声的处理。使用降维操作实现LGM算法的改进，改进后的算法对多样噪声更具适应性和普遍性，提高了鲁棒性。使用改进LGM算法除噪后，对目标函数迭代优化求解平滑后的近似图像。

根据以上分析，为适应织物图像处理操作，改进原有最小化L0梯度模型，总能量函数（E）定义如下：

E=Eg+γEl（8）

式中：Eg是全局梯度项，该能量项作用是保持和增强图像显著结构，消除低频噪声；El为局部平滑项，该能量项使相似颜色的像素，其颜色被拉得更近，不连续的颜色保持分开，达到减少相似像素间颜色差异的效果，减少光照不匀的影响；γ为权重系数，控制图像局部颜色平滑程度。

S=[STr， STg， STb]是近似图像S的RGB分量的向量表示，全局梯度项为式（2）所示，局部平滑项如下式所示：

El=∑i∑pj∈Nh（pi）wijSi-Sj2s.t.STDS=I（9）

像素pi与pj的相似度wij定义如下：

wij=exp-xi-xj222σ2（10）

式中：xi是原图I中像素点在CIELAB颜色空间中的向量表示，xi=[μ*li， ai， bi]T，l为图像明度分量，a和b是色度分量，参数μ和σ是常数。

分析式（9）和式（10）可知，在像素pi局部邻域内，可通过计算pi与pj在LAB色空间中的相似度，控制μ的大小减少光照不匀的影响。实验表明[8]当μ<1时，式（10）对光照变化能起到较好的抑制作用。

根据L0梯度公式和拉普拉斯特征映射，总能量式（8）可重写为：

E=minS，h，v∑p（Sp-Ip）2+γSTLS+α（（xSp-hp）+

（ySp-vp）2）+λ1C（h，v）+λ2STDS（11）

各像素点的相似度wij组成矩阵W，式（11）中D为相似阵W度矩中行或列的和构成的对角矩阵，即Dij=∑ijWij；拉普拉斯矩阵L=D-W。

在总能量项中，针对L0范数子问题，可以固定S，求解（hp， vp）：

（hp， vp）=（0，0）（xSp）2+（ySp）2≤λ1/α

（xSp，ySp）其他（12）

固定（hp， vp），根据拉普拉斯降维理论，求解广义特征向量：

LS=λDS（13）

求解式（13）后，得到由丰富多层次的细节图像局部映射到抑制颜色变化的近似图S，把向量表示的近似图化为图像矩阵S′，采用快速傅里叶变换求解S如下：

S=F-1F（S′）+β（F（h）F（x）*+F（v）F（y）*）F（1）+β（F（x）F（x）*+F（y）F（y）*）（14）

根据以上公式，式（11）可以通过下面迭代求解优化问题：

算法1：基于局部降维最小化L0梯度（LELGM）

输入：原始图像I，近似图像S，权重系数λ1、λ2、γ，参数α0、αmax，迭代次数控制参数r，迭代次数计数器i

初始化：S←I，α0←λ1，αmax←105，r←2，i←0

重复执行下面迭代步骤，直至α0>αmax

固定S（i），求解式（12），得到（h（i）p， v（i）p）

固定（h（i）p， v（i）p），求解式（13），得到S

向量S化为矩阵形式S′，代入式（14），解得S（i+1）

α0=rα0，i++

最终得到迭代结果Si，此时就是目标图像。

4织物图像分割结果与分析

4.1织物图像平滑效果对比

如上所述，本文平滑算法是用于处理RGB彩色图像的，而由于织物沾水度评定系统实时性要求，织物沾水原始图像会被灰度化，从而降低整个织物沾水度等级评定过程的运算量。为了应用上述平滑過程，把织物沾水灰度图的灰度值分别赋给R、G、B分量，即各分量存储同一灰度值；表示为Lab颜色空间形式时，可由式（3）—（7）进行转换。

为了验证改进的基于局部平滑最小化L0梯度模型的有效性，将提出的模型与其他模型的实验图作比较（图1），并对沾水区域和织物不平整区域放大比较。表1为各模型与输入图像相似度（feature similarity index for image， FSIM）数值，其数值用于评价上述各模型去噪效果，运行时间是在双核2.9GHz处理器下得到。

如图1所示，其中图1（a）是灰度化后的输入图像，图1（b）是双边滤波（BLF）平滑图，图1（c）是加权最小二乘（WLS）平滑图，图1（d）是最小化梯度法（LGM）平滑图，图1（e）是分段平坦嵌入（PFE）平滑图，图1（f）是本文LELGM方法平滑圖。在LGM法中，λ参数控制平滑程度，κ参数控制图像中局部结构保留程度。由于本文方法在处理过程中对颜色信息抑制使其近似于分段常数，所以本文中的λ参数比LGM法小，并减小κ保持图像中的结构粒度。因为加性和随机噪声整体分布在图像中，所以从整体图可以看出本文方法去除了噪声影响。图1中各算法对应的第二行图用于体现沾水区域的颜色变化，从这行图像看出，本文方法抑制了图像中颜色范围变化，使沾水区域与背景区域明显分开。各算法的第三行图是织物不平整部分引起的光照影响，BLS、WLS、LGM法都不能完全消除光照不匀，PFE法虽然抑制了光照影响，但由表1可知运行时间过长，本文LELGM法对光照影响有很好的效果，虽然较前面LGM法增加运行时间，但在可接受范围内，不影响自动检测系统的实时性。文献[13]指出特征相似度算法[14]是目前评价图像质量准确度较好的算法，所以本文采用FSIM评价平滑后图像质量。该算法功能是通过研究处理前后图像的相似度评价图像去噪效果，评价指标数值在0～1。在实验中降低了光照不匀影响，减少了同类像素间灰度差异，使得润湿区域到干燥织物区域的过渡色减少了，从而增加了二者的对比度，造成平滑前后图像相似度减小，所以针对本文FSIM数值越小表明去噪效果越好。从表1可以看出，本文算法去噪效果最好。从实验结果可知，本文方法最大程度保持了图像的形状，符合人类视觉系统主观感受。与处理效果也很好的图1（e）相比，本文方法基本使图像分为两大块色块，已经达到预分割的效果，而图1（e）沾水区域和背景区域还各自保持着灰度变化。这些实验结果表明，本文提出的改进的基于局部降维最小化L0梯度模型具有较好的平滑性。经过以上去噪、保边平滑、减弱灰度变化、消除光照不匀影响的处理后，织物的噪声被消除，沾水区域部分的灰度变得平滑、干净无干扰，使得织物背景与感兴趣区域的灰度差异变大，为之后的织物图像分割提供了良好的基础。

4.2織物图像分割效果对比

图2是各模型经聚类分割效果图。经过平滑操作后，织物沾水区域与背景的灰度产生较大差异，因此选择模糊C均值聚类（fuzzy Cmeans，FCM）[15]进行图像分割。本文FCM算法参数为：迭代停止阈值0.001，迭代次数为100次，聚类类别为两类。因为经过前面平滑步骤处理，基本上消除了干扰因素，所以可以对初始化中心随机选择。如图2所示，因受光照不匀影响，把反光的水渍当成背景区域，使各模型中的沾水区域都有白色部分，造成背景与感兴趣区域混淆。可以看出图2（a）和图2（b）受光照影响较大，图2（e）较图2（c）（d）消除了大部分的光照不匀影响，但还存在着误判，这是因为通过控制式（10）参数μ更深入减少光照影响时，会使整体图像变暗，降低图像整体灰度造成失真，达不到下一步分割预期要求。经过对图2以上分析，可知光照影响大部分被消除了。通过分割图与表1中FSIM参数可以互相印证说明本文方法对突发性状况的抑制，比如织物自身及其水渍反光、采集时表面不平整引起的光照变化，在实验室中都是不可控的，对这些影响因素本文方法可以达到很好的减弱作用，具有良好的鲁棒性。

表2是对11张织物沾水图进行聚类分割后的平均指标。利用PRI（probabilistic rand index）[16]量化分割图中边界定位的准确性，和模糊区域造成欠分割或过分割影响；GCE（global consistency error）[17]评判在不同粒度下分割的一致性；VOI（variation of information）[18]统计聚类后损失的信息量。利用这3个指标进行分割效果分析时，PRI越接近1效果越好，GCE和VOI数值越小损失信息就越少。从表2可以看出，本文方法PRI均大于对比模型，GCE和VOI均小于对比模型，因此通过LELGM法平滑后的聚类结果优于其他平滑方法。本文选择平滑算法去噪，是因为沾水图像只关注沾水区域和边缘，虽然表1中相似度指标减少了，但是直观和客观上更加容易得到想要信息，达到易分割目的。结合表1中FSIM指标与表2分割指标可以看出，颜色信息相似度减少并没有影响分割效果，因为LELGM算法对结构与边缘保留较好，其结构相似度并没有减少。综合图2和表2，可知本文方法成功地抑制颜色范围变化，达到易分割的目的；消除伪沾水区域，使聚类分割结果更加精确。

图3是在自然光下采集的10张典型沾水图，经过LELGM平滑后经FCM聚类得到的效果图。第1行第1张图与第3行第3张图都有织物褶皱引起的光照影响，通过本文方法达到抚平了不平整表面。第1行第3、第4、第5张图都有水渍产生的光照影响，对比得到的分割图可以看出基本消除了反光干扰。第3行第4张图的边缘可以看出有点模糊，经过本文方法处理后的图像边缘变得锐利，说明其保边性得到较好的应用。剩余其他4张典型实验图是对沾水区域与背景区域的颜色进行了分段平坦化，抑制了颜色信息，达到去加性与随机噪声的目的。根据以上10张典型图，可知本文方法适应多种多样的沾水图，达到普遍性操作的目的。

5结论

本文利用Y813织物沾水度测定仪采集1～5级织物沾水图像，以Matlab 2012为分析工具完成织物沾水区域分割，实现了沾水区域的提取。通过L0梯度平滑和抑制局部灰度过渡相结合的方法，有效地滤除包括光照不匀、织物不平等噪声，同时增强了织物沾水区域信息，得到灰度差异大的织物沾水区域图；上述预处理能够对沾水区域进行准确有效的提取，进行传统的聚类分割能真实地反映沾水区域的实际状态。实际织物实验分析结果表明，本文提出的基于改进L0梯度的织物沾水区域图像分割，能准确地提取织物沾水区域信息，将更有利于织物沾水度等级的客观评定。

参考文献：

[1]王晓红，衣永政，吴冬梅.模糊聚类分割算法在织物淋水等级评定中的应用[J].陕西工学院学报，1997，13（4）：5458.

WANG Xiaohong， YI Yongzheng， WU Dongmei. Grading the spray rinsing of fabric by using fuzzy cluster segmension algorithm[J]. Journal of Shaanxi Institute of Technology，1997，13（4）：5458.

[2]朱桂英，張瑞林.Canny算子在织物防水性能自动识别中的应用[J].纺织学报，2008，29（3）：122125.

ZHU Guiying， ZHANG Ruilin. Application of Canny operator on automatic detection of fabric waterproof performance[J]. Journal of Textile Research，2008，29（3）：122125.

[3]TOMASI C， MANDUCHI R. Bilateral filtering for gray and color images[C]// Computer Vision，1998， 6 th International Conference on IEEE. 1998：839846.

[4]FARBMAN Z， FATTAL R， LISCHINSKI D， et al. Edgepreserving decompositions for multiscale tone and detail manipulation[C] //ACM Transactions on Graphics （TOG）， ACM.2008，27（3）：67.

[5]XU L， LU C， XU Y， et al. Image smoothing via L0 gradient minimization[C]// ACM Transactions on Graphics （TOG）， ACM. 2011，30（6）：174.

[6]龐學舜，王怀彬.基于改进的L0梯度最小化的图像平滑[J].天津理工大学学报，2016，32（1）：3539.

PANG Xueshun， WANG Huaibin. Improved L0 gradient minimization for image smoothing[J]. Journal of Tianjin University of Technology，2016，32（1）：3539.

[7]BI S， HAN X， YU Y. An L1 image transform for edgepreserving smoothing and scenelevel intrinsic decomposition[J]. ACM Transactions on Graphics （TOG），2015，34（4）：78.

[8]YU Y， FANG C， LIAO Z. Piecewise flat embedding for image segmentation[C]// Proceedings of the IEEE International Conference on Computer Vision.2015：13681376.

[9]BELKIN M， NIYOGI P. Laplacian eigenmaps and spectral techniques for embedding and clustering[C]// NIPS. 2001，14：585591.

[10]ZHANG L， YANG M， FENG X. Sparse representation or collaborative representation： Which helps face recognition？[C]// 2011 International Conference on Computer Vision on IEEE.2011：471478.

[11]赵连伟，罗四维，赵艳敞，等.高维数据流形的低维嵌入及嵌入维数研究[J].软件学报，2005，16（8）：14231430.

ZHAO Lianwei， LUO Siwei， ZHAO Yanchang， et al. Study on the lowdimensional embedding and the embedding dimensionality of manifold of highdimensional data[J]. Journal of Software，2005，16（8）：14231430.

[12]冉杨鋆.基于Lasso极限最小学习机和LAB颜色空间的人脸识别研究[D].上海：复旦大学，2012：1112.

RAN Yangjun. Human Face Recognition Research Based on Lasso Extreme Learning and LAB Color Space[D]. Shanghai： Fudan University，2012：1112.

[13]ZHANG L， ZHANG L， MOU X， et al. A comprehensive evaluation of full reference image quality assessment algorithms[C]// 2012 19th IEEE International Conference on Image Processing on IEEE.2012：14771480.

[14]ZHANG L， ZHANG L， MOU X， et al. FSIM： A feature similarity index for image quality assessment[J]. IEEE transactions on Image Processing，2011，20（8）：23782386.

[15]BEZDEK J C， EHRLICH R， FULL W. FCM： The fuzzy cmeans clustering algorithm[J]. Computers & Geosciences，1984，10（23）：191203.

[16]MONTEIRO F C， CAMPILHO A C. Performance evaluation of image segmentation[C]// International Conference Image Analysis and Recognition. Springer Berlin Heidelberg，2006：248259.

[17]MARTIN D， FOWLKES C， TAL D， et al. A database of human segmented natural images and its application to evaluating segmentation algorithms and measuring ecological statisticsn[C]// Computer Vision，2001， ICCV 2001. Proceedings. Eighth IEEE International Conference on IEEE.2001：416423.

[18]MEIL M. Comparing clusteringsan information based distancen[J]. Journal of Multivariate Analysis，2007，98（5）：873895.