向 军, 张 杰, 潘如如, 韩要宾, 张继东, 高卫东
(1. 生态纺织教育部重点实验室(江南大学), 江苏 无锡 214122; 2. 江南大学 纺织服装学院, 江苏 无锡 214122; 3. 香港理工大学 纺织及制衣学系, 香港 九龙 999077)
采用纹理平滑的印花织物图案轮廓提取
向 军1,2, 张 杰3, 潘如如1,2, 韩要宾1,2, 张继东1,2, 高卫东1,2
(1. 生态纺织教育部重点实验室(江南大学), 江苏 无锡 214122; 2. 江南大学 纺织服装学院, 江苏 无锡 214122; 3. 香港理工大学 纺织及制衣学系, 香港 九龙 999077)
为丰富印花产品的种类,提出了一种可有效提取出印花织物中图案轮廓的方法,可提取出高精度的印花图案边缘轮廓。首先对图像进行平滑,通过控制平滑程度参数和空间尺度参数,平滑掉织物图像中的纹理结构。再用Canny边缘检测算子检测图案边缘,Canny分割的判别阈值采用默认自动选择阈值就能成功提取织物上图案的轮廓,分割后的图像轮廓清晰,边缘连续,并且能分割出印花织物图像中的细小结构。通过实验证明,在RGB颜色空间对图像平滑和边缘提取的效果要优于其他颜色空间,比较了其他边缘检测算子分割印花织物图案的效果,结果证明Canny算子分割效果最好。
印花织物; 图像平滑; 边缘提取; 图案分割; Canny算子
印花织物的图案轮廓提取为纺织印花工艺中图案设计提供了一种新的思路。在印花织物的生产过程中,在保持花形不变的情况下,可对提取的图案轮廓重新配色套色,也可对不同的图案花型进行重新组合搭配,形成新的图案效果,达到丰富印花产品种类的目的。在对小花型印花织物图案进行轮廓提取时,由于织物纹理结构复杂,色彩搭配细腻多彩,用简单的边缘检测方法难以达到理想的效果。
对于目标轮廓的自动提取,Kass等[1]提出了主动轮廓模型(又称Snakes模型),其基本思想为:以构成一定形状的一些控制点为模板(轮廓线),通过模板自身的弹性形变与图像局部特征相匹配达到调和,即能量函数达到最小化,完成对图像的分割。但能量函数最小化可能会陷入局部极小值。王雅萍等[2]提出一种轮廓自扩展的GVF算法,使初始轮廓可有效覆盖目标所在区域,可完整地提取目标轮廓,但由于迭代次数的影响,算法的时间开销太大。Pablo等[3]提出一种轮廓检测和图像分割的算法,其中轮廓检测结合了多个局部特征和谱聚类算法,分割算法就是利用轮廓检测结果对图像分层分割,通过控制参数能够输出不同细节程度的图像,但没有考虑纹理对图像轮廓的影响。
目前,针对织物图像分割的研究主要有:诸葛振荣等[4]基于均值漂移(Mean-shift)的织物图像分割算法;包晓敏等[5]基于贝叶斯决策及半监督聚类的织物图像分割;周慧等[6]基于平滑滤波和分水岭算法的重组织物图像分割;景军锋等[7]基于小波域多尺度Markov随机场的织物印花图案分割;曹丽等[8]基于多特征融合的织物印花图像分割;刘建立等[9]基于遗传算法的印花织物图案分割。以上列举文献中的算法均未考虑印花织物图像的纹理对分割效果的影响。对于小花型的印花织物而言,如果图像中的图案细节清晰可见,那么织物本身的组织结构引起的纹理也不可忽略,织物纹理对小花型印花织物图像图案的提取有很大影响。均值漂移在聚类、图像平滑、分割和跟踪等方面有着广泛的应用,但是结果受迭代函数移动的步长影响很大。而印花织物的色彩搭配细腻多彩,无法确定稳定的移动步长。
本文研究针对小花型印花织物图案提出一种能分割出印花织物图案,特别是图像中的细小结构的方法。首先对织物图像进行纹理和结构的平滑,消除图像中的纹理,然后采用Canny算子对平滑后的图像进行边缘检测,提取图案轮廓,最终能获得和印花织物图案高度拟合的图案轮廓。
1.1图像平滑算法
Xu等[10]提出一种基于总变差模型图像平滑方法,可通过控制参数实现对图像结构纹理不同程度的平滑。针对织物图像中的由织物组织所形成的纹理,本文采用其提出的方法对印花织物图像进行平滑,该模型可表示为
(1)
式中:argmin表示使后面式子达到最小值时点(i,j)的集合;f表示输入的印花织物图像,S表示被提取结构后的图像,f-S的结果就是去除纹理的图像;i、j表示像素点在图像中的位置;λ为可控参数;ε为很小的正数。式(1)中,前半部分(S(i,j)-f(i,j))2是为确保输入和输出不会相差太大,后半部分是基于总变差模型对图像矩阵进行正则化处理[10],其中包含了全变差Dx(i,j)、Dy(i,j)和固有变差Lx(i,j)、Ly(i,j),具体如下。
(2)
式中:k和l表示图像像素点在窗口中的位置;g表示权重函数。
根据空间关联性,有:
(3)
式中σ为调节窗口空间尺度的参数。
通过控制参数λ和σ来调节对图像的平滑程度,参数的讨论将在后文阐述,该方法对印花织物的平滑效果如图1所示,图像中的纹理被平滑掉,然而图像没有变得模糊,反之图像的边缘和轮廓变得清晰。
图1 印花织物平滑效果Fig.1 Printed fabric smoothing effect
1.2边缘检测算法
Canny边缘检测[11]算法基于多阶边缘算子,是常用的边缘检测算子。Canny边缘检测器使用基于高斯模型派生的检测模型,因为未处理图像可能含有噪声,所以开始时在原始图像上应用高斯滤波,结果为轻度平滑图像,以避免单个噪声像素干扰全局参数。
针对印花织物的图案轮廓提取流程图如图2所示,分为图像采集、结构平滑、灰度化处理、图案轮廓提取共4个步骤。
图2 印花织物图案轮廓提取流程图Fig.2 Printed fabric pattern outline extraction flow chart
2.1印花织物图像采集
为完成印花织物的图案分割,同时避免不同色温的人造光源对图像造成的偏色影响研究准确性,对印花织物实样进行信息采集时选择DigiEye 数字图像采集系统,如图3所示,相机型号为Nikon D7000,分辨率为96 dpi,所用光源为D65光源。
图3 印花织物图像采集Fig.3 Printed fabric image acquisition. (a)Image acquisition environment; (b) Printed fabric pattern example
图3(b)示出在该条件下采集并进行区域截取后得到的印花图像实例,所用织物的组织结构为平纹组织,经纱和纬纱线密度均为14.8 tex,经纬密为126根/10 cm×76根/10 cm,图像中织物图案的轮廓结构都清晰可见,由于织物组织结构所引起的织物纹理也非常明显,所以需要对图像进行平滑。
2.2图像处理
本文实验中,先对获取的图像进行预处理,然后用基于总变差模型的图像平滑方法对图像进行平滑处理,去掉印花织物图像中的织物纹理,如图4(a)所示。由图可看出,织物图像中一些细小结构和纹理已经全部被平滑掉,并且图像中的图案以及轮廓变得很清晰,保存得很完整。
图4 实验步骤及效果Fig.4 Experimental steps and effects. (a) Smoothed image; (b) Gray image; (c) Effect after Canny segmentation; (d) Overall effect
接着,由于Canny边缘检测的输入为灰度化图像,采用平均值法对平滑后图像进行灰度化处理,如图4(b)所示,灰度化后图像的轮廓依然清晰可见。
再用Canny边缘检测算子对图像进行分割,在用到Canny边缘检测算子时,采用自动选择判别阈值的方法,效果如图4(c)所示。
图4(d)示出分割后的图像在原图中的效果。由图可看到,分割效果轮廓清晰和精确,图案的边缘被全部提取出来,而且提取的图案边缘和图案基本完全吻合。
3.1平滑参数讨论
实验中ε和εs是2个小正数,用来避免分母出现0的情况。其中ε取值为0.001,而εs稍微大些,能帮助保持光滑变化的结构部分,通常设定为0.02。式(1)中的λ是不可或缺的权重,用来控制图像的光滑程度,但是仅仅调节λ并不会使纹理分离太多,而增加λ也会造成图像的模糊并且纹理反而会被保留下来。 一般,λ取值在0.005~0.03之间。图5示出不同迭代次数显示的结果,发现该算法3~5次就可达到收敛状态。
图5 迭代次数的影响Fig.5 Influence of iteration numbers. (a)Original image; (b) Iterations for one times; (c) Iterations for two times; (d) Iterations for three times
图6示出σ和λ的取值对图像分割效果的影响分析。
图6 不同控制参数的影响Fig.6 Influence of different control parameters. (a) Original image; (b) σ=0.5; (c) σ=1; (d) σ=3; (e) λ=0.005; (f) λ=0.01; (g) λ=0.02; (h) λ=0.03
空间尺度参数σ在结构纹理分离过程中至关重要,其作用是控制式(3)中窗口的大小。σ的取值取决于图像中纹理的尺寸大小,增强σ可很好地抑制纹理。一般情况下,σ的取值范围为0~8之间。λ为光滑程度系数,增加λ的取值会对平滑效果产生影响。从图6(a)~(d)可看出,对于纹理不太明显的印花织物,σ增大到1~2时平滑效果就没有什么变化,算法收敛,所以对于印花织物平滑选取2。反之,增加λ值对平滑效果影响非常大。从图6(e)~(h)中可看出,随着λ的增大,印花织物的一些细节也会被平滑,所以选取控制平滑程度的系数λ约为0.01。
3.2不同边缘检测算子比较
为选择合适的边缘提取方法,分别利用Sobel、Roberts、Prewitt、Log以及Canny 5种常用的边缘检测算子对同一印花织物图像进行分割,并比较分割效果,如图7所示。
图7 不同算子的边缘提取效果Fig.7 Edge extraction effect of different operators. (a) Original image; (b) Sobel; (c) Prewitt; (d) Roberts; (e) Log; (f) Canny
图7(b)、(c)示出Sobel和Prewitt边缘检测算子的分割效果。Prewitt算子和Sobel算子均对噪声具有一定抑制作用,图像产生一定的模糊,且检测出一些伪边缘。图7(d)示出Roberts边缘检测算子的分割效果。Roberts算子是利用图像的2个对角的相像素之差进行梯度幅值的检测,从图中可看出,虽然Roberts算子对左上角的花纹分割得比较精确,但丢失了太多图像的细节部分。图7(e)示出Log边缘检测算子分割效果。Log算子平滑掉了图像中的细节,造成某些边缘无法检测到,或者造成某些边缘失真,随之会出现许多伪边缘。
相比于其他边缘检测算子,Canny算子可检测到真正的弱边缘。Canny算子的检测效果如图7(f)所示。由图可看到,织物图像中许多小结构形成的弱边缘基本都被分割出来,且轮廓清晰,精确度高,因此,选择Canny算子来提取印花织物图案边缘效果最好。
3.3颜色空间的比较
在对印花织物进行平滑处理时,先将图像转换到其他颜色空间,如CIE Lab、HSI、HSV空间,然后再对图像进行纹理平滑,最后再将图像转换到RGB空间中显示,实验结果如图8所示。在Lab空间平滑后的结果是图像中的一些小点变得非常模糊,会影响后续实验;在HSI和HSV空间平滑后,图像中出现了不同程度的疵点,这可能是在颜色空间转换的过程中对数据的不同程度破坏所造成的。
在对平滑后图像进行轮廓提取之前,也对图像进行颜色空间转换,分割结果如图8所示。Lab空间分割结果中出现了许多多余的细节,而在HSI和HSV空间分割效果出现了许多错乱。
图8 不同颜色空间平滑和边缘提取效果对比Fig.8 Comparison of smoothness and edge extraction of different color space. Smoothing results of RGB (a), Lab (b), HIS (c) and HSV (d) and contour extraction results of the RGB (e), Lab (f), HIS(g) and HSV (h)
3.4图案分割结果与讨论
图9示出未对图像进行平滑和平滑后的轮廓提取效果对比。由图可看到,对未经平滑处理的图像提取后出现很多疵点,这是由于织物本身的纹理会影响分割效果,而平滑后对印花织物图像中图案的分割非常精确,提取出来的图案轮廓基本与原图吻合,并且提取出来的图像效果图层次明显,且没有丢失局部的关键细节,对整幅图像的提取效果如图10所示。
图9 分割结果对比Fig.9 Segmentation results. (a) Extraction without smoothening; (b) Extract edges after smoothening
图10 全图提取效果Fig.10 Whole map extraction effect
本文采用基于改进后的总变差模型对印花织物图像进行平滑,有效地平滑掉印花织物图像中主要由织物组织引起的纹理结构,并且很好地保存了图像中的图案。再用Canny边缘检算子对图像进行边缘提取。在此平滑方法中,平滑参数的设定是最重要的问题,包括空间尺度参数和光滑程度系数。一般来讲印花织物图像上的纹理结构不会很明显,所以选择的空间尺度参数比较小,光滑程度系数也设定为比较小的值,通过实验选定空间尺度参数为3,光滑程度系数设为0.01。分割结果对印花工艺有着指导意义,比如Canny边缘提取的结果可用在印花图案设计中的描边、勾边。另外,此分割方法也可用于其他织物的图案分割,所选参数也会随着变化。此算法存在的不足是,对一些颜色差别不明显的图案其分割效果不太理想,主要是由于此算法是基于图像色彩频率的,差异不大的颜色对应的颜色数值上的差异也会不太明显。
FZXB
[1] CHAPPELOW J. Snakes: active contour models[J]. International Journal of Computer Vision, 1988, 1(4):321-331.
[2] 王雅萍, 郭雷. 一种基于轮廓自扩展的GVF算法[J]. 火力与指挥控制, 2009, 34(4):25-29.
WANG Yaping, GUO Lei. GVF algorithm based on contour self-expansion [J]. Fire and Command & Control, 2009, 34 (4): 25-29.
[3] ARBELAEZ P, MAIRE M, FOWLKES C, et al. Contour detection and hierarchical image segmenta-tion[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(5): 898-916.
[4] 诸葛振荣, 徐敏, 刘洋飞. 基于Mean-shift的织物图像分割算法[J]. 纺织学报, 2007, 28(10):108-111.
ZHUGE Zhenrong, XU Min, LIU Yangfei.Image segmentation algorithm based on Mean-shift [J]. Journal of Textile Research, 2007, 28 (10): 108-111.
[5] 包晓敏, 彭霄, 汪亚明,等. 基于贝叶斯决策及半监督聚类的织物图像分割[J]. 纺织学报, 2010, 31(2):125-128.
BAO Xiaomin, PENG Xiao, WANG Yaming, et al. Fabrication of fabric based on Bayesian decision and semi-supervised clustering [J]. Journal of Textile Research, 2010, 31 (2): 125-128.
[6] 周慧, 张华熊, 胡洁,等. 基于平滑滤波和分水岭算法的重组织织物图像分割[J]. 纺织学报, 2015, 36(8):38-42.
ZHOU Hui, ZHANG Huaxiong, HU Jie, et al.Image segmentation of reorganized fabrics based on smoothing filter and watershed algorithm[J]. Journal of Textile Research, 2015, 36 (8): 38-42.
[7] 景军锋, 李阳, 李鹏飞,等. 基于小波域多尺度Markov随机场的织物印花图案分割[J]. 纺织学报, 2014, 35(1):127-133.
JING Junfeng, LI Yang, LI Pengfei, et al. Textile printing pattern segmentation of fabric based on wavelet domain multiscale Markov random field[J]. Journal of Textile Research, 2014, 35 (1): 127-133.
[8] 曹丽, 胡旭东. 基于多特征融合的织物印花图像分割[J]. 纺织学报, 2016, 37(8):149-153.
CAO Li, HU Xudong. Fracting image segmentation based on multi-feature fusion [J]. Journal of Textile Research, 2016, 37 (8): 149-153.
[9] 刘建立, 左保齐. 基于遗传算法的织物印花图案的分割[J]. 计算机工程与设计, 2008, 29(15):3966-3967.
LIU Jianli, ZUO Baoqi. The segmentation of fabric printing patterns based on genetic algorithm[J]. Computer Engineering and Design, 2008, 29 (15): 3966-3967
[10] XU L,YAN Q,XIA Y, et al. Structure extraction from texture via relative total variation[J]. ACM Transactions on Graphics (TOG), 2012, 31(6): 139.
[11] DI H, GAO D. Gray-level transformation and Canny edge detection for 3D seismic discontinuity enhancement[J]. Computers & Geosciences, 2014, 72:192-200.
Graphiccontourextractionforprintedfabricbasedontexturesmoothing
XIANG Jun1,2, ZHANG Jie3, PAN Ruru1,2, HAN Yaobin1,2, ZHANG Jidong1,2, GAO Weidong1,2
(1.KeyLaboratoryofEco-Textiles(JiangnanUniversity),MinistryofEducation,Wuxi,Jiangsu214122,China; 2.CollegeofTextilesandClothing,JiangnanUniversity,Wuxi,Jiangsu214122,China; 3.InstituteofTextileandClothing,TheHongKongPolytechnicUniversity,Kowloon,HongKong999077,China)
In order to enrich printed products varieties, a method was put forward to effectively extract the contours of the printed fabric with high precision. Firstly, in order to smooth the image, by controlling the degree of smooth parameters and space scale, it could smoothen the fabric texture and structure of the image. It could successfully segment the pattern on the fabric when edge detected by Canny edge detection operator, and Canny discriminant threshold segmentation selected the default automatic threshold choice. The segmented image had clear contour, continuous edge and could segment smaller structure in the images of the printed fabric. Experiments prove that in RGB color space image smoothing and segmentation effect are superior to the other color space. Compared to the other edge detection operator splitting pattern effect of printing fabrics, the results prove that Canny operator segmentation effect is the best, and the segmentation results can be directly used in the production of printed fabric.
printed fabric; image smoothing; edge extraction; pattern segmentation; Canny operator
10.13475/j.fzxb.20160901506
TS 194.9
A
2016-09-09
2017-08-15
国家自然科学基金青年基金项目(61202310);教育部博士点基金项目(20120093130001);霍英东基金项目(141071);2014江苏省研究生创新计划(KYLX_1132)
向军(1991—),男,硕士生。主要研究方向为织物的图案分割及颜色测量。高卫东,通信作者,E-mail:gaowd3@163.com。