王庆海,赵凤霞,李纪峰,金少搏
(1.河南机电职业学院 机械工程系,河南 郑州451191;2.郑州大学 机械工程学院,河南 郑州450001)
在玻璃纤维织物的生产过程中,织物的缝隙缺陷是影响产品质量的重要因素,也是产品质量控制的主要验收项目之一.目前,利用机器视觉技术进行织物的质量检测,已经成为国内外研究的热点,且已产生了许多的检测算法,如采用Gabor滤波技术的布匹瑕疵检测方法[1];采用AR 模型的谱估计方法[2];基于纹理模型的疵点检测方法[3];基于小波分析的织物缺陷检测方法[4];采用非下采样Contourlet 域高斯混合模型的布匹瑕疵识别算法[5];采用图像纹理频谱能量分布的布匹瑕疵检测方法[6];应用纹理增强分水岭的织物瑕疵检测方法[7]等等. 这些方法从不同的侧面可以实现织物的缺陷检测,但是计算复杂度高,实时性不好.笔者提出采用Blob 分析方法对织物缺陷进行检测,在检测过程中不需要对缺陷进行边缘提取操作,也不需要进行模板匹配或样本训练,而是对图像中具有相同灰度的连通域进行分析,该方法计算简单,易于实现,且检测结果准确可靠,实时性好,能满足织物缺陷的在线检测需求.
玻璃纤维织物为缝编织物,是由一层或一层以上的无捻粗纱平行无皱褶排列,各层纱线以相同或不同的方向层叠,再用有机纤维线缝编而成的制品.织物颜色一般为白色的,在加工过程中织物的质量缺陷主要是断经或间隙造成的缝隙缺陷,要求检测的最小缝隙宽度为1 mm,长度为150 mm.织物的在线生产速度一般为2 m/min 左右,织物的幅宽范围一般为200 ~2 500 mm.根据生产实际状况,笔者设计的玻璃纤维织物机器视觉系统如图1 所示.
图1 玻璃纤维织物机器视觉系统Fig.1 Glass fiber fabric machine vision system
由图1 可以看出,相机、镜头和光源组成了机器视觉系统的图像采集模块.其中,相机采用的是两个全局曝光的MV -GE130GM 型黑白工业相机(深圳迈德威视公司生产)同步工作,分辨率为1 280 pixel ×960 pixel,帧率为60 FPS(大于织物的运动速度),因此,可以获得无拖影的视频图像.镜头选用日本Computar 公司的M0814 -MP2机器视觉镜头,规格为2/3″,与所选用的相机相配,焦距为8 mm. 相机与计算机之间的接口采用千兆网GigE 接口,GigE 接口是工业应用所新开发的一种图像接口技术,以Gigabit Ethernet 协议为标准,可以实现高速的、远距离的图像传输,满足了在线检测的实时性要求. 光源设置在织物下方,采用背光照明方式,这种光源配置方式可以获得高对比度的图像;当织物中有缝隙缺陷时,则缺陷处将有亮光透过;如织物中无缝隙缺陷,则图像中无较大灰度差的特征出现.
图2 为机器视觉系统获得的图像. 从图2 可以看出,缝隙缺陷与背景具有较大的灰度差,形成了有利于后续图像处理的成像效果.
图2 玻璃纤维织物图像Fig.2 Glass fiber fabric image
采用Blob 分析法对织物缺陷进行检测时,需要把具有相同灰度值的像素构成的连通域分割出来,检测流程如图3 所示.
图3 织物缺陷的Blob 分析流程Fig.3 Blob analysis process for fabric defect
由于在图像获取过程中受照明光线的方向、亮度、稳定性、柔性织物表面张紧程度不一致、以及图像拼接接缝等的影响,使所获取的图像中含有噪声;同时,织物具有纹理结构特征,这些纹理结构也会影响织物缺陷的检出率和准确性.因此,需要对图像进行平滑处理以模糊织物纹理和减小噪声干扰.常用的滤波器有高斯滤波器、中值滤波器、均值滤波器等等.其中,均值滤波是典型的线性滤波算法,能够有效滤波图像中的加性噪声,达到模糊织物纹理结构和减小噪声干扰的目的. 因此选择均值滤波器.
在进行Blob 分析时,必须把图像分割为构成斑点(Blob)和局部背景的像素集合. 最简单的分割算法是阈值分割法,它适用于目标和背景占据不同灰度级范围的图像.分析图2 可知,织物图像中的缺陷目标与背景具有完全不同的灰度,比较适合采用阈值分割方法.阈值分割法的定义为
由式(1)可知,阈值分割就是将图像f(r,c)中灰度值处于阈值gmax和gmin范围内的全部点选到输出区域S 中.由此可见,阈值分割的关键是确定合适的阈值以准确地将图像分割为目标像素和背景像素.
常用的阈值确定方法有直方图双峰法、P 参数法、基于最大类间方差原理的Otsu 算法、基于信息熵原理的一维最大熵法、迭代法等等.其中,双峰法比较适合直方图存在双峰的情况. 图4 所示是图2 的灰度直方图,直方图呈单峰状态,因此双峰法不适合于织物缺陷的检测. P 参数法用于在固定分辨率下,目标所占整个图像的比例已知的情况;Otsu 算法适用于目标与背景灰度差比较明显的情况;最大熵法和迭代法对于具有非理想双峰直方图的图像可以得到较好的分割,但是运算速度较慢,不适合在线的实时处理.本文需要在线检测玻璃纤维织物的缺陷,对实时性要求较高,对比这些阈值确定的方法可知,Otsu 算法是一种比较适合本文的方法.
图4 图2 所示图像的灰度直方图Fig.4 Histogram of the image in Figure 2
采用Otsu 算法进行图像分割的过程如下:①计算图像的直方图,寻找直方图的最大峰值;②以最大峰值为初始阈值Th 对图像进行分割,将图像分割为A,B 两类;③分别计算A,B 两类像素集合的均值μA,μB,计算公式分别见式(2)和式(3);④计算A,B 两类像素的类间方差σ,公式见式(4);⑤将Th 在最大峰值±25 范围内循环,分别计算A、B 的类间方差,当类间方差最大时,对应的Th 即为所求的最佳阈值;⑥采用全局阈值法把灰度值在Th 至255 之间的像素分割出来.
图5 所示是对图2 进行阈值分割的结果.
式中:NA,NB分别表示集合A,B 中的像素个数.
σ(Th)= NA(Th)·NB(Th)·[μA(Th)- μB(Th)]2. (4)
图5 图2(c)阈值分割的结果Fig.5 Thresholding result of the image in Figure 2
由于分割区域中会有一些杂点或小的突出物,需要对分割的图像进行形态学处理,去除这些不必要的干扰.采用的形态学处理算法为:首先采用半径为5 的圆结构元素对分割的图像进行一次开操作,以去除与缺陷目标像素相连的干扰部分,并抑制分割区域中的一些小分支;然后采用半径为5 的圆结构元素再进行一次闭操作,用来填补缺陷目标区域中断开的缝隙.经过开、闭操作后减少了图像中不必要的区域干扰,同时将缺陷目标断开的缝隙进行了闭合,调整了分割后的Blob 区域形状.
形态学处理删除了一些不必要的区域干扰,但是结果中仍会存在着一些不是目标像素的区域,必须对图像进行连通性分析和特征提取.笔者按照8连通域标记方法把图像中具有相同像素值且位置相邻的所有前景像素点进行合并,形成Blob 连通区域,但是这些区域有些不是缺陷特征区域,需要对连通区域进行进一步的特征提取操作.
玻璃纤维织物为多轴向织物,纹理方向一般呈现为0°,90°或±45°. 在织物图像中,缺陷目标也具有明显的方向特征,如图2 所示缺陷目标的纹理方向特征为+45°,同时,缺陷目标的区域面积要比干扰的区域面积大.因此,按照方向特征和区域的面积特征实现缺陷特征的提取.
由于提取出的缺陷特征是不规则的图形,无法直接进行缺陷特征参数的计算,需要首先将不规则图形进行凸包问题求解,然后用凸包作为多边形区域,在矩形倾斜方向和面积最小的约束下对多边形拟合,构造出其最小外接矩形.如图6 所示为由最小外接矩形中心(r,c)的坐标值、矩形的倾斜角度θ、矩形的半高度l1和矩形半宽度l2等参数得到缺陷特征的尺寸和位置等信息. 图7 所示是对提取出的Blob 区域构造了最小外接矩形,并计算出了缺陷的特征参数.
图6 Blob 区域的最小外接矩形参数示意图Fig.6 The Schematic diagram of the parameter of minimum external rectangle of Blob regions
图7 图2(c)的Blob 分析结果Fig.7 The Blob analysis results of the image in Figure 2
基于建立的织物机器视觉缺陷检测系统,从现场选取了多种织物样品进行了实验. 计算机配置为Intel CoreTMi5 -2410M CPU,2G 内存;处理软件为机器视觉软件Halcon11.0.在缺陷检测前,对相机进行了标定.
图8 所示是一种缺陷纹理方向为-45°的织物样品及其Blob 分析结果. 图8(a)所示是采用图1 所示的机器视觉系统获得的拼接图像;图8(b)所示是采用Otsu 算法自动寻找最佳分割阈值对图像进行阈值分割的结果;图8(c)是对阈值分割后的图像进行形态学处理和连通性分析的结果;图8(d)所示是在特征提取的基础上,对提取出的Blob 区域构造了最小外接矩形,计算出了缺陷的特征参数(单位为mm).
经过多次实验结果表明,采用Blob 分析法可以较准确地从织物图像中提取出缝隙缺陷特征,测量结果稳健可靠. 另外,从相机拍照到图像拼接、缺陷参数计算等的计算机处理时间为800 ms左右,方便快速,满足了玻璃纤维织物在线检测的实时性要求.
图8 织物样品缺陷检测实例Fig.8 Example of fabric defect detection
根据玻璃纤维织物的实际生产状况,设计了基于机器视觉的玻璃纤维织物缺陷检测系统,该系统采用Blob 算法能成功标记出织物中的缝隙缺陷,并得到缺陷的个数、缺陷的长度和宽度等信息.经过实验研究,所设计的缺陷检测系统和算法可以快速、准确地从织物图像中提取出缺陷特征,且测量结果稳健可靠,满足了玻璃纤维织物在线检测的实时性要求.
[1] ARIVAZHAGAN S,GANESAN L,BAMA S. Fault segmentation in fabric images using Gabor wavelet transform[J]. Machine Vision and Applications,2006,16(6):356 -363.
[2] 朱俊岭,汪军,张孝南,等. 基于AR 模型的机织物线状疵点研究[J]. 纺织学报,2012,33(8):50-54.
[3] 祝双武,郝重阳.基于纹理周期性分析的织物疵点检测方法[J]. 计算机工程与应用,2012,48(21):163 -166.
[4] 殷国亮,张瑞,郑欣,等.基于边缘检测和小波分析的布匹瑕疵检测方法[J]. 江南大学学报(自然科学版),2011,10(6):637 -641.
[5] 崔玲玲,卢朝阳,李静,等. 基于非下采样Contourlet域高斯混合模型的布匹瑕疵识别算法[J]. 吉林大学学报(工学版),2013,43(3):734 -739.
[6] 李鑫,许增朴,于德敏,等. 基于图像能量的布匹瑕疵检测方法[J]. 计算机测量与控制,2008,16(9):1243 -1245
[7] 沈晶,况晓静,张量.基于纹理增强分水岭的织物瑕疵检测新算法[J]. 合肥工业大学学报(自然科学版),2014,37(7):812 -817.