基于机器视觉的铝镍钴磁性材料外观缺陷检测的研究

虞佳佳,张 耀,何 勇

(1.浙江机电职业技术学院,浙江 杭州 310053;2.浙江大学 生物系统工程与食品科学学院,浙江 杭州 310058)

随着工业科技的发展,磁性材料以其优良的性能在信息化、电子化、机电一体化以及医学和国防等领域的应用越来越广泛[1]。笔者选取的铝镍钴磁棒类(LNG磁棒)主要用于石油化工、采矿、汽轮机、冶金、制药、食品、陶瓷、纺织、橡胶、塑料和机械等行业,这些行业对LNG磁棒尺寸和表面缺陷有较高的要求,品质检测要求极高。目前对磁性材料的检测主要有涡流法、漏磁法、微分磁导率检测模型法和视觉检测法等。涡流法适合于检测导体缺陷或近表面缺陷,不适于检测导体的内部缺陷;漏磁技术[2]是通过材料表面缺陷处形成的漏磁场大小检测缺陷大小,已被广泛应用于油气管道金属损失缺陷检测等领域,该项技术虽然没有高频信号干扰,但仍然存在如何提高检测缺陷的信噪比的问题;微分磁导率检测模型也可以实现无损检测,利用正面缺陷特征值实现正、反面缺陷的识别[3-4];随着工业和制造业的发展,近些年国内部分检测设备供应商针对磁性材料研发采用光学控制技术的设备,主要运用非接触式光学测量的方式完成检测,从而达到快速检测工件尺寸和外观缺陷的目的[5-7]。Li等[8]、Huang等[9]基于图像处理,采用阈值分割、纹理分析等方法检测磁瓦表面的裂缝、崩角、气泡和划痕等,准确率为92%～93.5%;Xie等[10-11]利用神经网络算法和机器视觉进行了磁瓦的缺陷检测;张晋等[12]也采用了DCGANs网络对磁瓦的缺损、裂纹、磨损和气孔等进行了检测,其准确率为88.76%～90.29%;Yang等[13-14]、胡浩等[15]也利用磁瓦图像的小波变换和卷积神经网络进行了缺陷检测的研究。结合机器视觉,以深度学习作为工件的缺陷检测算法是目前发展的方向,但深度学习法对样本类型和数量要求比较高[16],误检率高仍然是将其推广到产业应用时面临的一个主要问题。

基于机器视觉的快速检测在磁性材料检测中的应用虽然比较多,但是准确率相对还是比较低,因此仍需要继续研究以提高检测的准确率。目前对边缘崩角裂纹的检测研究较少,企业需求却很大。LNG磁棒端面外观检测系统提出了以LNG磁棒为对象,研究一种基于机器视觉的LNG磁棒端面缺陷合格性检测算法,提出了一套完整的基于机器视觉的LNG磁棒在线检测分拣系统方案,提高了磁棒的检测效率和准确性,降低了检测时间和成本。

1 LNG磁棒端面外观检测方案

1.1 LNG磁棒检测分拣评价标准

被测LNG磁棒长15.95 mm,端面半径为4.75 mm。根据企业对LNG磁棒端面外观的评价标准,端面外观检测内容包括表面缺角、崩角和污点等,其中缺角、崩角缺陷判定依据为单个缺陷尺寸大于0.1 mm×0.1 mm,污点判定缺陷依据为单个污点面积大于0.15 mm×0.15 mm,其中崩角和缺角主要在端面边缘出现,污点主要在端面内出现。

在磁棒端面外观检测过程中最大的难点是边缘的缺角和崩角,人工和视觉检测都比较容易误判,因此笔者重点进行了边缘缺角崩角算法的研究。

1.2 机器视觉硬件系统的选型

由于基于端面外观检测对精度无实质性要求,选择了MV-CA013-20GM海康面阵GigE相机与8 mm FA镜头,配合15 mm×15 mm环形光源(蓝色)进行端面外观检测,MV-CA013-20GM的分辨率为1 280×1 024,靶面为0.5 in,采用Global快门。检测整机效果图如图1所示。

图1 机器视觉检测系统Fig.1 Machine vision detection system

LNG磁棒端面外观检测总体设计示意图如图2所示。系统工控机主要包括i7-7500 CPU、4 G内存和支持4个千兆网口的通讯接口等,软件运行环境为Windows 7,算法基于Visual Studio 2010 C#编写,通过Halcon 11.0实现。以西门子PLC S7-1200为控制器,视觉系统通过控制器触发后,软件将算法检测结果通过Modbus TCP协议与控制器交互,实现分拣控制。

图2 LNG磁棒端面外观检测总体设计示意图Fig.2 The overall design diagram of LNG end surface appearance inspection

2 LNG磁棒端面外观检测算法的研究

LNG磁棒端面外观缺陷的检测样本如图3所示,表现了缺陷样本的缺角、崩角和污点等主要特征。

图3 LNG磁棒端面外观缺陷的检测样本图Fig.3 Samples of LNG end appearance defects

图3(b,d)的边缘缺陷在成像上有呈现,但是缺陷区域较小,很难检测,通过简单图像处理无法获取缺陷信息,因此笔者提出一种基于轮廓与拟合圆距离差的算法来检测边缘崩角和缺角信息,算法总体流程如图4所示。

图4 LNG磁棒端面外观检测算法流程Fig.4 Algorithm flow of LNG end appearance detection

2.1 阈值分割与连通区域的获取

为了更好地剔除背景信息,提取LNG磁棒端面有效信息,先对采集到的图像进行分割处理,图像分割算法包括阈值分割法、区域生长法、区域分裂合并法和分水岭算法等。阈值分割是一种经典的图像分割方法[17],基于图像的灰度特征来计算一个或多个灰度阈值,并将图像中每个像素的灰度值与阈值作比较,最后根据比较结果将像素分到合适的类别中。根据灰度直方图的波峰和波谷的位置参数选择一个合适的阈值,其阈值分割表达式为

Q={(x,y)∈D|Graymin≤f(x,y)≤Graymax}

(1)

式中:Q为在图像范围内的灰度值处于Graymin和Graymax之间的像素点;D为图像域范围;f(x,y)为图像中横坐标x、纵坐标y上的灰度值,根据图5所示的LNG磁棒端面的灰度直方图显示,区域范围为[20,80]。

图5 LNG磁棒端面的灰度直方图Fig.5 Gray histogram of LNG end appearance

对阈值分割后的图像作进一步处理,将因为缺角崩裂引起的单独区域剔除,选取更清晰的端面外观特性图。采用开闭运算的方式进行图像处理,开闭计算中关键的腐蚀和膨胀计算公式为

R⊕S={x,y|Sxy∩R≠∅}

(2)

RΘS={x,y|Sxy⊆R}

(3)

式中:R为目标对象;S为形态学结构。式(2)为用结构S去膨胀R,使目标检测范围变大;式(3)为用结构S去腐蚀R,使目标检测范围变小。图像形态学处理开运算即先腐蚀再膨胀,闭运算为先膨胀再腐蚀,因本系统检测对象为圆形,故采用结构S为圆形、半径为5个像素点的开运算处理。经过形态学处理后的分割图像如图6所示。

图6 形态学处理后的分割图像Fig.6 Image segmentation after morphological processing

2.2 基于轮廓与拟合圆距离差算法的应用

由于磁棒端面本身有尺寸公差范围,加上投影成像的影响,简单采用阈值面积会漏检端面的崩角和缺角信息,因此采用基于轮廓与拟合圆距离公差的方式检测边缘崩角、缺角信息。首先基于Canny算子获取工件的边缘信息,其图像处理原理是:通过高斯平滑后,建立Sobel算子,为原图像进行卷积计算,通过加权值计算获取灰度梯度值,其中的Sobel算子的卷积核即为其权值,利用Sobel水平算子(Sobelx)、垂直算子(Sobely)和输入图像卷积计算dx和dy,计算式为

dx=f(x,y)⊗Sobelx(x,y)

(4)

dy=f(x,y)⊗Sobely(x,y)

(5)

根据dx和dy计算梯度幅度和方向,计算式为

(6)

(7)

系统图片分辨率为1 280×1 024,视野为15 mm,因此单像素精度为0.014 6 dpi/mm,而产品检测缺陷检测精度要求为0.1 mm,因此选最小的3×3的卷积核参数即可满足系统要求,笔者采用的Sobel算子为

(8)

(9)

运用以上Sobel算子的卷积核参数运算,最后获取连通图,如图7(a)所示为通过Canny边缘检测后获得边缘线,并将其边缘点坐标信息保存为数组L。对边缘线L进行二次开运算,获取有效连续的边缘线并进行圆拟合,获得图7(b)所示的拟合圆边界图Circle。根据预设的距离阈值的像素,结合拟合圆轮廓叠加边缘缺陷信息,获得新的边缘曲线,计算图7(a)中的边缘点到图7(b)的最小距离获得图7(c)所示的边缘缺陷信息图,计算式为

D(x,y)=dist(Li,Circle)

(10)

图7 基于轮廓与拟合圆距离差检测边缘崩角、缺角Fig.7 Defect detection based on distance difference between contour and fitting circle

2.3 基于轮廓区域的Blob分析检测的应用

在提出基于轮廓与拟合圆距离差算法获取边缘缺陷的前提下,检测端面污点也是磁棒检测不可或缺的一部分,在笔者系统中,端面污点的检测采用了基于轮廓区域的Blob分析。Blob分析是对图像中相同像素的连通域进行分析,该连通域称为Blob。经二值化(Binary thresholding)处理后的图像中斑点即为Blob分析的对象,在Halcon中Blob分析通过如下函数实现:

1) threshold (rawimage,segmentimage,100,255)获取二值分割图segmentimage。

2) connection (segmentimage,blob_region)获取连通区域blob_region。

3) select_shape (blob_region,target_region,‘area’,‘and’,200)获取端面信息。

4) fill_up (target_region,target_region_fillup)获取无污点的端面信息target_region_fillup。

5) different (target_region,target_region_fillup,spot_target)初步获取污点端面信息spot_target。

6) 通过形态学开运算opening_circle (spot_target,spot_target_opening,10)去掉毛刺信息spot_target_opening。

7) select_shape (spot_target_opening,spots,‘area’,‘and’,30)获取最终的端面污点信息spots。

因此,通过Blob分析检测磁棒端面的污点信息,结合边缘崩角缺角信息,获得如图8所示端面缺陷的检测结果,其检测准确率和检测效率符合企业检测要求。

图8 端面缺陷的检测结果Fig.8 The results of end defects detection

3 实验与应用

3.1 实 验

在基于轮廓与拟合圆距离差算法检测边缘崩角和缺角信息算法中,为了设定合适的距离差阈值以提高系统的稳定性,笔者离线采集了110张样本来验证算法的有效性。其中30张为合格样品,20张仅带有边缘缺陷,10张仅带有污点缺陷,60张边缘缺陷和污点均存在。将距离差阈值分别设定为1,3,5,8,10个像素,单独对边缘检测准确率进行统计,结果如表1所示。对检测结果进行分析,可以看出:准确率与距离差阈值相关,当距离阈值过小时会将过多的非边缘缺陷样本误判成缺陷样本,而当距离差阈值设置过大时,会将部分边缘缺陷样本过滤掉,导致边缘缺陷检测的准确率下降。

表1 距离差阈值测试结果Table 1 The test results of distance difference threshold

由表1可以看出:阈值设置为5个像素和8个像素时,准确率均较高。在企业实际应用中,将合格样本认定为不合格为过杀,将不合格样本认定为合格视作漏杀。企业对品质检测“宁可错杀一千,不可放过一个”,对漏杀率指标的关注度最高,因此将距离差阈值设置为5个像素。

3.2 算法应用

通过离线采集的100张图像验证算法的有效性后,在i7-7500 CPU、内存4 G的工控机环境下运行算法,采用软触发模式,测试中保证单帧速率小于30。为了更好验证端面缺陷检测算法的效果,将2 800个磁棒进行自动分选,LNG磁棒分拣系统如图9所示。现场对照LNG磁棒检测分拣评价表判定,端面缺陷样本数为800个,合格产品为2 000个,通过分选系统获得的结果如表2所示,合格件判定准确率为96.4%,缺陷件判定准确率为98.75%,总体准确率达到97.07%,满足产业分拣要求。

图9 LNG磁棒分拣系统Fig.9 LNG defects detection system

表2 算法测试结果Table 2 The result of algorithm test

4 结 论

针对基于机器视觉的铝镍钴磁棒材料缺陷检测,创新性地提出了一种基于轮廓与拟合圆距离差作为评价标准的检测边缘崩角和缺角的提取算法。首先,通过Canny算法获取检测图像的轮廓;然后,基于轮廓最大连通曲线拟合端面圆,轮询计算轮廓点与拟合的端面圆距离,由此精确获取边缘崩角和缺角信息;最后,通过Blob分析法分析端面污点信息。实验和测试结果表明:系统可对产品的两端面外观缺陷进行筛选,实现对其表面缺角、崩角和污点等的检测,在所设计的铝镍钴磁性材料的分拣系统的应用中检测准确度大于97%,符合企业分拣需求。在图像采集过程中,采用环形光源采集凹坑裂纹信息比较清晰,但是该光源对反光强的污点的信息采集能力较弱,需要通过增加新的光源配置工位来提高图像信息的完整性。此外,算法对端面裂纹的敏感性不高,需要进一步更新算法,后续会加入神经卷积网络的深度学习方法来提高算法对端面外观缺陷的检测能力。