一种汽车刹车油管环形接头缺陷检测新方法*

□ 张泽文 □ 郑志军 □ 白永洁 □ 徐 值 □ 余卉卉 □ 张巨豪 □ 殷安民

1.宁波大学机械工程与力学学院 浙江宁波 315211 2.浙江省零件轧制成形技术研究重点实验室 浙江宁波 315211 3.宁波亚大自动化科技有限公司 浙江宁波 315143 4.宁波福士汽车部件有限公司 浙江宁波 315145

1 研究背景

汽车刹车系统常见的刹车失灵、刹车距离过长等故障,大多是由于刹车油管环形接头密封不良导致,因此,对刹车油管环形接头进行表面缺陷检测,是消除刹车油管漏油隐患,保证汽车行车安全的重要措施。环形接头由于表面存在高反光镀膜,在机器视觉采集时常常导致微小缺陷处图像欠曝光或过曝光,环形接头高反光、微缺陷的特性同时给检测提高了难度。

目前,已有较多学者提出了改进方法,对高反光零件进行缺陷检测。Pizzichemi等[1]提出一种利用数字对象唯一标识符信息对正电子发射断层显像探测器进行优化的方法,通过优化正电子发射断层显像模块的时序性能,提升对原始图像的动态分辨率。文献[2-3]提出一种不需要高动态范围相机的多曝光图像融合技术,通过计算不同曝光强度图像的权重因子矩阵,将一组图像融合为一张曝光合适的图片。这一方法实现了对高反光零件的图像采集,并且能有效抑制过曝光现象。文献[4-5]针对屏幕面板光线反射度高所导致的低对比度微小缺陷难以检出的问题,提出一种明暗场融合图像处理的微缺陷检测系统。试验证明,这一系统的视场宽度可达88.7 mm,分辨精度可达10 μm。文献[6-7]提出一种基于泽尼克矩阵改进的亚像素边缘提取零件缺陷检测算法,利用小波分解方法在频域上对图像信息进行预处理,增强相关目标信息。这一方法可以降低金属零件的高光噪声,实现对金属零件的高反光抑制。目前,针对高反光特性汽车刹车油管环形接头亚毫米级缺陷检测,研究仍比较少。

笔者针对汽车刹车油管环形接头所具有的微米级缺陷、高反光能力等特点,在图像融合的基础上,提出一种新型感兴趣区域融合差值法,先对零件进行感兴趣区域提取,基于叠加因子权重矩阵进行融合,再对图像进行差值运算,提高缺陷部分与正常部分的分离度,进而提升机器视觉识别系统对缺陷的检出率。

2 特征图像采集

汽车刹车油管环形接头如图1所示。刹车油管环形接头待检测区域是直径约为15 mm的圆环,肉眼可见的点状缺陷非常细微。对于此类微缺陷,若由人工进行检测,则检出率较低,缺陷位置较难确定,缺陷处容易被忽略。

▲图1 汽车刹车油管环形接头

图像采集系统如图2所示,相机的型号为MER-504-10GM-P,镜头的型号为XF-5MDT05X178,采用DHJ-COX2-85W型白色同轴光源,图像工作站使用M4800型,采用i7-4930MQ型处理器、K4100M型图像显示卡,具有4 GiByte显存、32 GiByte大容量内存。原始采集图像如图3所示。

▲图2 图像采集系统

▲图3 原始采集图像

3 多曝光图像感兴趣区域融合

前期图像处理主要分为感兴趣区域提取和基于叠加因子权重矩阵的多图像融合。其中,叠加因子矩阵由亮度因子矩阵、对比度因子矩阵加权相乘而得。

3.1 感兴趣区域提取

由于原始图片中存在汽车刹车油管环形接头多余部分的影响,因此首先需要进行目标检测区域的提取。提取时,采用坎尼算子计算图片中像素的强度梯度,使用findContours函数RETR_EXTERNAL检索模式进行父级轮廓寻找,使感兴趣区域中保留最外层多个相互独立的圆形轮廓。将所有检索到的轮廓置于纯黑掩模中进行开运算,便可得到感兴趣区域外层圆轮廓。感兴趣区域外轮廓提取流程如图4所示。

▲图4 感兴趣区域外轮廓提取流程▲图5 感兴趣区域提取流程▲图6 融合过程

由于感兴趣区域的内外轮廓都为圆形,因此可以使用findContours函数RETR_LIST检索模式进行图中全部轮廓的寻找,再利用内外圆轮廓直径的比值范围剔除过小的圆轮廓,进行纯黑填充,得到图像掩模,与原图像叠加后,即可得到所需的感兴趣区域。感兴趣区域提取流程如图5所示。

3.2 图像融合

传统多曝光图像融合中,常使用曝光亮度特征因子、图像细节特征因子、图像饱和度特征因子[8]。由于工业电荷耦合器件相机拍摄的图像为灰度图,因此饱和度不再作为图像融合的考虑因素。从亮度和对比度两方面入手,进行权重叠加,对多曝光图像进行融合。融合过程如图6所示。首先对所采集的原始图像进行掩模处理,将提取到的感兴趣区域掩模叠加于原始图层,得到感兴趣区域图Rk(i,j),k指多曝光图片集中第k张图片。然后针对感兴趣区域图Rk(i,j),根据亮度因子和对比度因子,计算叠加因子矩阵Wk(i,j),并进行归一化。最后针对感兴趣区域图Rk(i,j),采用叠加因子矩阵Wk(i,j)进行叠加融合,得到最终的融合图像F(i,j)。

在融合过程中,对提取到的感兴趣区域图Rk(i,j)像素灰度值进行归一化,得到灰度值Gk(i,j)。对灰度值Gk(i,j)进行阈值处理,保留中部合适的灰度值,再进行分配合理权重。采用标准正态分布,对灰度值Gk(i,j)分配权重。

亮度因子矩阵Ek(i,j)为:

Ek(i,j)=

(1)

(2)

式中:GT为灰度阈值,取0.1。σ为灰度值Gk(i,j)的标准差,取0.2;μ(i,j)为灰度值Gk(i,j)的数学期望。

当GT

在多曝光图像叠加融合过程的权重分配中引入对比度因子,可以有效抑制图像的高反光现象。主要采用拉普拉斯算子滤波的方式[9]。

对于一个二维图像f(x,y)而言,拉普拉斯滤波矩阵如图7所示。

▲图7 拉普拉斯滤波矩阵

对灰度值Gk(i,j)进行拉普拉斯变换,得到对比度增强部分Dk(i,j)。再对对比度增强部分Dk(i,j)取绝对值,进行高斯低通滤波,即可得到对比度因子矩阵Ck(i,j)。

将亮度因子矩阵Ek(i,j)与对比度因子矩阵Ck(i,j)相乘并归一化,得到叠加因子矩阵Wk(i,j),即:

wk(i,j)=Ek(i,j)Ck(i,j)

(3)

(4)

归一化是为了使多张曝光图中相同像素点的各项权值和为1。

最后得到融合图像F(i,j),为:

(5)

汽车刹车油管环形接头融合结果如图8所示。

▲图8 汽车刹车油管环形接头融合结果

4 差值运算表征缺陷

在对相机采集的原始图像进行前期感兴趣区域提取和多曝光图像叠加融合后,缺陷部分和正常表面的分离度不高。为了进一步提升前景和背景之间的分离度,引入拉普拉斯局部特征差值相减法来凸显缺陷区域,对汽车刹车油管环形接头缺陷处进行表征。

4.1 差值运算

对预处理的融合图像进行均值滤波,得到均值滤波图。对融合图像进行拉普拉斯锐化和二值分割,得到拉普拉斯二值图。然后对处理后的均值滤波图与拉普拉斯二值图做差,使缺陷部位更加清晰。差值步骤如图9所示。

▲图9 差值步骤

经过差值运算,融合图像对比度进一步提升,缺陷部分得到增强,差值前后图像细节对比如图10所示。

▲图10 差值前后图像细节对比

4.2 缺陷降噪

由于汽车刹车油管环形接头表面存在一些非缺陷噪声,拍摄过程中相机自身也会产生椒盐噪声等图像噪声痕迹,因此需要对差值运算后的图像进行降噪处理。采用中值滤波和形态学变换来进行降噪。图像中存在的噪声大多为颗粒状椒盐噪声,对比均值滤波、高斯滤波、中值滤波的降噪效果,中值滤波的降噪效果较为明显,可有效滤除图像中的椒盐噪声。不同方法降噪效果对比如图11所示。

▲图11 不同方法降噪效果对比

为进一步去除噪声中非椒盐类型噪声,对图像进行形态学变换,采用尺寸为7像素×7像素的结构元素对图像进行闭运算遍历,图像噪声得到较好抑制,汽车刹车油管环形接头表面缺陷部分得到保留。形态学处理前后对比如图12所示。

▲图12 形态学处理前后对比

5 试验验证

采用VS2019平台验证笔者方法的效果,并与文献[10]传统融合算法、文献[11]非锐化掩模算法进行对比。传统融合算法对多曝光图像进行加权融合,是最常用的高反光处理方案,具有较强的代表性。非锐化掩模算法也是图像处理中常用的算法之一,采用非锐化掩模图像增强法,对图像进行平滑处理做差后,得到图像高频细节,再将高频细节覆盖于原图像,完成对原始图像的高反光抑制。

5.1 图像处理效果对比

从汽车刹车油管环形接头的缺陷类型中挑选出三种具有代表性的点、线、面缺陷类型进行图像采集和处理,分别为锈蚀、划痕、凹坑。

锈蚀缺陷图像处理效果如图13所示。原始图像中极难分辨锈蚀区域与正常区域。采用文献[10]算法,锈蚀区域平均灰度过高,缺陷部分对比度不大。采用文献[11]算法,锈蚀区域得到增强,能与正常部分相互区分,但是正常区域中图像噪声也被放大。采用本文方法,锈蚀区域也得到有效增强,与正常部分区分度高,正常区域中图像噪声抑制明显。

▲图13 锈蚀缺陷图像处理效果

划痕缺陷图像处理效果如图14所示。原始图像左上方有明显灰度值较低的划痕,并且图像整体灰度值分布不均衡。采用文献[10]算法,整体灰度值分布均匀,但是划痕区域不明显。采用文献[11]算法,虽然整体灰度值与原始图像相比均衡化有所增强,划痕部分区分度明显,但是正常区域中出现点状图像噪声。采用本文方法,划痕区域区分度高,并且正常区域中图像噪声削弱明显。

▲图14 划痕缺陷图像处理效果

凹坑缺陷图像处理效果如图15所示。原始图像中可以看到明显黑色凹坑,左下角白色反光噪声明显。采用文献[10]算法,灰度值上升,缺陷轮廓模糊,目标区域噪声信号有所抑制。采用文献[11]算法,凹坑处缺陷轮廓明显,但是图像噪点较多。采用本文方法,凹坑缺陷处与周围对比明显,并且噪点得到抑制。

▲图15 凹坑缺陷图像处理效果

综上所述,通过本文方法进行增强的图像具有良好的视觉检出效果,图像融合机制可以有效避免汽车刹车油管环形接头高反光特性带来的图像灰度值不均衡问题,拉普拉斯锐化能够有效表征正常区域中的缺陷部分,同时中值滤波对非缺陷部分椒盐噪声抑制效果明显。

5.2 图像量化数据对比

对于图像处理结果,还需要进行客观上的有效性分析[12]。笔者图像处理目标是突出汽车刹车油管环形接头缺陷部分,并抑制正常部分噪声,灰度值均衡化。

对此,笔者从三个方面对不同方法处理结果进行衡量:信息熵、峰值信噪比、变异因数。

信息熵指标可用于衡量图像中像素位置的灰度信息与邻域内灰度分布的综合特征,因此信息熵可以量化图像信息,通过熵值的大小来表示图像信息的复杂程度[13]。信息熵值越大,包含的信息量越多,被保留的图像细节也就越多。信息熵IE为:

(6)

(7)

式中:PF(i,j)为灰度值相对图像的统计概率;I(i,j)为原始图像灰度值;M、N分别为图像的长和宽。

峰值信噪比指标可用于对图像处理前后的相似程度进行检测,衡量图像处理之后的失真程度和噪声大小[14]。通常峰值信噪比越大,表明处理后的细节保留程度越高,处理效果越好。峰值信噪比PSNR为:

(8)

(9)

式中:Imax(i,j)为图像最大灰度值;K(i,j)为处理后图像灰度值;MSE(I,K)为原始图像和处理后图像间的均方误差。

变异因数又称离散因数,是标准差与平均值之比,可以抵消不同图像的不同灰度均值对图像灰度值离散程度的影响[15]。变异因数越小,说明图像变异程度越低,图像处理质量越高。变异因数COV为:

(10)

(11)

三种方法不同缺陷汽车刹车油管环形接头图像处理后的信息熵对比见表1。

表1 信息熵对比

由表1数据可以看出,对于相机采集到的原始图像,三种方法都能够实现对图像细节部分的提升,但是由于文献[10]算法没有差值化步骤,因此总体来看文献[10]算法提升不明显。文献[11]算法和本文方法都具备差值化环节,对具备高反光环形特征的图像的细节部分提升较大,因此处理后信息熵值较大。本文方法还针对汽车刹车油管环形接头采用中值滤波降噪模块,因此块状缺陷区域的降噪效果较好,图像细节及有效信息的保留优于另外两种算法。

三种方法不同缺陷汽车刹车油管环形接头图像处理后的峰值信噪比对比见表2。

表2 峰值信噪比对比

由表2数据可以看出,本文方法图像处理后的峰值信噪比大于另外两种算法。由于本文方法在融合叠加基础上添加了差值运算和降噪模块,因此处理效果良好,尤其在凹坑缺陷处理中,缺陷轮廓增强明显。结合峰值信噪比的特性可知,本文方法对图像中的噪声信号抑制效果较好,对于缺陷部分的检出效果也得到提升。

三种方法不同缺陷汽车刹车油管环形接头图像处理后的变异因数对比见表3。

表3 变异因数对比

由表3数据可以看出,本文方法变异因数最小,处理效果最为理想。结合另外两种算法的原理分析,文献[10]算法没有差值化处理,对灰度值分布的优化效果较弱,文献[11]算法没有加权融合环节,无法抑制过高灰度值和提升过低灰度值。本文方法对于图像灰度值离散程度的抑制效果最好,灰度值分布较为均衡,图像处理效果优于另外两种算法。

6 结束语

针对汽车刹车油管环形接头的缺陷表征,提出一种基于多曝光融合叠加的差值处理算法,利用两种算子对采集到的图像进行感兴趣区域划分,对感兴趣区域计算不同图层的权重,进行加权融合叠加,差值处理叠加后的图像,并对汽车刹车油管环形接头特有的椒盐噪声采取中值滤波进行降噪,最终达到对图像噪声的有效抑制,缺陷区域及缺陷轮廓部分灰度值加强,增大缺陷与正常区域的对比度,提高机器视觉对缺陷的敏感度及检出率。结合试验对比,三种方法对不同缺陷的处理结果与处理方法的算法特性相吻合,本文方法图像处理后的信息熵值与峰值信噪比较大,变异因数较小,可较好地保留图像细节特征,有效抑制图像的噪声信号,均衡图像的灰度值分布,对汽车刹车油管环形接头图像具有良好的处理效果。