基于机器视觉的钣金件缺陷在线检测算法

李 春，李 琳，邹焱飚，曾亮华

（1.北京理工大学 珠海学院机械与车辆学院，珠海 519088；2.华南理工大学 机械与汽车工程学院，广州 510640）

基于机器视觉的钣金件缺陷在线检测算法

李 春1，李 琳2，邹焱飚2，曾亮华1

（1.北京理工大学 珠海学院机械与车辆学院，珠海 519088；2.华南理工大学 机械与汽车工程学院，广州 510640）

结合图像处理技术，设计了钣金件缺陷在线检测系统，提出了一种基于机器视觉的钣金件缺陷在线检测算法。首先基于几何形状金字塔分层模板匹配算法检测出大部分有缺陷的钣金件，再创新性地结合图像窗口、阈值分割、区域连通、区域面积及长度计算等技术，开发了膨胀窗口区域算法，以此来筛选出满足形状匹配要求但实际为不合格的工件，从而实现了对缺陷钣金件的检测。实验结果表明，该算法响应速度快，正确率高，可达97.7%，满足了实际应用中对准确度和实时性的要求。

机器视觉；缺陷检测；模板匹配；图像处理

0　引言

钣金件一般是由薄板或带料经冲压、剪切、折弯、拼接、焊接等工艺完成，具有重量轻、强度高、易成型、成本低等优点，因此，广泛应用于汽车、电子电器、医疗机械、航空航天等领域。同时，由于钣金件的制造过程需要经过复杂的加工工艺，不免会造成钣金件的表面不平整、弯曲、翘边、尺寸不一等缺陷，因此，有必要对钣金件进行独立于生产的品质检测，筛选出不合格的钣金件，从而保证产品的质量和安全性。

目前，我国大部分的钣金件生产工厂还在使用游标卡尺、样板、三坐标测量仪等工具进行人工检测，这些传统的检测方法效率低、误差大且对检测人员的技术要求高，远远不能满足现代化智能制造产业的需求。为提高检测的效率和准确度，研究一种钣金件缺陷检测系统和检测方法，快速、可靠地实现钣金件的自动化检测已成为必然。

随着计算机技术的发展，国内外学者对钣金件缺陷自动化检测技术做了研究，主要采用三维重建技术，电子光束、激光雷达和机器视觉技术。三维重建技术，首先识别钣金件特征，然后对钣金件进行分类，可获得零件的制造误差[1,2]，但只能检测出某几种特定种类的缺陷。电子光束检测具有较好的精度，但其系统构造复杂，测量效率低[3]。激光雷达检测具有良好的定向性和抗干扰性，但其成本高，扫描成像时间长[4]。机器视觉检测由于其成像速度快，能较好的进行算法开发，广泛用于汽车仪表检测[5]、焊接过程质量控制[6]、钣金件轮廓的跟踪测量[7]等方面。

本文基于机器视觉技术，设计了钣金件缺陷检测系统，提出了一种钣金件缺陷在线检测算法。采用基于几何形状金字塔分层模板匹配算法，首先提取标准钣金件的几何特征，并分层，从而减少像素点，降低计算量，加快响应速度，然后，建立模板并进行训练，训练后，对新采集的钣金件进行匹配，当匹配度小于设置值时，则认为是不合格品，最后，创新性地结合膨胀窗口区域算法进一步对误判的钣金件进行检测，从而保证检测结果的正确率。

1　系统设计

钣金件缺陷检测系统的硬件部分主要包括视觉检测模块和控制执行模块。其中，控制模块主要由机器人及其控制器组成；视觉检测模块由摄像机、镜头、光源、图像采集卡组成，进行图像的采集、处理和传输。视觉检测模块与控制执行模块均是通过以太网与工业级计算机进行数据的传输和通讯，其中，通讯时间约为100ms。

2　钣金件缺陷检测关键算法的研究

2.1中值滤波

由于周围环境存在杂质、光照不均匀、工件表面不平整等因素的影响以及在图像生成和处理的过程中受到电磁的干扰，直接获取的钣金件图像存在大量的噪声，因此首先需要对图像进行平滑处理，滤去噪声。中值滤波是一种非线性平滑滤波方法，其在消除噪声的同时又可以较好的保留图像的细节特征，特别是对于随机噪声具有很好的去噪效果，且模糊程度较之于线性平滑滤波器更低[8]，因此，本文通过对钣金件图像的分析，采用中值滤波器进行降噪处理，能达到较好的效果，满足后续图像处理的要求。

2.2基于几何形状的金字塔分层匹配算法

本文采用的金字塔分层匹配算法，是在几何特征的基础上进行的。该算法首先检测工件图像的边缘，提取对象的几何轮廓特征，再采用金字塔分层思想，对几何特征进行分层[9]。该算法的分层搜索步骤可定义为：首先，根据匹配对象像素的大小，计算分层层数，层数应当保证金字塔最上层的图像的特征清晰可辨。然后，从金字塔的最上层开始进行完整的匹配，再逐级向下搜索。

为验证基于几何形状的金字塔分层匹配算法的效率和准确度，本文根据实验对象的尺寸和特征，调整获取图像的大小为640×480像素，并分别基于灰度值、相关性和本算法进行匹配，结果如图1所示，图1(a)、图1(b)、图1(c)分别为不同工件，其中，图1(c)中放入了与目标对象几何特征相类似的干扰工件，且光照强度有所改变，基于几何形状的金字塔分层匹配仍然能准确地搜索到模板图像，可见本算法具有较高的抗干扰性和鲁棒性。实验中，提取了目标图像的外轮廓，并对其进行分层，共为4层。从图中可以看到，每层的轮廓逐渐缩小，且清晰度也变差，但是仍保持了原始图像的主要特征，因此，分层匹配既可以有效的减少计算量又可以成功地搜索到目标对象。

图1　基于几何形状金字塔分层匹配结果

对20个不同钣金件进行重复性实验，分别记录其建立模板时间、模板匹配时间及相似度量值，并求均值，结果如表1所示。从表1可知，基于灰度值的模板匹配相似度量归一化系数只有0.72，可见其相关度低，在要求比较高的应用中，则可能造成正确目标被舍弃，从而产生去真错误。基于相关性的模板匹配虽然相似度量值较大，但是建立模板的时间过长，远远不能满足实际应用中对实时性的要求。而本算法响应时间短，总时间不到0.1s，且相似度量的归一化系数约为0.97。综上可知，与一般的模板匹配算法比较，本文研究的算法能够快速、准确地搜索到匹配对象，为进一步检测钣金件缺陷打下了基础。

表1　三种匹配算法比较

2.3膨胀窗口区域[10]

通过模板匹配可检测出大部分有缺陷的钣金件，但是仍然存在误判，尤其是对于几何形状和模板工件相似而尺寸略有差异的工件。因此，本文在基于几何形状金字塔分层匹配算法的基础上，研究了膨胀窗口区域算法，该算法的具体步骤如下：

对于模板钣金件：

1）获取模板钣金件图像的几何形状0，根据几何形状生成包容矩形R；

2）对窗口内包容矩形R进行阈值分割；

3）区域连通，单独计算每个连通区域的面积，并设定面积允许范围；

4）根据面积允许范围去除包容矩形R中的杂质或因窗口膨胀而进入的其他工件的边角；

5）计算包容矩形R内模板工件的面积A和长度L，并根据实际钣金件图像面积和长度的变化范围分别设定待检测钣金件面积和长度允许的波动范围±δA和±δL；

对于待检测钣金件：

1）基于几何形状金字塔分层匹配后，获得钣金件匹配中心点的坐标位置；

2）以匹配中心点为矩形中心，生成包容矩形R'；

3）与模板钣金件的步骤2）、3）、4）相同，阈值分割去除干扰对象；

4）计算包容矩形R'内钣金件的区域面积A'和长度L'；

5）判断区域面积A'和长度L'是否在允许范围±δA、±δL内，由此获得检测结果。

算法的具体流程如图2所示。

图2　检测方法流程

按照上述步骤对模板钣金件和待检测钣金件分别处理，结果如图3所示。其中图3(a)为对模板图像的操作，首先，根据模板图像的几何形状生成包容矩形窗口，然后对包容矩形进行阈值分割，区域连通后去除干扰对象，最后获得工件的几何轮廓。图3(b)为对待检测工件的操作，由第一张图像可知，待检测对象的视觉区域中共有三个钣金件，首先基于几何形状的金字塔分层匹配，分别获得每个工件的匹配的中心点坐标，根据中心点分别生成包容矩形窗口，并对每个包容矩形窗口单独处理，然后进行阈值分割。如图3(b)所示，第一个钣金件矩形区域内存在大量噪声点以及由于区域膨胀而误入的另外两个工件的边角，按照待检测工件中的步骤3）进行处理，去除窗口内的干扰对象，最后获得待检测工件的几何形状。

图3　图像处理结果

3　实验与数据分析

3.1实验平台介绍

钣金件缺陷检测系统的实验平台如图4所示，机器人与机器视觉构成手-眼系统，实现在线检测。其中，机器人本体为ABB-IRB120机器人。视觉系统中的摄像机为BASLER acA2500-14gm，单位像素为2.2um。镜头为M2514-MP2百万像素镜头，焦距为25mm。系统中采用环形光源，可有效地减少环境光对图像的干扰。系统软件是在Microsoft Visual Studio 2010语言环境下，采用HALCON程序包进行图像处理算法的开发和编译。

图4　实验平台

3.2实验结果

钣金件的检测结果如图5所示，其中，合格的钣金件用绿色字体“合格品”表示，有缺陷的用红色字体“不合格品”表示。图中蓝色矩形框为膨胀各个钣金件的区域面积和长度后生成的包容矩形窗口。由图可知，由于对包容矩形窗口进行了膨胀，当钣金件排列的位置比较紧凑时，容易错误地计算其他工件的部分面积。例如，在计算图5中下排左数第三个钣金件的区域面积时，包容矩形窗口囊括了左侧钣金件的右下角部分、右侧钣金件的左下角部分、上侧钣金件的底部和右上角钣金件的左下角部分。因此，本文在计算包容矩形窗口内的面积之前，首先连通了窗口中的区域，然后分别计算其连通区域的各个面积，再筛选出小面积区域并去除，只保留最大的连通区域，即为该包容矩形窗口内钣金件的区域面积。由此可见，结合模板匹配和膨胀窗口区域可以有效地实现钣金件缺陷在线检测。

图5　检测结果

3.3实验数据分析

为了验证该算法的准确度和稳定性，在光照强度不同的条件下，共对8组图像进行了检测实验。每组图像中钣金件的数量分别为1至8件，且每组图像中，分别取不同的钣金件进行4次实验，因此，共对128个钣金件进行了检测，实验结果如表2所示。

表2　18组钣金件检测结果

由表2可知，无论图像中识别的对象是一个还是多个，本算法都能准确的识别出有缺陷的钣金件。对检测结果求平均值，正确率可达97.7%。可知，本算法的准确度较高，且具有一定的稳定性。

4　结论

1）本文设计了钣金件缺陷在线检测系统，基于机器视觉构建机器人手-眼系统，实现了钣金件缺陷的在线实时检测功能。该系统稳定性好，可靠性高，且具有较好的适应性。

2）钣金件缺陷检测系统对图像处理的实时性和准确度的要求非常高，因此，本文首先对图像进行中值滤波去噪，使其具有一定的鲁棒性。然后基于几何形状金字塔分层匹配，大大地减少了计算量，提高了运算速度，较好地解决了具有复杂噪声的钣金件图像的特征提取和检测的实时性问题。

3）针对基于几何形状金字塔分层匹配误判的工件，创新性地结合图像窗口、阈值分割、区域连通、区域面积和长度计算等技术，开发了膨胀窗口区域检测算法，从而增加了本算法的准确度。通过对128个对象进行检测，正确率达97.7%，可知，基于机器视觉的钣金件缺陷在线检测算法具有较好的实际应用价值。

[1] 张永军,张祖勋,张剑清.基于序列图像的工业钣金件件三维重建与视觉检测[J].清华大学学报(自然科学版),2004,(04)：534-537.

[2] 张莹,王兆辉.面向钣金件零件可制造性的特征识别[J].山东大学学报(工学版),2006,02：4-7,21.

[3] S. M. Tam, K. C. Cheung. A New Approach for Machined Parts Inspection[J].The International Journal of Advanced Manufacturing Technology,2001,Vol.17(1)：54-60.

[4] 张川.飞机钣金件特征数字化检测预处理技术研究[D].南京航空航天大学,2014.

[5] 刘曙光,刘明远,何钺.基于机器视觉的汽车仪表板智能检测方法[J].机械科学与技术,1998,(02)：145-147.

[6] 王振民,张丽玲,薛家祥.基于视觉处理的焊缝质量检测与控制系统[J].焊接技术,2007,(03)：60-62,4.

[7] 张有权.基于机器视觉的钣金件件样板自动影像测量系统[D].南京航空航天大学,2007.

[8] 李婧,黄进.一种图像测量中的快速中值滤波算法[J].微计算机信息,2007,(21)：299-300,310.

[9] 李琳,李春,邹焱飚.基于机器视觉焊接轨迹搜索算法[J].焊接学报,2015,(06)：57-60,115-116.

[10] Carsten Steger, Markus Ulrich, ChristainWiedemann.机器视觉算法与应用[M].杨少荣,吴迪靖,段德山,等译.北京：清华大学出版社,2008.

A on-line defect inspection algorithm of sheet metal parts based on machine vision

LI Chun1, LI Lin2, ZOU Yan-biao2, ZENG Liang-hua1

TP278

A

1009-0134(2016)07-0056-04

2016-03-23

广东省机械工程及自动化专业综合改革试点项目（320006/021）

李春（1987 -），女，湖南衡阳人，硕士，研究方向为机器视觉与图像处理技术。