冲压件冲孔缺陷的检测与识别

田洪志 王东兴 林建钢 刘兆财 陈麒麟

摘  要： 针对冲压件冲孔缺陷检测和识别存在效率低、准确度不高、劳动强度大的缺点，提出一种基于机器视觉的冲孔缺陷检测与识别方法。首先，对图像进行固定阈值分割转换为二值图像，利用形态学处理的开闭运算对图像进行预处理去除噪声，通过计算每一个区域的圆形度识别冲孔的个数，检测零件是否合格;其次，对不合格冲压件图像根据最小外接圆的圆心进行平移变换，利用差异度和基于图像金字塔的粗精两次匹配进行循环旋转变换匹配，对差异图像通过形态学处理和最小外接矩形的宽长比特征参数进行缺陷识别。实验结果表明，该检测系统能够准确地检测冲压件的冲孔缺陷和识别冲压件的冲孔缺陷类型。

关键词： 冲压件; 缺陷检测; 缺陷识别; 固定阈值分割; 图像预处理; 噪声去除

中图分类号： TN911.73?34; TH166                  文献标识码： A                   文章编号： 1004?373X（2020）23?0035?04

Abstract： In allusion to the shortcomings of detection and recognition of punching defect on punching parts， such as low efficiency， low accuracy and high labor intensity， a method of punching defect detection and identification based on machine vision is proposed. The image is segmented by fixed threshold and converted into a binary image. The image is preprocessed to remove noise by using the opening and closing operation of the morphological processing. The number of punched holes is identified by calculating the circularity of each area to detect whether the parts are qualified， and then the translation transformation is executed for the image of the unqualified stampings according to the center of the minimum circumscribed circle. The cyclic rotation transformation matching is performed by diversity factor and the coarse?to?fine matching based on image pyramid， and defect recognition of difference image is conducted by morphological processing and width?to?length ratio feature parameters of minimum circumscribed rectangle. The experimental results show that the detection system can accurately detect the punching defects of the stamping parts and identify the types of punching defects of the stamping parts.

Keywords： punching part; defect detection; defect recognition; fixed threshold segmentation; image pre?processing; noise removal

0  引  言

随着生产企业对提高冲压件产品生产率的要求越来越高，冲压件的质量检测作为生产过程中重要的一环，需要达到速度快、精度高的要求。如今，大部分冲压件的缺陷检测还处在人工检测的阶段，特别地，小尺寸冲压件缺陷比较细微，人工目测检查存在效率低、准确性不高、实时性差、劳动强度大的缺点，实现冲压件缺陷检测的自动化迫在眉睫[1]。

机器视觉作为人眼的替代品能够从图像中提取信息，进行处理并加以理解，最终用于检测、测量和控制。而且机器视觉可以提高生产的柔性和自动化程度，具有速度快、效率高、精度高的优点，如今广泛应用于现代加工制造业[2]。

目前，国内外学者对机器视觉应用于冲压件缺陷检测进行了一系列的研究，比如文献[3]提出了一种基于双打光模板匹配的冲压件表面缺陷检测方法，采用边缘提取、旋转定位、填充、模板匹配及缺陷提取等方法进行处理;文献[4]提出一种基于多模板匹配的方式对工件快速定位;文献[5]采用水平集算法结合应用模型Chan?Vese提取零件模型，然后采用图像不变矩中的hu矩算法和面积匹配算法检验零件是否合格;文献[6]以零件形状模板进行匹配定位，通过增强图像边缘灰度值梯度突出边缘缺陷，结合单位方向向量迭代法与邻域灰度值方法分割零件边缘缺陷。上述研究都取得了一定的成果。

本文针对小尺寸冲压件的冲孔缺陷，利用圆形度的方法检测冲压件冲孔缺陷，并对不合格件根据其形状特点通过基于图像金字塔的最小外接圆和差异度的粗精两次模板匹配方法识别缺陷种类。首先，对小尺寸冲压件采集图像，转换为二值图像并进行形态学预处理;其次，计算每一个区域的圆形度与阈值作比较识别冲孔的个数，从而检测冲压件是否合格;最后，利用基于图像金字塔的最小外接圆和差异度的粗精两次模板匹配识别缺陷种类，采用此方式从低分辨率开始由粗到精、由上到下搜索，能够大大减少匹配的时间，具有检测速度快、准确度高的优点。

1  冲孔缺陷类型

在冲压件的加工过程中，由于冲孔模具的损坏、冲孔时坯料走样和外部环境的影响，主要会造成两种类型的冲孔缺陷：孔形漏打、孔形缺省。由于冲压件本身的尺寸比较小，因此两种类型的冲孔缺陷不易检测与识别。本文采用背向照明的图像采集方式[7]，采集的两种冲孔缺陷示意图如图1所示。

2  检测方法

检测算法流程如图2所示。首先，对采集到的冲压件图像进行预处理，包括阈值分割、形态学处理，为后续的缺陷检测和识别做准备;其次，通过计算各孔洞区域的圆形度进行冲孔缺陷检测;最后，通过基于最小外接圆和差异度进行循环模板匹配，对匹配后的差异图像利用最小外接矩形的宽长比特征参数来识别冲孔缺陷类型。

2.1  预处理

对于采集到的冲压件图像，首先需要进行一系列的预处理操作才能更好地进行缺陷检测和类型识别。预处理具体过程如下：首先对采集的冲压件灰度图像通过固定阈值分割转换为二值图像，提取出感兴趣区域;对二值图像进行开、闭运算的形态学处理，去除噪声。图像预处理结果如图3所示。

2.1.1  阈值分割

阈值分割法因其实现简单、计算量小、性能稳定的优点，在图像处理中被看作最简单的图像分割方式，是一种基于区域的图像分割技术[8]。本文通过背光拍摄的冲压件图像灰度值分布为两极化，背景与冲压件区域之间灰度值差别较大，如图3a）所示，故选用固定阈值分割的操作方法给定确定的阈值，将每个像素的灰度值与阈值相比，将图像的数据分成两部分，大于阈值的像素群和小于阈值的像素群。阈值分割后的二值化图像如图3b）所示。

2.1.2  形态学处理

阈值分割后的二值化图像存在噪声干扰，会影响后续的缺陷检测和识别，因此需要进行去噪处理。本文对二值化图像先进行开运算再进行闭运算，去除二值化图像中的噪声。

1） 对冲压件图像进行开运算（先腐蚀后膨胀），消除图像背景中的噪声;

2） 对冲压件图像进行闭运算（先膨胀后腐蚀），消除冲压件表面图像中的噪声[9]。

形态学处理后的二值化图像如图3c）所示。

2.2  缺陷检测

对冲压件图像预处理之后，利用圆形度的方法进行缺陷检测。圆形度作为图像处理中的重要概念，常用于特征的识别与提取，圆形度计算公式如式（1）所示：

[e=4πsc2]  （1）

式中：[s]为图形的面积;[c]为图形的周长[10]。当一个图形越接近于圆形，其圆形度的值[11]越接近于1。通过计算预处理后图像中各个区域的圆形度，与阈值比较得到冲孔的个数，根据其个数完成冲压件冲孔缺陷的检测。冲压件图像检测效果图如图4所示。

2.3  缺陷类型识别

对冲压件产品进行缺陷检测之后，通过模板匹配和最小外接矩形的宽长比特征参数识别缺陷类型，过程如下：首先，依据外轮廓的最小外接圆和差异度进行基于图像金字塔模板的仿射变换[12];其次，根据不同类型缺陷的最小外接矩形宽长比特征参数的不同，将其识别。

2.3.1  基于图像金字塔的粗精两次模板匹配

图像金字塔是简单有效的多分辨率图像处理结构，一个图像金字塔是分辨率逐个降低的图像集合。金字塔的最底层是高分辨率图像，最高层是低分辨率图像，在高层时图像虽然分辨率降低、尺寸减小，但仍然保留着部分特征，所以利用高层图像进行特征匹配能够减少运算量，大幅提高效率，使得图像金字塔在机器视觉中广泛应用。本文为提高匹配效率，结合冲压件的形状特征，使用基于差异度的图像金字塔进行加速。由两个步骤组成：将图像降采样到选定层，利用缩小后的待检测图像和模板进行粗匹配，得到粗匹配角度;对原始图像和模板在粗匹配角度[-1，1]的范围内进行精匹配，得到准确匹配角度。

冲压件产品的模板匹配具体过程如下：

1） 取模板图像和待检测图像的第3层图像[Q3]和[P3]，分割其外围轮廓，并寻找外围轮廓的最小外接圆，获得最小外接圆的圆心，依据[Q3]和[P3]外围轮廓最小外接圆的两点圆心对待检测图像进行平移变换，平移变换的效果图如图5b）所示。

2） 以平移变换后的[Q3]最小外接圆的圆心为旋转中心进行粗循环旋转变换。这里将粗匹配循环旋转变换中每次变换的角度设为1°，粗匹配范围为[0°，180°]，然后根据差异度求得最适合的粗匹配角度[k]。由于本文实验对象的外轮廓并非圆形，所以将模板图像和待检测图像的外轮廓异或差异图像面积与模板图像外轮廓面积比值作为差异度，将差异度最小时的旋转角度作为最终的粗匹配角度。差异度公式如式（2）所示：

[γ=AA1]   （2）

式中：[A]为模板图像和待检测图像的外轮廓异或图像面积;[A1]为模板图像外轮廓图像面积。

3） 取模板图像和待检测图像第0层图像[Q0]和[P0]，根据步驟2）得到的粗匹配角度进行精匹配，具体操作如下：以[Q0]最小外接圆的圆心为旋转中心进行精旋转变换，这里将精匹配循环旋转变换中每次变换的角度设为0.1°，精匹配范围为[[k-1，k+1]]，找出差异度最小的旋转角度[t]作为最终的精匹配角度。旋转变换的效果图如图5c）所示。

2.3.2  特征识别分类

通过基于最小外接圆圆心和旋转角度[t]的模板匹配之后，两种类型缺陷的匹配差异效果如图6所示。

对匹配后的差异效果图进行开、闭运算的形态学处理，去除干扰噪声，将孔洞差异突显，然后依据各区域最小外接矩形的宽长比进行缺陷类型的识别。由实验可知，孔形漏打缺陷相较于孔形缺省缺陷的宽长比更接近于1，设定阈值能够准确地将两种缺陷类型识别出来。

3  实验与结果

缺陷检测程序在Visual Studio 2017的环境下开发，用来控制系统的运行和检测结果的输出，结合OpenCV对冲压件图像进行处理。

将采集到的冲压件图像传输到计算机上进行处理，得到每个冲压件的检测结果。其中圆形度[e1>]0.86时，则认为该零件为合格件，否则认为是不合格件，并对不合格件进行缺陷类型识别，其中最小外接矩形的宽长比[e2>]0.97时缺陷为孔形漏打类型。取100个冲压件零件作为实验对象，通过实验，得到了实验样品的检测结果如表1所示，不合格件缺陷类型识别结果如表2所示。

由表1可知，对于合格冲压件检测的准确率为92%，对于不合格冲压件检测的准确率为98%。由表2可知，对于孔形漏打类型的不合格件识别准确率为100%，对于孔形缺省类型的不合格件识别准确率为96%。由此可知该系统检测过程稳定，能够保证较高的检测和识别准确率。

另外，在工业生产过程中，检测时间也是考察一个检测系统是否合格的指标，通过实验可知，对于合格产品的平均检测时间为0.031 s，对于不合格产品检测和识别的平均检测时间为0.252 s，能够满足工业生产的要求。

4  结  语

本文针对小尺寸冲压件的冲孔缺陷，提出了运用圆形度对小尺寸冲压件冲孔缺陷进行检测，并利用最小外接圆和差异度循环旋转的模板匹配对缺陷进行识别。首先，采集小尺寸冲压件图像，对灰度图像进行固定阈值分割，并将其转换为二值图像，利用形态学处理的开闭运算对图像进行预处理去除噪声，通过计算每一个轮廓区域的圆形度并与阈值比较，识别冲孔的个数，从而检测零件是否合格;其次，对不合格冲压件图像根据外轮廓的最小外接圆圆心进行平移变换，利用差异度和基于图像金字塔的粗精两次匹配进行循环旋转变换匹配，对匹配后的差异图像通过最小外接矩形的宽长比特征参数进行缺陷识别。能够准确地检测出不合格产品，并对不合格产品进行类型识别，具有检测效率高、准确性高的优点。

注：本文通讯作者为王东兴。

参考文献

[1] 汤勃，孔建益，伍世虔.机器视觉表面缺陷检测综述[J].中国图象图形学报，2017，22（12）：1640?1663.

[2] 尹仕斌，任永杰，刘涛，等.机器视觉技术在现代汽车制造中的应用综述[J].光学学报，2018，38（8）：11?22.

[3] 李松，周亚同，张忠伟，等.基于双打光模板匹配的冲压件表面缺陷检测[J].锻压技术，2018，43（11）：137?145.

[4] 陈广锋，管观洋，魏鑫.基于机器视觉的冲压件表面缺陷在线检测研究[J].激光与光电子进展，2018，55（1）：341?347.

[5] 陈海永，李泽楠，孙鹤旭，等.异形冲压件轮廓视觉检测系统设计[J].光学精密工程，2016，24（10）：229?236.

[6] 刘建春，林海森，黄勇杰，等.基于机器视觉的金属边缘细微缺陷检测方法的研究[J].制造技术与机床，2018（11）：148?151.

[7] 李永敬，朱萍玉，孙孝鹏，等.基于形状模板匹配的冲压件外形缺陷检测算法研究[J].广州大学学报（自然科学版），2017（5）：66?70.

[8] 陈海进，陈伟.一种X射线图像白点噪声去除算法[J].现代电子技术，2018，41（18）：96?98.

[9] 赵俊冉，王东兴，冷惠文，等.基于机器视觉的玻璃磨边缺陷检测[J].烟台大学学报（自然科学与工程版），2017，30（4）：298?304.

[10] 龚中良，杨张鹏，梁力，等.基于机器视觉的柑橘表面缺陷检测[J].江苏农业科学，2019，47（7）：236?239.

[11] 羅时光.基于机器视觉的玻璃瓶口缺陷检测方法[J].包装工程，2018，39（3）：183?187.

[12] 毛星云.OpenCV3编程入门[M].北京：电子工业出版社，2015.