基于图像拼接的电连接器插针检测方法研究

张 宇,戴 娜,戈海龙,成 巍,李文龙,任 远

(1.齐鲁工业大学(山东省科学院),山东省科学院激光研究所,山东济南 250104;2.山东产研强远激光科技有限公司,山东聊城 252022)

0 引言

电连接器的作用是控制系统的电能传输和信号传送[1]。电连接器广泛应用于仪器仪表和航空航天领域,作为电能传输与信号传递的电气元件,它对整个系统稳定运行具有重要作用。

目前针对电连接器质量检测方式比较单一,大多数是通过人工使用放大镜或者直接目视的方式,判断电连接器插针是否出现倾斜、弯曲[2]。存在检测工作量大、检测精度无法得到保障、检测结果不具有可追溯性等问题。可以通过机器视觉算法解决电连接器插针的缺陷和完整测量等问题。

文献[3]实现了对几种圆形电连接器插针的检测,但是检测的最大尺寸为50 mm。文献[4]实现了插针特征点的提取,并与标准模板进行点集配准。而针对矩形电连接器,还未有学者进行研究,其主要特点是尺寸较长,根据国标规格,有的连接器长度达到140 mm,并且检测精度要求在0.1 mm之内。若要保证拍摄精度,则会受限于相机的视野,获得的单幅图像并不能涵盖整个电连接器表面的所有缺陷信息。为保证测量的完整性,必须进行图像拼接。

针对电连接器检测中存在的问题,本文采用2种型号的矩形连接器作为研究对象,针对Vision Pro算子库中PatMax算法的特点,引入Sobel边缘检测,实现了基于边缘特征提取点的图像拼接,实现了电连接器插针的无缝拼接。采用模板匹配的方式,定位到拼接后的插针,采用最小二乘法对插针进行拟合圆操作,实现插针的参数测量。该方法解决了矩形电连接器在视觉测量中视野限制导致的测量困难问题,在工业检测中应用图像拼接和测量方面有一定的实用价值。

1 测量系统构成及测量流程

1.1 测量系统构成

本文设计的电连接器插针检测系统如图1所示,主要由工业机器人、CCD工业相机、远心镜头、LED环形光源、检测平台和工控机组成。工业相机固定在工业机器人末端,通过控制机器人运动实现图像的采集,将待测电连接器放置在检测平台上,动态调节相机的高度使得拍摄的图像最清晰。工业相机采用cam-cic-10Mr相机,分辨率为3 858像素×2 764像素;镜头为XF-MH03X195远心镜头,光学畸变低于0.025%。将相机采集到的图像传输至工控机,基于Vision Pro算法库,进行图像拼接以及后续的测量。

图1 检测装置构成图

采用J29A-66ZK和J30J-100TJN两款电连接器作为实验对象,图2所示为所选的电连接器,J29A-66ZK款的长度为55 mm,由66个插针组成,J30J-100TJN款的长度为45 mm,由100个插针组成。

1.2 测量流程

检测流程如图3所示。根据电连接器的尺寸以及相机能够采集的视野大小,通过水平移动机器人,实现三帧待拼接图像的采集,然后进行重叠区域的定位,特征点的检测与提取,匹配完成后进行坐标变换,完成拼接,最后使用模板匹配和边缘拟合算法完成插针的检测。

(a)J29A-66ZK电连接器

(b)J30J-100TJN电连接器图2 电连接器插针

图3 系统检测流程

2 像素当量计算和图像预处理

2.1 像素当量计算

为了得到电连接器的实际测量尺寸,需要进行尺寸单位的换算,将像素坐标下的尺寸换算成实际尺寸[5]。本文采用高精度圆点阵列标定板完成像素当量的标定工作,标定板的精度达到1 μm,标定板圆心距为1.5 mm,圆点个数为9×9,圆点直径为0.75 mm。

采集标定板图像,使用Vision Pro算子库中的CogFindCircleTool工具,选择标定板中每一行的7个相邻圆点,提取出圆点的边缘,拟合得到圆点的中心点和直径的像素值。求其均值得到的最终像素当量K为0.005 612 mm/像素,计算公式为

(1)

式中：K为所求的像素当量;D为标定板相邻圆点间距设计值;N为标定板相邻圆点间距像素个数;n为选取相邻圆点间距个数。

2.2 待拼接图像预处理

工业机器人在运动过程中存在振动,图像传输也会造成图像信号的波动,会出现噪声信号。在图像拼接过程中,需要进行特征点的匹配,噪声信号会严重影响特征点的匹配问题,并且电连接器的插针特征比较多,噪声信号也会对后续针孔的检测造成影响。因此,需要对拼接前采集到的电连接器的图像进行滤波,去除噪声干扰。

通过对采集的图像进行实验和分析,产生的噪声干扰主要是分布在插针周边的灰度值较高的白色点,也就是椒盐噪声。常用的滤波方法主要分为：中值滤波、均值滤波、高斯滤波。采用中值滤波进行去噪,中值滤波的原理是将一幅图像中像素的中值进行计算,并用计算的中值替代区域中心像素点的灰度值,它的特点是能够较好消除椒盐噪声[6]。经过处理后的图像如图4所示。进行图像中值计算的过程为：将区域内的灰度值记为X1,X2,…,Xn,将这些灰度值按照从小到大的顺序进行排序,设排序顺序为：Xi1

(2)

(a)原始插针图像

(b)中值滤波后的插针

3 图像拼接

矩形电连接器物理尺寸较大,电连接器上的插针直径在0.6～0.8 mm之间,插针与插针的间距在1.80～1.95 mm之间。本文图像拼接部分用于解决电连接器检测需要高分辨率图像与电连接器物理尺寸较大之间的矛盾,通过图像拼接的方式得到具有高分辨率的完整电连接器图像[7]。图像拼接是将2张具有重叠部分的图像进行拼接而成。本次的图像拼接算法设计主要包括特征点检测、特征点匹配、拼接坐标设置、图像融合。

3.1 图像重叠区域的选择方法

在图像拼接过程中,并非图像上所有的点都要参与匹配,比如两幅相邻待拼接图像的非重叠区域,一般都是重叠图像的无效信息点,在寻找特征点过程中,如果加上这一部分无效点,不仅增加计算量,影响软件的运算速度,还会造成干扰,导致匹配精度下降,所以找到图像的近似重叠区域对拼接效果意义重大。

根据电连接器的几何特征和相机的视野关系,3个拍摄机位的电连接器位置及近似重叠区域的简化示意图如图5所示。从右往左依次是拍摄位机位1～机位3,采集到的3张图片,其中虚线部分是相机拍摄的视野,设其尺寸为L×W,阴影加深部分是重叠区域,长度设为a,电连接器长度为A[8]。其中拍摄机位2中,有2个重叠区域。点x,y表示重叠区域的角点位置对应图像的实际坐标。

(a)拍摄机位3 (b)拍摄机位2 (c)拍摄机位1图5 图像近似重叠区域示意图

设图像区域的右上角坐标为(0,0),左下角坐标为(L,W),由图5中的位置关系可得拍摄机位1中x1点和拍摄机位2中x2点的坐标分别为：

(3)

(4)

拍摄机位1中y1点和拍摄机位2中y2点的坐标分别为：

(5)

(6)

通过Vision Pro算子库中PMAlign工具,将求得的坐标值和计算的重叠区域尺寸参数进行设置,实现重叠区域的区域选择。

3.2 基于PatMax算法的特征点识别与匹配实现

使用Vision Pro算法库中的PMAlign工具对重叠图像区域进行特征点提取。PMAlign工具包含PatMax和PatQuick 2种算子,PatMax具有精确度高,对细微细节内容识别更精确的特点,因此选用PatMax算子作为提取工具。其原理是基于图案匹配技术,首先对图片中的特定区域进行训练,提取出特征点,通过几何特征信息和特征之间的空间位置关系在采集的电连接器图片中搜索并匹配到相似的区域,判断是否为重叠区域[9]。

图6 图像特征点识别与匹配流程图

基于PatMax算法的特征点识别与匹配流程如图6所示。基于图6流程,对采集的电连接器图像进行重叠区域的训练,选择好重叠区域后,通过PatMax算法,获取区域的边缘特征,图7(a)和图7(b)分别为训练的插针重叠区域和训练完成后在第2张插针图片中找到的重叠区域。

(a)插针区域特征提取

(b)插针重叠匹配

3.3 图像融合

特征点识别与匹配后,对相邻位置的图像重叠区域进行融合,实现无缝拼接,本文的图像融合,采用Vision Pro算法库中的CogImageStitch类,实现3张图像的无缝拼接。

如图8所示,拼接的第1步是要指定拼接后的图像尺寸,为了留有部分余量,设置图像大小StitchedImg如式(7)和式(8)所示。

StitchedImg(W)=Img1.Width+500

(7)

StitchedImg(H)=Img1.Height×3

(8)

式中：Img1.Width为第1张图像的宽度;Img1.Height为第1张图像的高度。

图8 拼接算法流程图

然后设置坐标原点,这里设置的坐标原点是(10,10),CogFixtureTool为定位工具,对3张带拼接图像分别使用1个定位工具,完成拼接的图像如图9所示。

图9 拼接后电连接器针

3.4 引入Sobel微分算子的图像拼接

通过以上方法完成图像的拼接,但是通过放大拼接处,可以观察到存在重影部分,如图10框内所示。

图10 拼接后重影图

说明特征点识别和匹配过程中出现了识别不准确的问题。针对此类问题,研究PatMax算法的特点得出结论,由于PatMax算法是基于图像边缘的匹配,原始图像虽然已经通过中值滤波操作滤除一部分无效信息,但是还无法满足无缝拼接过程中特征提取的要求。因此,引入Sobel微分算子,通过Sobel微分算子进行边缘提取,获取感兴趣的边缘图像后,再使用PatMax算法。

Sobel边缘检测算法具有原理简单、边缘平滑和抗噪声的特点,是一种常用的一阶边缘检测算法。传统的Sobel算子有0°和90°2个方向的卷积模板,水平方向梯度Tx与垂直方向梯度Ty计算公式如式(10)、式(11)所示[10],其中Z为3×3的窗口像素矩阵,(x,y)为中心像素。

(9)

(10)

(11)

得到的水平方向梯度Tx与垂直方向梯度Ty的幅值和方向角为：

(12)

θ=tan-1(Gy/Gx)

(13)

式中：T为局部边缘强度,即梯度幅值;θ为梯度方向角。

由梯度幅值T与设定的阈值对比后进行二值化处理,梯度幅值T大于等于阈值,则判断为边缘点,给予灰度值为 0,否则为255。图11为采用Sobel边缘检测得到的图像。可以看出,进行Sobel边缘提取后再进行特征点识别,相比于图7,得到了更多边缘信息,匹配更加准确。

将电连接器插针图像经过Sobel边缘提取,然后进行特征点识别、特征点匹配、图像融合,拼接的图像如图12所示。拼接完成后的插针不存在阴影部分,拼接效果得到了提升。

图12 引入Sobel改进的拼接图

4 参数测量

为了进一步验证拼接图像的准确性,进行实验验证,通过Vision Pro算法库,测量电连接器的长度。对拼接后完整的电连接器插针进行定位,测量插针间距,判断插针是否有缺失。

4.1 电连接器直径测量

通过图12可以看出,真实电连接器的2个边缘分别有一个圆孔,通过测量2个圆孔之间的距离,判断拼接的精度能否达到测量精度要求。

通过Vision Pro中的拟合圆算子实现两边的圆孔拟合,设置的搜索卡尺数量为17,对比度阈值为5。图13为拟合后的效果图。

图13 圆孔拟合图

将两边的圆孔拟合后,通过式(14)计算出两圆孔之间的距离AB。

(14)

式中(x1,y1),(x2,y2)分别为两圆心坐标。

4.2 电连接器插针检测

为了实现电连接器插针的检测,设计的检测算法如图14所示。

图14 插针检测算法流程图

首先对拼接完成的图像进行图像分割,对每一列插针分别进行定位,使用Vision Pro算子库的PMA定位工具,对插针进行模板训练,再进行匹配。如图15(a)所示,获得其边缘信息作为匹配依据,匹配成功后如图15(b)所示。

图15 插针匹配示意图

插针定位完成后,生成插针定位参数表,如图16所示,参数表包含每个插针的坐标信息。但是其坐标作为圆孔中心的坐标点并不准确,采用找圆工具,将定位中心点作为找圆工具的中心坐标,对插针进行拟合圆操作,拟合圆后产生的圆点坐标才是插针的中心坐标[11]。

图16 插针定位参数生成图

通过冒泡排序,对插针的坐标从小到大进行排序,然后依次遍历出当前坐标与相邻坐标的差值,计算出相邻插针的距离。将距离值与圆拟合图形添加到图形上进行显示。图17为部分插针间距数值。

图17 部分插针拟合与间距图

通过Results.Count参数与myDistances[i]参数,判断插针的质量,第1个参数是统计查找到的插针个数,若插针个数小于66,表示插针缺失;第2个参数中的i代表遍历的第i个插针,判断i-1个插针的间距,通过这个数值判断是否插针出现偏斜。

5 测量实验结果分析

为了验证系统的稳定性,对上面提到的2种电连接器,利用本文的检测方法,分别进行图像采集、预处理、图像拼接、参数测量,得到检测值。通过精度为0.000 1 mm影像测量仪对2个样件进行相应参数测量,作为实际参考值,与本系统测量值进行对比。

如表1所示,对两款电连接器进行7次重复性尺寸测量,判断其重复性误差,与实际测量值做对比。零件1的平均误差为0.098 mm,零件2的平均误差为0.067 mm。2个零件的拼接精度在0.1 mm以内,符合工业生产的要求。

表1 拼接测量值与实际值重复性测量比 mm

如表2所示,对5个电连接器插针进行插针识别,通过实验数据可以看出,插针的识别率为100%。

表2 插针识别个数对比

针对两款电连接器,随机选取10组间距数据,将拼接值与实际值进行对比(见表3),计算出零件1最大偏差为0.024 mm,零件2最大偏差为0.019 mm,可以看出,拼接后对电连接器的参数测量误差在0.02 mm以内,可以满足精度测量要求。

表3 插针间距测量值与实际值比较 mm

6 结束语

本文通过图像预处理、像素当量计算、图像拼接算法得到高精度的电连接器插针完整图像,然后进行插针定位与识别,插针间距的测量。最后对以上数据结合实际测量数据进行比较。实验表明：该方法解决了大尺寸矩形电连接器在测量过程中,精度要求较高与实际物理尺寸较大之间的矛盾,可准确实现电连接器插针数据的提取与测量,进而验证了本文方法和技术的可行性。