基于计算机视觉的航天电连接器插针质量检测技术研究

袁鹏哲 余紫扬 张 楠 刘 璞 张烈山

基于计算机视觉的航天电连接器插针质量检测技术研究

袁鹏哲1余紫扬1张 楠2刘 璞1张烈山1

（1.浙江理工大学，杭州 310018；2.首都航天机械有限公司，北京 100076）

提出了一种基于计算机视觉的连接器插针质量检测方法。该方法利用高分辨率工业相机和成像系统对被测电连接器插针进行摄像，经图像预处理、插针特征点提取、坐标点配准和模板比对等处理后，根据比对结果对插针进行合格性判定。搭建了一套影像测量系统,经实验验证，结果表明该方法基本实现了对航天连接器插针的自动化检测，合格性判定成功超过98.67%，基本满足了应用要求。

电连接器；计算机视觉；坐标配准；模板比对

1 引言

随着计算机技术的发展，航天制造业作为我国重要战略性产业，面临转型升级[1]。各类航天飞行器内部包含各种传感器模块或者具有特定功能电路模块[2，3]。模块之间常采用电连接器交互数据或传输能量。为保证航天传感器模块信号连接或能量传输的可靠性，使用前须检测航天电连接器的插针[4]。计算机视觉技术作为目前检测领域最有效的方法之一，利用模拟人眼视觉识别效果，获取并处理信息[5，6]。相较于人眼，具有更高的准确率与更快的检测速度，减少人力物力的投入，提高生产效率，促使生产线全自动化[7～11]。

视觉检测技术在航空航天制造领域也发挥着越来越重要的作用[12，13]，李晓庆等人[14]利用机器视觉对现有运载火箭增压气瓶气密性实现自动检测；邢雪亮等人[15]提出基于机器视觉的航空铆钉尺寸高精度与智能化的检测方法；毕超等人[16]针对飞机蒙皮上钻孔点位处的法矢检测提出了结构光视觉检测系统；南京电子技术研究所通过分析电连接器三维装配设计的流程及特点，提出了对电连接器三维快速装配工具的应用技术[17]。提出了一种基于计算机视觉技术检测方法，通过插针坐标提取、模板比对，实现航天航空插头接口处插针的自动化缺陷检测识别。

2 插针检测原理

工业现场电连接器插针自动检测系统如图1所示。插头平放传送带上由PLC控制传送节拍，达到检测工位后，由工业成像系统采集电连接器的插针接口影像。

图1 航天电连接器插针自动检测系统示意图

该系统利用工业机械臂调整工业相机的拍摄位置和角度，获取被测产品上的电连接器图像信息，并传输至计算机。计算机获得被测插头图像后，从中提取出所需的几何特征。根据数学模型，将特征点点集的坐标归一化。最后，与标准模板点集配准与比较，判断是否存在异常点，检测被测插头缺陷。

2.1 成像系统模型

高精度相机获取待测件图像，其中相机模型是光学成像几何关系的简化。薄透镜物像公式高斯形式为：

2.2 图像矫正

在透镜的实际制作和安装过程中存在误差，在成像时会产生径向和切向畸变，在坐标转换前要矫正。径向畸变可以通过泰勒级数展开校正：

式中：(,)——矫正后的坐标；(,) ——矫正前的坐标；——与光学中心的距离；1,2,3——径向畸变系数。切向畸变可以通过泰勒级数展开校正：

式中：1，2——切向畸变系数。综上所述，成像系统总共需要得到5个畸变参数。通过OpenCV函数库中张正友标定法[18]标定成像系统所拍摄的标准棋盘格图像，得到畸变系数，根据式（2）和式（3）实现检测图像的畸变校正。

3 检测算法设计

获得检测影像后，通过OpenCV函数库处理图像得到所需特征点信息。对所提取的插针特征点与标准坐标模板进行点集配准，分析两者坐标位置即可检测插针缺陷。质量检测算法流程如图2所示。

图2 检测算法总体流程图

3.1 图像预处理

为使图像特征更加突出，便于后续处理。预处理过程包括滤波、二值化、膨胀腐蚀等。为减少电连接器插口图像噪点需采用高斯滤波算法预处理。通常采用的是二维高斯滤波，滤波函数为：

为便于电连接器插针位置的准确提取，需要设置一定的阈值对图像二值化处理，将图像黑白化。采用Ostu算法[19]（大津法）分割自适应阈值，根据遍历所有分割阈值对应的图像类间方差，以最大类间方差所对应的阈值作为分割阈值。其计算公式如下：

式中：0——前景点所占比例；0——前景灰度均值；1——背景灰度均值。

腐蚀膨胀处理便于后期图像特征目标轮廓提取。经过处理后的图片会有一个平滑的边界，使边缘轮廓提取更为准确。图3所示为某型10针电连接器插针的检测图像原图与预处理后的图像。

3.2 ROI分割

图4 ROI分割结果

利用OpenCV库中的Findcontours()函数提取出插头接口的外轮廓像素，建立ROI掩膜。将掩膜作用于二值化后的图像，完成ROI分割。图4所示为前述10针电连接插口检测图像ROI分割后效果，准确滤除了所有的背景，仅保留接口区域，减少了运算量。

3.3 特征点提取

在光源的照射下，插针中心处会形成圆形的光斑，提取图像中圆形光斑的圆心作为插针的位置，得到插针的位置分布。使用霍夫圆转换[20]对ROI区域进行圆的提取。已知圆的一般参数方程为：

化简后得：

式中，(,)为图像平面上的圆心坐标，为半径。在图像平面上的圆对应其参数空间中的点(,,)。在图像平面上的点相对应于其参数空间中的三维圆锥面。如图5所示，其中，三元组(i,i,)代表了每一个可能的圆，可定位圆。在图像中，每一个像素点(i,i)可能在一个或者多个圆上。这样的圆必须过点(i,i)，且满足式（7）。

图5 标准霍夫变换原理

像素点集合{(i,i)}在参数空间中对应的圆锥面会构成圆锥簇。若集合中的所有点都位于同一圆周上，则其构成的圆锥簇就会相交于参数空间中的一点(0,0,0)，而圆锥簇交点对应的是要检测的圆在图像平面上的圆心和半径。

基于霍夫圆变换对插针中心点查找工作过程如下：

图6 圆心查找示意图

a.首先对图像应用Canny边缘检测提取边缘轮廓线；b.使用Sobel算子计算所有边缘轮廓线上各个像素点的梯度；c.遍历边缘轮廓线上所有点，沿着轮廓线上各点的梯度方向画线，如图6所示，再统计并排序轮廓线中每个点上过线数量，根据设定的阈值范围即可找到所有可能的圆心；d.计算边缘轮廓线上所有像素点距离圆心的距离，从小到大排序，选取合适的半径；e.如果边缘轮廓线上有足够数量的点组合成一个圆并且其圆心与之前选中圆心的距离足够大，则保留这个圆心。

根据各个圆心之间的最小距离、圆的最大半径、圆的最小半径等参数，约束霍夫圆提取的过程，实现插针位置精确提取。如图7所示，插针位置提取算法的实际效果可以看出，特征点（插针顶部亮斑）提取算法准确地提取出了所有插针的位置。

图7 插针位置提取效果

3.4 点集配准与插针坐标偏差计算

图8 模板匹配效果示意图

提取到待测电连接器各个插针位置后，与标准模板比对可判断是否存在缺陷。由于拍摄角度不同，被测插头的插针分布与模板并不是完全对应的，如图8a所示。偏差判别之前需要配准点集，使检测图像坐标系与模板坐标系相匹配。点集的配准分三个步骤：

a. 旋转中心归一化：首先确定被测点集的旋转中心。由于插针一般为同心圆排布，因此使用最小二乘法对被测点集进行圆的拟合，并以此为旋转中心。根据旋转中心，归一化处理被测点集，将旋转中心移动至原点，便于后续处理。

b. 旋转角度迭代求解：归一化后的被测点集与标准点集存在旋转差异，需要计算出两组点集之间的旋转角度。被测点集(i,i)与标准点集(i,i)之间的匹配代价定义为：

被测点集绕旋转中心（原点）旋转的计算公式为：

式中，(,)为原始坐标，(,)为新坐标，为绕原点逆时针旋转的角度。

通过改变旋转角度，匹配代价迭代运算，以最小匹配代价对应的旋转角度作为最终计算结果。为了减小运算量，在计算旋转角度时采用变步长搜索。首先，以步长step为10°，在[0°, 360°] 区间内迭代运算，取最小匹配代价对应的旋转角度；下一步以步长1°，在[-step,+step] 区间内迭代运算，以此类推，当步长小于0.01°时结束迭代运算，并输出最终旋转角度。

c. 点集旋转；根据旋转中心与旋转角度，运算被测插针点集并与标准点集配准。将被测插针坐标点集与标准模板上的插针坐标比对，如图8所示。以配准后的两组点集对应点之间平均距离的两倍作为判断阈值，可实现插针的合格性分类，超出阈值的插针即为不合格插针。

4 电连接器插针检测实验

为验证上述计算机视觉方法检测航天电连接器插针缺陷的有效性，搭建了一套模拟工业生产应用的影像测量系统，主要由成像系统、机械臂、传送带以及上位机构成。其成像系统主要参数指标如表1所示。

表1 成像系统主要参数描述

以GX16-10P型电连接器为例简述实验过程，GX16-10P型电连接器插口标准模板尺寸如图9所示。

图9 标准模板

图10 原始图像

为验证所述电连接器插针质量检测方法的有效性，将经过掰歪的GX16-10P型电连接器作为检测对象，利用安装在机械臂末端的成像系统拍摄连接器接口检测图像，原始检测图像如图10所示，可见该连接器右上方插针向外歪斜。

原始图像预处理后，提取插针坐标并配准点集，与标准模板比较，检测各个插针是否存在缺陷，有缺陷的插针圈出，实现输出图像可视化。配准和检测结果如图11所示，图11a为点集配准后的效果图，图11b中圈出的插针带有缺陷。图像处理过程耗时0.5s，能够满足要求。

将所提取的插针光斑特征点与标准模板坐标比对，成功判别了被测电连接器的缺陷。所述方法可判断并找出插针缺陷。

表2 不同型号电连接器插针质量检测结果

利用该系统对不同型号、不同质量的航天电连接器插针重复检测，统计检测算法的准确率，验证所述方法的准确性。分别对合格、不合格的电连接器进行不少于150次的检测试验，结果见表2。从表中的数据可以看出，本方法对于不合格产品没有发生误检。

5 结束语

针对航天电连接器插针质量自动化检测问题，提出了一种基于计算机视觉的检测方法。该方法利用影像检测技术对航天电连接器插头接口内的插针缺陷进行无人工干预的自主检测判断。通过对插头接口的图像预处理、轮廓检测分割、特征点提取、点集配准和模板比对分析，对插头接口内的插针缺陷进行检测判断并找出带有缺陷的插针。经过试验调试该方法判断插针缺陷所需时间均在0.8s以内，满足工业流水线上的插针检测需求。解决了目前工业上对航天航空插头接口处插针缺陷自动化检测判断的需求问题。相比于传统工业上装配人员的人眼观察判断，在检测效率上有了很大提升，节省了人工成本。

1 Li Yun. Empirical Analysis of Technical Efficiency of Chinese Aerospace Manufacturing[J]. ModernEconomy, 2020, 11(4)：807～816

2 陈济桁. 航空航天制造业对自动化在线检测技术需求迫切[J]. 航空维修与工程，2019(10)：20～21

3 向恒. 浅析智能制造在航空航天制造业的应用[J]. 智能制造，2018(6)：40～42

4 汪嘉杰. 面向装配引导的航天电连接器视觉分类识别方法研究[D]. 上海：上海交通大学，2018

5 刘重阳. 基于计算机视觉的透明材料缺陷检测系统研究[D]. 哈尔滨：哈尔滨理工大学，2020

6 李潍楚. 基于计算机视觉的表面缺陷检测方法探究[J]. 中国新通信，2020， 22(21)：121～123

7 杨俊叶，刘佳，王丽. 计算机视觉技术在工业领域中的应用[J]. 科技创新导报，2020，17(1)：108～109

8 杨俊叶，刘佳，王丽. 计算机视觉技术在工业领域中的应用[J]. 科技创新导报，2020，17(1)：108～109

9 江浩. 计算机视觉技术在自动化中的应用探析[J]. 科技创新与应用，2020(14)：179～180

10 段利容. 基于计算机视觉的检测方法与应用[J]. 科技资讯，2019，17(7)：7～8

11 Ren S, He K, Girshick R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[C]. International Conference on Neural Information Processing Systems. MIT Press, 2015:91～99

12 韩朝君. 基于深度学习的计算机视觉物体关系检测[D]. 成都：电子科技大学，2020

13 黄新，童宣科. 基于OpenCV的航空插头内焊杯坐标定位[J]. 仪器仪表用户，2018，25(4)：49～52，61

14 李晓庆，成群林，杨波，等. 基于机器人视觉的复合气瓶气密自动检测系统[J]. 航天制造技术，2016(2)：27～29

15 邢雪亮，甘文波，蒋朝根. 基于机器视觉的航空铆钉尺寸检测技术[J]. 计量学报，2020，41(5)：518～523

16 毕超，郝雪. 基于结构光视觉的钻孔点位法矢检测技术研究[J]. 航天制造技术，2020(4)：1～6

17 赵希芳. 电连接器三维快速装配研究[J]. 电子机械工程，2013，29(5)： 41～43

18 李莉. OpenCV耦合改进张正友算法的相机标定算法[J]. 轻工机械，2015，33(4)：60～63，68

19 李宏，张冬生，林义刚，等. 基于Otsu理论的灰度图像分割算法研究和改进[J]. 科学技术与工程，2010，10(22)：5437～5440

20 杨春岩. 一种基于霍夫变换的圆检测方法[J]. 白城师范学院学报，2016， 30(2)：65～68

Research on Quality Inspection Technology of Aerospace Electrical Connector Pin Based on Computer Vision

Yuan Pengzhe1Yu Ziyang1Zhang Nan2Liu Pu1Zhang Lieshan1

(1. Zhejiang Sci-Tech University, Hangzhou 310018；2. Capital Aerospace Machinery Co., Ltd., Beijing 100076)

This paper proposes a computer vision-based method to detect connector pin. This method uses a high-resolution industrial camera and imaging system to take a picture of the tested electrical connector as test sample. After image preprocessing, pin feature point extraction, coordinate point registration and template comparison, etc., test sample would be compared with template in order to realize qualification judgment. A set of image measurement system was built to verify the method. The results show that the method can basically realize the automatic detection of aerospace connector pins, and the eligibility judgment successfully exceeds 98.67%, which basically meets the application requirements.

electrical connector；computer vision；coordinate registration；the template matching

TP278；TH89

A

袁鹏哲（2000），本科在读，电气工程及其自动化专业；研究方向：机器视觉测量与计算机视觉检测。

2021-03-11