一种航空铆钉自动检测系统研制

（南京航空航天大学机电学院，南京 210016）

铆钉是飞机上的一种重要的连接紧固件。一架重型飞机的装配，需要大约150～200万个铆钉，可以看出在飞机装配过程中，铆钉有着举足轻重的作用。其中，铆钉几何尺寸精度是决定铆钉铆接质量的重要影响因素。所以，铆钉轮廓尺寸的检测对于保证飞机连接的质量具有重大的意义。然而目前仍然采用人工视觉检测的方法对铆钉的尺寸进行检测，但人工检测受主观因素影响大，严重制约着检测的效率和质量。因此，迫切需要研究出一种高精度、高效率的铆钉尺寸自动化柔性检测系统。当前，基于工业相机的视觉检测在智能制造生产中得到了广泛的应用和普及，并推动了铆钉自动检测技术的发展。

铆钉的自动检测技术在业界已经得到重视并取得了一些研究进展。上海交通大学丁超[1]研发了一种基于图像识别的铆钉表面缺陷检测系统，完成了对铆钉表面缺陷图像的采集、预处理、识别、结果输出等功能。上海交通大学马鑫晟等[2]设计出一套铆钉外形尺寸自动检测系统，用两个高精度相机对待测铆钉进行拍照，通过图像采集卡传输到工控机中进行图像处理，以检测铆钉是否为合格品，完成在数据库中数据保存及报表生成功能，并完成包括送料及废料剔除的整个控制流程。上海交通大学鲁睿婷等[3]通过控制铆钉的上料及排列，控制两个相机对铆钉进行拍照，以检测铆钉是否为合格品，并且完成正次品分离的整个控制流程，设计出铆钉光学检测自动控制系统。经过试验测试，测量精度控制在0.03～0.06mm之间。文献[4]提出了一种基于畸变补偿的飞机铆钉尺寸测量方法，以提高铆钉的在线检测精度。文献[5]则针对拉铆钉在线检测系统的自动供料机构开展研究，以保证拉铆钉在线检测效率和质量。

上述方法相对于传统的检测手段有很大优势，例如检测效率高，能完成表面缺陷的检测等。但它们也存在不足：检测的工件型号单一，不能做到柔性化。为此，本文将通过图像识别的方法，开发出一种柔性的铆钉尺寸检测系统，对不同牌号的铆钉的轮廓尺寸进行检测，筛选出满足精度要求的铆钉，从而提高飞机铆接的质量。

系统方案设计

1 系统工作流程原理

本文所设计的铆钉柔性尺寸检测系统工作原理如下。

首先，待检测铆钉通过振动下料盘装置被送上转盘。然后，当铆钉转动到摄像机的拍摄范围时，检测传感器2将检测到工件，发出一个信号，并传给工业相机。接下来，工业相机拍下此时的铆钉图片，并传送给图像采集卡；图像采集卡将模拟的图像信号转换为数字信号，经过PCI总线进入计算机，然后用上位机软件对图像进行处理，分辨出图像对应的铆钉尺寸是否达标。最后，PC告知下面的 PLC是否执行剔除操作，若不达标则在废料口处吹落，若达标则运转至正品口落下。注意：若程序判断正在检测的铆钉为本次检测过程中的第一例，则进入CCD自动对焦程序，选择适合本型号铆钉的焦距。

其中，电机转盘一直处于运行状态，振动下料盘通过判断输送线路上有无铆钉而启动、停止。若按停止按钮，则系统停止运作，并且显示最终检测结果。若振动盘上的检测传感器1持续3s接收不到铆钉信号，则系统默认为本次检测程序结束，系统停止运作，并且显示最终检测结果。具体流程如图1所示。

2 系统硬件模块

铆钉自动检测系统硬件模块主要分为：铆钉的自动送料及储存模块、机械转盘模块、图像采集装置的安装及固定模块、废品剔除模块，硬件模块构成如图2所示。

图1 系统工作流程图Fig.1 System work flow chart

图2 系统硬件组成Fig.2 System hardware structure

自动送料机构：本装置中采用振动料盘将铆钉按照一定规律的振动对其进行排列，有利于后续的操作及控制。振动盘将铆钉排好序后，从出料口输出，到达直线振荡器的输送槽上。铆钉在直线振荡器的作用下向前运动，当铆钉运动到输送槽的尽头时，若转动的机械转盘凹腔对着直线振荡器上的输送槽，铆钉会在气流的作用下被吹进机械转盘凹腔，随着机械转盘一起转动，等待相机的图像采集；若机械转盘的凹腔未对着直线振荡器上的输送槽，铆钉会被挡在直线振荡器的输送槽上，等待机械转盘凹腔。

机械转盘模块：机械转盘机构接收直线振荡器送来的铆钉，考虑到图像采集过程中拍摄的需要，本文采用的是直径为400mm、厚度为4mm的有机玻璃圆盘。由于采集铆钉图像时需要铆钉精确地在转盘上定位，后续铆钉的分拣需要一定的间隔时间，故机械转盘采用步距精确的伺服步进电机驱动。

图像采集模块：在满足相机、光源等尺寸的条件下，尽量进行简约化设计，方便对其进行拆装以及调试。在本文中，由于测量尺寸参数较少，采用一个相机即可进行测量，在相机及光源等的位置选取及固定过程中，要使获得的图像保持较高的质量。

废品剔除模块：本装置拟采用高压气流的方式，将不合格铆钉从铆钉夹具中分离出来。其中，铆钉合格评判标准可根据不同牌号铆钉的具体技术规格标准（航标、厂标）在系统数据库中进行预先设置，从而实现铆钉正品、废品的自动检测分析。

根据以上分析,铆钉自动检测系统硬件结构模型如图3所示。

图3 铆钉自动检测系统硬件结构模型Fig.3 Hardware structure model of rivet automatic test system

CCD相机自动调焦

1 CCD相机自动调焦原理

在铆钉柔性检测系统中，为了确保图像采集清晰，需要保证CCD相机能精确对焦。CCD相机自动调焦是利用上位机系统对采集到的图像信息进行清晰度分析，通过对比不同物镜位置的清晰度数值，再驱动微动机构微调物镜位置完成对焦[6-7]。自动调焦流程如图4所示，首先找到采集图像的待检区域，即铆钉外形轮廓，由计算机利用适合本系统的清晰度评价函数进行评价后，与前一物镜位置拍摄图像的清晰度评价指标进行对比。如果此位置图像较为清晰，则令微动执行机构驱动物镜继续向本方向微调，反之则向反方向微调。重复此过程，直至得到成像最清晰的物镜位置。

2 图像清晰度评价

在铆钉柔性检测系统的相机自动调焦中，需要用一个指标去评价对焦的好坏，这就是图像清晰度评价函数。对不同物镜位置所成的铆钉图像进行清晰度评价，通过找到最清晰图像时的物镜位置来完成对焦。

通常，理想的清晰度评价函数必须具备以下特性。

（1）无偏性：评价函数只在焦平面与像平面重合时取极值；

（2）单峰性：具有唯一的一个极值；

（3）具有足够的信噪比：系统在一定干扰下正确地检测出信号。

目前图像清晰度评价函数主要有[8]：基于频谱函数、基于梯度函数和基于熵-能量函数。本文通过分析比较上述的评价函数，选用基于梯度函数作为对焦评价函数完成系统的自动对焦。在自动调焦过程中，对于传入铆钉柔性检测系统的图像进行方差计算，并将每次计算与前一次计算相比较，若比前一次的结果大，则使PLC驱动微动执行机构继续向一个方向运动；若当前运算结果已是最大（即比它的前一次与后一次大），则说明CCD相机已对焦完成。

为验证所提对焦方法的可行性，本文利用两幅对比度不同的铆钉图像进行了图像清晰度试验比较。结果如图5与图6所示，对比度较弱的铆钉图像的均方差为5.32，而对比度较强的铆钉图像的均方差为11.56，验证了所提方法的有效性。

铆钉几何特征提取

1 铆钉图像轮廓的滤波处理

对于数字图像而言，噪声是最常见的干扰因素之一，通常以极亮点或极暗点形式出现。图像中的噪声可看作随机变量，可以根据PDF（概率密度函数）的特点分为Gaussian噪声、均匀噪声和椒盐噪声等[9]。本检测系统的噪声种类主要是椒盐噪声，因此，本文对均值滤波、中值滤波、高斯滤波这3种滤波方式进行论证比较，以选择出消除椒盐噪声的算法，更好地提高铆钉图像的质量。图7所示为铆钉图像经过均值滤波处理、中值滤波处理及高斯滤波处理的效果图。

图4 自动调焦流程图Fig.4 Flowchart of automatic focusing

图5 对比度低的铆钉图像的方差计算Fig.5 Variance of rivet image for low contrast ratio

图6 对比度高的铆钉图像的方差计算Fig.6 Variance of rivet image for high contrast ratio

由图7比较可知，均值滤波能够一定程度地去除噪声，但是均值滤波是对窗口中所有的像素点进行了均值化，使得窗口中的像素点值都发生了改变。高斯滤波能够一定程度地去除噪声，但是由于高斯滤波更适用于高斯噪声，对椒盐噪声去除得并不好，因此不利于后期铆钉图像的边缘检测及特征识别。中值滤波对噪声的处理效果更好，而且在去除噪声的同时，一定程度上还克服了均值滤波所带来的铆钉轮廓图像模糊的问题，增强了铆钉图像的细节。因此在铆钉柔性检测系统中，将选用中值滤波算法对拍摄原图像进行滤波处理。

2 铆钉图像轮廓的边缘检测

对于铆钉图像，它的尺寸特征信息在图像的边缘。因此，边缘检测成为提取目标特征的关键一步。目前，主要的边缘定位算法有：梯度算子、拉普拉斯-高斯、Canny边缘检测方法、方向算子、边缘跟踪等[10]。通过对各种算法的最终处理效果进行比较、评价，选出最适合本铆钉尺寸检测系统的边缘检测算法，为后面的特征识别提供高精度的铆钉边缘。图8为利用OpenCV对铆钉图像的5种边缘处理的效果图。

图7 铆钉图像经不同滤波处理后的效果图Fig.7 Rivet image after different filtering treatment effect

由图8比较可发现，Robert算子受噪声影响较大；Prewitt边缘检测算子利用边缘样板算子，检测到的边缘单像素边缘标准低、边缘较宽，且局部会出现不连续的现象；Sobel边缘检测算子对灰度值进行了平均，具有滤波作用，其边缘检测效果较清晰，但边缘位置精度不高，会影响后期特征识别的精度及准确度；用LoG算子进行高斯滤波，抗噪声能力增强，边缘检测效果较好，但对某些比较尖锐的边缘进行了平滑操作，导致检测不到这些边缘点，出现局部不连续的现象。在这5种边缘检测算法中，Canny算子的检测效果最好，由于它是单像素边缘定位，精度也较高，因此将Canny算子作为本系统的边缘检测算法。

3 软件功能界面

铆钉检测系统软件中最为重要的部分是尺寸检测模块，其中包含系统标定模块、图像处理模块、尺寸检测及对比模块。

在系统标定模块中，CCD相机对焦可分为自动对焦和手动对焦。在CCD相机对焦完成后，可以认为本次检测中相机内外方位元素已经确定，此时应对系统进行标定。本系统采用的标定方式为传统相机标定方法，先对标准件进行测量，然后得到整个系统的像素当量，功能界面如图9所示。

图像处理通过中值滤波、Canny算子检测、Hough变换、亚像素角点流程的图像处理流程进行铆钉图像处理，功能界面如图10所示。

尺寸检测及对比模块主要完成对所测型号铆钉的主要几何尺寸检验对比，功能界面如图11所示。

系统应用

在实际生产使用过程中，铆钉生产及使用单位重点关注的是铆钉几何外形尺寸和表面缺陷。因此，本系统目前具备的检测功能主要以铆钉的长度、直径等几何外形尺寸为检测对象，后续将在现有系统基础上，应用图像特征识别技术进行表面缺陷的自动检测分析。系统当前可达到的主要性能指标如下：

图8 铆钉图像的5种边缘检测效果Fig.8 Five kinds of edge detection effect of rivet image

图9 系统标定界面Fig.9 Interface of system calibrating

图10 图像处理界面Fig.10 Interface of image processing

图11 尺寸检测对比界面Fig.11 Interface of dimension detection contrast

（1）测量精度： 0.01mm；

（2）检测速度：最低120个/min，平均 300 个 /min。

（3）检测正确率：最低速度时，不低于97%；最高速度时，不低于95%。

（4）可检特征：钉头高度、补偿头高度、铆钉直径、钉帽直径、铆钉长度。

其中，测量精度是本检测系统的核心性能指标，因此为了验证系统的检测精度性能，本文在系统标定好的条件下，将铆钉放置在载物台上，采集图像后从载物台上取下再重新放到载物台上采集图像，共采集10幅图像进行精度对比分析。由于在铆钉的各个检测参数中，铆钉直径的精度要求最高，所以本文对铆钉的直径进行测量和数据分析，得到的铆钉直径测量结果如表1所示，与影像测量仪的测量值5.0246mm比较，相差很小。

由表1可知，10次检测的铆钉直径误差都在允许的公差范围内，测量误差值最大变动为0.0066mm，试验结果证实了该检测系统能够满足测量的精度要求。

结论

本文通过分析铆钉检测的工作流程和原理，设计了铆钉自动检测系统的硬件结构，并利用图像特征处理技术，提出了面向铆钉几何尺寸的特征提取方法，保证了铆钉检测精度。试验测试结果验证了所设计研制的铆钉柔性检测系统可高效、精确检测不同型号铆钉的几何尺寸，有助于提高飞机装配连接质量。

表1 系统铆钉直径检测结果

[1] 丁超. 基于LabVIEW和机器视觉铆钉表面缺陷在线检测系统研究[D]. 上海:上海交通大学，2008.

DING Chao. Research of online rivets surface defect detection system based on LabVIEW and machine vision[D]. Shanghai:Shanghai Jiao Tong University, 2008.

[2] 马鑫晟, 程帅, 翟程远, 等. 基于LabVIEW的铆钉外形尺寸检测系统设计[J].工业控制计算机, 2011(11): 83-84.

MA Xinsheng, CHENG Shuai, ZHAI Chengyuan, et al. Design of detect system for rivet dimensions based on LabVIEW[J].Industrial Control Computer, 2011(11): 83-84.

[3] 鲁睿婷, 张昱, 陈德荣, 等. PLC在铆钉光学检测控制中的应用[J]. 计算机测量与控制, 2013(2): 368-370.

LU Ruiting, ZHANG Yu, CHEN Derong,et al. Research on optical detection and control system for rivet based on PLC[J]. Computer Measurement & Control, 2013(2): 368-370.

[4] 胡江涛, 张俊涛, 汤伟. 基于畸变补偿的飞机铆钉尺寸测量方法研究[J]. 陕西科技大学学报, 2016, 34(4): 177-181.

HU Jiangtao，ZHANG Juntao，TANG Wei. Research on measurement method of aircraft rivet dimension based on distortion compensation[J]. Journal of Shaanxi University of Science & Technology, 2016, 34(4): 177-181.

[5] 戴亚辉, 罗亮, 刘知贵. 拉铆钉在线检测系统的自动供料机构设计与仿真[J].机械设计与制造, 2015(10): 256-259.

DAI Yahui, LUO Liang, LIU Zhigui.Design and simulation of automatic feeding mechanism of pulling rivets online detection system[J]. Machinery Design & Manufacture,2015(10): 256-259.

[6] 王欣, 安志勇, 杨瑞宁. 基于图像清晰度评价函数的CCD摄像机自动调焦技术研究[J]. 长春理工大学学报(自然科学版),2008(1): 11-14.

WANG Xin，AN Zhiyong，YANG Ruining. The research of CCD camera autofocusing technology based on image definition criterion[J]. Journal of Changchun University of Science and Technology (Natural Science Edition), 2008(1): 11-14.

[7] 黄德天. 基于图像技术的自动调焦方法研究[D]. 长春：中国科学院长春光学精密机械与物理研究所, 2013.

HUANG Detian. Study on auto-focusing method using image technology[D]. Changchun:Changchun Institute of Optics, Fine Mechanics and Physics, Chinese Academy of Sciences,2013.

[8] 王学影, 张洪涛. 基于图像处理的CCD摄像机自动调焦方法研究[J]. 计量技术，2005(8): 16-18.

WANG Xueying, ZHANG Hongtao. The research of CCD camera auto-focusing method based on image processing technology[J].Measurement Technique, 2005(8): 16-18.

[9] 李波. 数字图像噪声消除算法研究[D]. 曲阜: 曲阜师范大学, 2008.

LI Bo. The research on the algorithm of digital image noise cancellation[D]. Qufu: Qufu Normal University, 2008.

[10] DEMIGNY D. On optimal linear filtering for edge detection[J]. IEEE Transactions on Image Processing, 2002, 11(7):728-737.