基于条纹投射三维测量的铆钉自动化检测技术

梁莹，王云帆，林时雨，3，何庄达，李旭东，3，赵慧洁，3

（1.上海航天精密机械研究所，上海 201600；2.北京航空航天大学 仪器科学与光电工程学院，北京 100191；3.北京航空航天大学 青岛研究院，山东 青岛 266100）

0 引言

铆接工艺在空天制造中广泛应用，对于大型薄壁结构来说，其制造加工过程所需铆钉多达数十万个。为了质量控制，有诸多铆接参数需要自动化测量，其中包括铆钉镦头尺寸（直径、高度）以及缺陷检测。一方面，镦头尺寸是反映铆接件疲劳性能的关键参数之一，有助于估算铆接时施加的挤压力［1］和干涉值［2］；另一方面，镦头表面开裂降低成品的安全性和完整性［3-4］，需要及时反馈生产制造部门。然而，对于大型部件制造检测，由于铆接点数量较多，现有手段效率仍然低下，因此急需一种高精度的自动化铆钉镦头检测手段，提高生产制造及检测效率。

现有检测手段以无损探伤裂纹检测为主，缺少几何尺寸检测。电涡流技术（Eddy Current，EC）采用电磁感应探头检测次表面损伤，常见探头包括传感线圈［5］、霍尔传感器［6］、巨磁变传感器［7］或磁光成像传感器［8］等。超声检测［9］利用超声信号频谱分析检测裂纹，利用飞行时间法估计裂纹深度。这些方法可以有效探测远端缺陷，但是无法检测结构尺寸，并且需要额外的传感器来定位铆钉，因此很难实现大型结构的自动化测量。除无损探伤以外，机器视觉技术［10-13］也被用于定位和检查铆钉。LIU等［11］开发了一种名为EOL（Edge of LightTM）的增强视觉检测系统，可以实现铆钉自动定位，并检测隐藏的腐蚀损伤。然而，该系统只能采集二维图像，同样无法提取几何尺寸。

在镦头尺寸检测方面，目前主流检测过程仍然采用卡尺等方式手工检测，其精度受限于人员操作，且不适用于大规模铆接检测。2020 年，XIE等［14］利用三维扫描仪实现了铆接点的自动化分析，使用商用三维激光扫描仪获取铆接的飞机蒙皮的三维数据，然后进行多重结构拟合来检测铆钉；但现有扫描设备测点云质量较差、噪声严重、轮廓缺失且点云密度各向异性，影响算法稳定性。

同时获取铆接件表面致密的三维数据以及二维纹理图像是镦头尺寸参数提取和表面裂纹缺陷识别的关键。条纹投射法是一种广泛应用于三维形貌测量的方法，其具有精度高、速度快、测量灵活、点云稠密的优点［15］。高动态范 围（High Dynamic Range，HDR）条纹投射法［16］可以有效克服镦头表面强反光等问题，实现表面三维重构［17］，适用于铆接件的自动化三维测量。此外，其恢复的纹理信息可以进一步提高缺陷检测精度。在此基础上，本文提出一种基于条纹投射三维测量的铆钉自动化检测技术，可以实现铆接镦头的自动化识别、分割、尺寸特征提取以及缺陷识别。

1 基本原理

1.1 整体思路

条纹投射法通过向被测物表面投射相移正弦条纹图案，如图1 所示，相机同步采集，根据条纹图像解算的绝对相位和双目立体视觉原理实现稠密三维测量，该方法可以同时获取点云数据和二维纹理图像［18］。

图1 基于条纹投射的铆钉检测原理Fig.1 Rivet detection principle based on fringe projection

由于铆接件表面存在强反光，采用HDR 技术可以有效提升拍摄图像动态范围，避免图像饱和与失真。在获取镦头三维和二维数据后，铆接点可以通过二、三维结合的方法进行点云分割，其中镦头特征尺寸可以在点云上自动化提取。由于表面反射率不均一，三维点云容易出现点云缺失或噪声过大，而二维纹理图像相对稳定，因此本文使用二维图像进行缺陷识别。

整体思路如图2 所示，首先通过HDR 条纹获取技术，获得多亮度条纹图像，分别用于HDR 条纹合成和HDR 纹理合成。其中，HDR 条纹用于相位获取和三维重建，HDR 纹理图用于铆接点定位和感兴趣区域（Region of Interest，ROI）分割。根据纹理图的ROI 区域，查找对应的三维点云，进行精分割，同时提取直径和高度等尺寸参数。分割后的ROI 纹理图输入缺陷识别神经网络，用于对有缺陷的铆接点二分类。

图2 铆接件检测流程Fig.2 Flow chart of rivet detection

1.2 高动态条纹投射三维测量及纹理合成

为了保证铆钉镦头强反光表面三维测量精度，采用外差多频相移技术，其基本原理是将相移正弦条纹序列投射至物体表面，从拍摄的图像中逐点解算出被物体形状调制的相位信息。对于四步相移算法，投射条纹可以表示为

式中：(x，y)为投影仪坐标；Ii(x，y)为光强大小；a(x，y) 为平均强 度；b(x，y) 为强度调制系数；φ(x，y)为包裹相位。

φ(x，y)可由下式求解：

由于使用了反正切函数，解出的相位被包裹在［-π，π］范围内。进一步采用外差多频相展开法［18］确定条纹级数，消除2π 不连续，获取绝对相位；继而使用展开的连续相位图进行双目立体匹配和三维重建。对于双目系统，每个相机可以表示为

式中：s为缩放系数；u、v为像平面坐标；A为相机内参数；R为旋转矩阵；t为平移向量；X、Y、Z为三维空间坐标。

或为简单起见：

式中：M为3×4 投影矩阵，可通过相机标定［19］确定；p为像平面坐标；X为三维空间坐标。

结合左右相机方程，用相位匹配点坐标代入p，即可求出三维坐标X：

式中：上标l、r 分别为左相机和右相机。

在实际应用中，由于铆接件表面粗糙度和材料反光性质不同，其表面反射率变化较大，该反射特性导致条纹投射传感器的信噪比不均匀，部分测量区域传感器饱和，故需使用HDR 方法。在前期工作中［11］，提出了基于多亮度的HDR 条纹获取方法。该方法通过改变投影仪投射亮度和相机曝光时间，采集不同亮度等级下的条纹图像。对于不同亮度等级的条纹图像，首先进行HDR 相位解算，对不同亮度等级的条纹填，利用调制度最大原则合成HDR条纹图。计算掩膜Maskn(x，y)，公式如下：

式中：Bn为调制度；N为亮度等级数；Iin(x，y)为第n个亮度等级下第i步条纹图像，n=1，2，…，N。

获取掩膜后，分别与条纹图像相乘，获得HDR条纹图Fi(x，y)，即：

之后，运用式（2）获取包裹相位，并利用外差多频法展开相位，根据前述原理三维重建，即可获得三维点云数据。其次，合成HDR 二维纹理图像。根据采集到的条纹图，分别计算各个亮度等级下的纹理图像：

式中：I0n（x，y）为第n个亮度等级下的纹理图像。

然后利用Mertans HDR 成像技术［20］合成HDR二维纹理图像，该方法无需估计相机响应曲线，可直接对不同亮度等级下计算的纹理图像I0n（x，y）进行HDR 合成，计算相率更高。

1.3 二、三维结合的铆接点点云分割及尺寸特征提取

分割目的是对铆接点进行识别定位，并分离镦头上下表面。由于直接在稠密三维点云上运行特征提取速度较慢、精度较差，因此本文采取二、三维结合的铆接点分割策略，基本流程如图3 所示。

图3 分割算法流程Fig.3 Flow chart of the segmentation algorithm

镦头分割需要确定铆接点位ROI 区域，并将区域内的镦头点云分割为上表面及底面。首先，采用Hough 圆变换算法［21］在HDR 二维纹理中定位铆接点，并分割直径1.5 倍矩形区域作为ROI 区域进行进一步处理。然后，针对每一个ROI 区域，查找像素对应的三维点深度值Z，生成ROI 深度图。由于镦头上表面与桁条等铆接底面之间存在高度差阶跃，可以使用Otsu 算法［22］进行分割，将ROI 深度图分割为镦头上表面和底面。最后，遍历每个ROI 深度图上表面，采用Canny 算子［23］和插值方法进行亚像素边缘图提取。针对每个边缘轮廓，分别进行椭圆拟合，并根据平均深度、长短轴比、面积阈值条件进行初步筛选，剔除长短轴比过大、面积较小、平均深度较小的边缘。最终留下的则为包含镦头上下表面的ROI 区域，其中椭圆轮廓内为镦头上表面，其余区域为镦头下表面。根据ROI 图像像素坐标即可查找对应三维点云，实现点云分割。

分割上下表面点云之后，即可提取尺寸特征。尺寸提取过程中，分别对得到的n组ROI 点云进行平面拟合及椭圆拟合来完成最终的参数提取，主要步骤包括：①对n组ROI 点云依次进行处理。每一组点云中分别对铆钉镦头上表面点云和底面点云进行迭代平面拟合，剔除离群点的同时得到各自的平面法线。② 将剔除了离群点的镦头上表面点云，根据其平面法线投影至平面，再对投影至平面的铆钉表面点生成凸包。③将生成的凸包点视为铆钉边缘，对其进行椭圆拟合，再利用标定参数将其反演到三维点云，得到空间椭圆。④ 计算椭圆中心点至底面的距离，即为镦头高度，再根据椭圆长短轴计算镦头直径。

1.4 基于深度学习的镦头缺陷识别

铆钉镦头检测的另一个需求是缺陷识别，即判断视场范围内的镦头表面是否有裂缝缺陷。由于点云容易受噪声和缺失影响，而二维纹理图像相对稳定，本文采用深度学习技术，对镦头ROI 的HDR二维纹理图像进行特征提取和缺陷识别。

考虑到缺陷样本数据集的规模较小，为了避免模型过拟合，本文搭建了一个采用了残差块［24］结构的小规模卷积神经网络模型，其结构如图4 所示。模型采用残差块结构来对镦头的HDR 二维纹理图像进行特征提取。网络的输入是根据1.3节中的方法分割得到ROI 铆接镦头HDR 纹理图像，输出为缺陷镦头概率。网络共使用3 个残差块，每个残差块包括2 层卷积以及连接输入、输出的短路连接通路，在每个残差块结构前，网络采用了卷积层和最大值池化进行特征提取和数据的降采样，从而降低了模型的复杂度。具体来说，输入的ROI 图像首先经由3×3×8 的卷积层池化层，后输入进由两个3×3×8 卷积层构成的残差块；然后传入3×3×16 的卷积层池化层，输入进由两个3×3×16 卷积层构成的残差块；最后，传入3×3×24的卷积层池化层，输入进由两个3×3×24 卷积层构成的残差块，经由全连接和Softmax 层预测结果。通过以上的特殊结构，数据特征的利用效率得到了提升，从而使模型在小规模的数据集上取得了更好的训练和测试结果。

图4 模型结构Fig.4 Model structure diagram

在特征提取后，模型采用3 层全连接网络进行分类。排列成1 维的特征数据被输入到全连接网络，输出包含2 个元素的分类结果，对分类结果数据进行softmax 操作，即可得到墩头存在缺陷的概率。为了减小过拟合，在训练时对除了输出层以外的全连接层进行了dropout 操作，即按照一定比例，随机地丢弃网络节点，从而削弱全连接层网络节点间的协同关系，提高模型的泛化能力。

2 实验及结果分析

2.1 实验装置

系统采用双目条纹投射配置，其中相机分辨率4 096×2 168，焦距25 mm，投影仪分辨率为1 280×800。系统工作距离为400 mm，视场范围为300 mm×200 mm。选用多频外差相展开法，条纹周期为13、14、15，并应用7 个亮度等级进行HDR 测量，系统实物如图5 所示。

图5 系统实物Fig.5 System objects

2.2 尺寸检测精度评价

由于铆钉镦头的真实尺寸难以获取，为了评价尺寸提取精度，本文分别采用直径、厚度标准器评价系统直径测量和厚度测量精度，实测数据见表1。

表1 标准器实验结果Tab.1 Test results of standards

直径精度评价采用7、8、9 mm 钨钢针规进行测试。针规端面为标准圆，且反射特性与铆钉镦头类似。为减少随机误差影响，每个针规重复测量5 次，取均值作为最终实测值，直径以长短轴均值计算。厚度采用标准金属量块进行评测，两个量块叠加在一起，则其厚度为上方量块标称厚度。实验结果可知，系统直径测量精度可达0.040 mm，厚度测量精度可达0.013 mm。

2.3 深度学习网络训练和测试

由于带有裂缝的镦头样本较难收集，实验采用电笔划伤的镦头作为缺陷样本，并采用前述实验系统采集HDR 纹理数据作为模型的输入数据。考虑系统硬件参数配置，实验构建的数据集图像分辨率为112×112，包含纹理图像总数为310 张，其中存在缺陷的纹理图像占比约8%。由于数据集规模较小，且标签的分布不均衡，本文对数据集进行了数据增强处理。首先，在数据集中选取20 张作为原始测试集（其中缺陷纹理图像占比约1/3），剩余的290 张图像作为原始训练集；其次，对训练集中的缺陷纹理图像进行翻转、裁剪、旋转以及亮度和对比度变换，从而扩增了缺陷纹理图像数量，使训练集中缺陷纹理图像占比约1/3，训练集总数达到380 张；最后，在模型训练的每次迭代过程中，对输入的训练纹理图像进行随机的翻转、裁剪、旋转变换。在模型测试过程中，同样对测试数据进行随机的翻转和旋转变换。另外，考虑到实际测量时墩头的HDR纹理数据可能受到多种噪声影响，在训练数据中随机地掺入了一定比例的黑像素，并加入了高斯模糊。以上数据增强过程平衡了数据集的标签分布，扩增了数据集的规模，使训练好的模型有更好的泛化性能和鲁棒性。

模型的训练采用Adam 优化器，权重衰减系数设置为0.000 1，损失函数为交叉熵函数。模型在训练集和测试集的正确率如图6 所示。模型在约1 000 次迭代后趋向收敛，表现最优的模型在训练集的准确率达到100%，在测试集的检测准确率达到99.97%，表明本文采用的深度网络模型实现了对铆钉墩头缺陷的高精度检测。

图6 训练和测试准确率Fig.6 Training and testing accuracy

2.4 实物检测

为验证系统在实际场景中的缺陷检测效果，本文采用4 段铆接桁条作为被检样本，分为9 个单视场进行实物检测。在142 个被检测墩头中，141 个墩头被正确检测，检测的准确率达到99.30%。墩头缺陷检测的具体结果见表2。

表2 缺陷检测结果Tab.2 Results of crack detection

其中一个视场的检测结果如图7 所示。图7（a）为系统重建点云数据，图7（c）为合成HDR 二维纹理数据，图7（b）、7（d）为黄色方框内缺陷镦头的局部放大图。图7（c）中，红色框标识缺陷镦头，绿色框标识正常镦头，可以看到算法正确识别了该视场内的缺陷镦头。从图7（b）和图7（d）也可看到，电笔划伤的缺陷无论在纹理图还是三维点云中均可检测到，系统具有良好的适应性。

图7 铆钉检测结果Fig.7 Results of rivet detection

3 结束语

本文提出了基于条纹投射三维测量的铆钉自动化检测技术，采用基于HDR 原理的条纹投射光学三维测量技术，采集铆接件表面三维点云和二维纹理图像。本文的主要贡献：①通过二、三维结合的点云分割，实现了铆钉镦头特征尺寸的高精度提取。根据尺寸检测精度评价结果，铆钉墩头直径检测精度优于0.040 mm，厚度检测精度优于0.013 mm。② 搭建卷积神经网络，采用数据增强方法，在小规模数据集上训练网络模型，实现裂痕缺陷识别，经实物检测验证，缺陷检测精度达到99.30%。

后续工作将在本文提出的单视场铆接件检测方法基础上，开展大型结构件中多个铆接点的定位及自动化检测应用，研究考虑测量拼接、路径规划、全局坐标系配准、镦头定位等问题的综合检测技术，满足铆钉镦头自动化检测的需要。