飞机蒙皮铆钉孔的位置与法矢检测技术研究

毕 超，张 超，周 鹏

(北京航空精密机械研究所 精密制造技术航空科技重点实验室，北京 100076)

0 引 言

在航空制造领域中，飞机蒙皮和整体壁板等大型机身结构件通常采用铆接方式进行装配，即利用轴向力将铆钉孔内的铆钉钉杆墩粗并形成钉头，从而使多个零部件连接在一起[1]。一般说来，铆接工艺可以分为人工铆接和自动铆接两种实现方式[2]，其中，自动铆接能够克服人工铆接存在的效率低、噪声大、劳动强度高、受工人主观因素影响等缺点，而且具有模块化、智能化、柔性化和轻型化等特点，进一步满足了新时代航空制造的高质量、高效率与低成本需求，因而正逐步取代人工铆接而广泛应用于现代飞机的制造与装配中。

对于基于工业机器人的自动铆接工艺，“插钉入孔”是其中的关键工序之一，即通过末端执行器将铆钉准确插入到相应的铆钉孔中[3]。然而，在装配现场，受到设备精度水平、工件受力变形及其他干扰因素的影响，铆钉孔的实际方位会产生一定的偏移，因而依据其理论方位而进行的离线编程会造成铆钉与铆钉孔之间的定位与姿态偏差，由此带来的铆钉插入困难或失败将会对铆接质量和连接强度产生不利影响。因此，为了确保插钉过程的准确与顺利，需要在插钉之前由相应的检测模块获取到铆钉孔的当前位置与法线矢量（以下简称“法矢”），并反馈给控制系统来调整末端执行器的空间位姿，从而使铆钉对准相应的铆钉孔以完成插钉入孔任务。

当前，针对铆钉孔的位置与法矢参数检测问题，国内外学者已经开展了相关研究工作。例如，英国诺丁汉大学与加拿大庞巴迪航空公司联合研发了一套机器人辅助壁板装配系统，该系统采用三维测量模块来获取机器人末端执行器的标记点方位，进而获得铆钉相对于铆钉孔的姿态，而后控制机器人按照规划的路径运动到期望姿态以完成插钉操作。在国内，贺美华等探讨了自动钻铆系统对于精密检测技术的需求，包括刀具在线监测、基准孔检测、点位法矢检测、材料厚度检测和钻铆质量检测等，并分析了关键项目的现有检测方法[4]。肖亮等研制了一套基于CCD相机定位检测的轻型自主移动钻铆系统，通过CCD相机来记录基准孔信息并实现铆钉孔的位姿检测，使铆钉孔的定位准确度±0.5mm、法向准确度±0.5º[5]。牛祥鑫等应用双目视觉定位方法提取出了曲面铆接孔的三维点云，而后通过平面拟合求解出了铆钉孔的法向向量，平均测量误差为1.69°，可以满足施铆角度的法向量误差要求[6]。这些方法与装置虽然在单项检测功能方面取得了一些进展，但传感器单元的体积和质量较大，不便于集成于机器人自动铆接系统。

为了获取飞机蒙皮铆钉孔的方位信息以实现伺服插钉，本文基于结构光三维视觉原理研制了一套十字线结构光视觉检测系统，并提出了一种基于投影光条的位置与变化规律而推断出铆钉孔的位置与法矢参数的方法。在该系统中，由十字线激光器将十字线结构光投射于被测蒙皮表面并在其上形成投影光条，而后通过工业相机采集其视野范围内的、同时包含投影光条和铆钉孔的二维图像，再经由系统标定和光条中心线提取等步骤表征和计算出蒙皮曲面的成形轮廓和结构特征，并基于此进行拟合与叠加运算而得到铆钉孔的孔心三维坐标与法线方向，从而完成其位置与法矢的检测任务。

1 系统组成

在插钉过程中，由于定位工装存在误差和钻孔过程中蒙皮变形量较大等因素而引起的铆钉孔方位偏移，使得单纯的机器人离线编程难以满足插钉入孔的精度要求，这就需要根据铆钉孔的实际方位检测结果来重新调整末端执行器，而后再插入铆钉。因此，铆钉孔的位置与法矢检测是实现精确插钉的重要步骤。在实际应用中，铆钉孔的位置可以由孔心在蒙皮上的三维空间坐标来表征，而其法矢可以由孔心处的蒙皮法向向量来表征[7]。

为了在插钉之前实时、在线地计算出铆钉孔的位置与法矢，本文研制了一套十字线结构光视觉检测系统，主要由摄像机、十字线激光器和辅助装置组成，其结构如图1所示，从而将单目视觉检测与十字线结构光投影结合在一起，以为插钉环节提供视觉反馈信息。相比于点结构光和一字线结构光，十字线结构光能够配合摄像机采集到更多的三维几何信息，却不会过多地增加硬件成本和实现难度。同时，摄像机具有较为开阔的视野，可以同时观测到较多数量的铆钉孔，这样就可以减少摄像机的移动而提高检测效率[8]。

图1 系统结构示意图

如图2所示为本文所研制的十字线结构光视觉检测系统，其中，摄像机选用MER系列工业相机，其传感器尺寸为 1/2.5″，像元数目为 2 592×1 944。镜头选用了Computar系列定焦镜头，其焦距为8 mm，光圈范围为F1.4～F16C，工作距离为 0.1 m～∞。十字线激光器选用HW520AC12-16GD型激光投射器，其功率为12 mW，输出绿色激光的波长为520 nm，最小线宽可达0.4 mm。

图2 十字线结构光视觉检测系统

2 数学模型与计算原理

在该系统中，十字线激光器向被测蒙皮发射一束十字线结构光，在蒙皮表面上形成受表面形状所调质的投影光条；而摄像机采集到此时的蒙皮图像，并传输到控制器中进行图像处理，一方面要基于系统数学模型解算出光条中心线上采样点的三维坐标[9]，而后通过这些坐标数据拟合出光条中心线的参数方程，从而获取投影光条的位置与变化规律，并表征出蒙皮表面的几何形位信息；另一方面还要识别和提取出摄像机视野范围内的铆钉孔特征，并通过图像中的铆钉孔孔心与光条中心线之间的相互位置关系，在满足精度要求的前提下进一步推断出每个铆钉孔的位置与法矢。

为了使该系统实现测量功能，本文首先建立了系统的数学模型，如图3所示，而后通过系统标定过程获得了模型中的未知量。在图3中，OWXWYWZW为世界坐标系，o-uv为图像像素坐标系，O为摄像机光心；P是空间中位于投影光条上的某个采样点，设其在OW-XWYWZW中的三维坐标为(XW,YW,ZW)；而p是采样点P在图像平面上的透视成像点，设其在o-uv中的二维坐标为(u,v)。通过数学模型可以将以像素为单位的图像数据(u,v)转化为以毫米为单位的三维坐标数据(XW,YW,ZW)[10]。

图3 系统的数学模型

为了确定数学模型中的未知量，需要通过系统标定获取摄像机的内外部参数及光方面π1和π2的方程[11]。本文应用棋盘格标定板来完成模型中未知量的标定，如图4所示。在OW-XWYWZW中，由于采样点P位于光平面上且被摄像机观察到，因而可以将摄像机的标定结果与两个光平面的方程联立起来，这样就可以建立起该系统的数学模型，从而确立投影光条中心线上的采样点的图像坐标(u,v)与其三维空间坐标 (XW,YW,ZW)之间的映射关系[12]，如下式所示：

图4 标定过程

在此基础上，对与两个投影光条中心线相对应的空间曲线L1和L2进行二次多项式拟合，从而得到每条空间曲线的参数方程。而后求取这两条空间曲线的交点坐标，再分别通过对参数方程求导数而计算出L1和L2在该交点处的切向矢量l1和l2，最后通过矢量叉积运算即可求取交点处的法矢n，如下式和图5所示。

图5 投影光条交点处的法矢计算示意图

由于式(1)仅仅适用于位于投影光条L1和L2上的采样点，因而当被测铆钉孔的孔心恰好位于L1和L2的交点处时，就可以根据L1和L2的参数方程及式(2)直接计算出其孔心的三维坐标和法线方向。然而，在实际应用中，摄像机视野范围内的铆钉孔孔心不一定都位于L1和L2的交点上，甚至不位于L1或L2上，此时无法直接根据式(1)和式(2)进行计算。针对这种情况，本文提出了一种根据投影光条的位置与变化规律而推断出此类铆钉孔的位置与法矢参数的方法。

具体说来，如图6所示，十字线结构光投射于飞机蒙皮上而形成两个投影光条L1和L2，而被测铆钉孔的孔心H与投影光条交点O之间存在偏移。为了便于后续的推导与计算，首先建立局部坐标系OS-XYZ，其原点OS位于L1与L2的交点处，Z轴为两个光平面π1和π2之间的交线，X轴与光平面π2垂直，而Y轴与光平面π1垂直。因此，XOSZ平面即为光平面π1，且光条中心线L1位于XOSZ平面内；YOSZ平面即为光平面π2，且光条中心线L2位于YOSZ平面内。

图6 局部坐标系OS-XYZ的建立

在OW-XWYWZW中，两个投影光条的空间位置已知，对于蒙皮上铆钉孔的孔心H，过H作与光平面π2平行的平面，与L1相交于HX；再过H作与光平面π1平行的平面，与L2相交于HY。由于飞机蒙皮表面为光顺、有规律的空间连续曲面，并且在局部小范围内可以通过一定的3D曲面方程进行解析与重构[13]，因而在误差允许范围内，空间曲线L1和L2的参数方程可以在一定程度上表征出蒙皮曲面的变化规律。因此，在一定程度上，可以将HX和HY分别等效为H在XOSZ平面和YOSZ平面上的投影点，由此可以通过对HX、HY的坐标和法矢进行等效与叠加运算而推断出H的相应几何形位信息。

为了解算出HX、HY的坐标和法矢参数，还需要在摄像机所采集到的包含投影光条与铆钉孔的图像上进行类似操作，如图7所示。为了便于表达，蒙皮表面上的投影光条分别用L1和L2来表示，而二者在摄像机图像平面上的成像也用L1和L2来表示。在图6和图7中，由透视成像原理可知，oS即为OS的像点，而h为H的像点；Y轴在图像平面上的成像即为该图像中光条L2在oS处的切线q2，X轴在图像平面上的成像即为光条L1在oS处的切线q1。在图像中，过h作直线与切线q2平行，并且与L1相交于点h1，再过h作直线与切线q1平行，并且与L2相交于点h2。根据透视成像原理，h1即为HX的像点，而h2即为HY的像点。因此，在图像像素坐标系o-uv中，通过识别和提取出投影光条L1和L2的中心线坐标以及h的坐标，可以进一步解算出交点oS的图像坐标以及切线q1和q2的方程，进而基于这些数据计算出h1和h2的图像坐标。由于h1和h2分别位于光条L1和L2上，因而根据式(1)可以解算得到与之对应的HX和HY的三维坐标，分别表示为(XHX,YHX,ZHX)和(XHY,YHY,ZHY)。

图7 图像中的投影光条与铆钉孔

在局部坐标系OS-XYZ中，根据空间解析几何与向量代数原理，通过HX的坐标(XHX,YHX,ZHX)和L1的参数方程可以进一步得到XOSZ平面内L1在点HX处的切向矢量lHX；同样地，通过HY的坐标(XHY,YHY,ZHY)和L2的参数方程可以进一步得到YOSZ平面内L2在点HY处的切向矢量lHY。如图8所示，由于可以将HX和HY分别等效为H在XOSZ平面和YOSZ平面上的投影点，因而由(XHX,YHX,ZHX)、(XHY,YHY,ZHY)、lHX和lHY进行叠加运算可以推断出的铆钉孔孔心H的三维坐标(XH,YH,ZH)和法向向量lH，分别为：

图8 H的三维坐标及法矢计算原理

最后，将(XH,YH,ZH)与lH均转化到世界坐标系OW-XWYWZW中，即可得到最终的铆钉孔方位检测结果，从而为实现视觉伺服插钉功能奠定了坚实基础。然而，该方法在投影光条附近具有较高的检测精度，而随着铆钉孔远离投影光条，其位置与法矢的检测误差会逐渐增大[14]。当检测误差无法满足插钉的精度要求时，可以根据检测结果移动机器人的末端执行器后再次进行检测，通过这种“边检边动”的方式就可以实现每个铆钉孔的准确插钉。

3 实验验证

为了验证该十字线结构光视觉检测系统在功能实现方面的可行性和有效性，本文选取一个具有一定表面曲率的飞机蒙皮模拟样件作为被测物体，其上分布有13个铆钉孔。应用该系统对这些孔特征开展了位置与法矢参数的检测实验，实验现场如图9所示。

图9 实验现场

在实验过程中，由摄像机采集到的模拟样件图像如图10所示，通过图像处理分割出其中的投影光条和铆钉孔特征，并进一步识别和提取出光条中心线L1、L2与每个铆钉孔的孔心，分别如图11和图12所示。

图10 模拟样件图像

图11 识别和提取出的光条中心线L1和L2

图12 识别与提取的铆钉孔孔心

首先，根据系统的数学模型与参数标定结果，将L1与L2上的采样点的像素坐标(u,v)转化为样件表面被测点的三维世界坐标(XW,YW,ZW)，并采用二次多项式拟合出L1与L2的参数方程分别为：

所获得的拟合优度r2均优于0.999 2，从而完成了十字线结构光的三维重构。然后，根据本文所提出的方法，对具有代表性的1号铆钉孔的孔心三维坐标与孔心处的法向矢量连续进行了10次重复性测量，以验证系统的重复性检测精度，实验结果如表1所示。为了便于末端执行器的位姿调整，进一步将计算出的法矢向量转化为法矢方向与XW、YW和ZW轴之间的方向角，分别记为α、β和γ。

表1 1号铆钉孔的实验结果

从表1中可以看出，对于该铆钉孔来说，XW、YW和ZW的测量结果的平均值分别为-12.743 mm、55.525 mm 和 4.961 mm，标准差分别为 0.017 mm、0.019 mm和 0.017 mm，则单次测量的极限误差（置信系数取 3）分别为±0.051 mm、±0.057 mm和±0.051 mm；α、β和γ的测量结果的平均值分别为98.43º、85.77º和 9.43º，标准差分别为 0.104º、0.112º和 0.103º，则单次测量的极限误差分别为±0.312º、±0.336º和±0.309º。根据机器人自动铆接系统对于插钉姿态调整的需求，该系统在检测铆钉孔的位置与法矢方面所能达到的重复性精度水平可以满足使用要求。

然后，对摄像机视野范围内的13个铆钉孔的位置及法矢逐一进行检测与计算，所得到的检测结果分别如图13所示。

图13 铆钉孔的位置与法矢检测结果

从图13中可以看出，本文所设计和搭建的十字线结构光视觉检测系统，通过在飞机蒙皮表面上投射形成的投影光条而表征出蒙皮曲面的成形轮廓和结构特征，并能够基于投影光条的位置与变化规律而推断出铆钉孔的位置与法矢参数，从而减少了机器人的移动而提高检测效率。因此，该检测系统是对飞机蒙皮铆钉孔的方位检测难题而开展的一次积极探索，可以为实现蒙皮铆接过程中的在线、实时伺服插钉提供了一项检测技术支撑。

4 结束语

为了实现飞机蒙皮铆钉孔的位置与法矢检测，本文采用单目视觉结合十字线结构光的检测方法，研制了一套十字线结构光视觉检测系统，并提出了基于投影光条的位置和变化规律而推断出铆钉孔的位置与法矢参数的方法。通过飞机蒙皮模拟样件的检测实验验证了系统的可行性与有效性，铆钉孔的三维空间坐标XW、YW和ZW的单次测量极限误差均在±0.06 mm以内，法线方向α、β和γ的单次测量极限误差均在±0.4º以内，可以满足机器人自动铆接系统对于插钉姿态调整的需求。因此，该检测系统能够非接触、在线地获取蒙皮铆钉孔的位置与法矢参数，从而为实现视觉伺服插钉功能提供了一项检测技术解决方案。