基于深度相机的飞机中央翼油箱高精度三维重建方法

李红卫，魏泽勇，曹轩铭，汪 俊

（1.中航西安飞机工业集团股份有限公司，西安 710089；2.南京航空航天大学计算机科学与技术学院，南京 211106；3.南京航空航天大学机电学院，南京 210016）

飞机中央翼油箱是油密区域，是飞机结构密封中要求最严格的部位。然而，由于其空间狭窄、开畅性不足且密封装配过程不易控制，往往会出现装配质量问题，引发油箱泄漏现象，对飞机安全构成隐患［1-2］。

飞机中央翼油箱密封质量的关键在于装配过程中涂胶环节的质量检测控制，其中胶体三维尺度以及形状的符合性是涂胶质量评判的重点之一。

目前国内飞机中央翼油箱装配密封涂胶胶体三维尺度和形状的符合性检测基本还是在简单工量具辅助下依靠人工目测，效率低且检查效果不稳定。因此，本文提出一种涂胶后重建中央翼油箱内部高精度三维点云的新方法，该方法能够精准量化涂胶前后中央翼油箱内部三维重建点云的差异性，并应用于快速准确评判胶体三维尺度和形状符合性的智能化涂胶质量检测新模式。

考虑油箱的空间开畅性问题，以及相关工艺规范对飞机中央翼油箱密封涂胶胶体三维尺度和形状控制的高精度要求，本文使用结构光深度相机采集飞机中央翼油箱内部多视点下的点云数据，并基于对多视点云的配准来实现实测数据的重建。

如何能精确地配准两帧有重叠区域的点云数据是近年来一个研究热点。点云配准一般需要粗配准和精配准两个步骤。常见的粗配准方法主要包括：Aiger 等［3］通过迭代，不断利用两点云中的对应4 点进行快速配准；李宇翔等［4-8］基于描述子的方法进行匹配；Rusu 等［9］通过对点云建立特征描述子；Besl 等［10-11］使用曲面曲率的不同表示或通过拟合多项式［12］或样条［13］建立局部描述子，然后对这些描述子进行配准操作；与描述子的方法类似，张哲等［14-20］提出的基于关键点的配准方法也广泛应用于粗配准，可有效提高三维点云数据配准的效率；张晗等［21-24］使用采样一致性初始配准（Sample consensus initial alignment，SAC-IA）算法对点云进行粗配准。

点云精配准问题的经典解决方案是迭代最近点（Iterative closest point，ICP）及其改进算法。该算法通常用寻找点的对应关系及优化距离目标函数的方法求解，其中以点对平面法因其快速收敛性应用较广［25-28］。但也存在一些问题，比如因为没有足够的几何特征来支撑优化，该算法在有较多平滑曲面的情况下表现不够稳定。另一方面，在初始粗配准达不到一定要求的情况下，ICP 算法容易失效，且速度较慢。针对该问题，薛珊等［29］提出了基于点云几何信息改进自动配准算法，在一定程度上解决了平滑曲面特征造成的配准困难；孙培芪等［30］提出了一种基于特征点提取与配对的粗配准方法，以调整两片点云重叠部分的初始位置，防止配准陷入局部最优的不理想状态；杨帆等［31］利用距离约束函数、KD-Tree加速迭代以及（Closest point crirterion，CPC）三约束方法对传统ICP 算法进行改进，有效提高了配准速度。

图1 为飞机中央翼油箱常用结构局部示意图，对于中央翼油箱这种重复特征较多的结构件，利用上述算法难以有效配准以实现三维重建。针对这些算法的不足，本文提出了一种基于深度相机的飞机中央翼油箱高精度三维重建方法，对包含重叠区域的多帧场景点云，建立基于点对特征的全局模型描述，继而通过聚类投票得到粗配准位姿，再进一步建立点云中的对应点集，然后用颜色和几何量构建目标函数并进一步优化以实现精配准，最后将所有点云配准并用图优化重建结果以完成三维重建。

图1 飞机中央翼油箱常用结构局部示意图Fig.1 Structural chart of aircraft central wing fuel tank

1 飞机中央翼油箱三维重建

图2 为飞机中央翼油箱三维重建方法流程图，包括以下步骤：（1）对中央翼油箱进行遍历以采集完整的油箱内部数据，将深度相机伸入待检测的飞机中央翼油箱，从不同视角采集油箱的内部信息，获得多帧带有颜色信息的油箱点云数据，保证每帧点云数据与相邻帧点云之间都有部分重叠，用于后续配准；（2）对两帧点云模型粗配准，将点云数据预处理后，建立基于点对特征的全局模型描述，根据点对特征匹配结果进行位姿聚类，得到粗配准位姿；（3）对两帧点云模型进行精配准，将粗配准后的各帧点云的颜色信息与几何信息参数化，建立待匹配点云中的精确对应点集，用参数化的颜色与几何信息构造目标函数，优化目标函数得到精配准位姿；（4）按顺序对相邻两帧点云进行配准并图，实现最终的飞机中央翼油箱内部三维重建。

图2 飞机中央翼油箱三维重建方法流程图Fig.2 3D reconstruction flow diagram of aircraft central wing fuel tank

1.1 油箱内部数据采集

深度相机不能一次获取中央翼油箱内部所有信息，需根据具体结构的不同，系统规划测量方案与实施步骤，按节奏分多步调整深度相机测量角度，从多个视角拍照，采集所需的带有颜色信息的油箱内部点云全部数据。由于点云之间的配准需要保证有一定的重叠区域，所以每次调整的角度θ1应小于深度相机视野角度θ2，取θ1=(1-μ)θ2，μ为重叠区域在配准点云中所占比重。这些点云数据将作为粗配准的输入。

1.2 场景点云模型粗配准

对场景点云进行预处理，然后建立基于点对特征的全局模型描述，匹配相应特征，计算该匹配对应的变换矩阵，统计得分最高的变换矩阵，应用该矩阵完成场景点云的粗配准。

1.2.1 点云数据预处理

噪声和离群点会对匹配结果产生干扰，配准前需要对点云数据预处理以去除噪声和离群点。首先利用直通滤波的方法去除场景边缘数据模糊、质量较低的冗余数据，然后利用基于统计学的去噪算法对点云中的离群点进行剔除［32］。

1.2.2 全局模型描述建立

计算待配准的两帧点云中各点的法矢，法矢信息采用基于局部表面拟合估计法向量的方法获取。然后，对每帧点云中所有点两两之间建立点对特征，然后建立由点对特征索引的哈希表，即对场景建立全局模型描述。全局模型描述是从两帧点云的点对特征空间到点对集合的映射。一般地，映射可以表示为

式中：F(p1，p2)为四维的点对特征，A为所有点对(pi，pj)∈P2的集合，P为其中一帧点云；点对特征F(p1，p2)的定义为

式中：p1和p2为点云上的两个点；‖ ‖* 为欧氏距离；p1和p2对应的法向量分别为n1和n2。点对特征由4 个分量组成，第1 个分量F1表示点之间的距离，∠(a，b)表示两个向量之间的夹角，分量F2、F3、F4分别表示第1 点法线与两点连线的夹角、第2 点法线与两点连线的夹角、两点法线之间的夹角［33-35］。图3 为点对特征示意图。

图3 点对特征示意图Fig.3 Point to point feature diagram

遍历P的每一个点，建立该点与P剩余所有点的点对特征，组成由点对特征索引的哈希表。随后，具有相似点对特征向量的模型表面上的点对被存储于哈希表的相同位置，可以通过使用点对特征作为访问哈希表的键，来获取键值（点对），至此就建立了一帧点云的全局模型描述，然后用同样方法建立另一帧点云的全局模型描述。

1.2.3 位姿聚类估计

通过搜索待匹配两帧点云中相似的点对特征完成点对特征的匹配。根据点对特征匹配结果计算投票值，进行位姿聚类，得票高者为最终位姿。利用1.2.2 节中建立的全局模型描述对两帧点云进行特征匹配，同时针对匹配的特征计算其相应的位姿变换T1，并对位姿进行聚类和投票操作，得票最高的为最终位姿。由此得到粗匹配结果。

位姿聚类是指将比较相近的变换矩阵（即位姿）对应的投票数量（即得分）取平均值，以消除相近位姿的影响，以此提高算法对位姿检测的稳定性。

投票操作是通过累加两点云中配对特征对应的位姿变换矩阵出现的次数，计算最终得票最高的即为粗配准变换矩阵。

1.3 场景点云模型精配准

将场景点云的颜色与几何信息参数化［36-37］，再用ICP 算法建立待匹配点云中的对应点集，然后将参数化后的颜色与几何信息整合到一起形成优化目标，计算优化变换矩阵T，同时在匹配迭代的过程中对点云数据采用“由粗到精”的方式进行处理。

1.3.1 颜色与几何信息的参数化

为了在优化过程中能够使用颜色信息，需通过一个连续函数YP(m)来量化点p的颜色信息

式中：p为场景P中的一个点；m为p点切平面上的向量；Y(p)为离散函数，表示从点云到颜色信息的检索函数；YP(m) 为其对应连续函数；tTp为YP(m)的梯度，可由临近点最小二乘法求出；同理，使用深度相机的连续深度函数JP(m)来量化点p的几何信息，即

式中：Op为深度相机原点；np为点p的法线。

1.3.2 精确对应点集的建立

在场景点云的颜色与几何量参数化之后，使用ICP 算法来对点云数据进行迭代计算。ICP 算法在每次优化迭代过程中，Tk是当前迭代循环中的变换矩阵，寻找两个点云P、TkQ中距离小于一定阈值的点作为对应点，随着迭代优化的进行，对应点的集合h也在不断更新。

式中：pt、qt为对应点，分别属于P和Q；ε为距离阈值；集合h为两帧点云之间的重叠区域的点。

1.3.3 优化目标的建立

建立精确的对应点集合h之后，将点云颜色信息与几何信息整合形成一个综合的优化目标为

H(T)=(1-ω)HY(T)+ωHJ(T) （10）式中：ω为权重函数；H(T)为整体优化目标；HY(T)为点云颜色信息的优化目标；HJ(T)为点云几何信息的优化目标。最小化H(T)，利用高斯牛顿法来计算点云变换矩阵T。

综合颜色与几何信息的优化目标表达式为

式中

式中：Y(q) 为点云颜色量化的非连续函数；b(q，T)=T(q)，是用矩阵T对q进行变换；对应点集之间的变换矩阵T可拆分为

式中θ=(e，g，i，x，y，z)；Tk为上一个循环的变换矩阵。当前循环的T可由θ的线性方程估算出，同时利用高斯牛顿法求解线性系统来计算θ［38］。

1.3.4 “由粗到精”的匹配迭代

匹配迭代过程中采用“由粗到精”的处理方式。即开始迭代时对较稀疏的点云进行优化，随着迭代过程的进行，点云的密度也在不断增加，这样不仅提高了效率，也减少了陷入局部最小值不理想状态的可能性。

目标函数是一个非线性最小二乘函数，可用高斯牛顿法进行求解。由于目标函数是非凸函数，容易陷入局部最小值的不理想状态。为了解决这个问题，需要设计由粗及细的目标函数优化算法。通过调整体素大小对数据进行稀疏采样并构建点云数据分层次模型，优化过程中通过粗优化的方法使配准更加平滑，既解决了局部最小值问题，也能指导用高斯牛顿法寻找全局最优解［39］。

1.4 多帧点云数据图优化重建

根据1.2节粗配准和1.3节精配准方法能够实现任意包含重叠区域的相邻两帧的点云数据的配准。顺序将深度相机采集的多帧点云数据的相邻两帧进行配准，即可完成飞机中央翼油箱的初步三维重建。

初步三维重建后，各帧点云数据之间仍然存在一定配准误差，为此引用一种图优化的全局优化方法［40］来优化重建结果。

图由节点和边组成，每帧数据作为一个节点，将有重叠区域的两个节点连接形成边，再基于重叠区域的每个点与k邻近点的平均距离和重叠区域的点对数量，对边进行加权，即

式中：W为边的权重；D为两个节点重叠区域的每个点与k邻近点的平均距离集合；n为两个节点重叠区域的点对数量；λ为0～1 之间的平衡参数，在实验中λ取0.7 时得到比较好的优化效果。

然后利用图优化初始重建结果，步骤为：

（1）用Kruskal 算法从图中提取最大生成树；

（2）将剩余边中权重最大的边添加到最大生成树中；

（3）对于最大生成树，每添加一条边至少形成一个回路，在新生成的回路中将该回路合并，形成一个新的节点N；

（4）合并后得到新的图，并计算出节点N 与其他有重叠区域的节点间的边权重；

（5）重复步骤（2～4），直到没有边可以添加到当前图。

按照图优化过程中所有节点的合并顺序将节点对应的点云用精配准方法配准，最后没有可添加的边时，将剩余节点对应点云全部配准，至此完成优化重建。

2 实验结果与分析

2.1 硬件设备和数据获取

利用深度相机伸入飞机中央翼油箱采集内部信息，获得带有颜色信息的油箱内部点云数据，这些片段点云数据将作为粗配准的输入。搭载深度相机的硬件结构示意图如图4 所示。

图4 硬件结构Fig.4 Hardware structure

图4 中深度相机在垂直方向的标称测量精度在0.1 mm 以内。同时，采集到的点云数据两点之间距离为0.286 mm（在焦距位置），工作范围（即物体距相机的最远与最近距离）为458～1 118 mm。该硬件结构可提供4 个方向的自由度，分别为三脚架的升降，伸缩杆的伸长和缩短，伸缩杆绕三脚架z轴的旋转，伸缩杆绕三脚架x轴的旋转（即伸缩杆可以俯仰）。利用该结构，可在飞机中央翼油箱内部采集点云数据，并保证所有相邻的两帧数据之间都有部分重叠，以此满足后续的点云配准要求。

图5 为实验中采集的某飞机中央翼油箱内部多帧点云数据。图6 为先后获取的两帧点云数据以及它们之间的重叠区域，两帧的重叠区域在配准后应该重合在一起。

图5 某飞机中央翼油箱多帧点云数据Fig.5 Multi-frame point cloud data of aircraft central wing fuel tank

图6 两帧点云数据以及重叠区域Fig.6 Point cloud data of two frames and overlapping areas

2.2 点云配准实验结果

2.2.1 配准结果对比

分别用Go ICP、经典ICP 以及本文方法对深度相机采集的中央翼油箱内部真实点云数据进行配准，对实测数据的配准结果对比如图7 所示，与理论模型的均方根误差量化结果如表1 所示。由图7 可以看出基于本文方法配准的视觉结果优于Go-ICP 和经典ICP 方法；由表1 可以看出基于本文方法配准的结果相对于另两种方法配准的结果有较大提升。

图7 真实数据配准对比Fig.7 Comparison of real data registration

表1 配准结果量化Table 1 Quantitative results of registration

2.2.2 配准消融实验

为验证颜色量参数化对配准效果的影响，将本文方法与无颜色信息方法在两帧真实数据上进行配准结果对比，对比结果如图8 所示。由图8 可见，两者在视觉效果上存在一定的偏差，无颜色信息的胶帽突起位置存在明显偏差，这是由于对应点集的点的差异和几何相似区域的差异较小，而且缺乏颜色等其他信息支持进一步分析导致的。这样的最终重建结果不仅不准确而且不稳定。

图8 消融实验结果Fig.8 Results of registration ablation experiment

如果使用颜色信息，配准后颜色的差异也将成为配准的重要指标。相似区域的颜色差异，有助于判别相似区域，有利于相似区域更精确的配准。因此，颜色信息在精配准中极为重要，颜色信息参与的精确配准能够使最后的重建结果更加精确和稳定。

2.3 三维重建结果对比

为验证本文三维重建的整体精度，实验中用深度相机采集了高精度制造的某中央翼油箱内部的真实数据，分别用本文方法与多视配准方法［41］进行了重建，并以三维重建点云的点到理论模型的平均距离作为量化判定指标，进行了量化对比分析。

两种方法对实测数据的重建结果如图9 所示。实验对象存在颜色变化和几何相似结构，本文方法考虑了颜色和几何信息，能够精准地重建三维点云，多视配准方法则存在偏差。图10 为本文方法重建结果和理论模型的误差对比图，从误差分布中可以看出大部分点的误差分布在±0.1 mm 以内。表2 为两种方法三维重建结果量化对比，其中本文方法三维重建点云的点到理论模型平均距离为0.095 mm，多视配准方法为8.816 mm，本文方法的三维重建的误差距离要远低于多视配准方法的误差，具有更高的三维重建精度。

3 应用场景

图9 真实数据三维重建结果对比Fig.9 Comparison of 3D reconstruction of real data

图10 误差对比图Fig.10 Results of error comparison

表2 三维重建结果量化结果Table 2 Quantitative results of 3D reconstruction

飞机中央翼油箱密封装配过程中，传统依靠人工检测的方法要检查密封涂胶胶体三维尺度和形状的符合性，对检测人员主观经验的依赖性较高，而且测量精度也不理想，已经难以应对新一代飞机对油箱密封涂胶精度要求达0.15 mm 的需求。本文方法的重建精度可达0.1 mm，能够提高检测的鲁棒性，满足新的需求，适用于新一代飞机油箱密封涂胶胶体三维尺度和形状的智能化检测，主要应用场景如下：

（1）利用重建后的模型对密封涂胶胶体三维尺度和形状进行分析，基于工艺规范确定的技术标准判定质量缺陷并进行直观的标示，同时主动提请关注或处理。

（2）对密封剂胶帽的点云进行单独分割，继而利用包围盒技术、三维模型比对技术等，实现满足不同测定需求的定量测量。

（3）中央翼是飞机主要承载结构的一部分，飞机的装配和使用过程中都可能会产生变形。通过对重建三维模型与理论数值模型的比较，可对密封胶的变形进行分析，以便进一步找出密封胶因结构变形而失效的区域。

（4）可拓展用于对空间狭窄、开畅性不足的区域中的多余物，如工具、金属碎片等的检查和处理，以预防潜在的损坏风险。

4 结论

本文根据飞机中央翼油箱内部涂胶质量检测需要，提出了一种基于深度相机的飞机中央翼油箱高精度三维重建方法，并基于理论分析和实验结果得到如下结论：

（1）本文方法能够解决含有重叠区域的点云配准的问题，可实现飞机中央翼油箱内部的三维重建，可应用于油箱内部涂胶质量检测等。

（2）使用基于点对特征的粗配准方法，能够准确提取出重叠区域点云特征，有效地获取了精配准的初始位置。

（3）结合点云颜色信息与几何信息的优化方法，使得精配准算法的稳定性得以提高。

（4）匹配迭代过程中对点云采用“由粗到精”的处理方式，提高了算法效率。