基于卷积神经网络的航空零件去噪技术

赵安安，郑 炜，郭俊刚

(航空工业西安飞机工业(集团)有限责任公司，陕西 西安 710089)

近年来，三维激光扫描技术因为具有实时性强、精度高、无损检测等优点，在航空领域的应用越来越广泛。利用三维激光扫描技术对航空零部件进行测量分析，是航空领域高精度测量的趋势。然而，受测量环境、设备等因素影响，获取的三维点云往往存在一定的噪声，目前针对航空零部件三维点云噪声的处理仍处于起步阶段，还无法满足航空业高效率、高精度的要求。

针对点云去噪问题，国内外诸多学者研究出了许多优异的算法[1-3]。Alexa等[4]引入点集曲面(point set surfaces，PSS)的思想，提出了将点投影到最小二乘(moving least squares,MLS)曲面的去噪方法。在此工作的基础上，后续又提出了一些扩展和改进，包括模型表面的显示表达[5]、尖锐特征的处理[6]，以及模型表面的隐式表达，即从输入点到曲面表面的有符号的距离场[7-8]。牛晓静等[9]为了尽可能地保持输入点云的特征信息，提出了一种自适应密度聚类与双边滤波融合的三维点云去噪算法。针对输入点云中的多尺度噪声，袁华等[10]提出了一种基于噪声分类的双边滤波点云去噪算法。在点云深度学习去噪方面，近年来也出现了一些开创性的工作：Riegler等[11]提出了一种用于非结构化点云识别的KD网络；Fan等[12]引入了卷积神经预测网络用于从给定的单个图像中提取点云特征；Lin等[13]提出了伪渲染器，作为真实渲染操作的近似，可从单个图像生成3D点云。

综上所述可知，虽然国内外很多学者已经致力于保持特征的点云去噪算法的研究，但由于航空零部件三维扫描点云本身的复杂性以及特征尺度的多样性，使得在去除噪声或者几何特征的同时保持模型的结构性特征仍是一项极具挑战的问题，目前的去噪算法未能取得令人满意的效果。为此，本文利用卷积神经网络强大的模型拟合能力，提出了一种基于高度图的深度学习点云去噪方法，以便在有效去除噪声和一些大尺度几何特征的基础上，保留三维模型的结构特征。

1 样本生成及标注

基于主成分分析法(principal components analysis，PCA)，对空间点pi生成高度图，以表达其三维几何信息。基于pi的空间邻域点集χ，首先构造协方差矩阵Ci，并求解其特征值λ1，λ2，λ3及对应的特征向量μ1，μ2，μ3，其中λ3≤λ2≤λ1。

(1)

式中：|χ|表示邻域点集χ中所包含的点数。以求解得到的特征向量μ3为平面法向量，构造点pi的二维投影平面P，并将其划分为m×m(取32×32)的规则网格。其中投影平面的x轴和y轴分别为向量μ1和μ2，如图1(a)所示。针对邻域点集χ中的每一个点pj，沿向量μ3向投影平面P进行投影，计算对应的像素坐标cj，cj=(xj,y)，并以点pj到平面P的高度值作为cj的像素值Hj。

图1 高度图生成

(2)

Hj=(pi-pj)·μ3

(3)

式中：r为邻域点集χ的半径(设置为点云数据Ψ平均距离raverage的5倍)。若投影平面中一个像素格内有多个点投影，则只保留投影距离|Hj|最小的点，并将其高度值|Hj|作为该像素的像素值。基于上述方法，本文初步获得了点pi对应的高度图，如图1(b)所示。

一般情况下，邻域点集χ所包含的点数小于m×m，进一步对获得的高度图进行高斯插值，对高度图进行填充，如图1(c)所示。

(4)

进一步地，为保证点云高度图的旋转不变性，针对训练集中的每一个点pi生成的高度图，以μ1,μ2,μ3为x，y，z轴建立局部坐标系，并将标注好的法线标签转换到局部坐标系下，转换方程如下所示：

(5)

2 基于卷积神经网络的法线估计

本文的法线估计网络采用LeNet网络[17]，结构如图2所示。LeNet网络是二维图像处理领域的经典算法，它包括3个卷积层、2个池化层和2个全连接层。以生成的高度图为网络输入，经LeNet网络预测法线，输出3×1维法线向量。训练过程损失函数设计如下：

图2 LeNet卷积神经网络结构图

(6)

式中：L为损失函数；Q为输入点云集合，包含训练集数据中所有点；npi为LeNet网络预测的法线向量。在法线预测过程中，针对被测点pi，LeNet网络输出的3×1维法线向量，与矩阵[μ1,μ2,μ3]相乘后，即可得到点pi在全局坐标系的预测法线。

3 点云去噪

在测试阶段，基于LeNet网络预测的法线信息，进一步对噪声点云进行点位更新，从而实现去噪。给定测试模型T的一点pt，通过KNN检索获取其局部邻域点集Φ(检索半径为点云平均距离的3倍)。应用位置更新算法[15]对pt的位置进行更新，更新方程如下：

(7)

4 实验结果及讨论

本文在多个航空零件中对所提算法进行测试，并且将其与目前最常用的相关法线估计算法进行比较，如PCA[18]、双边滤波算法[19]等。此外，还将本文方法与当前的点云去噪方法进行了比较，如鲁棒隐式移动最小二乘法(robust implicit moving least squares，RIMLS)[20]和改进加权局部最优投影(improved weighted locally optimal projection，WLOP)[21]等方法。

4.1 法线估计有效性验证

如图3所示，PCA是将局部点云数据拟合成一个局部平面，并以该平面的法线表示局部点集中心点的法线。因此，它所估计的法线容易钝化机械零件边界特征；双边滤波算法适用于机械模型，但容易过度锐化某些区域，尤其是圆柱状区域。相比之下，本文方法使用卷积神经网络预测点云法线，通过深度学习从点云局部结构中获取空间特征，得到了最好的法线结果(误差最低)，见表1。

图3 两个模型法线估计结果

表1 图3中点云的法向误差(以弧度表示的均方角误差)

4.2 点云去噪有效性验证

基于卷积神经网络预测的法线信息，应用位置更新算法[15]来对点云进行去噪，且法线估计越准确，去噪效果越好。如图4所示，RIMLS[20]和WLOP[21]均容易钝化机械零件的尖锐特征，其中WLOP结果钝化现象尤为严重。与目前常用的去噪算法相比，本文的去噪算法获得了最好的实验结果。图4中，第1行为上采样滤波结果，第2行为曲面重建结果，平均距离Raverage从左至右依次为0.004 4，0.003 6和0.002 3。

图4 带噪声的机械零件点云的滤波效果(1%的噪声)

除了合成模型外，还对由handy700扫描获取的真实航空零件模型进行测试。如图5所示，本文方法的去噪结果优于其他方法。

图5 带噪声的真实航空零件点云的滤波结果(1%的噪声)

5 结束语

本文提出的基于卷积神经网络的航空零件去噪技术，实现了航空零件点云快速、高效的去噪处理，保证了零件的检测质量和精度。目前，对于结构复杂的航空零件的去噪，高度图仍然存在无法准确反映零件局部结构的问题。如何准确高效地对复杂结构零件进行去噪，是本文后续研究的方向，其中用PointNet[22]网络提取点云特征，可能是一个解决该问题的方向。