基于DCGAN 的点云滤波方法

刘春义，王 军，2

（1.苏州科技大学 电子与信息工程学院，江苏 苏州 215009；2.中国科学院 长春光学精密机械与物理研究所，吉林 长春 130033）

0 引 言

点云是用来描述三维空间信息的一组数据，点云的获取是实现三维重构的重要环节[1-4]。点云采集中难免会出现一些噪声和离群点，而这些干扰会对重构结果造成很大的影响。在降低噪声和离群点对重构效果的影响过程中，点云滤波是数据处理的关键，滤波结果将直接影响生成模型的准确性与精度。可将滤波方法分为传统的基于模型的滤波方法以及基于深度学习的滤波方法[5]。在传统方法中信号处理方法也可以扩展到点云过滤，受傅里叶变换的启发，利用光谱技术对点云进行筛选。文献[6]应用离散傅里叶变换获取点云的光谱分解，利用维纳滤波器对频谱进行处理。基于深度学习的点云滤波中常用的基础网络模型包括自编码器（Autoencoder, AE）、卷积神经网络（Convolutional Neural Network, CNN）和对抗生成网络（Generative Adversarial Network, GAN）等[7]。文献[8]设计了一种用于点云滤波的GAN 扩展网络，该网络由发生器将原点集映射为完全清晰的点集，而鉴别器则用于区分生成数据与实际数据。

上述方法均有良好的滤波效果，但传统方法的滤波效果与速度仍可以进一步提高；深度学习方法存在模型难以收敛的问题。针对上述问题，本文提出一种新的应用于建筑物三维模型重建的滤波方法，与传统的滤波方法相比，本文提出的方法具有较高的运算效率。

1 点云滤波方法设计与实现

在实际应用场景中，所获取的三维点云图像具有更规整的特征，而噪声和离群点的分布与其相背离。通过提取点云的特征值，计算出点云的熵，然后根据熵值和特征值对点云进行维度分类，并且滤除高熵点做初步滤波。对标记后的点云使用DCGAN（Deep Convolutional Generative Adversarial Network）进行滤波，进一步滤除点云中的噪声。

依据上述思路，设计的方法流程如图1 所示。

图1 方法流程图

1.1 协方差特征

协方差特征是通过三维分布的协方差矩阵计算出的，代表了点云本身的局部几何行为。利用PCA（Principal Component Analysis）统计分析，可以从协方差矩阵中求得三个特征值（λ1，λ2，λ3）表示局部三维结构，测量局部点集沿相应特征向量方向的变化。因此，PCA 定义了围绕定义的邻域中心的点分布变化的主方向（三个正交的向量）和点分布变化的特征值围绕定义的邻域中心（质心）。在三个方向上的这些量的组合返回一些形状描述符，用于定义线性、平面的邻域散射行为。这些局部三维形状特征称为协方差特征，其几何性质与数学公式关系如表1 所示。

表1 几何性质与协方差特征

为了测量各向同性球面邻域的不可预测性，使用熵函数对每个点属于三个不同维度类别（1D、2D、3D）进行标记。其关系式如下：

式中：E表示特征熵；σ表示标准差。

低熵值表明当前维度比其他维度占优。当σ1≫σ2，σ3时，则a1D大于其他两个概率，因此邻域将被标记为线性。另一方面，如果σ1，σ2≫σ3～0，那么a2D是普遍的，邻域将被认为是平面。最后，如果σ1～σ2～σ3，则各向异性将更好地表示局部几何[9]。

1.2 基于DCGAN 聚类

1.2.1 GAN 网络

生成对抗网络是由生成器G 和判别器D 两大部分构成的深度学习网络。生成器G 将输入的随机噪音信号转换为图像资料，并加以分析。然后，判别器D判定该采样是训练数据还是生成数据，并给出对应的可能性；两者之间通过极大极小的博弈不断优化更新，从而达到纳什平衡。GAN 的网络结构形式如图2 所示，生成器G 将输入的随机噪声生成虚拟图像minG(z)，判别器D 从由实际数据集和生成器G 产生的数据融合的数据集合中随机获得输入，输出样本由真实数据集的单一概率值提供。训练过程中，判别器D 要尽可能地将正确的标记指定给真正的数据并产生数据，生成器G 则要尽量产生类似于实际数据的图像，使判别器D 不能识别，损失函数为：

图2 GAN 结构图

式中：x为实际数据；z为随机噪声的输入；D(x)为x从实际数据中得到的可能性；Pd(x)为真实样本数据；Pd(z)为生成样本数据分布；是判别器目标函数，判别器需要最大化预测概率；是生成器的优化函数，生成器则需要最大限度地减小判别器的极大值。

1.2.2 DCGAN 网络

DCGAN是CNN（Convolutional Neural Network）和GAN的结合，在生成模型引入卷积网络，代替GAN 的生成器和判别器并且进行无监督训练。该模型充分利用了卷积网络中的特征抽取特性，从而有效地改善了生成网络的学习性能。

DCGAN 在原始生成对抗网络模型上的主要改进为：

1）生成器和判别器结构去除了卷积网络中的池化层，但是它的识别部分继续保持了卷积神经网络的总体结构，在生成程序中使用了反向卷积层。

2）将批量归一化（Batch Normalization, BN）层应用在判别器和生成器的各个层上。这是一种在卷积层之后经常使用的标准化算法，可以使网络收敛。

3）删除全连接层。全局均值池化可以帮助模型稳定，但会导致模型的收敛速率下降。

4）生成器除了输出层使用Tanh 函数外，其余层均采取ReLU 函数。

5）判别器所有层的激活函数均采取Leaky ReLU函数。

DCGAN 模型的损失函数为：

式中m为样本个数。

通过引入JS 和KL 散度[10]来验证方法可行性，可得：

其中：

式中C(G)为生成器的积分表达式。

根据散度定义可知，当噪声样本Pz(z)的数学分布等于真实数据分布，KL=JS=0 时，G 网络的最小值都是-lg 4。同理，可得JS 散度为：2JS( ‖PdataPg)-lg 4，其中Pg为噪声分布。从这一点可以看出，当选择了最优的参数时，生成器也可以无限地逼近极小值。这表明，在此约束条件下可以实现纳什均衡，因此DCGAN 用于数据增强的方法是可行的。

2 实验与分析

为验证本文方法的性能，主要从方法的效果以及耗时两方面与传统方法进行比较。使用RS100 激光雷达获得建筑物的点云数据集并在Windows 10 操作系统下利用PCL 进行。

采用的激光雷达主要参数为扫描速度、扫描范围以及工作温度。该雷达每秒可以获取65 万点；能够水平旋转360°，垂直旋转285°。最低工作温度-30 ℃，最高60 ℃。方法在Windows 10 操作系统下运行，主要硬件参 数 包 括Intel Core i7-12700 型CPU，64 GB RAM，NVIDIA Quadro RTX 3070Ti 型GPU。

通过激光雷达采集了1 500 幅点云图像，将其中随机900 张图像作为网络的训练数据，训练参数设置如表2 所示，生成器与判别器的学习率为0.000 02，批次大小是128，训练迭代2 000 次。

表2 训练参数

在采集到的点云图像中随机选择150幅作为实验对象。首先对获取的点云进行了维度标记，如表3所示。建筑物的平均数量为18 651 873 pt，其中1D有4 476 422 pt，占比24%，2D最多有12 123 721 pt，占比65%，11%的点被标记为3D，有2 051 730 pt。

表3 点云维度标记

实验结果如图3、图4 所示。图3a）为未经处理的数据。可以看到模型的边缘有脱离主体的小聚类噪声，而模型内部窗口的边缘拥有锯齿状噪声。图3b）为半径滤波方法处理后的模型，从图中看出几乎没有滤波效果。图3c）为统计滤波方法，结果表明该方法具有一定滤波效果，模型右下角脱离主体的噪声块被滤去；但是内部窗口部分的噪声因为距离模型较近而被保留下来。图3d）为本文滤波方法，与图3a）对比，很明显看到不仅脱离模型的噪声被滤去，内部与模型相近的噪声也被除去。图4a）为原始数据。图4b）是经过半径滤波的数据，该方法只是滤去零星的散点。图4c）是统计滤波处理的数据，该方法不仅滤去了零星的散点，还滤去了脱离主体的小聚类噪声。图4d）为本文滤波方法，不仅过滤掉散点以及小聚类，而且除掉了靠近房间的噪声块。

图3 楼宇外侧滤波效果

图4 单个房间滤波效果

从滤波效果上看，本文算法不仅可以很好地去除模型中的小聚类、边缘的离群点等噪声，还可以去除靠近模型主体的噪声；半径滤波器的滤波效果几近于无，不能满足要求；而统计滤波器的滤波性能也不理想。

就算法时效性而言，从图5 可以看出，与传统的半径滤波器、统计滤波方法相比，本文方法所需的时间更短。通过图3可以计算出平均耗时见表4。半径滤波方法平均消耗119.79 ms，统计滤波方法平均消耗50.68 ms，本文方法相比其他方法迅速，平均耗时20.66 ms。本文方法比传统的半径、统计滤波方法快了5.8 倍、2.5 倍。传统的半径滤波和统计滤波算法都是逐点取样，因而计算时间比较长。

表4 不同算法的平均耗时对比 ms

图5 不同方法耗时对比

本文算法采用了一种新的判断噪声的方式，通过计算点云的熵值来确定点云的维度，并且将高熵点确定为噪声；然后对标记后的点云应用高效的深度卷积生成对抗网络，通过深度学习方法训练模型，并将其中的块噪声和异常点进一步剔除，从而提高了算法的精度与运算效率。

3 结 语

在点云数据处理中，点云过滤是最重要的一步，其滤波效果对后续处理的准确性有很大的影响。针对点云滤波方法存在滤波精度低、耗时长等问题，本文主要完成了以下工作：利用激光雷达获取点云数据；对点云数据进行初步处理；训练DCGAN 模型并处理数据。本文工作对点云滤波研究有很大的应用价值，实验结果表明，该方法具有较好的滤波性能。与传统的半径滤波算法、统计滤波算法相比，本文方法不止拥有理想的滤波效果，而且滤波时耗分别降低了5.8 倍和2.5 倍。但是本文方法也有自身的缺点：只能对静态物体进行降噪的三维重建；本文方法采集到的点云数据在一定程度上受到采集设备的影响。因此针对动态场景三维重建的点云滤波也是接下来研究的方向。