一种3D点云分割改进型边缘特征提取网络

向姝芬，毛 琳，杨大伟

(大连民族大学 机电工程学院，辽宁 大连 116605)

3D点云分割技术[1]已被广泛应用在无人驾驶场景中，现有点云分割算法大多以点云坐标信息为输入，利用边缘提取算法提取边缘特征，与全局特征融合获取分割结果，但输入的点云坐标信息数据量较大且具有无序性[2]，现有方法对边缘特征的提取能力有限，不足以获取完整的、表达能力较强的边缘特征，导致点云分割不精确，因此怎样获取较为完整的点云边缘特征成为热点问题之一。

点云研究初期，Li Y、Hao S等人提出Pointnet[3]，利用多层感知机(Multilayer Perceptron，MLP)提取特征，但只考虑全局特征的完整性，忽略了局部特征，致使点云特征提取不全。在此基础上，PointNet++基于分层抽取特征[4]的思想，单独处理局部中的每个点，有效利用局部信息，但没有考虑特征中心点与邻近点之间的距离和边缘向量，局部特征没有得到精细化提取，使得点云分割效果一般。为解决此问题，动态图CNN(Dynamic Graph CNN for Learning on Point Clouds，DGCNN)[5]和链接动态图CNN(Linked Dynamic Graph CNN for Learning on Point Clouds，LDGCNN)[6]利用对边缘特征的精细化处理，其中DGCNN基于边缘卷积算子，利用最值近邻算法(KNN)从点云中心点提取特征，再从其邻域提取边缘向量，在点云识别任务上获得了当时最先进的结果。但DGCNN网络依赖转换网络对点云进行旋转，使得网络模型相较于基础网络Pointnet复杂度增加，计算成本增大，同时在深度特征提取时无法提供有价值的边缘向量。进一步地，LDGCNN删除转换网络、减小网络模型的大小，用K-NN和共享参数MLP提取中心点及其邻居中的局部特征，链接来自不同动态图的层次结构特征优化网络体系结构，通过链接层次特征提取有用的边缘矢量，在Modelnet和Shapenet两个数据集上均达到了较为良好的效果。但在边缘特征提取过程中，原始点云信息没有得到保持，导致边缘特征提取不完整，影响分割精度。

为获取更丰富的边缘信息，本文提出一种3D点云分割改进型边缘特征提取网络(3D Point Cloud Segmentation Edge Detection Network Based On LDGCNN，ED-Net)，网络的基本结构为改进型边缘特征提取单元，受到Resnet[7]提出的Shortcut连接法启发，将MLP的输入与输出进行融合，获取更丰富的目标轮廓信息。采用该单元的复合形式——边缘特征提取单元复合结构，进一步增强点云目标边缘特征，同时保证特征后原始信息的完整性。该网络可以获取比较完整的边缘信息，有效提高点云目标边界分割的准确性。

1 ED-Net网络算法

LDGCNN网络的核心单元为边缘卷积层，边缘卷积层由KNN、MLP和池化层构成，如图1。边缘卷积层中KNN结构对点云数据进行处理，得到具备显著特征的关键点，MLP结构以关键点特征为输入，输出点云目标中的语义标签信息，采用池化层处理进一步获取最占优势的特征，最终输出经边缘卷积层处理后的点云特征矩阵。在边缘提取层中，MLP结构提取的语义标签信息对网络性能有较大影响，对该结构做进一步改进，有助于获取表达能力更强的点云特征，提升模型性能。

图1 LDGCNN中的边缘卷积层

1.1 改进型边缘特征提取单元

改进型边缘特征提取单元是边缘卷积网络的基本组成单位，它由主副两条干路组成，MLP所在的干路为主干路，捷径连接的干路为副干路，改进型边缘特征提取单元结构如图2。

图2 改进型边缘特征提取单元

该单元的数学描述如下：

(1)

(2)

(3)

边缘特征提取单元由前向网络(主干路)和捷径连接(副干路)构成实现。主干路执行网络功能操作完成萃取信息的过程，副干路通过恒等映射保留原始数据，保证下一级结构信息的完整性。改进型边缘特征提取复合结构如图3。基于复合单元1的特点，复合单元2能获得完整的输入特征，二者相结合作为改进型边缘提取模块的核心结构，两个单元的结合对原始特征的提取利用程度是衡量链式网络有效性的重要标准。为保证特征信息的有效传递，将复合单元2的主干路与复合单元1的输出主干路连接。

(4)

(5)

其中，MLP实现对融合后的y1特征的二次提取，得到更深层的提取结果。在第n单元中输出结果yn相当于yn-1在经过MLP的特征提取后再与自身融合的结果。复合单元n中接受了复合单元n-1中的特征yn-1，基于捷径连接结构，在传递过程中，特征得以完整保持，且借助MLP提取隐藏层特征，可实现特征进一步的加强深化，最终得到增强特征yn。

1.2 改进型边缘特征提取结构

改进型边缘特征提取结构由三个模块组成，分别是模块Ⅰ边缘特征预处理、模块Ⅱ边缘特征增强和模块Ⅲ最大池化层。改进型边缘特征提取结构如图4。

图4 改进型边缘特征提取结构

模块Ⅰ边缘特征预处理，输入的点云信息通过KNN搜索，更新边缘各点之间的连接关系，对输入点云矩阵进行聚类，构造局部有向图，得到含有边缘特征信息x0的局部有向图Tpart(DV,DE)。

模块Ⅲ则是对局部边缘图提取最具优势特征：

Li=fe(Tpart(pi,ei))=max{h(pi,ei1),h(pi,ei2)} 。

(6)

式中：pi是中心点；ei是边缘向量；fe是特征提取函数。在此使用最大池化运算，利用模块Ⅱ边缘特征提取单元得到的隐藏层特征向量h(pi,eij)，从局部边缘图中提取最大特征Li。

1.3 ED-Net网络算法步骤

基于Pointnet和Pointnet++在点云分割上的优势，将LDGCNN网络边缘特征提取层中的卷积等效为MLP，构建完整的点云分割网络体系，在相同周期内提高分割精度，提升点云分割的整体质量，整体网络结构如图5。

图5 ED-Net网络结构图

算法实施步骤如下：

第1步：输入点云三维坐标，通过KNN构造一个局部有向图，并在局部有向图中找出最占优势特征点；

第2步：改进型边缘特征提取模块对含有最占优势特征的输入点云信息进行边缘特征的提取，获得最占优势的边缘特征；

第3步：将提取出的最占优势边缘特征通过共享MLP与全局特征进行融合，将融合特征信息送入MLP中计算分割分数，输出点云分割结果。

2 实验结果分析

本文在Tensorflow实验平台上，使用2张GPU训练点云分割网络模型。ED-Net训练网络模型相关参数设置见表1。点云分割采用的是Shapenet[8]零件数据集，包含来自多种语义类别的3D模型，这组数据集为每个3D模型提供许多语义标注，已经索引超过300万个模型，其中22万个模型被分为3 135个类别。在该实验中用到该数据集的16个类别模型，由16 881个CAD模型组成，共用50个部分进行注释。

表1 ED-Net训练网络模型相关参数设置

为评估算法的实现，体现该算法对零件目标的分割效果，将每个类别模型的IoU值及其平均值作为衡量标准检验分割精度。IoU是一种测量在特定数据集中检测相应物体准确度的一个标准，其值越高，代表分割质量越好，算法性能越优，仿真结果对比见表2。

表2 ShapeNet数据集上的仿真结果

续表2 ShapeNet数据集上的仿真结果

仿真结果表明，改进型边缘卷积网络的平均IoU在第180周期为81.93%，高于作者LDGCNN同周期的80.76%，精度提升了1.17%。同周期平均IoU对比见表3。

表3 LDGCNN和ED-Net 180周期时平均IoU值对比

LDGCNN网络和ED-Net网络对同一组输入点云模型的可视化对比如图6，其中(a)～(e)的5组点云GT来自ShapeNet数据集。输入相同点云类别模型，ED-Net能获得更准确的边缘信息，目标轮廓更清晰、显著；其中真值对比更直观地显示对于轮廓更复杂的样本模型，比如摩托车坦克等样本，ED-Net对样本的边缘特征更敏感，边缘刻画更加细致，获得的特征质量更高。

图6 不同网络模型可视化结果对比

3 结 语

针对3D点云对边缘特征提取不完整导致分割精度不高的问题，本文提出ED-Net网络算法，以改进型边缘特征提取单元为核心，将单元内部MLP通过捷径连接的方式进行连接，由此继承不同层次的点云特征，实现网络结构深化和特征的多角度增强，使边缘特征信息更丰富，有效提高了3D点云的分割精度。ED-Net为无人驾驶识别边缘特征提供了一种新的思路，在相同周期内提高了识别精度，使点云分割算法能更好地应用于无人车自主驾驶等场景。