基于PointCNN的车载行道树点云分割方法

孙国强 庞 岩

(1.上海市测绘院, 上海 200063;2. 自然资源部超大城市自然资源时空大数据分析应用重点实验室, 上海 200063;3. 五图街道办事处, 山东 潍坊 262405)

0 引言

行道树数量大、空间分布复杂,利用传统人工方法获取行道树信息工作强度大、效率低,车载移动测量系统能够快速获取道路点云信息,利用点云获取行道树信息,能够有效改善工作效率以及强度[1]。判断地物类别中使用神经网络,使研究更智能化,近年来针对点云数据特征的研究也有一定进展。Maturana等[2]的思想为将点云投影转为二维,再使用传统卷积,但是受到点云密度不均匀的影响,处理中容易造成部分信息丢失。Yi等[3]对三维点云的分类思想是将三维点云投影到二维图像中,再对于投影后的数据使用二维卷积网络。点云网络(PointNet,PN)[4]的提出是对于三维点云处理的一个新的高度,因为此网络可以直接针对原始点云进行分类操作,其利用最大池化实现应对点云的无序特点,完成无序点云的有序处理。后来针对PointNet欠缺对局部特征的提取的问题继续提出深度点云网络(PointNet++,PN++)[5],该算法设置层次卷积框架,采集的点云通过不同层次,通过对点云进行局部划分、局部特征提取做了改进,令框架的特征获取效率大幅提高。Yang等[6]对于三维点云数据中不能直接使用卷积而创新性地提出X变换解决点云的无序性问题,效果提升很多,这种解决办法的框架命名为点云卷积网络(Point-CNN)。

分类方法的重点就是对关于目标重要特征的区域划分方式和特征获得方式[7],但移动测量获取的点云数据分布不均匀,整体稠密或稀疏不一。卷积方法虽然在二维数据的分类中常用,但应用于三维的点云数据分类中会导致采样不均[8],也就导致不能实现地物点云特征的高效提取,同时也会由于所采集的海量点云的密度差距,对于稀疏部分采用卷积方法易产生资源的浪费。本文尝试以PointCNN为基础对车载移动测量系统采集的道路场景行道树点云数据进行分割实验,为行道树点云几何信息的提取基础数据。

1 方法与原理

PointCNN针对三维点云数据无法正常卷积的异常问题,提出采用X-变换[6]来解决卷积问题。假设有三个区域,其中区域1与区域2的区别是两者有着有不同的形状但顺序相同,而区域2与区域3的不同点是点集的顺序不同但形状相同。式(1)表示对以上区域的卷积处理过程：

(1)

针对这一情况PointCNN提出X-Conv操作,得以适用于点云数据：卷积中先从前一层的数据中取出准备点(P1,P2,…,Pn),将其导入多层感知器(multilayer perceptron,MLP)[9]来学习一个N×N规格的变换矩阵,如此变换如式(2)所示。

(2)

再利用此矩阵对上一层的特征实现变换,并对此时的特征展开卷积。式(3)为卷积之后的结果。

(3)

式中不同的输入顺序,对应不同X变换矩阵,X1、X2、X3是从不同形状中学习得到的变换矩阵。通过变换矩阵的处理后卷积结果可以让f1≠f2,而且在大多数情况下实现f2≡f3。继而不会出现异常状况,获得所针对目标正确的信息。如此便实现了数据的规则化。

为了学习得到足够的特征,PointCNN通过多级卷积可以训练获取所针对目标更为全面的信息,再通过连接全连接层分析得到拟合损失[10]。图1是本文语义分割行道树点云方法中所使用训练框架的简略图。

图1 PointCNN采用的架构

将车载移动测量系统实际作业后得到所量测环境和目标的三维点云,然后输入所获得的数据经过PointCNN特有的“规则”操作后,得到可以用于正常训练的样本,再将大量的训练样本输入PointCNN框架中进行训练,随着每一层的映射,点的数量会越来越少,而每个点的特征会越来越多[11],模型可以学习得到足够的特征,进而训练出后续提取分割行道树所用的模型。通过这些点的三维坐标位置、灰度、回波强度等特征[12]信息来显示物体的结构特征,按需求可以增加相应点的强度等作为其他维属性。

2 行道树分割实验

2.1 方法路线

欲实现基于PointCNN的行道树语义分割,首先要对所获取数据进行预处理[13],包括对于点云数据的零均值归一化处理和重采样。

完成这些处理工作后进行样本制作、深度学习模型训练、判别行道树分类、获取分类成果。该环节的流程如图2所示。

方案一 （PPS含基布滤料）试样针刺工艺路线如图1；方案二、三 （PPS无基布滤料）试样针刺工艺路线如图2。

图2 行道树点云分割方法路线

首先将部分道路环境中行道树目标的点云数据集进行人为标注,为的是分辨标记出行道树点云与非行道树点云并作为样本;然后将其转换为可供PointCNN输入后读取的源数据格式。此时要想PointCNN的运行适合本文实验的研究平台,需要改善调整PointCNN算法运行中的某些训练参数,使其适用于道路环境下三维点云数据集的训练和分类;然后使用调整后的PointCNN算法对训练集与测试集分别进行框架训练与提取实验。利用该行道树目标模型对所有道路环境下点云数据开展识别和分割操作,即将场景点云划分为行道树点云与非行道树点云两类。

2.2 实验设备与数据来源

本文实验设备是利用车载移动测量系统对实验区进行数据获取作业。实验地点位于青岛市黄岛区,实验区域包含大量的行道树和路灯、交通信号灯、交通指示牌、景观林等其他地物数据。

本实验从研究区域中选取青云山路与青龙河路交叉路段当作训练集,另外渭河路部分路段作为测试集A和前湾港路部分路段作为测试集B。图3中展示了实验区域中训练集、测试集的总体点云数据。

(a)青云山路和青龙河路交叉路段

2.3 行道树分割实验

本次实验使用点云后期作业软件VSursPROCESS对每个目标数据集的点云进行人工标记,形成本次测试所需样本,用于分类模型的训练以及语义分割方法效果的测试。图4展示了模型训练时所用的部分行道树样本。图中可以看出A类行道树样本均为独立且完整的树木,B类为两类其他样本：B1类是树冠或者树干不完整的行道树,B2为相连行道树。

利用VSursPROCESS软件对某棵属于完整行道树点云进行标记,将道路环境下所采集的点云数据划成为行道树与非行道树两类,三组实验数据的属性值进行按类别标把本次实验对象行道树类别的点标为1,非行道树类别的标为0。

具体参数包括类别数量设置为2,批处理参数根据训练集大小以及计算机性能设置为2,根据实验场景点云特征临近点数量取1 280、采样距离取0.3 m、PointCNN模型的训练次数设置为8 000次等,一般来说算法模型的训练量越大[14],后期目标种类辨别的精准度也会越高,但与此同时对应的拟合时间也会同比例增多,部分参数的选取在下一节有所讨论和分析。

3 行道树分割结果与分析

3.1 评价方法

对于本次分割算法实验,精度评定采用点云分类精度指标IOU[15]评价。

IOU为交并比,用于在深度学习算法中判断预测值与真实值的相似程度,IOU值越大,代表相似程度越高。如图5所示,假设A为进行检测后输出的预测框,B为对数据集进行标注时的标注框,IOU可以用来衡量他们之间的重叠程度,此处的IOU就是图中阴影部分面积比整个AB组合的面积[9]。

图5 交并比示意图

本此精度评价指标的IOU值的计算如式(5)所示。

(5)

式中,a代表预测值与真实值均为1的点数;m代表真实值为1的点数;n为预测值是1而真实值为0的点数。

3.2 精度分析

本次实验数据全部设置为复杂地物道路场景,场景中有3组实验区域,其中1组训练集,2组测试集。经过对本次实验准备的训练集数据的学习训练构建而成的训练结果并对测试集进行分割实验。图6分别为测试集1、测试集2的分割效果。

(a)渭河路行道树点云

从分割效果图中可以发现,本文方法基本能将行道树点云从各类地物点云中分离出来,但是由于本次实验未做景观林样本,并且景观林中有少许独立树木特征与行道树相近,所以部分行道树附近的景观树被误分为行道树,其中渭河路路段比前湾港路路段有更多的景观树被误分为行道树。而且本次实验未做路灯、广告牌等其他杆状负样本,而对于路灯穿插在行道树树冠当中的情况分割难度较大,实验结果表明前湾港路路段比渭河路路段有更多的穿插在行道树树冠当中的杆状物被误分为行道树。再有由于扫描过程中存在遮挡,车载移动测量在采集信息中对于少数游离行道树只获得了极少部分树干或者树冠的点云,这样存在少量的残缺树木深度学习未能识别,导致漏分情况。除少部分错误分割外,该方法可以实现分辩行道树与非行道树的工作且效果良好。实验中在某些状况下PointCNN会出现行道树的误分和丢失,不过对于整体精度影响不大。

分割准确度[16]的检测方法是将PointCNN算法训练8 000次得到的训练模型对测试集的训练结果与测试集的人为判读结果进行比较分析,展示对于渭河路路段和前湾港路路段两个试验地域的实验中正确分割情况所占的百分比,具体分割准确度的检测方法的结果如表1所示。

表1 PointCNN算法精度评定

根据PointCNN算法精度评定,本次两组实验的结果交并比分别为86.89%和84.33%,相对于目前PointCNN的应用研究来说,本次实验的实现效果良好。

3.3 相关参数的研究分析

通过对PointCNN深度学习算法相关参数的分析与讨论,使其可以更有针对性地应对道路场景下行道树点云处理问题,进而使训练及分割的速度、效果更好。相关讨论在两段测试集上进行。

(1)训练次数。训练次数过多或者过少都会影响算法的收敛速度,不利于在实验环境下实现较好的效果。对此,想要研究多种情况下的训练次数对行道树提取准确度的影响。

在实验中,以300、500、1 000、3 000、5 000、6 000、8 000、10 000为实验的训练次数分析IOU结果。实验结果如图7,可以表明IOU最大值随着训练次数的增多不断增大,8 000次基本达到最大化,此时两个数据IOU最大值分别为86.89%、84.33%。

图7 训练次数对实验影响

(2)临近点数量。临近点就是选取点云中每个点附近n个点作为第一层输入层的输入值。临近点数量设置过多同样不利于算法的收敛速度,容易过拟合影响训练效果,进而影响训练速度和效果。以256、512、768、1 024、1 280、1 536、1 782、2 048为实验的临近点数量,实验结果如图8所示，可以表明IOU最大值随着选取临近点数量的增加不断增加,训练时间也逐渐增多,通过结果图可以表明临近点选取为1 280后效果提升幅度提升很小,但训练速度变长,为了保证训练速度以及防止过拟合情况所以选取1 280更为合适,此时两个数据IOU分别为86.38%、84.82%。

图8 临近点数量的影响

4 结束语

本文基于PointCNN深度学习算法对道路环境下行道树点云的语义分割方法,能够在道路场景中完成行道树与其他地物的分类,实现行道树点云的语义分割。为了评估该提取方法的有效性,本文选取了总共三个道路路段为实验区域进行实验及结果分析。实验结果表明,本文提出的方法在分割行道树与其他地物的实验中具有较高的分割精度。但是本文的训练样本较少,只对区域内单一的行道树树种分割效果较好,如果区域内为树群以及多种树种时,将会大大影响分割效果,下一步将会丰富样本库,提高算法的适用性。