几何特征与神经网络联合优化的室内三维点云语义分割方法

姚萌萌,李晓明,王伟玺,谢林甫,黄俊杰,黄鸿盛,汤圣君

(1. 深圳大学建筑与城市规划学院智慧城市研究院,广东 深圳 518061; 2. 自然资源部城市国土资源监测与仿真重点实验室,广东 深圳 518061; 3. 粤港澳智慧城市联合实验室,广东 深圳 518061)

随着激光扫描、深度传感器的快速发展,室内高精度三维点云数据的获取越来越便捷,对点云数据的语义信息提取逐渐成为支撑各类面向室内空间应用的关键[1],如室内导航[2]、室内机器人[3]和增强现实[4]等。因此,如何实现室内三维点云的精细化语义分割逐渐成为该研究领域的热点问题[5]。

传统的三维点云语义分割通常基于点云的几何特征进行,如基于滚动圆的边缘检测算法[6]、分割论与区域增长相结合的数据分割方法[7]、法向量与颜色聚类的点分割方法[8]和随机采样一致性的平面分割方法[9]。而随着卷积神经网络(CNN)在二维图像上取得的巨大进步,越来越多的学者逐步开始利用各种改进的神经网络对三维点云数据进行研究,如Squeeseseg[10]、O-CNN[11]、MVCNN[12]、PointNet[13]、PointNet++[14]等神经网络。

基于几何特征的分割方法可以快速有效地获取平面结构,通过聚类算法可以准确地将不同类型要素分割开,然而这类方法依靠几何信息仅能进行简单的语义分割,如墙面、地板、天花板等,难以对结构复杂的桌椅等要素进行识别。而基于深度学习的分割方法,依赖大样本数据进行训练,可以实现场景的不同类型要素的语义分割,但受限于样本数量和质量,其分割主要以局部特征作为依据,导致其语义分割模型泛化能力较弱。针对上述问题,本文充分考虑两类方法的局限性和优势,拟利用深度学习的三维点云语义分割框架初步获取室内点云各部件语义信息,并结合点云几何特征的传统点云分割方法对语义结果进行再优化,以期获取室内高精度三维点云语义分割结果。

1 室内点云语义分割优化方法

该方法首先通过深度神经网络对目标点云进行初分割,获取具有语义标签的“深度学习语义分割点云”;然后在此基础上,采用几何特征约束的分割方法对原始点云进行精细分割,得到不含标签信息的“几何分割点云”;最后基于概率模型,将“深度学习语义分割点云”与“几何分割点云”进行交叉融合,实现语义分割点云的整体优化。整体流程如图1所示。

图1 几何特征与神经网络联合优化流程

1.1 深度学习语义分割点云

在深度学习部分,本文采用RandLA-Net[15]框架实现点云的初步分割,该网络采用随机降采样高效处理大规模点云数据,同时引入局部特征聚合模块降低随机降采样造成的点云几何特征丢失问题。

随机降采样:从N个点中均匀选取k个点进行随机抽样,得到降采样后点集P。该方法计算效率与输入点个数无关,只与设置的选取点数K有关,公式为

P={N1,N2,…,Nk}k∈N

(1)

局部特征聚合:由局部空间编码,注意力机制池化和扩张残差块3部分组成。首先,利用基于欧式距离的近邻算法(KNN)对临近点进行聚合。对于中心点的K个近邻点进行相对位置编码,公式为

(2)

本文利用RandLA-Net神经网络初步获得深度学习分割点云。其中,分割结果包含13种类别。如图2所示。

图2 室内部件类别

1.2 基于几何与颜色特征的点云分割

1.2.1 多级平面提取

由于室内各部件的形状与几何特征差异较大,结构复杂,因此按照几何特征相似性定义建筑主体平面和室内部件两类部件类别。其中,建筑主体结构包括地板、天花板、墙面,以及窗户、黑板等墙面附着物;室内部件为去除建筑主体平面的其他物体,如桌子、椅子、杂物等。

本文针对传统RANSAC[16]平面提取方法不适用于多平面提取的问题,设计多级平面提取方法对室内点云建筑主体平面进行识别与提取,包含平面粗提取与精细提取两部分。

平面粗提取:寻找原始室内点云最大值、最小值坐标Pmin、Pmax。根据原始点云特点可知建筑主体平面靠近Pmin、Pmax形成的矩形包围盒的边界。因此,计算包围盒6个平面的平面模型,公式为

ax+by+cz+D=0

(3)

创建6个点云空集{a,b,c,d,e,f},设置距离阈值T,遍历原始点云数据P,对每一个点云Pi∈P依次判断包围盒的6个平面的位置,当Pi与包围盒平面的距离d小于阈值T时,将其添加到包围盒平面对应的点云集中,进而完成室内点云建筑主体平面的粗提取,距离判断公式为

(4)

图3 多级平面提取流程

1.2.2 室内部件聚类分割

在经过多级平面提取之后,能够获取建筑主体平面的精确点云,为使室内组件聚类不受建筑主体平面的干扰,首先在原始点云中将精确的建筑主体平面点云集{S1,S2,S3,S4,S5,S6}剔除。具体为利用KNN近邻查询,以每个点u∈{S1,S2,S3,S4,S5,S6}为搜索中心,采用欧式距离为度量单位,在原始点云V中搜索距离中心u最近的点。之后利用该点的索引值,在原始点云中将该点云剔除,获得室内组件点云Pa。距离判断公式为

(5)

其中,v∈V。经过建筑主体平面剔除后,能够保留室内部件点云,再利用基于欧式距离的聚类分割算法[17]进行室内部件点云的粗分割,将每个部件提取成不同的聚类,如图4所示。

图4 室内部件聚类分割流程

1.2.3 颜色区域增长分割

多级平面分割与欧式距离聚类方法主要依靠三维点云空间几何特点对点云进行分割,并未考虑点云颜色信息,而对于复杂的室内场景,颜色作为重要的特征对点云分割具有重要作用。为此,本文在分割出的建筑主体平面点云和室内部件聚类点云的基础上,利用基于颜色的区域增长方法对点云进行再分割,获取最终的基于几何与颜色特征的点云分割点集合,如图5所示。颜色区域增长算法流程如下:

图5 基于颜色区域增长分割流程

(1)在每个点云集合中随机选取一点作为种子点n。

(2)对每个种子点查询K近邻点。

(3)合并颜色相近的近邻点形成簇A,重新选取除A外任意一点,重复上述操作直至所有点都包含在点云簇中。

(4)合并颜色相近的簇,将平均颜色差异性较小的两个相邻簇合并在一起,形成集群。

(5)对每个集群进行点云总数的验证,若点云总数小于阈值K,则将当前集群与最近的相邻集群合并。

1.3 基于统计信息的语义标签优化

基于深度学习语义分割方法能够得到含有语义信息的深度学习分割点云,基于几何与颜色特征分割方法能够得到不含语义信息的几何分割点云。本文利用统计信息关联两个分割结果,采用概率模型对关联结果进行交叉融合,可以得到含有语义信息的精细分割结果。具体流程为,首先以几何分割结果点云Ps中的每个点Psi作为查询点,以深度学习分割点云Pd作为搜索点,利用K近邻查询算法,获取Pd中距离Psi最近点的语义标签,获取对应的语义标签集合L;其次,统计Ps中每个聚类中语义标签的统计直方图,计算各类标签的占比,占比公式为

(6)

式中,Li为L中每类标签的总数;K为L中包含的类别数量;Ni为计算得到的各标签占比。计算标签占比最大的点云类别Lmax,即

Lmax=max{N1,N2,…,Nk}

(7)

利用各聚类中语义标签的占比值,将标签占比值Ni

图6 标签重分割

2 试验与分析

2.1 试验数据与精度评估

S3DIS数据集[18]为斯坦福大学于2016年利用Matterport扫描仪采集的室内三维空间数据集,包含6个大规模三维空间的室内场景,面积约为6000 m2,并标注了室内常见的13种语义类别。为验证本文方法的有效性,从中挑选3个室内场景的点云数据进行试验,如图7所示。场景包含办公室、走廊和会议室,涵盖室内简单到复杂的场景。

图7 试验数据集

本文采用交并化率IoU与ACC评价点云分割的准确性。IoU表示数据分割的真实值FN与预测结果FP的交集与并集之比,公式为

(8)

ACC表示TP(FN∩FP)与FP的比值,公式为

(9)

2.2 试验结果与精度分析

针对3组不同复杂度的室内场景点云,首先通过深度神经网络RandLA-Net获取初步的深度学习分割点云,然后利用几何与颜色特征获取精细化的几何分割点云,最后对深度学习分割点云与几何分割点云进行交叉融合,实现语义分割点云的整体优化。3组场景具体试验结果如图8—图10所示。房间＿1中对于分割错误的墙面有明显的优化作用,房间＿2中分割错误的墙面、板状物与梁也有不同程度的优化,房间＿3中对室内部件点云也有不同程度的优化作用。其中,真实标签为各房间真实部件语义信息,深度学习分割标签为RandLA-Net神经网络初步分割结果,优化结果为几何特征与神经网络联合优化结果。

图8 房间＿1点云分割结果

图9 房间＿2点云分割结果

图10 房间＿3点云分割结果

本文对比了RandLA-Net语义分割结果与本文方法优化结果的13种部件类别的IoU精度,在3组数据中使用本文方法能够正确修正类别分错的语义标签,对墙、门与椅子的精度提升最为稳定,会有2%～10%的提升。对分割精度较差的类别约有10%的提升,对一些精度较高的类别,如地板、天花板等会有一定程度的精度损失,约为0.05%,见表1。

表1 深度学习分割结果与本文方法分割结果精度评估

本文方法在3组不同复杂度的室内场景数据中整体精度会有稳定的提升,mIoU提升约1.9%,mACC提升约1.6%,见表2。

表2 各部件整体精度评估

3 结 语

本文提出了一种基于几何特征与神经网络联合优化的室内三维点云语义分割方法。该方法首先基于深度学习分割获取初步语义分割结果,进而结合几何与颜色特征对原始点云实现精细分割,前者可以获取带标签的语义信息,后者可实现精准的结构分割。然后基于联合概率进行深度学习语义标签优化,实现语义分割结果优化。最后采用S3DIS数据集中的3组不同复杂程度场景进行了试验,并对本文提出的语义分割方法的有效性和精度进行评估与分析。试验结果表明,本文提出的室内点云语义分割方法能够充分利用深度学习与特征分割优势,有效提升点云语义分割精度,该分割方法可以应用于大规模复杂的室内三维点云语义分类分割中。