基于影像密集匹配点云的建筑物变化检测方法

李正洪，全昌文，陈华江，陈 敏，吕 琦

（1. 广西壮族自治区自然资源调查监测院，广西 南宁 530219；2. 自然资源部北部湾经济区自然资源监测评价工程技术创新中心，广西 南宁 530219；3. 西南交通大学地球科学与环境工程学院，四川 成都 611756）

违法建筑是城市管理的“顽疾”，将扰乱城市规划秩序，导致重大安全事故频发。然而，违法建筑整治面临“发现难”的问题，依靠现场调查或遥感影像人工判别效率低、成本高。基于建筑物自动变化检测的违法建筑提取正逐渐成为主要发展趋势[1-3]。根据不同数据维度，建筑物变化检测可分为基于遥感影像的二维变化检测和基于激光雷达点云或影像密集匹配点云的三维变化检测，前者难以发现在合法建筑基础上加盖的楼层、阳台等三维违建目标；而后者因包含目标高程信息，能更全面地反映目标几何特性，便于发现三维违建目标[4]。

现有建筑物三维变化检测方法大体可分为逐点变化检测和基于对象的变化检测两类。逐点变化检测通常先逐点比较多时相点云，给出初始变化检测结果，再结合点云的几何和光谱信息对初始结果进行细化，这类方法可根据不同的变化检测目的灵活地进行分解或组合，且分步式的过程使其具有更高的计算效率[5-8]。随着机器学习浪潮的兴起，研究人员利用决策树分析、支持向量机、随机森林等机器学习方法对初始结果进行分类，得到最终的建筑物三维变化检测结果[9-10]，但这类方法对点云配准误差敏感，受非建筑物目标干扰大，且检测结果对初始几何比较结果敏感，漏检情况在后续细化过程中无法找回。

基于对象的变化检测方法首先利用基于深度学习的点云语义分割方法对多时相点云进行分类，提取建筑物点云；再对建筑物点云进行比较，进而获取建筑物三维变化检测结果[11-13]。由于利用了空间三维信息，这类方法提取建筑物的精度更高，且对不同数据来源、不同获取条件（不同季节、光照等）造成的干扰更加稳健，但对于质量较低的密集匹配点云所进行的建筑物检测精度依然有限，且检测结果受分类精度影响较大[14]，对于漏提取的建筑物，难以检测其是否发生了变化。

综上所述，现有建筑物三维变化检测方法易出现漏检情况，难以满足违法建筑提取的实际需求。因此，本文提出了一种适用于密集匹配点云的建筑物三维变化检测方法：首先通过空间体素比较提取初始变化点云，同时构建深度神经网络提取建筑物点云；再基于建筑物三维点云结果，将初始变化点云分为建筑物区域变化和非建筑物区域变化，并对两类点云进行聚类处理；然后按照聚类的面积和顶面法线方向，以不同的阈值进行细化处理；最后根据点云变化情况，将变化结果分为新建建筑物和拆除建筑物，实现可靠的建筑物三维变化检测。为了便于表述，将本文方法简称为DV-BCD（building change detection by integrating deep neural network and spatial voxels）。

1 DV-BCD方法

1.1 初始变化点云提取

对多时相点云进行预处理主要包括3个步骤：①利用改进迭代最近点算法[15]对双时相密集匹配点云进行高精度配准；②利用布料模拟滤波（CSF）算法[16]对目标区域的密集匹配点云进行滤波处理，按照离地面的高度将点云分为地面点和非地面点；③为消除植被变化对结果的影响，对于非地面点计算植被指数（VI）[17]，即VI=（3G-2.4R-B）/（R+G+B），并剔除VI大于阈值的植被点。

对经过预处理的多时相密集匹配点云构建八叉树，在空间体素层次上进行变化检测。在八叉树中，对于给定三维坐标的查询点，可以逐深度快速定位它所属的叶节点，见图1。选取一定半径内的点进行计算，确定包含查询点的叶节点后，选择上一个叶节点及其邻近叶节点内的所有点作为初始点，计算初始点到查询点的距离，以获取半径内的点。若在这个半径范围内有初始点，则可说明查询点为变化点，否则该点为变化点。

图1 八叉树点云叶节点示意图

1.2 注意力驱动的建筑物三维点云检测

由于直接进行变化检测得到的结果易受非建筑物区域变化的影响，为了在不漏检建筑物变化的前提下尽可能减少建筑物变化虚警，本文通过搭建建筑物点云三维检测深度神经网络提取目标区域中的建筑物点云，并将初始变化区域与提取的建筑物区域结合起来，以便更准确地提取建筑物变化目标。

建筑物提取网络采用下采样—上采样结构，包括大比例降采样、局部空间编码、注意力机制和基于跨级链接的特征反向传递4个主要模块。

1）大比例降采样模块。在面临大场景点云时，由于软硬件处理性能和内存的约束，通常需进行降采样处理[18]。鉴于无人机影像密集匹配点云密度变化较小，为兼顾采样效率和空间覆盖度，本文网络拟采用均匀采样策略对点云进行降采样。

2）局部空间编码模块包括邻域点查找、局部几何空间编码和局部特征空间编码。对采样点邻域信息编码，捕捉局部区域中点与点之间的几何分布关系和特征分布关系，提升网络模型捕获细节的能力。

3）注意力机制模块。本文采用通道注意力和注意力池化进行特征筛选，使网络自动学习重要、有效的特征。通道注意力是为了有效结合采样点的几何空间编码特征和特征空间编码特征，而注意力池化是为了将邻域点特征聚合到采样点上[18-20]。

4）基于跨级链接的特征反向传递模块。本文采用基于跨级链接和最近邻的内插方式进行特征反向传递，将特征从采样点集传播到原始点集，得到每个原始点的语义标签。

1.3 变化的建筑物点云提取与分类

对于包含大量虚警的初始变化点云，DV-BCD 方法结合深度神经网络提取的建筑物三维点云，将初始变化点云分为建筑物区域和非建筑物区域变化点云两类，并对两类点云分别进行聚类处理。

建筑物区域内的变化点云大部分为建筑物变化点云，少量虚警主要由未精确配准带来的建筑物边界区域变化引起。由于建筑物检测方法不可避免地存在漏检情况，非建筑物区域内的变化点云可能包含少量真实建筑物变化，其余大部分区域为非建筑物噪声。DV-BCD方法逐一对各聚类进行平面拟合，由于建筑物的屋顶平面通常是水平的，而其他地物则不是，因此对拟合平面的归一化法向量的Z分量进行判断，剔除低于阈值的聚类。此外，为减少由细小非建筑物结构变化引起的虚警，还对每个聚类的面积进行判断，并剔除面积低于阈值的聚类。本文对建筑物区域和非建筑物区域分别设置不同的阈值进行判断并剔除虚警；再根据建筑物的变化情况，将建筑物点云变化分类为新建建筑物和拆除建筑物。

1.4 参数设置

为在避免漏检的前提下尽可能减少虚警，DV-BCD 方法考虑了低矮建筑物和CSF 滤波在局部区域的容错，选取1.5 m 作为地面点滤波阈值，-0.1 作为植被指数阈值，0.95（非建筑物区域为0.99）作为聚类变化点云拟合平面的归一化法线Z分量阈值。

2 实验与结果分析

2.1 实验数据

为验证DV-BCD方法的有效性，采用复杂城市区域的两期不同类型无人机影像密集匹配点云进行实验。实验区域面积约为0.5 km2，地势较平坦，建筑物周围分布有大量植被，部分屋顶受到遮挡，且建筑物间疏密不均匀、结构复杂、颜色差异大，同时存在新建和拆除的建筑物。第一期原始数据为5 镜头无人机倾斜影像，作为时序监测的基准数据，在后续监测中，考虑内外业生产成本等因素，采用单镜头无人机设备进行影像采集；第二期原始数据为单镜头无人机影像。采用Pix4D 软件对两期影像分别进行空中三角测量和密集匹配，得到两期密集匹配点云，见图2，可以看出，由于单镜头影像难以全面获取场景目标信息，5 镜头无人机影像密集匹配点云质量明显优于单镜头，两期影像密集匹配点云即使在建筑物无变化的区域也存在明显差异，给可靠的建筑物变化检测带来挑战。

图2 实验数据

2.2 评价指标

为了定量评价DV-BCD方法的有效性，本文将实验结果与人工目视解译标注的建筑物变化区域进行比较，以漏检数量、虚警数量、漏检率、虚警率和检测时间为评价指标，在对象层面进行统计分析。

式中，FN为变化建筑物被误判为未变化建筑物的数量，即漏检数量；TP为变化建筑物被正确检测的数量；FP为未变化建筑物被误判为变化建筑物的数量，即虚警数量；TN为未变化建筑物被正确检测的数量。

2.3 结果分析

利用DV-BCD方法对实验数据进行建筑物变化检测，并将检测到的新建建筑物点云标记为红色，拆除建筑物点云标记为黄色，结果见图3a。为了验证DV-BCD方法中建筑物点云提取对提升变化检测的效果，本文将DV-BCD方法与传统直接进行八叉树空间体素变化检测方法（记为V-BCD）进行对比。为了使对比更公平，两种方法除融合建筑物提取以外的方法和参数阈值设置均保持一致。

图3 实验结果

点云异常引起的虚警是指由单镜头无人机影像密集匹配点云质量差导致两期密集匹配点云差异大而引起的虚警。5 镜头影像密集匹配点云的信息完整（图4a），而单镜头影像密集匹配点云在视差不连续区域的点云质量差，导致一些本应在地面的点漂浮在空中，且由于单镜头影像密集匹配点云基本无侧面信息，通常难以判断该点云是否为建筑物变化，如图4b 中两个相邻建筑物中间本应为空地的间隙存在大量漂浮在空中的噪声点（红色标记点），这些点将在建筑物变化检测中产生虚警。本文在对象级上对变化检测结果进行效果评价，对比结果见表1，可以看出，DV-BCD方法在新增建筑和拆除建筑上均实现了零漏检，虽然产生了一些虚警目标，但数量较少，相较于V-BCD 方法虚警率降低了48.64%，作业人员可在短时间内通过目视检核完成虚警目标的验证。

表1 评价结果统计表

图4 异常点云

DV-BCD 方法产生虚警的主要原因为：①考虑时序监测中的内外业作业成本，除作为基础数据的第一期数据为5 镜头影像外，后续监测数据均为单镜头影像，因此输入变化检测系统的两期密集匹配点云质量差异大，存在大量异常点云，由此产生了一些虚警目标；②实验区域存在正在施工的工地，分布着大型土堆、大型施工车辆等类似于建筑物的物体，进而产生了一些虚警目标。若将DV-BCD方法阈值设置得更严格一些，可剔除其中大部分虚警，但也会以出现漏检为代价。考虑到实际生产对漏检和虚警的可接受度完全不同，应以避免漏检为前提减少虚警，因此本文实验阈值设置得较宽松，这也保证了DV-BCD方法在实验数据上实现了零漏检。建筑物变化小目标（图5），DV-BCD方法也能准确发现。

图5 DV-BCD方法在小建筑上的变化检测结果

在检测效率方面，DV-BCD方法变化检测所需时间约为289 s，V-BCD方法所需时间为54 s，虽然增加建筑物点云提取环节使得整个变化检测流程的时间成本更高，但DV-BCD 方法的漏检率为0%，能够真正满足实际应用需求，且虚警率也明显降低，作业人员只需花费少量时间对检测结果进行人工核查。综上所述，DV-BCD方法增加的变化检测时间在实际生产中是可以接受的。

3 结 语

针对复杂城市区域建筑物变化，基于不同类型的影像密集匹配点云，本文提出了DV-BCD方法，将逐点变化检测和基于对象的变化检测方法结合起来，在降低逐点变化检测方法结果虚警的同时，减少了基于对象的变化检测方法由于未准确提取建筑物带来的漏检，从而在避免漏检的前提下尽可能地减少了提取结果的虚警。以两期不同类型的影像密集匹配点云为数据开展的实验表明，DV-BCD方法在发现细小建筑物变化、避免漏检的同时，对非建筑物变化的虚警较少，能够在违建查处中发挥关键作用。后续研究将结合建筑物和易造成虚警的非建筑目标特征，优化变化点云判别算法，进一步减少虚警目标。