手持式激光扫描点云与其内置影像的融合方法试验研究

郭燕，袁希平，甘淑，李绕波

(1.昆明理工大学 国土资源工程学院，云南 昆明 650093； 2.滇西应用技术大学，云南 大理 671006；3.云南省高校高原山地空间信息测绘技术应用工程研究中心，云南 昆明 650093)

1 引 言

以激光扫描为代表的主动采集方式和以倾斜摄影为代表的被动采集方式为现实世界的三维数字化提供了直接有效的手段[1]。其中，激光扫描获得的三维点云具有准确的位置信息(X，Y，Z)和强度信息(I)，倾斜摄影获得的二维影像具有反映地物表面纹理的光谱(R，G，B)信息。三维激光点云与二维影像的融合是当前摄影测量与遥感领域的一个研究热点[2～4]。目前，针对三维点云与二维影像的融合，应用需求较为突出的为机载LiDAR点云与航空影像[2，4，5]及车载激光点云与全景影像[3]的融合。而基于即时定位与地图构建(Simultaneous Localization and Mapping，SLAM)技术的手持移动式激光扫描仪(Handheld Mobile Laser Scanners，HMLS)作为目前新兴的便捷式测量设备，具有机载/车载移动测量系统和地面激光扫描系统不可比拟的优势：机动灵活、无须依赖GNSS信号定位。将SLAM激光点云与影像数据进行融合既是对摄影测量与遥感应用领域的重要补充，也是两类数据优势互补进而提高点云应用价值的重要手段。

激光点云与影像的配准是二者融合的先决条件。目前，三维点云和二维光学影像的配准方法主要分为四类[2，6]：①基于特征匹配的2D-3D配准算法；②基于区域的2D-2D配准算法；③基于硬件标定的方法；④基于影像多视密集匹配生成影像点云与激光点云的3D-3D配准算法。其中，方法四直接将三维激光点云和二维影像的配准转化为2个三维点集的空间配准问题，不仅克服了三维激光点云和二维光学影像之间特征差异大的问题[6]，而且突破了单张影像与点云配准的局限，实现数据三维立体化，保证对象空间结构的完整性。目前，二维影像密集匹配生成三维点云大多运用由计算机视觉领域发展起来的运动恢复结构(Structure from Motion，SfM)算法，该算法只与携带有场景数据信息的影像本身有关，并不依赖于相机类型、相机的拍摄位置、方向和几何信息[7]，它是通过具有一定重叠度和不同视角的影像进行重建物体三维结构。本文针对手持式三维激光扫描仪ZEB-HORIZON及其内置ZEB-CAM相机同步采集到的激光点云和影像数据，将二维影像数据通过SfM技术生成三维密集影像点云，再将影像点云与SLAM激光点云进行3D-3D的配准。

针对手持式激光扫描仪ZEB-HORIZON获取的数据在配套软件GeoSLAM Hub中自动生成的真彩色点云纹理效果不好的问题，本文对SLAM激光点云与其内置影像进行融合，具体工作为：将该仪器内置相机ZEB-CAM获得的影像通过SfM技术生成三维密集影像点云，然后对影像点云与采集到的激光点云进行3D-3D的配准，再通过K-D树搜索最邻近点对并将影像点云的RGB信息赋予激光点云，最终生成纹理清晰、视觉效果好的三维真彩色激光点云。

2 手持式激光扫描仪及其数据采集

2.1 仪器特征及其主要参数

本文选用英国GeoSLAM系列的ZEB-HORIZON手持式三维激光扫描仪，该仪器由激光扫描头、飞萤8S运动相机ZEB-CAM、电池等组成(如图1)，其系统主要指标及参数见表1。ZEB-HORIZON手持式三维激光扫描仪通过采用SLAM算法将二维激光扫描数据与惯性测量单元(Inertial MeasurementUnit，IMU)数据结合，生成精确的三维点云。作为一款移动便捷、采集高效的新兴三维激光扫描设备，可广泛应用于室内外各种场景的研究中。例如，文献[8][9]使用该仪器的数据集来估算树木位置、胸径和树高等有关森林调查信息；文献[10]对比了该仪器与另外五种新兴的扫描仪在森林中单株树木的数据采集情况；文献[11]验证了在复杂的森林环境中该仪器数据能满足土地测量精度标准；文献[12]将该仪器用于小区平立面测量，并验证了特征点误差在 2 cm以内，可满足立面测量的要求；文献[13]使用该仪器对地下车库进行测试，获取平面图并进行精度验证，表明该仪器能够满足城市地下空间普查图件的绘制要求。

图1 ZEB-HORIZON手持移动式激光扫描仪

ZEB-HORIZON手持移动式激光扫描仪主要指标及参数 表1

2.2 数据采集

手持式三维激光扫描仪ZEB-HORIZON数据采集无须架站、搬站，仪器开机后便可工作。本文选取某校园内一处景观石及其底座作为研究对象(如图2)，考虑到点云密度、精度与数据采集时的扫描距离、扫描时间、移动速度、周围环境等因素密切相关，为保证最终获得高密度、高精度的SLAM激光点云。此次数据采集情况如下：①工作人员手持扫描仪，行走速度较缓，尤其是在拐弯进入新环境时；②扫描时距离扫描对象约 0.3 m～1.5 m，全程扫描时间约 7 min；③扫描路线最终形成闭合回路；④扫描对象周围 10 m内没有移动车辆和人。数据采集完成后，通过在配套的GeoSLAM Hub软件中将geoslam点云格式转换为通用的las点云格式，并加载ZEB-CAM相机同步获取的视频数据，可自动生成真彩色激光点云。但由于激光扫描头以360°*270°旋转方式采集点云，而ZEB-CAM相机只在行进方向的170°内获取视频影像，通过配套软件自动生成的真彩色激光点云(如图6)明显存在“源”字和正面、背面底座的石碑模糊不清、景观石的顶部颜色呈现错误的黄色等问题。因此，有必要通过后期处理来对该仪器获取的点云颜色效果进行改善和优化。

图2 试验研究对象(手机拍摄)

3 激光点云与内置影像的融合

3.1 本文技术流程

本文对手持式激光扫描点云与内置影像进行融合生成真彩色激光点云的技术流程主要包含以下几个步骤：①激光点云和影像点云的获取；②点云的前期处理；③点云的配准；④纹理映射。如图3所示。

图3 本文的技术流程图

3.2 基于SfM技术生成影像点云

基于立体像对的SfM方法可对普通非量测相机拍摄的具有重叠度的影像进行处理，且不依赖于相机拍摄位置、影像尺寸及拍摄焦距等，可实现处理过程自动化，不需要较多的专业知识和测量控制。SfM方法是利用高效的特征匹配算法从多张影像中寻找出像对间的一系列同名点，跟踪同名点从一幅影像到另一幅影像，通过迭代光束平差法自动求解出相机的位置、姿态以及场景的几何形态等信息，并采用非线性最小二乘算法不断优化[14]。SfM算法的过程大致分为三步[15]：①寻找同名点。如运用尺度不变特征变换(Scale Invariant Feature Transform，SIFT)算法进行特征匹配寻找同名点；②估计相机位置和同名点坐标。根据一系列的同名点，通过迭代光束平差法可自动估算出相机的位置和姿态以及稀疏点云的三维坐标；③生成密集点云。基于已获得的稀疏点云通过密集匹配算法，进而形成密集的影像点云数据。

目前许多商业软件均可实现基于SfM技术生成三维影像点云，如Context Capture，AgisoftPhotoscan，SfM-PMVS，Pix4D等。本文利用Context Capture软件将二维影像生成三维影像点云。将ZEB-CAM相机获取的同步视频数据转换为具有高重叠度的二维有序影像照片，依据照片选取原则，选取影像清晰、特征明显的影像照片共101幅，影像分辨率为3820*2160，焦距为 3 mm，感应器尺寸为 7.81 mm。通过在Context Capture软件中进行自动化的解算和密集匹配便可生成高密度的三维影像点云。由SfM技术生成的影像点云是由数字彩色影像解算出来的，因此点云被赋予影像的真彩色，具有颜色属性(RGB值)。而LiDAR点云只具有强度属性信息，本身不能表现真彩色点云。SfM点云的真彩色属性使得点云数据更具有立体感和真实感，且颜色属性更便于区分不同地物的点云[7]。

3.3 点云去噪与平滑

由于SLAM算法是利用传感器获取空间数据进行不断解算和匹配的，因此激光点云会存在厚度大、噪声多的问题；而影像点云会存在密集匹配误差，即使没有空洞，点云表面也会呈现局部凹凸不平、覆盖不均匀。直接将两类点云进行匹配会严重影响ICP算法的正确收敛。为了提高配准的可靠性和效率，需要对两类原始点云进行必要的处理。包括：①根据激光点云强度渲染、影像点云RGB渲染来裁剪出相同的研究区域。②对点云进行去噪与平滑。根据文献[16]，采用统计滤波(Statistical Outlier Removal，SOR)算法去除噪声和离群点，采用移动最小二乘(Moving Least Squares，MLS)平滑点云。其中，统计滤波本质是通过统计点云区域内点的分布密度来判别离群点，该算法的滤波质量由邻域点的数目k和标准差倍数λ决定，本文中设置k为30，λ为2可得到较好的滤波结果。其次，通过采用移动最小二乘的方法对点云数据进行平滑，去除较小不规则噪声、降低点云整体粗糙度，减小点云厚度，从而实现点云的平滑。以半径 0.03 m计算点云平滑前后的粗糙度：激光点云粗糙度由 0.005 5降到 0.001 4，影像点云粗糙度由 0.001 5降到 0.001 0。点云平滑效果较好。③为了降低后期点云存储量和工作处理量，以及保证点云细部特征较好地保存下来，对平滑后的影像点云和激光点云采用八叉树降采样算法进行抽稀，使两类点云点密度保持在同一数量级。处理完的激光点云数量为 6 794 605，影像点云数量为 6 830 213，点云最小间距约为 0.001 m，属于高密度点云。点云处理前后局部放大效果如图4所示。

图4 点云处理前后局部放大图

3.4 激光点云与影像点云3D-3D的配准

激光点云与影像在本质上属于异维异质数据，在同名点自动匹配方面存在一定困难。通过将影像生成影像点云并与激光点云进行粗配准和精配准，从而实现点云3D-3D的高精度匹配，将大大降低了点云与影像的配准难度。

(1)粗配准和精配准。若是没有粗配准提供较好的迭代初始位置，精配准ICP算法往往会陷入局部最优解，而得不到全局最优解。由于本文选取的研究对象底座的拐角处有缺损，为更好地用于配准和精度测算，实验前已在4个拐角处粘贴 3 cm*3 cm的标靶。因此，本文通过在Cloud Compare软件中手动选取4个标靶中心点作为匹配点进行粗配准，既能保证配准精度同时配准速度快。通过粗配准，两类点云能获得较好的迭代初始配准位置，采用经典的最邻近迭代ICP算法[17]进行精配准。

(2)配准结果分析。激光点云与最邻近影像点云点之间的距离可以反映两类点云的配准程度[18]。通过计算，配准后激光点云与最邻近影像点云点之间的距离平均值为 0.003 4 m，标准差为 0.012 7 m，RMS为 0.008 5 m。配准后激光点云与最邻近影像点云点之间的距离分布情况如图5所示，两类点云最邻近点之间的距离基本集中在 0.02 m以内(图中蓝色区域)，极少数点之间的距离稍远为 0.02 m～0.14 m(图中绿色、红色区域)。分析其原因为：①图中蓝色区域地物形状较为规则，点云密度高，点云配准效果好；②图中零星的绿色区域是稀疏、散乱的草丛，配准效果较差；③图中红色区域处于景观石顶部(高约 2 m)，数据采集时手持扫描仪进行扫描，高度稍高采集时间相对较少，在激光点云进行统计滤波处理时便形成空洞，故配准效果差。

图5 配准后最邻近点之间的距离分布情况图(俯视)

3.5 基于K-D树搜索的纹理映射

将影像点云的RGB信息映射到对应的激光点云上以生成真彩色激光点云，是对点云和影像两类数据的优势互补。不同于大多数将二维影像的纹理映射到三维网格表面的纹理映射方法，本文直接在两个三维点集中对点进行纹理映射。具体操作为：以源点云(激光点云)为基准，通过K-D树在目标点云(影像点云)中建立k近邻搜索，计算点间的欧氏距离，找出源点云中每个点在目标点云中距离最近的点，将最近点的颜色赋予源点云[19]，得到具有光谱信息的三维激光点云。

4 试验结果分析

与仪器配套软件GeoSLAM Hub自动生成的真彩色激光点云(如图6)相比，本文生成的点云的颜色信息更丰富、纹理细节更明显、视觉效果更好(如图7、图8所示)，而且在不改变激光点云数量、点云精度的同时，使点云属性既保留了空间信息和强度信息，也具备了光谱信息。

图6 GeoSLAM Hub软件生成的真彩色激光点云

图7 本文方法生成的真彩色激光点云

图8 本文方法生成的真彩色激光点云局部放大图

为检查影像点云的RGB信息是否准确地映射到激光点云上，考虑到此次试验的点云为高密度点云，将试验结果的真彩色激光点云分别以RGB、intensity渲染，直接手动裁剪出“源”字和正面、背面石碑区域的点云。如图9～图11，图中(a)(b)分别为以RGB、intensity渲染进行裁剪的示意图；(c)为叠加的两个裁剪框及其中心点，黄色为RGB渲染的，红色为intensity渲染的；(d)(e)为叠加裁剪到的点云，(d)为RGB图层置上，(e)为intensity图层置上。从图中可以直观反映出真彩色激光点云的RGB与intensity有不同程度的位置偏差，再通过计算两个裁剪框中心点坐标(X，Y，Z)的位置偏差量(如表2)来量化点云的RGB与intensity的空间位置偏差，从而反映出本试验生成真彩色激光点云时光谱信息(R，G，B)的映射效果。

图9 “源”字裁剪的情况

图10 正面石碑裁剪的情况

图11 背面石碑裁剪的情况

裁剪框中心点坐标及其位置偏差量(单位/cm) 表2

设以RGB渲染得到的裁剪框中心点坐标为(XRGB，YRGB，ZRGB)，以intensity渲染得到的裁剪框中心点坐标为(XI，YI，ZI)，则两中心点坐标的空间距离为：

(1)

根据式(1)可计算出“源”字和正面、背面石碑三个区域的点云在以RGB、intensity渲染下的裁剪框中心点的空间距离分别为 2.04 cm、1.20 cm、0.93 cm，平均值为 1.39 cm，从而估算出真彩色激光点云的RGB相对于intensity存在的空间位置偏差量为 1.39 cm，也就是影像点云的RGB信息映射到激光点云上有 1.39 cm的空间位置偏差。根据表2可得到，点云的RGB与intensity存在的最大位置偏差量为 1.55 cm，最小为 0.12 cm，Z坐标的偏差量相比X、Y坐标的偏差量大，“源”字比正面、背面石碑的偏差量大。分析其原因为：在粗配准选择特征点匹配时，选择景观石底座4个拐角上的标靶中心作为匹配点，而4个点都在同一水平面上，造成垂直方向上缺少匹配点，且“源”字距离匹配点相对较远，点云纹理映射受前期配准结果的影响，导致点云的RGB信息在垂直方向上的映射效果不如水平方向上。但从彩色点云的整体纹理效果看，RGB信息映射效果还是较为可观。

5 结 论

本文针对手持式激光扫描仪ZEB-HORIZON的显著优势以及自动生成的真彩色激光点云纹理效果不好的问题，创新地将仪器内置相机获得的二维影像通过SfM技术生成三维密集影像点云，并将影像点云与采集到的激光点云进行融合，最终生成的真彩色激光点云不仅保留了空间信息和强度信息，还增加了光谱信息。与该仪器配套软件GeoSLAM Hub自动生成的真彩色激光点云相比，本文生成的点云纹理信息更丰富、视觉效果更好，RGB信息映射到激光点云上的空间位置偏差小，且该方法简单、高效。试验表明本文方法用于生成真彩色激光点云是可行有效的。同时，真彩色激光点云丰富的光谱信息将对点云后期的特征提取、分割与分类、模型构建等应用起到重要的辅助作用，将极大地提高点云的应用价值。