一种基于SLAM的无人机影像快速三维重建方法

宋志勇 白皓 张海龙 库新勃

摘  要：无人机技术在电力通道巡检、选线等应用中发挥中越来越重要的作用。传统的基于影像的三维重建方法是以离线方式获取三维重建结果，效率不高。文章提出一种基于SLAM的无人机影像快速三维重建方法，通过视觉SLAM获取无人机序列影像的初始位姿信息，建立图像匹配优先度队列，有效减少无效的影像匹配，同时融合无人机GPS结果，实现快速的三维重建。实验表明，文章所提方法在效率上得到了显著提升，并且精度满足1：1000大比例尺测图要求。

关键词：无人机影像;三维重建;方法

中图分类号：P231 文献标志码：A       文章编号：2095-2945（2019）15-0004-03

Abstract： UAV technology plays a more and more important role in the application of power channel inspection， line selection and so on. The traditional image-based 3D reconstruction method is to obtain 3D reconstruction results offline， and the efficiency is not high. In this paper， a fast 3D reconstruction method of UAV image based on SLAM is proposed. the initial position and pose information of UAV sequence image is obtained by visual SLAM， and the priority queue of image matching is established， which can effectively reduce the invalid image matching. At the same time， the GPS results of UAV are fused to realize fast 3D reconstruction. The experimental results show that the efficiency of the method proposed in this paper has been significantly improved， and the accuracy meets the requirements of 1：1000 large-scale mapping.

Keywords： UAV image; 3D reconstruction; method

1 概述

无人机技术的迅猛发展，使得获取地表遥感数据的效率得到了大大的提升。利用无人机获取的影像进行三维重建构建技术已被广泛应用于环境监察监测、资源勘探、地表测绘及应急救灾等领域[1]。随着业务需求的不断拓展与深入，在电力通道巡检、选线等应用中，利用无人机平台进行高效率乃至实时的三维重建有着至关重要意义，可大大提高野外作业效率[2]。然而，目前由于影像处理算法的复杂性与高计算量，传统的基于影像的三维重建方法需要配备强力的计算性能平台，以离线处理方式获取三维重建结果，无法野外处理，导致作业效率不高。因而，针对无人机相机研究开发快速的三维重建算法，对于提升野外作业效率有着重要意义。

目前，隨着计算机视觉与摄影测量领域技术的发展，基于影像的三维重建方法融合了多方面的理论基础，形成了若干的运动恢复结构方法（Structure From Motion，SFM）[3]。SFM方法以增量式重建方法为代表，主要依靠从影像数据集中选取一堆交会条件最好的立体图像作为“种子”形成影像网，依次加入与影像网交会效果最好的图像，直至完成所有有效图像的加入。然而，该方法的缺点则是处理过程中重复进行了多次平差，且每一幅图像均需要参与两两图像的匹配，计算量巨大，效率较低，且处理时并非按照图像获取的顺序，无法进行实时处理。

同时定位与制图（Simultaneous Localization And Mapping， SLAM）是机器人在未知环境下自主作业的核心关键技术，为机器人构建周围环境图，同时提供机器人在环境图中的位置，并随着机器人的移动而进行环境图的增量式构建与机器人的连续定位，是实现机器人环境感知与自动化作业的基础[4]。相比SfM，视觉SLAM以增量式方式进行特征点的追踪，并引入局部影像网平差技术处理序列图像，快速获取影像的位姿参数，实现了实时定位，并具有高效制图能力。

本文提出一种基于视觉SLAM的无人机影像三维重建方法，将视觉SLAM序贯处理方法引入无人机三维重建中，通过视觉SLAM获取无人机序列影像的初始位姿信息，建立图像匹配优先度队列，并采用ORB特征描述子有效减少匹配计算量;同时，依据影像GPS定位结果校正制图结果，最终结合视差图融合方法快速获得三维重建结果，实现无人机影像快速三维重建。

2 方法

无人机影像快速三维重建算法主要包括特征点提取与追踪、影像初始位姿解算、位姿参数优化及视差图快速融合。其中，特征点提取与追踪采用ORB特征算子，实现序列影像特征快速匹配;影像初始位姿解算通过特征点多帧追踪结果构建优化的局部影像区域网，通过平差获取的初始位姿参数;参数优化通过引入影像GPS位置信息进行平差优化，获取优化的影像定位定姿结果;视差图快速融合通过构建融合权重分布，实现快速的视差融合，最终获得三维重建结果。相应算法流程如图1。

2.1 特征提取与追踪

特征提取与追踪是建立影像间几何关系的基础。本文中采用ORB算子进行特征的提取与追踪。ORB算法特征检测首先采用FAST角点检测算子，通过灰度寻找区域内灰度值差异超过阈值的像素点作为特征点，即将像素点P一定半径上的一圈点像素值同点P处像素值进行比较，若大于或小于P处像素值的像素个数大于阈值，则该点为特征点;然后，采用BRIEF描述子对特征进行描述，即对图像块内的各个像素做二值判断：

2.2 初始位姿解算

基于上述的图像间的匹配结果，可以通过计算获得图像间的相对位置姿态，无法得到世界坐标系下的决定位姿参数。由于无人机影像获取时，通过GPS模块记录了采集时刻的绝对位置信息，可引入此信息进行影像位姿模型的绝对定向。该部分包括：

（1）相对位姿参数解算

影像的相对位姿姿态参数有同名匹配点求取本质矩阵，通过对其进行分解，得到影像间的近似相对关系，对于每一本质矩阵，可解出4组旋转矢量R与平移矢量T，如下：

（2）序列影像上的同名点可在多帧影像间形成影像区域网，因而，针对当前帧影像上的同名点分布，将符合一定数量同名点的相邻影像与当前帧图像一起构建局部区域网，通过光束法平差获得优化后的位姿参数。在平差解算时，认为区域网中离当前帧最远的立体像对其外方位元素为真值，故该像对上立体匹配点通过前方交会得到的三维坐标认为是真值。

2.3 位姿参数优化

SLAM是针对序列图像进行的，上述局部平差后得到的位姿信息随着影像数量的增多后不可避免存在误差累计，因而，需要更多的约束条件进行位姿参数的优化。考虑到无人机飞行的轨迹可能存在多条航线重叠，上述的基于采集顺序的区域网构建方法可能忽略了多航带图像形成的几何约束，因而此部分进行优化时需以当前影像为核心重新构建影像区域网。首先，以当前影像的初始位姿及包含的连接点三维坐标参数为基础，计算这些连接点在相邻影像上的投影范围，若这些投影点占影像面积的比例大于阈值，则认为该影像同当前影像具有强相关的约束，同时对跨航带的强相关影像进行匹配;然后，确定相邻影像中所有的强相关影像集合作为一级相关影像，并以上述步骤重复确定同一级相关影像存在强约束关系且与当前影像存在共同连接点的影像作为二级相关影像。以此类推，直至最后找到所有满足条件的强相关影像，并组建影像区域网进行平差优化处理。优化处理时，考虑到无人机影像获取时可同时记录GPS位置信息，因而基于传统平差误差方程，利用影像GPS信息作为附加观测值纳入迭代计算中，如下：

其中，xs为当前影像位置参数改正数矩阵，PE为对应的影像GPS观测结果的权重，由GPS定位误差决定。

2.4 密集匹配与视差融合

基于上述位姿参数优化后，即可获得影像的位置姿态结果。对于当前影像寻找交会角大小满足要求的连接点数量最多的影像作为密集匹配的基础像对，进行单像对的密集点云生成。首先，依据位姿参数对影像进行核线重采样，生成分辨率降采样后的核线图像，确保通过一维搜索进行同名点的匹配并降低计算量;其次，引入SGM匹配算法，基于核线图像快速生成相应的视差图;然后，在代价空间在以影像的原分辨率进行视差的内插;最后获得完整的视差图数据。

3 实验

為了验证本文所提方法的有效性，在选择湖北恩施地区利用大疆精灵4无人机获取了对该区域的无人机航拍影像。从获取的影像中选择了229张有效的影像，经相机畸变校正后如图2。

采用本文所提的特征点提取与匹配、初始位姿估计等处理方法对无人机影像进行处理，以SLAM方式获取了影像的初始位姿信息。基于这些初始位姿信息，结合无人机上的RTK GPS信息，获取了准确的无人机影像位姿信息，并实现了视差图的生成与全局融合，得到以下三维重建结果：

在重建过程中采用了SLAM方法获取了初始位姿信息，为后续姿态优化提供了良好的初值，避免了大量无效的匹配查找计算。经统计，得到了整个重建过程的处理时间，并引入Photoscan软件的处理时间作为对比，如下：

为了验证重建模型的精度，引入4个控制点作为检查点评价三维重建结果的精度，控制点平面误差为0.78米，高程精度为0.79米，均满足1：1000测图精度要求。

4 结束语

本文提出一种基于SLAM的无人机影像快速三维重建方法，通过视觉SLAM获取无人机序列影像的初始位姿信息，建立图像匹配优先度队列，有效减少无效的影像匹配，同时融合无人机GPS结果，实现快速的三维重建。实验表明，本文所提方法在效率上得到了显著提升，并且精度满足1：500大比例尺测图要求。

参考文献：

[1]刘国嵩，贾继强.无人机在电力系统中应用与发展方向[J].东北电力大学学报，2012，32（1）：53-56.

[2]金芳芳，詹斌.无人机摄影测量在山区电力线路工程的应用[J].建筑技术开发，2017，44（16）：103-104.

[3]蒋华强，蔡勇，张建生，等.基于改进SFM的三维重建算法研究[J].电子技术应用，2019，45（2）：88-92.

[4]邸凯昌，万文辉，赵红颖，等.视觉SLAM技术的进展与应用[J].测绘学报，2018，47（6）：770-779.