基于无人机遥感影像拓扑分析的三维重建

刘 军，许志华，刘小阳，王 鹤 ，孙广通

(1.防灾科技学院 防灾工程系，河北 燕郊 101601；2.中国矿业大学 地球科学与测绘工程学院，北京 100083；3.北京师范大学 环境演变与自然灾害教育部重点实验室，北京 100875)

基于无人机遥感影像拓扑分析的三维重建

刘 军1,2，许志华3，刘小阳1，王 鹤1，孙广通1

(1.防灾科技学院 防灾工程系，河北 燕郊 101601；2.中国矿业大学 地球科学与测绘工程学院，北京 100083；3.北京师范大学 环境演变与自然灾害教育部重点实验室，北京 100875)

在无需任何地面控制点或其它先验知识前提下，探索一种基于无人机遥感影像的三维重建方法。利用无人机飞控数据建立的影像拓扑结构，依次通过特征点提取、影像匹配、从运动恢复结构等步骤估计出相机位置和姿态参数，并恢复出场景特征点云信息，最后对重建精度进行分析。试验结果表明，文中提出的方法可快速、可靠地实现较高精度的三维模型重建。

无人机；飞控数据；影像拓扑分析；三维重建；精度分析

由于卫星遥感和载人航空摄影测量获取影像时受时空分辨率、外界环境及使用成本等影响，无法满足地理空间数据的需求。随着材料科学和自动控制工程的发展，低空无人机(Unmanned Aerial Vehicle，UAV)遥感以其机动灵活、实时性强、成本低等优势，利用其搭载相机可以对同一目标、场景进行多角度、多位置成像，成为快速获取地理数据的有效平台[1-2]，可满足精细获取三维信息方面的要求。而如何高效、全自动处理无人机获取的低空遥感影像，是一项急需解决的关键技术。

本文以特定地形为试验区，结合无人机影像数据特点，利用飞控系统提供的辅助信息，提出了一种低成本、快速鲁棒处理无人机高分辨率遥感影像三维重建方法。

1 试验设计与数据获取

试验区选择在山东省临沂市罗庄区(见图1)。区内地貌特征明显，且因建筑施工多处发生小面积滑坡。

图1 研究区域空间位置与全景影像

试验采用小型固定翼无人机飞行平台，预设飞行相对航高120 m，南北向4条航带。航向重叠为90%，旁向重叠为60%。利用平台搭载的轻巧型、高分辨率非量测数码相机(传感器尺寸8.72 mm×6.54 mm，相机焦距为24 mm)，共拍摄56幅影像(见图2)，影像大小为4320像素×3240像素，对应地面分辨率达到厘米级。

图2 无人机影像序列

2 基于影像拓扑分析的三维重建算法

利用影像序列进行立体重建步骤，具体包括：特征点提取、影像匹配、从运动恢复结构等，该算法可以自动估计相机位置、姿态参数，并恢复出场景三维特征点云信息[3]，其技术流程如图3所示。

图3 无人机遥感影像数据处理流程

2.1 特征点提取

试验采用Lowe的SIFT[4]算法提取无人机影像特征点。但该算法在处理高分辨率无人机影像时易出现计算机内存溢出等问题。为此，本文采用影像分块处理的方法。具体做法是：将原始影像分成大小相同的图块，每次取一小块影像提取特征点，即分别对影像块依次建立尺度空间、检测极值点和生成特征描述符，并保存子块特征点文件，然后合并子块生成最终结果。图4为影像分块示意图，依次将影像从左到右，从上到下划分为小图块。试验中选取影像块大小为500像素×500像素(具体要结合计算机性能调整)，如果影像右侧或下侧像素个数不足500，但仍大于0，也算作一个图块。此外，为确保在块交界处检测到SIFT特征点，避免特征信息丢失，相邻块之间需保持一定的重叠度(>10%)。

图4 影像分块示意图

2.2 影像匹配

基于SIFT描述子进行影像匹配，需要依次遍历全局待匹配影像，并对每一组影像以欧式距离作为特征向量的相似性准则对特征点进行粗匹配，笔者称之为全局遍历影像匹配法，该算法非常耗时，重建效率低。

针对上述问题，本文利用无人机飞控系统提供的辅助信息(触发相机快门时间、飞机位置以及姿态数据)，判断影像间重叠关系，建立影像拓扑结构，排除非关联影像的干扰，减少误匹配，降低影像匹配算法复杂度，提高匹配效率。本文称这种算法为基于影像拓扑关系匹配法。具体步骤包括：①依据摄影测量学中影像外方位元素定义，由于飞控数据与相机实际姿态、位置间仍然存在微小差异，需先经过一系列坐标系统旋转将飞控系统中IMU直接获取的传感器位置、姿态角转换成影像的6个外方位元素[5]，使其真正反映相机拍摄时的姿态、位置。②利用共线条件方程分别计算每张影像对应4个角点在地面摄影测量坐标系中的投影坐标。③根据计算机图形学知识判断影像重叠关系，建立如图5所示影像拓扑连接图，其中结点表示单幅影像，直线表示影像间有重叠关系。

图5 影像拓扑结构

利用图5拓扑结构，基于K-D树的近似最邻近(Approximate Nearest Neighbors，ANN)算法对影像进行粗匹配；最后采用随机抽取一致性(Random Sample Consensus，RANSAC)[6]策略和8点算法[7]相结合，估计出一个鲁棒的基本矩阵，进一步剔除误匹配点，最终得到满足对极几何约束的匹配特征点对。表1为全局遍历影像匹配和基于影像拓扑关系匹配效率对比情况。由表1可知，基于影像拓扑结构匹配的次数明显少于全局匹配策略，很大程度上降低了匹配的复杂度，且影像数目越多，算法效率优势越明显。图6所示为单张影像特征匹配耗时曲线。图中全局遍历影像匹配时单张影像匹配耗时随影像序号的增加呈线性增长趋势，而基于影像拓扑结构的单张影像因其匹配过程中，影像搜索范围仅局限于有拓扑连接的影像，故耗时曲线近似保持平稳。因此，该算法可为无人机遥感影像快速、稳健匹配提供支撑。另外，图中出现的耗时高值点(如38，40，47等点)主要受两个因素影响：①与该幅影像有重叠区域的影像数目，即匹配次数有关，次数越大耗时越多；②两幅影像的特征点匹配对数，如果两幅影像的重叠部分大且特征信息丰富，则提取的特征点数目多，匹配耗时就越多。

表1 全局遍历影像匹配和基于影像拓扑关系匹配效率

图6 每张待匹配影像耗时情况

2.3 从运动恢复结构

计算机视觉中，从运动恢复结构(Structure from Motion，SfM)是指从二维图像或视频序列中恢复出相应的三维信息，包括成像摄像机运动参数、场景的结构信息等。

本文参照Bundler[3]开源软件包，采用基于Levenberg-Marquardt (LM)算法的通用稀疏光束法平差(Sparse Bundler Adjustment)法解决了目标函数的非线性最小二乘问题。通过逐步迭代不断最小化投影点和观测图像点之间的重投影误差，解算出最佳相机位置、姿态，进而得到试验区三维点云坐标(见图7)。由于在冬季，试验区地物之间对比度较低，特征点不够明显，这给序列影像特征提取和匹配带来了挑战，使得重建点云数量相对稀疏。为得到高分辨率场景模型，试验采用PMVS算法作进一步加密处理[8]，得到更加稠密的三维点云(见图8)，恢复测区精细地物三维信息。

图7 无人机遥感影像三维重建点云模型

图8 试验区稠密点云模型

3 重建三维点云精度分析

由于该重建算法无需任何地面控制点信息，因此得到摄像机坐标系下的点云坐标。如果有地面控制点，可以选取至少3个控制点利用布尔莎七参数转换模型将局部点云坐标转换到统一坐标系下，通过与地面控制点真值作比较，定量评估重建模型误差。为此，笔者事先在地面均匀布设控制点，并用GPS测得坐标，作为基准评价点云精度[9]。表2给出了重建点云与控制点对比统计得到的精度信息。

表2 重建三维点云误差统计 m

分析误差产生原因主要有：①求解转换模型中七参数计算误差；②受重建方法及影像质量影响，还存在影像三维重建误差。根据误差传播定律，这些误差都会影响重建点云的绝对误差。

4 结束语

本文介绍了一种基于低空无人机遥感影像的三维重建方法，并对重建点云精度进行了评价。试验结果表明，该方法在无需任何地面控制点的情况下，借助飞行平台辅助信息建立的影像拓扑结构，自动生成了精度较高的三维点云模型，具有速度快、视觉效果直观且成本低等特点，适用于低空摄影测量、环境动态监测、文物考古保护、地质灾害调查等应用领域。需要指出的是，该方法在SIFT分块间重叠度取舍、影像匹配算法复杂度以及SFM重建效率等方面还可以做进一步研究与完善。

[1]IRSCHARA A, KAUFMANN V, KLOPSCHITZ M, et al. Towards fully automatic photogrammetric reconstruction usin g digital images taken from UAVs [A]. ISPRS TC VII Symposium-100 Years ISPRS [C]. 2010.

[2]李隆方，张著豪，邓晓丽，等.基于无人机影像的三维模型构建技术[J].测绘工程，2013,22(4)：85-89.

[3]SNAVELY N. Scene reconstruction and visualization from internet photo collections [D]. University of Washington, 2008.

[4]LOWE D G. Distinctive image features from scale-invaiant interest points [J]. International Journal of Computer Vision, 2004,60(2): 91-110.

[5]袁修孝，张雪萍，付建红.高斯-克吕格投影坐标系下POS角元素的转换方法[J]．测绘学报，2011，40(3)：339-344.

[6]FISCHLER M A, BOLLES R C. Random Sample Consensus: a paradigm for model fitting with applications to image analysis and automated cartography [J]. Communications of ACM, 1981,24(6): 381-395.

[7]HARTLEY R, ZISSERMAN A. Multiple View Geometry in Computer Vision[M]. Cambridge University Press, March 2004.

[8]FURUKAWA Y, PONCE J. Accurate, dense, and robust multi-view stereopsis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(8): 1362-1376.

[9]李 鑫，李广云，王 力，等.移动测量系统误差整体模型推导与精度分析[J]．测绘工程，2012,21(2)：21-28.

[责任编辑：刘文霞]

Topology analysis-based 3D reconstruction from UAV images

LIU Jun1, 2, XU Zhi-hua3, LIU Xiao-yang1, WANG He1, SUN Guang-tong1

(1. Department of Disaster Prevention Engineering, Institute of Disaster Prevention Science and Technology, Yanjiao 101601, China; 2.School of Earth Science and Surveying Engineering, China University of Mining and Technology, Beijing 100083, China; 3. Key Laboratory of Environmental Change and Natural Disaster of MOE, Beijing Normal University, Beijing 100875, China)

It presents a low-cos t, automated 3D-reconstruction approach without a previous camera calibration or any other prior knowledge of the scene to generate 3D scene based on unmanned aerial vehicle system (UAVs) images. For scene reconstruction, the camera location and orientation parameters, as well as a sparse 3D point cloud through feature extraction, image matching and an iterative, robust Structure from Motion (SfM) procedure are recovered from digital sequence images based on image topology analysis with flight-control data acquired by the UAVs. Results show that the proposed method is fast and reliable for 3D reconstruction which has higher accuracy.

unmanned aerial vehicles; flight-control data; image topology analysis; 3D reconstruction；accuracy analysis

2013-12-03

中国地震局教师科研基金资助项目(20120102)

刘 军(1986-)，男，助教，硕士研究生.

V279；P237

：A

：1006-7949(2014)08-0032-04