基于多旋翼单镜头无人机的三维建模技术

吴波涛，张 煜，李凌霄，魏思奇,田 一

(1.云南省水利水电勘测设计研究院 测绘分院，昆明 650021； 2.长江科学院 空间信息技术应用研究所，武汉 430010； 3.湖北省襄阳市第四中学，湖北 襄阳 441000)



基于多旋翼单镜头无人机的三维建模技术

吴波涛1，张 煜2，李凌霄2，魏思奇2,田 一3

(1.云南省水利水电勘测设计研究院 测绘分院，昆明 650021； 2.长江科学院 空间信息技术应用研究所，武汉 430010； 3.湖北省襄阳市第四中学，湖北 襄阳 441000)

根据倾斜摄影测量的需求和多旋翼无人机的特点，从硬件选型、航摄流程优化和软件研发等角度，分析了传统多镜头相机的倾斜影像拍摄原理，提出了单镜头倾斜影像采集方案，并通过实验验证了其可行性；同时，提出了多旋翼无人机使用单镜头相机进行倾斜影像采集的关键外业流程，包括多种类地物的航线规划方法、航片质量控制；设计了一个面向倾斜影像采集需求的移动端地面站App。测试结果表明，基于一定的操作准则，多旋翼单镜头无人机可实现较好地完成地表三维建模工作。

多旋翼无人机；倾斜摄影；三维建模；移动端软件；航线规划

1 研究背景

摄影测量从本质上而言，是从二维的影像中重建三维模型，然后在重建的三维模型上提取所需的各种信息的科学与技术[1]。倾斜摄影已成为当下摄影测量领域的一个新的研究热点，国家测绘地理信息局也已经把倾斜摄影作为一项新技术手段进行推广[2]。倾斜影像一般是通过机载的多镜头倾斜摄影相机进行航拍而得到的，通过对地物尤其是建筑的5个外表面方向进行摄影，可获取全方位的几何与纹理信息。传统的载人飞机的倾斜航摄流程较为复杂冗长且飞行高度较高。曲林[3]对多种倾斜摄影方案进行了比较，着重强调了无人机倾斜摄影相对于有人机的优势——空域限制小，成本低廉，作业不受云层影响，近地面细节丰富等。Xie等[4]从三维城市建模的需求出发，根据无人机低空航摄的特点，设计了一台由4台广角相机组合而成的倾斜航摄仪，并对校园内的建筑群进行了航拍。倾斜摄影的基本原理是多视角三维重建，并没有要求必须采用复杂昂贵的多镜头组合方式进行作业，寻找低成本、灵活的操作方式对于小面积、复杂地形区域的地表建模具有较强的实际意义。

本文研究将轻小型多旋翼无人机、高画质微单相机、多轴云台以及新型倾斜摄影测量三维重建软件等最新产品和技术的优势相结合，使多旋翼无人机的单镜头倾斜摄影应用成为现实。作为一种低成本、高分辨率的倾斜影像获取手段，单镜头倾斜摄影方案可以很好地与传统倾斜影像采集方案互补，具备较高的应用价值。通过移动端App产品设计流程以及最新的软件开发平台，将iOS系统和DJI无人机SDK的优势相结合，设计并开发一款自动化作业的地面站App，提升单镜头倾斜影像采集的效率，降低倾斜航摄外业的难度和人工、时间成本。

2 多视角三维模型重建技术

摄影测量或计算机视觉都是基于不同视角方向上的目标投影影像实现了其三维几何重建。由于近年SIFT及其衍生算法的发展，相机几何关系的重建能力大幅提高，且随着并行计算技术(如GPU、CPU多核心并行计算等技术)的进步和硬件性能的提升，使海量、无序、多分辨率影像的快速密集匹配成为了可能。新一代高度自动化的三维重建软件，如街景工厂、Smart3DCapture等，对航摄飞行质量的技术要求大幅降低，三维重建速度也有数量级的提升；结合机载POS数据，可以在较少甚至无地面控制点(GCP)的情况下对测区地貌进行高度自动化的三维重建，最终输出高分辨率的带有真实纹理的三角网格模型。这使得将无人机倾斜摄影数据用于三维重建成为了现实。

多视角三维重建技术的发展降低了数据采集硬件的要求，只要满足一定的重叠度，以简单规则进行拍摄，就能实现较好的三维模型重建。多旋翼无人机是一种操作简单、成本廉价的无人飞行器，配以较好的相机就可以实现空中高度自由的多角度对地拍摄，因此，它是一种理想的三维建模工具。

3 作业流程与规划

为了保证任务顺利、规范地进行，保证航片的质量符合用户单位需求，倾斜摄影的外业航拍任务需要遵循一系列的流程，即：

(1) 规划航线前，首先需要对测区概况进行调研。和用户单位对接，在地图上勾画出测区范围，明确测区内的主要地物类型以及期望的地面采样距离(GSD)。

(2) 了解测区概况后，需要根据用户单位提出的需求，对航摄的技术参数进行计算和确定。

(3) 确定航摄技术参数后，可以开始拟定飞行计划，对飞行器的飞行方式和拍摄方式做全面的设计，从而满足内业处理对倾斜摄影影像的要求。

(4) 飞行计划拟定完毕后，便可实地踩点，对飞行计划进行优化，并按照计划实施飞行。

3.1 航摄需求调研

在执行一次航摄任务前，需要和用户单位对接，对测区概况进行系统的调研和分析；如明确全测区范围、主要地物类型以及模型分辨率要求；如收集测区相关资料，如地形图、卫星遥感图片(卫片)、交通图等，必要时进行实地勘察。据此初步规划航摄方式，准备航摄设备。

3.2 航摄技术参数计算

3.2.1 航 高

控制航高的最终目的是控制摄影物距，从而保证合乎要求的GSD。根据航空摄影测量学的相关知识可得摄影物距D的计算式为

(1)

式中：nl为长边像元数量，是相机感光元件参数；FOV为镜头视场角(水平方向视角)，是镜头参数。

而相对航高可通过摄影物距进行计算。不同种类的航线，其相对航高计算方式也不同。如图1所示，假设起飞地均在地平面上。

图1 不同航线类型下的摄影物距和相对航高的关系Fig.1 Relationship between object distance and relative flight height in the presence of different types of fight

对于定高航线，相对航高与摄影物距相等，即

(2)

对于圆形环绕航线，相对航高H环绕和环绕半径R环绕则和俯视角有关，即：

(3)

(4)

式中θpitch为镜头俯视角，来自相机云台读数。

对于变高航线，例如对于具有坡度的地物进行航拍时，主光轴近似垂直于坡面，其相对航高H变高为

(5)

式中:L为飞行器距起飞地的水平距离，来自无人机飞控读数；α为坡度角。若主光轴和坡面近似垂直，则有α=π/2-θpitch。

在实际航摄中，测区地貌并不会如此理想。地表起伏会较大地影响影像的GSD。因此在控制航高和摄影物距时，采取宁可近不可远的原则，尽可能保证GSD的波动处于合理范围。对于大范围的测区，为了达到作业效率和效果的平衡，可以将地面采样距离GSD分为2个级别：对可视化效果要求较高的关键地物，采用较高的GSD进行高分辨率影像采集；对于关键地物周围的环境背景，则可以采用较低的GSD进行一般分辨率的影像采集。对于这2种GSD，根据上述公式计算出不同的航高进行航摄即可,最终在内业处理中将不同分辨率的三维重建模型进行融合。

3.2.2 摄影基线长度Bx和航线间隔长度By

Bx和By表达式分别为：

(6)

(7)

式中：nx为航向像元数量，即相机感光元件与航向平行方向的像元数量；ny为旁向像元数量，即相机感光元件与航向垂直方向的像元数量。

一般而言，飞行器使用短边平行航向进行航拍，即航向和感光元件的短边平行。例如对于精灵3的1 200万像素的相机，相片分辨率为3 000×4 000，式(6)中的航向像元数量取3 000，式(7)中的旁向像元数量取4 000进行计算。

3.2.3 最大巡航速度vmax和最长曝光时间tmax

最大巡航速度用于限制无人机的飞行速度，防止影像动态模糊，其计算式为

(8)

式中：t为曝光时间，来自无人机相机的测光数值；δmax为容许像移值，即曝光时间内，镜头成像在焦平面上容许位移的最大值与像元尺寸的比值(无单位)，描述了航片的动态模糊程度。

在起飞前计算时，可以使用经验曝光时间值。例如，光圈f2.8、感光度ISO200时，阴天曝光时间1/200 s，多云1/1 000 s，晴天1/1 500 s。若相机性能足够优秀，则可以取更高的感光度值，以达到更快的快门速度，从而降低甚至取消飞行器的速度限制。在这种情况下，则可以通过飞行器能够达到的最快飞行速度，去反算最长曝光时间(即安全快门速度),即

(9)

式中v′max为飞行器能够达到的最大飞行速度，是飞行器硬件性能参数。

对相机的曝光时间阈值进行设置，使其小于最长曝光时间，避免像移值超限。

3.2.4 预估任务执行时间Test

预估的任务执行时间是航摄任务规划时的重要参考，用于判断航摄任务的执行成本和可行性。该参数可以通过航线长度除以最大巡航速度来进行计算,即

(10)

式中：L为航线长度。对于复杂非规则航线，可以通过调用地图软件的距离量测API来进行获取；对于简易的平行航线，则可通过单条航线长乘以航线数来进行计算。

3.3 航摄方案规划

了解测区概况，并确定航摄技术参数后，可以开始拟定航摄方案，对飞行器的飞行方式和拍摄方式做全面的设计，并预估工作量，如飞行路程、时间、电量以及拍摄照片数量。

航摄方案是理想状态(不受电量、存储容量限制)下飞行器的动作脚本。其中，飞行方式对航线的类型、形状、航高等飞行参数进行了确定；拍摄方式对摄站点的外方位元素进行了设计。

一般而言，理想的测区形状为矩形，也就是传统航空摄影中所使用的测区形状。矩形测区的航线规划较为简单，采用平行航线折返拍摄即可。但实际情况中，测区的形状很可能是非规则的多边形甚至是长条带形状，这会增加航线规划和执行的难度。对于小范围的不规则测区，我们可以使用一个外接矩形来将其囊括在内，并以此矩形为测区范围进行航线规划；当航摄区域的面积较大、航线较长或测区内的地形变化过大时，应将航摄区域(下称“总测区”)划分成若干个摄影分区(下称“分测区”)，在每个分测区内分别铺设摄影航线，以针对各测区的特点对航线进行量身定制，从而确保各分测区内部的光照条件、GSD、重叠度等因素满足航片质量要求。这一过程都是在移动端的无人机地面站地图界面上圈选并构思的。飞行器的硬件性能一定程度上限制了航线规划的自由度。例如：飞行距离最长不能超过数据链传输范围，单次航线的执行时间不能超过电池电量能够支持的范围，等等。

常用的航线类型主要分为折线(路径点任务)和环形航线(热点环绕任务)2种。折线航线更为常用，同时适用于竖直和倾斜摄影，可以视作一系列路径点依次连接而成的航线，无人机依次遍历所有路径点，并在每个路径点处悬停一会儿进行拍摄(或边飞边拍)，直到遍历完毕；环形航线主要用于倾斜摄影，无人机以一定的高度和半径环绕圆心飞行，边飞边拍，至少绕测区飞完一圈。可以根据需要提升航高，以较低的地面采样距离拍摄测区全局，以充分避免航摄漏洞。

倾斜影像采集需要满足全表面、高重叠2个基本需求。由于测区地物的类型复杂，适宜的航拍方式也不同。根据笔者航拍的经验，绝大部分测区类型均可以抽象为3种简单的地物类型的混合——平坦地物、独立地物和条带状地物，即面状、点状和线状地物，并根据各自特点分别进行航线规划，再将各部分航线组合成为最终航摄方案即可。

3.4 航线优化

在实际执行航线前，需要对测区进行实地考察，以选定合适的起降场地，并根据实地情况合理优化航摄方案，以保证航摄过程的安全和高效。

(1) 安全方面。需要在飞行过程中通过地面站软件实时掌握电量信息，保证充分的冗余电量，避免无人机因电量不足无法返航，造成坠落甚至无法回收的后果；飞行距离越远，此返航阈值应设置得越高。一般而言，对于有电量显示的飞行电池，将返航电量的阈值设置在30%左右较为稳妥；对于无电量显示，而仅有电压显示的飞行电池，则需要根据具体电池型号来决定返航电压，避免电池过度放电，影响寿命。另外，选取起降场地和规划航线时需要避开各种障碍物，例如电线、树木等；同时也应尽量避免风速较大的地点，如山梁、隘口等地。由于规划航线使用的地图并不会将上述障碍物标识出来，因此往往只能通过实地勘察的方式去发现和避免。必要时，可以在正式执行任务前，先控制飞行器从空中进行探路、踩点，并在地图中标记出障碍的位置，从而在任务正式执行的过程中用作参考，尽可能地保证飞行安全。

(2) 效率方面。由于多旋翼无人机的飞行时间较短，因此航线设计过程中需要在保证安全的前提下，最大限度地利用单枚电池飞行时间。例如，在起飞去航和返航降落过程中均进行航摄，不浪费每一个空中视角。在拍摄过程中，也可以利用数字航空摄影不受底片数量限制的优势，缩短摄影基线、增加航片重叠度，获得更加冗余的航摄影像，一方面充分避免航摄漏洞的出现，另一方面为内业处理提供充足的资料。

对于倾斜摄影，由于空中蒙雾亮度的影响，靠近地平线一边的倾斜影像的分辨率和清晰度都会降低，从而减少了相片的有效使用面积。为了避免此类问题出现，一方面通过控制摄影角度，避免地平线进入画面；另一方面，通过灵活选择飞行时间，避开低能见度天气。

图2 开发环境配置Fig.2 Configuration of development environment

4 地面站App的设计与实现

无人机倾斜摄影外业流程要求飞手具备较高的飞行技能以及航空摄影测量的基础知识。实验表明，为了较好地完成航摄任务，飞手在航摄任务的全过程(策划—执行—回顾)中，注意力长时间、高度集中，做出大量的逻辑判断。长时间大量信息的输入和判断会对飞手造成较大的工作压力，也对其飞行技能提出严峻考验。

若是能将飞手的各种逻辑判断和操作通过软件的形式封装起来，开发出一款面向倾斜摄影用途的无人机地面站软件，使无人机倾斜摄影的外业流程半自动化甚至自动化，这对于提升航摄质量和效率会有较大的积极意义。同时，也降低了有关单位培养航摄作业员的成本。

本文利用互联网行业的软件产品设计流程，对地面站软件进行需求分析和功能设计。并根据此设计开发出了一款地面站App软件原型，为未来相关工作打下了基础。

4.1 软件需求分析

在手动进行倾斜航摄的过程中，有多重因素会导致航摄质量下降甚至无法满足要求。总体而言，导致航摄质量下降的负面因素可以总结为人为因素、软硬件因素和环境因素3方面。

4.2 软件功能设计

地图界面以地理信息系统(GIS)的图层理念进行设计，以图层的方式显示不同层次的地理信息。整个地图界面能够通过移动设备的多点触控屏幕进行平移、旋转、缩放等操作。可以通过多种途径找到测区具体位置：地理编码(即直接搜索地名并将地图中心移到相应位置)、直接输入各种坐标系下的坐标(WGS84坐标系、西安80坐标系等)。软件能够提供测区的高清晰度地图，作为选取测区范围、确定航摄技术要求等流程的参考。地图种类不仅限于卫星栅格地图，还可以是路网矢量地图或者数字高程模型(DEM)等。并且，地图数据需要足够全面，无论是城区、郊区还是山区均应具备高清晰度地图，否则在超视距飞行时仅能以FPV画面为参考，安全性和效率较低。

4.3 技术路线

在进行开发时，本文将采用模型-视图-控制器(Model-View-Controller)软件设计模式。通过消息机制进行相互沟通，协同实现软件的功能。其中，视图对象和模型对象之间通常不会直接产生联系，而是由控制器对象负责两者间的消息发送和数据传递。这种设计模式要求MVC三部分职责分离、实现分离，这对于软件生命周期以及后续的可扩充性和可维护性有着积极意义。App开发环境的软硬件配置及各组件之间的关系如图2所示。在App开发、测试结束后，实际投入使用时，各组件间的关系将大为简化，如图3所示。

图3 地面站与无人机关系

4.4 软件功能测试

在Xcode中将地面站App代码进行编译并打包发布至iPad上进行运行测试，如图4所示。界面主要分为3个部分：左上角为无人机回传的实时监控画面，作为相机航拍角度的参考；左下角为调试信息输出框，用于实时显示App内部的运行状态；右部为地图界面，包含地图显示和操作、无人机图标显示、路径点添加、删除和路径点任务上传、执行等功能。经过反复的测试和调试，App的各项功能，如地图显示和操作、无人机数据链的连接和数据传输、航线规划和执行等功能均已表现正常。本文的工作为今后地面站App的继续开发打下了良好基础。

图4 地面站App运行图Fig.4 Running of ground station App

图5 空三计算结果Fig.5 Results of aerotriangulation

图6 三维模型重建Fig.6 Reconstruction of 3D models

5 测试结果

在对市面上主流的无人机航摄平台进行研究和比对之后，本文挑选了大疆的精灵3(Phantom 3)无人机进行倾斜摄影实验。测区位于云南省玉溪市华宁县县城。测区性质为城区，其形状近似于2个拼接在一起的梯形，东西向长1.7 km，南北向宽0.6 km，面积约1 km2。将采集到的航片导入Smart3DCapture软件中进行空间三角测量(空三)计算(图5)以及三维重建(图6)。

6 结 语

由于航拍重叠度较大，相邻建筑物之间的狭缝大多都被较好地还原出来，较少出现建筑物粘连的情况。由于测区天气良好，能见度高，地形地貌的观感优秀，建筑物形状、纹理和色彩还原度高，能够很好地满足可视化应用的需求。实验表明，单镜头多旋翼无人机完全可以用于面向三维重建用途的倾斜影像采集。

[1] 张剑清, 潘 励, 王树根. 摄影测量学[M]. 武汉：武汉大学出版社, 2009.[2] 李安福, 曾政祥, 吴晓明. 浅析国内倾斜摄影技术的发展[J]. 测绘与空间地理信息, 2014, 37(9): 57-59.[3] 曲 林. 基于无人机倾斜摄影数据的实景三维建模研究[J]. 测绘与空间地理信息, 2015, 38(3): 38-43.[4] XIE F,LIN Z, GUI D,etal. Study on Construction of 3D Building Based on UAV Images [J]. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2012,(B1)：469-473.

(编辑：黄 玲)

Key Technology of Oblique Images Acquisition UsingSingle-Lens Multicopter

WU Bo-tao1, ZHANG Yu2,LI Ling-xiao2,WEI Si-qi2,TIAN Yi3

(1.Yunnan Institute of Water & Hydropower Engineering Investigate , Design and Research， Kunming 650021,China; 2.Spatial Information Technology Application Department, Yangtze River Scientific Research Institute, Wuhan 430010, China； 3.No.4 High School of Xiangyang, Xiangyang 441000,China)

According to the need of photogrammetry and the characteristics of multi-rotor UAV(unmanned aerial vehicle),a scheme of oblique image acquisition using single-lens camera is proposed through analyzing the principle of conventional multi-lens camera in terms of hardware selection,process optimization and software research, and its feasibility is verified through experiment. Furthermore, the key processes of the multi-rotor UAV using single-lens camera are presented, including route planning method and aerial quality control standard. Besides,a mobile ground station App oriented to the demand of oblique image acquisition is designed.Test results show that under given operation standards,the multi-rotor UAV with single-lens camera could well implement 3D ground modeling.

multicopter; oblique photogrammetry; 3D modeling; mobile app; route planning

2016-08-11

云南省水利重大科技项目(CKSK2015852/KJ)

吴波涛(1970-)，男，云南呈贡人，高级工程师，研究方向为摄影测量与遥感，(电话)13987116160(电子信箱)Wbt5190523@126.com。

10.11988/ckyyb.20160826

2016,33(11):99-103，115

P231

A

1001-5485(2016)11-0099-05