消费型无人机倾斜序列影像三维重建研究

马国吉，马国斌，马国宝，孙晓霞

（1. 青海省测绘科学技术研究院,青海 西宁 810001；2.青海省地理空间和自然资源大数据中心,青海 西宁 810001； 3.青海省基础测绘院,青海 西宁 810001；4.青海地理信息产业有限公司,青海 西宁 810001）

随着“数字地球”、“智慧城市”等概念的提出,人们对城市空间信息的需求变得更加强烈,城市空间信息也变得更加复杂,给城市管理效率来了严峻考验,急需为城市管理、规划提供可视化的实景三维数字模型数据。如何快速获取实景三维模型成为国内外学者研究的热点[1-2]。

三维模型重建是摄影测量的主要目标之一。实现三维目标重建的数据主要包括光学影像和激光雷达两种[3]。王建强[4]等以传统的摄影测量手段获取影像数据,再利用三维制作软件（Smart3D、Context Capture）生成三维模型,该方法建模速度快、自动化程度高、成本较低,但获取三维模型框架精度较低,密集建筑物区域的模型较模糊,难以区分建筑物边界信息；为了快速获取高精度的三维模型边缘信息,孙保燕[5]等采用影像数据、激光雷达数据以及已有高精度的矢量数据构建城市三维模型,再利用激光数据快速获取噪声低、精度高的白膜数据,然而激光数据缺少纹理信息,通过无人机影像数据和辅助参数可获取建筑物顶部与部分侧面纹理信息,但仍不能满足三维模型对侧面纹理的要求,且该方法成本较高；张春森[6]等利用传统的航空摄影测量获取了地物的纹理信息和高程信息,能提供高精度、轮廓明显的建筑物模型,是目前城市建筑物三维模型主要的获取方式之一,但传统的航空摄影测量方式无法获得建筑物的侧面纹理信息,在密集建筑物区域存在地物遮挡现象。上述三维建模方法具有成本高、生产工艺复杂、作业效率低等特点,在一定程度上制约了城市三维重建技术的发展与推广。鉴于此,本文提出了消费型无人机倾斜序列影像三维重建的方法。该方法首先利用消费型无人机获取无人机倾斜影像；再采用Agisoft PhotoScan软件的影像匹配模块自动获取多视倾斜影像同名点坐标；然后通过GodWork软件的AT模块进行引入曝光延迟的GPS光束法区域网平差,生成高精度的影像外方位元素信息；最后为了获取丰富的纹理信息,采用Smart3D软件构建三维模型,为无人机倾斜序列影像三维建模提供一种思路。

1 关键技术

无人机倾斜序列影像一般具有几何变形大、不同视角变化较大、影像侧面信息丰富等特点。构建三维模型时,需针对无人机倾斜影像的特点,在影像匹配、空三加密处理、密集匹配和纹理映射等方面采用区别于传统摄影测量的方法进行处理,以获取精度较高、纹理清晰的实景三维模型。

1.1 倾斜影像匹配与定位

由于不同视角的无人机倾斜影像存在较大的视角差异,因此同一地物在不同视角影像上表现出很大差异。采用通用的SIFT无人机影像匹配方法获取同名点存在以下问题[7]:①缺少对无人机倾斜影像地物遮挡以及影像几何变形的考虑,以固定的局部窗口获取的特征点描述信息不能真实反映地物情况,地物起伏较大区域易匹配失败；②影像分辨率较高导致地物高差较大区域投影差变化较大,因此难以确定正确的匹配搜索区域；③缺少对获取点位分布以及定量的精度检验与分析,使得在实际工程应用中精度难以满足需求。

SIFT无人机倾斜影像匹配方法的影像预处理主要包括倾斜影像的近似水平校正和影像均匀分块。由于无人机影像分辨率较高、一景影像覆盖的区域较小,因此高差变化可近似认为水平。通过影像的POS数据以及公开的SRTM数据将无人机倾斜影像投影到一个固定的高程面上进行近似水平校正,可在一定程度上减弱影像几何变形的影响[8]；然后利用影像的地理信息计算影像的重叠区域,并对重叠区域进行均匀划分；最后采用参考文献[9]提出的特征点提取方法,确保提取的同名点分布均匀。

利用近似水平影像提取的特征点能有效避免影像几何变形的影响,描述子生成后以特征向量的欧式距离作为特征点相似程度的判断依据,再通过选用合适的阈值,确定影像匹配点的粗匹配过程。由于匹配结果存在大量错误点,难以保证同名点的精确位置,因此可利用RANSAC算法剔除误匹配点。通过RANSAC算法剔除粗差后,顶层误匹配点已基本剔除,但金字塔下层影像的分辨率较高、纹理信息较丰富,提取的特征数量大大增加,将出现误匹配现象,因此在底层匹配过程中除了利用核线约束外,还需借助倾角迥异的核线关系进行约束匹配[10]。

为了加快匹配速度、减少误匹配点,一方面利用POS数据进行水平校正处理,消除影像的几何变形影响,并通过分块提取特征点数量确保同名点分布均匀合理；另一方面通过在不同层影像匹配时采用不同的约束策略来剔除误匹配、限制适当搜索空间。本文采用金字塔匹配策略,将原始影像缩小为1/2和1/4。顶层影像为原始影像的1/4,影像分辨率较低,匹配精度较高,因此无需进行粗差剔除策略；第二层影像采用RANSAC算法优化匹配结果,剔除误匹配点。采用两组不同的15对同名点计算两组倾角迥异的核线参数,在原始影像上进行倾角迥异的核线引导匹配,不仅可提高算法的匹配效率,还可提高同名点的定位精度,为空三加密处理提供数据支撑。

通过上述匹配过程,可在重叠影像上获取分布均匀、精度高、误匹配少的稀疏匹配点；再利用影像内外方位元素和高精度的连接点进行像对定向、立体模型连接,完成自由网的构建。统一整个区域的影像坐标后,将利用连接点多片前方交会方法获得的地面点物方空间坐标作为光束法区域网平差的初值。针对无人机飞行速度不稳定而导致的平差结果比理论估值偏低的问题,本文采用参考文献[11]提出的估计曝光延迟GPS辅助光速法区域网平差方法对曝光点的曝光延迟进行逐点补偿,再将曝光延迟参数作为未知参数与其他系统误差参数一并代入误差方程统一求解,以提高GPS光束法区域网平差的整体精度。同时借助大量地面控制点,对整个误差方程矩阵进行循环分块,求解改正参数,进而获取每张影像高精度的外方位元素、连接点的空间物方坐标。

1.2 密集匹配

将影像匹配、空三加密处理获取的影像精化后的外方位元素、相机参数作为多视密集匹配的输入,通过考虑多视待匹配影像的多余观测生成物方点。建立参考影像上某一像素的初始物方面元patch（normal 法向量、position位置）,由物方位置、法向量参数唯一确定物方面元；再将物方面元反算到参考影像上,通过参考影像局部窗口与待匹配影像的局部窗口的相似度函数来完成多余观测的物方匹配[12]。

多视影像密集匹配算法的整体流程包括4个步骤:①特征提取,在影像DOG空间上均匀划分32像素×32像素大小的格网,采用Harris算子提取格网内4个响应值最大的点,再利用多视影像特征点匹配的方法确定特征点集合的稀疏匹配点,构建初始物方面元集合,并对面元参数进行初始化；②物方面元优化更新,利用面元局部灰度相似度函数的极值参数求解,精化初始物方面元信息,再以物方点在参考影像的法向量为约束条件减少面元参数的相关性,并将目标函数的自由度减少到3,删除可见影像单元Ck对应的特征点；③物方面元的扩散,从完成优化的面元P到其领域未包含的物方面元Cj扩散,以物方面元Cj的中心射线与影像摄影中心和优化面元P的交点为新物方面元P＇的位置初始值,法向量参数采用优化面元P来迭代、更新、优化,直到物方面元Ck遍历完成；④点云剔除,利用物方与像方空间邻域关系剔除不一致面元,并过滤掉悬浮空中或低于地面过低的错误点。通过上述步骤,可生成与无人机倾斜影像同等分辨率的数字表面模型数据。

1.3 纹理自动映射

纹理自动映射能解决不同影像块之间的颜色过渡和最佳影像面选择问题。本文采用泊松融合的方法处理不同影像块拼接处的影像融合问题[13-14]。首先为每个需要映射的影像面块计算一个得分,选择分数最高的面块作为纹理映射的候选面块；再利用三角格网面表达三维空间模型,纹理映射的本质是为了建立格网与影像纹理空间信息的一一对应关系。对于复杂节点构建密集格网面的三维模型而言,首先计算每个三角形面片的顶点坐标和影像纹理中像素的对应值（行列号）；再利用影像旋转矩阵和空间投影矩阵将三维模型上的坐标转换到原始影像上,获得每个顶点的纹理信息；然后在模型渲染时,每个三角格网面的颜色取3个顶点颜色的平均值。在本文实验中,首先从倾斜航空影像密集匹配的点云结果中获得每个点的坐标、纹理信息和法向量,再通过找寻对应的影像平面坐标和利用空三处理后影像姿态信息找到三维点云与倾斜影像之间的对应关系,然后优化纹理映射模型,最终获得纹理信息较真实的三维实景模型。

2 实验结果与分析

2.1 数据采集系统介绍

本文采用大疆DJI M600Pro无人机搭载的DG3 Pros倾斜摄影测量系统获取影像数据,具有多视角高清影像采集、成本低、机动灵活等优点。Pros光学镜头采用了低色散 ED 镜片,能大幅提高影像的线对数,有效提升航片质量、降低空三分层概率；相机左右倾斜镜头角度从45°提高到50°,可大幅提高模型旁向建模效果,在保证模型精度和效果的前提下,能实现更高的作业效率；五镜头增加了高同步曝光技术,有利于空三加密解算。

2.2 航摄设计

本文采用Altizure软件进行航线规划设计,重叠率为60%～80%（由地面高度决定）,沿某一方向来回往返,呈带状按次序逐步覆盖全部场地,实现对地形逻辑有序的全覆盖航摄（图1）。设计航高为100 m,地面分辨率（GSD）为1.4 cm,航飞面积为6.25 km²,航向重叠度为80%,旁向重叠度为70%,单架次飞行时间约为46 min,共获取影像14 902张。影像清晰、色彩均匀,多视影像数据能提供影像下视和建筑物侧面丰富的纹理信息,为后续建筑物三维重建以及侧面纹理信息提取提供数据支撑。

图1 航线设计

2.3 空三加密精度验证

为了消除影像内部系统误差,保证影像整体精度的一致性,避免生成的密集点云出现分层现象,在密集匹配前需对获取的影像进行空三加密处理。Agisoft PhotoScan软件影像匹配模块利用POS数据对待匹配的影像进行近似水平校正,以消除倾斜影像的几何变形；再采用分块金字塔匹配策略通过SIFT算法从多视影像中提取分布均匀的同名点,并在不同金字塔影像上采用不同的约束策略剔除误匹配点,获取高精度的同名点坐标。通过GodWork软件的AT模块进行引入曝光延迟的GPS辅助光束法区域网平差,利用分区域平差与区域间的整体一致性平差获取定位精度一致的影像外方位元素信息,并生成测区稀疏点云。空三加密示意图如图2所示。

图2 空三加密示意图

空三加密精度分析如表1所示,可以看出,利用GodWork软件的AT模块进行引入曝光延迟的GPS辅助光束法区域网平差,经过分区域与整体一致性平差处理后的控制点平面中误差为0.025 m,高程中误差为0.038 m；检查点的平面最大误差为0.093 m,高程方向的最大误差为0.126 m,满足1∶500大比例尺地形图控制点、检查点的平面中误差与高程中误差的指标要求。

表1 空三加密精度分析/m

2.4 模型精度验证

由于空三加密获取的初始点云密度过于稀疏,难以保证高精度的三维模型生成,因此需基于无人机多视倾斜数据,采用Smart3D提供的多视密集匹配方法对初始稀疏点云进行扩展、滤波和优化,生成最终的密集点云。首先采用多视密集匹配方法扩展稀疏点云的局部邻域像素,获得相对密集的点云数据；由于生成的密集点云数据存在一定的误差点,再采用滤波方法剔除偏离地物三维模型过大的误差点[15]；最后根据局部地物高程的变化程度,对密集点云数据进行优化处理,利用软件内部矢量函数关系算法,在保证模型精度的同时剔除冗余数据,并构建不同层级的三角网模型。具体三角网模型效果如图3所示,可以看出,土山上树木顶部修饰结构复杂,点云和三角网较密集；而建筑物顶面、田地和路面的结构简单,点云和三角网较稀疏。

图3 三角网模型

Smart3D首先将不同视角的深度图像匹配到同一坐标下；再通过深度图像融合获得物体完整的几何模型；然后确定深度图像与纹理图像的映射关系,并定义复合权重进行纹理融合,从而获取整个纹理的映射图；最后进行模型的纹理映射,构建具有真实感的三维模型。具体模型如图4所示,可以看出,三维建筑物模型边界清晰、侧面纹理信息丰富、地面上的物体能清楚地展现出来,三维模型整体效果较好。

图4 实景三维模型

为了验证生成的三维立体模型精度,将三维模型导入DP-Mapper软件进行立体模型下典型地物特征值的量测,获取地物空间的三维坐标,并与外业采集的特征点坐标、特征边长进行统计分析,得到三维模型的绝对定位精度和相对定位精度。验证结果如表2、3所示,可以看出,三维模型的平面中误差为0.042 m,高程中误差为0.045 m,满足1∶500大比例尺测图要求；三维模型上地物间的相对距离误差分布在0.01 m以内,误差值分布合理,表明构建的三维模型内部相对精度一致。

表2 三维模型精度统计/m

表3 特征边测量精度统计/m

3 结 语

本文尝试采用大疆DJI M600Pro消费型无人机搭载的DG3 Pros倾斜摄影系统获取了不同视角的倾斜影像数据,并结合不同软件的优势模块构建了精度较好的建筑物三维模型；以西宁某区为例,进行了数据采集与三维模型构建实验,得出以下结论:

1）利用Agisoft PhotoScan的影像匹配模块对无人机倾斜影像进行近似水平校正,以消除几何变形的影响,通过金字塔分块匹配策略提高影像匹配速度并确保同名点分布均匀,为后期空三加密处理提供可靠的同名点坐标。针对不同层的影像采用不同的约束策略,确保误匹配点能被有效剔除,避免因误匹配点而导致的空三加密失败或结果精度较差。

2）通过对整个区域进行分区域空三加密处理,避免因高差较大而出现的空三加密失败现象；对分区域的空三加密结果进行整体一致性平差处理,确保区域间影像上地物的无缝衔接；通过引入曝光延迟的光束法区域网平差对每张影像进行逐曝光点的延迟补充,进一步提高影像平差定位精度,为后期密集匹配提供精化的影像外方位元素参数。

3）将空三加密结果和影像数据输入Smart3D软件,全自动构建高精度的城镇三维模型。构建的模型整体效果较好、符合真实场景、区域间能无缝拼接、纹理较细腻、整体成本较低,为消费型无人机构建城镇三维模型提供了一种经济高效的方法。