模拟地形辅助的无人机倾斜摄影测量图像匹配

于大鹏，梁玉斌，冯晨阳，邱 炎

（1.中冶沈勘工程技术有限公司海外分公司，沈阳110169；2.天津师范大学地理与环境科学学院，天津300387；3.天津市地质调查研究院地质环境信息中心，天津300191）

近年来，无人机摄影测量技术广泛应用于大比例尺地形测绘、环境监测和应急响应等领域[1-3].无人机倾斜摄影测量搭载轻小型倾斜摄影系统可以有效获取地物的多角度影像观测数据，是构建实景三维模型的重要测量技术[4].无人机倾斜摄影测量的关键技术包括图像匹配、相对定向、绝对定向、密集匹配和三维模型构建及纹理映射[5-6].其中，图像匹配是影响倾斜摄影测量精度和效率的关键因素.一方面，图像匹配为后续的相对定向提供同名点观测值，其精度直接影响相对定向精度，并决定摄影测量最终成果的几何精度；另一方面，图像匹配速度是影响摄影测量数据处理效率的重要因素，不同的图像匹配方法会引起数据处理效率上的巨大差异.

由于无人机倾斜影像的尺度、视角和转角变化较大，常规航测采用的图像匹配方法难以实现倾斜影像的稳健匹配.研究人员在倾斜摄影测量的图像匹配方面展开广泛研究[7-9].SIFT算子及其衍生算子能够从图像中提取大量具有尺度和旋转不变特性的特征点，这些特征点对仿射变换和光照变化具有一定适应性，被广泛用于摄影测量和三维计算机视觉的图像匹配处理[10-15].SIFT算子可以自动提取特征点的位置、尺度及其所在邻域的特征描述向量.在图像匹配时，基于特征描述向量并通过最近邻搜索算法对两幅图像的特征点进行一一匹配.然而，当一幅图像中的特征点具有相似的纹理特征时，基于最近邻搜索的匹配方法可能产生误匹配特征点.尽管采用基础矩阵（fundamental matrix）结合随机抽样一致算法（random sample consensus，RANSAC）进行去噪可以减少误匹配特征点的数量，但该方法计算量大，且无法彻底解决特征点误匹配问题.此外，将误匹配特征点作为观测值引入摄影测量平差过程可能导致空三精度下降甚至图像定向失败.

已有研究表明通过合理利用航测过程中获取的POS（position and orientation system）数据和测区地形数据可以提高图像匹配的精度和效率[16-18].无人机机载POS系统记录了相机曝光瞬间飞行平台的位置和姿态数据.影像的曝光位置反映了航空影像间的拓扑关系，利用这种拓扑关系可以确定照片间的匹配关系.因此，基于曝光位置的图像匹配可以提高图像匹配精度，并缩短图像匹配时间.在此基础上，通过简化图像匹配关系和减少特征点数量可以进一步优化图像的匹配结果[19-20].然而，由于倾斜影像具有较大的倾角，严格的图像匹配关系无法由照片曝光位置唯一决定，需由影像曝光位置、摄影姿态和测区地形共同决定.常见的Maltese十字倾斜摄影系统同一时刻曝光可获得5张影像，其中1张为垂直下视影像，其余4张分别为向前、后、左、右各倾斜45°的倾斜影像.尽管下视影像的曝光位置和摄影姿态信息可由POS数据直接求解，倾斜影像的姿态信息却无法由POS数据直接计算.针对以上问题，本研究提出一种用于无人机倾斜摄影测量的图像匹配方法.该方法综合利用影像曝光位置、摄影姿态和测区地形信息，基于严格的成像模型计算各视角影像间的准确匹配关系，并通过实测数据对图像匹配方法的有效性进行验证.

1 研究方法

模拟地形辅助的图像匹配方法由模拟地形数据生成，并利用相对旋转矩阵和图像匹配关系计算3个部分的构成.首先，根据测区的地形起伏情况生成模拟地面采样点集；然后，利用地面控制点数据辅助空中三角测量估计倾斜影像与下视影像间的相对旋转矩阵；最后，利用POS数据和倾斜影像与下视影像间的相对旋转矩阵计算倾斜影像的绝对旋转矩阵.在此基础上，基于共线方程将模拟地面采样点集投影至影像，生成每张影像的投影点集.根据影像投影点集间的交集判定照片的匹配关系，进而基于匹配关系对影像进行两两匹配.

1.1 模拟地形数据的生成

从无人机POS数据中提取影像曝光点位的大地坐标，并将坐标从大地坐标系变换至摄影测量坐标系.统计影像曝光点位坐标为平面内的最大值和最小值，从而确定测区范围，并根据测区范围确定测区的高程平均值.在摄影测量坐标系下利用计算机程序模拟生成地面三维采样点集.在摄影测量坐标系的XOY平面上以给定的采样间隔进行离散点采样，采样点的高程值取测区平均高程.

1.2 相对旋转矩阵的估计

利用倾斜影像和地面控制点数据，通过控制点辅助空中三角测量求解下视影像和倾斜影像的绝对摄影姿态，然后估计倾斜影像与下视影像间的相对旋转矩阵.倾斜影像与下视影像间相对旋转矩阵的估计方法为：①将地面控制点的大地坐标测量值变换至摄影测量坐标系下；②在航空影像中标记地面控制点的位置，确保每个控制点被3张以上的照片标记；③利用SIFT算子在影像中提取特征点，利用特征点的邻域特征描述向量，并对特征点进行匹配，得到初步匹配结果.利用同名点观测值解算基础矩阵，结合RANSAC算法剔除误匹配的特征点，从而得到较为准确的同名点观测值；④利用同名点观测值对影像进行相对定向，基于增量光束法区域网平差构建区域自由网；⑤基于控制点坐标，将自由网下的模型整体变换到摄影测量坐标系下，从而解出每张影像的绝对位置和姿态.

假设下视影像的物空间到像空间的旋转矩阵为Rn，倾斜影像的物空间到像空间的旋转矩阵为Ro，则下视影像到倾斜影像的相对旋转矩阵Rno为

式（1）中：RnT为矩阵Rn的转置矩阵.

1.3 图像匹配关系的计算

遍历生成的地面采样点，基于共线方程

将地面采样点投影至航空影像，生成每张影像的投影点集.式（2）中：f为镜头主距；（X，Y，Z）为地面采样点坐标；（XS，YS，ZS）为投影中心坐标；a1、a2、a3、b1、b2、b3、c1、c2和c3为9个方向余弦.采用以Y轴为主轴的φω-κ转角系统，9个方向余弦分别表示为

对于任一下视影像ni，其物空间到像空间的旋转矩阵Rni由POS数据直接计算.对于与下视影像ni同时曝光的倾斜影像oi，其物空间到像空间的旋转矩阵基于

对于任意2张照片，如果投影点集的交集非零，即可判定这2张照片部分重叠.将照片匹配关系写入匹配文件，以此为依据对图像进行两两匹配.

1.4 数据说明

实验区为一村镇区域，范围为东经109.678 7°E～109.689 6°E，北纬23.645 5°N～23.652 6°N，测区中心为23.648 8°N，109.684 4°E，域内分布有农田和住宅，地形平坦.使用垂直起降固定翼无人机搭载五相机倾斜摄影系统对测区进行航空摄影，相对航高设计为400 m，航向和旁向重叠度设计为80%.实验规划5条航线，每条航线设定16个曝光点位，整个测区共拍摄400张影像.图1显示了照片曝光点在测区内的分布情况，其中红色圆点表示照片的曝光点位.

图1 照片曝光点测区分布图Fig.1 Map of exposures in surveying area

倾斜摄影系统采用Maltese十字安装方式，5个观测方向的相机均选用SONY ILCE-5100型相机，影像分辨率为6 000×4 000，像元大小为3.9μm.图2为某一时刻曝光所得的5张影像，其中图2（a）～图2（e）分别为前视影像、右视影像、后视影像、左视影像和下视影像.下视相机镜头焦距为20mm，倾斜相机镜头焦距为35mm.在测区内部利用RTK均匀采集了9个地面测量点.地面点测量采用国家2 000坐标系统，测量精度为厘米级.

图2 某一时刻曝光的5张影像Fig.2 Five images exposed at one moment

2 结果与分析

将地面测量点分为5个控制点和4个检查点，对影像进行控制点辅助空中三角测量，控制点和检查点处的定位精度如表1所示.

表1 控制点和检查点的定位精度Tab.1 Positioning accuracy at control points and check points m

由表1可以看出，控制点在东向、北向和天向上的定位精度均达到厘米级；检查点的东向定位精度达到厘米级，北向和天向定位精度为分米级.

为了对图像匹配方法进行对比，首先，使用Agisoft PhotoScan软件对测区全部影像进行POS辅助全自动空三处理.图像匹配采用基于位置的匹配方法，匹配精度设为最高，特征点数和同名点数分别设为40 000和4 000.基于位置的图像匹配及空三结果如图3所示.由图3可以看出，400张影像中有17张影像定向失败（红色圆点标记），其中后视影像6张，前视影像11张.

图3 基于位置的图像匹配与空三Fig.3 Aerial triangulation and image matching based on position

将控制点辅助空三求解的影像位置作为真值，计算基于位置图像匹配的空三结果中后视、前视、右视、左视和下视影像的偏差Bias和定位精度RMSE，结果如表2所示.统计数据基于383张成功定向的影像计算，17张定向失败的影像没有计入统计.由表2可以看出，5个视角的影像定位精度均为米级，不同视角的影像定位精度不同.下视影像的定位精度整体上优于倾斜影像的定位精度，各视角影像的北向和天向定位精度均优于其东向定位精度.此外，各视角影像定位结果均存在不同程度的定位偏差，下视影像与倾斜影像的定位偏差没有明显区别.

表2 基于位置匹配的影像定位精度和偏差Tab.2 Positioning accuracy and bias of images based on postion-based matching m

采用本研究提出的模拟地形辅助的无人机倾斜影像匹配对影像进行处理时，算法使用C++语言实现，摄影测量坐标系选用东北天坐标系（east-north-up，ENU）.地面采样点的采样间隔设为30 m，采样点的高程统一取测区的平均高程65 m.照片曝光点和地面采样点的分布如图4所示.图4中红色十字表示照片的曝光点位，蓝色圆点表示模拟生成的地面采样点.

图4 照片曝光点和地面采样点的分布Fig.4 Distribution of exposures and ground sample points

基于控制点辅助空三结果估计倾斜影像与下视影像间的相对旋转矩阵，结合POS数据估计倾斜影像的绝对姿态.将生成的采样点集投影至每张影像生成投影点集，并基于投影点集的交集确定照片的匹配关系.根据匹配关系对照片进行匹配和POS辅助全自动空三处理，结果如图5所示.

图5 模拟地形辅助的图像匹配与空三Fig.5 Aerial triangulation and image matching based on simulated terrain

由图5可以看出，400张照片全部成功定向，区域网中照片的位置与预期一致，空三解算所得物方点的分布符合测区真实情况.

将控制点辅助空三求解的影像位置作为真值，计算模拟地形辅助图像匹配的影像定位精度RMSE和偏差Bias，结果如表3所示.结合表2和表3可知，基于本研究提出的图像匹配方法解算的影像定位精度整体上优于PhotoScan的影像定位精度，倾斜影像的定位精度提高了1.4～3.6倍.在影像定位的偏差方面，2种图像匹配方法没有明显差别.

表3 模拟地形辅助图像匹配的影像定位精度和偏差Tab.3 Positioning accuracy and bias of images based on image matching using simulated terrain m

对于传统的无人机航空摄影测量影像，图像间的匹配关系主要由影像曝光点位决定.基于位置的匹配没有考虑影像的观测角度，因此生成了错误的图像匹配关系.对于如农田、林地等纹理单一的区域，错误的图像匹配关系造成误匹配特征点数量增加，进而降低影像的定向精度.错误的匹配关系不但降低影像匹配和影像的定向精度，而且降低摄影测量的数据处理效率.此外，对于多视角倾斜摄影测量，基于位置的图像匹配无法准确确定全部待匹配图像对.匹配不充分导致部分照片定向失败，无法纳入区域网.而部分照片的缺失造成地形和地物失去某些角度的观测数据，从而导致后续重建的实景三维模型出现漏洞.

与基于位置的图像匹配相比，本研究提出的基于模拟地形辅助的图像匹配方法考虑影像的位置、观测角度和地形，能够准确计算图像的匹配关系.准确的图像匹配关系减少了图像误匹配特征点的数量，提高了图像定向的精度和成功率.值得注意的是，基于本文图像匹配方法的下视影像定位精度低于基于位置的图像匹配方法的影像定位精度.其原因在于基于位置的图像匹配无法准确计算倾斜影像和下视影像的匹配关系，因而在平差过程中下视影像的定向较少受到倾斜影像定向的影响.而本研究的图像匹配方法能够准确计算倾斜影像和下视影像的匹配关系，选取下视影像与倾斜影像匹配所得同名点作为观测值参与光束法区域网的平差.由于倾斜影像和下视影像视角差异较大，匹配所得同名点观测值精度较低，因此在整体平差过程中降低了下视影像的定位精度.

3 结论

针对传统的基于位置的图像匹配方法存在的误匹配和不充分匹配问题，本研究提出一种基于模拟地形的无人机倾斜摄影测量图像匹配方法.首先，通过程序模拟生成规则的地面采样点集.其次，基于控制点辅助空三求解倾斜影像和下视影像间的相对旋转矩阵.最后，利用无人机POS数据和地面采样点集，基于严格的成像模型确定影像间准确的匹配关系.实验结果表明：

（1）本研究方法解决了基于位置的图像匹配方法引起的误匹配问题，使倾斜影像定向的成功率提高至100%；

（2）本研究方法改善了基于位置的图像匹配方法引起的匹配不充分问题，将倾斜影像的空三定位精度提高了1.4～3.6倍.

对于下视影像定位精度下降的问题，未来的工作中将重点研究适用于大视角差的图像匹配方法，进一步提高倾斜影像和下视影像间的匹配精度和定向精度.