基于POS系统和SIFT特征的无人机遥感影像拼接方法

于君娜，王士成，梁 硕

(中国电子科技集团公司第五十四研究所，河北 石家庄 050081)

0 引言

无人机遥感作为一种新的遥感手段，具有快速、灵活、低成本和高影像分辨率等特点[1]，弥补了卫星光学遥感经常受云层遮挡获取不到影像、时效性差的不足。近几十年来，随着计算机技术和通信技术的快速发展，无人机的整体性能得到了不断提高，使其已经具备了长时间续航、影像实时传输等众多优点，尤其是在应急救灾工作中，有着十分广阔的应用前景。相比卫星遥感影像，无人机遥感影像具有相幅小、数量多和多航带的特点[2-3]，为了得到某一地区的全景图像，遥感影像拼接成为解决该问题的关键技术，遥感影像拼接是指将2幅或多幅连续遥感影像按照其公共部分进行重叠，得到一幅新的合集图，拼接后的图像不仅方便目视所观测地区的全局效果，而且还保留了原始图像中的细节信息[4-5]。

传统的无人机遥感影像拼接都是应用于测绘领域，用于制作、更新地图，对拼接合成后图像的几何精度要求比较高，对实时性要求不高，而且测绘无人机的飞行要严格满足相应的飞行规范，图像拍摄方式要求垂直下视，图像数据不实时下传，而是飞机降落后从机载记录仪中导出后再进行拼接处理。

侦察无人机的主要任务是对目标区域进行侦察，要求快速获取目标区域影像，为了扩大无人机瞬时侦察范围，侦察无人机图像拍摄方式有垂直下视和摆扫模式，并且图像实时下传。此时，高几何精度的无人机遥感拼接合成图像并不是最重要的，而具有地理坐标信息、可用的几何精度和良好的视觉效果的拼接合成图像、较快的拼接速度才是最为迫切的需求。

本文采用基于POS系统和SIFT特征进行遥感影像拼接，实时情况下能够完成无人机实时下传的垂直下遥感影像的拼接，事后情况下能够完成垂直下视、摆扫模式遥感影像拼接，在拼接时可以根据具体情况对图像进行降采样提高图像拼接速度，拼接后的图像带有地理坐标信息。

1 基于POS系统和SIFT特征遥感影像拼接方案

1.1 实时拼接处理

实时拼接处理时，只对无人机飞行过程中实时下传的垂直下视方式拍摄的遥感影像进行处理，此时需要实时监视指定路径下的遥感影像图像文件，实时地对新到的图像根据对应的遥测数据进行系统几何校正，即粗定位生成带有地理坐标信息的GeoTiff格式图像文件，然后再查找其与上一幅粗定位后遥感影像之间的SIFT特征点对，利用多项式模型对该图像进行配准，然后将配准后图像与上一幅图像按照地理坐标进行镶嵌，合成一幅新图像。

1.2 事后拼接处理

事后拼接处理时，包含单航带拼接、垂直下视多航带拼接和摆扫模式拼接，需要从机载记录仪中导出遥感影像文件，这些文件包含垂直下视和摆扫模式拍摄的多航带遥感影像。侦察无人机在一次飞行过程中会产生上千张遥感影像，如此多的遥感影像中会有一部分不能进行拼接处理，如飞机起飞、降落时遥测数据不准，转弯时产生的遥感影像会有较大变形，所以在遥感影像拼接处理时需要对图像文件进行筛选，筛选条件一般按照飞机航向角变化范围、滚转角变化范围、平台俯仰角变化范围和图像重叠率等，将属于同一航带的符合拼接条件的遥感影像图像文件存放在一起。

1.2.1 单航带拼接

对筛选后符合拼接条件的同一航带的所有遥感影像根据相应遥测数据进行系统几何校正，即粗定位生成带有地理坐标信息的GeoTiff格式图像文件，然后再对粗定位后遥感影像利用SIFT特征点对和多项式模型进行两两配准，然后将所有配准后图像按照地理坐标进行镶嵌，合成一幅新图像，即单航带拼接结果图像。

1.2.2 垂直下视多航带拼接

利用SIFT特征点对和多项式模型对单航带拼接结果图像进行两两配准，然后将所有配准后图像按照地理坐标进行镶嵌，合成一幅新图像，即多航带拼接结果图像。

1.2.3 摆扫模式拼接

先利用单航带拼接方法对摆扫模式下产生的左片图像、中片图像和右片图像分别进行拼接，生成相应的拼接结果图像，然后以中片拼接结果图像为基准，利用SIFT特征点对和多项式模型对左片图像拼接结果和右片图像拼接结果进行配准，然后将配准后图像按照地理坐标进行镶嵌，合成一幅新图像，即摆扫模式拼接结果图像。

1.3 拼接处理流程

侦察无人机遥感影像拼接处理流程如图1所示。

图1 侦察无人机遥感影像拼接处理流程

2 关键技术

2.1 遥感影像系统几何校正

2.1.1 方法说明

系统几何校正是利用坐标变换方法建立原始图像和输出图像的几何关系，即几何校正模型，建立系统校正模型后，输入划分的图像网格点坐标，输出投影坐标。这些点的图像坐标和投影坐标形成一组控制点集，使用该控制点集，对原始图像数据进行多项式校正计算，重采样生成输出图像数据，根据当前拍摄区域中心点位置，设置图像投影条带，指定图像投影信息，最后输出为图像文件。该算法是利用目标图像和飞机位置、姿态以及平台的参数计算该目标在WGS-84坐标系中的大地坐标，算法核心是对地球坐标系、当地地理坐标系、机体坐标系、光电平台坐标系、相机坐标系进行准确的坐标变换[6-7]。

2.1.2 算法步骤

利用坐标变换方法建立原始图像和输出图像的几何关系，即几何校正模型，其步骤如下：

① 建立从当地地理坐标系到相机的空间坐标系群；

② 完成各个坐标系之间的相互转换关系；

③ 把原始图像剖分成适当大小的矩形网格；

④ 根据坐标系转换关系建立几何校正模型；

⑤ 利用几何校正模型，计算网格点(i，j)在WGS-84坐标系下的大地坐标(LWGS-84，BWGS-84)；

⑥ 利用(LWGS-84，BWGS-84)进行地图投影变换，得到投影坐标(Xij，Yij)；

⑦ 再把(i，j)，(Xij，Yij)作为控制点，利用多项式拟和方法，对原始图像进行校正，即“图像重构”。

2.2 基于SIFT特征的图像配准

Lowe D G在2004 年总结了现有的基于不变量技术的特征检测方法，并提出了一种基于尺度空间的对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算子SIFT(Scale Invariant Feature Transform)算子，即尺度不变特征变换[8-9]。该算法的核心思想是首先在尺度空间进行特征检测，确定关键点的位置和所处尺度，然后使用邻域梯度的主方向作为该点的方向特征，以实现算子对尺度和方向的无关性。由于该算法是利用高斯差分函数来构造尺度空间函数的，所以其检测出的特征点，在图像上反映的不一定是明显的地形或地物点，但是该点却是高斯差分函数的极值所在。同时SIFT 算法未考虑图像的色彩信息，因此在利用该算法对无人机影像提取特征之前，需要将影像做进一步处理将其变为全色影像[10]。

利用SIFT 算法提取的特征点对中存在一些误匹配的点(也称作“外点”)，如果不将这些“外点”去除，将导致计算出的变换矩阵存在较大误差，降低图像的拼接效果。在精匹配过程中首先采用随机一致性检验(RANSAC)算法[11-13]，它有能效剔除50%的错误点。在通过RANSAC 算法剔除后的特征点对中再采用最小二乘算法进一步检测剩余的匹配点对。

2.3 图像融合

图像融合的目的是选择合适的方法来完成图像拼接，避免拼接后的图像出现明显的拼接缝隙，甚至有模糊和失真等现象。目前，常用的图像融合技术有直接平均融合法和加权平均融合法。采用直接平均融合法拼接出来的图像往往会有比较明显的拼接痕迹[14]。本文采用渐入渐出的加权平均融合法进行图像融合[15]。令I1，I2表示待拼接的2幅图像，I表示拼接后的图像，则用该方法融合的图像可以描述为：

式中，w1，w2表示重叠区域的权重，它们与重叠区域的宽度width满足如下关系：

式中，0

3 拼接实验结果

为了验证本文所用方法对无人侦察机遥感影像的拼接效果，在VS2010平台下实现了相关算法及处理流程，并利用无人机影像进行检验。实验计算机环境为Intel Core i7-3770处理器，主频3.4 GHz，内存4 GB，Win7 32位操作系统。

3.1 垂直下视图像拼接

试验选用10张某无人机实飞数据，图像数据原始大小为8 964×6 716个像元，为了提高整体拼接速度，在对原始遥感影像进行系统几何校正时，对图像进行了降分辨率重采样，宽高分别降至原来的1/2。待拼接的无人机图像如图2所示。

图2 待拼接图像

拼接结果如图3所示。拼接总用时为4 min 45 s。

图3 拼接结果图

3.2 摆扫模式图像拼接

试验所用无人机图像数据原始大小为6 576×4 384个像元，左片、中片和右片均采用了12张遥感影像，为了提高整体拼接速度，在对原始遥感影像进行系统几何校正时，对图像进行了降分辨率重采样，宽高分别降至原来的1/2。无人机摆扫模式拍摄时的左片拼接结果、中片拼接结果和右片拼接结果如图4所示。

图4 摆扫模式下左片、中片和右片单独拼接结果

将左片拼接结果、中片拼接结果和右片拼接结果进行拼接后形成的摆扫航带拼接结果如图5所示。拼接总用时21 min 6 s。

图5 摆扫模式下左片、中片和右片整体拼接结果

4 结束语

通过实验证明，本文采用基于POS系统和SIFT特征进行的遥感影像拼接，能够很好地适应垂直下视和摆扫模式下遥感影像的拼接，并且可以在拼接时根据具体情况对图像进行降采样处理，提高图像拼接速度，拼接速度较快，拼接后的图像带有地理坐标信息、具有良好的视觉效果，能够满足应急情况下对图像拼接的工程应用要求。