基于控制点配准算法的无人机遥感影像自动无缝拼接技术

唐甜甜，陈炳才，2，宁 芊

(1.新疆师范大学 计算机科学技术学院，乌鲁木齐 830002;2.大连理工大学 计算机科学与技术学院，辽宁 大连 116024)

0 引言

无人机遥感作业相对于传统航空遥感作业成本较低[1]，同时，由于无人机便于运输、起降和着陆，使无人机的遥感操作更加灵活，能够快速、实时获取小面积、分散作业区域的图像，使用该技术能够改善获取时间长、图像缺乏灵活性等问题[2]。无人机遥感影像几何校正与拼接技术是快速获得完整监视区域影像的关键，通过参数联合获取图像外部定位元素，能够快速对图像进行定位[3]。

传统方法通常采用基于图像匹配的方法对无人机遥感影像进行拼接，利用所提取匹配信息建立影像间最佳转换模型，完成影像间的对齐；影像配准后对其进行拼接平滑处理，使合成影像色泽一致。尽管新技术对尺度变化具有良好的鲁棒性，但是当图像之间存在较大未知畸变时，上述方法就不再适用于这种情况。因此，提出基于控制点配准算法的无人机遥感影像自动无缝拼接技术，解决上述传统技术存在的问题，即使在影像间存在较大未知变量时，也能保证良好拼接结果。

1 无人机遥感影像获取

根据生态环境监测标准选择的无人机机长1.8 m、翼展2.4 m，最大飞行时间3.5 h、最高水平飞行速度145 km/h；最高限制2 500 km/h，拟载入此类无人机遥感设备可替换可见光CCD成像设备，其主要目的是作为遥感监测平台[4-5]。

无人机影像成像原理如图1所示。

图1 无人机影像成像原理

所用无人机遥感系统主要包括空中、地面和数据处理3个部分，其中空中部分主要是将提前规划好的航线上传到无人机控制器之中[6]。因为无人机实时控制和接收飞行姿态数据会影响遥感图像的显示，因此使用监测器监测无人机飞行状态，当数据可以可靠地传送时，一些控制参数就会发生变化；地面部分主要是航路规划设计，统计单幅图像重叠率、航迹数、转弯角度等参数，显示地面控制面板和数据接收情况；数据处理部分，需要考虑通过预设的航迹自动采集图像，实现图像快速处理[7-9]。

无人机遥感图像采集方法主要是自动定点拍摄，以无人机为基础，通过数据采集、数据解包和数据传输3个环节，实现了通信数据实时下载[10]。无人机遥感系统上端接口为地面测控系统数据通讯接口，所有采集到的数据都是由地面测控系统向外分发的。全部数据分发后，从管道服务器数据流中检索出地面传输信道标志，并下载，存入硬件包中。在遥感传输过程中实时显示相关信息，并在遥感通信接口上实现数据传输，数据将以图像格式文件形式存储[11]。

2 基于控制点配准算法的图像配准

为了减少图像配准过程复杂性，在图像配准中采用了基于控制点配准算法。在所采集到的控制点中，可能存在两幅图像非重叠区域或者只在其中一幅图像的控制点，所以要排除这些控制点[12]。该方法通过设置阈值，将不具有良好匹配关系的控制点剔除，筛选出相对稳定且易于识别的控制点。计算最邻近域和次邻域的比值来选择易于识别的控制点，如果比值小于设定的阈值，则说明该控制点有效，将其保留，否则将其剔除。具体步骤如下：

1)从两个影像中至少选择4对控制点相对应，在粗匹配图像中随机抽取4对控制点，以确定是否有3对有一条线，如果有，则丢弃这组匹配点，否则，需再次随机选择，直到没有3对匹配点对匹配为止。

2)将所选的4对控制点进行数据标准化处理，其中包括图像坐标平移和缩放。数据标准化处理不仅能提高结果准确性，而且对任意坐标原点的变化是具有不变性的，能够彻底消除坐标变换对图像配准的影响。

(1)

式(1)中,scale表示变换尺度，计算公式如下所示：

(2)

(3)

式中,n表示变换次数。

(4)

(5)

变换矩阵是一个齐次矢量方程，因此三维空间矢量方向一致，由此说明H是一个线性解。

1)粗配准。依据此设计粗配准和细配准，其中粗配准以检测重叠区域为主,无人机由于受到天气、气流等因素影响，实际航向始终与预定航向有一定航测偏差，使重叠图像呈现出不同形状。这就使得两幅图像重叠区域难以确定，因此，必须通过粗配准进行匹配。

粗配准注意事项如下所示：

(1)为避免计算过程繁琐，应提前确定重叠区域，降低不匹配率，保证配准质量。

(2)通过上述检测步骤，能够快速确定相邻图像之间匹配关系。若图像失真过高，或因意外情况而造成航线模糊，应避免人工干预，使用人工自动计算方法。

(3)对于不同模式匹配，在对时间要求过高的情况下，需达到一定的匹配精度。

2)精配准。由于粗配得到的结果仅仅是两幅图像之间控制点对应关系，无法用于记录影像细节。如果在粗匹配后直接拼接图像，则结果将在影像出现错位现象。因此，在完成粗配准后，进入精细匹配阶段。

精配准注意事项如下所示：

(1)选择稳定且显著的控制点，增强区分能力；

(2)遵守配准均匀性；

(3)选择的控制点要方便匹配，为后续影像拼接提供帮助。

3 自动无缝拼接技术实现

3.1 最佳拼接线搜索

根据几何坐标信息，确定图像间的交叠区域，寻找最优拼接线；通过动态规划方法，确定重叠区域后，在其内部寻找最优无缝拼接线，并确定最佳缝线标准。

在此基础上，从重叠区域生成差值影像，再从差值影像中寻找最优无缝拼接线，可减小两幅原始图像在拼接线上不同影像点间色差和结构差异。

1)强度初始化:像素对应的无缝拼接线的强度值为每一像素判据值，无缝拼接线当前控制点对应其所在的列值；

2)扩展:比较标准的三个像素数值，添加当前控制点强度值，通过比较相应像素点最小强度来确定实际扩展方向，并更新图像拼接线列值点；

3)最佳缝合线确定:在所有无缝拼接线中，找出强度值最小的线，控制像素点的色差和结构达到统一。

3.2 消除拼接缝

搜索出最优无缝拼接线后，按照该线拼接影像。由于影像之间色调不同，如果在影像拼接时采用最优无缝拼接线作为边界，则影像的内容将直接从影像两面提取出来。使用最佳的拼接线为中心，设置有一定宽度缓冲带，将其与影像的交叠区域缓冲后，消除明显缝隙，从而使最优无缝拼接线的信息能够在影像间顺利过渡。

使用加权平均融合法，将两幅影像重叠区域的像素值乘以各自权值，再叠加平均融合，由此获取的重叠区域加权融合结果：

(6)

公式(6)中：ω1、ω2分别表示两幅影像重叠区域各自权值，且满足：

ω1+ω2=1

(7)

使用该方法能够快速得到结果，通过权值融合，使重叠区域色调平滑过渡，能消除较为明显的拼接缝。

3.3 无缝拼接

影像拼接分为无人机运行航线拼接和侧面拼接两个步骤。通过航线拼接生成航向拼接序列影像；通过侧面拼接将不同路径对应的航线拼接，最终生成无缝拼接影像。具体拼接过程如下所示：

1)将最优无缝拼接线作为边界，只取两幅影像的内容，即最优无缝拼接线相邻影像内容；

2)以所拼接生成的影像为左影像，以航线影像为右影像，根据最优无缝拼接线拼接相邻影像；

3)重复步骤1)～2)，直之航线图像全部拼接完毕，最终生成拼接影像。

4 实验结果与分析

在面对基于控制点配准算法的无人机遥感影像自动无缝拼接技术研究过程中，充分考虑算法优劣及使用效果，做了验证实验，并以此为基础得到验证结论。

4.1 实验步骤和方法

分别设计实验平台、实验对象及实验参数，选取无人机遥感影像图，选取图像的相同特征匹配控制点，采用不同方法匹配控制点，测试不同方法的影像分辨率及拼接效果。

4.1.1 实验平台

使用C++语言，调用opencv库函数作为实验影像处理的接口函数。在Windows7 Ultimate操作系统支持下，将影像传入到CPU为Intel Core2 i5-430M的计算机之中，使用NVIDIA GeForce GT 420M显卡将影像处理结果显示在界面上，最后再利用MATLAB R2008b工具统计结果，待实验完成后再转向C/C++开发平台。

4.1.2 实验对象

实验研究主要针对无人机遥感影像拼接，因此选取了某村庄的遥感影像图，如图2所示。

图2 遥感影像图

通过低空遥感飞行调查该区域格局，分别从两条飞行带上相邻影像图像中选取至少15～25对相同特征控制点，如图3所示。

图3 相邻影像图像相同特征控制点选取

4.1.3 实验参数说明

对该地区航拍影像相关参数说明如表1所示。

表1 该地区航拍影像相关参数说明

4.2 控制点匹配

为了改善控制点分布不均匀情况，需将重叠区域分块处理，之后再提取控制点，并将分块中心加入控制点序列中，得到的控制点匹配结果如图4所示。

图4 控制点匹配结果示意图

将分块中心作为控制中心，能够改善无控制点分布情况，在没有控制点分布区域通过所有连接线建立起来的匹配信息，可确定区域格局情况。

4.3 影像分辨率检测

匹配控制点后，分两次检测影像分辨率，第一次检测结果如图5所示。

图5 第一次检测结果

采用的原始影像分辨率为3 455*2 302，设缩放因子为0.2，那么第一次检测到的影像分辨率为690*460，得到平移参数为(156，40)，旋转参数为2.5°。

第二次检测到的图像如图6所示。

图6 第二次检测结果

第二次检测的影像，无缩放因子，分辨率为1 000*800，平移参数为(15,5)，旋转参数为0°。

结合这两次检测结果，给出了如表2所示匹配数据。

表2 匹配数据

结合图6、7和表2可得到较为精确数据匹配关系。

4.4 拼接效果分析

分别使用基于图像匹配方法和基于控制点配准算法拼接无人机遥感影像，拼接效果如图7所示。

图7 两种技术拼接效果对比分析

由图7可知，使用基于图像匹配方法出现明显的拼接缝隙，在缝隙处容易丢失影像信息，因此，使用该技术拼接效果较差。而使用基于控制点配准算法没有明显的拼接缝隙，获取的影像信息较为完整，由此可知，使用该技术拼接效果较好。

5 结束语

5.1 结论

研究了一种基于控制点配准算法的无人机遥感影像自动无缝拼接技术，在特征点检测过程中，通过控制点配准算法检测关键点，获得关键点主要方向，在匹配速度相当情况下，获取精准匹配结果。使用该技术即使在无地面控制点情况下，也可通过基于特征点匹配获取一幅良好无缝拼接影像，避免使用传统技术相对复杂且不定性的测量技术。通过该技术得到的主要研究结论如下所示：

1)通过控制点配准算法，消除影像边缘因相机镜头而引起的畸变问题，能够获取真实影像外方位元素；

2)使用该拼接技术，与传统技术相比，拼接精度获得了提高；

3)解决了影像上拼接错位问题，避免拼接影像重叠，通过融合处理得到良好拼接消缝效果。

5.2 展望

由于无人机机舱空间有限，只能搭载质量较轻的普通功能终端，而这种终端测量结果与理想测量结果还是存在一定差距的，达不到高精准测绘精度要求。如果将性能好的功能终端与无人机遥感集成在一起，可以很大程度地提高影像拼接效果。