面向海洋应用的无人机遥感图像配准研究

王 飞，高小伟，高 宁，赵建华，吴合风，孟庆辉

(1. 国家海洋环境监测中心，辽宁 大连 116023； 2. 国家海洋局海域管理技术重点实验室，辽宁 大连 116023； 3. 航天图景(北京)科技有限公司，北京 101300)

面向海洋应用的无人机遥感图像配准研究

王 飞1,2，高小伟3，高 宁1,2，赵建华1,2，吴合风3，孟庆辉1,2

(1. 国家海洋环境监测中心，辽宁 大连 116023； 2. 国家海洋局海域管理技术重点实验室，辽宁 大连 116023； 3. 航天图景(北京)科技有限公司，北京 101300)

在海洋应用中，大面积水体的同名点匹配相比陆地更加困难，制约了无人机遥感图像的配准精度和收敛速度。本文提出了一种改进算法适用于海洋无人机遥感应用，采用主成分分析(PCA)和水体阈值方法去除水体，获得图像中非水体区域的分块图像，然后利用仿射-尺度不变特征变换算法(ASIFT)进行图像的特征点提取和重叠图像非水体区域的同名点匹配。通过海岛、海岸线的无人机遥感试验结果表明，基于改进算法，在不增加时间开销的情况下，可以增加30%～50%的同名点数量，精度提高约5%～10%。文中方法适应用于海洋无人机遥感的序列图像配准，为海岛、海岸线的遥感监测提供了有效的技术支持。

无人机；遥感；海洋应用；海岛监测；序列图像配准

在海洋应用中，对于海岛、海岸带的及时监测是一项重要任务。常规的人工测量或船载作业方式受制于距离远、地势复杂、工作量大等问题；卫星遥感经常受到云层遮挡影响，而且分辨率和重访周期等也存在不足；而航空遥感受到航空管制和转场等限制、飞行成本较高、受云雾天气的影响，导致空间信息的更新缓慢。近年来，无人机遥感技术发展迅速，在遥感领域中获得较为广泛的应用，成为卫星遥感与航空遥感的有力补充。在海洋应用中，无人机遥感的快速响应，灵活机动、高分辨率、高效率等特征，随着其航行时间、操控性能和传感器的进一步提升，能够满足海岛、海岸线观测的任务需求，具有广泛的应用空间[1-2]。但是由于无人机遥感图像存在大量海面场景，且由于海风等因素的作用，海面变化较大，同名点提取的误差相比陆地图像大量增加，使得光束法平差的精度较低甚至迭代无法收敛，严重制约无人机遥感技术在海洋监测中的应用，亟待解决。

基于图像点特征的同名点提取算法，首先找出特征点，然后依据特征信息进行匹配，如通过Harris算子中的一阶差分矩阵[3-4]，可以精确地获取图像上纹理变化的角点，但是Harris算子只能提取像素级匹配点。FAST算法[5]计算效率高，在角点特征提取的过程中，表现出很强的抗噪声能力。SIFT[6-7]是一种提取局部特征的算法，通过利用二维高斯函数，在尺度空间上寻找极值点，提取位置、尺度、旋转不变量，获得特征点的方向描述子。为了提高匹配效率，将主成分分析(principal component analysis,PCA)应用于对描述子向量的降维，改进SIFT算法，形成PCA-SIFT[8]算法。SURF[8]采用卷积方法和Hessian矩阵，改进SIFT算法，同样提升了特征匹配的效率。Morel和YU提出了仿射-尺度不变特征变换算法(affine-sift,ASIFT)[9-10]，该算法可以抵抗强仿射，不仅在低重叠度影像上能够提取足够的特征，而且提取的特征类似于SIFT特征，可以参与光束法平差进行全局一致性约束处理，有效提高同名点匹配的精度。ASIFT算法已经成功应用于陆地上空的无人机遥感观测，但是目前少有其对于海洋观测的应用。

在实际遥感拍摄获得的无人机海洋监测图像中，由于海面波浪的影响，短时间内海面图像的纹理特征容易发生较大的变化，从而造成大面积水体存在的像对间同名点的错误匹配。因此，本文提出一种通过去除水体的无人机遥感图像配准方法，提取非水体区的特征点，并进行重叠图像非水体区的同名点匹配算法。首先利用PCA主成分分析和水体阈值方法去除水体，获得图像中非水体区域的分块图；然后利用ASIFT算法进行分块图像的特征点提取和重叠图像非水体区域的同名点匹配。基于陆地的分块图像，可以增加特征点提取的个数，提高同名点匹配的数量和精度。而且由于图像大小的缩小，计算时间略有下降，与去除水体的时间相抵消，改进算法不增加时间开销；改进算法能够提高无人机遥感技术在海洋监测中的应用效果。

1 原理和算法

在无人机海洋遥感过程中，由于大面积水体的存在，Harris、SIFT等图像同名点匹配算法的效果较差，像对间自动提取的同名点数量通常小于20个，难以满足区域网平差所需要的同名数数量。基于ASIFT的同名点匹配算法，由于其设计的过程中考虑各种仿射变换后的结果，因此可以抵抗强仿射，并在低重叠度影像上能够提取足够的特征(通常大于100个)，从而满足区域网平差的需要。对于海洋无人机遥感而言，由于存在大面积水体的影响，ASIFT算法获得的水面纹理特征不容易进行成功匹配，影响其同名点的匹配精度和数量。

因此，本文首先对无人机遥感获得的序列图像进行水体去除，然后针对海岛、海岸线等陆地进行特征点提取与同名点匹配，改进直接配准的同名点匹配精度，技术路线如图1所示。在技术实现上，首先进行特征点提取和匹配，然后在极几何约束和单应性约束的基础上，利用RANSAC算法对特征点进行粗差点剔除。遥感图像处理中常用的水陆场景分离，一般利用到近红外波段提取归一化水体指数等信息，但是由于载重等条件的限制，无人机遥感器一般采用数码相机进行遥感监测，只具有红绿蓝3个波段。因此，本文采用主成分分析算法获得彩色图像的主成分信息，然后基于水陆阈值进行水陆场景的分离，从而去除水体，生成没有水体的分块图像，用于后续的特征点提取与同名点匹配。

图1 面向海洋应用的无人机遥感图像配准技术路线

1.1 水体去除

基于遥感图像的水陆场景分离也是当前研究的热点问题之一[11]。由于无人机遥感图像通常只有红绿蓝3个波段，缺少近红外波段，无法利用常用的归一化水体指数进行水体识别。同时，在图像分割过程中，由于近海的海浪较多，利用分割算法进行图像分割的效果也较差，相对耗时。因此，本文采用主成分分析算法获得彩色图像的主成分信息，然后基于水陆阈值进行水陆场景的分离，从而去除水体，生成没有水体的分块图像。

主成分分析方法常用于高光谱遥感图像的降维处理，也有利于无人机遥感图像的二值化处理和空间信息提取[12]。主成分分析通过多变量线性变换将多维遥感数据按照信噪比大小进行排列，可以获得不相关的主成分，从而在一定程度上压缩信息。主成分分析方法降维后的第一主分量包括了绝大部分的遥感图像数据信息，特别是空间信息。主成分分析能够有效处理多分量数据，将一组互相相关的变量变换成一组新的互相无关的几个综合变量，具有降维效率高等特点。

首先计算无人机遥感图像R、G、B这3个波段的相关矩阵，然后由相关矩阵计算出特征值λ1和特征向量φi(i=1,2,…,n)，将特征值按照大小次序排列，最后基于第i波段数据di计算第一主分量图像PC1，即

(1)

海域上空的无人机遥感图像，经过主成分分析后，可以获得差异明显的水陆场景，然后利用简单的阈值方法，可以快速地进行水陆场景的分离。根据陆地区域在图像中的最大最小坐标，考虑海岸与海水的灰度差异较小，向外扩展10%的宽高，获得分块图像。

1.2 同名点匹配

利用ASIFT算法获取关键点的特征信息。基于特征信息的配准方法提取的是图像不变特征作为配准信息，这些不变特征指图像变化(如旋转、缩放和仿射变换等)在局部区域内仍保持稳定的特征及对这些特征的描述信息。常用的图像不变特征有尺度不变特征(如Dog关键点等)和仿射不变特征(如Harris-Affine等)。ASIFT算法是对SIFT算法的改进算法，通过不同仿射情况的遍历而形成的一种完全仿射不变的图像匹配方法。ASIFT算法对于缩放、旋转、平移，以及相机轴向角都具有不变性。相比SIFT算法，ASIFT算法更加适用于具有低重叠度的无人机遥感图像间的同名点匹配，特别是拍摄角度变化的情况。同时，对于大面积水体存在的像对，也可以将其视为陆地具有较低重叠度的情况，因此，ASIFT算法也具有相应的优势。

A=HλR1(ψ)TtR2(φ)=

(2)

通过模拟所有可能由视角变化而引起的仿射畸变，获取仿射变换参数。首先对图像进行仿射变换，得到所有可能仿射变换下的模拟图像。然后利用SIFT算子，开展图像的特征提取和同名点匹配，得到粗匹配的同名点对。下一步依据坐标唯一性、斜率约束以及极线约束剔除错误的匹配点，进一步通过RANSAC算法[13]删除外点来达到特征点精确匹配的目的。最后采用几何纠正模型进行粗差分离，分离出残差最大点，获得最佳的匹配点对。通过上述一系列步骤后，可以大幅提高特征点对匹配的准确率，进而保证求解的变换模型参数的准确性。

图2 仿射变换后的模拟图像

2 试验分析

本文以低空飞行(300～500 m)的无人机遥感图像为例，首先在图像中搜索所有同名点，进一步获取图像中所有的全局同名点。如图3所示，图像大小为4288×2848像素，原始分辨率为0.1 m。图像中存在面积水体，图(a)占到85%左右，图(b)占到70%左右。

图3 无人机海洋遥感实验图像对

利用主成分分析，获得图像的第一主分量，如图4所示。本文设置水陆分离阈值为30，大于阈值的为陆地，小于阈值的为海面。基于陆地的最大最小坐标，获得如图4虚线所示的陆地外接区域。由于海岸线如岩石、沙滩等地物与海面的差异较小，因此将陆地外接区域扩展10%，生成如实线所示区域，作为匹配区域。水体去除算法大约耗时2 s。

图4 基于阈值的主成分分析图像分块

利用CPU多核并行的ASIFT算法分别获得图对的特征点22 458个和25 231个，消耗时间共23 s。直接基于全图匹配的初始同名点为144个，而去除水体后匹配获得的同名点为198个。采用RANSAC去除粗差，以模型误差0.05为阈值，得到小于阈值的精确同名点。如图5和图6所示，直接基于全图匹配的同名点为131个，正确匹配率为91%，而去除水体后匹配获得的同名点为193个，正确匹配率为97.5%。直接匹配和去除水体后匹配分别耗时51和50 s。相比较而言，这组图像直接利用SIFT算法没有获得足够的同名点(5个)。

图5 水平方向上的算法对比

本文基于5组无人机遥感图像进行试验分析，统计每组图像拼接后的精度，并比较算法消耗的时间(见表1)。其中，匹配精度指的是初始同名点的正确匹配率，计算所耗时间包括所有步骤的时间总和。由于匹配过程没有采用GPU显卡加速等技术，使得时间开销较大，而水体去除一般消耗时间较少，因此几乎可以忽略不计。

图6 垂直方向上的算法对比

方法组号初始匹配点正确同名点正确匹配率/(%)总耗时/s直接ASIFT方法114413191.074215614089.778312311791.976417616789.879518817591.076去除水体后ASIFT方法119819397.575222021597.777318717895.277423322194.879521320294.877

从表1可以看出，本文在去除水体的基础上进行特征点提取和匹配的方法能够得到更多的同名点数量和较高的正确匹配精度。基于改进算法，在不增加时间开销的情况下，可以增加30%～50%的同名点数量，精度提高约5%～10%。

3 结 论

本文提出了一种面向海洋应用的无人机序列遥感图像同名点匹配方法，可以增加同名点数量、提高同名点匹配精度。通过主成分分析结合水体阈值的方法去除水体，获得图像中非水体区域的分块图像，然后利用ASIFT方法进行分块图像的特征点提取和重叠图像非水体区域的同名点匹配。本文方法适用于无人机长序列遥感图像的海岛、海岸线监测，在大面积水体存在的情况下仍然可以获得大量高精度同名点，并且取得较好的效果。需要指出的是虽然ASIFT算法结果精确，但是相对耗时，后续可以利用GPU并行加速进行优化，以提高其应用能力。

[1] 郭忠磊, 翟京生, 张靓, 等. 无人机航测系统的海岛礁测绘应用研究[J]. 海洋测绘, 2014, 34(4): 55-57.

[2] 麻德明, 邓才龙, 徐文学, 等. 无人机遥感系统在岸线勘测中的应用[J]. 海洋开发与管理, 2015, 32(4): 45-48.

[3] HARRIS C.A Combined Corner and Edge Detector[C]∥Proceedings of Alvey Vision Conference. Manchester:[s.n.], 1988:147-151.

[4] 谢东海, 詹总谦, 江万寿. 改进Harris算子用于点特征的精确定位[J]. 测绘地理信息, 2003, 28(2): 22-23.

[5] ROSTEN E, DRUMMOND T. Fusing Points and Lines for High Performance Tracking[C]∥Tenth IEEE International Conference on Computer Vision.Washington, DC, USA: IEEE Computer Society, 2005:1508-1515.

[6] LOWE D G. Distinctive Image Features from Scale-invariant Keypoints[J]. International Journal of Computer Vision, 2004, 60 (2): 91-110.

[7] 吴俣, 余涛, 谢东海, 等. 高分辨率多光谱遥感图像的自动配准[J]. 红外与激光工程, 2012, 41(12): 3285-3290.

[8] BAY H, ESS A, TUYTELAARS T, et al. Speeded-up Robust Features(SURF)[J]. Computer Vision and Image Understanding, 2008, 110(3): 346-359.

[9] MOREL J M, YU G. ASIFT: A New Framework for Fully Affine Invariant Image Comparison[J]. SIAM Journal on Imaging Sciences, 2009, 2(2): 438-469.

[10] 宋耀鑫, 张丹丹, 唐伶俐,等. 基于ASIFT算法的低重叠度无人机影像拼接方法[J]. 遥感技术与应用, 2015, 30(4): 725-730.

[11] 唐为林. 基于纹理分析的遥感图像水陆场景分类[D]. 武汉：华中科技大学, 2012.

[12] 田野, 赵春晖, 季亚新. 主成分分析在高光谱遥感图像降维中的应用[J]. 哈尔滨师范大学自然科学学报, 2007, 23(5): 58-60.

[13] FISCHLER M A, BOLLES R C. A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography[J]. Communications of the ACM, 1981, 24(6): 381-395.

RemoteSensingImageRegistrationofUnmannedAerialVehicleforMarineApplications

WANG Fei1,2，GAO Xiaowei3，GAO Ning1,2，ZHAO Jianhua1,2，WU Hefeng3，MENG Qinghui1,2

(1. National Marine Environment Monitor Center, Dalian 116023, China; 2. Key Laboratory of State Oceanic Administration Management Technology, Dalian 116023, China; 3. Space GeoData (Beijing) Co. Ltd., Beijing 101300, China)

In marine applications, large water areas lead to more difficulties compared to land on the corresponding point matching, which restricts the UAV remote sensing image registration precision and convergence speed. This paper proposes an improved algorithm for the marine UAV remote sensing applications. First, remove water using principal component analysis (PCA) and water threshold method, and obtain the block image without water. Then, feature points extraction and the corresponding points matching of these block images were performed using the affine scale invariant feature transform algorithm (Affine-Sift, ASIFT). The experiment results show that the improved algorithm can increase 30%～50% points, the accuracy increases by about 20%, and time is not increased. This method is suitable for the sequence of UAV remote sensing image registration on the marine, and it can provide effective technical support for the remote sensing monitoring of island and coastline.

UAV；remote sensing；marine application；island monitoring；registration of image sequences

王飞，高小伟，高宁,等.面向海洋应用的无人机遥感图像配准研究[J].测绘通报，2017(11)：123-127.

10.13474/j.cnki.11-2246.2017.0361.

P23

A

0494-0911(2017)11-0123-05

2017-07-18

海洋公益性行业科研专项(201405028)；国家海洋局海域管理重点实验室基金(201509)

王 飞(1982—)，男，硕士，工程师，主要从事海域无人机遥感监测及数据处理工作。E-mail：16464392@qq.com