高分辨率遥感影像目标检测方法综述

杨晓冬 梁斯东 张宝玉 张丽莎

摘要：长期以来，遥感影像的目标检测主要依靠目视判读和人工手段，工作效率低，时效性差。文章介绍了传统遥感影像目标检测和基于深度学习的目标检测算法，着重分析了深度学习应用于遥感影像目标检测的技术，并对深度学习在目标检测中的问题和未来方向进行了探讨。

关键詞：目标检测;特征提取;深度学习

中图分类号：V35;TP751   文献标识码：A   文章编号：1672-9129（2020）12-0040-02

1 概述

自20世纪60年代以来，在卫星通信、航天航空信息处理等关键技术的推动下，遥感对地观测技术获得长足发展，遥感影像在军事和民用领域的应用范围日趋广泛[1]。基于遥感影像的自动目标检测与识别在现代信息搜集中起着重要作用，利用遥感影像对重要目标的基础特性进行深入研究，加强对各类目标的定性、定量描述和理解，形成规范的目标特征模型和数据库，对于提高遥感数据目标检测精度具有重要意义。

近年来，深度学习技术迎来快速发展，在图像识别、语音识别、文字翻译、文本信息提取等方面取得极大的效果。基于深度学习技术的图像识别已取得相当的成果，各类识别算法逐渐趋于成熟和完善，同时，遥感影像分辨率高、数据量大的特征也为利用深度学习技术进行遥感影像目标检测提供了便利。基于深度学习的遥感影像处理方法不断涌现[2]，基本思路是把光谱特征和纹理特征等浅层特征看作是深度网络的底层特征，把输出特征看作是深度网络的顶层特征，从而直接得到一个分类器用于完成不同的任务。研究基于深度学习的遥感影像目标检测，在灾害应急救援、海上船只管理、城市车辆管理等方面具有重要意义。

2 高分辨遥感影像典型目标特点

高分辨遥感影像为目标检测提供了丰富的有用特征和信息的同时也带来了大量的冗余信息，增加了目标检测的难度。在进行遥感影像目标检测时，首先需要了解目标的基本特性。根据目标在高分辨率遥感图像中的形态特点，大致可以分为线性目标、复合结构目标和团块目标[3]。

线性目标在空间上表现出条带状或线状的形态，如道路、机场跑道、河流等等。线状目标的自动检测需要全面考虑目标的边缘、大小、纹理、灰度等各特征，采用直线段检测、平行线检测、边界提取等方法来检测目标，然后根据目标知识模型进行验证。例如可以根据平行直线线对来检测机场跑道的潜在位置，然后根据跑道的长度、宽度先验知识以及停机坪等其它结构来确认目标。

复合结构目标可以看作是一些结构基元或简单目标的组合，如港口、桥梁、建筑物、机场等。这些组合目标的识别通常要依据关于目标的专家知识，综合任务驱动和数据驱动两种算法的优势，首先提取出单元目标，然后结合各子目标之间的相互关系，最终判断目标是否存在。例如，建筑物一般呈现出矩形特征，所以从图像中提取直线段后，根据一定的规则进行矩形或类似矩形的重建，并结合纹理、灰度特征信息以及周边道路、绿化设施等环境因素，实现建筑物的检测。

团块目标在图像中一般以斑块的形式出现，有较强的区域特性，如飞机、舰船、车辆、油罐等小目标，其空间位置可由其重心坐标来表示。它们的检测一般采用自底向上的数据驱动策略，经过分割、标记、特征提取等底层处理后，进行特征匹配识别。除了目标自身的特征，通常还利用目标与周围环境的上下文关系，在可能出现这些目标的区域进行检测，以提高目标检测效率。如飞机的识别首先要检测到机场的位置，而舰船的检测则离不开港口或水体的检测。

3 高分辨率遥感影像目标检测方法

3.1 传统遥感影像目标检测。传统的遥感影像目标检测主要有基于模板匹配的方法、基于图像分析的方法OBIA以及基于机器学习的方法[4]。

（1）基于模板匹配的方法。基于模板匹配算法的主要思路是针对不同的目标设计不同的模板去识别，例如用宽度和长度两个几何参数以及像元亮度和对比度两个图像参数构建道路轮廓模板，并用此模板来检测道路目标。如文章[5]引入多元图像分析方法并将其作为海岸线模板来检测石油罐取得了一定成效。模板匹配的方法在针对某些特定目标时颇有成效，但该算法对预先设定的模板要求十分严格，对目标的形状和密度变化非常敏感，稳定性和鲁棒性较差，无法满足大规模应用的需求。

（2）基于图像分析的方法。基于图像分析的方法在目标中抽取特征，将目标抽象为目标模型、目标背景或环境模型进行识别，主要包括两个步骤：图像分割以及目标分类。首先，遥感图像被分割成各个区域，然后对其区域进行分类，判断其是否含有目标。如国外学者提出MRS（multi-Resolution Segmentation）算法使用形状、密度、尺度三个参数将图像分割成多个区域。后续研究人员又提出了新的参数定义工具，其能够有效的给出MRS算法中的尺度参数。虽然OBIA的方法比较灵活，结合了一些上下文语义信息并在某些领域取得了较好的效果，但该类方法对如何定义分割区域仍然含有大量主观信息，其算法不具有普适性。

（3）基于及其学习的方法。基于机器学习的方法其主要思想是通过滑动窗口或其他候选框提取方法来获取感兴趣区域，然后提取图像中层语义特征（对底层特征进行统计分析得到的特征，如HOG特征和BOW特征），并以这些特征训练分类器模型，如SVM分类器，利用训练好的分类器模型来判断感兴趣区域是否含有目标。例如文章[6]利滑动窗口和HOG特征进行遥感图像目标检测。文章[7]提出了一种结合圆频率特征和HOG特征的算法来进行舰船检测。基于传统机器学习的遥感图像目标检测算法相对于模板匹配方法和OBIA方法具有更好的准确性、稳定性以及普适性，但是该方法所采用的滑动窗口算法会带来过多的计算损耗，且该方法所采用的中层语义特征是对底层特征进行统计，仅能有效地表达不同纹理、边缘等特征的分布，无法表达具有抽象语义的目标特征，例如具有近似形状结构的机场跑道线与飞机目标具有完全不同的抽象语义。

3.2 基于深度學习的遥感影像目标检测。目前，基于深度学习的遥感图像目标检测算法成为热门研究方向，例如文章[8]采用滑动窗口算法提取感兴趣区域，并用改进的GoogleNet网络充分利用卷积神经网络的高层语义特征进行机场检测。当前较为常见的是直接采用自然场景图像深度学习模型，如R-CNN、Fast-RCNN、Faster-RCNN、YOLO、SSD等深度学习模型进行改进后用于遥感影像的目标检测，这些方法可分为基于区域的目标检测和基于回归的目标检测。

（1）基于区域的目标检测方法。基于深度学习的目标检测框架R-CNN在2014年由Girshick[9]教授等人提出，算法开创性的将目标检测问题转化为基于感兴趣区域的分类问题，高效地利用了深度学习在分类工作中的出色性能，开启了利用深度学习技术进行目标检测的新纪元。R-CNN利用选择性搜索得到建议框，通过CNN对每个候选区域进行多层次深度特征提取和调整候选框区域，然后输入分类器实现对特征的分类工作，最后通过Bounding box目标边界框回归算法实现对目标边界框的重新定位。R-CNN模型框架如下图所示：

虽然R-CNN展现出了令人惊叹的目标检测效果，但仍然表现出明显的不足，其最大的问题就是区域建议框的提出方法所得到的预选区域相互之间重叠率较大，因此直接导致了R-CNN在进行目标检测过程中进行了非常多的冗余计算，严重影响了模型运行效率。

Fast R-CNN在R-CNN的基础上又做了一些改进，在保留R-CNN优点的同时，借鉴了SPPNet的思想使目标检测过程更加紧凑，相比于R-CNN，Fast R-CNN并没有修改候选框生成方式，而是提出将感兴趣ROI策略引入到特征提取层，将候选框对应到特征层中，避免了不同候选框图像重复输入计算，实现了对特征提取层直接提取区域内的深度层次特征和分类识别的整合，优化了目标检测的效率。

尽管Fast R-CNN优化了R-CNN不同候选框重复输入的冗余操作，但是候选框生成方法仍然被隔离在深度卷积神经网络之外，同时候选框生成算法十分耗时且难以集成到GPU加速，效率不高。

任少卿[10]等人针对Fast R-CNN模型由于候选框生成算法耗时所带来的效率低下的缺点提出了Faster R-CNN模型，利用区域生成网络（Region Proposal Networks，RPN）得到建议框，让RPN网络和Fast R-CNN 网络实现卷积层的权值共享，实现了深度学习网络与区域建议框提取算法的整合并一同输入GPU进行加速运算，构成了一种端到端的网络模型，在不降低识别精度的前提下提高了模型运行效率，达到了近乎实时的识别效果。文章[11]使用Faster R-CNN 在高分辨率遥感影像中实现了多类目标的检测识别。

总的来说，上述三种模型进行目标检测时可分为搜索建议框提取和CNN模型运算两个阶段，而第一阶段中生成搜索建议框使得这类目标检测算法的识别效率不高且搜索建议框的优劣很大程度上影响最终的识别精度，三者均属于基于区域的目标检测算法。

（2）基于回归的目标检测方法。2015年，YOLO[12]算法的出现使得深度学习目标检测算法开始有了两步（two-stage）和单步（single-stage）之分。YOLO算法是一种可以同时预测多个边框位置和类别的卷积神经网络，算法首先将图像划分为7x7的网格，对每个网格都预测2个边框，包括了每个边框是目标的置信度以及每个边框区域在多个类别上的概率，根据上一个步骤能够预测出7x7x2个目标边框，然后根据阈值排除可能性低的目标边框，最后使用非极大值抑制去掉冗余边框。与基于区域的目标检测方法相比，不需要候选区域提取过程，直接回归完成位置和类别的判定，检测速度较Faster R-CNN也有近10倍的提升。

2016年基于深度卷积神经网络模型提出的SSD算法实现了多框识别的单阶段目标检测，SSD算法融合了Faster R-CNN中的锚点机制以及 YOLO 的回归思想，回归整图每个位置的多尺度区域特征。它将目标检测的流程定义成统一的端到端的回归学习问题，只需要一个网络对一张图片做一次处理就可以通过回归的方式来识别目标的类型和位置。SSD主要分为多尺度特征图提取、先验框生成、标记框预处理和损失函数等四部分，算法具有两个关键性思想：第一，利用浅层卷积特征（大尺度特征图）进行小目标的识别，利用深层特征（小尺度特征图）进行大目标的识别，从而实现利用不同尺度特征进行多尺度目标的识别;第二，利用不同尺度的先验框（Faster R-CNN中称为候选框），实现了对小目标的识别与准确定位。

YOLO算法和SSD算法均属于基于回归的目标检测算法，该类算法在保证识别结果与基于建议区域的目标检测算法相当的同时，节省了图像特征处理时间，大幅优化了模型运行的效率。

4 结论

文章论述了遥感影像目标检测的相关技术研究，传统遥感影像检测依赖于人为设计的图像特征，需要人为挑选最优的特征子集并调节分类器参数，针对不同任务算法存在鲁棒性和性能无法保障的问题。基于深度学习的目标检测方法因其更快速的检测效率、更高的鲁棒性使其成为当前研究热点，但遥感影像由于其成像质量、单幅数据量大及影像中存在大量复杂背景等也为目标检测带来挑战。

当前基于深度学习的目标检测大多进行单一目标或少量目标组合进行检测，在多目标联合检测方面还存在模型运算效率低、多目标检测正确率不高等问题，研究适用于更快速、更准确的遥感影像多目标联合检测算法仍然是一个遥感目标检测的挑战。未来基于遥感影像目标检测可以监控特定港口或海域的海运交通，辅助遇难船只救援，配合安全管理部门监测和打击非法捕鱼、非法倾倒油污、走私和海盗等违法行为，具有广泛的应用前景。

参考文献：

[1]刘大伟. 高分辨率遥感影像分割方法及应用研究[D].长安大学，2016

[2]曹林林，李海涛，韩颜顺，等.卷积神经网络在高分遥感影像分类中的应用[J].测绘科学，2016，41（9）：170-175

[3]韩现伟. 大幅面可见光遥感图像典型目标检测关键技术研究[D].哈尔滨工业大学，2013

[4]赵旭江. 基于卷积神经网络的遥感图像目标检测与识别[D].合肥：中国科学技术大学，2017.

[5] Weber J， Lefevre S. A multivariate hit-or-miss transform for conjoint spatial and spectral template matching[C] International Conference in Image and Singnal Processing， Springer， Berlin， Heidelberg，2008：226-235.

[6] Cheng G， Han J， Guo L， et al. Object detection in remote sensing imagery using a discriminatively trained mixture model[J]. ISPRS journal of photogrammetry and remote sensing，2013，85：32-43.

[7] Shi Z， Yu X， Jiang Z， et al. Ship detection in high-resolution optical imagery based on anomaly detector and local shape feature[J]. IEEE Transactions on Geoscience and Remote Sensing，2014，52（8）：4511-4523

[8]Xiao Z， Gong Y， Long Y， et al. Airport detection based on a multiscale fusion feature for optical remote sensing images[J]， IEEE Geoscience and Remote Sensing Letters，2017，14（9）：1469-1473.

[9]Girshick R， Donahu J， Darrell T， et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C] Proceedings of the IEEE Conference on Computer Vision and Pattern Recongnition. Columbia：IEEE，2014：580-587.

[10]任少卿. 基于特征共享的高效物體检测[D].合肥：中国科学技术大学，2016.

[11]殷文斌. 卷积神经网络在遥感目标识别中的应用研究[D]. 中国科学院大学（中国科学院遥感与数字地球研究所）， 2017.

[12]Redmon J， Diwala S， Girshick R， et al. You only look once：Unified， real-time object detection[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.2016：779-788.