基于深度卷积神经网络的遥感图像船只识别

夏 乐，李长安，江 涛，龙 强，张 杰

（1.中国地质大学，湖北 武汉 430074；2.湖南省地质环境监测总站，湖南 长沙 410007）

遥感图像可动态、快速、准确地获得大量地面观测数据，在军用民用领域均有重要作用。基于可见光遥感图像提取船只目标是遥感应用领域的重要方向。其主要任务是在遥感图像中快速确定船只的位置，并同时对船只进行类别判读。在军事目标侦察、港口交通监测、海洋环境预警等领域具有广阔的应用前景。随着卫星遥感技术的迅速发展，遥感图像数据规模持续扩大，人工判读的图像解译方式越来越难以满足实际需求。提高遥感图像处理的自动化程度，不仅可节省大量的人力资源，而且可在保证解译精度的前提下，有效提升遥感图像的处理速度，从而提高遥感图像的利用率。

目前学者们对遥感船只的检测进行了大量研究，提出了许多检测方法。常用的传统船只目标区域提取方法包括：①基于灰度统计特征的方法，即利用船只与海面的灰度差异，获得船只的目标候选区，但若海面复杂，效果则会大大降低；②基于船只尾迹的目标检测，多应用于精度不高的遥感图像中；③基于边缘信息的方法，如通过原始灰度和边缘强度遥感图像进行OTSU自适应的阈值分割，并结合简单的船只形状特征获得舰船目标候选区，但该方法只适用于平静海面，大型海浪对结果的干扰很大；④基于分型模型和模糊理论的方法，该方法受云雾影响较大。

在近年来的研究中，深度学习在目标识别领域取得了显著成功。利用深度卷积神经网络（DCNN）可实现对目标特征的提取、聚合以及判读；利用DCNN构建的目标识别方法可自动化输出目标的位置信息与分类结果。该类方法主要包括两个方向：①结合Region Proposal机制和CNN分类网络提出的目标检测框架，包括R-CNN方法[1]、以提升R-CNN识别速度为目标的Fast R-CNN[2]、实现“端到端”目的的Faster R-CNN[3]以及精度和速度更进一步提升的R-FCN方 法[4]；②基于回归问题提出的目标检测框架，包括YOLO模型[5]和SSD模型[6]。

针对遥感图像海面船只目标难以准确识别的问题，早期采用阈值法和模式识别法剔除云雾的影响[7]。本文提出了一种改进的DCNN结构，利用分类网络实现图像的分类，并与识别网络构成双通道的船只目标识别体制。识别网络基于Faster R-CNN构建。本文方法将预分类后的遥感图像输入识别网络，并对结构和参数进行修改和调整，以实现船只目标的候选区提取以及船只目标分类的目的，提升了受云雾干扰的船只目标的识别精度。

1 常规的Faster R-CNN

Faster R-CNN网络结构包括RPN和Fast R-CNN两个部分，其中RPN是一种两层卷积网络，可针对目标候选框进行“端到端”训练，输入是任意大小的图像，输出是目标候选区域的集合，每个候选区均有目标得分。测试图像输入CNN后，首先需进行特征提取，得到特征图，同时生成包含疑似目标的候选窗口；再对于该图像的每个空间位置，生成多个可能的候选窗口，并对候选窗口进行分类和位置调整；然后对多个 候选位置进行排序，选择得分最高的一部分，并通过非极大抑制（NMS）压缩候选区的数量；最后将候选区映射到整个网络的最后一层特征图上，通过RoI pooling层使得每个RoI生成固定尺寸的特征图，利用Softmax和Smooth L1评价检测结果、迭代训练。

2 改进的Faster R-CNN

云雾遮挡是光学图像不可回避的问题，当海面目标被云雾遮挡时，极易产生船只的虚警与漏检。因此，在Faster R-CNN的基础上，本文利用分类网络对图像进行预分类[8]，得到清晰的遥感图像和含雾图像（图1），并将这两类图像分别注入识别网络，形成双通道的识别模式，通道间不会产生任何干扰。网络训练时，可分别针对含雾的难识别的图像和易识别的无雾图像调整网络参数，各得到一个网络模型，从而提升识别精度。船只目标识别网络改进流程如图2所示。

图1 云雾对目标信息提取的影响

图2 船只目标识别网络改进流程图

3 实验结果与分析

3.1 实验数据

实验数据集包含12 650张遥感图像（图3），每张图像大小为1 024×1 024，其中正样本是已标记的船只，包括浓雾下的船只以及大小不同的同类船只，即货船8 875条、邮轮2 398条以及游艇589条；而负样本是包括陆地、海洋、云等多种情况在内的非舰船样本。将数据集随机分出1/3作为测试集，1/3作为验证集。

图3 不同云雾条件下船只目标数据集

3.2 评价方法与指标

3.2.1 F1-Score

F1-Score是信息检索领域常用的一个评价标准，用于评价分类模型的好坏。召回率（Recall）和识别精度（Precision）的定义式为：

式中，right detection为检测正确的船只结果，即预测边界框和真值边界框的IoU＞0.7的识别结果；missed detection为漏检结果，即人工标记出的船只，但在预测结果中未找到IoU＞0.7的匹配项；false detection为错检结果，即预测结果中识别出的船只目标，在真值中没有对应IoU＞0.7的匹配项。

因此，由Recall与Precision可得到F1-Score的计算公式为：

3.2.2 mAP

AP衡量的是每种目标类别识别结果的准确性，由Recall和Precision绘制的折线图与坐标轴之间的面积确定。mAP衡量的是所有目标类别的平均识别准确度，即取所有AP的平均值。

3.3 实验结果分析

实验结果如图4所示，可以看出，不同尺度的船只均被准确识别出来，虽受雨雾的影响十分明显，但仍可准确提取目标的位置与种类信息。Faster R-CNN与改进的Faster R-CNN网络结构的船只识别结果分析如表1所示，可以看出，改进的Faster R-CNN网络结构的船只识别方法在云雾条件下得到的 Fl-Score值为0.711 4，优于传统Faster R-CNN方法的 0.706 8。

图4 船只目标识别结果

表1 Faster R-CNN与改进的Faster R-CNN网络结构的船只识别结果分析

4 结 语

光学图像受天气的影响十分严重，特别是云雾遮挡时，很难获取云雾下的目标信息。针对云雾干扰下的遥感图像海面目标识别问题，本文提出了一种基于分类网络与识别网络的船只识别方法。在采用常规识别网络前，先对图像进行预分类处理，再利用分类网络构成双通道识别体制，形成含雾图像分类到船只目标识别的“端到端”系统。与常规的Faster R-CNN目标识别网络相比，本文方法的船只识别精度得到了提升，实验结果证明了方法的准确性与有效性。在今后的工作中，将持续网络调优、优化网络结构，进一步提升遥感图像中船只识别的精度。