用于迁移学习的飞机遥感图像数据集的建立*

史 通，王 洁，罗 畅，蔡启航，王世强

（空军工程大学防空反导学院，西安 710051）

0 引言

空天遥感（aerospace remote sensing）泛指以飞机、气球等航空飞行器和人造卫星、宇宙飞船等航天飞行器为平台，通过各类传感系统对远距离目标定时、定位、定性、定量并进行数据通信的探测识别综合技术。近年来，随着卫星、无人机等遥感平台的迅猛发展以及传感技术、通信技术的不断改进，空天遥感技术也得到了极大的提高。遥感图像数据已经呈现出大量（volume）、高速（velocity）、多样（vari-ety）、价值（value）的大数据典型的“4V”特点。

在当前空天遥感应用领域中，遥感图像目标识别是一项在军用、民用方面都有着深远理论意义和巨大应用价值的研究课题。民用方面，文献[1]利用从Quick Bird上获取的光学遥感图像，基于卷积神经网络（Convolutional Neural Networks，CNN）模型进行了棒球场、城市居民区、灌木丛、立交桥和停车场这5类城市目标的分类实验。文献[2]利用美国土地使用分类数据集UCM_LandUse，对农田、建筑、河流等21类遥感目标进行分类，又利用武汉大学高分卫星遥感图像场景数据集HRSS，对工业区、商业区等19类城市目标进行分类，并对两者进行了分类效果的比较。军用方面，文献[3]提出了基于支持向量机（SVM）的遥感图像舰船目标识别方法，并同传统分类器进行了实验结果的对比分析，表明该方法具有良好的识别效果。文献[4]着力于构建了一个面向高分辨率光学遥感图像的深度学习目标识别系统，以机场和飞行器目标识别为例，实现了复杂场景下“大范围、小目标”的快速准确定位。

从现有的研究成果来看，粗识别（rough recognition）的理论研究相当成熟，也已经在各个领域有了广泛的应用。但是，随着不同场景实际应用要求的不断提高，对同一大类里的不同目标进行细分类（fine recognition）的需求也越来越迫切，所以更加细致的识别方法亟待研究。

本文就以不同种类飞机的细分类研究为目的，以民用客机、直升机、初级教练机、战斗机、运输机和轰炸机这6类飞机为代表，注重于建立各类飞机的光学遥感图像数据集，为日后飞机目标识别的研究工作做好准备。对不同种类飞机的细分类研究，在军事应用领域具有重要的意义，在战略目标侦察监视，装备战斗力综合评估和空军基地功能判定等方面都能发挥显著的作用。

1 迁移学习

遥感图像目标识别的方法有很多，除了前文提到的支持向量机、卷积神经网络这些方法外，还有小波包变换[5]、数据融合[6]、径向基函数神经网络[7-8]等方法。但是，卷积神经网络因为其局部连接和权值共享的网络结构使之权值数量减少，自学习模型复杂度降低，成为目前研究最广也是效果最好的一种方法。

卷积神经网络自20世纪60年代发展至今，已经在图像识别、语音识别、大数据分析等领域都取得了突出的成就。诞生于1994年的LeNet-5[8]是最早的也是最经典的CNN模型，堪称卷积神经网络的奠基之作，直接推动了深度学习的迅速发展。其网络结构如图1所示。近年来，在ImageNet大规模视觉识别挑战赛（ILSVRC）的盛会中，越来越多更加优秀的CNN模型被提出，比如2012年冠军AlexNet（8层神经网络），2014年亚军VGGNet（19层神经网络），2015年冠军ResNet（152层神经网络）等，在图像识别等诸多领域不断刷新着准确率记录。

图1 LeNet-5网络结构

要知道，这样一个优秀的CNN模型往往是依靠规模巨大的有标记数据集训练出来的，而这些数据集的建立是经过团队多年精心收集样本完成的，是一项人力、物力资源耗费极大的工作。在实际应用中，由于应用场景不同，识别任务不同，很少有合适的大规模的公开数据集能够满足训练出有针对性的网络模型的需求。

尽管如此，以上优秀模型的训练数据集一般都基于自然场景图像。本文研究的主要是飞机的光学遥感图像，它与自然场景图像的成像原理相似，待识别目标的边线、形状、颜色等基本图像特征相近。那么，就可以借用这些基于大量自然场景图像样本训练好的CNN模型，用相对少量的特定场景数据集对网络进行微调训练，从而构建出适用于光学遥感图像飞机目标识别的CNN模型。这就是迁移学习（transfer learning）[9]在卷积神经网络方向的一大应用，可以把它形象地称为“站在巨人的肩膀上”。

对于本文来说，通过采集相对少量的上述6类飞机的光学遥感图像，经过一定的预处理，再对数据进行存储与标记，建立起飞机遥感图像数据集，作为CNN迁移源模型的微调训练集，为日后遥感图像飞机目标识别系统的搭建打下坚实的基础。

2 数据集的建立

之所以选择民用客机、直升机、初级教练机、战斗机、运输机和轰炸机这6类飞机制作对应的有标记数据集，是因为这6类飞机的特征具有类间区别大、类内差异小的特点。也就是说，这6类飞机相互之间容易区分，而且虽然每一类都还可以继续细分出不同机型，但是这些不同机型之间的形状差异比较小，对分类效果的影响可以忽略。这样在图像采集过程中，就不会受限于某一特定机型样本图像少的问题，拓宽了某一类飞机样本图像采集的广度，极大地降低了采集难度。图2展示了战斗机类内差异小的特点。

图2 不同战斗机型对比

2.1 图像采集

在互联网上，有很多比较专业的遥感影像库可供有偿下载，但是大多数针对性不强。而且本文想要采集图像的各类飞机中还涉及到一些军用飞机，基本上没有符合要求的现成的商业遥感影像库。同时，本数据集规模较小，为了提高数据集的质量，决定通过谷歌地球（Google Earth）采集各类飞机的遥感图像。

由于卷积神经网络具有泛化能力强的优点，图像采集的难度被进一步降低，只需要做到飞机轮廓清晰、整体结构完整、以正方形裁剪，采集过程不必受限于角度、尺度、像素等因素。而且光照、浓雾、背景等干扰因素都可以不必在乎，这些因素反而还会增强神经网络模糊学习的能力。采集到的6类飞机的遥感图像示例如图3所示。

图3 6类飞机的遥感图像

2.2 图像预处理

虽说用于迁移学习的训练样本是少量的，但是这种少量是相对于CNN迁移源模型百万数量级的训练样本来说的，所以至少应该达到千数量级。以上种种方法虽然相对降低了飞机图像的采集难度，但是这项工作仍然非常耗时耗力，比如采集到的初级教练机的样本图像只有250张，这是远远不够的。

而数据增强（data augmentation）就能够很好地解决这一问题。对少量的飞机样本图像进行适当的旋转变换、镜像变换、亮度变换或对比度变换，不仅能够大大增加样本图像的数量，还可以模拟飞机的多种变化情况，增强网络的学习能力。为了简化后续操作，在图像变换之前，需要对原始样本图像进行归一化处理，将图像的尺寸归一化为100*100像素。然后进行4种旋转变换、4种镜像变换，那么样本图像将扩充4*4=16倍。以单张图像为例，预处理的操作步骤如图4所示。上述操作都可以通过图像批处理的方法实现，那么初级教练机原始的250张样本图像将扩充到4 000张，其样本图像示例如图5所示。其他种类飞机的遥感图像的数据增强同理。

图4 图像预处理的步骤

图5 数据增强后的初级教练机图像

3 结论

至此，用于迁移学习的飞机遥感图像数据集的建立工作已全部完成。本数据集是基于特定的应用场景建立的，针对性强，质量较高。但是也存在有待加强的方面，比如，样本类别不够细化，图像采集不够智能等问题。

下一步的任务就是对CNN迁移源模型进行适当的参数修改，再利用此数据集微调网络，使该模型更加适用于遥感图像飞机目标识别这一特定应用场景，以期搭建出能够应用于军事领域的遥感图像飞机目标识别系统。这对于把握军事先机、分析军事态势、制定军事策略从而赢得战争胜利是非常有利的。