基于卷积神经网络和重排序的农业遥感图像检索

叶发茂，董 萌，罗 威，肖 慧，赵旭青，闵卫东,3

基于卷积神经网络和重排序的农业遥感图像检索

叶发茂1,2，董 萌1，罗 威1，肖 慧1，赵旭青1，闵卫东1,3※

（1. 南昌大学信息工程学院，南昌 330031； 2. 东华理工大学测绘工程学院，南昌 330013；3.南昌大学软件学院，南昌 330047）

卷积神经网络具有很强的分类能力，并在图像分类等应用中取得显著成效，但遥感图像检索应用中还较少利用该分类能力。为了提高农业遥感图像检索性能，该文提出一种利用卷积神经网络分类能力的遥感图像检索方法。首先利用微调的卷积神经网络模型提取查询图像的检索特征和估计查询图像的每个类别权重，然后利用根据CNN模型判断的检索图像类别和初始排序结果计算类别查准率，根据查询图像的类别权重和类别查准率计算加权类别查准率，最后根据加权类别查准率对图像类别进行排序，并根据排序结果对初始检索结果进行重排序，从而得到最终的检索结果。试验结果表明：该检索方法在PatternNet数据集中平均查准率达到97.56%，平均归一化调整后的检索秩达到0.020 1；在UCM_LandUse数据集中平均查准率达到93.67%，平均归一化调整后的检索秩达到0.049 2，较之其他遥感图像检索方法下降0.2358，降幅超过82.7%；平均每张检索图像重排序时间大约是初始排序时间的1%。该文提出的重排序方法可以得到更好的遥感图像检索结果，提高了遥感图像检索性能，将有助于农业信息领域信息化和智能化。

遥感；图像检索；特征提取；重排序；卷积神经网络

0 引 言

随着传感技术的发展，有关农业的遥感图像数据量不断增加，如何快速和准确地从庞大的数据库中检索出用户需要的图像已成为一个亟需解决的问题。传统的以文本为索引的检索方法已不能完全满足人们新的需求，如查找农作物中病虫害图像、查询同类的农作物以及寻找具有某种形状特征的农作物等。这些需求需要检索系统具有从大量图像中寻找主题目标的能力，基于内容的图像检索（content-based image retrieval，CBIR）是较好的解决方法。因此基于内容图像检索技术在农业信息领域里的应用研究具有深远的意义[1-4]。

基于内容的图像检索技术充分利用视觉内容识别相关图像，有效地弥补了基于文本图像检索的不足，使得图像信息的表示更加简洁，图像检索更加高效。传统的基于内容的遥感图像检索（content-based remote sensing image retrieval, CBRSIR）主要提取遥感图像底层视觉特征，包括颜色特征、光谱特征、纹理特征、尺度不变特征转换（scale invariant feature transform, SIFT）特征等。肖秦琨等[5]将融合颜色和纹理特征的方法运用到遥感图像检索；葛芸等[6]采用SIFT特征，通过聚类的方式构建成低维的视觉词袋（bag of visual words, BoVW）模型并与Gabor纹理特征融合在一起进行遥感图像检索。然而，这些底层特征都是人工提取，缺少灵活性，且只针对特定的目标对象，同时由于图像内容的多样性和复杂性，图像底层特征到高层语义特征之间存在较大差异，即语义鸿沟，所以该特征提取方法容易导致检索结果不理想[7]。

近年来，随着深度学习的发展，卷积神经网络（convolutional neural network, CNN）[8]在图像识别[9-11]、模式识别[12]和自然语言处理[13]等领域的研究已取得巨大成功，同时也开始应用于遥感图像检索[14-20]。例如李宇等[14]运用CNN提取图像的高层特征进行遥感图像检索；Ge等[15]分别提取了2类CNN特征用于遥感图像检索，一种是直接从高层的输出中提取，另一种是用平均池化来聚合中间层的输出。这些方法证明利用卷积神经网络提取的高层特征能够提高遥感图像检索精度。

近几年的研究表明，图像检索的重排序可以进一步提高图像检索的准确率[21-23]。图像检索的重排序是利用图像的内容信息对于初始查询结果中的图像进行重新的排列，使最终的查询结果能够更符合用户的需求。例如金婕[21]提出基于多特征融合和结果重排的图像检索，在提取高层特征后通过多特征融合方法得到最可能的相似备选集，以精确特征重新排序，得到最优的检索结果，但是此方法仅针对特定图像，具有一定的局限性；Tang等[22]为了提高合成孔径雷达（synthetic aperture radar, SAR）图像检索的性能，提出了一种基于融合相似性的图像重排序（fusion similarity-based reranking, FSR）算法，从初始检索列表中排名靠前的SAR图像中提取3种视觉特征后，然后融合相似度分数再重新排序，但是此方法受初始排名靠前的不相关图像影响较大。

遥感图像检索方法中已经较好地应用了CNN强大的特征提取能力，但忽视了CNN在图像分类、识别等应用中显示出的强大分类能力。为了提高遥感图像检索性能，本文利用CNN特征提取的同时将CNN的强大图像分类能力应用于遥感图像的检索。根据加权类别查准率对初始检索结果进行重排序，以提高遥感图像检索精度。

1 基于重排序的农业遥感图像检索

基于重排序的农业遥感图像检索过程主要包括CNN特征提取、CNN模型微调、基于CNN的图像分类和基于加权类别查准率的重排序4个步骤，具体流程如图1所示。

图1 基于重排序的农业遥感图像检索流程

1.1 CNN检索特征提取

CNN是一种深度学习的结构，主要由卷积层、池化层、全连接层、输入输出层等组成，其基本框架如图2所示。CNN能够利用输入的图像数据的二维结构，即可以直接将原始图像输入到CNN中，能够避免对图像进行复杂预处理工作，得到了广泛应用[24]。

图2 CNN的基本框架

目前已有很多CNN模型被提出，其中VGG和ResNet模型在图像分类和目标识别等众多领域取得令人瞩目的成就。VGG16模型结构[25]几乎全部采用多个3×3小卷积核来代替大的卷积核，不仅可以使参数量显著减少，而且比大卷积核具有更多的非线性变换，使得 CNN 对特征的学习能力更强；ResNet模型[26]在图像分类上具有非常好的效果，并且结构简单，全部由残差块组成，收敛快。Ge等[15]利用CNN（VGG16，ResNet）模型提取CNN特征用于遥感图像检索，取得了较好的结果。因此，本文采用VGG16和ResNet50这2个模型用于遥感图像检索。

VGG16中全连接层（fully connected layers，FC）特征是复杂的深层特征，由于FC8层的输出是图像类别的概率分数，通常被用于图像分类，因此本文摒弃FC8层，而选择其前2层，即FC7和FC6层的输出作为检索特征，这2层的维数都是4 096。ResNet50中最后一层的输出页是图像类别的概率分数，因此选择其前一层，即2 048维度的pool5层的输出作为检索特征。

1.2 CNN模型微调

因为缺乏大量用于训练CNN模型的带标签样本，所以本文采用在ImageNet数据集上预训练的CNN模型。由于ImageNet数据集中的图像与遥感图像差别较大，导致从预训练的CNN模型中提取的特征不太适合遥感图像检索。为了提取更适合遥感图像检索任务的检索特征和对遥感图像的类别进行估计，需要对预训练的CNN模型进行微调。

本文在ImageNet上预训练好的CNN模型基础上，利用部分检索库中部分图像对预训练CNN模型进行微调。首先将CNN模型最后一层的维数修改为遥感数据集类别数，然后采用均值为0、方差为0.01的高斯分布对CNN模型最后一层的权重进行随机初始化；最后将学习速率的初始值设为0.001，权重设为0.005，批大小（batchSize）设为256，动量设为0.9，采用Adam（adaptive moment estimation）学习方法[27]，设置迭代300次训练。对预训练的CNN模型进行微调，使CNN模型更适合遥感图像检索。

1.3 基于CNN的图像分类

对初始检索结果进行重排序过程中需要用到遥感图像的类别信息，所以要先对检索图像进行分类。本文利用微调后的CNN模型进行遥感图像分类。

通常CNN模型的最后一层被用于图像分类，本文的CNN模型最后一层采用一个非线性分类能力强的Softmax回归层作为分类器[28]。Softmax回归在逻辑回归的基础上推广而来，可以解决多分类问题。Softmax回归分类器的输入维度与CNN的最后一层输出维度相同，并且该输出维度与数据集中图像的类别数一致。

1.4 基于加权类别查准率的重排序

由于遥感图像的复杂性，导致有些利用CNN提取的图像特征不能较好反映图像内容，从而使得初始图像检索结果较差。为了改善初始检索结果，需要对初始检索结果进行重新排序。本文利用初始排序结果计算每个类别的加权类别查准率，并根据其对遥感图像的类别进行排序。

初始排序方法如下：首先将查询图像输入到微调后的CNN模型中，得到相应查询图像的CNN特征；再计算查询图像和检索图像的CNN特征之间的距离；最后根据距离大小进行排序，得到初始检索结果。本文采用欧式距离，计算公式如式（2）所示。

式中x和y分别表示查询图像与检索图像的特征向量，为查询图像与检索图像的特征向量的长度。

得到初始检索结果后，利用其计算每个类别的加权类别查准率。加权类别查准率计算过程如下：

假设有1张查询图像，利用前个检索图像计算类别查准率。检索图像数据集中有个与查询图像类别相同的图像。根据初始检索结果和以下公式计算出查询图像属于第个类别图像的类别查准率CAP(class average precision)。

通过公式（4）得到查询结果中每个图像类别查准率。某个类别的图像类别查准率越大，查询图像是该图像类别的可能性越大。因此，根据图像类别查准率可以衡量查询图像为某个类别的可能性。

（6）

1.5 检索流程

本文方法的检索流程分为2个过程，一是离线过程，二是在线过程。离线过程是为在线过程事先提取检索图像特征和确定检索图像类别，从而提高检索速度。在线过程是指一幅查询图像的整个检索过程。2个过程的具体步骤如下：

离线过程：

1）使用遥感图像训练集在预训练的CNN模型上进行微调，得到微调之后的CNN模型。

2）利用微调之后的模型提取检索图像集的CNN特征，得到特征库；利用最后softmax分类层，对检索图像分类。

在线过程：

2）根据查询图像与检索图像集的特征向量计算图像之间的相似度，并根据相似度排序，得到初始的检索列表。

1.6 时间复杂度分析

本文方法的时间复杂度主要包含2部分：1）初始排序；2）利用加权类别查准率重排序。初始排序过程主要包括计算查询图像与所有检索图像间相似度度量的复杂度()和根据相似度对检索图像进行排序的复杂度(log2)；根据加权类别查准率的重排序过程包括计算类别查准率值的复杂度()，计算加权类别查准率值并排序的复杂度(log2)，对初始排序结果利用加权类别查准率结果进行重排的复杂度()。其中为图像特征向量的长度，为检索图像的数量，为图像库的类别数量。本文方法时间复杂度主要在初始排序过程，而重排序的时间复杂度仅为()，因此本文提出的重排序方法的算法复杂度很低。

2 验证试验与结果分析

2.1 试验环境和数据集

本文试验在MS Windows 10系统下利用MATLAB进行，使用的工具包为matconvnet，处理器为英特尔i7-7700，内存16 GB，GPU为Nvidia GeForce GTX 1080。

本文的试验数据集是UCM_LandUse(UCMD)和PatternNet。UCMD中包含农田、森林、河流等21个类别，每类包含100幅256×256像素的图像，共2 100张。PatternNet包含了沙滩、河流等38个分类，每类包含800幅256×256像素的图像，共30 400张。

2.2 检索结果比较

评价遥感图像检索方法的常用性能指标有多种，本文采用常用的平均查准率（mean average precision，mAP）[29]和平均归一化调整后的检索秩（average normalized modified retrieval rank，ANMRR）[15]作为检索性能的评判标准。

为了验证重排序是否有助于提高遥感图像的检索精度，本文首先取UCMD数据集中一幅图像作为查询图像，利用微调后的模型提取图像的pool5特征进行检索，对初始排序结果和利用加权类别查准率重排序结果进行比较分析。其中，初始排序结果见图3a，其重排序检索结果如图3b。从图3中可以看出，初始检索结果中前15张图像有10张不相关图像，而重排序结果中只有1张不相关图像。同时，该查询图像的初始检索结果的查准率是43.25%，而重排序后的查准率是86.31%，检索精度有了明显的提升，可以看出重排序的效果明显。

注：图中第1幅图像为待检索图像；“√”表示检索到的图像是相关图像，“×”表示检索到的图像是不相关图像。

2.3 类别mAP

为了定量分析重排序对检索性能的影响，在UCMD数据集上进行测试，将初始检索结果和重排序后的结果在不同特征下的类别mAP进行比较，结果如图4所示。

从图4中可以看出，重排序方法能够有效提高初始检索结果的精度，但特征是否微调对检索结果影响不大。例如FC6、FC7和pool5层预训练特征初始检索结果的mAP均值分别为56.16%、54.68%和57.69%，其重排序检索结果的mAP均值分别为90.39%、90.84%和92.70%，重排序检索结果比初始检索结果的mAP均值大约提升30%。而FC6、FC7和pool5层微调特征重排序检索结果的mAP均值分别为90.64%、90.87%和93.67%，其中，FC6层和FC7层微调特征与其对应的预训练特征的mAP均值非常接近，而pool层微调特征比对应的预训练特征的mAP均值仅提高0.97%，说明微调前后的特征对重排序检索结果影响很微弱。建筑物，十字路口，油罐仓库等初始检索效果不好的类别，经过重排序后检索精度有明显的提升。例如十字路口这类图像，pre_pool5特征初始检索结果的mAP值为34.3%，而pre_pool5_rerank特征和ft_pool5_rerank特征重排序检索结果的mAP值分别为86.76%和91.69%，均比初始检索结果提升50%左右，因此采用重排序方法能够取得较好的检索结果。

注：a为农田；b为飞机；c为棒球场；d为海滩；e为建筑物；f为灌丛；g为稠密居住区；h为森林；i为高速公路；j为高尔夫球场；k为港口；l为十字路口；m为中等稠密居住区；n为活动房区；o为立交桥；p为停车场；q为河流；r为跑道；s为居住区；t为油罐仓库；u为网球场。pre_FC6，pre_FC7，pre_pool5分别表示FC6、FC7和pool5层预训练特征的初始检索结果；pre_FC6_rerank，pre_FC7_rerank，pre_pool5_rerank分别表示FC6、FC7和pool5层的预训练特征重排序后检索结果；ft_FC6_rerank，ft_FC7_rerank，ft_pool5_rerank分别表示FC6、FC7和pool5层微调特征重排序后检索结果。mAP表示平均查准率，AVG表示每个类别的平均查准率的平均值，下同。

2.4 训练集数量对检索结果的影响

微调过程中使用的训练集图像数量是影响分类精度以及检索特征是否能够很好表达图像信息的一个重要因素，对检索效果影响较大，因此本文通过大小不同的训练集进行对比试验，分析训练集数量对检索性能的影响。试验所需要的数据集分为训练集和检索集2部分。在PatternNet库中，每个类别中分别随机取5、10、20、30、40、50、60、70、80、90幅图像作为训练集，剩余图像为检索集。将训练集中的每类图像分别随机取80%用作训练CNN模型，另20%作为CNN模型的测试数据集。此外，在检索集中每类各随机取20%作为查询图像集，剩余图像作为检索图像集。结果如表1和表2所示。

由表1可知，微调过程中使用的训练集图像数量对检索效果影响较大，3种特征中均表现为：随着训练样本增加，mAP值逐渐增大，但增长幅度逐步降低。例如，对于ft_pool5_rerank特征，样本数量为5时，mAP值为75.89%，当样本数量达到90时，mAP值为97.56%，当样本数量由5变为10时，mAP值增加了11.31%，而当样本数量由80变为90时，mAP值仅增加4.8%。由表2可知，在3种特征中，ANMMR值随着训练样本增加逐渐下降，但下降速度逐步降低。例如，ft_pool5_rerank特征，样本数量为5时，ANMRR值为0.210 5，当样本数量达到90时，ANMRR值为0.020 1，ANMRR值不断降低；当样本数量由5变为10时，ANMRR值下降了0.097 4，而当样本数量由80变为90时，ANMRR值仅下降0.002 2。

表1 不同训练图像数量时各特征的mAP

表2 不同训练图像数量时各特征的ANMRR

由表1和表2可知， pool5特征能够得到最好的检索性能，说明pool5的特征更适用于本文重排序的农业遥感图像检索方法。例如，重排序检索结果ft_pool5_rerank特征的mAP值最高达97.56%，而ft_FC6_rerank和ft_FC7_rerank特征的mAP值最高为95.57%和95.76%；ft_pool5_rerank特征的ANMRR值最低，为0.020 1，而ft_FC6_rerank和ft_FC7_rerank特征的mAP值最低为0.033 5和0.033 9，由此知，ft_FC6_rerank和ft_FC7_rerank的特征检索性能接近，但均劣于ft_pool5_rerank。

2.5 运行时间分析

为了测试本文方法的检索速度，对初始排序过程和重排序过程运行时间进行分析。如表3所示，在UCMD数据集，3种特征中，FC6层和FC7层特征的平均初始检索时间很相近，分别为13.5和13.44 ms，平均重排序时间分别为0.12和0.22 ms，总检索时间为13.62和13.66 ms，总检索时间相对于初始检索时间的增长率分别为0.89%和1.6%，pool5层特征的平均初始检索时间为6.68 ms，平均重排序时间为0.04 ms，总检索时间相对于初始检索时间的增长率为0.6%；在PatternNet数据集上，3种特征的总检索时间相对于初始检索时间的增长率分别为0.3%、0.18%和1.01%。本文重排序检索时间比初始排序时间增加不超过1%，不影响实际检索速度。

表3 不同数据集上的运行时间比较

Table 3 Running time comparison of different datasets

2.6 与其他方法的性能比较

为进一步验证本文方法的有效性，与已有文献研究方法的ANMRR进行比较，结果如表4所示。

表4 UCMD数据集上不同遥感图像检索方法的ANMRR比较

从表4中可以看到，在UCMD数据集中，本文方法的检索结果明显优于其他检索方法。例如，文献[19] 中MultiPacth+PCA(GoogleNet) 的ANMRR值为0.285，是除本文方法之外检索结果最好的。而本文采用3种特征的重排序方法中，ft_FC6_rerank 、ft_FC7_rerank和ft_pool5_rerank的ANMRR值分别为0.075 5、0.074 0、0.049 2，比MultiPacth+PCA(GoogleNet)分别降低0.209 5、0.211、0.235 8。其中ft_pool5_rerank的ANMRR值降幅超过了82.7%。

3 结 论

本文提出了一种基于卷积神经网络和重排序的农业遥感图像检索方法，首先利用CNN的分类能力对检索图像进行分类；然后根据分类结果计算初始检索结果中每个类别的权重类别查准率；最后根据权重类别查准率对初始检索结果进行重排序，得到最终检索结果。试验结果表明：

1）通过定性和定量的分析，重排序方法能够有效提高初始检索结果的精度，在UCMD数据集中， 3种特征重排序结果比初始检索结果的mAP均值大约提升30%。

2）随着训练样本数量的增加，检索特征的平均查准率逐渐增加，平均归一化调整后的检索秩逐渐下降，其变化幅度逐渐趋于平缓。并且pool层的特征比FC6、FC7层特征的检索效果要好，更适用于重排序的遥感图像检索。

3）在PatternNet数据集中，本文方法的平均查准率达到97.56%，平均归一化调整后的检索秩能够达到0.020 1。平均运行时间总计最少的是pool5层特征，为223.06 ms，其初始排序时间为220.82 ms，重排序时间为2.24 ms，总时间对初始时间的增长率为1.01%。

4）在UCMD数据集中，本文方法的平均查准率达到93.67%，平均归一化调整后的检索秩达到0.049 2，相比其他方法降幅超过了82.7%。pool5层特征的平均总运行时间最少，为6.72 ms，其中初始排序时间为6.68 ms，重排序时间为0.04 ms，总检索时间对初始检索时间的增长率为0.6%，有效提高了遥感图像检索精度。

由于本文方法在检索图像分类过程中使用了有标签样本数据，这些样本数据需要手工进行标注。后续的研究中将进行无监督深度学习分类方法的研究，以提高方法的适用性。

[1] 闫薇，张长利. 基于综合特征的图像检索在农业信息化中的应用[J]. 农机化研究，2011，33(7)：205－208.

Yan Wei, Zhang Changli. Comprehensive feature- based image retrieval and the application in agriculture[J]. Journal of Agricultural Mechanization Research, 2011, 33(7): 205－208. (in Chinese with English abstract)

[2] 陈桂兰，田淑梅，王伟. 基于内容的图像检索技术在农业信息化中的应用[J]. 农机化研究，2010，32(5)：176－179.

Chen Guilan, Tian Shumei, Wang Wei. The technique of content-based image retrieval and the applicationin agriculture[J]. Journal of Agricultural Mechanization Research, 2010, 32(5): 176－179. (in Chinese with English abstract)

[3] 朱玲，李振波，杨照璐，等. 基于混合特征的互联网茄子图像检索方法与系统[J]. 农业工程学报，2017，33(增刊1)：177－183.

Zhu Ling, Li Zhenbo, Yang Zhaolu, et al. Internet eggplant image retrieval method and system based on mixed features[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(Supp.1): 177－183. (in Chinese with English abstract)

[4] 濮永仙. 基于病斑特征融合的烟草病害图像检索方法[J]. 河南农业科学，2015，44(2)：71－76.

Pu Yongxian. Image searching method of tobacco disease based on disease spot feature fusion[J]. Journal of Henan Agricultural Sciences, 2015, 44(2): 71－76. (in Chinese with English abstract)

[5] 肖秦琨，刘米娜，高嵩. 基于颜色和纹理特征的遥感图像检索[J]. 计算机技术与发展，2013，23(4)：107－110.

Xiao Qinkun, Liu Mina, Gao Song. Remote sensing image retrieval based on color and texture[J]. Computer Technology and Development, 2013, 23(4): 107－110. (in Chinese with English abstract)

[6] 葛芸，江顺亮，叶发茂，等. 视觉词袋和Gabor纹理融合的遥感图像检索[J]. 光电工程，2016，43(2)：76－81.

Ge Yun, Jiang Shunliang, Ye Famao, et al. Remote sensing image retrieval based on the fusion of BoVW and gabor texture[J]. Opto-Electronic Engineering, 2016, 43(2): 76－81. (in Chinese with English abstract)

[7] 王新建，罗光春，秦科，等. 一种基于SVM和主动学习的图像检索方法[J]. 计算机应用研究，2016，33(12)：3836－3838.

Wang Xinjian, Luo Guangchun, Qin Ke, et al. Image retrieval method based on SVM and active learning[J]. Application Research of Computers, 2016, 33(12): 3836－3838. (in Chinese with English abstract)

[8] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[C]// International Conference on Neural Information Processing Systems, Curran Associates Inc. 2012: 1097－1105.

[9] 龙满生，欧阳春娟，刘欢，等. 基于卷积神经网络与迁移学习的油茶病害图像识别[J]. 农业工程学报，2018，34(18)：194－201.

Long Mansheng, Ouyang Chunjuan, Liu Huan, et al. Image recognition of camellia oleifera diseases based on convolutional neural network & transfer learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(18): 194－201. (in Chinese with English abstract)

[10] 傅隆生，冯亚利，Elkamil Tola，等. 基于卷积神经网络的田间多簇猕猴桃图像识别方法[J]. 农业工程学报，2018，34(2)：205－211.

Fu Longsheng, Feng Yali, Elkamil Tola, et al. Image recognition method of multi-cluster kiwifruit in field based on convolutional neural networks[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(2): 205－211. (in Chinese with English abstract)

[11] 卢伟，胡海阳，王家鹏，等. 基于卷积神经网络面部图像识别的拖拉机驾驶员疲劳检测[J]. 农业工程学报，2018，34(7)：192－199.

Lu Wei, Hu Haiyang, Wang Jiapeng, et al. Driver fatigue detection based on convolution neural network and facial image recognition[J].Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(7): 192－199. (in Chinese with English abstract)

[12] 罗建豪，吴建鑫. 基于深度卷积特征的细粒度图像分类研究综述[J]. 自动化学报，2017，43(8)：1306－1318.

Luo Jianhao, Wu Jianxin. A survey on fine-grained image categorization using deep convolutional features[J]. Acta Automatica Sinica, 2017, 43(8): 1306－1318. (in Chinese with English abstract)

[13] 金丽娇，傅云斌，董启文. 基于卷积神经网络的自动问答[J]. 华东师范大学学报：自然科学版，2017(5)：66－79.

Jin Lijiao, Fu Yunbin, Dong Qiwen. The auto-question answering system based on convolution neural network[J]. Journal of East China Normal University: Natural Science, 2017(5): 66－79. (in Chinese with English abstract)

[14] 李宇，刘雪莹，张洪群，等. 基于卷积神经网络的光学遥感图像检索[J]. 光学精密工程，2018，26(1)：200－207.

Li Yu, Liu Xueying, Zhang Hongqun, et al. Optical remote sensing image retrieval based on convolutional neural networks[J]. Optics and Precision Engineering, 2018, 26(1): 200－207. (in Chinese with English abstract)

[15] Ge Yun, Jiang Shunliang, Xu Qingyong, et al. Exploiting representations from pre-trained convolutional neural networks for high-resolution remote sensing image retrieval[J]. Multimedia Tools & Applications, 2017(5): 1－27.

[16] Ye F M, Su Y F, Xiao H, et al. Remote Sensing Image Registration Using Convolutional Neural Network Features[J]. IEEE Geoscience & Remote Sensing Letters, 2018, 15(2): 232－236.

[17] 彭晏飞，宋晓男，訾玲玲，等. 基于深度卷积神经网络和改进模糊C均值的遥感图像检索[J]. 激光与光电子学进展，2018，55(9)：091008.

Peng Yanfei, Song Xiaonan, Zi Lingling, et al. Remote sensing image retrieval based on convolutional neural network and modified fuzzy C-Means[J]. Laser & Optoelectronics Progress, 2018, 55(9): 091008. (in Chinese with English abstract)

[18] 张洪群，刘雪莹，杨森，等. 深度学习的半监督遥感图像检索[J]. 遥感学报，2017，21(3)：406－414.

Zhang Hongqun, Liu Xueying, Yang Sen, et al. Retrieval of remote sensing image based on semisupervised deep learing[J]. Journal of Remote Sensing, 2017, 21(3): 406－414. (in Chinese with English abstract)

[19] Zhou Weixun, Newsam Shawn, Li Congmin, et al. Learning low dimensional convolutional neural networks for high-resolution remote sensing image retrieval[J]. Remote Sensing, 2017, 9(5): 489.

[20] Hu Fan, Tong Xinyi, Xia Guisong, et al. Delving into deep representations for remote sensing image retrieval[C]// IEEE International Conference on Signal Processing. IEEE, 2017: 198－203.

[21] 金婕. 基于多特征融合和结果重排的特定图像检索[D]. 上海：上海交通大学，2015.

Jin Jie. CBIR of Specific Object Based on Multi-feature Fusion and Re-ranking[D]. Shanghai: Shanghai Jiaotong University, 2015. (in Chinese with English abstract)

[22] 唐旭. 基于图像学习表征和重排序的遥感影像内容检索[D]. 西安：西安电子科技大学，2017.

Tang Xu. Remote Sensing Image Content Retrieval Based on Image Learning Representation and Reranking[D]. Xi’an: Xidian University, 2017. (in Chinese with English abstract)

[23] Tang Xu, Li Chengjiao, William J Emery, et al. Two-stage reranking for remote sensing image retrieval[J]. IEEE Transactions on Geoscience & Remote Sensing, 2017, 55(10): 5798－5817.

[24] 王征，李皓月，许洪山，等. 基于卷积神经网络和SVM的中国画情感分类[J]. 南京师范大学学报：自然科学版，2017，40(3)：74－79.

Wang Zheng, Li Haoyue, Xu Hongshan, et al. Chinese painting emotion classification based on onvolution neural network and SVM[J]. Journal of Nanjing Normal University: Natural Science Edition, 2017, 40(3): 74－79. (in Chinese with English abstract)

[25] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[J/OL]. [2015-04-10], https://arxiv.org/abs/1409.1556.

[26] Wu Zifeng, Shen Chunhua, Hengel A V D. Wider or deeper: Revisiting the resNet model for visual recognition[J/OL]. [2016-11-30], https://arxiv.org/abs/1611.10080.

[27] Kingma D P, Ba J. Adam: A Method for stochastic optimization[J/OL]. [2017-01-30], https://arxiv.org/abs/1412.6980.

[28] 胡二雷，冯瑞. 基于深度学习的图像检索系统[J]. 计算机系统应用，2017，26(3)：8－19.

Hu Erlei, Feng Rui. Image retrieval system based on deep learning[J]. Computer Systems & Applications, 2017, 26(3): 8－19. (in Chinese with English abstract)

[29] 刘海龙，李宝安，吕学强，等. 基于深度卷积神经网络的图像检索算法研究[J]. 计算机应用研究，2017，34(12)：3816－3819.

Liu Hailong, Li Baoan, LüXueqiang, et al. Image retrieval based on deep convolutional neural network[J]. Application Research of Computers, 2017, 34(12): 3816－3819. (in Chinese with English abstract)

[30] 葛芸，江顺亮，叶发茂，等. 聚合CNN特征的遥感图像检索[J]. 国土资源遥感，2019，31(1) ：49－57.

Ge Yun, Jiang Shunliang, Ye Famao, et al. Aggregating CNN features for remote sensing image retrieval[J]. Remote Sens Land Resour, 2019, 31(1): 49－57. (in Chinese with English abstract)

Agricultural remote sensing image retrieval based on convolutional neural network and reranking

Ye Famao1,2, Dong Meng1, Luo Wei1, Xiao Hui1, Zhao Xuqing1, Min Weidong1,3※

(1.,330031,;2.,330013,;3.,330047,)

Convolutional neural network (CNN), a hierarchical neural network, can extract powerful feature representations and make accurate classification at the same time. CNN has already made remarkable achievements in various fields such as image classification and object recognition. The ability of feature extraction of CNN has been used to retrieve images in lots of works, however, the powerful classification ability of CNN is ignored by most researchers. To improve the agricultural image retrieval performance, this paper proposes a reranking method that uses the classification ability of CNN. Firstly, the fine-tuned cnn model is used to extract the retrieval features of the query image and estimate the weight of each category of the query image. Second, the retrieved images are sorted according to the image similarity of the CNN features between the query image and each retrieved image, and then the initial retrieval results are obtained. Third, the initial retrieval results are used to calculate the weighted class average precision (CAP) of each image class. Finally, the order of image classes is obtained through sorting the classes according to the weighted CAP, and the retrieved images are re-ranked by the order of image classes. The images in the same class are retained their order in the initial result. Hence, the final retrieval result is obtained. Experiments of two publicly available datasets of remote sensing, PatternNet and UCM_LandUse, are carried to verify the validation of the proposed method. The experimental results are concluded as follows: 1) The reranking method can improve the initial results and get more relevant images in a contrast experiment. 2) Per class mean average precision (mAP) values of three features (FC6 and FC7 of VGG16, pool5 of ResNet50) are evaluated on UCM_LandUse dataset, and the reranking retrieval results have increased by approximately 30% than the initial results. 3) To determine the optimal parameter values, an experiment of the different training data volume on PatternNet is conducted to evaluate the influence of different number of training images on the retrieval performance. It can be seen that the mAP and ANMRR(Average normalized modified retrieval rank) improves with the increases of the number of training image. For example, the mAP of ft_pool5_rerank feature increases from 75.89% to 97.56% as the number of the training image per class grows from 5 to 90. 4) The average resort retrieval time increases by no more than 1% over the initial retrieval time. 5) The mAP of the proposed method on UCMD is 93.67%, and the ANMRR is 0.049 2, which is 0.235 8 lower than that of the state-of-the-art methods.The proposed method can realize higher retrieval performance of agricultural remote sensing image retrieval, it will be helpful to improve the level of information and intellectualization in the agricultural information field.

remote sensing; image retrieval; feature extraction; reranking; convolutional neural network

10.11975/j.issn.1002-6819.2019.15.018

TP394.1; TH691.9

A

1002-6819(2019)-15-0138-08

2018-11-05

2019-04-25

国家自然科学基金（41261091, 61762061）；江西省自然科学基金资助项目（20161ACB20004）

叶发茂，副教授，博士，主要从事遥感图像处理和人工智能方面的研究。Email：yefamao@gmail.com

闵卫东，教授，博士，博士生导师，主要从事计算机图形图像处理、人工智能、大数据等方面的研究。Email：minweidong@ncu.edu.cn

叶发茂，董 萌，罗 威，肖 慧，赵旭青，闵卫东. 基于卷积神经网络和重排序的农业遥感图像检索[J]. 农业工程学报，2019，35(15)：138－145. doi：10.11975/j.issn.1002-6819.2019.15.018 http://www.tcsae.org

Ye Famao, Dong Meng, Luo Wei, Xiao Hui, Zhao Xuqing, Min Weidong. Agricultural remote sensing image retrieval based on convolutional neural network and reranking[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(15): 138－145. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2019.15.018 http://www.tcsae.org