基于深度迁移学习的酿酒葡萄种植信息提取

宋晓倩 张学艺 张春梅 李万春

摘要：为利用遥感手段快速、精准提取宁夏贺兰山东麓酿酒葡萄种植信息，提出了一种基于深度迁移学习的酿酒葡萄种植信息提取方法。该方法以全卷积神经网络（Fully convolutional networks，FCN）为基础，利用高分二号卫星遥感资料，以地面采集样本数据进行网络模型训练，利用迁移学习方法将训练好的网络模型迁移到FCN网络模型中，对其进行初始化，避免过拟合问题的发生，其网络训练验证集准确率高达88.16%，较传统的基于深度学习方法准确率提高7.17个百分点。结果表明，基于深度迁移学习的贺兰山东麓酿酒葡萄种植信息提取检测准确率可达91.93%，检测召回率达到91.15%。

关键词：酿酒葡萄;信息提取;高分数据;深度学习;迁移学习

中图分类号：S127文献标识码：A文章编号：1000-4440（2020）03-0689-05

Extraction of wine grape planting information based on deep transfer learning

SONG Xiao-qian1，ZHANG Xue-yi2，ZHANG Chun-mei1，LI Wan-chun2

（1.School of Computer Science and Engineering， North Minzu University， Yinchuan 750021， China;2.Key Laboratory of Characteristic Agrometeorological Disaster Monitoring and Early Warning and Risk Management in Arid Regions， CMA/Key Laboratory for Meteorological Disaster Prevention and Reduction of Ningxia， Yinchuan 750002， China）

Abstract：In order to extract the wine grape planting information of the eastern foot of Helan mountain by using remote sensing， a method based on deep transfer learning was proposed. On the basis of fully convolutional network（FCN）， this method used the GF-2 remote sensing data to collect the sample data for the information extraction training. The trained network model was transferred to the FCN model by using the transfer learnin method. It was initialized in the network model to avoid over-fitting problem. The accuracy rate of its network training validation set was as high as 88.16%， which was 7.17 percentage points higher than that of traditional deep learning methods. The results showed that the accuracy rate of wine grape planting information extraction based on deep transfer learning at the eastern foot of Helan Mountain could reach 91.93%， and the recall rate reached 91.15%.

Key words：wine grapes;information extraction;high resolution data;deep learning;transfer learning

近年来，在宁夏回族自治区党委、政府的重视下，贺兰山东麓酿酒葡萄被确定为自治区农业六大区域性优势产业之一[1]。随着酿酒葡萄产业的快速发展，其种植面积也在日益扩大[2]。如何快速、准确地提取酿酒葡萄种植面积是当前迫切需要解决的问题。利用遥感手段提取作物种植信息是一种节省人力、物力，并且人为干预少，效果好的技术[3-5]。目前较多学者利用深度神经网络在自然场景图像识别中取得优异成果[6]。张善文等[7]利用卷积神经网络对黄瓜病害进行识别，并建立了训练叶片识别數据库，与普通的特征提取识别病害方法相比较性能较高。孙云云等[8]在小样本情况下利用卷积神经网络进行病害图像识别，先利用7种不同模式分别对样本进行预处理，然后用AlexNet的经典网络对预处理后的样本进行训练。有的学者[9]利用深度神经网络来进行遥感图像识别，结合面向对象和深度特征，将深度学习运用到高分树种的分类中，与普通的支持向量机及随机森林分类方法对比，分类精度有所提高。黄云等[10]运用Sentinel-2数据基于FCN网络改进的SegNet网络对花生种植区域进行分类。Kussul等[11]利用深度学习对2种不同的遥感数据进行多种作物的分类，准确率较高。宫浩等[12]提出基于卷积神经网络的遥感图像分类方法，利用6层卷积神经网络对农田进行分类识别，精度高，耗时短。但基于深度神经网络的算法，必须有大量训练样本的支撑，单凭借少量的标注样本进行深度神经网络训练，容易产生过拟合的现象。

为改善深度神经网络训練过程中较易出现的过拟合现象，本研究提出一种基于深度迁移学习的酿酒葡萄种植信息提取方法。

1材料与方法

1.1研究区

宁夏贺兰山东麓酿酒葡萄产区位于宁夏回族自治区银川、吴忠、石嘴山三市，东经105°～106°E，北纬37°～39°N，地处世界酿酒葡萄种植的“黄金地带”，是全国三大酿酒葡萄原产地域保护区之一[13-15]，也是中国酿酒葡萄最佳种植区。贺兰山东麓属典型大陆性气候，系冲积扇三级阶梯，交通多有不便，生态脆弱，决定了在该区域发展酿酒葡萄产业必须适度规划、有限发展，所以快速、精准地掌握酿酒葡萄的种植分布及面积等情况成为政府决策部门的当务之急。

1.2数据来源

1.2.1卫星资料数据研究数据来源于高分二号（GF-2）卫星遥感资料。GF-2卫星是中国自主研制的首颗空间分辨率优于1 m的民用光学遥感卫星，搭载有2台高分辨率1 m全色、4 m多光谱相机，具有亚米级空间分辨率、高定位精度和快速姿态机动能力等特点[16-17]。获取2015-2018年酿酒葡萄分类最佳时相段内数据质量较好的贺兰山东麓葡萄种植区国产高分辨率卫星GF-2号PMS的L1A级数据共8景，经过正射校正、图像融合等预处理后，使其最高分辨率达到0.8 m，进行基于深度迁移学习的葡萄种植区分类数据集构建。遥感数据从中国资源卫星应用中心下载。

1.2.2数据集的组成用于训练初始网络的源领域数据集为2个遥感影像数据集（WHU-RS19数据集、UCMerced LandUse数据集）和大型图像数据集（ImageNet数据集）。

1.2.3地理信息数据经度、纬度数据及其他地理信息数据均来源于宁夏回族自治区气象局。

1.2.4气象数据在确定酿酒葡萄分类最佳时相段时，由于选取的酿酒葡萄GPS定点为银川市、吴忠市、青铜峡市、石嘴山市、贺兰县、永宁县，葡萄的生长发育需要≥10 ℃积温，所以选择2015-2018年以上6个地区≥10 ℃的积温数据，由宁夏回族自治区气象局提供数据及统计结果。

1.2.5辅助数据由宁夏回族自治区气象局提供宁夏主要作物调查数据，包括作物种植物候历、作物发育期、作物GPS定点采样点，其中采样点包括水稻30个、玉米50个、小麦30个、葡萄35个。

1.3图像分类方法

迁移学习方法是利用数据、任务或模型之间的相似性，将源领域中已学到的内容迁移到目标领域学习任务中，以此达到完善新工作的效果[18]。首先在2个遥感影像数据集（WHU-RS 19数据集、UCMerced LandUse数据集）与一个大型图像数据集（ImageNet数据集）上训练初始网络，也就是所谓的源领域学习任务。将训练好的初始网络进行卷积层保留，将保留的模型参数导入新网络模型中，对建立的贺兰山东麓葡萄种植区高分辨率遥感图像分类数据集进行分类。最终利用得出的分类准确率对目标领域学习任务的成果进行评价。图1是基于深度迁移学习的贺兰山东麓酿酒葡萄种植区提取的基本框架。

1.3.1数据集的构建将方法1.2中预处理后的GF-2号影像数据先运用遥感处理软件ENVI5.3进行葡萄种植区裁剪，将裁剪结果导入ARCGIS中输出栅格数据，利用深度学习样本制作工具labelme，结合Google earth软件进行葡萄种植区样本标注，并对其中6景原图像及生成的样本图像进行对应裁剪，生成大小为224×224的图像。为解决遥感数据采集成本高、样本少的矛盾，采用数据增强（Data augmentation）方法解决这一问题[19]。将处理好的葡萄种植区原始影像与标签图像进行合适的旋转、镜像、模糊以及亮度变换，增大数据集的大小，增强网络的学习能力。裁剪后的影像进行上述图像处理后，样本扩充到2 000张。这样训练数据集便构建完成，其数据集部分构成如图2和图3所示。

1.3.2分类算法框架的搭建基于FCN的葡萄种植区分类算法详细框架如图4所示。选取VGG16网络模型的前13层作为全卷积神经网络特征提取部分，后面加入反卷积层对输入图像进行上采样。对于前面采用的VGG16网络模型的前13层，加入迁移网络，采用Adam算法进行优化，保存分别在大型源数据集上训练好的模型，然后将训练好的模型分别迁移到构建的葡萄种植区遥感分类数据集上，并在新的训练任务中不断调整这些参数。

和检测召回率的计算，评价精度。

检测准确率是被正确预测的像素面积与所有像素面积之比[20]，其计算公式为：

检测准确率=（TA+TB）/（A+B）（1）

检测召回率是被正确预测为葡萄种植区的像素面积与实际葡萄种植区像素面积之比，其计算公式为：

检测召回率=TA/A（2）

式中，TA为正确检测的葡萄种植区像素面积，TB为正确检测的背景像素面积，A为实际葡萄种植区像素面积，B为实际背景像素面积。

2结果与分析

2.1分类网络模型的训练

试验环境参数设置：操作系统版本为Ubuntu18.1，CPU型号为Intel（R） Core（TM）i7-4790，GPU型号为GeForce GTX 1080，深度学习框架为Tensorflow 1.3.0。

首先利用大型源数据集遥感图像数据集WHU-RS19数据集、UCMerced LandUse数据集和普通图像数据集ImageNet数据集对初始网络进行预训练，利用本研究构建的葡萄种植区遥感分类数据集进行微调，找出对数据集分类效果最好的源领域数据集。添加一组利用方法1.3.1构建的酿酒葡萄种植区遥感分类数据集直接对初始网络模进行训练，来验证模型迁移学习的有效性。经过多次试验，选择最佳试验结果的试验参数：学习率为0.000 05，batchsize为1，迭代次数为100。

每次训练网络时自动保存当前最优模型。训练结果为：当不采用迁移学习对葡萄种植区遥感分类数据集进行训练时训练集准确率为96.42%，但在验证集上丢失率在后半段训练过程中增加，明显出现过拟合的现象。当分别以ImageNet数据集、WHU-RS19数据集、 UCMerced LandUse数据集为源领域数据集进行迁移学习时，训练集的准确率分别为96.27%、79.90%、78.72%。

当不采用迁移学习而直接使用本研究构建的酿酒葡萄种植区遥感分类数据集来训练初始网络模型时，验证集准确率为80.99%。当源领域数据集选择ImageNet时，先利用此数据集对初始网络模型预训练，将训练好的网络模型迁移至分类网络中，使用贺兰山东麓葡萄种植区分类数据集进行参数微调，最终达到的训练准确率最高为96.27%。而验证集准确率高达88.16%，对比没有迁移时80.99%的准确率，效果较好。可见，迁移学习不但能提高分类的准确率，并且还能抑制过拟合现象。

当分别利用遥感影像数据集WHU-RS19数据集、UCMerced LandUse数据集训练初始网络并迁移到新的分类任务中时准确率不升反降，分别为79.90%、78.72%。由于这2个遥感数据集没有与ImageNet数据集一样的大型数据量支持，使得网络的微调没有更深层的特征支撑，进而导致训练后的准确率大幅降低，这是负迁移现象。这表明在迁移学习中，只有源领域数据集大到一定范围，才会对目标领域的学习任务有改进作用。

2.2图像分类结果及验证

训练好网络后对整幅原始图像进行预测，原始图像与人工目视解译得到的标签数据以及网络预测的标签数据见图5～图7。

利用GF-2号0.8 m分辨率的优势，结合Google earth软件与实际考察GPS定点，对图5进行酿酒葡萄种植区的人工目视解译，得到图6中红色标注出的酿酒葡萄种植区，黑色为背景区，将其作为参考真实数据。图7中红色区域为网络预测的酿酒葡萄种植区，黑色为背景区。将图7与图6进行对比，发现图7中酿酒葡萄种植区整体预测效果较好，但存在拼接痕迹，且有几处错分、漏分，对实际酿酒葡萄种植区间小道路预测不明显。对测试结果进行检测准确率和检测召回率计算，结果显示基于深度迁移学习得出的葡萄种植区提取检测准确率为91.93%，检测召回率为91.15%。

3讨论

本研究将深度学习中的FCN网络与迁移学习结合，快速、高精度地实现了贺兰山东麓酿酒葡萄种植区的遥感影像解译，对贺兰山东麓酿酒葡萄种植区进行了提取。利用迁移学习，避免了过拟合的发生。不同源数据集的迁移学习与非迁移学习的对比试验结果表明：当不进行迁移学习时，验证集准确率为80.99%;选择规模足够大的ImageNet数据集，可有效提升验证集准确率（88.16%）;当源数据集数量过少时，出现负迁移现象。

利用ImageNet数据集作为源数据集训练好的网络模型对遥感影像进行预测，整体预测效果较好，检测准确率达到91.93%，检测召回率达到91.15%。

由于本研究以224×224的尺寸按照从左往右、从上到下的顺序滑动预测图像，然后进行拼接，这导致预测数据有拼接痕迹，对检测的准确率有一定影响。对于该问题，后续可采用缩小滑动步长或采用其他解决边缘问题的方法进行研究。本研究采用数据增强的方法解决样本采集成本高与样本少的矛盾，后续可研究采用学习生成对抗网络（GAN），以提升检测准确率与检测召回率。

参考文献：

[1]张敏敏，代红军. 2015年贺兰山东麓产区赤霞珠葡萄成熟期品质的监测[J] . 农业科学研究，2016，37（2）：29-33

[2]宋新欣. 宁夏贺兰山东麓葡萄产业品牌建设探讨[J]. 商业经济研究，2016（16）：216-217.

[3]李卫国. 作物旱涝灾情遥感监测进展与思考[J] . 江苏农业学报，2013，29（6）：1503-1506.

[4]王庆林，李卫国，王荣富. 基于不同时相遥感的冬小麦种植而积的提取[J]. 江苏农业学报，2014，30（6）：1286-1291.

[5]徐新刚，李强子，周万村，等. 应用高分辨率遥感影像提取作物种植面积[J]. 遥感技术与应用，2008，23（1）：17-23.

[6]曲景影，孙显，高鑫. 基于CNN模型的高分辨率遥感图像目标识别[J]. 国外电子测量技术，2016，35（8）：45-50.

[7]张善文，谢泽奇，张晴晴. 卷积神经网络在黄瓜叶部病害识别中的应用[J]. 江苏农业学报，2018，34（1）：56-61.

[8]孫云云，江朝晖，董伟，等. 基于卷积神经网络和小样本的茶树病害图像识别[J]. 江苏农业学报，2019，35（1）：48-55.

[9]滕文秀，王妮，施慧慧，等. 结合面向对象和深度特征的高分影像树种分类[J]. 测绘通报，2019，505（4）：38-42.

[10]黄云，唐林波，李振，等. 采用深度学习的遥感图像花生种植区域分类技术研究[J]. 信号处理，2019（4）：617-622.

[11]KUSSUL N， LAVRENIUK M， SKAKUN S， et al. Deep learning classification of land cover and crop types using remote sensing data[J]. IEEE Geoscience & Remote Sensing Letters， 2017， 99：1-5.

[12]宫浩，张秀再，胡敬锋，等. 一种基于深度学习的遥感图像分类及农田识别方法[J]. 现代电子技术，2019，42（8）：179-182.

[13]张学艺，李剑萍，秦其明，等. 几种干旱监测模型在宁夏的对比应用[J]. 农业工程学报，2009，25（8）：18-23.

[14]潘佳颖. 贺兰山东麓葡萄基地两种类型土壤重金属分布特征与评价[D].银川：宁夏大学，2017.

[15]王竞，李磊，王锐，等. 不同生育期水分亏缺对酿酒葡萄光和特性、产量及品质的影响[J]. 江苏农业科学，2017，46（22）：149-152.

[16]刘川，齐修东，藏文乾，等. 基于IHS变换的Gram-Schmidt改进融合算法研究[J]. 测绘工程，2018，27（11）：9-14.

[17]姚新春，张亚亚. 基于EasyOrtho的高分二号卫星批量数据自动处理试验[J]. 北京测绘，2016（6）：9-12.

[18]陈雨强. 图像与文本数据间的异构迁移学习[D]. 上海：上海交通大学，2012.

[19]张日升，朱桂斌，张燕琴. 基于卷积神经网络的卫星遥感图像区域识别[J]. 信息技术，2017（11）：91-94.

[20]付辉敬，田铮. 遥感图像分割中的信息割算法[J]. 中国图象图形学报，2011，16（1）：135-140.

（责任编辑：张震林）