多源数据融合的泛时空特征水稻深度学习提取

摘要：传统基于时序遥感影像的水稻物候期特征提取方法要求有较高的时间分辨率，受成像条件制约而较难满足；由于不同水稻种植区域环境条件不同，基于单一影像的深度学习水稻种植区域提取方法泛化能力较差。本文选取时相相近的光学和合成孔径雷达（Synthetic Aperture Radar，SAR）数据，削弱水稻种植区影像时空信息差异。通过泛时空特征融合有效地利用光学数据空间特征信息和SAR数据后向散射信息，采用双结构网络模型提取水稻特征。实验表明，基于多源数据融合的泛时空特征水稻深度学习提取方法在三江平原和肥西县水稻数据集上训练模型验证集总体测试精度为95.66%，Kappa系数为0.8805。该模型在南昌市区域水稻提取结果与实际地块边界符合较好，总体提取精度为86.78%，证明了泛时空特征模型的泛化能力和实用性。

关键词：泛时空特征；SAR数据；光学数据；特征融合；深度学习；水稻提取

1  引言

遥感技术可以大区域监测地物现状，广泛地应用于遥感农作物分类和生长情况监测[1]。农作物种植区域精准监测一直是农业遥感的核心问题，传统光学卫星遥感监测主要通过时间序列提取作物的物候特征，或者通过不同作物间的光谱差异性实现作物分类监测[2-4]。目前水稻种植监测主要采用时序物候特征提取分析法，例如黄侠等人基于无人机多光谱影像探讨红边波段对水稻生育物候期识别[5]，Li等人利用不同作物时间序列植被指数的差异性对鄱阳湖地区水稻种植变化展开研究[6]，分析该地区多年水稻种植变化趋势。黄青等人利用时间序列植被指数对江苏冬小麦和水稻种植区域进行分类提取[7]。光学遥感经常因天气影响（如：云雾遮挡）难以获取有效监测数据，SAR（Synthetic Aperture Radar，SAR）能够穿透云雾。Yang等人通过研究SAR在水稻生长不同阶段的后向散射系数差异，建立水稻时序物候特征曲线模型，结合决策树算法获取监测区域的水稻分布[8]。Nguyen-Thanh 等人利用时序Sentinel-1数据建模，利用物候指标基于对象对水稻进行分类[9]。Baihong 等人基于时间加权动态时间规划（Time- weighted Dynamic Time Warping，TWDTW）方法，通过时序Sentinel-1号SAR数据，成功提取我国双季水稻种植面积[10]。于飞等人利用多时相SAR后向散射特征和相干性，结合机器学习实现大面积水稻提取[11]。

以上方法采用时间序列数据，数据获取难度大且数据处理工作量较大。近年来，深度学习算法在遥感时空大数据特征提取分析中表现优异，是当前遥感应用研究的重要方法之一[12]，闫利等人根据植被特征设计了一种注意力网络，在植被面积提取中取得较好的效果[13]。基于多源数据融合处理提取农作物成为深度学习遥感分类的主要思路之一[14]。黄晓涵等基于多时序影像利用深度学习模型进行安徽省凤台县水稻提取[15]，Fu等人基于Sentinel-2和Sentinel-1号时间序列数据提出R-Unet模型，实现了较高水稻面积提取精度[16]。蔡耀通等基于多时序的Sentinel-2号光谱數据、植被指数和地表温度数据，利用卷积神经网络进行水稻监测面积提取[17]。

深度学习数据输入一般为RGB、RGBN或SAR单一影像数据。这种方式拟合模型得到的特征单一，无法实现SAR数据与光学数据优势互补。为了结合不同数据源的特征，一般方法是在主干网络中引入注意力机制，加入异源数据特征权重，提高分类精度[18]。但注意力附加的最优源特征位置通常难以估计，往往需要根据目标任务重新设计注意力模块，增加了泛化难度。此外光学影像提取的空间注意力由于通道数较少，概括性不足，较为敏感更容易造成负面影响。

光学时序影像极易受阴雨影响，SAR数据特征缺乏，难以与其他植被区分。此外，不同地区不同时间的样本训练的水稻提取模型难以泛化。针对此类问题，本文提出一种在水稻抽穗期基于单时相Sentinel-1和Sentinel-2融合数据泛时空特征的深度学习提取方法，综合利用光学影像和SAR影像互补消除单一影像信息差异性，拟合不同区域的水稻共性特征，增强模型在不同区域，相近时间的鲁棒性。

2  研究方法与原理

2.1  水稻泛时空特征

两种数据在特征提取阶段之前进行通道叠加，会增加模型拟合难度。水稻泛时空特征旨在将模型提取的数据特征进行组合，避免RGBN+VV+VH 6通道输入数据在特征提取阶段特征相互干扰，由网络选取异源数据最优特征，避免对异源特征提取的重新设计与筛选。输入影像选取空间分辨率相近的Sentinel-1和Sentinel-2作为最优组合数据源，避免过度采样造成的信息损失。基于水稻作物特征是随时间连续均一变化的假设，同时采用时间相近的数据，削弱时间特征差异。抽穗期与灌浆期是水稻产量监测的重要节点，往往此期间稻田含水量较高，空间特征较为显著且连续观测特征几乎不变。光学影像可以有效提取水稻规整的空间特征，将田地与水塘、建筑物、林地、草地等地型显著区分开，同时SAR数据对土壤含水量特征敏感，有效将田地中的水稻特征提取。因此选取该时期的光学加SAR数据作为组合输入特征数据，同时单时相水稻泛时空特征提取模型可以减弱不同地理区域因温度、降水、生物等物候因子造成的时序特征动态变化，消除时序特征匹配误差，具有通用性。

2.2  模型构建

有研究表明光学数据和SAR数据进行简单通道叠加作为深度学习网络输入，可能导致多源数据出现特征相互干扰，最终降低分类精度[18]，采用双分支特征提取结构，两特征提取分支结构分别独立地提取光学数据和SAR数据中的水稻特征，避免了多源数据在特征提取阶段中特征维度相互干扰。因此，本文基于金字塔场景分析网络（Pyramid Scene Parsing Network， PSPnet）结构[19]，采用一种光学影像数据和SAR数据双输入的水稻提取语义分割模型，模型包含两个独立的特征提取模块、特征融合和解码器。

特征提取模块包含光学特征提取和SAR特征提取两个分支，并且两特征提取分支相互独立。能够分别提取光学数据特征和SAR数据特征进行后续特征融合。特征提取模块采用高分辨率网络（High- Resolution Network，HRnet）为骨干分别进行特征提取。HRnet网络和其他特征提取网络相比，其能够保存高分辨率分支，同时能够进行多尺度分辨特征信息融合，该网络对于复杂场景语义分割具有一定优势[20]。本文将两个独立特征提取HRnet网络模块分别输出的光学特征图和SAR特征图在通道维度上进行叠加融合，提升光学数据和SAR数据特征互补性能。此外，为了充分考虑遥感影像全局信息，本文采用金字塔场景解析网络（PSPnet）中金字塔池化模块对融合后的光学和SAR特征进行聚合，有效地顾及融合特征的上下文信息。金字塔池化能有效地针对水稻提取任务中不同尺度特征提取，进而完成特征拼接，提升模型的水稻作物图斑提取的鲁棒性。网络结构如图3所示。

本文训练网络模型阶段使用交叉熵损失函数（Cross Entropy Loss）作为损失函数，交叉熵损失函数是深度学习分类中常用的一种损失函数，其能够衡量模型的准确性，并且能够使模型快速收敛。

（1）

n为类别数量，p（x）为类别真实概率分布（0-1），q（x）为softmax 层输出样本的概率。

3  实验设计与结果分析

3.1  实验数据准备

样本影像选取Sentinel-2光学数据可见光与近红外四个波段，Sentinel-1 SAR数据VV和VH两种极化方式，合成6波段输入特征。样本数据采集区域选取东北三江平原和安徽合肥，三江平原水稻种植区域地块规整，位于东经130°13′—135°05′26″、北纬45°01'— 48°27′56″，地势较为平坦；肥西县地处安徽省中部，东经为116°40′52″—117°21′39″、北纬为31°30′22″— 32°00′21″，地势起伏，主要为丘陵地貌。在GEOVIS Earth DataDaily平台分别下载三江平原2020年7月—2020年9月与肥西县2021年8月—2021年9月Sentinel-2号L2级光学数据，同时下载与其光学数据对应的Sentinel-1号GRD数据。样本数据能很好地涵盖水稻种植的泛空间特征，避免水稻品种、地形、时间、区域的影响。

首先对选取的光学数据进行辐射校正、几何校正和去云去噪等预处理，对SAR数据进行热噪声去除、轨道校正、辐射定标和多普勒地形校正等预处理。以Sentinel-2号光学影像为基准将Sentinel-1号GRD雷达数据进行像元配准和双线性采样并将雷达强度数据拉升至（0－255）区间。预处理后的影像数据叠加耕地矢量，在耕地范围内人工解译获取水稻种植区域图斑，如图1所示。本文样本数据及标签统一处理为256×256像素大小，并对样本区域数据清洗具体为碎小图斑剔除，样本标注错误和错位剔除，保证误差不超过2个像素，最終所得样本共计13341组，部分样本如图2所示。

3.2  实验设计及评价

本文将3.1节建立的水稻数据按照70%训练集、20%验证集和10%测试集进行划分，具体数量如表1所示。

模型训练时本文将HRnet模型输入层改为光学分支的4通道和SAR分支2通道，建立新的COVN1卷积层。

实验硬件环境信息见表2：

模型训练策略见表3，训练过程中采用学习率衰减策略。学习率衰减策略如图4。

Batch_size直接影响梯度下降的快慢，理想的Batch_size大小在2—64之间[22]。GPU显存会影响到网络同时可加载的样本数量，实验条件测试最优Batch_size参数为12。学习率直接影响损失函数收敛的速度，初始化训练学习率可以选择0.01—0.001之间。

模型训练过程如图5所示：通过训练过程损失曲线可以看到在50个Epoch附近损失函数下降减缓，因而减小学习率逐渐逼近最优权重，每一轮训练的学习率降低3%。为避免异常样本引起的收敛曲线震荡，在训练过程中选取异常值之后的连续5个Epoch趋势预测点作为LOSS曲线是否继续下降的判断。

为了比较双分支网络特征融合模型的准确性（图6），设置如下两组对照实验：直接使用光学影像和SAR影像在通道进行堆叠作为输入（即为：RGBN+ VV+VH）。另一组则是本文双分支网络的特征融合模型。图6三组图像显示水稻种植图斑提取结果，提取的水稻图斑和标签样本对比，两种数据融合的方式整体都取得较为不错的结果。但是，从对比中可以看出光学影像和SAR影像在通道维度直接堆叠的方式存在部分区域漏提取现象，并且水稻提取图斑边界轮廓规整性较差。实验表明本文采用双分支特征提取融合方法在边缘噪声优化和边缘细节提取等方面取得较好结果。

为了评估本文融合特征提取方法的准确性，本文采用交并比（Intersection over Union，IoU）、Kappa系数和总体准确率（Overall Accuracy，OA）等指标评估模型的准确性能。

IoU是预测结果与标签真实值的交集与并集的比值。计算公式如下：

（2）

TP：预测为正样本，实际为正样本，FP：预测为正样本，实际为负样本，FN：预测为负样本，实际为正样本。

总体准确率为所有正确的样本数与样本总数的比

值即：

（3）

TP：预测为正样本，实际为正样本，FP：预测为正样本，实际为负样本，FN：预测为负，实际为正，TN：预测为负样本，实际为负样本。

Kappa系数能够全面、客观地分析分类精度和一致性检验的一种指标，具体计算公式如下：

（4）

P0表示每一类正确分类的样本数和与总样本数比值，即总体分类精度。

（5）

式中：ai为实际类别为i的样本个数，bi为预测为i类别的个数。

3.3  泛时空特征模型泛化实验

为了验证模型在不同地区水稻提取的鲁棒性，选用低纬度南昌市区域作为研究区。此外选取2022年8月—9月影像数据验证模型对不同时间影像中期稻提取的鲁棒性。

南昌市地处中国华东区域，江西省中部区域，处于东经115°27′—116°35′、北纬28°10′—29°11′之间，南昌市区域内河流湖泊众多，水域资源丰富。研究区西北地区多以丘陵为主，东南区域相对平坦，平均海拔25米，以平原为主，占研究区域面积的35.8%。该区域属于亚热带季风气候，气候湿润温和且日照充足，年平均温度在17 ℃—17.7 ℃之间。年降雨量在1600—1700毫米之間[21]降水量充足。研究区总面积为719 500公顷，其中耕地面积为251 946.67公顷。

实验过程中在GEOVIS Earth DataDaily中下载的2022年8月—9月Sentinel-2号4波段光学影像和Sentinel-1号双极化SAR影像，分别对光学影像和SAR影像进行预处理和地理配准。选取影像数据分别如图7中a，b所示。

本文通过模型提取了2022年8月—9月南昌市水稻种植区域（图8）。采用本文方法可以通过卫星数据快速获取不同年份、不同地区的水稻种植区域分布图。从图7提取结果来看，南昌市水稻种植区域主要分布在北部和中部地区。这些区域地势较为平坦，主要为平原地区，并且水资源充足，适宜水稻种植和生长。图9局部水稻提取图斑显示提取的水稻地块边界与Sentinel-2号光学影像契合度很高，在裸地、水体和草地等交接地带没有发生错分与漏分情况，准确性良好。

通过泛时空特征作物提取方法实现地表水稻种植区域监测，能够根据影像数据快速获取研究区域水稻种植状况，对于地区粮食安全监测具有重要的意义。为了定量验证本文方法提取水稻的准确性和精度，在研究区域中随机抽样700个验证点以进行准确性评估[23]。通过同时期高分辨率谷歌影像对样本点进行专家解译。对应于Sentinel-2影像空间分辨率，验证样本单元为10m*10m大小。通过高分辨率遥感数据解译获取水稻点位242个，其他类别点位共458个，样本点位整体分布如图10所示，样本局部细节如图11所示。

3.4  实验结果与对比分析

3.1数据集基于实验1提取结果精度如表4所示，基于多源数据融合的泛时空特征水稻深度学习提取水稻总体精度可达到0.9566，Kappa系数为0.8805，较HRnet网络模型OA、IoU和Kappa系数分别提升了2.40%、1.05%和1.84%。表明光学影像和SAR影像融合方法提取水稻种植较为准确。总体而言，两种光学影像和SAR影像融合水稻提取模型提取结果都较准确，但是本文采用的模型在细节上表现更佳。此外，由于本文基于10米分辨率影像，水稻种植图斑提取结果精细化程度较低。

基于多源数据融合的泛时空特征水稻深度学习在南昌市进行水稻提取实验，表5显示了由验证数据集分析得出的分类精度值，水稻种植图斑提取的总体准确率为86.78%，交并比为79.36%，Kappa系数为79.49%。为了更加具体地计算本文模型水稻提取精度，本文根据随机生成的样本点抽样出100个256×256像素大小的样本，并根据高分辨率影像进行专家解译，勾画出水稻种植图斑作为验证样本，如图12中a组所示。将样方数据范围内本文模型提取水稻图斑与专家解译结果进行精度验证。根据对比专家解译图斑和提取结果验证对比分析，提取水稻分布图斑在边界处存在少许的漏提取和错误提取现象。但是提取水稻提取图斑的总体精度OA为87.40%。

4  结论

基于2020年8月—9月三江平原和2021年8月—9月肥西县Sentinel-1号SAR影像和Sentinel-2光学影像制作水稻种植图斑分布样本集。对本文制作的水稻样本数据集，分别测试了优化后HRnet水稻提取模型和传统的HRnet模型，测试结果表明本文优化模型在OA、IoU和Kappa系数分别提升了2.40%、1.05%和1.840%。此外，在南昌市区域测试本文优化模型的水稻提取精度和泛化能力，通过高分辨率谷歌影像进行人工解译样本点精度验证，得到结论如下：

建立基于光学和SAR数据融合的水稻种植图斑提取样本数据集；另外，采用了一种光学和SAR影像双分支特征提取模型分别进行光学和SAR特征提取，并对提取特征进行融合。相比于光学和SAR影像直接通道叠加的融合方式，此方法在水稻提取图斑边缘细节信息表现更好且提取精度更高，本方法能避免多源数据不同特征相互干扰的情况，进而提高分割精度[18]。

本文方法在不同时间和不同地点的研究区域（南昌市）进行水稻图斑提取实验，提取结果和人工解译的验证点进行精度验证，验证结果的总体精度、交并比和Kappa系数分别为86.78%、79.36%和79.49%。实验结果表明本文通过泛时空特征提取水稻图斑的方法取得最好效果，证明了此模型具有一定的泛化能力。

本文研究方法所采用的样本数据均为8月—9月遥感影像数据，处于水稻的孕穗、抽穗和乳熟时期，在此时间段水稻长势较好，纹理清晰。实验结果表明，泛时空特征水稻种植图斑提取模型具有普适性，并在南昌市区域取得了较高的提取精度验证，具有工程应用价值。

然而，水稻其他物候时期遥感影像数据样本缺少，导致水稻提取模型具有一定的局限性，难以获取处在其他物候时期的水稻种植分布。针对此问题，后续研究将在现有的模型基础上，增加适量不同物候时期的样本数据进行训练以提升模型的泛时空水稻提取能力。

参考文献

[1] 谭深，吴炳方，张鑫.基于Google Earth Engine与多源遥感数据的海南水稻分类研究[J].地球信息科学学报，2019，21（6）：937-947.

[2] 陈雨思，李丹，黎臻，等.多时相MODIS影像的黑龙江省水稻种植面积提取[J].农业工程学报，2020，36（23）：201-208.

[3] 李永帅，齐修东.基于Google Earth Engine三江平原水田提取研究[J].地理空间信息，2021，19（12）：77-80+6.

[4] Dong J， Xiao X， Menarguez M A， et al. Mapping paddy rice planting area in northeastern Asia with Landsat 8 images， phenology-based algorithm and Google Earth Engine[J]. Remote Sensing of Environment， 2016， 185： 142-154. https：//doi.org/10.1016/j.rse.2016. 02.016.

[5] 黄侠，姜雪芹，张灿，等.红边波段在水稻生育期识别中的应用研究[J].测绘地理信息，2023，48（3）：87-90.

[6] Li P， Feng Z， Jiang L， et al. Changes in rice cropping systems in the Poyang Lake Region， China during 2004–2010[J]. Journal of Geographical Sciences， 2012， 22： 653-668. https：//doi.org/10.1007/ s11442-012-0954-x.

[7] 黄青，吴文斌，邓辉等.2009年江苏省冬小麦和水稻种植面积信息遥感提取及长势监测[J].江苏农业科学，2010（6）：508-511.

[8] Yang H J， Pan B， Li N， et al. A systematic method for spatio-temporal phenology estimation of paddy rice using time series Sentinel-1 images[J]. Remote Sensing of Environment， 2021， 259： 112394. https：//doi.org/10.1016/j.rse.2021.112394.

[9] Son N T， Chen C F， Chen C R， et al. A phenological object-based approach for rice crop classification using time-series Sentinel-1 Synthetic Aperture Radar （SAR） data in Taiwan[J]. International Journal of Remote Sensing， 2021， 42（7）： 2722-2739. https：//doi.org/ 10.1080/01431161.2020.1862440.

[10] Pan B， Zheng Y， Shen R， et al. High resolution distribution dataset of double-season paddy rice in China[J]. Remote Sensing， 2021， 13（22）： 4609. https：//doi.org/10.3390/rs13224609.

[11] 于飞，吕争，隋正伟，等.基于特征优选的多时相SAR数据水稻信息提取方法[J].农业机械学报，2023，54（3）：259-265+327.

[12] Zhang L， Zhang L， Du B. Deep learning for remote sensing data： A technical tutorial on the state of the art[J]. IEEE Geoscience and Remote Sensing Magazine， 2016， 4（2）： 22-40. https：//doi.org/10.1109/ MGRS.2016.2540798.

[13] 闫利，徐青，刘异.基于注意力网络的遥感影像植被提取方法[J].测绘地理信息，2021，46（S1）：44-48.

[14] Alami M M， Mansouri L E， Imani Y， et al. Crop mapping using supervised machine learning and deep learning： a systematic literature review[J]. International Journal of Remote Sensing， 2023， 44（8）： 2717-2753. https：//doi.org/10.1080/01431161.2023.2205984.

[15] 黃晓涵，黄文龙.基于深度学习的多时序遥感影像水稻提取研究[J].地理空间信息，2023，21（8）：61-64+113.

[16] Fu T， Tian S， Ge J. R-Unet： A Deep Learning Model for Rice Extraction in Rio Grande do Sul， Brazil[J]. Remote Sensing， 2023， 15（16）： 4021. https：//doi.org/10.3390/rs15164021.

[17] 蔡耀通，劉书彤，林辉，等.基于多源遥感数据的CNN水稻提取研究[J].国土资源遥感，2020，32（4）：97-104.

[18] Li X， Zhang G， Cui H， et al. MCANet： A joint semantic segmentation framework of optical and SAR images for land use classification[J]. International Journal of Applied Earth Observation and Geoinformation， 2022， 106： 102638. https：//doi.org/10.1016/j.jag.2021. 102638.

[19] Wu D，Zhao J， Wang Z. AM-PSPNet： Pyramid Scene Parsing Network Based on Attentional Mechanism for Image Semantic Segmentation[C]//ICPCSEE Steering Committee.Abstracts of the 8th International Conference of Pioneering Computer Scientists，Engineers and Educators（ICPCSEE 2022） Part I. Department of Electronic Engineering，Heilongjiang University;2022：1. https：//doi.org/10.26914/ c.cnkihy.2022.077315.

[20] Sun K， Xiao B， Liu D， et al. Deep high-resolution representation learning for human pose estimation.[J]. Corr， 2019， abs/1902. 09212. https：//doi.org/10.48550/arXiv.1902.09212.

[21] Dominic Masters， Carlo Luschi. Revisiting small batch training for deep neural networks[Z].ARXIV，2018， 1804.07612.

[22] 伍光和，王乃昂，胡双熙，等.自然地理学（第四版）[M].北京：高等教育出版社，2008.

[23] Olofsson P， Foody G M， Herold M， et al. Good practices for estimating area and assessing accuracy of land change[J]. Remote Sensing of ENVIRONMENT， 2014， 148： 42-57. https：//doi.org/ 10.1016/ j.rse.2014.02.015.

引用格式：杜家宽，李雁飞，孙嗣文，刘继东，江腾达.多源数据融合的泛时空特征水稻深度学习提取[J].农业大数据学报，2024，6（1）： 56-67. DOI： 10.19788/j. issn.2096-6369.000010.

CITATION： DU JiaKuan， LI YanFei， SUN SiWen， LIU JiDong， JIANG TengDa. Pan-spatiotemporal Feature Rice Deep Learning Extraction Based on Multi-source Data Fusion[J]. Journal of Agricultural Big Data， 2024，6（1）： 56-67. DOI： 10.19788/j.issn.2096-6369.000010.

Pan-spatiotemporal Feature Rice Deep Learning Extraction Based on Multi-source Data Fusion DU JiaKuan， LI YanFei， SUN SiWen*， LIU JiDong， JIANG TengDa

GEOVIS Earth Technology Co.，Ltd，Hefei 230088， China

Abstract： Traditional methods of rice phenological phase feature extraction based on time-series remote sensing images require high temporal resolution， which is difficult to meet due to imaging conditions. Due to the different environmental conditions in different rice growing regions， the rice planting area extraction method based on single image has poor generalization ability. In this paper， similar optical and Synthetic Aperture Radar （SAR） data were selected to reduce the spatiotemporal information differences in rice planting area images. The spatial feature information of optical data and backscatter information of SAR data were effectively used to extract rice features by using a two-structure network model through pan-spatio-temporal feature fusion. Experiments show that the overall test accuracy of the training model validation set on the rice datasets of Sanjiang Plain and Feixi County is 95.66%， and the Kappa coefficient is 0.8805. The results of rice extraction in Nanchang City were in good agreement with the actual field boundaries， and the overall extraction accuracy was 86.78%， which proved the generalization ability and practicability of the pan-temporal feature model.

Keywords： pan-temporal characteristics; SAR data; optical data; feature fusion; deep learning; rice extraction