基于Bi-LSTM模型的时间序列遥感作物分类研究

黄翀，侯相君

基于Bi-LSTM模型的时间序列遥感作物分类研究

1中国科学院地理科学与资源研究所/资源与环境信息系统国家重点实验室，北京 100101；2中国科学院大学，北京 100049；3中国科学院黄河三角洲现代农业工程实验室，北京 100101

【目的】及时、准确地作物分类制图是农情监测的重要依据。本研究基于双向长短期记忆网络模型探究深度学习技术在时间序列遥感作物分类与早期识别中的应用潜力。【方法】本文以黄河三角洲地区为例，以哨兵2号全年可用卫星影像为数据源，构建年时间序列NDVI数据集；采用循环神经网络构架，搭建针对结构化时序数据的双向长短期记忆网络模型（bidirectional long short-term memory，Bi-LSTM），开展遥感作物分类，并评估模型的泛化能力；通过输入不同长度时间序列遥感数据，探究满足一定制图精度条件下的作物最早可识别时间。【结果】作物年生长时序特征对于大多数作物遥感分类识别都具有较好的区分能力，基于年时间序列NDVI数据的Bi-LSTM模型作物分类总体准确率达90.9%，Kappa系数达到0.892。通过测试不同时间序列长度对作物分类的影响发现，对大多数作物来说，其分类精度随着数据时间序列长度增加而不断提高，冬小麦、水稻等作物在生长季早期即具有较为独特的分类特征，因而利用生长季早期的时间序列影像即可获得较高的制图精度，而棉花、春玉米等作物需要完整生长序列影像才能更好地保证分类精度。【结论】卫星影像时间序列蕴含的结构化特征信息可以有效地降低特定时段的作物光谱混淆；双向循环神经网络模型能够同时考虑前向和后向的时间状态信息，可以学习作物不同阶段的光谱变化特征，在水稻、棉花、春玉米等易混淆作物的识别上表现优异；模型能够有效地把握样本总体上的变化趋势，在农作物多分类任务中表现出较好的泛化能力和鲁棒性。本研究通过集成深度学习和遥感时间序列，为及时、快速的区域作物高精度制图提供了可行的思路。

作物分类；早期识别；时序遥感；Bi-LSTM；模型泛化

0 引言

【研究意义】及时、准确地对农作物进行分类制图是农情监测的重要依据，也是宏观调控农作物种植结构、估计农作物产量、制定粮食政策等问题的重要参考[1-2]。而在作物生长早期阶段，如果能尽早获得作物分类的结果，将使作物提取更有意义[3-4]，例如提前分配农业灌溉用水量提高用水效率，更合理地进行农作物的收储等[5]。【前人研究进展】遥感是应对高时空分辨率作物精细制图的一个重要工具。早期的遥感农作物分类主要是基于农作物生长关键期的单期或少数几期影像，利用不同作物的光谱特征差异进行分类识别[6-7]。但关键期影像往往受到天气条件限制，且对相似作物的区分不够明显。随着卫星技术的突破，基于密集时间序列遥感数据的分类技术得到发展。其中，哨兵2号卫星凭借其较高的时空分辨率和较好的数据质量成为研究作物分类的理想数据源[8-9]。利用密集时间序列遥感数据进行分类识别的基础是作物全生长期的光谱响应特征。Vrieling等[10]将哨兵2号植被指数序列和地面实测绿色色度坐标序列相比，证明了其提供植被生长阶段特征信息的能力，这为进一步提高农作物分类识别精度提供了基础。近年来，以深度学习为前沿的机器学习方法日益增长，也越来越多地应用于时间序列遥感数据分类研究[11-13]。循环神经网络（recurrent neural network，RNN）是一种能够解决前向序列学习问题的网络，通过使用带自反馈的神经元，能够挖掘时间序列中的上下文信息，对于结构化序列数据建模分析有着天然的优势[14]。目前已有一些研究利用循环神经网络模型开展遥感作物分类，如Luo等[15]将三维卷积神经网络和长短时记忆网络（long short-term memory，LSTM）模型进行横向拼接，构建模型对农作物进行分类提取。Kussul等[16]使用多层LSTM模型对光学数据和雷达数据进行融合并对作物进行提取。Zhou等[17]使用LSTM模型对多时相SAR数据进行作物分类，也取得了较好的效果。【本研究切入点】现有的研究大多是针对单期或少数几期遥感影像的深度学习分类，难以充分利用丰富的时间序列特征信息。作为对RNN的一种改进，双向长短期记忆网络模型（bidirectional LSTM，Bi-LSTM）能够同时考虑前向和后向的时间状态信息，反向推断作为时序推断的补充，在学习过程中避免时序因果关系的限制[18]。考虑到从作物播种到收获，其生长阶段的信息在前向和后向两个方向上都是瞬时相关的[19]，因此，应用Bi-LSTM模型进行时间序列遥感作物分类和早期识别的潜力尚待进一步探索[11]。【拟解决的关键问题】本研究以华北平原典型农业区黄河三角洲为例，在密集时间序列遥感数据支持下，探究基于双向长短期记忆网络模型的深度学习技术在作物分类与早期识别中的应用潜力。同时，选择具有不同主导农作物的典型农业区，利用独立采集的验证样本，进一步测试模型在较大区域上的泛化能力，以期为遥感时序大数据的农业深入应用提供可供借鉴的方案。

1 材料与方法

1.1 试验区介绍

黄河三角洲位于山东省东营市黄河入海口，是黄河携带巨量泥沙经多年沉积形成。区域气候类型属于暖温带半湿润大陆性季风气候，冬季干燥寒冷，夏季炎热多雨。该区域是华北平原典型的旱地农业种植区，其种植结构主要为一年两季的冬小麦-夏玉米和冬小麦-夏大豆。华北平原地区常见的春玉米、棉花等一年一季旱地作物也较为常见。近年来，在灌溉水源能够保证的地方，水稻也得到大面积的种植。因此，黄河三角洲多样的种植结构在华北平原农业中极具代表性。本研究以山东省东营市黄河南岸的三角洲平原为研究区，主要包括垦利县和东营区两个县级行政区，如图1所示。

图1 研究区位置图

1.2 数据获取与处理

1.2.1 试验数据获取 Sentinel-2任务是欧盟委员会和欧洲航天局共同倡议的“全球环境与安全监测计划”中的一部分，用于提供农业利用、土地覆被变化监测等一系列服务[20]。Sentinel-2搭载一枚高分辨率多光谱成像仪（MSI），包括4个空间分辨率为10 m的可见光-近红外波段等。Sentinel-2任务的两颗卫星同时运行，为农业遥感应用提供了密集的数据来源。

通过GEE平台获取了2020年1月1日至2020年12月31日一个完整自然年份的全部Sentinel-2遥感影像，以云量90%为阈值进行筛选，共获取可用影像109景，如表1所示。该数据为L2A标准产品，已经过几何校正和大气校正，投影为UTM/WGS84，数据是地表反射率产品。

样本数据是2020年5月和8月用手持GPS在研究区野外实地调查的数据，共382个采样点（图2-B），其中，人工林样点68个，水稻样点58个，棉花样点40个，春玉米样点53个，荒地样点69个，冬小麦-夏大豆样点28个，冬小麦-夏玉米样点66个。该数据用来计算模型在研究区的泛化精度。

表1 哨兵2数据分布时间

考虑到深度学习需要大量样本，在野外调查基础上，还收集了训练区域2020年不同月份的Google 高清影像，进行目视解译，以构建支撑模型的样本集合（图1中的训练样本区域）。本研究获取到不同种类地块共1 388个用于模型训练和验证，每个地块中的所有像素均被当成该种作物和种植类型的有效样本，如图2-A所示。之后将样本矢量数据转化为栅格数据，从中选取云量覆盖率较低的集合，对每一类单独遍历，从中随机选取12 000个点，七大类共84 000个点用于模型训练，构成训练集；同时对每类另随机选取2 000个点，共14 000个点，构成验证集，用于训练区的精度验证。

此外，为了测试模型的泛化能力，除研究区外，在东营市北部河口区选择水稻典型种植区、东营市南部广饶县选择春玉米典型种植区，河北省衡水市冀州区选择冬小麦-夏玉米典型种植区，作为对模型泛化能力的测试区。测试区域（图2-C）及样本点如图2-D—F所示，样本点采集时间也为2020年。

图2 训练集与测试集样本分布

1.2.2 时序数据预处理 数据预处理包括遥感影像无效值剔除与归一化植被指数时序曲线的构建。时序遥感影像中经常会存在不同程度的云覆盖，本研究首先利用s2cloudless算法对遥感影像中的云层等无效数据进行剔除[21]。该算法可以针对每个像素产生一个云概率，通过设定阈值来控制选择像素的数量和质量。经过多次试验，将阈值控制为30%[21]，以最大程度减小无效像素的影响，同时尽可能多地保留有效的像素，这有利于构建完整的时序数据集合。

归一化差值植被指数（normalize difference vegetation index，NDVI）是植被生长状态的良好指示因子，能够较好地反映植被绿度、光合作用强度等特征[22]。本研究通过构建作物NDVI年时间序列，利用深度学习模型进行作物精细分类识别。由于数据经过去云操作后存在一定的时序缺失，本研究通过Savitzky-Golay滤波器对时序曲线进行补缺处理，以得到完整的地物年时序曲线，如图3所示。

图3 农作物与其他植被NDVI时序曲线

1.3 研究方法

1.3.1 双向长短期记忆网络模型构建 循环神经网络（RNN）是一类用于处理序列数据的神经网络[14]。全连接层网络（full connected network）只在层与层之间建立了全连接，RNN最大的不同之处就是在时间维度引入循环概念，使网络能建模过去时刻对当前时刻的影响，以此建立正向时间上的联系。

时间序列遥感分类任务是完整序列多类别分类任务的一种，如果能从前后两个方向同时考虑历史信息和未来信息，这相比于单方向模型有更多的特征参与分类，从而提高分类精度。然而，通用的循环神经网络（RNN）在时序上处理序列，忽略了未来信息在序列中的影响。双向循环神经网络[18]的基本思想是在模型中构建两个不同方向的循环神经网络，而且这两个循环网络都连接着一个输出层。这个结构把输入序列中每一个点的完整的前向和后向的上下文信息提供给输出层。

图4是一个沿时间展开的双向循环神经网络。6个独特的权值在每一个时步被重复利用，6个权值分别对应：输入到向前和向后隐含层（1,3），隐含层到隐含层自己（2,5），向前和向后隐含层到输出层（4,6）。另外需要说明的是，向前和向后隐含层之间没有信息流，这保证了展开图是非循环的。

原始RNN的隐藏层只有一个状态，它对于短期的输入非常敏感，但存在梯度消失问题。长短期记忆网络[23]和门控循环单元[24]（gated recurrent unit，GRU）通过使用单元建模隐藏状态来解决这一问题。在给定先前状态、当前存储器和输入值的情况下，这些单元决定了要保留和丢弃的信息[25]。其中，LSTM通过单元与门的设计来控制信息在序列中的传递，实现对历史数据有区别地记忆和遗忘以及对当前输入数据不同程度的利用。本研究为解决梯度消失问题，采用双向LSTM（Bi-LSTM）网络。该网络输出两个时间域特征向量，融合后输入激活函数进行分类。在本研究中，采用Tensorflow模块构建Bi-LSTM模型，模型的层数为2层，每层的神经元个数为128，学习率为0.001。模型的激活函数使用Softmax函数，代价函数为多分类的交叉熵损失函数。本研究设置深度学习每个batch大小为128，为了训练出高精度模型设置epochs为50。

此外，为了探究循环神经网络与传统机器学习模型在遥感作物分类效果的区别，在使用相同的训练样本的情况下，选择支持向量机（support vector machine，SVM）作为对比分类器。SVM模型采用Python语言编写，调用sklearn包中的相关函数对分类器模型进行构建，参数均采用默认值。

图4 双向循环神经网络的结构示意图

1.3.2 模型泛化能力评估 目前将深度学习用于农作物分类的研究大多使用一个数据集，例如野外采样数据[9, 26]或者现有的作物分类产品[27-28]，训练集（验证集）与测试集由该数据集划分得到，模型在训练完成后基于同一数据分布的集合直接进行模型的能力测试[29]。本研究中，为进一步测试模型的泛化能力，训练集（验证集）与测试集采用独立的数据集。训练集与测试集之间存在协变量偏差[30]，该偏差可以用来有效地检测模型的迁移泛化能力。

1.3.3 精度评价 本研究通过建立混淆矩阵对分类结果进行精度评价，评价指标包括：总体精度（），用户精度（），制图精度（），Kappa系数（）。总体精度是指对每一个随机样本，所分类的结果与验证数据类型相一致的概率。用户精度是指从分类结果中任取一个随机样本，其所具有的类型与验证数据类型相同的条件概率。制图精度是指从验证样点中任取一个随机样本，分类图上同一地点的分类结果与其相一致的条件概率。Kappa系数是遥感分类中常用于一致性检验的指标，表示分类结果中的一致性。

1.3.4 基于不同长度时间序列遥感的作物早期识别 本研究希望通过深度学习模型对不同种类农作物进行尽可能早的有效识别，因此将不同长度时间序列遥感数据输入模型，得到在不同时间节点的各类农作物的识别情况。本研究以月为单位，将完整时间序列进行分割。由于每个月的有效图像数量不同，因此数据长度不是等差增长的。随着时间序列长度的增加，分类精度将同步提高。根据多次预试验结果以及参考相关文献[8]，本研究中，每种作物的最早可识别时间（earliest identifiable timing，EIT）被定义为该作物的F1分数首次达到0.85的阈值，其中F1分数为用户精度与制图精度的调和平均数。这样便可以得到对不同种类作物进行有效识别的最早月份。

2 结果

2.1 基于全时间序列遥感的作物分类精度评估

图5为利用Bi-LSTM模型生成的研究区作物分布图。从图5可以看出，冬小麦-夏玉米是该区主要的农作物种植方式，分布面积最大。而水稻主要分布在距离黄河沿岸较近的地区，这与水稻种植需要大量引水灌溉特征相符。棉花和春玉米零散分布在黄河入海口附近，种植规模较小。

基于Bi-LSTM模型的分类结果精度统计如图6所示，模型总体准确率达90.9%，Kappa系数达到0.892（表2）。从图6中可以看出，一年两季的作物种植模式有很高的识别精度，但是当具体到冬小麦-夏玉米和冬小麦-夏大豆的精细分类时，精度变低。主要原因在于，夏玉米和夏大豆NDVI时序曲线非常相似，仅依赖NDVI时序特征，两者还存在较大的混淆。相比来说，由于夏玉米的种植范围更加广泛，特征相对明显，因此冬小麦-夏玉米的分类精度要高于冬小麦-夏大豆。

图5 基于Bi-LSTM模型的黄河三角洲地区农作物分类结果

图6 Bi-LSTM模型的精度统计图

表2 分类模型的精度统计

与旱地作物不同，水稻种植期存在的特殊灌水期包含了区分水田的重要光谱特征，因此水稻的分类精度较高，其用户精度在96%以上，其他作物误分为水稻的概率很低；而水稻的制图精度稍低于用户精度，这是因为受到云等因素的影响，部分像元时序中的低谷特征不明显，导致水稻被误分为其他类型。春玉米、棉花是研究区典型的一年一季旱地作物。春玉米的制图精度较高，而用户精度较低，这说明春玉米的识别特征被放大，有一部分其他农作物被识别成了春玉米。尽管棉花的NDVI曲线形态与春玉米相近，但由于收获时间不同，7、8月份的曲线特征存在差异。因此，从整个生长时序看，棉花与春玉米、水稻在不同的阶段仍有较为明显的区分特征，分类精度较高。

在基于单期或多期遥感影像分类中，人工林和荒地与生长季作物存在较大程度的误分，因此本研究将其纳入分类对象。由于人工林的生长周期显著大于农作物的种植周期，因而分类精度较高。与人工林相反，荒地的地表基本为杂草，其NDVI时间序列的峰值要远低于人工林和各种农作物，因此也较易区分。

为探索Bi-LSTM模型在分类任务中的优势，在相同数据源（全时序数据）的情况下，将Bi-LSTM模型和SVM模型的分类结果进行了对比，模型的精度如表2所示。

从表2中可以看出，总体上Bi-LSTM模型的结果稍好。对于三类精度较高的植被类型或作物类型（人工林，荒地和冬小麦-夏玉米）来说，Bi-LSTM模型和SVM模型同样可以取得较为满意的结果。而在难以区分的四类（水稻、棉花、春玉米和冬小麦-夏大豆），Bi-LSTM模型的表现则更为突出。相比之下，SVM模型在水稻和春玉米的分类上有较大的“漏分”情况；在棉花和冬小麦-夏大豆的分类上有较大的“误分”情况。这说明Bi-LSTM模型在针对春夏季难以区分的种植作物上具有优势。

此外，两种模型在分类的细节上也显示出一定的差异（图7）。由于黄河三角洲地区以个体农户经营为主，不同地块间种植较为杂乱。SVM分类器在这些细节处的“椒盐”现象严重，地块内部不均匀且边界轮廓线模糊。相比之下，采用Bi-LSTM模型得到的结果分类噪声明显减少，地块内部相对均匀，边界清晰，有利于多种农作物的分类与制图。

2.2 模型泛化精度

本研究利用训练区样本得到的模型对研究区作物结构进行分类识别，因此，研究区的分类精度一定程度上反映了模型的泛化能力。训练区（图2-A）的验证精度由训练集误差直接得到，其结果往往高于研究区的泛化精度。SVM和Bi-LSTM模型的验证精度都非常高，分别为96.7%和97.4%，这表明二者均对训练数据集进行了充分的信息挖掘。但是当把模型泛化到研究区时，二者出现了较大的区别，Bi-LSTM模型精度依旧保持在较高的水平（90.9%），而SVM的泛化精度下降至84.8%，出现了明显衰减。这表明，Bi-LSTM模型在多分类任务中具有更好的预测精度和鲁棒性，即使处理有一定特征变化的新的样本，模型也可以较准确地提取主要特征并归类，这保证了模型的泛化能力和稳定性。

图7 不同分类方法制图细节对比

为了进一步验证模型在更大区域上的泛化能力，选择研究区之外的3个典型农业种植区进行模型测试，其分类结果和精度如图8和表3所示。

结果表明，在3个典型农作物的种植区，Bi-LSTM的结果优于SVM的结果，平均泛化精度高4.5%。在河口种植区，水稻沿河流分布，其Bi-LSTM泛化精度比SVM模型高6.4%，错分类型主要为春玉米和荒地。由于受到云层遮盖与混合像元的影响，错分区域的水稻曲线灌水特征不明显，是导致错分的主要原因。在广饶种植区，模型迁移后春玉米被错分为棉花，没有被错分为水稻与荒地，说明模型识别一年一季旱地作物的能力较强，但在区分相似的春玉米与棉花时精度稍低，Bi-LSTM模型的泛化精度为90.3%，优于SVM模型。冀州种植区是北方典型的冬小麦-夏玉米种植区，其种植物候稍早于训练样本区[31]，冬小麦-夏大豆种植模式并不常见。但是由于夏玉米与夏大豆的NDVI曲线特征非常相似，当训练区模型泛化到该区域时，仍有少量冬小麦-夏玉米类别被错分为冬小麦-夏大豆，导致模型泛化精度较低，Bi-LSTM模型的泛化精度为83.6%，而SVM泛化精度为78.7%。

综合来说，由于训练区域与分类区域不同，分类区域中的变化特征检测了模型在面对新的样本的泛化能力。而Bi-LSTM模型的泛化精度较高的结果表明，它具有更好的提取特征并泛化推广的能力，以及稳定的鲁棒性。与传统模型相比，即使处理与训练样本库不同的新样本，Bi-LSTM模型也可以保证较好的识别结果。

表3 泛化能力测试区模型精度统计

左侧图为Bi-LSTM结果，右侧图为SVM结果，A、B图为河口种植区，C、D图为广饶种植区，E、F图为冀州种植区

2.3 时间序列长度对作物分类精度的影响

不同月份时间长度遥感时序数据作为输入的模型结果如表4和图9所示。

从图9和表4中可以看出，不同类型的农作物F1分数曲线的特点和最早可识别时间有很大不同。一年两季类型包括冬小麦-夏大豆和冬小麦-夏玉米，若不加区分，冬小麦在冬季就可以达到很高的识别精度，仅使用一个月的曲线便可以达到0.77的F1值，而4月份小麦进入拔节期，NDVI指数明显增大，远高于其他农作物及植被，因此在4月份便可以达到0.87的F1分数，最早可识别时间为4月份。若将夏玉米和夏大豆加以区别，则10月份是夏玉米的可识别时间，此时玉米已成熟，NDVI变化明显；而夏大豆识别精度较低，使用全生长季数据依然无法得到令人满意的单分类结果。

表4 不同月份数据长度精度统计

图9 不同月份数据F1分数统计图

在一年一季作物中，水稻较为特殊，5月份的灌水期是其识别的重要时间。因此在5月份，水稻的F1分数有一个明显的提升。而在6月份进入快速生长期，NDVI值迅速上升，此差异进一步提升了水稻的分类精度，最早可识别时间为6月份。棉花和春玉米的种植和生长周期较为相似，但春玉米种植和收获早于棉花1—2个月，春玉米在9月份收获，棉花在10—11月份收获。在对这两种作物进行早期识别时，作物时序NDVI特征不够明显，只有较为完整的曲线才可以保证较高的精度，因此春玉米的最早可识别时间为9月份，而棉花的最早可识别时间为10月份。

总体来看，不同作物与种植类型的最早可识别时间与该类作物的生长阶段特征关系明显，并且在该作物出现较为独特、明显的特征后精度会有较大幅度的提升，如冬小麦、水稻等；同时也存在早期特征不明显，需要完整生长序列才能保证精度的类型，如棉花、春玉米等。从多种作物的总体精度看，总体精度随着数据时间序列长度增加而不断提高。在3月份到5月份增长明显，分类精度有明显提升，说明这一时期的数据具有较多的信息量。在5月份到9月份不断提升，说明时间序列长度的增加可以有效提升分类精度。而在9月份之后，精度提升效果不明显，因此，大多数作物在9月份可以达到85%以上的精度，是一个较为理想的水平。

3 讨论

3.1 基于时序遥感数据深度学习分类的优势

与传统的单多期影像相比，结构化的时间序列数据可以屏蔽天气的影响，同时蕴含着更多的信息，有利于提取植被物候特征[32]。生长期相近的作物往往难以区分[8]，例如水稻、棉花和玉米。但不同作物在生长过程中存在不同的快速增长期，这种信息会反应在NDVI时序数据的斜率和权重上，是单多期影像无法提供的关键区分信息[17]。

Bi-LSTM是一种专注于探究时序数据前后逻辑关系的循环神经网络模型，它可以充分利用结构化的时间标签信息。本研究采用高频时序NDVI数据作为输入，进一步证明该模型在挖掘植被生长过程中NDVI变化特征的优势。一些研究已显示了循环神经网络应用于作物分类的优势。Kwak等[19]研究表明，当难以获得覆盖作物整个生长周期的完整时间序列图像时，该模型通过考虑时间序列图像在前向和后向的时间依赖性来弥补信息的不足，可以有效地应用于作物分类。用于玉米和大豆的分类制图时，Xu等[33]发现，循环神经网络能够从关键的生长阶段捕捉到了关键信息，在7月初以后取得了比其他模型更高的准确率。另外，Bi-LSTM模型不但考虑历史信息，还考虑了未来输入的影响[19]，也即在作物分类任务中更加充分地考虑了序列在整体时间段上的变化与分布，如整体的高低位转换模式。因此模型通过对时序数据特征学习，能对作物生长阶段信息进行有效的考虑，进一步改善作物识别精度。

3.2 模型泛化能力

当应用训练区得到的模型对研究区和其他几个测试区进行分类时，Bi-LSTM模型都表现出较高的分类精度，总体上比SVM模型具有更好的分类效果，说明Bi-LSTM模型具有良好的泛化能力。这可能与Bi-LSTM模型的强学习能力有关。Bi-LSTM模型中LSTM层接受输入的时序数据之后，利用其处理上下文信息的能力和记忆能力有可能挖捕捉到时序数据中潜在的非线性特征[34]，而多层与双向的LSTM结构进一步提高了模型容量与提取特征的能力[27]。之后利用激活函数对特征进行处理，更好地表达时序数据中的信息并辅助最终数据分类任务。与之相比，SVM从线性分类模型改进而来，寻求样本间隔最大化的分离超平面，从而实现对非线性数据的分类[35]。SVM可以通过核技巧使低维数据转化为特征数据[36]，同样也有不错的分类结果，但核的选择与特征提取效果依赖于先验知识与不断反复试验，在面对新样本时提取特征能力弱于深度学习模型[34]。以水稻为例，野外调查发现黄河三角洲地区水稻种植的水源主要依赖于引黄灌溉，因此，水稻的播种需要视引黄灌溉的时间安排而定，移栽期在空间上存在较大差异，从5月中旬到6月下旬不等。而Bi-LSTM模型在泛化过程中对研究区之外水稻的识别依然保持较高的精度，这说明该模型在学习过程中，将水稻NDVI时序间的关系（形态、结构等）作为有效的区分特征准确地识别出来，即使区域不同、物候特征存在一定偏差，Bi-LSTM模型依然能够有效地把握其总体上的变化趋势。

Bi-LSTM模型的泛化能力在相关研究中也得到一定验证。在Xu等[33]开展大规模玉米和大豆制图研究中，该模型的空间转移能力明显优于随机森林模型（random forest，RF）和多层感知机模型（multilayer perceptron，MLP），表明模型有能力从时间序列中学习可推广的特征。这一优势对于大区域的作物分类制图非常重要，因为全面样本的选取通常费时费力，当采集的训练样本无法覆盖全面的种植类型特点时，样本和地表真实情况存在一定的系统性误差，影响传统模型的分类精度。而采用泛化能力更强的深度学习模型进行分类制图，可以一定程度上降低对样本的依赖。

4 结论

基于哨兵2号全年可用卫星影像构建了NDVI时间序列数据，采用TensorFlow深度学习框架搭建了Bi-LSTM模型，对黄河三角洲地区的农作物开展分类和早期识别研究，探究了深度学习模型在时间序列遥感作物分类中的潜力。主要结论如下：

（1）卫星影像时间序列蕴含的结构化特征信息可以有效地降低特定时段的作物光谱混淆，为作物和种植结构精细分类提供了有力的支撑。结合深度学习模型，在应用于黄河三角洲地区作物分类时，总体准确率达90.9%，Kappa系数达到0.892。

（2）Bi-LSTM模型能够同时考虑前向和后向的时间状态信息，可以学习作物不同阶段的光谱变化特征，在水稻、棉花、春玉米等作物的识别上表现优异。同时，模型能够有效地把握样本的变化趋势与特征，因而在农作物大区域分类任务中具有更好的泛化能力和鲁棒性。

（3）不同类型的农作物F1得分曲线的特点和最早可识别时间各不相同，与作物生长阶段特征关系明显。小麦为4月份、水稻为6月份、春玉米为9月份、棉花和夏玉米为10月份。本研究为开展典型作物早期识别制图提供了依据。

（4）本研究只利用了NDVI时序特征进行作物分类，由于夏玉米和夏大豆之间生长季NDVI曲线变化相似，两者之间仍有一定程度的误分。进一步，可结合不同波段的光谱特征或融合其他数据源来提高夏玉米和夏大豆之间的识别精度。此外，模型的泛化能力还有待在更大区域上开展作物分类试验。

[1] 张佳华, 胡小夏, 刘学锋, 何贞铭. 基于MODIS数据提取华北典型区冬小麦种植面积. 中国科学院大学学报, 2013, 30(5): 637-643.

Zhang J H, Hu X X, Liu X F, He Z M. Extraction of winter wheat planting areas based on the time-series MODIS data in typical region of North China. Journal of University of Chinese Academy of Sciences, 2013, 30(5): 637-643. (in Chinese)

[2] 史舟, 梁宗正, 杨媛媛, 郭燕. 农业遥感研究现状与展望. 农业机械学报, 2015, 46(2): 247-260.

SHI Z, LIANG Z Z, YANG Y Y, GUO Y. Status and prospect of agricultural remote sensing. Transactions of the Chinese Society for Agricultural Machinery, 2015, 46(2): 247-260. (in Chinese)

[3] 陈仲新, 任建强, 唐华俊, 史云, 冷佩, 刘佳, 王利民, 吴文斌, 姚艳敏, 哈斯图亚. 农业遥感研究应用进展与展望. 遥感学报, 2016, 20(5): 748-767.

CHEN Z X, REN J Q, TANG H J, SHI Y, LENG P, LIU J, WANG L M, WU W B, YAO Y M, Hasi T y. Progress and perspectives on agricultural remote sensing research and applications in China. Journal of Remote Sensing, 2016, 20(5): 748-767. (in Chinese)

[4] deCastro A I, TORRES-SÁNCHEZ J, PENA J M, JIMENEZ- BRENES F M, CSILLIK O, LOPEZ-GRANADOS F. An automatic random forest-OBIA algorithm for early weed mapping between and within crop rows using UAV Imagery. Remote Sensing, 2018, 10(2): 285.

[5] 郝鹏宇, 唐华俊, 陈仲新, 牛铮. 基于历史增强型植被指数时序的农作物类型早期识别. 农业工程学报, 2018, 34(13): 179-186.

HAO P Y, TANG H J, CHEN Z X, NIU Z. Early season crop type recognition based on historical EVI time series. Transactions of the Chinese Society of Agricultural Engineering, 2018, 34(13): 179-186. (in Chinese)

[6] AZAR R, VILLA P, STROPPIANA D, CREMA A, BOSCHETTI M, BRIVIO P A. Assessing in-season crop classification performance using satellite data: a test case in Northern Italy. European Journal of Remote Sensing, 2016, 49(1): 361-380.

[7] 赵丽花, 李卫国, 杜培军. 基于多时相HJ卫星的冬小麦面积提取. 遥感信息, 2011, 26(2): 41-45, 50.

ZHAO L H, LI W G, DU P J. The area extraction of winter wheat based on multi-temporal HJ remote sensing satellite images. Remote Sensing Information, 2011, 26(2): 41-45, 50. (in Chinese)

[8] YOU N S, DONG J W. Examining earliest identifiable timing of crops using all available Sentinel 1/2 imagery and Google Earth Engine. ISPRS Journal of Photogrammetry and Remote Sensing, 2020, 161: 109-123.

[9] REN T W, LIU Z, ZHANG L, LIU D Y, XI X J, KANG Y H, ZHAO Y Y, ZHANG C, LI S M, ZHANG X D. Early identification of seed maize and common maize production fields using sentinel-2 images. Remote Sensing, 2020, 12(13): 2140.

[10] VRIELING A, MERONI M, DARVISHZADEH R, SKIDMORE A K, WANG T J, ZURITA-MILLA R, OOSTERBEEK K, O’CONNOR B, PAGANINI M. Vegetation phenology from Sentinel-2 and field cameras for a Dutch barrier island. Remote Sensing of Environment, 2018, 215: 517-529.

[11] SUN Z H, DI L P, FANG H. Using long short-term memory recurrent neural network in land cover classification on Landsat and Cropland data layer time series. International Journal of Remote Sensing, 2019, 40(2): 593-614.

[12] WANG Y M, ZHANG Z, FENG L W, MA Y C, DU Q Y. A new attention-based CNN approach for crop mapping using time series Sentinel-2 images. Computers and Electronics in Agriculture, 2021, 184: 106090.

[13] QU Y, ZHAO W Z, YUAN Z L, CHEN J G. Crop mapping from sentinel-1 polarimetric time-series with a deep neural network. Remote Sensing, 2020, 12(15): 2493.

[14] 杨丽, 吴雨茜, 王俊丽, 刘义理. 循环神经网络研究综述. 计算机应用, 2018, 38(S2): 1-6, 26.

YANG L, WU Y X, WANG J L, LIU Y L. Research on recurrent neural network. Journal of Computer Applications, 2018, 38(S2): 1-6, 26. (in Chinese)

[15] LUO C, MENG S Y, HU X, WANG X Y, ZHONG Y F. Cropnet: Deep Spatial-Temporal-Spectral Feature Learning Network for crop classification from Time-Series Multi-Spectral Images//Proceedings of the IGARSS 2020-2020 IEEE International Geoscience and Remote Sensing Symposium, 2020, 4187-4190.

[16] KUSSUL N, LAVRENIUK M, SHUMILO L. Deep Recurrent Neural Network for crop classification task based on Sentinel-1 and Sentinel-2 imagery//Proceedings of the IGARSS 2020-2020 IEEE International Geoscience and Remote Sensing Symposium, 2020, 6914-6917.

[17] ZHOU Y N, LUO J C, FENG L, YANG Y P, CHEN Y H, WU W. Long-short-term-memory-based crop classification using high-resolution optical images and multi-temporal SAR data. GIScience & Remote Sensing, 2019, 56(8): 1170-1191.

[18] SCHUSTER M, PALIWAL K K. Bidirectional recurrent neural networks. IEEE Transactions on Signal Processing, 1997, 45(11): 2673-2681.

[19] KWAK G H, PARK M G, PARK C W, LEE K D, NA S I, AHN H Y, PARK N W. Combining 2D CNN and bidirectional LSTM to consider spatio-temporal features in crop classification. Korean Journal of Remote Sensing, 2019, 35(51): 681-692.

[20] 毕恺艺, 牛铮, 黄妮, 康峻, 裴杰. 基于Sentinel-2A时序数据和面向对象决策树方法的植被识别. 地理与地理信息科学, 2017, 33(5): 16-20, 27, 127.

BI K Y, NIU Z, HUANG N, KANG J, PEI J. Identifying vegetation with decision tree model based on object-oriented method using multi-temporal sentinel-2A images. Geography and Geo-Information Science, 2017, 33(5): 16-20, 27, 127. (in Chinese)

[21] SANCHEZ A H, PICOLI M C A, CAMARA G, ANDRADE P R, CHAVES M E D, LECHLER S, SOARES A R, MARUJO R E B, SIMBES R E O, FERREIRA K R, QUEIROZ G R. Comparison of Cloud cover detection algorithms on sentinel–2 images of the amazon tropical forest. Remote Sensing, 2020, 12(8): 1284.

[22] JIMéNEZ-MUñOZ J C, SOBRINO J A, PLAZA A, GUANTER L, MORENO J, MARTINEZ P. Comparison between fractional vegetation cover retrievals from vegetation indices and spectral mixture analysis: Case study of PROBA/CHRIS data over an agricultural area. Sensors, 2009, 9(2): 768-793.

[23] HOCHREITER S, SCHMIDHUBER J. Long short-term memory. Neural Computation, 1997, 9(8): 1735-1780.

[24] CHO K, VAN MERRIENBOER B V, BAHDANAU D, BENGIO Y. On the properties of neural machine translation: Encoder-decoder approaches//Proceedings of SSST-8, Eighth Workshop on Syntax, Semantics and Structure in Statistical Translation, 2014, 103-111.

[25] 赵红伟, 陈仲新, 刘佳. 深度学习方法在作物遥感分类中的应用和挑战. 中国农业资源与区划, 2020, 41(2): 35-49.

ZHAO H W, CHEN Z X, LIU J. Deep learning for crop classification of remote sensing data: applications and challenges. Chinese Journal of Agricultural Resources and Regional Planning, 2020, 41(2):35-49. (in Chinese)

[26] ZHAO S, LIU X N, DING C, LIU S Y, WU C S, Wu L. Mapping rice paddies in complex landscapes with convolutional neural networks and phenological metrics. GIScience & Remote Sensing, 2020, 57(1): 37-48.

[27] KWAK G H, PARK C W, AHN H Y, NA S I, LEE K D, PARK N W. Potential of bidirectional long short-term memory networks for crop classification with multitemporal remote sensing images. Korean Journal of Remote Sensing, 2020, 36(4): 515-525.

[28] RUßWURM M, KöRNER M. Self-attention for raw optical satellite time series classification. ISPRS Journal of Photogrammetry and Remote Sensing, 2020, 169: 421-435.

[29] GOODFELLOW I, BENGIO Y, COURVILLE A. Deep Learning. Massachusetts: MIT Press, 2016.

[30] QUIñONERO-CANDELA J, SUGIYAMA M, SCHWAIGHOFER A, LAWRENCE N D. Dataset Shift in Machine Learning. Massachusetts: MIT Press, 2009.

[31] 潘海珠. 基于作物多模型遥感数据同化的区域冬小麦生长模拟研究[D]. 北京: 中国农业科学院, 2020.

PAN H Z. Winter wheat growth simulation based on multiple crop models and remote sensing data assimilation[D]. Beijing: Chinese Academy of Agricultural Sciences, 2020. (in Chinese)

[32] ZENG L L, WARDLOW B D, XIANG D X, HU S, LI D R. A review of vegetation phenological metrics extraction using time-series, multispectral satellite data. Remote Sensing of Environment, 2020, 237: 111511.

[33] XU J F, ZHU Y, ZHONG R H, LIN Z X, XU J L, JIANG H, HUANG J F, LI H F, LIN T. DeepCropMapping: A multi-temporal deep learning approach with improved spatial generalizability for dynamic corn and soybean mapping. Remote Sensing of Environment, 2020, 247: 111946.

[34] LAKSHMINARAYANAN S K, MCCRAE J P. A comparative study of SVM and LSTM deep learning algorithms for stock market prediction //proceedings of the AICS, 2019, 446-457.

[35] 庞敏. 基于LSTM混合模型的时间序列预测[D]. 武汉: 华中科技大学, 2019.

PANG M. Time series forecasting based on LSTM hybrid model[D]. Wuhan: Huazhong University of Science & Technology, 2019. (in Chinese)

[36] CHEN P H, LIN C J, SCHöLKOPF B. A tutorial on ν-support vector machines. Applied Stochastic Models in Business and Industry, 2005, 21(2): 111-136.

Crop Classification with Time Series Remote Sensing based on Bi-LSTM Model

HUANG Chong1, 3, HOU XiangJun1, 2

1Institute of Geographic Sciences and Natural Resources Research, Chinese Academy of Sciences/State Key Laboratory of Resources and Environmental Information System, Beijing 100101;2University of Chinese Academy of Sciences, Beijing 100049;3CAS Engineering Laboratory for Yellow River Delta Modern Agriculture, Beijing 100101

【Objective】Timely and accurate crop classification mapping is an important basis for agricultural situation monitoring. This study explores the potential of deep learning in time series remote sensing crop classification and early identification based on a bidirectional long short-term memory network model.【Method】In this paper, Yellow River Delta region was chosen as an example and a time-series NDVI dataset were constructed by using Sentinel-2 year-round available satellite images as the data source. A recurrent neural network architecture is used to build a bidirectional long short-term memory (Bi-LSTM) model for structured time-series remote sensing data to carry out crop classification, then the generalization ability of the model is evaluated. Through adjusting the length of time series, we explore the earliest identifiable time of different crops under the condition of satisfying certain mapping accuracy.【Result】 Growth characteristics represented by time series remote sensing images have great potential to discriminate different crops. The overall accuracy of the Bi-LSTM model reached 90.9% with a Kappa coefficient of 0.892. By testing the effects of different time series lengths on crop classification, the earliest identifiable time of typical crops was obtained. The accuracy of crops such as winter-wheat and rice could improve significantly after the emergence of unique characteristics. Crops such as cotton and spring maize required complete growth sequences to ensure classification accuracy.【Conclusion】The structured feature information embedded in satellite image time series could effectively reduce crop spectral confusion at specific time periods. The Bi-LSTM model was able to consider both forward and backward temporal state information and could learn the spectral change characteristics of crops, which was excellent in the identification of confusing crops such as rice, cotton and spring maize. In addition, the deep learning model could effectively capture the variation trend on the sample in general, and showed better generalization ability and robustness in the crop multi-classification task. This study provided a feasible idea for regional crop mapping with high accuracy by integrating deep learning and remote sensing time series.

crop classification; early identification; time-series remote sensing; Bi-LSTM model; model generalization

10.3864/j.issn.0578-1752.2022.21.005

2021-12-14；

2022-04-18

中国科学院战略性先导科技专项（XDA23050101）

黄翀（通信作者），E-mail：huangch@lreis.ac.cn

（责任编辑 杨鑫浩）