结合残差时空注意力机制的海面温度预测算法

贺 琪，李汶龙，宋 巍，杜艳玲，黄冬梅，耿立佳

结合残差时空注意力机制的海面温度预测算法

贺 琪1，李汶龙1，宋 巍1，杜艳玲1，黄冬梅1，耿立佳2

(1. 上海海洋大学信息学院，上海 201306；2．国家海洋局东海标准计量中心，上海 201306)

海面温度(SST)与全球气候变化、海洋灾害、海洋生态系统密切相关，因此准确地预测SST是一个重要课题。现有区域型SST预测方法将SST时间序列处理为二维矩阵序列并作为模型输入，每个矩阵对应着特定时刻的区域SST，通过提取时空特征来实现其预测，但未充分考虑不同时空特征在时间维度和空间维度上对SST影响的不均衡性，限制了预测精度地提高。为了解决该问题，提出了一种结合时间注意力机制和空间注意力机制的区域SST预测方法(CRA-ConvLSTM)，使得模型动态关注不同时刻的时间特征和区域内不同点的空间特征，赋予不同的影响权重，进而提高SST预测精度。具体来说，首先将输入的区域SST时间序列通过卷积神经网络(CNN）编码为多层特征向量，提取局部特征；然后构建了残差时间注意力模块，自适应地学习不同时刻的注意力权重，提取时间维度上的关键特征，并设计了残差空间注意力模块，提取区域内不同点在空间维度上的关键特征，此外，将注意力机制结合残差结构避免了网络中信息量过少导致的性能下降问题；最后通过卷积长短时记忆神经网络(ConvLSTM)将特征向量映射为SST预测结果。实验结果显示，该模型的均方根误差(RMSE)和预测精度(PACC)分别达到了0.19和99.43%，均优于其他方法，有效提高了SST的预测精度。

时间序列；海面温度预测；时空特征；注意力机制；残差结构

海面温度(sea surface temperature，SST)是全球大气系统的重要参数之一。近年来，随着海洋环境保护[1]、渔业[2]、海洋气候[3]等海洋相关领域受到越来越多的关注，准确预测SST已成为一个重要的研究课题。到目前为止，研究人员已提出了许多预测SST的方法，主要分为：①基于海洋物理学的数值预报方法[4]-6]，即利用一系列复杂的物理方程来描述海温的变化规律；②数据驱动模型，即从海量的SST数据中自动学习其变化趋势和规律，如，LINS等[7]通过提取浮标数据中每个变量的曲率信息，建立支持向量机(support vector machine，SVM)模型研究了SST的季节性和季节内的规律；HOCHREITER和SCHMISHUBER[8]于1997年首次将长短时记忆网络(long short-term memory，LSTM)成功用于时间序列的建模；ZHANG等[9]将LSTM网络用于SST预测，并获得了较好的预测效果。但这些方法仅考虑了SST在时间维度上的关联关系，未关注SST隐藏的空间特性，因此限制了预测精度的提高。考虑到SST复杂的时空特性，目前已有研究者通过提取SST的时空特征进行建模。如，YANG等[10]提出了一种CFCC-LSTM算法，通过全连接的LSTM层提取时间特征，然后利用卷积神经网络(convolutional neural network，CNN)提取空间特征，提高了SST的预测精度。HOU和MEMBE[11]提出的DC2L算法利用具备稠密连接的卷积长短时记忆神经网络(convolution LSTM，ConvLSTM)提取时空特征，并取得了较好的预测效果，ConvLSTM不仅具有CNN的特征提取能力，还保留了LSTM的时序建模能力。但在SST预测任务中，在时间维度上可能仅有某些时刻的特征对未来SST预测影响较大；同样，在空间维度上，也仅有某些点的特征对未来SST预测影响较大，即不同时空特征在时间维度和空间维度上对SST的影响具有不均衡性，而这些方法未能体现出这种影响，导致忽略了关键信息，限制了预测精度的提高。

注意力机制是一种能够较好地选择网络中关键信息的方法。近年来，结合注意力机制的编码器-解码器网络在自然语言处理[12]、语音识别[13]及计算机视觉任务[14]中均得到了广泛地使用。如，CHEN等[15]在图像字幕提取任务中使用CNN和LSTM构建了编码器-解码器网络，并融入了通道和空间注意力机制动态地选择与其相关的源单词或子序列，取得了极大地成功。因此这也为SST预测任务提供了新的思路，如，ZHA等[16]提出了一种结合时间注意力机制的方法用于区域型SST预测，通过获取SST的时间相关性有效提高了预测精度。但该方法仅使用CNN提取局部的空间特征，并未体现出更为重要的空间特征对未来预测SST的影响，因此忽略了关键的空间信息。针对区域SST时间序列的时空特性，本文构建了一种基于CNN和ConvLSTM的编码器-解码器结构，引入了时间注意力模块和空间注意力模块自适应地提取SST在时间和空间上的相关性。然而，单纯地叠加时间注意力模块和空间注意力模块容易导致明显的性能下降，这是因为重复地将从0到1的注意力权重与特征加权降低了深层特征值[17]。WANG等[18]在图像分类任务中提出了一种残差注意力网络，该网络能够堆叠多个注意力模块，并且每个模块会随着层次的加深而自适应改变。因此本文将时空注意力模块与残差结构相结合，在编解码网络结构中叠加了残差时间注意力模块和残差空间注意力模块，充分提取网络中的时间特征和空间特征。

现有的SST预测方法未充分考虑时空特征对SST在时间维度和空间维度上不均衡的影响，导致忽略了关键的信息。为了解决该问题，进一步提高SST的预测精度，本文提出了一种结合时间注意力机制和空间注意力机制的SST预测方法(CRA-ConvLSTM)，该模型是基于CNN和ConvLSTM的编码器-解码器网络，其有2个残差注意力模块，引入注意力模块可以定量地为矩阵序列特征的每个时间步和矩阵内每个元素赋予注意力权重，改善了SST预测方法注意力分散的缺陷。

1 CRA-ConvLSTM模型

CRA-ConvLSTM模型框架如图1所示，包括数据预处理、编码器、残差时间注意力模块、残差空间注意力模块、解码器。和分别代表矩阵的宽度和高度。该方法的实现步骤如下：

步骤1. 首先经过数据预处理步骤，获取SST矩阵序列，然后通过卷积层将SST矩阵序列编码为多层特征向量，提取局部特征。

步骤2. 将获得的特征向量作为残差时间注意力模块的输入，利用时间注意力机制获得注意力权重向量，与每个特征向量对应相乘得到加权特征，然后将加权特征与输入的多层特征矩阵按照元素相加得到残差特征。

步骤3. 将获取的残差特征作为残差空间注意力模块的输入，进一步提取SST的空间特征，利用空间注意力机制训练一个注意力权重矩阵，与多层残差特征向量依次相乘得到加权特征，然后将加权特征与输入的残差特征按照元素相加得到最终的残差加权特征。

步骤4. 将残差时空注意力模块输出的多层加权特征作为解码器ConvLSTM的输入，建立时序依赖关系并将其映射为最终的SST预测结果，即未来1天或5天的SST。

图1 CRA-ConvLSTM模型流程图

1.1 编解码器网络

编码器-解码器网络在计算机视觉等领域已被广泛使用，其核心思想是将输入图像编码为多层特征图，并使用解码器生成结果单词。本文构建了一种新的编码器-解码器网络用于SST预测，利用卷积层将序列编码为多层特征，ConvLSTM层解码特征获取SST预测结果。

具体来说，卷积层将大小为×的矩阵编码为对应的特征向量，其中卷积核大小设置3×3，步长设置1×1。这里卷积编码的过程实质上是提取矩阵序列局部特征的过程，卷积核按照1×1的步长进行滑动，每个3×3感受野对应激活计算为一个特征值，因此整个过程卷积核将经过ʹ×ʹ次移动，其值大小等于(-2)×(-2)，获取大小为ʹ×ʹ的特征向量。利用卷积层作为编码器提取局部特征，不仅保存了SST原始的空间分布，还有利于后续残差时空注意力模块更好地提取网络中重要的时空特征。

LSTM是一种适用于时间序列数据建模的循环神经网络，能够有效地捕捉序列的长期依赖，但在提取矩阵序列中的空间信息方面具有较大的局限性。而ConvLSTM是一种结合了CNN强大的局部特征提取能力及LSTM的时序建模能力的模型，较好地解决了LSTM对于时空序列建模的缺陷，因此本文将ConvLSTM作为解码器，加权特征作为输入，SST预测结果作为输出。其计算式为

其中，为时间注意力函数；为空间注意力函数；ÎR为时间注意力权重向量；为空间注意力权重矩阵。

1.2 残差时间注意力模块

研究者利用通道注意力机制提取图像的局部特征，通过卷积层获取多层特征图，每个通道由对应的卷积过滤器响应激活。受其启发，将卷积层编码的多层特征向量作为每个时间步的输入，构建残差时间注意力模块用于提取SST的时间相关性。即时间注意力机制为每层特征赋予对应的注意力权值，使得网络更关注与当前目标SST更相关的特征向量，进而更好地获取时间序列的长期依赖性。SST预测模型本质是利用了历史天的SST对未来1天或5天的SST进行预测，因此对每个多层特征应用时间注意力机制可以看作学习SST之间的时间相关性。

其中，时间注意力权重的范围为[0,1]，因此越接近0，(,)将越接近原始特征，将该结构称为残差时间注意力模块。

1.3 残差空间注意力模块

考虑到相邻区域SST可能具有更密切的联系，使用SST矩阵序列进行预测时可能会因不相关区域的存在而导致次优的结果，因此模型在残差时间注意力模块之后，叠加了残差空间注意力模块进一步提取SST的空间相关性，使得模型能够更关注与目标SST最相关的区域，而不是对整个区域。

首先将残差时间注意力模块获得的残差特征向量拉伸重塑为新的特征向量=(1,2,···,-1,)，ÎR，=ʹ×ʹ，然后利用全连接层和softmax函数来获得空间注意力权重

其中，为输出的加权特征，可将该结构称为残差空间注意力模块。

综上，多层特征向量经过时间注意力函数和空间注意力函数获取了时间注意力权重和空间注意力权重，通过和与特征向量的线性组合，最终获取残差加权特征。模型中残差注意力模块的计算过程为

其中，(·)为对特征矩阵进行时间和空间注意力加权的函数。

2 实 验

2.1 实验环境与数据

实验采用了自然资源部第二海洋研究所提供的遥感反演数据集，空间分辨率为10 km，采集区域主要分布于30N和130E附近，时间周期为2004/01－2016/12，时间分辨率为天。为了确保模型预测的精确度和有效性，首先对数据进行了预处理，若所使用的SST数据缺少度量值时，其可被缺省值(MISSING_VAL=-999)所代替，而相对于没有度量的记录，可能为NAN，因此需将每个2×2矩阵的有效值的平均值来替换矩阵范围的缺失值，边缘数值仅取其临近有效值的均值来替换缺失值。为了方便模型的训练，将80×40的SST数据截取为30×30，将其作为模型的输入。为了进行模型的训练及效果的验证，实验采用75%的SST数据作为训练数据，剩余25%数据用于测试。在搭建模型时，基于Keras Theano深度学习框架，使用Adam优化器，学习率设置为0.001，epochs设置为200。在训练模型时，利用EarlyStopping的早停机制，避免了模型迭代次数过多而出现过拟合的问题；此外，使用了ReduceLROnPlateau回调函数，避免模型过早地停止训练，而是通过动态减小学习率，保证网络充分收敛，进而获得最优的模型及参数。

2.2 实验评价指标

本文使用预测精度(prediction accuracy，PACC)和均方根误差(root mean square error，RMSE)来描述不同预测方法的性能，即

其中，y,i为矩阵中第个位置的SST真实值；y,i为预测值；为矩阵宽度和高度的乘积值。模型在预测时，首先需要确定结构和参数，然后通过比较模型的RMSE和PACC结果，说明不同方法的性能及预测效果。RMSE值越小且PACC值越大时，模型的性能越好。

2.3 时间窗口的影响

不同的时间窗口大小会影响SST的预测效果，因此实验设定不同的值分别预测了未来1天和5天的SST，通过比较模型测试集获得的RMSE和PACC指标，确定最佳的值，以保证后续实验的准确性。这里分别设置Î{3,7,15}和Î{10,15,25}来预测1天和5天的SST。

表1显示了不同值下CRA-ConvLSTM模型测试的结果。实验结果表明，=7时PACC为99.43%，RMSE为0.19，其在预测1天的效果均优于=3和=15时的效果。而在预测5天时，=15时取得了最佳的效果，PACC为98.93%，RMSE为0.39。上述结果证明了时间窗口的大小对模型的预测结果会产生不同的影响，因此在后续实验中均分别采用=7和=15预测1天和5天的SST，以保证模型预测结果的真实性。

表1 不同T值下CRA-ConvLSTM预测1天和5天SST的性能对比

注：加粗数据为最优值

2.4 编码器-解码器网络的影响

编码器-解码器结构作为一种模型框架，在计算机视觉等领域已被广泛使用，并衍生出了很多不同的网络结构。本文构建了一种新的编解码器结构(CNN-ConvLSTM)，因此为了验证该结构对SST模型预测性能的影响，实验还分析了CNN层对模型预测结果的影响。设置相同的数据集和模型参数，分别对比了RA-ConvLSTM和CRA-ConvLSTM预测不同天数时的PACC及RMSE指标，2种方法均使用ConvLSTM获取最终的SST结果，其中RA-ConvLSTM未使用卷积层，CRA-ConvLSTM使用卷积层首先对序列进行了初步的特征提取。

表2中，CRA-ConvLSTM 1～5天的预测精度分别获得了99.43%，99.32%，99.19%，99.09%和98.93%，而RA-ConvLSTM获取的PACC值均低于CRA-ConvLSTM，而随着预测天数的增加，预测精度逐渐下降，这是由于随着序列长度的增加预测性能会逐渐下降。对于RMSE指标，CRA-ConvLSTM 1～5天的预测误差指标均低于RA-ConvLSTM，分别为0.19，0.23，0.32，0.34和0.39。经过实验比较PACC及RMSE结果表明，当预测1天SST时，CRA-ConvLSTM模型获得了最佳的预测结果，且随着预测天数的增加，CRA-ConvLSTM也表现出了同样的优势，进一步说明了基于CNN和ConvLSTM编解码器结构有利于SST预测性能的提高，进而确定了本文的编解码器结构。

2.5 注意力模块的影响

注意力机制能够通过权重加权的方式提取网络中的关键特征，而不同的注意力结构可能会对预测效果产生不同的影响，模型中引入了一种残差时空注意力模块，因此为了验证注意力模块的结构对预测性能的影响，实验基于CNN- ConvLSTM，设置相同的模型参数，对比了单注意力模块和叠加时间和空间注意力模块时预测性能的差异，此外还关注了注意力模块中融合残差结构时的不同。其中RT-Attention只包括残差时间注意力模块，RS-Attention只包括残差空间注意力模块，TS-Attention未使用残差结构，仅包括时间注意力机制和空间注意力机制，RTS-Attention是本文提出的注意力结构，叠加了残差时间注意力模块和残差空间注意力模块。

表3显示了4种方法分别预测未来1～5天的SST的评价指标结果。对于PACC指标，使用RTS- Attention的预测精度分别是99.43%，99.32%，99.19%，99.09%和98.93%，均高于使用TS-Attention的预测精度，因此相比于单纯的叠加注意力机制而未考虑残差结构时，叠加残差注意力模块更有优势；对于RMSE指标，结果同样如此，此外RT-Attention和RS-Attention的RMSE指标分别是0.23，0.25，0.30，0.36，0.43和0.24，0.25，0.31，0.37，0.42，其结果差异较小，这表明单注意力模块中使用时间注意力或空间注意力对模型预测性能的提高均有限。总之，同时叠加残差时间和残差空间注意力模块使得模型的性能提高更为显著，进而确定了残差时空注意力模块的结构。

表2 RA-ConvLSTM和CRA-ConvLSTM性能对比

表3 模型使用不同注意力模块的性能对比

2.6 SST预测性能对比

在2.3～2.5节中，已确定了模型的编解码器、残差时空注意力模块和合适的值，确保了消融实验中预测结果的有效性，将提出的CRA-ConvLSTM模型与SVR，LSTM，ConvLSTM，CNN-ConvLSTM和CA-ConvLSTM 5种先进的SST预测方法进行了比较。对于上述方法，均采用相同数据集预测未来1天和5天的SST。其中SVR是时间序列预测任务中常见的机器学习算法，这里分别采用了线性基函数核、多项式基函数核和径向基函数核，并选择最优结果，最终确定了径向基核函数；LSTM是海面温度预测方法中主流的深度学习算法，并使用其进行了SST预测实验。但这2种方法均只能进行单点预测，因此对于区域型SST，实验可根据各个实时记录点分别构建模型进行SST预测；ConvLSTM是一种改进的LSTM，能够综合时间和空间特征，本文基于ConvLSTM构建了模型，因此为了消融实验的对比，使用ConvLSTM进行实验；CNN-ConvLSTM是基于ConvLSTM进一步结合CNN构建的编解码器网络；此外，实验还对比了文献[16]提出的CA-ConvLSTM算法，以进一步验证本文算法的有效性。

表4对比了6种方法预测未来1天和5天的SST时获得的RMSE和PACC指标结果。SVR和LSTM在预测1天时，PACC指标分别为98.96%和98.86%，RMSE指标分别是0.37和0.47；而ConvLSTM与SVR和LSTM相比在预测1天和5天时获得了更好的预测结果，PACC及RMSE指标分别为99.04%，0.36和98.68%，0.47，进一步说明了ConvLSTM在时空序列预测问题中的优越性；而基于CNN和ConvLSTM的编解码器结构相比于ConvLSTM获得了更好的结果，因此验证了模型使用的编解码器结构的有效性。CA-ConvLSTM算法在进行预测1天和5天的SST时PACC，RMSE分别获得了99.33%，0.23和98.78%，0.43。但相比于上述方法，本文算法CRA-ConvLSTM取得了最优的预测效果，其PACC和RMSE预测1天和5天时分别获得了99.43%，0.19和98.93%，0.37，验证了算法的有效性。通过使用残差时间注意力模块和残差空间注意力模块，定量地为每个时刻的特征向量和区域内每个点赋予注意力权重，使得模型动态关注不同时刻的时间特征和区域内不同点的空间特征，赋予不同的影响权重，因此能够较好地反映时空特征在时间维度和空间维度上对未来预测的SST不均衡的影响，从而获得最优的预测效果。

表4 不同预测方法的性能对比

注：加粗数据为最优值

为了更直观地观察SST的预测效果，分别在图2(a)和(b)中展示了在测试数据集上模型在最后一个时刻输出的5天SST预测结果图和对应的海面温度热力图。而热力图的颜色分布随着温度的降低而加深，且热力图的刻度取值范围取决于当前时刻SST值的分布范围，可以观察到实验中SST的真实值和预测值均分布在24.5℃到28℃之间，对比结果显示，使用CRA-ConvLSTM进行预测时，其结果能够较为准确地反映区域内SST的真实值变化。

(b)

3 结 论

本文使用区域型SST时间序列数据，提出了一种结合残差时空注意力机制的SST预测算法(CRA-ConvLSTM)，显著提高了预测精度。为了实现这一目标，本文完成了：①将时间注意力机制和空间注意力机制相结合，使得模型动态关注不同时刻的时间特征和区域内不同点的空间特征，提取了关键的时空特征；②将注意力机制结合残差结构，保留了丰富的特征信息，避免了梯度消失的问题。基于这2种残差注意力模块，CRA- ConvLSTM能够充分考虑时空特征对SST在时间维度和空间维度上不均衡的影响。实验结果表明，CRA-ConvLSTM模型在SST预测方面取得了最佳的性能，验证了本文方法的有效性。

SST的变化不仅具有时间相关性和空间相关性，实际场景中也受其他海洋要素复杂的物理机制影响，如气温、气压、风速等，因而未来可以考虑在模型中嵌入多种海洋要素的统计特征模块，以进一步考虑海洋环境要素带来的影响。

[1] KOLSTAD E W, ÅRTHUN M. Seasonal prediction from Arctic Sea surface temperatures: opportunities and pitfalls [J]. Journal of Climate, 2018, 31(20): 8197-8210.

[2] AHMAD M Z. Regional port state cooperation for the conservation of shared fisheries resources in the contested waters of the south China sea[C]//SOIS Conference on Global Studies 2021. Sintok: UUM Press, 2022: 196-215.

[3] WIEDERMANN M, DONGES J F, HANDORF D, et al. Hierarchical structures in Northern Hemispheric extratropical winter ocean-atmosphere interactions[J]. International Journal of Climatology, 2017, 37(10): 3821-3836.

[4] TAKAKURA T, KAWAMURA R, KAWANO T, et al. An estimation of water origins in the vicinity of a tropical cyclone's center and associated dynamic processes[J]. Climate Dynamics, 2018, 50(1-2): 555-569.

[5] ALIMOHAMMADI M, MALAKOOTI H, RAHBANI M. Sea surface temperature effects on the modelled track and intensity of tropical cyclone gonu[J]. Journal of Operational Oceanography, 2021 (3): 1-17.

[6] NOORI R, ABBASI M R, ADAMOWSKI J F, et al. A simple mathematical model to predict sea surface temperature over the northwest Indian Ocean[J]. Estuarine, Coastal and Shelf Science, 2017, 197: 236-243.

[7] LINS I D, MOURA M, SILVA M, et al. Sea surface temperature prediction via support vector machines combined with particle swarm optimization[C]//The 10th International Probabilistic Safety Assessment & Management Conference. London: Taylor & Francis Group, 2013: 3287-3293.

[8] HOCHREITER S, SCHMISHUBER J, et al. Long short-term memory[J]. Neural Computation, 1997, 9(8): 1735-1780.

[9] ZHANG Q, WANG H, DONG J Y, et al. Prediction of sea surface temperature using long short-term memory[J]. IEEE Geoscience and Remote Sensing Letters, 2017, 14(10): 1745-1749.

[10] YANG Y T, DONG J Y, SUN X, et al. A CFCC-LSTM model for sea surface temperature prediction[J]. IEEE Geoscience and Remote Sensing Letters, 2017, 15(2):207-211.

[11] HOU S, MEMBEW L. D2CL: a dense dilated convolutional LSTM model for sea surface temperature prediction[EB/OL]. [2021-05-12]. https://ieeexplore.ieee.org/document/9618770.

[12] ZHAO Y, KOMACHI M, KAJIWARA T, et al. Region-attentive multimodal neural machine translation[J]. Neurocomputing, 2022, 476: 1-13.

[13] ZHU T, CHENG C L. Joint CTC-attention end-to-end speech recognition with a triangle recurrent neural network encoder[J]. Journal of Shanghai Jiaotong University: Science, 2020, 25(1): 70-75.

[14] QIN Y, SONG D J, CHEN H F, et al. A dual-stage attention-based recurrent neural network for time series prediction[C]//The 26th International Joint Conference on Artificial Intelligence. California: International Joint Conferences on Artificial Intelligence Organization, 2017: 2627-2633.

[15] CHEN L, ZHANG H W, XIAO J, et al. SCA-CNN: spatial and channel-wise attention in convolutional networks for image captioning[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2017: 6298-6306.

[16] ZHA C, HE Q, SONG W, et al. Regional sea surface temperature prediction algorithm combined with attention mechanism[J]. Marine Science Bulletin, 2020, 39(2): 9.

[17] CHO K, VAN MERRIENBOER B, BAHDANAU D, et al. On the properties of neural machine translation: encoder–decoder approaches[C]//Proceedings of SSST-8, Eighth Workshop on Syntax, Semantics and Structure in Statistical Translation. Stroudsburg: Association for Computational Linguistics, 2014: 103-111.

[18] WANG F, JIANG M Q, QIAN C, et al. Residual attention network for image classification[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2017: 6450-6458.

Sea surface temperature prediction algorithm combined with residual spatial-temporal attention mechanism

HE Qi1, LI Wen-long1, SONG Wei1, DU Yan-ling1, HUANG Dong-mei1, GENG Li-jia2

(1. Department of Information Technology, Shanghai Ocean University, Shanghai 201306, China; 2. East China Sea Standard Metrology Center, State Oceanic Administration, Shanghai 201306, China)

Sea surface temperature (SST) is closely related to global climate change, ocean disasters, and ocean ecosystems, so the accurate prediction of SST is an important topic. The existing regional SST prediction methods treat the time series of SST data as a series of matrixes, each corresponding to the regional SST at a particular time. The spatial and temporal features are extracted from the matrix series for later SST prediction. However, the existing SST prediction methods fail to fully consider the imbalanced influence of temporal and spatial features on the SST, leading to the neglection of some key information and limiting the improvement of prediction accuracy. To address this problem, we proposed a regional SST prediction method (CRA-ConvLSTM) combining temporal attention mechanism and spatial attention mechanism. This enabled the model to dynamically assign different influence weights to the temporal features at different times and spatial features at different locations, thereby improving the accuracy of SST prediction. Specifically, the input regional SST time series was first encoded into multi-layer feature vectors by a convolutional neural network (CNN), and local features were extracted. Then, the residual time attention module was constructed to learn the attention weight at different moments adaptively, and the key features of the time dimension were extracted. The residual spatial attention module was designed to extract the key features of different points in the region in terms of the spatial dimension. In addition, the attention mechanism combined with the residual structure can avoid performance degradation caused by information reduction in the network. Experimental results show that the proposed model could achieve 0.19 and 99.43% respectively in terms of the root mean square error (RMSE) and prediction accuracy (PACC), which is superior to other methods and effectively improves the prediction accuracy of SST.

time series; sea surface temperature prediction; spatial-temporal feature; attention mechanism; residual structure

25 November，2021；

National Natural Science Foundation of China (61972240); Youth Project of National Natural Science Foundation of China (41906179); Capacity Building Project of Some Local Universities of Shanghai Science and Technology Commission (20050501900)

HE Qi (1979-), associate professor, Ph.D. Her main research interests cover ocean big data analysis, big data storage, workflow and business process management, and service computing, etc. E-mail：qihe@shou.edu.cn

TP 391

10.11996/JG.j.2095-302X.2022040677

A

2095-302X(2022)04-0677-08

2021-11-25；

2022-03-15

15 March，2022

国家自然科学基金项目(61972240)；国家自然科学基金青年项目(41906179)；上海市科委部分地方高校能力建设项目(20050501900)

贺 琪(1979-)，女，副教授，博士。主要研究方向为海洋大数据分析、大数据存储、工作流与业务流程管理、服务计算等。E-mail：qihe@shou.edu.cn

耿立佳(1989-)，女，工程师，硕士。主要研究方向为海洋大数据分析、海洋经济监测评估等。E-mail：genglj@ecs.mnr.gov.cn

GENG Li-jia (1989-), engineer, master. His main research interests cover ocean big data analysis, ocean economy monitoring and evaluation, etc. E-mail：genglj@ecs.mnr.gov.cn