融合多尺度旋转锚机制的海洋中尺度涡自动检测

杜艳玲，刘倩倩，王丽丽，徐鑫，魏泉苗，宋巍*

1.上海海洋大学信息学院，上海 201306；2.自然资源部东海局，上海 200136

0 引 言

中尺度涡广泛存在于大洋与边缘海中，具有大空间尺度、非规则3维立体结构以及水平与垂直快速运动等特点，在全球海洋物质、能量、热量和淡水的输运和分配中起着不可忽视的作用(Chen等，2011；Faghmous等，2015；李立，2002；黄冬梅 等，2019)。对中尺度涡生成、成长和消亡过程认知不足是限制其与海洋现象间多尺度响应机制和反馈作用研究进展的关键问题。中尺度涡的自动检测是研究其时空分布、动态变化特征，分析其对海洋生态环境变化、生物资源分布影响的重要基础(Zhang等，2014)。现有海洋中尺度涡自动检测方法大致分为4类，即基于物理参数检测、基于流场几何特征检测、基于混合方法检测和基于神经网络检测。其中，应用最广泛的Okubo-Weiss(OW)(kubo，1970；Weiss，1991)方法是经典的基于物理参数中尺度涡检测方法。该方法通过剪切形变率、拉伸形变率以及相对涡度计算OW系数，并通过阈值设定进行中尺度涡的检测，在地中海海域、秘鲁海域、阿拉斯加海域以及全球涡旋检测上得到了很好的应用(Isern-Fontanet等，2003；Henson和Thomas，2008；Penven等，2005；Chelton等，2007)，但需要人为干预设置合适的阈值，存在显著的任务特异性和泛化能力差的限制。流场几何特征方法基于速度矢量的方向和大小确定中尺度涡。Sadarjoen和Post(2000)首次提出缠绕角法(winding-angle，WA)，通过闭合曲线检测中尺度涡。在此基础上，Nencioli等人(2010)基于中尺度涡速度场派生出了4个约束条件来确定中心，可以很好地应用于高分辨率数值模式和高频雷达观测到的流场数据，但需要选择恰当的约束条件，对中尺度涡的空间尺度具有较强敏感性，同时对于小尺度涡旋的检测精度较低。有学者尝试将物理参数和几何特征结合应用于海洋中尺度涡检测，McWilliam(1984)提出一种基于相对涡度和流场几何特征的检测方法，认为相对涡度的局部极值为涡旋中心，从中心极值向外搜索涡旋边界。Yi等人(2014)将基于物理参数的OW方法与海表面高度异常(sea surface height anomaly，SSHA)结合在一起，提出一种混合式的涡旋自动检测算法(hybrid detection，HD)，提高了涡旋检测的准确性，并实现对多核涡构造的提取和处理。随着机器学习理论的不断发展，机器学习在遥感图像上的应用受到越来越多的关注。Peckinpaugh等人(1993)和Franz等人(2018)基于神经网络从图像中分类出涡旋和非涡旋，在卫星遥感图像上实现了较好的效果，但该方法依赖于人工特征设计和提取，存在显著的主观性。Duo等人(2019)基于一个目标检测网络构建了中尺度涡自动识别和定位模型，实现了海平面异常(sea level anomaly，SLA)数据的中尺度涡自动检测和涡旋中心定位，但该方法使用的水平检测框无法满足中尺度涡非规则结构、多长宽比情况下的检测精度需求，尤其是在中尺度涡密集区域，检测框存在显著的冗余和重叠现象，极大限制了检测精度。

尽管现有研究已取得了较好成效，但中尺度涡在不同海域存在明显差异，人工设计和提取构建的特征无法对其充分表达。同时，不同海域中尺度涡生成海况环境复杂多变，使其在形状、尺度和长宽比上发生剧烈变化导致检测精度低，尤其在中尺度涡分布密集区域，检测框呈现明显的冗余和重叠问题。针对以上不足，本文基于深度学习构建了多尺度旋转锚机制，实现中尺度涡自动旋转检测。该方法基于一阶段目标检测网络RetinaNet作为主干网络实现特征的自动学习和表达；针对中尺度涡非规则结构、多长宽比的特点，特别是广泛存在的涡群区域密集排列导致的检测冗余与重叠问题，设计并实现了多尺度旋转锚生成机制，实现中尺度涡的旋转自动检测，提升了检测精度。同时，本文基于SLA数据构建了中尺度涡训练数据集，并采用2维图像处理技术增强专家标注的小样本数据产生训练集。实验结果表明，本文方法具有较好的检测效果，并且在不同海域的测试结果验证了该方法具有较好的泛化能力。

1 数据和方法

1.1 方法流程设计

本文方法包括3个阶段，即数据预处理、多尺度旋转锚深度网络模型以及中尺度涡信息提取和检测。在数据预处理阶段，预处理遥感卫星高度计数据，采用图像处理技术添加噪声和裁剪处理增强扩充准确的小样本数据，产生训练集；在网络模型阶段，基于RetinaNet主干网络提取中尺度涡特征，同时采用特征金字塔(feature pyramid network，FPN)结构融合中尺度涡的低层与高层特征，引入多尺度、多长宽比以及多旋转角度实现多尺度旋转检测锚的生成，最后集成分类与回归两个子网络实现中尺度涡检测。为了验证方法对中尺度涡自动检测的有效性，采用测试数据集输出目标类别置信分数以及位置信息，并且采用不同海域数据集验证方法的泛化能力。

1.2 样本采集和数据扩充

1.2.1 样本采集

图1 海平面异常轮廓图

(1)

(2)

式中，x表示纬度，y表示经度，speed表示地转流流速，u和v代表地转流速度经向和纬向分量，g代表重力加速度，f是科里奥利参数，ξ代表海平面高度异常场。SLA数据以等高线、矢量线和彩色图可视化，等高线的间距单位为cm，陆地部分在NetCDF文件中SLA值显示为空值，这样可以避免可视化异常和干扰检测。在标注过程中，专家一方面依靠对海洋中尺度涡的理解和认识，另一方面参考每日全球中尺度海洋涡旋卫星高度计数据集(Faghmous等，2015)，使用数据标注平台(Labelme)对可视化的SLA图像进行中尺度涡标注，共标注了108幅SLA数据中的3 800个中尺度涡。其中，专家标注过的图像将以数据交换格式保存，然后再将其转换为模型可以识别的标注文件格式，每幅图像对应一个唯一的标注文件，文件中包含对象的标签和位置信息，以保证对原始图像执行扩充操作的同时，标注数据也进行相同的扩充操作，避免了数据扩充后重新标注的问题。

1.2.2 数据扩充

充分多样的数据集是提升目标检测方法准确性的关键。本文通过裁剪和噪声处理对专家标注的108幅中尺度涡数据进行扩充，加入尺度和信噪比等因素。经加噪和裁剪处理后的图像如图2所示。数据集扩充操作如下：1)将108个SLA原始数据可视化，设置统一图像导出分辨率，归一化SLA轮廓图的大小，以便于后面阶段的图像裁剪操作。2)添加适量噪声能够有效提升深度神经网络的学习能力，避免网络过拟合的出现，小方差的噪声在自然条件下更常见，所以对归一化后的标注SLA数据集添加均值为0、方差为0.005 5的高斯噪声，添加噪声后的可视化图像如图2(a)所示。添加噪声没有改变图像中尺度涡的位置，因此其标注文件不需要进行更改，这一操作完成后数据集扩充到216幅图像。3)图像裁剪可以增加图像的多样性，进而增强模型稳定性，因此将上一阶段获得的图像裁剪成600×600像素的子图像，水平和垂直方向重叠像素为150，裁剪后的图像如图2(b)所示。裁剪图像的同时，对应的标注文件也以完全相同的方式裁剪，这一操作完成后数据集扩充到2 236幅图像。

图2 数据扩充示例

1.3 多尺度旋转锚中尺度涡检测模型

1.3.1 主干网络

本文提出的多尺度旋转锚中尺度涡自动检测模型，采用一阶段目标检测网络RetinaNet(Lin等，2017)作为基础网络，并构建了多尺度、多长宽比和多旋转角度的多尺度旋转锚生成机制，实现中尺度涡自动旋转检测，模型结构如图3所示。该模型主要包括4部分，即初始提取中尺度涡特征的残差网络(ResNet)(He等，2016)、多层级中尺度涡特征融合和细化的特征金字塔(FPN)网络(Lin等，2017)、多尺度旋转锚生成和用于分类和定位的子网络。

在特征提取初始阶段，一般采用深度学习的线性卷积神经网络提取特征，如AlexNet(Krizhevsky等，2017)、GoogLeNet(Szegedy等，2015)和VGGNet(Visual Geometry Group network)(Simonyan和Zisserman，2015)。这些网络往往通过增加网络深度提高特征的表达能力，然而当网络达到一定深度后，训练的准确率会趋于平缓，再增加层数，优化效果反而变差。因此，本文引入ResNet网络作为主干网络来初步提取中尺度涡的特征，通过在网络中引入残差映射和跳跃连接，将上一个残差块的特征信息加入下一个残差块中，有效避免了网络过深引起的梯度消失和特征信息丢失问题。

不同层级特征为精确的目标检测提供更加丰富的信息支撑，针对中尺度涡尺度变化大和其所处海洋环境复杂的特点，通过特征金字塔网络融合中尺度涡低层和高层特征，为目标检测阶段提供丰富的空间位置与高层语义信息。该网络架构由两部分组成：一个自底向上网络(图3(a))、一个自顶向下网络和横向连接，网络框架如图3(b)所示。自底向上前馈网络的C1、C2、C3、C4、C5由ResNet网络中每个残差块(residual block)中的最后一个卷积层的输出构成，由于C1和C2在计算过程中需占用较大内存，所以将该部分剔除，其卷积层对输入图像的像素步长分别为8、16、32。每层网络产生的特征图具有分辨率逐层降低、语义信息逐层增强和位置信息逐层减弱的特点，所以在自顶向下网络中，通过上采样和平级连接产生包含丰富信息的特征P3、P4、P5。例如，为了得到P5，首先用1个1×1的卷积层降低C5的通道，然后添加1个3×3的卷积得到FPN自顶向下部分的第1层网络P5。为了得到P4，在C4上添加一个1×1卷积产生的粗糙特征映射与P5上采样得到的特征图融合，然后添加1个3×3的卷积消除上采样的混叠效应得到P4。同理，P3和P2类似。与FPN不同，这里考虑了P6和P7，P6通过在C5的基础上添加步长为2、3×3的卷积得到，P7在P6的基础上添加ReLU激活和步长为2、3×3的卷积运算获得。

图3 海洋中尺度涡旋转检测网络框架

特征金字塔网络结构可以有效利用单幅图像构建多尺度特征图，使金字塔每一层输出的特征图都具有较强的语义信息，为结构复杂、尺度不一且快速连续变化的海洋中尺度涡目标检测提供了更丰富的空间位置和高层语义特征信息。

1.3.2 多尺度旋转锚生成机制

多尺度旋转锚阶段的输入为特征金字塔网络的输出。旋转区域网络基于区域生成网络和全卷积神经网络构建。首先，在输入的多尺度特征图的每个网格点上生成由尺度、长宽比和角度构成的多尺度旋转锚。接着，将其放入分类和回归两个子网络。分类子网络在每个空间位置上预测存在目标的概率，回归子网络回归边界框与真值框之间的偏移量。最后，进行非极大值抑制操作后向处理操作，得到最终的检测结果。

在本文的多尺度旋转锚生成机制中，使用3个参数控制锚，即尺度、长宽比和角度。为了节省计算成本，且使锚尽可能覆盖海洋中尺度涡目标，将P3、P4、P5、P6、P7这些层中初始锚的基本尺度分别设为32、64、128、256、512，每层特征图中尺度设置为20、21/3、22/3控制锚的大小，长宽比设置为1、1/2、2、1/3、3、1/5、5控制锚的比例，同时设置6个不同角度，即-15°、-30°、-45°、-60°、-75°、-90° 实现锚旋转到不同方向，设计的多尺度旋转锚生成策略可以很好地解决结构复杂、形态不规则结构的中尺度涡水平检测存在的检测框嵌套和重叠问题。这里假定每幅特征图的特征点会生成A个锚，H×W的特征图将会产生A×H×W个锚。

在子网络的预测阶段，传统的水平边界框(虚线框)通常使用(xmin,ymin,xmax,ymax)表示，基于这4个参数做边界框的回归变换得到预测边界框，但不能很好地覆盖不同方向任意形状的中尺度涡目标。因此定义旋转边界框(实线框)尺度、长宽比两个参数和方向共同控制。采用5个变量(x,y,w,h,θ)确定唯一一个任意方向的边界框。如图4所示，x和y分别表示中心点的坐标，旋转角度θ表示水平轴逆时针旋转与遇到矩形第1条边的夹角，这里定义遇到的这一条边是边界框的宽，另一条边是边界框的高，角度的范围是[-90, 0]。

图4 水平边界框和旋转边界框

基于以上5个参数，分类子网络预测每个位置上A个锚中对象属于K个类别的概率，其中K锚的数量为A，类别数为K。回归子网络基于以上定义的5个参数输出每个锚框的位置信息5A，根据锚框与真值框的偏移量做回归变换，使每一个锚框回归到与其交并比(intersection over union，IoU)值最大的真值框。该层预测边界框中目标的位置信息包括边界框的中心点坐标、宽、高和角度，基于获取到的位置信息，可以得到预测框内中尺度涡的中心、尺度和半径，为后续研究中尺度涡奠定了基础。

2 实验和结果分析

实验基于TensorFlow框架构建和训练模型。训练在1台GPU(Tesla P100-PCIE)环境下进行。基于构建的中尺度涡训练集，将图像样本和标注文件输入到模型中进行训练，依据经验和实验结果调整模型超参来检验模型的最佳性能。其中，学习率是深度学习训练过程中的重要超参，决定目标函数能否收敛以及何时收敛到局部最小值；batch_size是每次训练从训练集中选取送入模型的样本数量；epoch表示整个训练集输入到模型中训练的次数；iteration表示迭代次数，每个batch_size的数据完成1次训练为完成1次迭代。实验中，模型学习率初始化设为0.000 5，batch_size初始化为2，weight decay和momentum分别初始化为0.000 1和0.9，iteration的最大值设置为500 000步，每一步将输入的图像在网络中进行一次完整的前馈计算和反向传播，更新一次模型参数，直至网络的回归损失和分类损失变得收敛。

选取2014—2015年的数据对本文模型进行性能评估。同时，将本文方法与水平框目标检测方法在同样的数据集上的性能进行对比。选择目标检测领域中常见的4个评价指标，即精确率(precision)、召回率(recall)、F1值和帧率(frames per second，FPS)衡量方法的性能。精确率P表示真实样本在所有识别的中尺度涡中所占的比例。召回率R表示正确识别的中尺度涡数与专家标注的中尺度涡数之比。F1值表示中尺度涡检测算法的综合评价指标。FPS表示每秒内检测图像的数量，用来衡量速度。具体计算为

(3)

(4)

(5)

式中，TP、TN表示正确判定为正和负的样本数，FP、FN表示错误判定为正和负的样本数。基于以上评价指标，比较了中尺度涡旋转检测与目前流行的水平检测方法，IoU阈值设置为0.4，实验结果如表1所示。可以看出，本文方法有较好的综合性能，尤其与中尺度涡水平框检测方法OEDNet(ocean eddy detection network)(Duo等，2019)相比，本文方法在保证计算速度的同时，检测精度提升了8%。多尺度旋转锚机制的设计引入了一定量的参数，表2是本文方法与传统方法在空间和时间复杂度上的对比。与水平检测方法相比，多尺度旋转锚的引入占用了一些内存并增加了检测时间，但显著提升了性能。表3是模型在不同训练集的性能评估。可以看出，数据集扩充后，训模型能够检测到更多的中尺度涡目标，证明了数据扩充的有效性。

表1 基于深度学习的中尺度涡检测结果比较

表2 算法复杂度对比

表3 不同训练集下模型的性能评估

除上述实验外，基于同样测试集对中尺度涡旋转和水平检测OEDNet的结果可视化，如图5和图6所示。可以看出：1)旋转检测更能准确检测出形状不规则和方向改变的中尺度涡，检测框更贴合涡旋，显著降低了水平检测框的冗余(图5(a)、图6(a))。2)对尺度差异较大、位置相近的中尺度涡，水平检测会出现明显的检测框混叠，而旋转检测有效避免了检测框混叠现象(图5(b)、图6(b))。3)海洋环流和洋流的相互作用伴随着海洋涡旋的分裂和融合，对该过程导致中尺度涡多核结构，旋转检测方法更能精确地检测出多核涡(图5(c)、(图6(c))。

图5 水平检测方法的可视化检测结果

图6 本文旋转检测方法的可视化检测结果

图7 本文旋转检测方法在不同海域的可视化检测结果

表4 不同海域中尺度涡检测结果

3 结 论

本文针对海洋中尺度涡形态不规则、结构复杂多变导致长宽比不确定引起检测困难，以及涡群海域中尺度涡分布密集导致检测区域冗余、重叠和嵌套问题，设计了由多尺度、多长宽比和多旋转角度锚点的多尺度旋转锚生成机制，基于RetinaNet构建多尺度旋转锚的深度网络模型，实现了海洋中尺度涡的中心位置定位和空间尺度检测，为未来涡旋跟踪和轨迹预测奠定了数据基础。在不同海域中尺度涡的实验表明，本文方法均取得了较好的检测效果，具有较好的泛化能力。但中尺度涡检测精度还可以进一步提升，通过可视化比较检测结果与专家标注的中尺度涡，影响检测精度主要有两方面原因。1)中尺度涡形状不规则。目前海洋中尺度涡尚缺乏相对统一共识的定义，较难标注出其精确轮廓；2)该模型设计的多尺度旋转锚生成机制，在实现中尺度涡旋转检测的同时，引入了较大的计算成本，模型计算效能有待进一步提升。未来工作的重点将考虑从提升数据集构建质量和降低模型计算代价角度出发，提升中尺度涡的检测性能。