基于双极化SAR图像的U-Net海冰多分类模型*

黄 岩 任沂斌

基于双极化SAR图像的U-Net海冰多分类模型*

黄 岩1, 2任沂斌1①

(1. 中国科学院海洋研究所海洋环流与波动重点实验室 山东青岛 266071; 2. 中国科学院大学 北京 100049)

北极多年冰在近几十年有明显的减少趋势, 与北极海冰的厚度、体积和夏季最小海冰范围的减少密切相关。合成孔径雷达(synthetic aperture radar, SAR)具有全天时、全天候成像能力, 基于SAR卫星影像的海冰分类对监测北极多年冰具有重要意义。基于深度学习U-Net模型, 以SAR图像的双极化信息为模型输入, 构建了像素级的海水、一年冰和多年冰多分类模型。与已有SAR图像海冰分类方法(支持向量机、随机森林和卷积神经网络)进行对比, 基于双极化SAR图像的U-Net海冰分类模型的准确率、平均重叠度和Kappa系数, 分别达到了90.73%、0.831和0.849, 优于其他对比模型, 分别提升了4.08%～19.04%, 0.063～0.321和0.111～0.335。此外, 针对SAR图像水平-垂直极化(horizontal-vertical polarization, HV)有明显的条状热噪声和水平-水平极化(horizontal-horizontal polarization, HH)受入射角效应而亮度不均匀的特点, 设计敏感性实验, 研究HV噪声、入射角和灰度共生矩阵(gray level co-occurrence matrix, GLCM)纹理信息对本文U-Net海冰分类模型的影响。结果表明, 传统的机器学习方法对噪声更敏感, 而深度学习模型有一定的抗噪声能力; 使用入射角校正更适合分类一年冰和多年冰; 单一GLCM纹理对U-Net模型的海冰分类效果无明显提高。综上, 基于双极化SAR图像的U-Net能够实现高精度的海水、一年冰和多年冰分类。该模型具有一定的抗噪声能力, 是更具鲁棒性的海冰分类方法。

合成孔径雷达(SAR)图像; 海冰分类; 深度学习; U-Net模型

北极海冰作为地球冰冻圈的重要组成部分, 近几十年受全球气候变化影响, 在范围、年龄和体量上都有明显的减小趋势(Kim,2014; Mori,2019)。海冰根据其发展阶段可以被分为季节性一年冰(first-year ice, FYI)和永久性多年冰(multi-year ice, MYI)。当年冬季新形成的海冰为一年冰; 经历夏季消融后存留的海冰为多年冰。一方面北极多年冰的减少速率快, 其速率近乎为海冰范围减少速率的2倍(Comiso, 2012; Carmack,2015), 对气候变化更敏感; 另一方面, 多年冰的存在时间长, 厚度大, 硬度高, 能极大威胁极区航船的航行安全。多年冰的减少使货船能更容易地出入北极, 有利于北极航道的进一步开发和利用。高效且准确的海冰分类方法既能够监测北极多年冰的变化, 又能为北极航船提供航行指导(Zakhvatkina,2019)。卫星遥感是获取极区数据最便捷的方式, 常用的海冰监测传感器包括: 可见光传感器、高度计、微波散射计和合成孔径雷达(synthetic aperture radar, SAR)。SAR能够获取不受天气和昼夜影响的高分辨率影像, 被广泛应用于海冰分类研究(Fetterer,1997; Soh,1999, 2004; Dabboor,2014)。

波弗特海处在加拿大北极群岛和楚克奇海之间, 是北极中心多年冰的主要输出区域之一(Kwok, 2004)。受到波弗特高压影响, 波弗特海区域存在一个反气旋海冰流, 被称为波弗特环流(Babb,2022)。北极中心的多年冰顺着波弗特环流漂移到纬度更低的波弗特海和楚克奇海区域, 在夏季融化, 造成多年冰的减少(Kwok,2010)。研究表明, 2007年后波弗特海的多年冰相较于之前有显著减少(Moore,2022)。波弗特海也是北极西北航道的重要组成部分, 是船只进出加拿大北极群岛的通道之一。因此, 研究基于SAR图像的波弗特海海冰分类对多年冰监测和航行指导具有重要意义。

现有的海冰分类方法可以分为传统方法和深度学习方法。传统方法如阈值法(Fetterer,1997)、专家系统(Soh,2004)和机器学习方法。机器学习方法包括神经网络, 支持向量机(support vector machine, SVM)和随机森林等。Zakhvatkina等(2013)利用基于神经网络的模型分类SAR影像中的多年冰、一年冰和海水(open water, OW)。张明等(2018)基于哨兵一号(Sentinel-1) SAR影像提取得到灰度共生矩阵(gray level co-occurrence matrix, GLCM)纹理特征, 使用SVM进行海冰分类, 对比了SVM与最大似然法和神经网络的分类结果。Park等(2020)采用公开的冰图代替手动标注作为模型训练的真值, 使用基于随机森林的海冰分类模型。然而, 由于需要手动提取特征和自身建模方式的限制, 在大数据背景下传统方法逐渐不能满足更快速和更准确的海冰分类需求(Reichstein,2019)。深度学习模型有强大的特征提取能力。典型的深度学习模型, 深度卷积神经网络(convolutional neural network, CNN), 已被成功应用于海冰分类, 取得了比传统方法更高的分类精度。崔艳荣等(2020)利用CNN实现了渤海的冰水分类。Boulze等(2020)搭建CNN用于区分Sentinel-1图像中开放水域、新冰、一年冰和多年冰, 证实了CNN的性能优于随机森林。Zhang等(2021)将基于CNN的深度学习模型, MSI-ResNet, 应用于高分三号(GF-3) SAR图像的夏季海冰分类。

尽管CNN在海冰分类上已经取得了一定的成功, 但存在以下几个问题有待解决。首先, CNN不是一个像素级的分类方法, 在输入影像切片的前提下(切片大小远小于影像大小), 只能输出中心像素的分类结果, 限制了分类结果的精度和分辨率。其次, 以Sentinel-1获取的SAR图像为例, 其水平-水平极化(horizontal- horizontal polarization, HH)图像的入射角效应较强, 水平-垂直极化(horizontal-vertical polarization, HV)图像有分布不均匀的热噪声。现有改良方法HH入射角校正(Park,2020; 周雪飞等, 2022)和HV去噪(Park,2019; Sun,2021)在深度学习模型中的效果有待进一步分析。最后, 纹理信息被证实在机器学习海冰分类模型中是有效的(Soh,1999; Liu,2015), 但在深度学习模型中的有效性未被验证。

U-Net是一类出色的像素级分类模型, 在冰水分类(徐欢等, 2021; Ren,2022)和其他海洋分类任务中取得了较高的分类精度(Gao,2022; Stokholm,2022; Zhou,2022)。因此, 本文基于深度学习U-Net模型, 以双极化SAR图像信息为输入, 构建基于双极化SAR图像的像素级海冰多分类模型。对模型分类性能进行评估验证, 并与已有经典海冰分类模型SVM、随机森林和CNN进行对比。进一步, 针对Sentinel-1的HV图像有明显的条状热噪声和HH图像受入射角效应而亮度不均匀的特点, 设计敏感性实验, 研究HV噪声、入射角和GLCM纹理信息对本文U-Net海冰分类模型的影响。文章的第二部分介绍了研究区域, 以及模型训练和测试用到的数据和处理步骤; 第三部分详细介绍了U-Net模型的结构和原理; 第四部分通过对比实验研究了U-Net相对于其他模型的优势, 影像去噪和入射角信息对模型结果的影响, 以及GLCM的有效性; 第五部分为本文结论。

1 研究区域及数据

1.1 研究区域概况

波弗特海是北冰洋的边缘海之一, 位于阿拉斯加北部, 加拿大北极群岛和楚克奇海之间(图1)。近年来, 波弗特海大部分海冰会在夏季消融, 有时甚至会全部消融(Babb,2019), 虽然在冬季海冰仍会覆盖整个波弗特海区域, 但其中大部分多年冰已被季节性的一年冰取代(Galley,2016)。波弗特海冬季的多年冰由夏季未消融化的海冰和波弗特环流输入的多年冰组成, 故波弗特环流是影响冬季内波弗特海多年冰变化的主要因素(Moore,2022)。

1.2 数据获取

研究选取了2019年10月至2020年2月的15景Sentinel-1 SAR图像数据进行海分类研究, 区分影像中的海水、一年冰和多年冰。SAR图像的详细数据如表1所示。Sentinel-1A由欧空局(European Space Agency, ESA)于2014年发射, Sentinel-1B于2016年发射, 双星工作于C波段, 重返周期为12 d。Sentinel-1在波弗特海的工作模式为超宽扫描模式(extra wide swath, EW),获取中分辨率的地距探测影像(ground range detected, GRD)。在该工作模式下获取的SAR影像, 其空间分辨率为40 m×40 m, 幅宽400 km, 极化方式为HH和HV。2019年后, Sentinel-1对波弗特海的观测明显增多, 短时间内对整片海域的全覆盖成为可能。

图1 研究区域地理位置

表1 Sentinel-1 SAR图像的详细信息

Tab.1 Details of Sentinel-1 SAR images

注: “海水/一年冰/多年冰”表示各分类目标在图像中的大致占比

2 研究方法

2.1 基于U-Net的海冰分类模型流程

图2所示为基于U-Net的海冰分类模型的训练和测试流程。原始SAR影像在经过预处理后和切片后, 根据图像集编号分别划分为训练集和测试集。训练集用于U-Net海冰分类模型的训练和验证, 测试集用于评价模型在多种评价指标下的分类能力。

2.2 数据预处理

参照标准的处理流程(Filipponi, 2019), 数据预处理采用SNAP Desktop (sentinel application platform)软件进行了轨道校正、辐射校准、滤波、转dB值、地理编码和GLCM计算。为了减少模型训练和应用时消耗的时间成本, 影像的分辨率被降低为80 m× 80 m。为减轻HH极化图像中的入射角效应和HV极化图像中的噪声, 我们采用了入射角矫正公式(Park,2020)[公式(1)]和Sun等(2021)使用到的去噪方法。优化后的图像如图3d, 3e所示(图3e用陆地掩膜裁去了陆地部分)。通过标注软件LabelMe, 参考过往研究(Zakhvatkina,2013)、美国国家冰雪中心(the United States National Ice Center)发布的冰图和德国不来梅大学发布的多年冰密集度产品(Melsheimer,2019), 人工标注了SAR影像中的海水、一年冰和多年冰(初生冰和新冰被标注为一年冰), 标注示例展示在图3f。最后我们将每张影像裁剪为许多不重叠的256×256像素的切片, 以方便输入U-Net模型。

图2 基于U-Net的海冰分类模型流程图

GLCM最早由Haralic等(1973)提出, 用于提取图像纹理特征, 为图像分类提供更多可参考的信息。GLCM纹理特征的本质是计算图像中某一像素与周围像素间的联系, 该计算受窗口大小、量化级别、位移量和方向4个参数的影响。参考Hall-Beyer (2017), 窗口大小选取为7×7, 量化级别为64, 位移量为2, 取4个方向(0°, 45°, 90°, 和135°)计算后的均值。在GLCM基础上进一步计算出角二阶矩、对比度、相异性、能量、熵、均值、方差、同质性和最大值, 分别计算HH和HV图像的GLCM, 共计得到18种GLCM纹理特征图像。图4展示了由HH图像计算得到9种GLCM特征图像。

图3 Sentinel-1 SAR图像示例(图像集1)

图4 GLCM纹理特征图像示例(图像集1)

2.3 基于U-Net的海冰模型模型结构

如图5所示, U-Net结构包括输入、编码器、解码器和输出4个部分, 与字母“U”形状相似, 有近乎完全对称的编码器和解码器结构。输入包括入射角矫正后的HH极化图像和去噪后的HV极化图像, 图像大小为256×256像素。编码器用提取抽象和缩小的特征图, 不同级的编码模块提取出的特征图大小不同。得到的特征图通过解码器放大到原始大小, 获取与原始分辨率相同的分类结果, 使得U-Net成为像素级分类模型。最后通过输出得到海冰分类结果。下面将具体介绍U-Net模型的编码器、解码器和输出3个部分。

2.3.1 编码器 编码器包括四个基于CNN的编码模块。第一编码模块是步长为2×2, 卷积核为7×7的卷积层。后续三个编码模块相似, 均由一个步长为2×2, 卷积核为3×3的卷积层和三个残差卷积(residual convolutional neural network, ResNet)单元组成。残差卷积单元由堆叠的两个步长为1×1, 卷积核为3×3的卷积层和连接首尾的短路连接组成。批量标准层(batch normalization, BN)和非线性激活函数“ReLU”被应用于每个卷积层后。非线性激活函数用于避免模型训练过程中的梯度消失和梯度爆炸问题。4个编码模块所使用的卷积核数量分别为: 32、64、128和256。最终编码器提取出16×16×256的特征图, 作为解码器的输入。

2.3.2 解码器 4个解码模块用于还原特征图像的大小。第一解码模块是步长为2×2, 卷积核为3×3的反卷积层。其他三个解码模块的结构为两步长为1×1, 卷积核为3×3的残差卷积单元和一个2×2, 卷积核为3×3的反卷积层。这三个解码模块的输入由上一个解码模块的输出和同级编码模块提取的特征图组成。这种融合方式充分利用了编码器提取的特征图, 减少了图像信息的损失。256、128、64和32分别为4个解码模块的卷积核个数。解码器的输出结果为256×256×32的特征图。

图5 基于U-Net的海冰分类模型结构

注: HH表示入射角校正后的HH极化图像; HV表示去噪后的HV极化图像; 模型输入大小为256×256×2, 模型输出的分类结果大小为256×256×3。

2.3.3 输出层 输出层由一个步长为1×1, 卷积核为1×1的卷积层和“Softmax”激活层组, 卷积核数量分别为16和3, 输出256×256×3的分类结果。“Softmax”激活函数[公式(2)]将3个通道的输出值标准化至(0,1)区间。三个通道分别代表海水、一年冰和多年冰, 输出值最大的通道代表分类结果。例如某一像素三个通道的输出值为(0.1, 0.2, 0.7), 则说明该像素的分类结果为多年冰。

3 模型验证

3.1 实验设置

10幅SAR图像被选取为训练和验证数据, 剩余5幅为测试图像。切片后组成的训练集、验证集和测试集的样本数分别为2 067、887和1 487个。U-Net模型的搭建基于Python 3.9, 深度学习库采用Tensorflow-Keras框架。模型在GPU服务器上运行, 配置有NVIDIA TESLA V100 32GB显卡一块。单次训练样本量(batch size)为64, 初始学习率为0.000 1, 损失函数为多分类交叉熵损失函数。在训练中采用“Early stopping”策略来避免模型过拟合, 即当模型在验证集的准确率在10次迭代内均未增长时, 结束训练过程。

3.2 评价指标

准确率表示所有被分类正确的像素数量在总像素中的占比, 其计算公式为

mIoU描述预测的海冰类型与真实海冰类型的重叠比例, 重叠比例越大代表预测的偏差越小。mIoU的计算公式为

Kappa系数是评价多分类模型时常用指标, 能减弱样本不均衡对精度评价的影响。其计算公式为

3.3 多模型对比实验

研究设计了多模型对比实验以说明U-Net模型在海冰分类的有效性。将U-Net对比其他三种常用的分类模型: SVM (Liu,2015)、随机森林(Park,2020)和CNN (Boulze,2020) (CNN模型的输入大小为50×50像素)。并比较了HV极化图像去噪在不同分类模型中的提升效果。由于训练时间的限制, SVM的训练集缩减为60万个像素样本, 测试集不变。其他模型所使用的训练集和测试集与U-Net一致。

实验结果如表2所示。U-Net海冰分类模型的Acc、mIoU、Kappa分别为90.73%、0.831、0.849, 对比SVM、随机森林和CNN模型有明显优势。U-Net和CNN在3种精度指标上均高于SVM和随机森林, 深度学习模型的分类性能更好。对比同一模型使用HV去噪前后的分类结果, 去噪对CNN和U-Net模型分类结果的影响不明显, Acc的提升小于1%, mIoU和Kappa的提升小于0.02; SVM和随机森林更依赖去噪, 两者在Acc的提升分别为3.71%和2.79%, 随机森林在mIoU和Kappa上的提升大于0.1。因此, 深度学习模型(U-Net和CNN)相对于传统机器学习模型更加鲁棒, HV去噪对其精度提升的有效性较低, 模型自身具有一定的抗噪能力。其原因是深度学习模型依托多层卷积神经网络从原始数据中自动学习有效特征, 弱化了噪声等无效特征对分类结果的影响。此外, 表2给出了不同模型分类海水、一年冰和多年冰的准确率, 相较于其他模型, U-Net对一年冰和多年冰的分类能力更强。

表2 不同模型的分类结果评价

Tab.2 Accuracy evaluation of different models

注: Acc表示准确率, mIoU表示平均重叠度, Kappa表示Kappa系数; √表示使用该数据处理方法, ×表示不使用; 同类指标的最大值用加粗突出表示

为进一步验证U-Net模型的优势和HV去噪的影响, 我们选取了部分测试集中的SAR图像切片以及对应的模型分类结果展示在图6。图6a为原始HV图像, 可以观察到明显的条带形热噪声。图6b为标注的真值图像。图6c～6j为不同模型使用HV去噪的分类结果。对比图6c, 6e与图6d, 6f, 未去噪的SVM和随机森林模型更容易发生海水和一年冰以及一年冰和多年冰的误分, 类似误分在受噪声影响的海水区域会更加严重(图6第1, 2行)。HV去噪对深度学习模型的提升不明显(图6g～6j), CNN结果的分辨率低于U-Net。对比图6第4行中的图像, U-Net对破碎多年冰的分类能力更强。综上, 本文提出的U-Net海冰分类模型较现有的SVM、随机森林和CNN模型有更高的分类精度, 在Acc、mIoU和Kappa的提升分别为4.08%～19.04%, 0.063～0.321和0.111～0.335, 并具有一定抗噪能力。

3.4 入射角对分类结果影响分析

现有研究指出, 海水、一年冰和多年冰在SAR的HH极化图像中入射角效应的影响程度不同(Mäkynen,2017; Aldenhoff,2020), 利用单一斜率进行入射角校正是综合考虑后的选择。将入射角信息作为模型的额外输入, 通过U-Net模型自身的非线性学习能力来利用入射角信息, 是另一种入射角信息使用方式。我们对比了3种U-Net: (1) 不使用入射角信息的U-NetNIA; (2) 将入射角作为额外输入的U-NetIIA; (3) 使用入射角矫正HH的U-Net的海冰分类能力[校正方法见公式(1)], 对比结果如表3所示。

图6 不同模型在HV去噪前后在测试集的海冰分类结果

由表3可知, 使用入射角矫正的U-Net在一年冰准确率、多年冰准确率、Acc、mIoU和Kappa五项指标上取得了最高的分数, 在海水准确率低于U-NetIIA。这是因为SAR影像中的海水受入射角影像的程度更大, 需要比0.200 dB/(°)更大的斜率才能进一步校正海水(Mäkynen,2017)。且由于波弗特海在冬季大部分时间会被海冰完全覆盖, 所以有利于分类一年冰和多年冰的入射角校正是更合适的选择。图7展示了不同模型在同一幅测试图像(图像集15)中的分类结果。为了清晰展现入射角对分类结果的影响, 放大了图7a中红色方框内的影像, 对比三个模型的分类结果(图7c～7e)。图7b为该区域的入射角影像, 从右到左入射角逐渐增大。对比图7c～7f可以发现: 图像右侧入射角较小的区域, 三种U-Net的分类结果与真值非常相近; 在图像左侧, 入射角逐渐增大, U-NetNIA和U-NetIIA更容易将多年冰分类为一年冰, 合理利用入射角能减少入射角效应引起的误分。

3.5 纹理信息对分类结果影响分析

为验证深度学习模型下SAR图像纹理信息对海冰分类的作用, 我们将提取的9种GLCM纹理图像(见2.2节)分别与极化图像(HH+HV)合并构建多通道模型输入, 训练并测试U-Net模型, 其他设置保持不变。测试结果的总体精度如图8a所示, 在加入任一种GLCM纹理图后, 模型在测试数据上的评价指标Acc, mIoU和Kappa均低于不加入GLCM的模型(HH+HV)。3种指标在合并不同的GLCM时表现出相同的波动趋势, Acc的波动幅度较小。图8b给出了海水、一年冰和多年冰的准确率变化, 在添加除均值以外的GLCM纹理图像后, 模型对海水的分类能力均有提升, 但降低了一年冰和多年冰的准确率, 使总体的分类精度下降。因此, 在多通道输入模式下, 单一GLCM纹理信息能提高基于双极化信息U-Net海冰分类模型的海水分类能力, 但对模型总体精度的提升帮助有限。

表3 不同入射角使用方式的精度评价结果

Tab.3 Accuracy evaluation of different incident angles using methods

注: Acc表示准确率, mIoU表示平均重叠度, Kappa表示Kappa系数; 同类指标的最大值利用加粗突出表示

图7 不同入射角使用方式的海冰分类结果对比

注: U-NetNIA: 模型输入为HH+HV, 不使用入射角; U-NetIIA: 模型输入为HH+HV+入射角; U-Net: 模型输入为入射角校正HH+HV

注: HH: 水平-水平极化; HV: 水平-垂直极化; ASM: 角二阶矩; CON: 对比度; DIS: 相异性; ENE: 能量; ENT: 熵; MEA: 均值; VAR: 方差; HOM: 均质性; MAX: 最大值

造成上述结果的原因, 一方面是因为SAR极化图像包含的海冰类型特征的差异性较单一GLCM纹理图像中的强, 在多通道输入模式下, 模型更侧重于SAR极化图像中海冰类型特征的学习。另一方面是因为GLCM纹理图像对海水的区分度较高, 对一年冰和多年冰的区分度较弱。图8b中能量和均质性加入后对海水的分类精度提升最明显, 因此, 我们选取这两个GLCM特征为代表, 绘制了能量和均质性在海水、一年冰和多年冰三种类型下的概率密度分布图, 如图9所示。图中一年冰和多年冰的概率密度曲线更接近, 而海水的概率密度曲线与前两者有较大差异, 这说明在能量和均质性中海水与海冰的区分度比一年冰和多年冰的区分度更高。因此, 模型在增加GLCM输入后对海水的分类精度提升显著, 对一年冰和多年冰的分类精度没有提升。

4 结论

本文选取了15幅波弗特海区域Sentinel-1 SAR影像, 构建了基于双极化信息的U-Net海冰分类模型, 实现SAR图像中海水、一年冰和多年冰的像素级分类, 取得了较高的分类精度和高分辨率的分类结果。为验证U-Net的优势, 并研究HV噪声、入射角和GLCM对本文U-Net海冰分类模型的影响, 我们设计3个实验: ①HV去噪对不同模型分类结果影响对比实验; ②入射角信息的不同使用方式对U-Net模型分类结果影响敏感性实验; ③GLCM纹理信息对U-Net模型分类结果影响敏感性实验。通过实验结果得到结论如下:

注: 概率密度曲线由训练数据计算获得; 能量和均质性为HH极化图像计算得到的GLCM纹理图像

(1) 深度学习模型的海冰分类能力优于传统的机器学习模型, 并且U-Net模型将Acc/mIoU/Kappa提升至90.73%/0.831/0.849, 较SVM、随机森林和CNN模型在Acc、mIoU和Kappa的提升分别为4.08%～19.04%, 0.063～0.321和0.111～0.335。

(2) 相较于传统的机器学习模型, 深度学习模型在HV去噪后的分类结果与去噪前相差较小, 具有一定抗噪声能力。

(3) 对于U-Net海冰分类模型, 使用入射角作为模型额外输入对分类结果有提升, 单一斜率校正HH图像更适用于分类SAR影像中的一年冰和多年冰。

(4) 在多通道输入模式下, 在双极化信息基础上加入单一GLCM纹理特征, 能提升模型对海水的分类能力, 但对一年冰和多年冰分类精度的提升不明显。

综上, 基于双极化SAR图像的U-Net模型可实现一年冰、多年冰和海水分类。未来, 将测试多种GLCM纹理特征集成输入对SAR海冰多分类的影响。同时, 选取覆盖北极其他区域的测试数据, 验证本文模型对不同区域海冰分类的适用性。

致谢 感谢欧空局提供的Sentinel-1数据和SNAP Desktop软件; 感谢阿拉斯加卫星设备(Alaska Satellite Facility, ASF)提供的Sentinel-1数据下载(网址: https://search.asf.alaska.edu/#/); 感谢美国国家冰雪中心提供的冰图数据; 感谢LabelMe数据标注软件。感谢李晓峰老师的指导和建议。

张明, 吕晓琪, 张晓峰, 等, 2018. 结合纹理特征的SVM海冰分类方法研究[J]. 海洋学报, 40(11): 149-156.

周雪飞, 徐嘉, 张绪冰, 2022. 基于Sentinel-1卫星数据的北极西北航道通航适宜性分析[J]. 冰川冻土, 44(1): 117-132.

徐欢, 任沂斌, 2021. 基于混合损失U-Net的SAR图像渤海海冰检测研究[J]. 海洋学报, 43(6): 157-170.

崔艳荣, 邹斌, 韩震, 等, 2020. 卷积神经网络在卫星遥感海冰图像分类中的应用探究——以渤海海冰为例[J]. 海洋学报, 42(9): 100-109.

ALDENHOFF W, ERIKSSON L E B, YE Y F,,2020. First-year and multiyear sea ice incidence angle normalization of dual-polarized Sentinel-1 SAR images in the Beaufort Sea [J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 13: 1540-1550.

BABB D G, GALLEY R J, HOWELL S E L,,2022. Increasing multiyear sea ice loss in the Beaufort Sea: a new export pathway for the diminishing multiyear ice cover of the Arctic Ocean [J]. Geophysical Research Letters, 49(9): e2021GL097595.

BABB D G, LANDY J C, BARBER D G,,2019. Winter sea ice export from the Beaufort Sea as a preconditioning mechanism for enhanced summer melt: a case study of 2016 [J]. Journal of Geophysical Research: Oceans, 124(9): 6575-6600.

BOULZE H, KOROSOV A, BRAJARD J, 2020. Classification of sea ice types in Sentinel-1 SAR data using convolutional neural networks [J]. Remote Sensing, 12(13): 2165.

CARMACK E, POLYAKOV I, PADMAN L,,2015. Toward quantifying the increasing role of oceanic heat in sea ice loss in the new Arctic [J]. Bulletin of the American Meteorological Society, 96(12): 2079-2105.

COMISO J C, 2012. Large decadal decline of the Arctic multiyear ice cover [J]. Journal of Climate, 25(4): 1176-1193.

DABBOOR M, GELDSETZER T, 2014. Towards sea ice classification using simulated RADARSAT Constellation Mission compact polarimetric SAR imagery [J]. Remote Sensing of Environment, 140: 189-195.

FETTERER F, BERTOIA C, YE J P, 1997. Multi-year ice concentration from RADARSAT [C] // Proceedings of 1997 IEEE International Geoscience and Remote Sensing Symposium Proceedings. Remote Sensing - A Scientific Vision for Sustainable Development. Singapore, Singapore: IEEE: 402-404.

FILIPPONI F, 2019. Sentinel-1 GRD preprocessing workflow [J]. Proceedings, 18(1): 11.

GALLEY R J, BABB D, OGI M,,2016. Replacement of multiyear sea ice and changes in the open water season duration in the Beaufort Sea since 2004 [J]. Journal of Geophysical Research: Oceans, 121(3): 1806-1823.

GAO L, LI X F, KONG F Z,,2022. AlgaeNet: a deep-learning framework to detect floating green algae from optical and SAR imagery [J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 15: 2782-2796.

HALL-BEYER M, 2017. Practical guidelines for choosing GLCM textures to use in landscape classification tasks over a range of moderate spatial scales [J]. International Journal of Remote Sensing, 38(5): 1312-1338.

HARALICK R M, SHANMUGAM K, DINSTEIN I H, 1973. Textural features for image classification [J]. IEEE Transactions on Systems, Man, and Cybernetics, SMC-3(6): 610-621.

KIM B M, SON S W, MIN S K,,2014. Weakening of the stratospheric polar vortex by Arctic sea-ice loss [J]. Nature Communications, 5(1): 4646.

KWOK R, 2004. Annual cycles of multiyear sea ice coverage of the Arctic Ocean: 1999–2003 [J]. Journal of Geophysical Research: Oceans, 109(C11): C11004.

KWOK R, CUNNINGHAM G F, 2010. Contribution of melt in the Beaufort Sea to the decline in Arctic multiyear sea ice coverage: 1993–2009 [J]. Geophysical Research Letters, 37(20): L20501.

LIU H Y, GUO H D, ZHANG L, 2015. SVM-based sea ice classification using textural features and concentration from RADARSAT-2 dual-pol ScanSAR data [J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 8(4): 1601-1613.

MÄKYNEN M, KARVONEN J, 2017. Incidence angle dependence of first-year sea ice backscattering coefficient in Sentinel-1 SAR imagery over the Kara Sea [J]. IEEE Transactions on Geoscience and Remote Sensing, 55(11): 6170-6181.

MELSHEIMER C, SPREEN G, YE Y,,2019. Multiyear ice concentration, Antarctic, 12.5 km grid, cold seasons 2013-2018 (from satellite) [DB]. PANGAEA. https://doi. org/10.1594/PANGAEA.909054.

MOORE G W K, STEELE M, SCHWEIGER A J,,2022. Thick and old sea ice in the Beaufort Sea during summer 2020/21 was associated with enhanced transport [J]. Communications Earth & Environment, 3(1): 198.

MORI M, KOSAKA Y, WATANABE M,,2019. A reconciled estimate of the influence of Arctic sea-ice loss on recent Eurasian cooling [J]. Nature Climate Change, 9(2): 123-129.

PARK J W, KOROSOV A A, BABIKER M,,2020. Classification of sea ice types in Sentinel-1 synthetic aperture radar images [J]. The Cryosphere, 14(8): 2629-2645.

PARK J W, WON J S, KOROSOV A A,,2019. Textural noise correction for Sentinel-1 TOPSAR cross-polarization channel images [J]. IEEE Transactions on Geoscience and Remote Sensing, 57(6): 4040-4049.

REICHSTEIN M, CAMPS-VALLS G, STEVENS B,,2019. Deep learning and process understanding for data-driven earth system science [J]. Nature, 566(7743): 195-204.

REN Y B, LI X F, YANG X F,,2022. Development of a dual-attention U-net model for sea ice and open water classification on SAR images [J]. IEEE Geoscience and Remote Sensing Letters, 19: 4010205.

SOH L K, TSATSOULIS C, 1999. Texture analysis of SAR sea ice imagery using gray level co-occurrence matrices [J]. IEEE Transactions on Geoscience and Remote Sensing, 37(2): 780-795.

SOH L K, TSATSOULIS C, GINERIS D,,2004. ARKTOS: an intelligent system for SAR sea ice image classification [J]. IEEE Transactions on Geoscience and Remote Sensing, 42(1): 229-248.

STOKHOLM A, WULF T, KUCIK A,,2022. AI4SeaIce: toward solving ambiguous SAR textures in convolutional neural networks for automatic sea ice concentration charting [J]. IEEE Transactions on Geoscience and Remote Sensing, 60: 4304013.

SUN Y, LI X M, 2021. Denoising Sentinel-1 extra-wide mode cross-polarization images over sea ice [J]. IEEE Transactions on Geoscience and Remote Sensing, 59(3): 2116-2131.

ZAKHVATKINA N Y, ALEXANDROV V Y, JOHANNESSEN O M,,2013. Classification of sea ice types in ENVISAT synthetic aperture radar images [J]. IEEE Transactions on Geoscience and Remote Sensing, 51(5): 2587-2600.

ZAKHVATKINA N, SMIRNOV V, BYCHKOVA I, 2019. Satellite SAR data-based sea ice classification: an overview [J]. Geosciences, 9(4): 152.

ZHANG T Y, YANG Y, SHOKR M,,2021. Deep learning based sea ice classification with Gaofen-3 fully polarimetric SAR data [J]. Remote Sensing, 13(8): 1452.

ZHOU Y, CHEN K R, LI X F, 2022. Dual-branch neural network for sea fog detection in geostationary ocean color imager [J]. IEEE Transactions on Geoscience and Remote Sensing, 60: 4208617.

A U-Net sea ice classification model based on dual-polarized SAR images

HUANG Yan1, 2, REN Yi-Bin1

(1. CAS Key Laboratory of Ocean Circulation and Waves, Institute of Oceanology, Qingdao 266071, China; 2. University of Chinese Academy of Sciences, Beijing 100049, China)

The Arctic multi-year ice has shown a significant decreasing trend in recent decades, which is closely related to the decreases in thickness, volume, and minimum summer extent of the Arctic sea ice. Synthetic aperture radar (SAR) has imaging capability in nighttime and cloudy conditions, and sea ice classification based on SAR images shows high significance for monitoring Arctic multi-year ice. A sea ice classification model was constructed based on deep learning U-Net model for open water, first-year ice, and multi-year ice at pixel level with dual-polarization SAR images. In comparison with existing SAR image sea ice classification methods (support vector machines, random forests, and convolutional neural networks), the accuracy, mean intersection over union, and Kappa coefficient of the U-Net sea ice classification model based on dual-polarized SAR images achieved 90.73%, 0.831, and 0.849, respectively, better than the other comparison models’, being improved by 4.08%～19.04%, 0.063～0.321, and 0.111～0.335, respectively. In addition, the horizontal-vertical polarization (HV) images of Sentinel-1 SAR images have obvious thermal noise, and the horizontal-horizontal polarization (HH) images have non-uniform brightness due to the incidence angle effect. Sensitivity experiments were designed to investigate the effects of HV noise, incidence angle, and grey-level co-occurrence matrix (GLCM) textures on the U-Net model. Results show that traditional machine learning methods are more sensitive to noise, while deep learning models have some resistance; using incidence angle correction is more suitable for classifying first-year ice and multi-year ice; and a single GLCM texture shows less obvious improvement of the U-Net model. Therefore, the U-Net based on dual-polarized SAR images could achieve high accuracy for open water, first-year ice, and multi-year ice classification, which is noise tolerable and a more robust sea ice classification method.

synthetic aperture radar (SAR) images; sea ice classification; deep learning; U-Net

* 崂山实验室科技创新项目, LSKJ202202302号; 国家自然科学基金青年项目, 42206202号; 国家自然科学基金-山东省联合基金, U2006211号。黄 岩, 硕士研究生, E-mail: huangyan01@aircas.ac.cn

任沂斌, 副研究员, E-mail: yibinren@qdio.ac.cn

2023-03-17,

2023-05-09

TP751

10.11693/hyhz20230300063