深度边缘光谱U-Net 海水网箱养殖信息提取

柯丽娜，翟宇宁, ，范剑超*

(1.辽宁师范大学 地理科学学院，辽宁 大连 116029；2.国家海洋环境监测中心 海洋遥感技术室，辽宁 大连 116023)

1 引言

海水养殖是沿海城市的重要经济来源之一，为城市发展带来了巨大的经济效益[1-2]。随着海水养殖业繁荣发展，高密度海水养殖、侵占生态保护区等违规养殖情况也逐年增加。同时，由于部分养殖户、养殖企业使用开放式养殖模式，再加上养殖技术不规范，长此以往将对养殖区域周围环境造成较大压力[3-5]。高效率、高精度的海水养殖监测对促进海水养殖业持续稳定发展与营造健康平衡的海水生态环境具有十分重要的意义。

海水养殖目标分布广泛且分散，传统实地调查方法、监测方法受自然天气、经济成本等因素影响越发无法满足实际监测需求。遥感技术手段凭借其覆盖范围广、影像更新快等优势为海水养殖监测提供了新的途径[6-8]。杨英宝等[9]以航拍影像与TM 影像为数据源，通过目视解译法对东太湖湖泊与网围养殖面积进行提取。Seto 和Fragkias[10]利用目视解译结合QuickBird 遥感影像提取鱼类养殖区信息。该方法可有效提取相对面积较大的遥感对象，但提取精度较低，易受主观因素影响且人工成本较高。为进一步提高养殖提取精度与效率，专家学者们引入Canny 算子[11]、自动阈值分割（Otsu）算法[12]、主成分分析K均值聚类（PCA_Kmeans）算法[13]等传统提取算法概念。传统提取算法在一定范围内的海水养殖目标识别中表现出色。但随着养殖提取区域扩大，环境背景愈加复杂，传统算法的准确率无法满足实际需求，需要结合遥感光谱特征通过目标敏感波段比值计算提取光谱特征进行更深层次的提取研究。卢业伟等[14]以福建省三都澳海域为研究区通过光谱特征指数与Otsu 算法实现了近海养殖区的快速有效提取。Kang 等[15]通过波段比值归一化计算Landsat 数据以提取2000-2018 年辽宁省海水养殖目标。Wang 等[16]基于显著性归一化植被指数（OBVS-NDVI）对福州罗源湾筏式养殖进行识别提取。程博等[17]首先计算显著光谱和灰度共生矩阵纹理特征，再利用阈值法提取筏式养殖与鱼排网箱养殖两种近海养殖类型。指数分析法有利于养殖目标光谱特征提取但存在“同谱异物”问题，同时缺少对光谱差异误差的噪声处理。

近年，深度学习网络，特别是全卷积网络（Fully Convolutional Network,FCN）因其泛化性与鲁棒性优势被应用于养殖提取研究中[18-19]。SegNet[20]与U-Net[21]继承FCN 卷积层代替全连接层思想继续对其网络模型结构进行优化，形成深度学习网络经典模型。郑智腾等[22]基于密集网络模型构架，设计了一种改进型双支网络结构对海水网箱养殖目标进行提取。刘岳明等[23]基于GF-2 卫星影像，建立丰富卷积特征（Richer Convolutional Features,RCF）深度学习模型实现福建省三都澳筏式养殖区的分类提取，实现大范围养殖区的高精度提取。Cui 等[24]通过增加金字塔上采样压缩激励模块（Pyramid Upsampling and Squeeze-Excitation module,PSE）改进U-Net 网络结构，解决遥感影像养殖边缘模糊问题，实现连云港地区筏式养殖提取。Liu 等[25]基于DeepLabv3 网络结构融合多源光谱特征实现长海县筏式养殖目标提取。深度学习网络工作原理是由卷积层学习不同的特征，由池化层将空域形状汇聚到高维特征空间，多层交替的卷积、池化以获取目标深度特征，但此过程中会出现目标细节丢失问题。

本文使用Canny 算子双边滤波算法对波段运算后的光谱信息进行降噪，降低近岸养殖区复杂遥感背景及新型深海网箱内部养殖水体对网箱边缘光谱特征的干扰，提出深度边缘光谱U-Net（Deep Edge Spectral-Unet,DES-Unet）模型。该模型在U-Net 跳跃连接结构中加入边缘光谱特征与全卷积U-Net 模型提取的深度特征融合，经softmax 逐像素分类实现网箱养殖目标提取[26]。

2 研究区及数据

2.1 研究区

研究区海南岛位置如图1 所示，地处18°10′～20°10′N，108°37′～111°03′E。海南岛地处热带，属热带季风气候，是我国最具有热带海洋季风气候特征的地方，全年暖热，雨量充沛，年平均气温为23～29℃。干湿季节明显，常风较大。所辖海域面积为200×104km2，水系丰富，岸线资源充沛，沿岸海域水质优良，平均潮差小于1.7 m，海水平均流速为0.5 m/s，平均盐度为33.5，海水平均pH 为8.0，环境条件适合进行海水养殖，养殖作物以鱼虾为主。研究区万宁市与陵水县养殖类型以传统近岸网箱养殖类型为主，如图1a、图1b 所示。新型深海网箱养殖主要集中在北部临高县，如图1c 所示，临高县拥有我国目前最大的深海网箱养殖基地，共有深海网箱逾3 000口，年产量约2.4×104t，是深海网箱养殖目标的典型研究区域。

图1 研究区及网箱养殖目标示意图Fig.1 Study area and cage culture images

传统近岸网箱主要由框架系统、箱体系统和锚泊系统组成，其中框架系统大多由板材、浮筒等部件装配而成。由于近岸网箱抗风浪能力差，一般设置于风浪流小、避风条件好的内湾、隘湾或港湾等海区。受研究区气候影响，传统近岸网箱养殖的网箱分布密集且靠近岸边，如图2a 所示，近岸网箱养殖区地物情况复杂，颜色与水体具有一定相似性，光谱特征受近岸陆地、岛屿、网箱内部水体、植被等因素影响难以使用单一光谱波段直接进行养殖目标提取。

图2 传统近岸网箱（a）与新型深海网箱养殖（b）Fig.2 Traditional offshore cages (a) and new deep-sea cages culture (b)

新型深水网箱主要由框架系统、网囊、固定系统和配套设施组成，利用固定平台的相互作用及箱体的自身特点把箱体降到水下限定的深度。因其具有更好的抗风浪性，因此常见于我国海南、福建等热带海洋季风型气候省份。研究区与传统近岸网箱养殖目标不同，新型深海网箱养殖区离岸距离较远，如图2b所示，遥感影像背景较为单一。但深海网箱目标监测部分为水面网箱框体，受材质与框体自身颜色特征影响，与背景水体存在相似性，提取存在一定难度。

2.2 数据源

研究使用高分二号数据（表1），3 景高分数据分别覆盖万宁市、陵水县、临高县3 个海水养殖区域。海南岛近岸年均水温为26℃，水温稳定，全年存在海水网箱养殖目标。5-6 月是海南台风与夏季风暴的多发季节，强风天气后云量降低有利于遥感影像拍摄。因此遥感影像采集时间在5-6 月，且云量控制在5%以内，有利于网箱养殖提取。

表1 数据介绍Table 1 Data introduction

3 研究方法

本研究区养殖目标提取实现流程如图3 所示：首先对原始可见光1A 级数据进行大气校正、辐射定标、几何校正、最邻近值扩散锐化融合算法，选择对网箱养殖目标更为敏感的红、绿、近红外波段进行波段的比值计算并使用Canny 算子提取养殖目标边缘光谱特征。同时对原始遥感数据进行镜像对称操作，输入固定尺寸通过U-Net 网络卷积层进行网箱养殖深度特征提取，再通过池化层进行特征降维压缩冗余信息，最后通过上采样反卷积操作还原图像尺寸。利用DES-Unet 模型跳跃连接结构实现两侧的深度特征图与Canny 算子提取到的边缘光谱特征进行特征融合，在softmax 分类器中进行逐像素点分类，实现多种类网箱养殖目标提取。

图3 整体流程图Fig.3 The overall flow chart

3.1 波段比值计算与边缘信息提取

使用单一波段很难对海水养殖区进行有效提取，因此需要通过海水养殖目标最强反射波段与最弱反射波段间的比值运算突出养殖区域，抑制海水背景信息，进而达到海水养殖光谱特征提取的目的。根据海水养殖与海水水体在各个波段中表现出的差异性，选择R 波段、G 波段及NIR 波段进行波段比值运算。进行如下计算：

式中，R为红光波段反射率；G为绿光波段反射率；NIR为近红外波段反射率；R1、R2为比值指数；R3、R4、R5为归一化比值指数。波段计算效果如图4 所示。

海水养殖区在不同波段表现出的色调有所差异，例如图4a 中所示养殖区域与海水背景区域的亮度差更加明显，利用阈值分割法分离出背景区域，对于抑制海水及陆地区域的干扰有很大价值。

图4 不同波段计算效果Fig.4 Calculation effect of different bands

使用Canny 算子双边滤波算法去除波段运算后的冗余光谱信息。Canny 算子与传统微分算子相比具有信噪比大、检测图边缘精度高等优点。在遥感图像中，离边缘较远的像素对于边缘上面的像素影响不是特别大，从而可以较好地保存图像边缘附近的像素值。双边滤波方法属于非线性滤波方法，同时考虑到了灰度和空域信息的相似性，既保留了图像边缘又去除了边缘噪声。双边滤波方法输出图像的边缘像素值取决于附近像素值加权值之间的组合，定义为

式中，i和j表示当前像素坐标点；k和l表示邻域像素坐标点；o(i,j)表示输出的像素值；f(k,l)表示输入的像素值；w(i,j,k,l)表示加权系数。

3.2 深度边缘光谱U-Net 模型

深度边缘光谱U-Net 模型网络框架结构如图5 所示，深度卷积网络通过下采样的过程来捕捉到所需的语义信息，与之对应的上采样过程则可以用来进行精确地定位。利用U-Net 跳跃连接结构将降噪后的光谱特征与深度卷积网络特征相融合，经softmax 分类器实现网箱养殖信息提取。

图5 DES-Unet 结构图Fig.5 Schematic diagram of DES-Unet structure

在输入图像前首先给输入图像增加一个固定尺寸的镜像对称的边缘，这个固定尺寸由3×3 卷积得到的特征图时的感受野来确定，由于3×3 卷积会对图像的尺寸进行缩小，为保证有效的3×3 卷积不降低对于原始图像的感受野，为输入图像的每条边界增加感受野的一半作为镜像对称的边缘大小。输入图像大小设置为512×512，经过计算镜像边缘的大小为60，即输入的原始高分辨率遥感图像的尺寸为572×572，镜像对称操作如下图6 所示。

图6 镜像对称操作Fig.6 Mirror symmetry operation

网络输入为经过边缘镜像操作的尺寸为572×572的原始遥感图像，首先经过两层通道数为64 的3×3 卷积层与其后相接的2×2 最大池化操作下采样图像尺寸为原始图像尺寸的1/2 量级，即284×284。再经过两层通道数为128 的3×3 卷积层与其后相接的2×2 最大池化操作下采样图像尺寸为原始图像尺寸的1/4 量级，即140×140。然后经过两层通道数为256 的3×3 卷积层与其后相接的2×2 最大池化操作下采样图像尺寸为原始图像尺寸的1/8 量级，即68×68。之后经过两层通道数为512 的3×3 卷积层与其后相接的2×2 最大池化操作下采样图像尺寸为原始图像尺寸的1/16 量级，即32×32，从而得到最大压缩程度的深度特征图。其中，3×3 的卷积过程中不进行补0 操作，每次卷积图像的尺寸会缩小2 行2 列，经过5 组正向卷积，将特征图的尺寸压缩为原始图像的1/16，最终得到图像尺寸为32×32 的深度特征图（图7）。

图7 深度特征提取效果Fig.7 The effect of depth feature extraction

在还原图像尺寸的过程中，即上采样操作，通过2×2 的卷积来实现。将32×32 的深度特征图送入两层通道数为1 024 的3×3 卷积层与其后相接的2×2 卷积上采样图像尺寸为深度特征图尺寸的2 倍量级，即56×56，同时拼接由正向卷积过程中68×68 的特征图经过卷积得到的64×64 的特征图的中心大小为56×56的区域。再经过两层通道数为512 的3×3 卷积层与其后相接的2×2 卷积上采样图像尺寸为深度特征图尺寸的4 倍量级，即104×104，同时拼接由正向卷积过程中140×140 的特征图经过卷积得到的136×136 的特征图的中心大小为104×104 的区域。然后经过两层通道数为256 的3×3 卷积层与其后相接的2×2 卷积上采样图像尺寸为深度特征图尺寸的8 倍量级，即200×200，同时拼接由正向卷积过程中284×284 的特征图经过卷积得到的280×280 的特征图的中心大小为200×200 的区域。之后经过两层通道数为128 的3×3 卷积层与其后相接的2×2 卷积上采样图像尺寸为深度特征图尺寸的16 倍量级，即392×392，同时拼接由正向卷积过程中572×572 的原始图像经过卷积得到的568×568 的特征图的中心大小为392×392 的区域。最后经过两层通道数为64 的3×3 卷积层最终提取并还原出图像尺寸为388×388 的深度特征图，经过全连接层进行降维处理得到可以用于特征融合的深度特征。

在整个正向卷积与反向卷积的过程中，U-Net 模型通过跳跃连接实现两侧的深度特征图与边缘光谱特征的拼接合并，该方法可以有效地恢复所要提取养殖区域目标的语义信息，从而增强了网络模型的学习能力和所提取深度特征的代表养殖区域目标信息的能力。

模型通过特征融合后可实现端到端的训练，养殖目标信息的提取可看作二分类问题，逐像素分类判断属于背景区域还是目标区域，假设x为输入图像，整个模型采用带边界权值的二元交叉熵损失函数，可定义为

式中，x表示输入点像素值；l(x):Ω →{1,···,K}为逐像素的真值；Pl(x)(x)表示像素点与真值做差；w(x):Ω ∈R为逐像素的权值，作用为增加临近图像边缘处的点的权重。

式中，w(x)表示输入点像素权值；wc(x):Ω ∈R为平衡类别比例所加的权值；d1(x):Ω ∈R为像素点到其最近距离的目标边界的距离；d2(x):Ω ∈R为像素点到其距离第二近的目标边界的距离；w0和 σ均为常数值，此处设置为w0=10 和 σ≈5 像素。

经预处理的高分系列遥感影像中裁剪出尺寸为2 048×2 048 的养殖区域影像并提取其前3 个通道，即R、G、B 波段，同时分离出地理信息，进行归一化处理，转化为栅格格式8 位三通道的彩色图像。其中假设待处理养殖区域遥感图像的像素最大值与最小值为max(x)、min(x)，则归一化处理的结果norm为

式中，xi表示待处理养殖区域遥感图像的像素值。

为扩充数据训练分类器，本文采用了图像切块以及旋转、拉伸等方法扩充数据。首先通过64×64 大小的滑动窗口，以不重叠最小步长横向获取养殖区域高分辨率遥感图像，再对裁剪后的图像执行随机拉伸、旋转等操作进行数据扩充，同时对图8 中真值图执行相同操作来达到扩充数据集的目的，同时也增强了算法的学习代表能力与鲁棒性。

图8 养殖区域遥感影像（a）与真值（b）Fig.8 Remote sensing images (a) and true value (b) of the breeding area

3.3 精度计算方法

通过养殖区域的提取结果与真值图作比较，准确率指标（Acc）显示所提取区域的信息中分类结果为正确的区域的比例，召回率指标（R）显示所有真实养殖区域中被正确提取所占比例，精确率（P）显示正确预测的占全部预测为正的比例，公式分别为

式中，TP为正确提取的养殖区域的像元数量；TN为正确提取的背景区域的像元数量；FP为错误提取的养殖区域的像元数量；FN为未提取出的养殖区域的像元数量。

Kappa 系数是一种比例，代表着分类与完全随机的分类产生错误减少的比例，其计算公式为

式中，pt为正确分类的比例；pe为随机情况下期望的正确分类比例。

4 实验结果与分析

4.1 硬件条件与参数设置

硬件条件为CPU 采用Intel Core i7 4.0-GHz，GPU采用NVIDIA GeForce RTX 2080Ti，32 GB 内存。

对比实验Canny 算子提取算法、Otsu 算法、PCA_Kmeans 算法参数设置如表2 所示。数据经过图像裁剪得到包含养殖区域的切片185 幅，按照训练集∶验证集∶测试集为7∶2∶1 的比例划分数据集。采用RMSprop 算法优化训练，初始学习率设置为0.001，权重衰减设置为10 至8，动量设置为0.9，共训练200 个时期，在180 时期处取得最好结果。对比实验使用与DES-Unet 训练策略相同。

表2 算法参数表Table 2 Parameters of algorithm

4.2 近岸网箱养殖提取结果分析

近岸网箱养殖目标原图像、真值图、Canny 算子提取结果、Otsu 算法提取结果、PCA_Kmeans 算法提取结果、Segnet 提取结果、U-Net 提取结果、DES-Unet 提取结果如图9 所示。

图9 近岸网箱提取效果Fig.9 Extraction effect of offshore cages

借助高分辨率高分影像数据并结合现场调查，通过对研究区影像进行目视解译后得到研究区网箱养殖真值图，基于真值图对提取结果进行准确率、召回率与Kappa 系数的计算，验证结果如表3 所示。

表3 近岸网箱精度验证结果Table 3 Accuracy verification results of offsore cages

根据实验结果，对比几种算法在相同实验设置下的结果，单一光谱特征与Canny 算子、Otsu 算法以及PCA_Kmeans 算法的提取对于形变复杂、大小不一的近岸网箱难以提取出准确的边界，模糊的边缘进一步造成了对于养殖区域信息提取的障碍，最终导致所提取出区域中漏检与误检较多，准确率与召回率急剧下降。同时，对比深度神经网络模型Segnet 与U-Net，由于受到训练数据等的限制，在一些网箱养殖的细节区域尤其是边缘无法正确的分类提取。本文所提出融合了深度特征的养殖区域提取算法，原始遥感影像经过深度网络的迭代，能够更准确地提取出近岸网箱的边缘、形状、颜色等特征，将其与通过波段计算得到的光谱特征融合进行养殖区域的提取得到如图9所示的提取结果，相较于其他几种算法提升明显。其中准确率97.35%，召回率 97.38%，精确率89.37%和Kappa 系数0.88 都有所提升。

利用DES-Unet 对万宁市与陵水县近岸网箱养殖区域进行信息提取，结果如图10、图11 所示。近岸网箱抗风浪能力较差，受气候因素影响，两地近岸网箱主要分布于风浪较小的海湾内。万宁市近岸网箱养殖区域面积为0.68 km2。万宁市当地养殖作物以经济类鱼虾为主，分布主要集中于坡头港兴隆华侨农场养殖场与东澳镇淡水养殖场，少部分位于南部洲仔岛附近。陵水县近岸网箱养殖区域面积为0.76 km2，养殖作物以经济鱼类为主。养殖区域主要集中于黎安港、新村镇新村港内。

图10 万宁市养殖提取结果Fig.10 The results of aquaculture extraction in Wanning City

图11 陵水县养殖提取结果Fig.11 The results of aquaculture extraction in Lingshui Country

4.3 深海网箱提取结果分析

深海网箱养殖目标原图像、真值图、Canny 算子提取结果、Otsu 算法提取结果、PCA_Kmeans 算法提取结果、Segnet 提取结果、U-Net、DES-Unet 提取结果如图12 所示。

图12 深海网箱提取效果Fig.12 Extraction effect of deep-sea cages

普通网箱养殖提取同样借助高分辨率高分影像数据及目视解译获得研究区深海网箱养殖真值图，基于真值图对提取结果进行准确率、召回率及Kappa系数计算，验证结果如表4 所示。

表4 深海网箱提取精度验证Table 4 Verification of the extraction accuracy of deep-sea cages

分析对比实验结果，单一光谱特征条件下使用Canny 算子、Otsu 算法及PCA_Kmeans 算法进行养殖提取对于与海水颜色相近、目标面积较小的深海网箱存在边界模糊、无法准确分离海水背景等问题，模糊的边缘对于养殖区域信息的提取造成了负面影响，导致所提取的区域边界完整性存在问题，甚至无法形成完整连通区域，准确率和召回率受到很大限制。深度神经网络模型Segnet 与U-Net 虽然在一些海水背景简单的区域表现不错，但在海面情况复杂，尤其是有海浪等干扰时提取效果不理想。本文提出了融合深度特征的养殖区域提取算法，即原始遥感影像经过深度神经网络的迭代，同时融合光谱特征能够更准确地提取出近岸网箱的边缘、形状、颜色等特征，最终可以得到如图13 所示的提取结果，相较于传统特征提升明显，准确率（98.99%）、召回率（98.81%）、精确率（95.14%）和Kappa 系数（0.91）都有显著提升。

图13 临高县养殖提取结果Fig.13 Breeding extraction results in Lingao

利用DES-Unet 对临高县深海网箱养殖区域进行养殖信息提取，结果如图13 所示。新型深水网箱抗风浪能力强，养殖容量远大于传统近岸网箱，要求水深40 m 以深远离近岸污染区，因此距岸较远。临高县共提取深海网箱面积0.98 km2，经实地考察，该县主要养殖品种为南美对虾（Litopenaeus vannamei）、龙虾（Palinuridae）等经济品种。养殖区域主要集中于西部调楼港、黄龙港、新盈港、头咀港及东部金牌港等地。

5 结论

将边缘光谱特征与深度卷积网络特征有机结合，构建深度光谱边缘U-Net 网络模型进行传统近岸和新型深海网箱养殖提取，利用双边滤波方法去除边缘光谱特征冗余信息，通过DES-Unet 模型跳跃连接结构融合深度特征与边缘光谱特征，可有效解决传统算法模型在近岸环境中受水体泥沙、植被等因素影响，光谱特征噪声干扰严重导致误分现象，也可以解决新型深海网箱由于水面框体面积较小容易与养殖水体出现“异物同谱”现象的难题，有效提升了两类网箱养殖目标提取的准确率、召回率、精确率和Kappa 系数，具有较强的普适性，可有助于实现海南省海水养殖精确动态监测。