基于联合深度统计特征对齐的鱼类目标识别方法

王海燕 杜菲瑀 姚海洋 陈 晓

文章编号：2096-398X2024）03-0182-06

（陕西科技大学 电子信息与人工智能学院， 陕西 西安 710021）

摘 要：水下鱼类目标识别技术是认识海洋、经略海洋、向海图强的重要技术之一.基于深度学习的水下目标识别技术已成为研究热点，但是针对水下鱼类数据小样本甚至零样本识别性能亟待提高.本文基于迁移学习，提出了联合深度统计特征对齐（Joint Deep Statistical Feature Alignment，JDSFA）方法，解决小样本下的鱼类目标识别问题.以ResNet-50作为骨干网络，将均方和协方差纳入权重选择算法用来构建自适应损失函数，对齐源域和目标域之间的特征分布，联合源域损失与领域间的自适应损失，设计全局损失函数，建立深度学习识别模型，实现鱼类目标识别任务.利用公开的水下鱼类数据集QUT进行实验验证，相比目前代表性的DADAN、PMTrans、DSAN方法，JDSFA方法的鱼类识别性能分别提升了3.59%、4.96%、5.91%，结果表明了本文JDSFA方法的有效性，并对鱼类目标识别具有良好的应用价值.

关键词：鱼类识别； 迁移学习； 联合深度统计特征对齐； 损失函数

中图分类号：TP18    文献标志码： A

Fish target recognition method based on joint deep statistical feature alignment

WANG Hai-yan， DU Fei-yu， YAO Hai-yang， CHEN Xiao

School of Electronic Information and Artificial Intelligence， Shaanxi University of Science & Technology， Xi′an 710021， China）

Abstract：Underwater fish target recognition technology is an important technology in ocean exploration.However，the acquisition of underwater resources is very expensive and cannot meet the requirements of training large-scale deep neural networks.Aiming at the problem of small or even zero samples of underwater fish data，this paper proposed a Joint Deep Statistical Feature Alignment JDSFA） method based on transfer learning to solve the problem of fish target identification in small samples.Using ResNet-50 as the backbone network，the mean square and covariance were incorporated into the weight selection algorithm to construct a joint domain adaptive loss function to align the feature distribution between the source domain and the target domain.In addition，we also designed a global loss function to combine the source domain loss with the inter-domain adaptive loss by using adaptive weights to realize the fish target recognition task.The published underwater fish data set QUT was used for experimental verification，and the results all showed that the effectiveness of JDSFA method in fish identification was 3.59%，4.96% and 5.91% higher than that of the current representative DADAN，PMTrans and DSAN methods，respectively.It is further demonstrated that the JDSFA method proposed in this paper has good application value in fish identification task.

Key words：fish recognition； transfer learning； joint deep statistical feature alignment； loss function

0 引言

海洋中蘊含着极其丰富的鱼类资源，但由于部分地区的过度捕捞和环境问题，局部海域已经出现了较为严重的生态平衡问题，引起了世界各国的共同关注.鱼类目标识别技术是对海洋资源实施精确勘探的关键，不仅可以高效的识别不同种类的鱼类，也为稀有鱼类的保护提供了可靠的图像数据基础.然而，由于海洋面积广大、海洋中传感器布设较为困难以及海洋环境影响等，使得海洋水下目标的有效数据集有限，无法满足当今大模型的训练要求，对水下鱼类识别任务造成了阻碍.

目前，针对水下鱼类识别的方法可以分为两类：一类是传统方法，对图像进行手工特征提取并转化为结构化数据，利用SVM、BP神经网络、决策树等［1］方法进行分类训练.Ogunlana等［2］提出基于向量机的鱼类图像分类方法，基于鱼类轮廓的六大特征，并且提取鱼类的纹理特征，但是由于鱼的大小和轮廓信息会随着时间的增长而变化，因此得到的效果不佳.Huang等［3］利用高斯混合模型以及支持向量机对水下鱼类图像进行分类训练，准确率达到了74.8%.传统的分类方法特征泛化性差，并且普适性较低.另一类是深度学习方法，在特征提取、泛化能力等方面克服了传统机器学习的不足，利用神经网络自动提取特征进行分类训练［4］.Salman等［5］通过卷积神经网络进行鱼类物种识别任务，使用LifeCLEF14和LifeCLEF15鱼类数据集训练模型，最终达到83.94%和93.65%的准确率.Wang[JP3]等［6］提出了一种基于YOLOv2的卷积神经网络模型，自动分类检测鱼类种类，识别准确率达到了91.2%.

但是，这些算法要求在训练过程中需要有大量的数据集进行模型训练，但实际的水下目标数据集较少，导致此类深度学习方法在识别中无法获得满意结果［7］.为此需要利用与真实水下图像数据集相似的数据集作为补充以便于模型的训练.然而这种补充的数据集与真实的水下图像数据集由于背景、姿态等差异具有不同统计特征分布，无法满足以上方法的要求.因此，如何利用已有的充足數据集，解决统计特征差异问题，克服水下识别任务中的样本量稀缺问题是当前研究的重点之一［8，9］.

随着迁移学习的发展，许多学者将深度神经网络应用到迁移学习中，自动化地提取在数据中更具有表现力的特征，并可满足实际中端对端的需求.

选择性迁移网络（Partial Transfer Learning，PTL），假设目标域是源域的一个子空间，只迁移源域中与目标域相关的部分，有效减少了负迁移的概率［10］.深度关联对齐方法（Deep CORrelation ALignment，Deep CORAL）将CORAL扩展到学习非线性变换，在深层神经网络中将层激活关联对齐，使得源域和目标域相关数据之间的差异最小化［11］.动态对抗适应网络（Dynamic Adversarial Adaptation Networks，DAAN）用来解决对抗网络中动态分布适配问题，利用自适应因子在对抗网络中平衡边缘分布和条件分布优先级［12］.深度子域自适应网络（Deep Subdomain Adaptation Networ，DSAN）通过子空间对齐来学习神经网络中特定层的数据分布，并通过最大均值差异测量核之间的差异［13］.Patch-Mix Transformer基于视觉注意力机制从两个领域采样补丁构建中间域，学习源域和目标域的差异以得到最大化交叉熵［14］.通过模型或数据之间的迁移，对预训练网络参数进行共享，提升模型的泛化能力.然而，这些深度迁移学习方法大多依赖于特征的单一统计属性来对齐源域和目标域之间的分布，可能会导致在参数优化和学习过程中遗漏关键信息.

深度迁移学习在训练过程中不依赖大量样本，节省计算资源，成为近年来处理水下鱼类识别任务的关键技术之一.Siddiqui等［15］在进行水下鱼类识别时，将迁移学习和卷积神经网络相结合，特征提取器分别使用VGG-Net和Res-Net，分类器使用支持向量机模型，提高了识别效率.王柯力等［16］将VGG-16和Res-Net50分别作为特征提取器，分类器则使用Softmax，实现了水下鱼、虾、贝、蟹进行的识别.李均鹏等［17］通过训练模型Inception V3在复杂的水下场景中进行鱼类识别任务，将Inception V3和迁移学习进行了有效结合，增强了模型的泛化能力.Wu等［18］使用深度对抗域自适应网络，在特征层中加入多核最大均值差异，通过设计损失函数，优化特征分布，提高了水下识别精度.相较于传统的深度学习算法，现有的针对水下图像的深度迁移学习方法有效地提升了鱼类识别精度，然而这些方法并未考虑到领域之间的数据特征差异带来的目标域识别准确率下降的问题，所以存在一定的局限性.

本文提出联合深度统计特征对齐Joint Deep Statistical Feature Alignment，JDSFA）算法，该方法包括联合深度统计特征对齐方法和权重选择算法，利用迁移学习进行知识迁移，解决水下鱼类样本稀缺所导致的识别效率低下的问题.通过搭建神经网络对源域和目标域数据进行特征提取，设计联合领域自适应损失函数将源域和目标域数据的一阶、二阶统计特征进行对齐，同时，提出了一种权重选择算法，设定可学习的权重参数衡量一阶特征和二阶特征在网络中的权重，实现由源域到目标域数据的自适应特征迁移，解决了以往迁移学习中对齐单一特征属性的问题.此外，设计全局损失函数，将源域损失和领域间的自适应损失相结合，最终通过优化完成JDSFA模型训练并用于目标域数据的标记预测.利用QUT水下鱼类数据集［19］进行实验验证，本文提出的方法可实现清晰目标数据集到水下受环境干扰数据集合的迁移，并相较于多个已有迁移方法具有更好的识别效果.

1 联合深度统计特征对齐算法下的迁移方法研究JDSFA算法的基本原理与模型架构如下.

1.1 JDSFA损失函数构建

在领域自适应中，领域D包含数据集X以及相应的概率分布PX）.给定源域数据集Ds=[JB{]xs）i[JB）}]nsi=1∈RD具有标签[JB{]ys）i[JB）}]nsi=1∈[JB{]1，…，l[JB）}]，目标域中的数据集Dt=[JB{]xt）j[JB）}]ntj=1∈RD无标签.Ds 和 Dt 是不同、但是相互关联的数据领域，其中数据的边缘概率分布PXs）≠PXt），领域自适应的目的在于利用源域Ds上的信息来实现预测器在目标域Dt上的性能提升.

深度学习的有效性主要由方差和偏差决定.方差反映了模型输出与模型输出期望之间的误差，即模型的稳定性.偏差反映了样本上模型输出与真实值之间的误差，即模型的精度.然而，水下数据集的分布通常是非高斯和不均匀的，特别是不同数据集之间，具有较明显的差异，因此无法获得固定的方差和偏差.此外，两个域中的数据集可能遵循不同的分布，如图1所示，即使在学习之前对数据进行了归一化，统计特征可能会表现出明显的差异.因此，即使在Ds 中的特征分布是确定的并且学习良好，迁移后的深度神经网络的结果可能会显示出较差的效果.以两种水下光学图像可能具备的典型分布，正态分布和非中心F分布为例，数据集的差异可能有四种情况：（1）相同的概率密度趋势，不同的高度，如图1a）所示；（2）相同的概率密度趋势，不同的中心，如图1b）所示；（3） 不同的概率密度趋势，不同的高度，如图1c）所示；（4）不同的概率密度趋势，不同的中心，如图1d）所示.因此，问题的关键在于考虑方差和偏差的同时，优化和对齐水下数据集的特征.

在深度迁移学习中，通常在使用子空间学习法对源域和目标域的数据进行对齐时，会通过设计损失函数将数据的统计特征进行变换对齐，其中，一阶统计特征均方误差损失MSE和二阶统计特征协方差矩阵常被用来作为损失函数使用.

均方误差（MSE）是源域数据和目标域数据一阶统计特征距离平方的平均值，反应了二者之间的差异程度，当源域数据与目标域数据越接近时，他们之间的均方差就越小［20］.圖1中分别计算了四种情况的MSE的变化.MSE值的差异可能接近1 000倍.所以，通过计算给定源域数据与目标域数据均方误差来设计损失函数，进而衡量领域之间的差异，然后通过最小化两个领域的一阶统计特征之间的距离，使得两个领域尽量可能的接近，最终使得在源域中的模型可以更好的迁移到目标域中，达到迁移学习效果.将源域和目标域输出的一阶数据特征[Ay^]s、[Ay^]t进行对齐，因此，设计损失函数

L1=MSE[Ay^]s，[Ay^]t）=1ns∑nsi=1xs）i-1nt∑nti=1xt）jF（1）

式（1）中：·F是Frobenius范数.

协方差用来度量两个随机变量线性相关的程度［21］，公式为：

covX，Y）=EX-μ）Y-ν））（2）

式（2）中：期望值EX）=μ、EY）=ν.

当两个变量的协方差为0，则二者线性无关.在存在两个以上的变量时，数据集中两两变量之间不同维度的协方差组成的矩阵则是协方差矩阵［22］，他的公式为：

C=E［X-E［x］X-E［x］）T］（3）

在协方差矩阵中，对角线上的元素为各个维度随机变量的方差，非对角线上的元素为两两随机变量之间的协方差，它反映了变量之间的二阶统计特征，衡量了数据的离散程度.图1中分别计算了四种情况的协方差矩阵.协方差矩阵的值的变化接近10倍.在迁移学习中，协方差矩阵包含了源域和目标域数据关联程度的信息，因此通过建立源域和目标域的协方差矩阵来构建损失函数，来衡量他们之间二阶统计特性的差距并对它进行最小化，从而在数据整体之间的概率分布上，通过对数据之间的关联性进行迁移，最终实现跨领域的数据迁移过程，完成领域自适应操作.

针对两个域的二阶统计特征进行对齐，设计损失函数

L2=14D2Cs-Ct[JB）=]2F（4）

式（4）中：[JB=]·[JB）=]F是Frobenius范数，Cs、Ct分别代表源域和目标域的协方差矩阵.

此外，MSE和协方差值在不同情况下呈负相关变化，因此，使用权重选择法来获得超参数λ1、λ2来平衡一阶、二阶统计特征损失的权重，得到领域自适应损失函数，用于衡量两个领域之间的一阶统计特征和二阶统计特征，对统计特征距离进行最小化，从而在数据整体之间的概率分布上，对数据之间的关联性进行迁移，最终实现跨领域的数据迁移过程和领域自适应操作，领域自适应损失函数为：

LDA=λ1L1+λ2L2（5）

在源域输出部分，设计源域损失函数衡量模型在源域数据上的预测结果[Ay^]s）与真实标记ys）之间的差异，源域损失函数为：

Ls[Ay^]s），ys））=ys）-[Ay^]s）（6）

综上，基于源域损失函数和领域自适应损失，设计联合深度统计特征对齐算法的总体损失函数

LSA=λLs[Ay^]s），ys））+LDA（7）

式（7）中：λ是指定的常数用于衡量源域损失和领域自适应损失的权重.模型的总体目标是针对LSA损失进行基于梯度优化算法的最小值求解.

联合深度统计特征对齐损失的设计一方面保证了该网络在源域数据上较好的预测性能；另一方面，也保证了源域和目标域数据之间的领域差异最小化以实现不同领域之间的有效的迁移学习过程.如果Ls权重过大，则会使得模型在源域上的预测效果较好但是领域迁移效果较差；如果LDA权重过大，则会导致模型侧重于减小领域之间的差异，但是难以保证在实现标记预测任务上的性能.因此，在模型训练阶段，我们将源域和目标域数据输入，并利用基于梯度优化的Adam算法对上述损失函数中的权重参数进行优化，对损失函数LSA进行最小值求解，得到训练好的深度领域自适应网络，进而利用该模型对目标域数据ntj=1的标记ntj=1进行有效预测.

1.2 JDSFA模型设计

基于以上理论，联合深度统计特征对齐自适应网络结构如图2所示.针对给定的源域nsi=1和目标域数据ntj=1作为网络的两个分支输入，基于ResNet-50网络架构，经过多次卷积层与池化层的交替操作对源域数据和目标域数据的特征进行非线性地自动化提取：在卷积层中通过调节卷积核的大小，来调整神经网络感受野的大小，从而调整提取特征的效果；采用最大池化层，对数据流进行下采样操作.此外，利用非线性函数ReLU对数据进行非线性变换以增强其特征提取效果.最后根据所要完成的预测任务的最终的输出数目确定网络后端全连接层的神经元数目.

在完成特征提取部分之后，设计模型的损失函数：一方面通过设计源域损失函数Lss），ys））降低模型在源域输出结果[Ay^]s）与真实标记ys）之间的差异；另一方面设计领域自适应损失函数LDA将源域和目标域数据的统计特征进行对齐来实现由源域到目标域数据的自适应特征迁移.最终通过对损失函数的优化完成联合深度统计特征对齐模型的训练并用于目标域数据ntj=1的标记预测.

2 鱼类图像数据预处理

2.1 鱼类图像数据集

QUT鱼类数据集［19］是目前可用于迁移学习验证的水下图像识别最具代表性的数据集之一，如图3所示.此数据集包含阿南鱼、叉尾鲷、普提鱼等468种不同的鱼类类别，共3 960张光学图像，具备了无水下背景的鱼类图像（即空气背景）以及真实水下场景的鱼类图像.如图3a）所示，无水下背景的鱼类图像由鱼标本图像组成，该类图像在背景恒定、照明均匀的场景下拍摄；如图3b）所示，真实水下场景的鱼类图像在真实海洋背景环境与光线条件下拍摄，未控制背景与照明.

2.2 鱼类图像预处理

本实验采用的QUT数据集中真实水下环境鱼类样本较少，仅包含2 970张图片.针对该小样本学习问题，我们在QUT数据集本身的990张空白背景样本的基础上，从网络中抓取相应类别的鱼类数据，对QUT数据集进行扩充，扩充后的数据集规模为10万张图片.本实验将无背景鱼类图像数据作为源域数据集，将真实水下场景鱼类图像作为目标域数据集.旨在利用迁移学习技术，结合源域数据信息，实现目标域真实水下场景小样本鱼类图像的高效准确识别.

为了便于模型的输入，本实验将QUT数据集的图片统一缩放为256×256尺寸.在源域和目标域数据集中，均采用交叉验证方法，划分为两部分，其中80%作为训练集，20%作为测试集.

3 鱼类目标识别

3.1 模型训练

本实验采用的设备配置如下：

处理器IntelR） CoreTM） i9-12900S，内存为64G，图形处理器型号：NVIDIA GeForce RTX 3090 @ 24 G显存，操作系统：Windows10，Python 版本为3.8，深度学习框架为PyTorch 1.10.

在本实验中，联合深度统计特征对齐算法的主干网络为ResNet-50网络.梯度下降训练算法采用Adam方法，初始学习率为0.000 1.训练集规模为8万，在每个训练轮次，选择64个样本作为一个批次输入模型，即Batch Size大小为64.

JDSFA的损失优化曲线如图4所示.可以看出在前200轮优化过程，训练过程损失与测试过程损失均快速下降.经过1 000次迭代优化，训练过程准确率可以达到99%以上，验证准确率也可以达到95.24%以上，并且没有出现过拟合现象.

3.2 JDSFA方法与常用方法的识别性能对比

表1为目前常用的PMTrans，DADAN，DSAN，本文提出的JDSFA算法，以及没有采用迁移学习技术的情况（NA）在QUT数据集上的水下鱼类图像识别任务上从领域自适应预测准确率、模型参数量、以及接受者操作特征准确率三个方面进行对比，其中领域自适应预测准确率Ds→Dt表示由源域到目标域的领域自适应效果；模型参数量用于衡量机器学习模型的复杂度；接受者操作特征准确率用于反映不同数据集配置环境下的模型分类效果.

由表1可以看出，针对QUT数据集，本文提出的JDSFA模型在水下鱼类识别迁移任务上的预测准确率优于对比的基于水下鱼类图像的迁移学习算法.首先，沒有采用迁移学习技术的情况下，基于源域训练的分类器在目标域上的准确率仅有34.21%，远远差于其他采用迁移学习技术的方法，可以证明迁移学习过程的必要性与有效性.与目前代表性的基于迁移学习的水下鱼类识别算法DADAN相比，JDSFA算法在QUT数据集上可以实现3.59%的性能提升，与目前前沿的迁移学习算法PMTrans，DSAN方法相比，JDSFA算法的分类精度分别提升了4.96%和5.91%.

此外，JDSFA算法的模型准确率在82.48 M，与其他的水下迁移学习模型复杂程度相当.最后，在模型最终分类效果方面，与DADAN算法相比，JDSFA算法的接受者操作特征准确率提升了4.5%，与PMTrans，DSAN算法相比，JDSFA算法的接受者操作特征准确率分别提升了6.3%和10.2%.本文提出的联合深度统计特征对齐算法能够对基于无水下背景的鱼类数据参数进行有效训练，实现无水下背景光学图像到水下背景图像的迁移，完成针对真实水下环境的鱼类图片有效识别，证明了联合统计特征对齐过程的可行性与有效性.

4 结论

为了提升鱼类识别性能，本文结合迁移学习提出了一种联合深度统计特征对齐（JDSFA）方法，解决了鱼类数据集有限的问题.基于ResNet-50框架，利用协方差和均方误差对特征进行对齐，并且对源域和域自适应损失函数提出了一个两步损失过程.最后，在鱼类数据集QUT上证明了JDSFA方法的有效性，与代表性的DADAN、PMTrans和DSAN方法相比，分类精度分别提升了3.59%、4.96%和5.91%.

参考文献

［1］ Chen P H，Lin C J，Scholkopf B.A tutorial on ν-support vector machines.Applied Stochastic Models in Business and Industry，2005，212）：111-136.

［2］ Ogunlana S O，Olabode O，Oluwadare S A A，et al.Fish classification using support vector machine.African Journal of Computing & ICT，2015，82）：75-82.

［3］ Huang P X，Boom B J，Fisher R B.Hierarchical classification with reject option for live fish recognition.Machine Vision and Applications，2015，261）：89-102.

［4］ Liu ，Mao H，Wu C Y，et al.A convnet for the 2020s［C］//Proceedings of the IEEE/CVF conference on computer vision and patternrecognition.New Orleans，LA，USA：IEEE，2022：11 976-11 986.

［5］ Salman A，Jalal A，Shafait F，et al.Fish species classification in unconstrained underwater environments based on deep learning.Limnology and Oceanography：Methods，2016，149）：570-585.

［6］ Wang M，Liu M，hang F，et al.Fast classification and detection of fish images with YOLOv2［C］//2018 OCEANS-MTS/IEEE obe Techno-OceansOTO）.obe，Japan：IEEE，2018：1-4.

［7］ Pan S J，Yang Q.A survey on transfer learning .IEEE Transactions on nowledge and Data Engineering，2009，2210）：1 345-1 359.

［8］ huang F，Qi ，Duan ，et al.A comprehensive survey on transfer learning.Proceedings of the IEEE，2020，1091）：43-76.

［9］ Niu S，Liu Y，Wang J，et al.A decade survey of transfer learning 2010-2020）.IEEE Transactions on Artificial Intelligence，2020，12）：151-166.

［10］ Cao ，Long M，Wang J，et al.Partial transfer learning with selective adversarial networks＼[C＼]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City，USA：IEEE，2018：2 724-2 732.

［11］ Sun B，Saenko .Deep coral：Correlation alignment for deep domain adaptation［C］//Computer Vision-ECCV 2016 Workshops.Amsterdam，The Netherlands：Springer International Publishing，2016：443-450.

［12］ Yu C，Wang J，Chen Y，et al.Transfer learning with dynamic adversarial adaptation network［C］//2019 IEEE International Conference on Data Mining ICDM）.Beijing，China：IEEE，2019：778-786.

［13］ hu Y，huang F，Wang J，et al.Deep subdomain adaptation network for image classification.IEEE Transactions on Neural Networks and Learning Systems，2020，324）：1 713-1 722.

［14］ hu J，Bai H，Wang L.Patch-mix transformer for unsupervised domain adaptation：A game perspective［C］//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.Vancouve，Canada：IEEE，2023：3 561-3 571.

［15］ Siddiqui S A，Salman A，Malik M I，et al.Automatic fish species classification in underwater videos：exploiting pre-trained deep neural network models to compensate for limited labelled data.ICES Journal of Marine Science，2018，751）：374-389.

［16］ 王柯力，袁紅春.基于迁移学习的水产动物图像识别方法.计算机应用，2018，385）：1 304-1 308.

［17］ 李均鹏，祝开艳，杨 澍.基于迁移学习的复杂场景海洋鱼类识别方法.计算机应用与软件，2019，369）：168-174.

［18］ Wu L，Li C，Chen Q，et al.Deep adversarial domain adaptation network.International Journal of Advanced Robotic Systems，2020，175）：1-9.

［19］ Anantharajah ，Ge  Y，McCool C，et al.Local inter-session variability modelling for object classification［C］//IEEE winter conference on applications of computer vision.Steamboat Springs CO，USA：IEEE，2014：309-316.

［20］ Bickel P J，Doksum  A.Mathematical statistics：basic ideas and selected topics，volumes I-II package［M］.Amercia：CRC Press，2015.

［21］ Park  I，Park M，James.Fundamentals of probability and stochastic processes with applications to communications［M］.Cham，Switzerland：Springer International Publishing，2018.

［22］ Rice J A.Mathematical statistics and data analysis［M］.Amercia：Cengage Learning，2006.

【责任编辑：蒋亚儒】

基金项目：国家自然科学基金项目（62031021）

作者简介：王海燕（1965—），男，山东单县人，教授，博士生导师，研究方向：复杂环境智能感知、人工智能技术