基于改进LRCN的鱼群摄食强度分类模型

徐立鸿 黄 薪 刘世晶

(1.同济大学电子与信息工程学院, 上海 201800； 2.中国水产科学研究院渔业机械仪器研究所, 上海 200092)

0 引言

水产养殖业在中国渔业发展中具有重要的地位[1-2]，同时水产养殖是我国渔业主要生产方式，其中开放式池塘养殖产量占全国水产养殖总量的80%[3]。随着水产养殖业的不断发展和扩大，工业化的鱼类养殖技术也在不断地更新和适应不同的养殖环境，实现饵料自动投喂是水产养殖实现自动化、工业化的关键[4-5]。饵料是鱼类生长的必需品，同时也直接影响水产养殖的经济收益，饵料投喂不足会影响鱼群的生长发育，饵料投喂过量会造成经济浪费和水体富营养化。科学控制水产养殖的投饵量对自动化水产养殖有重要意义。

在智能化投饵领域内，目前基于机器视觉投饵控制研究背景主要是分为室内循环养殖池和开放式养殖池塘。如ZHOU等[6]采用近红外摄像头从养殖池上方获取鱼群状态，通过图像处理等技术提出了SIFFB和FIFFB共2个指标，实现了对鱼群摄食强度的评估。之后他们收集鱼群摄食过程中的图像训练卷积神经网络(Convolutional neural networks, CNN)，实现对鱼类食欲水平的分级[7]。陈明等[8]提出了一种基于特征加权融合的鱼类摄食活动强度评估方法。张佳林等[9]采集了大西洋鲑水下摄食行为视频，提出了一种基于帧间关系的鱼类摄食行为视频分类算法，唐宸等[10]在此基础上进行改进，实现了基于光流法的鱼群摄食行为视频三分类。YANG等[11]提出了Efficient Net-B2的双重注意机制网络用于鱼群的细粒度短期摄食行为分析。但是这些方案只适用于水质清晰、光照均匀的室内养殖环境，并不适用于环境复杂开放式养殖池塘。

与循环养殖池相比，开放式养殖池塘受水质混浊、光照不均等环境因素影响，智能化难度较大，成为研究的重点。如胡利永等[12]以投饵过程中拍摄的水面摄食图像中有鱼部分以及鱼群摄食引起的水花部分作为特征区域，提出了一种投饵量计算模型。王勇平等[13]通过直方图均衡、帧间差分法等对鱼群摄食期间的图像进行处理，利用椭圆拟合得到目标鱼群面积来进行投饵量的控制。覃学标等[14]借助水下图像增强技术提高鱼类检测的准确度。

视频识别技术已经应用于各个领域，有许多视频分类深度网络取得了较好的效果，其中包括基于双流法的视频分类[15-17]和基于3D卷积[18-20]的分类算法。MÅLØY等[21]提出了双流循环神经网络(Dual stream recurrent network, DSRN)实现了鱼类摄食行为的两分类，但是网络同时引用了VggNet[22]和ResNet[23]，参数多且计算量大。UBINA等[24]提取视频的光流特征输入3D卷积神经网络[20]实现摄食强度的四分类，但是需要无人机拍摄摄食图像，成本过高，不适用于大部分的池塘养殖。

长期卷积循环网络[25](Long-term recurrent convolutional networks, LRCN)是一种结合了传统卷积网络和长短期记忆网络的新型网络结构，具有处理时序信息的能力。SENet[26](Squeeze-and-excitation networks)是一种典型的注意力模型，它的子结构SE Block可以随意插入到任何网络中，能够有效提高网络的准确率，且计算量小。

针对实际生产环境问题，本文提出一种基于改进LRCN的鱼群摄食强度分类模型，将注意力机制应用于鱼群摄食视频的分类模型中，以通过较少的计算量实现对视频的分类，使模型更具有鲁棒性。

1 数据采集与数据集制作

1.1 试验材料与环境

为证明算法的有效性，试验以草鱼、鲫鱼混合养殖摄食强度分类为例，这些鱼类具有较强的夺食性，可以在养殖池塘水面上观察到较为明显的强度差异，此算法同样适用于其他具有夺食性的池塘养殖淡水鱼摄食强度的分类。试验数据采集于上海瑞钵水产有限公司，该水产基地位于上海市崇明区，数据采集选定3号池塘，该池塘水深约2 m，长约50 m、宽约25 m，面积约为1 333 m2，一个池塘配有一个ZY150型颗粒饲料投饵机(佛山市中渔科技有限公司)，安装在岸边的延伸台，如图1所示，采用扇形喷撒式投饵方案，投饵半径约6 m。

图1 自动投饵机Fig.1 Automatic feeding machine

试验池塘中草鱼体长约70 cm，平均鱼体质量2.5 kg；鲫鱼体长约35 cm，平均鱼体质量1 kg。投饵方案为定时定量投饵，每日09:00—16:00间隔1 h投饵，投饵机抛撒出定量的饵料后会暂停1 min，等待鱼群摄食完成后再继续下一次投饵动作，每次投饵完全结束需要约30 min。

1.2 视频采集方案

试验的视频采集采用水上视角，如图2所示。摄像头通过立杆安置在池塘投饵机的上方，距离水面约4 m，摄像头斜向下进行拍摄，拍摄区域中心为投饵机的饵料抛撒区域。视频采集帧率为30 Hz，视频帧的原始尺寸为1 920像素×1 080像素。摄像头采集不同时间段、不同光照条件下投饵前中后期的鱼群摄食视频，通过Python语言的OpenCV图像处理库对原始长视频进行处理。视频采集的具体方案如表1所示，在光照为中等或较弱时，每次视频采样时间为10 min；当光照较强时，由于可能出现视频曝光过曝的问题，因此将采集时间设置为25 min以保证能采集到足够的数据集。

图2 视频采集示意图Fig.2 Structure diagram of video capture

表1 摄食期间视频采集方案Tab.1 Video capture plan during feeding

1.3 数据集制作

将原始采集的水上视频按照未摄食和摄食2种状态进行划分，之后结合相关文献及当地养殖专家经验对鱼群摄食期间的视频进行强度分类，分成强和弱两种状态。未摄食状态：鱼群对投喂的饵料无反应，不浮至水面，水面平稳；弱摄食状态：少量鱼群上浮至水面，对投喂饵料主动进食；强摄食状态：大量鱼群上浮至水面抢夺饵料，激起水花。

视频样本的时长设置为2 s(60帧)，尺寸裁剪为600像素×500像素，视频帧图像如图3所示。时间长度为2 s的视频可以较好地表现当前时间鱼群的摄食强度，同时对设备要求也更低。在实际生产环境中，可以根据现场情况适当调整视频时长，以适应具体的养殖环境。

图3 视频帧Fig.3 Video frame

视频的标注工作由3名研究人员同时展开，每一视频样本必须由2名或2名以上人员确认为同一类别才可完成标注，否则视为无效样本。数据集共包含1 071个时长2 s的视频，其中未摄食视频样本355个，弱摄食样本335个，强摄食样本381个，训练集、验证集和测试集按照7∶2∶1的比例划分，具体数量如表2所示。

表2 数据集信息Tab.2 Dataset information

2 基于改进LRCN的鱼群摄食强度分类模型

2.1 长期卷积循环网络

长期卷积循环网络LRCN用于具有空间输入的序列预测问题，结构如图4所示(图中y1、y2、…、yt表示不同时间下视频帧的分类结果)。用于视频分类时，卷积神经网络提取输入视频帧的特征，这些具有时序关联的特征送入后续的长短期记忆网络(Long short-term memory, LSTM)[26]进行处理，并得到时序预测结果的输出。

图4 LRCN结构图Fig.4 Structure diagram of LRCN

LRCN将CNN应用于每个输入的视频帧，并将每个输入视频帧的输出作为单个时间步骤传递给LSTM网络。本文选取长期卷积循环网络作为基准模型，融合SE模块，并对LSTM网络部分进行改进，实现网络性能的提升。

2.2 挤压和激励模块

SENet是一种新型网络结构，引入了通道注意力机制。SE模块建模特征通道之间的相互依赖关系的核心在于网络会自动获取到每个特征通道的重要程度，根据重要程度去放大有用的特征及抑制无用的特征，示意图如图5所示。

图5 SE模块示意图Fig.5 Structure diagram of SE block

SE模块首先对特征图进行Sequeeze操作，顺着空间维度来进行特征压缩，将每个大小为W×H的二维特征通道压缩至1×1，数学描述为

(1)

式中xc——原始特征图，尺寸为H×W×c

zc——Sequeeze操作后1×1×c的特征图

c——通道数

Fsq——Sequeeze操作函数

之后进行Excitation操作，通过参数来为每个特征通道生成权重，其中参数被学习用来显式地建模特征通道间的相关性，数学描述为

s=Fex(z,W)=σ(W2δ(W1z))

(2)

式中W1、W2——可训练的参数，其中W1的维度为(c/r)c，W2的维度为c×c/r

r——缩放参数

Fex——Excitation操作函数

σ()——Sigmoid函数

δ()——脉冲函数

s——通道权重

最后进行特征重标定，将Excitation操作后的输出权重通过乘法逐通道加权到先前的特征上，数学描述为

(3)

Fscale——加权操作函数

sc——不同通道的特征权重

利用SE模块可嵌入到其他模型中的特点，将SE模块嵌入LRCN模型的卷积神经网络中，提高网络的特征提取能力。

2.3 改进的LRCN模型

门控递归单元[27](Gate recurrent unit, GRU)是循环神经网络(Recurrent neural network, RNN)的一种，具有结构简单、参数量少、效果优等特点。LSTM中含有3个门函数来控制输入值、记忆值和输出值，在GRU中只有更新门和重置门，所以GRU需要更少的数据来泛化。

本文提出了SE-LRCN视频分类模型，对鱼群的摄食视频进行强度分类，该模型融合了SE模块和LRCN网络结构，用双层GRU代替原始的单层LSTM网络，模型的整体结构如图6所示(图中cl1代表鱼群处于未摄食状态，cl2代表鱼群处于弱摄食状态，cl3代表鱼群处于强摄食状态)。

图6 SE-LRCN模型示意图Fig.6 Structure diagram of SE-LRCN

模型输入层为时长2 s(60帧)的视频样本。SE-CNN网络部分将SE模块嵌入到卷积神经网络中，用于视频帧的特征提取，共包含5个卷积层和1个平均池化层，中间3个卷积层嵌入了SE模块(r=4)，网络结构如图7所示。

图7 SE-CNN网络示意图Fig.7 Structure diagram of SE-CNN network

通过SE-CNN网络进行视频帧特征提取后，将具有时间分布信息的特征输入至两层的GRU网络中，GRU网络的节点数均为256，最后通过全连接分类层输出视频样本的类别，输出层采用Softmax分类函数预测类别概率，数学描述为

(4)

式中pcl——视频样本预测为cl的概率

cl——分类类别

K——类别数量，取3

acl——全连接分类层预测为cl的原始输出

模型采用交叉熵损失函数L进行训练，学习率设置为0.001。

2.4 评价指标

选取综合准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1值(F1 score)4个评价指标来评估本算法的性能。综合准确率表示预测正确的样本数量占总样本数量的比例，精确率表示预测属于某一类别的样本中预测正确的比例，召回率表示所有属于某一类别的样本被预测正确的比例，F1值则综合考虑了精确率和召回率，能够避免算法出现保守预测和暴力召回的情况。

3 结果与分析

3.1 循环网络选择

在SE-LRCN模型中，GRU网络的层数会直接影响模型的效果，如表3所示。在同样使用SE-CNN网络进行视频特征提取的情况下，随着GRU网络层数的增加，模型的评价指标均有一定的提升。当GRU层数从1层上升为2层时，模型的准确率提升了7个百分点；当层数从2层提升为3层时，模型准确率只提升了0.5个百分点。考虑到GRU网络层数提升带来的计算量和参数量，本文最终选择采用两层的GRU网络进行视频帧特征的分类。

表3 不同GRU网络层数下模型性能Tab.3 Model performance at different layers of GRU networks %

循环神经网络的类型同样会影响模型的效果，本文选择GRU、LSTM和RNN[28]3种典型网络结构进行试验，均采用SE-CNN网络进行视频特征提取，并使用双层网络结构，对比结果如表4所示，双层GRU网络结构在各项指标下均优于其他2种网络结构。

表4 不同网络结构下模型性能Tab.4 Model performance at different types %

3.2 SE-LRCN模型结果分析

SE-LRCN模型在验证集上的准确率达到97%，精确率达到95.7%，与改进前LRCN模型相比，准确率提高12个百分点(表5)，精确率提高15个百分点，召回率提高9.8个百分点，F1值提高12.4个百分点，各项指标都有明显的提升。

表5 SE-LRCN与LRCN模型性能对比Tab.5 Experiment results comparison between SE-LRCN model and LRCN model %

由表3～5可知，原始的LRCN网络仅依靠卷积神经网络进行视频特征的提取，特征提取能力有限。SE模块的引入能够整合特征通道的重要程度，有效提升CNN的表示能力，极大地提高了网络的性能。GRU相较于LSTM网络具有参数量少等特点，在数据量大的条件下，LSTM强大表达能力可能会产生更好的结果。但本文数据集的样本数量较少，结构简单、参数少的GRU网络能够更好地泛化。双层GRU网络结构与单层相比具有更加强大的表达能力和学习能力，能够更好地处理具体有时序信息特征的问题。

4 结论

(1)搭建了开放式养殖池塘水上鱼群摄食视频数据集，为后续视频分类模型训练提供数据支撑。

(2)对传统的LRCN视频分类模型进行改进，将注意力机制应用于视频分类中，提出了SE-LRCN模型，适用于数据集数量较少的场景。

(3)利用搭建的开放式养殖池塘水上鱼群摄食视频数据集对SE-LRCN模型进行训练，最终在验证集上准确率达到97%，与改进前LRCN模型相比有较大的性能提升。

(4)模型实现了针对开放式养殖池塘水上鱼群摄食强度的三分类，能够较为全面地表现鱼群的摄食状态。