基于深度学习的畜禽行为识别方法综述

敖 贵，朱立学，张世昂，陈品岚

（仲恺农业工程学院机电工程学院，广东 广州 510220）

0 引言

畜禽包括传统的家畜和家禽，主要指经人工驯化和养育，能正常繁殖后代，对人类有一定经济价值的野生动物[1]，主要以猪、牛、羊、鸡、鸭、鹅最为常见。2019 年，我国肉类、禽蛋、牛奶总产量分别达到7 649、3 309、3 201 万t，肉类及禽蛋总产量连年位居世界第一[2]。随着现代农业工程技术的发展，畜禽产业的设施化、自动化和智能化是必然趋势，而畜禽的行为识别是实现畜禽产业智能化发展的重要基础之一。畜禽行为识别被广泛用于判别畜禽健康状况、疾病预警、跛行等异常检测、发情检测、产前检测及高危动作识别等。结合精准畜牧的发展趋势和应用需求，动物信息智能感知与行为检测未来将向无接触、高精度、高自动化程度方向发展。计算机视觉因其非接触、信息量大等特点已经成为研究热点[3]。

近年来，国内外研究人员对基于计算机视觉技术的畜禽行为识别方法进行了研究[4-6]。SHANG等[7]为提高牛行为识别的准确性与泛化能力，提出了一种双注意机制下基于特征融合的轻量级网络结构，并优化网络损失函数，设计将余弦距离和欧氏距离相结合的动作识别算法。王明月等[8]使用YOLOv5s 网络模型对养殖场中牛只站立、躺卧、采食和饮水4 种日常行为识别，其识别效果可满足养殖场中牛只日常行为监测的需求，有助于智慧养殖的实现。FANG 等[9]提出了基于深度神经网络的姿态估计对肉鸡的行为进行分析，并建立贝叶斯模型对肉鸡的姿势进行分类和识别，最终通过肉鸡的行为诊断肉鸡疾病情况，获得肉鸡疾病预警。王凯等[10]针对传统蛋鸡行为检测操作复杂、分类单一、实时性差的问题，提出一种基于深度学习的轻量型蛋鸡行为检测算法TDYOLOv3，该算法适用于笼养蛋鸡行为的实时自动检测。以上研究结果都是基于静态图像来判断畜禽行为，并没有充分利用时域信息。在现实中，畜禽行为一般是一个连续的动态过程。

为解决畜禽目标的动态行为分析问题，研究人员开展了结合时空特征识别畜禽行为的相关研究。KASHIHA 等[11]通过背景差法定位猪只，并通过在固定时间内跟踪猪只来判断其运动状态。QIAO 等[12]通过牛的行为了解其健康状态、生育力和产量等，提出了一个深度学习模型来监测和分类牛的进食、探索、梳毛、行走和站立五种行为，模型利用C3D 网络提取3D 卷积神经网络特征，再应用Conv LSTM 进一步提取时空特征，最终模型可实现精准畜牧业的自动化行为分类。董力中等[13]为监测生猪行为提出了基于姿态与时序特征的猪只行为识别方法，分别使用了YOLOv5s 的猪只检测模型、轻量化OpenPose算法的猪只姿态估计模型和ST-GCN 算法的猪只行为识别模型，最终猪只行为识别模型的平均准确率为86.67%，证明此行为识别方法具有可行性。综上可知，现有的非接触式视觉检测畜禽行为识别方法主要有3 类，分别是基于传统图像处理技术、基于计算机视觉技术和基于姿态与时序特征的畜禽行为识别方法，本文对以上各类算法应用状况进行了梳理和对比。

1 基于传统图像处理技术的畜禽行为识别方法

作为一种无接触的视觉检测技术，图像处理技术已经广泛应用于自动监测畜禽的行为，以判断畜禽的福利和健康状况。该方法可以实现连续、自动和无接触地检测畜禽行为，只需连接几个摄像头就可以监控大部分区域[14]。图像处理技术在深度学习方法应用之前，基于手动设计特征的行为识别方法是主流方法，主要包括特征提取和行为分类，如图1 所示。首先，手动提取视频帧的全局或局部信息特征，然后再归一化后集成到同一标准长度向量的各种特征中，即使用K 近邻法等分类器对特征点进行分类[15]。

图1 手动特征的行为识别方法流程图

1.1 特征提取

特征提取可以分为手动设计和深度学习两种方式。手动设计方式也称为传统特征提取方法，该方法模仿人类视觉的流程提取图像中有区分能力的特征，每一维往往都有具体的物理含义。传统特征提取方法需要人工经验和领域知识来确定适当的特征，因此需要大量时间和工作来调整和改进特征。

特征提取是基于传统图像处理技术畜禽行为识别的关键步骤，如何提取图像底层视觉特征及提取什么样的特征在图像处理的各项任务中起着至关重要的作用，最常见的视觉特征包括颜色、纹理和形状等。XU 等[16]为了对猪的多种姿势(站立、坐姿、胸骨卧位、腹侧卧位和侧卧位)进行识别和评分，采用俯视图的Azure Kinect DK 深度相机获取猪的深度图像，并通过图像分割和目标物体标定的分水岭分割获得了目标猪图像。然后，根据图像的特征，得到凸包、边界以及肩部和臀部的深度距离，并计算出凸包周长与边界的比值、凸包面积与边界的比值、肩部与臀部的深度距离、肩部与臀部的深度距离比值作为分类模型的输入。

1.2 行为分类

行为分类的最终结果是获得图像或视频段中目标的行为类别，因此行为识别算法的设计就显得尤为重要，这一般取决于特征设计者的经验，主要有直接分类和基于模型分类。为了减少杂质和减轻计算量，直接分类方法首先降低特征行为的维数，然后结合支持向量机（SVM）和K 近邻方法对行为进行分类。SHEN[17]提出了一种实时监测奶牛反刍行为的方法，运用K 近邻法对牛是否有反刍行为进行分类，并自行设计边缘装置实时采集和处理奶牛三轴加速度信号，采用反刍识别算法实时计算特征集之间欧几里德距离的整体滑动几何均值，确定自适应阈值，并通过滑动窗口验证反刍行为。最后，在边缘设备端完成了对奶牛反刍行为的实时识别，其识别过程如图2 所示，达到了以下性能：精度93.7%、召回92.8%、F1-评分93.3%、特异性97.4%、准确度96.1%。

2 基于计算机视觉技术的畜禽行为识别方法

近年来，基于深度学习的方法在畜禽行为识别研究领域应用较多，其分层学习的特征是来自多个层的特征，并且自动构建原始输入，它与传统方法不同，特征提取过程自动完成，在基于姿态与时序特征的行为识别方法应用之前，基于计算机视觉技术的行为识别方法被广泛运用于猪[18-20]、牛[7-8,21-23]、鸡[9-10,24-25]等畜禽，并采用回归思想对图像进行全局预 测，如YOLOv3[26]，TD-YOLOv3[10]，YOLOv5[27-29]，Faster R-CNN[17，30-32]等算法首先将图片输入到网络模型中进行特征提取，然后在特征图上进行回归操作和行为分类。王凯等[10]提出的基于深度学习的轻量型蛋鸡行为检测算法TD-YOLOv3，该算法适用于笼养蛋鸡行为的实时自动检测，并对T-YOLOv3、YOLOv3 和TD-YOLOv3 综合性能进行比较，几种蛋鸡行为检测算法性能试验结果如表1 所示。

由于深度网络[33-36]具有从数据中自动学习特征的功能，因此，当训练样本足够多时，通过深度网络学习到的特征往往具有一定的语义特征，更适合于目标和行为识别。深度学习算法可以分为4 个体系：卷积神经网络、基于自编码的深度神经网络、基于限制玻尔兹曼机的深度置信网络和基于递归神经网络的深度神经网络[37]。随着深度学习技术的发展，卷积神经网络（CNN）[38]被广泛应用于图像特征提取，并且深度CNN 具有大规模图像的特征表示能力，促进了目标检测技术的进展。VggNet[39]，GoogLeNet[40]，ResNet[41]等都是流行的CNN 模型。颜色特征、纹理特征、形状特征和CNN 都已应用于猪的特征描述。薛等[18]提出基于改进Faster R-CNN 的母猪识别方法，即通过端对端的训练网络，同时实现哺乳母猪的检测及其站立、坐立、俯卧、腹卧和侧卧5 类姿态的分类，其改进的Faster R-CNN 网络结构如图3 所示。Fast R-CNN 通过卷积层和池化层提取每个感兴趣区域的特征，并输入后续的全连接层分别实现类别预测和位置回归，最终改进模型的平均精度高于ZF 网络和层较深的VGG16 网络。

3 基于姿态与时序特征的畜禽行为识别方法

3.1 基于LSTM的行为识别方法

卷积神经网络在静态图像的视觉识别中虽然有不错的效果，但对于行为识别只提取了最后1 层特征作为空间特征，导致复杂的网络和其他层的信息不能被有效地使用，缺乏对时空信息关系的考虑。长短期记忆神经网络（LSTM）是一种具有状态记忆和多层单元结构的循环神经网络，这种网络与一般的前馈神经网络不同，LSTM 可以利用时间序列对输入进行分析[42-45]。早期基于时序特征的行为识别方法主要用于人类研究，CHEN 等[46]提出一个空间掩码ConvLSTM 网络（SMConvLSTM-Net）来确定每个像素位置的注意力得分，利用SMConvLSTM-Net将空间和时间信息相结合用于视频中的人体动作识别。时间注意力更多地用于确定哪个帧对于动作识别更重要，而空间注意力通常被忽略，因为可以描述运动区域的是光流的输入。然而，光流的计算需要大量的时间和资源。SMConvLSTM-Net 能为特征图生成更具鉴别性的表征，具体而言，视频中的人类行为是3D 时空信号，使用ConvLSTM 长时间接受时空信息，不仅对时间变化进行编码，而且利用其中的卷积门提取空间特征。随着基于时序特征的行为识别算法的发展，该算法也逐渐运用到畜禽行为识别中，YIN 等[47]提出一种EfficientNet-LSTM 识别复杂环境中单头奶牛的运动行为算法，该算法在充分提取奶牛的行为信息后，将行为信息发送到Attention-BiLSTM模块，该模块集成注意力机制，实现视频帧在时间序列中的聚合，从而实现对奶牛的躺卧、站立、行走、饮水和进食5 种行为的识别，并且在自然场景中的识别准确率高达97.87%。QIAO 等[12]提出了一种基于C3D-ConvLSTM 的视频数据行为分类方法。通过利用三维卷积和ConvLSTM 的优势来捕获远距离的空间和时间动态，所提出的方法可以显著提高行为分类的准确性。该方法使用30 帧视频长度在犊牛和奶牛数据集上的分类准确率分别达到90.32%和86.67%。

3.2 基于ST-GCN的行为识别方法

时空图卷积网络（ST-GCN,Spatial Temporal Graph Convolutional Networks）是一种通过提取骨骼关节点在时间和空间上的特征，对动态人体骨架建模完成动作识别的方法[48-50]，该方法现已开始运用到畜禽的行为识别中。基于骨骼模型的方法往往具有较高的识别率，CHAUDHRY 等[51]提出一种动态三维骨骼特征识别方法来识别人类动作，对几个人类活动骨骼数据集的实验效果良好。动态的人体骨骼通常会向其他人传达重要的信息，可以自然地以2D 或3D 坐标的形式表示为人体关节位置的时间序列，并通过分析人类的运动模式来识别人类的动作。基于LSTM 的行为识别方法其结合了时序与空间特征信息对行为识别方法进行研究，但没有结合骨架姿态信息，在早期的骨骼运动识别方法中，使用了单时间步长的关节坐标形成特征向量后进行时间分析，并没有明确利用关节之间的空间关系。YAN 等[50]通过将图神经网络扩展到时空图模型设计一种用于动作识别的骨架序列通用表达，称为时空图卷积网络（ST-GCN）。该模型基于一系列骨架图，其中每个节点对应于人体的一个关节，并在此基础上构建多层时空图卷积，实现信息在时空维度上的整合，进而可以对人体行为进行识别。基于骨架的人体动作识别由于其表现的有效性而受到了广泛的研究关注，并有着广泛的实际应用和发展，如文献[52]提出了一种用于基于骨骼的动作识别的时空图路由（STGR）方案，该方案自适应地学习物理部分骨骼关节的固有高阶连接关系，并自然无缝地结合到图卷积网络（GCN）的框架中；文献[53]提出了动作结构图卷积网络（AS-GCN），其为了捕获更丰富的依赖关系，引入一种称为A-link 推理模块的编码器-解码器结构，以直接从动作中捕获特定于动作的潜在依赖关系，还扩展了现有的骨架图，以表示高阶依赖关系。随着时空图卷积网络的发展，其在人类行为识别之外也有了相关研究，ZHAO 等[54]提出使用时空图卷积网络自动识别四足动物行为以增强福利，该研究构建了第一个基于骨骼的动态多物种数据集（Animal-Skeleton），而且还提出了一种新颖的方案，通过神经架构搜索（NAS）自动设计最佳的时空图卷积网络（GCN）架构来执行动物行为识别。董力中等[13]为了实现对猪只行为的识别，利用了猪只的姿态特征与时序特征相结合，提出了基于猪只姿态估计和时空图卷积的猪只行为识别方法，实现了对猪只站、走、卧3 种行为的识别。首先，猪只的骨架提取是关键步骤，要设计猪只骨架关键点和关键点连接关系，构成猪只骨架特征，如图4（a）所示，才能根据骨架特征进行后续的猪只姿态估计；然后，如图4（b）所示，将每一帧图像经过姿态估计模型提取出的猪只骨架按帧排列，且将每两个相邻帧之间同一关节点相连，得到一个包含时间和空间信息的猪只骨架关节序列时空图；最后，提取的骨架时空图被输入到ST-GCN 网络中，并逐层对骨架时空图进行卷积操作，再通过一个标准的Softmax 分类器输出相应的动作类别，如图4（c）所示。

图4 基于姿态与时序特征的猪只行为识别方法

4 结语

尽管畜禽行为识别已经有了许多优秀的研究，但如畜禽身体姿势的多样性和复杂性、遮挡和背景杂波等混杂因素，意味着在理解视频流的背景下，真实场景中的行为识别仍然具有挑战性。本文对畜禽行为识别研究的主要结论为：①在行为识别研究中，首先要选择合适的数据来捕捉动作，此外，应该使用合理的算法来识别畜禽行为；②对于畜禽动作特征学习问题，基于深度学习的方法具有更好的性能；③时空维度的快速行为检测可以考虑使用时空图卷积网络，由于骨架数据本身就是一个自然的拓扑图数据结构，可使处理图片信息变为处理几个关节点信息，从而能减少计算量。

近年来卷积神经网络技术在动物行为识别领域有突飞猛进的发展，首先是在人体行为识别上得到应用，随后有研究者借鉴人的行为识别理论和方法，开始探索畜禽行为识别的可行性，出现了许多用于畜禽行为识别的方法。传统的行为识别方法对于目前基于深度学习的技术具有较好的指导作用，例如基于深度学习的畜禽行为识别方法得到了不断的提升。随着深度学习技术的发展，很多计算机视觉领域的技术难点得到解决，如目标检测任务、特征提取任务等，推进了畜禽行为识别技术的发展。目前基于深度学习的畜禽行为识别方法对象主要是鸡、牛、猪等畜禽。相信未来基于深度学习的畜禽行为识别方法的研究会越来越深入，应用对象越来越广泛，这类方法可能会推广到诸如鸽子、斑鸠等经济动物，推动产业升级发展。