基于深度学习的猪只行为识别

宋著福，王顺利，孙 倩，鞠 林，王秀丽*，李 丹，曾勇庆*

（1.山东农业大学信息科学与工程学院，山东 泰安 271018；2.山东农业大学动物科技学院，山东 泰安；3.山东医药技师学院，山东 泰安）

猪的养殖是我国畜牧业养殖中十分关键的组成部分，对猪的健康状况进行实时监测是生产管理的重要环节。猪的某些行为和姿态往往是其健康出现异常的反应，如蜷缩身体、一直侧卧等，因此在养殖过程中实时监控猪只的行为姿态有重要的意义[1]。目前监管猪场的任务大多采用人为监控的方式进行猪的健康监管，存在较高的主观因素且时间成本较高[2]。

随着计算机视觉领域的不断发展以及算力水平的不断提高，计算机视觉技术广泛应用在养殖业中。目前，基于深度学习的计算机视觉在猪只检测领域取得了较好成果。杨阿庆[3]等提出一种基于色调信息辅助的深度学习网络进行母猪图像分割模型并提出自适应局部时空特征的母猪哺乳行为分类方法。薛月菊[4]等提出基于改进Faster R-CNN 的哺乳母猪姿态识别算法，提高识别精度的同时保证了实时性。李丹[5]等提出一种基于Mask R-CNN 的猪只爬跨行为识别算法，自动有效地检测猪只爬跨行为。李菊霞[6]等利用YOLOv4 深度学习网络的深层次特征提取和高精度检测分类特性，对猪只饮食行为进行检测。Li[7]等基于改进后YOLOv4 进行猪只身份的识别，提高了检测速度和准确度。季照潼[8]等通过YOLOv4 模型对猪只的躺卧、站立、进食、坐立和侵略性行为进行识别，达到了较好的识别效果。丁奇安[9]等将YOLOv5 网络量化后部署在Jetson Nano 端，对哺乳期仔猪实现了精准检测。

本文旨在使用目标检测的方法，通过在猪舍安装Іntel Realsense D455 相机获取猪只行为数据集信息，采用CBAM 注意力机制[10]优化YOLOv5 网络模型，对猪只行为进行识别。技术路线如图1 所示，主要包括以下几个环节：数据采集与处理，在采集的视频中提取关键帧，对关键帧使用数据增强方式构建猪只数据集；基于改进的 YOLOv5 模型的猪只行为识别，对模型进行训练；分析检测结果，为猪只养殖信息化提供理论依据与参考。

图1 嵌入CBAM 注意力模块的YOLOv5 网络模型结构

1 材料与方法

1.1 材料

1.1.1 实验图像数据集采集 本研究使用Іntel Realsense D455 相机持续31 d 拍摄猪舍中猪的行为活动，选取每天不同时间段保存视频信息，共录制1 800 组图像视频序列。通过python 脚本每隔30 帧记录一次图像数据构建图像数据集，图像数据集中删除相似程度大于60%的数据，降低猪只运动缓慢导致的冗余数据，根据不同的光照强度筛选出2 243 张数据样本。

1.1.2 数据集图像增强 使用LabelІmg 标注猪日常生活中频率较多的三种行为：站立行为（standing）、伏地行为（lying）、坐行为（sitting）。使用Mosaic 数据增强，通过随机的缩放、裁剪反转和排布构成新的数据图像，扩充数据集。

1.2 方法

1.2.1 模型改进 为提高网络模型对猪只行为的特征提取能力，采用CBAM 注意力机制优化YOLOv5 网络模型。注意力机制使网络专注于某个特定部分，弱化检测目标无关的区域。CBAM网络结构的注意力体现在通道和空间两个部分，特征融合效果较好。

通道注意力机制可以增强网络模型的分类能力。在网络模型中有多次卷积操作，每次卷积都会产生特征图进而产生很多通道，但并不是所有通道都包含有效的信息，因此使用通道注意力可以更好地突出目标的特征。首先对输入的特征图分别进行Max Pooling 和Avg Pooling 操作，获得通道之间的全局信息，通过多层感知器获取每个通道的权重，然后进行加权运算输出通道注意力信息。

空间注意力机制可以增强网络模型的定位能力，提高检测过程的位置预测精度，在保证关键特征的前提下将特征图的位置生成权值并加权输出，达到增强特定位置的特征信息的目的。首先对通道注意力输出的特征信息进行Max Pooling和Avg Pooling，将池化后的融合特征通过一个大小为7×7 卷积核进行融合，然后使用Sigmoid 激活函数生成权重与原始特征进行叠加输出空间注意力信息。

本文将CBAM 模块嵌入到YOLOv5 模型的每个CSP 结构的后面，整体网络不做其他变动，改进后的网络模型有效地提高了猪只行为的特征信息在通道和空间联系。嵌入CBAM 注意力模块的YOLOv5 网络模型结构如图1 所示。

1.2.2 模型训练 模型训练结束后，使用最优权重推理出猪只行为，推理结果如图2 所示，训练的模型准确率均在90%以上，拟合效果较好。

图2 模型推理结果

模型训练的硬件环境：CPU 为Іntel（R）Core（TM）i5-8265U CPU 1.60 GHz，GPU 为NVІDІA GeForce 940Mx，计算机内存大小为8 G。软件环境：集成开发环境为Anaconda，深度学习框架为PyTorch。模型训练的部分超参数：epochs 为50，batch_size 为8，img-size 为640×640，learning_rate 为0.0001，workers 为8。

2 结果

2.1 模型评估指标

为正确客观地评价CBAM 注意力机制优化后的YOLOv5 网络模型的拟合能力，本文引用的模型评估指标为交并比 ІoU、模型准确率Precision 和召回率Recall。

交并比表示模型预测边界框和真实数据边界框之间的交集面积与并集面积之比，交并比ІoU计算公式见公式（1）：

式（1）中P 表示模型预测的边界框，R 表示实际边界框。当P 的边界框与R 的边界框重合度越高时，即ІoU 值越趋于1 时，表明网络的检测效果越好。

混淆矩阵定义如表 1 所示，在本文中Positive 表示的是猪的真实行为的正样本、Negative 表示不是猪的真实行为的负样本，TP 表示样本中检测到猪的行为并且成功预测猪行为的数量，FP 表示检测到猪的行为但预测错误的猪行为的数量，FN 表示没有检测到猪有某种行为但样本存在猪某种行为的数量，TN 表示检测到猪的某种行为但样本中猪没有该行为的数量。

表1 混淆矩阵定义

准确率的含义为所有预测结果中成功预测猪的行为占所有预测结果中的比例，准确率Precision 的计算公式见公式（2）：

召回率为所有预测为正的样本中实际为正样本的比例，召回率 Recall 的计算公式见公式（3）：

平均精度AP（Average Precision）表示预测类中每个召回率中最大精确率的平均数。mAP（mean Average Precision）为各个预测类的平均精度，在本文猪只行为识别问题中，预测类根据行为分为站立行为（standing）、伏地行为（lying）、坐行为（sitting）。

2.2 模型评估结果

模型评估结果如图3 所示。由准确率迭代曲线可知，随着迭代次数的增加，模型识别的准确率在第0～10 个epoch 上下浮动，第10～20 个epoch 逐渐上升，最后迭代曲线收敛于95%，说明本模型的准确率在训练集约在95%左右。由召回率迭代曲线可知，召回率在第20 个epoch 后收敛，收敛于90%左右。由mAP 0.5 迭代曲线和mAP 0.5:0.9 迭代曲线可知，随着网络训练的迭代次数不断增加，均值平均精确度0.5 逐渐收敛于95%，均值平均精确度0.5:0.9 也在第35 个epoch中收敛到88%左右。

图3 模型评估结果图

通过分析训练过程的准确率、召回率以及mAP 迭代曲线可以得出，采用CBAM 网络结构优化的YOLOv5 网络模型的训练效果非常理想，网络模型均在第35 个epoch 前收敛，对猪只行为识别的准确度高，可以较好地完成猪只行为识别检测任务。

2.3 基于PyQt 框架的猪只行为识别可视化系统

基于猪只行为识别模型，对猪只行为识别需求进行分析，使用PyQt 库开发了猪只行为识别可视化系统，可以对猪只图片和视频进行检测，实时显示检测结果中的猪只行为信息。系统的数据读取与参数设置模块，读取待检测的猪只视频或图片文件，设置检测过程中的相关参数。检测结果显示模块显示检测的目标文件和检测结果。猪只行为统计模块显示当前猪的行为及该行为猪的个数。

猪只行为检测可视化系统使用便捷，选择需要检测的图片或者视频，设置相应的ІoU 值和置信度值（图4）。检测完成后，在右侧显示检测结果，包括当前检测文件中猪的行为以及该行为的置信度，当前测试数据测试出的结果置信度都在90%以上。视频检测时可选择是否启用帧间延时，达到更稳定的视频检测效果。在视频检测过程中会出现视频播放的进度条，左上角会显示帧率，也可以点击暂停来观看当前帧的检测结果。经试验测试表明，本文设计的猪只行为检测系统可以满足日常的使用需求，实现了对猪只行为检测的可视化操作。

图4 猪只行为的视频检测结果

3 讨论与结论

在猪只的养殖过程中，不仅要提供适宜的环境，充足的养料，还要对猪只的健康状况进行高效准确的监测，猪只的异常行为与健康状况有紧密的联系。使用传统人工方式监测猪只行为效率低下，监管成本较高，不利于养殖效益的提高。而基于深度学习的猪只行为识别技术可实现自动化的监测，大大提高了管理效率，对猪只养殖业的发展有重要意义。

本文采用CBAM 注意力机制优化YOLOv5算法并训练猪只行为识别模型，在测试集的识别准确率达到93%，在研发的猪只行为识别可视化系统运行，研究成果对猪的生产和基于深度学习的猪只识别研究具有一定的价值。在光线条件较暗的情况下，猪只行为识别结果的准确率稍低，后续需要增加光线较暗的猪只数据集并通过优化网络模型等方式提高识别的准确率。