基于YOLOv5s的农田垃圾轻量化检测方法

邢洁洁，谢定进，杨然兵※，张喜瑞，孙文斌，伍世斌

基于YOLOv5s的农田垃圾轻量化检测方法

邢洁洁1，谢定进1，杨然兵1※，张喜瑞1，孙文斌2，伍世斌1

（1. 海南大学机电工程学院，海口 570228；2. 海南大学信息与通信工程学院，海口 570228）

针对目前垃圾检测算法在农田复杂环境下检测精度不高、检测效率低，模型复杂等问题，该研究提出了基于YOLOv5s的农田垃圾轻量化检测方法。首先，使用轻量级分类网络ShuffleNetV2的构建单元作为特征提取网络，降低模型的计算量和参数量，提高运行速度，以满足移动端的应用要求；其次，为应对模型轻量化后带来的检测精度降低，该文相继对ShuffleNetV2的构建单元进行了卷积核扩大化改进和激活函数优化，在增加部分计算量的前提下提高了模型精度；此外，为增强模型在田间环境下对目标的精准定位能力，该研究针对边界框损失函数进行了优化，将CIoU边界框损失函数高宽纵横比的损失项拆分为预测框的高宽分别与最小外接框高宽的差值，然后通过不断迭代减小差值，提高模型的收敛速度和回归精度。试验结果显示，最终的改进模型检测精度达到了90.9%，此时检测速度为74 ms/帧，计算量仅为3.6 GFLOPs，与当前主流的目标检测算法SSD、YOLOv3等相比，不仅具有更优越的检测精度和推理速度，同时还大幅减少了计算量；最后，将改进前后的模型部署到Jetson TX1和Raspberry 4B 两种边缘计算设备上进行测试，测试结果表明，改进后的YOLOv5s模型在边缘计算设备上的检测速度相对原模型提高了至少20%，同时保持了较好的检测效果，平衡了边缘计算设备对精度和速度的性能需求，为田间垃圾检测任务提供了参考。

神经网络；垃圾；目标检测；YOLOv5s；轻量化；损失函数；边缘计算

0 引 言

在现代农业生产中，地膜、农药等农资产品发挥着重要作用，有效保障了农作物的快速生长[1-2]。但是农资产品在使用的同时会产生废弃垃圾，如地膜残留碎片、农药废弃瓶、种子包装袋等。由于使用者处理不科学，随处丢弃，导致田间地头积攒了大量的废弃垃圾，给土壤环境和水质带来了严重破坏[3-4]。为了遏制农田垃圾带来的生态破坏，保障农业可持续发展，有必要对农田垃圾进行智能分拣。目前农田垃圾的分拣仍依赖人工，工作强度大、效率低，且存在一定的危险性。随着智慧农业和人工智能技术的快速发展，农田垃圾拾捡智能化势在必行。当前，农田垃圾智能分拣研究仍处于探索阶段[5-6]，然而，实现田间复杂环境下的垃圾精准识别是完成智能化分拣的基础，具有重要的研究意义。

随着深度学习理论的不断深入发展以及软硬件性能的提高，卷积神经网络被应用于诸多领域[7-8]。有关垃圾检测的算法也被相继提出。Liu等[9]基于YOLOv2网络进行了轻量化改进，然后将改进模型移植到嵌入式模块中实现垃圾的自动检测，该方法相对传统的监控系统，不仅降低了成本，还提高了检测精度；Zeng等[10]提出了一种新的高光谱图像分类网络MSCNN（Multi-Scale Convolutional Neural Network，MSCNN），对高光谱图像的像素进行分类并生成二值垃圾分割图，最后再通过垃圾分割图提取垃圾所在的区域位置和大小；Wang等[11]在Faster-RCNN上应用了一种新的数据融合和增强策略，试验结果表明，经过训练后得到的模型具有良好的泛化能力和高精度检测能力，能准确检测出城市中的垃圾；Gou等[12]在YOLOv4的特征提取网络中加入了CBAM注意力模块，并引入了焦点函数Focal loss，解决了原网络模型检测精度不高，不同数量的类别性能差异大的问题，最终的试验结果也验证了所改进检测器的有效性；Deng等[13]在Mask R-CNN网络的基础上，引入了空洞卷积以及空间通道注意力机制模块，提高了模型对小目标的特征提取能力，同时还在原始网络的基础上优化了IoU计算，提高了实例分割的准确性；王子鹏等[14]为解决智能垃圾桶检测效率低的难题，将轻量级分类网络MobileNetv3代替掉YOLOv3的主干网络Darknet53，并增加空间金字塔池化结构和检测输出层，最终在减小网络模型复杂度的同时保证了模型检测精度。虽然以上研究在垃圾检测方面已经取得了很大的进展，但关于农田环境下的垃圾检测研究较少，本文就现有模型在农田复杂环境下垃圾检测精度不高、检测效率低、模型复杂的问题，开展了关于农田垃圾的轻量化检测研究，通过轻量化特征提取网络的方式来达到降低模型复杂度，提高运行速度的目的。此外，为提高田间环境下的模型检测性能，对检测模型的边界框损失函数进行了优化，减小田间检测时的目标定位误差，以此满足田间复杂环境下的垃圾检测任务需求。

1 图像获取与预处理

本文的检测对象为农田常见的地头垃圾，数据集主要由农药废弃瓶，农药袋和种子包装袋，地膜残块三种类别组成。采集设备为一台HONOR 20Pro，拍摄图像像素大小为4 000×3 000。拍摄时，为了接近移动检测平台板载相机的离地面高度，使其获得与移动平台板载相机相同的图像视野，相机离地面水平高度为50 cm，共拍摄了1 000张图片。为了减小计算负担和适应移动检测平台板载相机的分辨率，这里将采集到的图像统一处理为640×640像素。部分数据样本如图1所示，采集场景包括晴天、多云、阴天，目标半体被泥土掩埋，杂草遮挡等多种不同环境状态，尽可能提高训练模型在不同环境下对图像的辨识能力。

a. 晴天a. Sunb. 杂草遮挡b. Weeds shadec. 泥土掩埋c. Dirt burial

由于大田环境复杂，田地垃圾的风化程度，目标表面被泥土污染程度以及日照强度等干扰因素都会影响目标辨识度，因此，为提高模型的泛化能力，如图2所示，从拍摄的图片中选出了部分样本进行亮度增强、噪点添加以及模糊化处理，提高样本的多样性。

图2 数据处理

最终将数据集扩充到了1 500张，其中80%作为训练集，20%作为验证集。

2 农田垃圾检测方法

2.1 农田垃圾检测模型网络结构

在移动端的检测任务中，检测精度和检测速度以及模型体积占用内存空间的大小是衡量模型是否能应用在工程上的重要参考指标，由文献[15]可知，YOLOv5s是一种性能优异的单阶段目标检测算法，它集成了YOLOv1-YOLOv4算法的优点，具有检测精度高、推理速度快、模型体积占用缓存空间小的特点。目前在目标检测领域也获得了广泛应用[16-17]，因此，YOLOv5s非常适合作为本次研究的基础算法，考虑到移动端边缘计算设备的计算能力和内存空间的大小，本研究基于YOLOv5s做了进一步的适应性改进，优化了模型性能。改进后的网络结构如图3所示。

注：CBRM表示由卷积层Conv、BN层(Batch Normalization)、Relu激活函数以及池化层(Maxpool)组成的卷积模块；CBS表示由Conv、BN以及SiLU激活函数组成的卷积模块；S_Block表示轻量级网络单元模块；s=n表示卷积步长为n；Concate表示特征图融合；Upsample表示上采样；P3、P4、P5表示3个不同尺度的检测头。

由图3可知，基于改进YOLOv5s的农田垃圾检测模型网络结构分为4部分，即输入端（Input）、特征提取网络（Backbone）、特征融合网络（Neck）和检测输出（Prediction Head）端，输入端保留了原YOLOv5s模型的图像预处理方式和锚框生成机制优化策略，包括Mosiac数据增强、自适应锚框计算、自适应图片缩放[18]；为了降低模型计算量和参数量，提高运行速度，本文使用轻量级网络单元模块S_Block进行农田垃圾的特征提取，该模块是通过改进轻量级分类网络ShuffleNetV2[19]的构建单元而得到的特征提取模块，能在保持检测精度的前提下降低模型复杂度；特征融合网络沿用了YOLOv5s的结构，通过FPN（Feature Pyramid Networks, FPN）[20]和PAN（Path Aggregation Network, PAN）[21]的组合结构，实现了模型从不同主干对不同检测层的参数聚合；输出端设置了3个不同尺度的检测头，主要对不同大小的特征图进行目标位置、类别、以及置信度的判断，并输出具有目标类别和预测边界框标记信息的相应向量。

2.2 特征提取网络

2.2.1 特征提取网络轻量化

在原YOLOv5s检测模型中，其特征提取网络使用的是CSP-Darknet53结构，该结构通过跨阶段连接的方式将基础层的特征映射合并，加深网络的同时避免了梯度爆炸和梯度消失。然而，虽然深层神经网络能够增强模型的特征提取能力，但是，由于边缘计算设备计算能力有限，基于ARM的移动设备无法承担繁重的计算量，模型复杂度过大反而会影响最终的检测性能。基于此，本文对YOLOv5s的特征提取网络进行了轻量化改进。如图4所示，图中的两个网络单元是轻量级分类网络ShuffleNetV2的构建单元，沿用了ShuffleNetV1[22]的通道混洗（Channel Shuffle）和深度可分离卷积操作，在降低计算量的同时提高了检测精度。在图4a的基本单元中，当特征图输入时，网络单元先对其进行等通道划分，分为两个分支，其中一个分支直接向下传递，另一个分支则依次经过3个步长为1的卷积，且输入输出通道数相同，降低了内存访问量，其中，两个1×1卷积是常规卷积，3×3卷积是深度可分离卷积的深度卷积（Depthwise Convolution，DWConv），与普通卷积不同，深度可分离卷积由深度卷积和逐点卷积构成，深度卷积的每个卷积核都有对应的输入输出通道，计算量和参数量是原来的1/（为输入通道数），其卷积产生的分组数量等于输入通道数量，而逐点卷积本质上为通道的1×1卷积，在深度卷积后使用，弥补DWConv卷积缺少的特征交互过程，因此，相比于常规卷积，深度可分离卷积的参数量和计算成本更低[23-24]。卷积完后，两个分支会进行拼接操作，通道数相加以及特征融合，最后再进行通道随机化，使得各通道之间的信息相互流通；与基础单元模块不同，图4b的下采样单元中，取消了通道切分操作，特征图直接输入到两个步距为2的分支中进行高宽降维，输出后再进行拼接操作，此时特征图高宽减半，通道数扩增了一倍，加大了网络宽度，在不显著增加计算量的情况下提高了网络的特征提取能力，最后再进行通道随机化，加强各通道之间的信息融合。

2.2.2 卷积核扩大化

特征提取网络使用图4的网络单元进行重构后，由于网络深度和卷积数量的减少，新模型的计算量和参数量相对原模型将会大幅削减，对应的特征提取能力也会减弱，这将容易造成特征图部分细节特征丢失，从而影响最终的检测精度。在神经网络中，感受野是影响网络性能的重要指标，更大的感受野可以提取到更多的细节特征[25]，因此，可通过扩大感受野来提高模型的检测精度，感受野的反向计算式如式（1）所示。

式中R是第层卷积层的感受野；R1是第+1层的感受野，S是第层的卷积步长；K是第层的卷积核大小。感受野的大小不仅卷积核大小有关，还与卷积步长有关，当步长过大时会影响卷积层对细节特征的提取，造成部分边缘特征丢失，因此本文将图4中网络单元的卷积步长保持不变，将深度卷积（DWConv）的卷积核进行扩张，即将3×3的卷积核尺寸改为5×5，增大网络感受野，使其提取到高层语义信息，提高模型精度。

注：Channel split表示通道切分；BN表示批量归一化操作；ReLU是激活函数；Conv表示卷积；Concate表示通道相加，特征融合；Stride=2表示使用步长为2的深度卷积实现空间下采样。

Note: Channel split means channel slicing; BN means batch normalization operation; ReLU is the activation function; Conv represents convolution; Concate means channel addition and feature fusion; and Stride=2 means using depth convolution with step size of 2 to realize spatial down sampling.

图4 ShuffleNetV2构建单元

Fig.4 ShuffleNetV2 building block

2.2.3 激活函数优化

在多层神经网络中，激活函数承担着神经元上下节点间由线性向非线性转化的任务，非线性激活函数具有较强的网络逼近能力，能够促使深层神经网络的表达能力更加强大，由图4的网络单元模块可知，网络中使用了ReLU非线性激活函数，该激活函数具有加快收敛速度，缓解梯度消失等优点[26]。如图5所示，当神经元激活值进入负半区时，ReLU激活函数输出截断为零实现非线性，此时梯度为0，容易出现部分神经元坏死的现象，从而使网络变得稀疏。当函数处于正半区时，梯度始终为1，不会出现梯度饱和、梯度消失的问题。因此该函数只能靠输入小于0时实现非线性，相比之下，SiLU激活函数全域不存在单调增减的情况，该函数无上界，有下界，具有较好的非线性能力和自稳定特性，既保留了ReLU激活函数的优点，又能有效提高深层神经网络的表征能力。基于此，这里将SiLU激活函数引入到图4的网络单元中，替换掉ReLU激活函数，提高模型的检测精度。

图5 激活函数对比图

2.3 农田垃圾识别模型优化

目标检测任务中目标定位是实现准确识别的关键，需要依赖边界框回归模块来完成定位任务，而边界框回归是指使用矩形边界框去预测目标在图像中的位置，然后不断细化预测边界框的位置，这个过程在神经网络中需要依靠边界框损失函数来完成预测框位置的修正。在本文的农田垃圾检测任务中，由于田间环境复杂，在一定程度上会影响目标的定位精度，为解决这一问题，本文研究了边界框损失函数对模型性能的影响，希望通过优化边界框损失函数，减小目标定位误差。

注：ρ表示预测框和真实框中心点坐标之间的欧氏距离，b、bgt分别代表预测框和真实框的中心点，c代表的是能够同时包含预测框和真实框的最小闭包区域的对角线距离。

在原YOLOv5s检测模型中使用的是CIoU边界框损失函数，如图6所示，该损失函数通过最小化预测框和真实框两个中心点的距离来实现回归过程，于此同时，为了加快收敛速度，CIoU损失函数还增加了高宽纵横比的损失项，尽可能的保证预测框和真实框的高宽纵横比更为接近。具体计算方法如式（2）～（5）所示：

式中是衡量预测框和真实框高宽比例差值的归一化参数，值在0到π/4之间，是衡量高宽比例损失和IoU损失的平衡因子。但根据的定义可知，反应的是预测框和真实框纵横比的差异，预测框回归过程中，一旦预测框和真实框的高宽纵横比呈现线性比例时，=0，此时CIoU损失函数的损失项便不再起作用。除此之外，由于关于预测框的高和宽偏导正负符号相反，这将导致预测框的高和宽一个增大，另一个必然减小，高宽不能同时增加或减少，抑制了模型的回归优化速度。为促使模型在复杂的田间环境下能具有更精准的目标定位能力，针对上文所提到的问题，本文引入了EIoU[27]边界框损失函数，在CIoU边界框损失函数惩罚项的基础上将预测框和真实框纵横比的损失项拆分成预测框的高宽分别与最小外接框高宽的差值，通过最小化差值使得模型具有更快的收敛速度，并提高预测框的回归精度。EIoU的损失计算如式（6）所示：

式中C、C分别表示覆盖真实框和预测框的最小外接框的高和宽，IoU、L、L分别表示预测框和真实框的重叠损失、中心点距离损失、以及高宽损失。

3 试验与结果分析

3.1 训练环境与方法

本文模型均在Window 10操作系统下进行训练，主机CPU为Intel i5-10500，GPU为NVIDIA GTX 3060显卡，显卡内存大小为12 G，采用Pytorch深度学习框架，CUDA版本为11.1。

由于数据集较小，为了防止过拟合且加快收敛速度，本文使用预训练权重进行迁移学习，并使用随机梯度下降法(Stochastic Gradient Descent, SGD)作为优化器来对神经网络进行优化，加快训练过程。试验初始学习率设为0.001，批量大小为32，权重衰退系数设为0.001，动量因子设为0.95，共迭代300轮。

3.2 评价指标

召回率（）表示分类器中正确预测数量占总正例的比例，如式（8）所示：

式中TP表示被正确划分的正样本，FP表示被错误划分的负样本，FN表示被错误划分的正样本。

3.3 试验结果分析

3.3.1 特征提取网络轻量化改进结果分析

本小节主要对2.2节做的轻量化改进方法进行验证和分析。由于现有模型计算量和参数量大，占用芯片内存空间，且运行效率低下等原因影响了模型在移动端的应用部署，为使农田垃圾检测模型能满足移动端应用的需要，本次研究基于YOLOv5s做了轻量化改进并进行了相关试验，试验结果如表1所示。

表1 主干网络轻量化消融对比试验

注：“×”表示不使用该项改进因素，“√”表示使用该项改进因素；Version_1表示原YOLOv5s模型的主干网络由ShuffleNetV2的网络单元重构。

Note: “×” means not to use the improvement factor, “√” means to use the improvement factor；Version_1 indicates that the backbone network of the original YOLOv5s model is reconstructed by the network unit of ShuffleNetV2.

根据表1的消融对比试验可知，YOLOv5s模型经过轻量化改进后，计算量、参数量以及模型体积都得到了大幅度的降低；同时，由于特征提取网络轻量化后，网络深度降低，卷积数量减少，主干网络的特征提取能力减弱，最终模型精度降低了3.2%。为恢复模型精度，该文将轻量级网络单元模块的卷积核进行扩张，并引入SiLU激活函数对该模块进行优化。由表1可知，当卷积核尺寸增大为5×5后，检测网络的感受野增大，特征提取能力增强，在增加5.5%计算量的前提下换来了0.6%的精度提升，其增幅较小。分析原因在于，增大感受野后，伴随着分辨率的降低，较小的目标特征提取困难，容易被忽略或误判为背景，无法得到有效识别，而稍微大一点的物体就能被检测出来，因此获得了较小的提升；此外，SiLU激活函数的引用也加强了网络的非线性表达能力，进一步提高了模型精度，最终检测精度达到了89.1%，与原YOLOv5s模型差异不大，但此时模型体积仅为3.31M，相比原YOLOv5s模型减少了占用75.8%的缓存空间，为移动端的部署提供了模型选择。

3.3.2 损失函数优化结果分析

为了验证EIoU边界框损失函数在本文数据集中的性能优于CIoU，能够适用于田间复杂坏境下的垃圾检测任务，在经过特征提取网络轻量化和精度恢复措施后，本文继续对比了CIoU以及EIoU两种边界框损失函数对模型性能的影响，所有模型均经过300次迭代后，各模型的边界框损失曲线和检测精度曲线如图7所示。

由图7可知，在相同的迭代次数下，CIoU和EIoU的边界框损失值和检测精度值差异较小，他们都是通过最小化预测框和真实框两个中心点的距离来为预测框提供移动方向，并优化了预测框的重叠损失，中心点距离损失，以及高宽损失，具有较快的预测回归过程；但从图中曲线来看，EIoU损失函数具有更高的检测精度和更快的收敛速度。分析原因在于EIoU边界框损失函数能将预测框的高宽同时放大或缩小，使得预测框与真实框的高宽之差最小，因此其预测回归过程的效果更好。

图7 边界框损失曲线和mAP曲线

3.3.3 模型有效性分析

该文研究了模型轻量化和边界框损失函数优化后对模型性能的影响，为了验证最终模型的有效性，本文就不同影响因素下分析了模型的各项性能指标，包括召回率，各个类别的平均精度AP以及平均精度均值mAP，具体数据详情如表2所示。

从表2中可以看出，本文的最终改进模型具有最高的mAP值和召回率，分别达到了90.9%和90.8%，说明本文的改进措施对模型产生了积极作用，有效提高了识别精度；从单个类别的检测精度来看，地膜残块的平均精度在各个模型中都处于最高值，分析原因在于这种类别的特征较为明显，前景和背景色差较大，从而获得了较好的学习效果；其他两种类别中，废弃袋在各个模型中的检测精度都较低，分析原因在于废弃袋边缘特征较少，且由于目标主体表面受到长时间的风化影响和淤泥污染，特征提取困难，容易将其误识别为背景，因此该类别的平均精度较低。然而，在同等条件下，农药废弃瓶具有更规则的边缘特征，且和背景之间具有层次落差，因此农药废弃瓶的检测精度要比废弃袋略高。综合上表中各个模型的综合检测性能可以看出，本文最终的改进模型检测性能更佳，可满足实际检测的需求。

表2 模型有效性分析

注：“×”表示不使用该项改进因素，“√”表示使用该项改进因素；Ours表示本文的最终改进版本。下同。

Note: “×” means not to use the improvement factor, “√” means to use the improvement factor; Ours represents the final improved version of this article. Same as below.

为了更加直观的展示本文最终改进算法的有效性，针对YOLOv5s和本文的最终改进模型使用了类激活热力图对输出层进行可视化分析，根据某一区域亮度的深浅直观的了解这一区域对预测输出产生的作用权重大小。网络模型对图像中各区域的响应程度如图8所示。

从图8可以看出，YOLOv5s模型在复杂的田间坏境下容易受到图像背景的干扰，如石块、杂草等色彩饱和度较高的干扰物，在一定程度上影响了最终的判断结果，而本文的最终改进模型能够减轻背景的影响，更多的关注目标主体部分，这将有利于获得更高的召回率，由此也证明了本文最终改进模型的优越性。

3.3.4 不同检测算法对比

为了验证YOLOv5s及其改进模型相对其他目标检测模型的优越性，本文研究了目前几种主流的目标检测算法在当前数据集中的性能表现，包括单阶段目标检测算法SSD，YOLOv3，以及文献[30]中基于YOLOv5s和MobileNetv3网络组合形成的轻量化改进算法，比较结果如表3所示。

表3 不同检测算法性能对比

由表3可知，虽然SSD相比于其他目标检测算法，获得了最快的检测速度，但其检测精度太低，平均精度均值只有78.9%，无法满足正常的需求；而在表中的YOLO系列算法中，YOLOv3拥有最大的计算量和模型体积，严重占用了芯片的计算资源和缓存空间，不符合移动端应用部署的条件；YOLOv5s和文献[30]中基于YOLOv5s的轻量化改进算法在各方面的性能指标都相差不大，但其综合性能仍不及本文的最终改进算法，本文最终改进模型的平均精度均值相对于基线模型YOLOv5s提高了1.5%，推理速度提高了5.1%，计算量和模型体积都降低了70%以上，在满足移动端设备应用要求的同时还节省了计算资源和缓存空间。

图9 多种算法检测效果对比

图9对比了表3中几种目标检测算法的实际检测效果。从检测效果图中可以看出，本文所改进的YOLOv5s模型具有较高的回归精度和检测置信度，且对图像的边缘检测能力要强于其他目标检测算法。综上所述，本文所提出的检测模型在大田环境下具有更强的适应性。

4 平台部署与验证

为了进一步验证改进模型在移动端的有效性，本文将YOLOv5s改进前后的模型部署到搭载了边缘计算设备的移动检测平台上，并在海南大学农业试验田内进行测试，如图10所示。该平台采用STM32四轮驱动控制，配置有Astra S深度相机，可搭载Jetson、树莓派等多种边缘计算设备，其中Jetson系列属于中高端计算设备，具备显卡加速功能，成本较高；树莓派属于低端计算设备，成本较低，应用广泛。本文选用Raspberry 4B和Jetson TX1两种常用的边缘计算设备进行模型部署与验证，两种设备均运行Linux系统。为了在移动检测过程中能获得较为清晰的图像，减少杂草，石块等障碍物的干扰，相机放置高度离地50cm，拍摄角度设置为俯视45°，这里的相机选用的是Astra S深度相机的RGB摄像模式。

图10 移动检测平台

表4为YOLOv5s改进前后分别在Raspberry 4B和Jetson TX1上的检测速度对比情况，在树莓派4B上，受限于设备本身的计算能力，检测速度较慢，但最终改进模型的检测速度相对原模型提升了22.1%，提升效果明显；在Jetson TX1上，检测速度较快，改进后的模型检测速度相对原模型提升了20.5%，进一步增强了Jetson TX1的实时性效果。由图11可知，改进后的模型在边缘计算设备上也保持了较好的检测效果，与训练结果保持一致，检测置信度较原模型略有提升。

表4 模型在边缘计算设备上的检测速度对比

图11 模型在边缘计算设备上的检测效果对比

综上可知，改进后的模型部署到Raspberry 4B和Jetson TX1两种边缘计算设备上检测速度均有较大的提升，证明了该轻量化模型在移动设备上具有较好的适应性。结合现场的实际效果来看，检测高效，目标识别精准，可满足实际应用中准确性和高效性的要求，具有较好的应用价值。

5 结 论

本文针对农田环境下垃圾检测精度不高、检测效率低，模型复杂等问题，提出了一种基于YOLOv5s的农田垃圾轻量化检测方法。1）该方法通过引入ShuffleNetV2的构建单元作为特征提取网络的基本单元，大幅削减了模型的计算量和参数量，节省了计算资源和缓存空间，提高了检测速度；2）为消除模型轻量化后带来的精度下降，首先，将轻量级网络单元的卷积核进行扩张，增大网络的感受野，增强模型的特征提取能力，其次，利用SiLU激活函数较好的非线性，提高了深层神经网络的表征能力，由此恢复了模型精度。3）由于田间环境复杂，为了减小目标定位误差，该文引入了EIoU边界框损失函数，该函数基于CIoU将预测框和真实框纵横比的损失项拆分成预测框的宽高分别与最小外接框宽高的差值，通过不断迭代减小差值加快模型的收敛，提升回归精度，最终模型检测精度达90.9%，检测速度为74 ms/帧，与其他目标检测算法相比具有一定的优势；4）为验证改进的模型在移动端的检测效果，将改进前后的模型部署到Raspberry 4B和Jetson TX1两种边缘计算设备上进行测试，测试结果表明，最终的改进模型具备较好的检测效果，检测速度相对原模型也具有较大的提升。虽然本文的研究对象为农田垃圾，但文中所提出的检测策略也可应用于类似环境下的目标检测任务，解决类似的问题。

[1] 陈琦，赵敏娟. 国内外农药对农产品安全的影响及农户安全生产行为评述[J]. 北方园艺，2012(21)：196-202.

Chen Qi, Zhao Minjuan. Review on the influence of pesticides on the safety of agricultural products and the safe production behavior of farmers at home and abroad [J]. Horticulture in North China, 2012(21): 196-202. (in Chinese with English abstract)

[2] 王文军，俞成乾，张桂娥. 农村资源利用与环境保护[M]. 北京：中国农业科学出版社，2020：161-164.

[3] 马廷新，张广东. 马铃薯收获机增添残膜回收试验研究[J]. 农机质量与监督，2019(12)：19-18.

Ma Tingxin, Zhang Guangdong. Experimental study on recovery of residual film added to potato harvester[J]. Quality and Supervision of Agricultural Machinery, 2019(12): 19-18. (in Chinese with English abstract)

[4] 翟志强，陈学庚，邱发松，等. 基于像素块和机器学习的播前棉田地表残膜覆盖率检测[J]. 农业工程学报，2022，38(6)：140-147.

Zhai Zhiqiang, Chen Xuegeng, Qiu Fasong, et al. Detecting surface residual film coverage rate in pre-sowing cotton fields using pixel block and machine learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(6): 140-147. (in Chinese with English abstract)

[5] Qin B, He J. Research on garbage classification based on convolutional neural network[J]. Wireless Communication Technology, 2019, 28(3): 51-56.

[6] Zhou J, Zhao Y. Application of convolution neural network in image classification and object detection[J]. Computer Engineering and Applications, 2017, 53(13): 34-41.

[7] 孙少杰，吴门新，庄立伟，等. 基于CNN卷积神经网络和BP神经网络的冬小麦县级产量预测[J]. 农业工程学报，2022，38(11)：151-160.

Sun Shaojie, Wu Menxin, Zhuang Liwei, et al. Forecasting winter wheat yield at county level using CNN and BP neural networks[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(11): 151-160. (in Chinese with English abstract)

[8] 张顺，龚怡宏，王进军. 深度卷积神经网络的发展及其在计算机视觉领域的应用[J]. 计算机学报，2019，42(3)：453-482.

Zhang Shun, Gong Yihong, Wang Jinjun. Development of deep convolution neural network and its application in the field of computer vision[J]. Journal of computer science, 2019, 42(3): 453-482. (in Chinese with English abstract)

[9] Liu Y, Ge Z, Lv G, et al. Research on automatic garbage detection system based on deep learning and narrowband internet of things[C]//Journal of Physics: Conference Series. IOP Publishing, 2018, 1069(1): 012032.

[10] Zeng D, Zhang S, Chen F, et al. Multi-scale CNN based garbage detection of airborne hyperspectral data[J]. IEEE Access, 2019, 7: 104514-104527.

[11] Wang Y, Zhang X. Autonomous garbage detection for intelligent urban management[C]//MATEC Web of Conferences. EDP Sciences, 2018, 232: 01056.

[12] Guo D, Cheng L, Zhang M, et al. Garbage detection and classification based on improved YOLOV4[J]. Journal of Physics: Conference Series. IOP Publishing, 2021, 2024(1): 012023.

[13] Deng H, Ergu D, Liu F, et al. An embeddable algorithm for automatic garbage detection based on complex marine environment[J]. Sensors, 2021, 21(19): 6391.

[14] 王子鹏，张荣芬，刘宇红，等. 面向边缘计算设备的改进型 YOLOv3 垃圾分类检测模型[J]. 激光与光电子学进展，2022，59(4)：291-300.

Wang Zipeng, Zhang Rongfen, Liu Yuhong, et al. Improved YOLOv3 garbage classification and detection model for edge computing device[J]. Advances in Laser and Optoelectronics, 2022, 59(4): 291-300. (in Chinese with English abstract)

[15] Guo G, Zhang Z. Road damage detection algorithm for improved YOLOv5[J]. Scientific Reports, 2022, 12(1): 1-12.

[16] Yang G, Feng W, Jin J, et al. Face mask recognition system with YOLOV5 based on image recognition[C]//2020 IEEE 6th International Conference on Computer and Communications (ICCC). IEEE, 2020: 1398-1404.

[17] Yan B, Fan P, Lei X, et al. A real-time apple targets detection method for picking robot based on improved YOLOv5[J]. Remote Sensing, 2021, 13(9): 1619.

[18] Luo S, Yu J, Xi Y, et al. Aircraft target detection in remote sensing images based on improved YOLOv5[J]. IEEE Access, 2022, 10: 5184-5192.

[19] Ma N, Zhang X, Zheng H T, et al. ShufflenetV2: Practical guidelines for efficient cnn architecture design[C]// Proceedings of the European Conference on Computer Vision (ECCV). 2018: 116-131.

[20] Lin T Y, Dollár P, Girshick R, et al. Feature pyramid networks for object detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017: 2117-2125.

[21] Liu S, Qi L, Qin H, et al. Path aggregation network for instance segmentation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 8759-8768.

[22] Zhang X, Zhou X, Lin M, et al. Shufflenet: An extremely efficient convolutional neural network for mobile devices[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 6848-6856.

[23] 孔英会，朱成诚，车辚辚. 复杂背景下基于MobileNets的花卉识别与模型剪枝[J]. 科学技术与工程，2018，18(19)：84-88.

Kong Yinghui, Zhu Chengcheng, Che Linlin. Flower recognition in complex background and model pruning based on MobileNets[J]. Science Technology and Engineering, 2018, 18(19): 84-88. (in Chinese with English abstract)

[24] 郝琨，王阔，王贝贝. 基于改进Mobilenet-YOLOv3的轻量级水下生物检测算法[J]. 浙江大学学报（工学版），2022，56(8)：1622-1632.

Hao Kun, Wang Kuo, Wang Beibei. Lightweight underwater biological detection algorithm based on improved Mobilenet-YOLOv3[J]. Journal of Zhejiang University (Engineering Science), 2022, 56(8): 1622-1632. (in Chinese with English abstract)

[25] Luo W, Li Y, Urtasun R, et al. Understanding the effective receptive field in deep convolutional neural networks[J]. Advances in Neural Information Processing Systems, 2016, 29: 4905-4913.

[26] Glorot X, Bordes A, Bengio Y. Deep sparse rectifier neural networks[C]//Proceedings of the fourteenth international conference on artificial intelligence and statistics. JMLR Workshop and Conference Proceedings, 2011: 315-323.

[27] Zhang Y, Ren W, Zhang Z, et al. Focal and efficient IOU loss for accurate bounding box regression[J]. Neurocomputing, 2022, 506: 146-157.

[28] 李尚平，李向辉，张可，等. 改进YOLOv3网络提高甘蔗茎节实时动态识别效率[J]. 农业工程学报，2019，35(23)：185-191.

Li Shangping, Li Xianghui, Zhang Ke, et al. Increasing the real-time dynamic identification rate of sugarcane nodes by improved YOLOv3 network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(23): 185-191. (in Chinese with English abstract)

[29] Liu W, Anguelov D, Erhan D, et al. SSD: Single shot multibox detector[C]//European Conference on Computer Vision. Springer, Cham, 2016: 21-37.

[30] Wang C, Wang H, Yu F, et al. A high-precision fast smoky vehicle detection method based on improved Yolov5 network[C]//2021 IEEE International Conference on Artificial Intelligence and Industrial Design (AIID). IEEE, 2021: 255-259.

Lightweight detection method for farmland waste based on YOLOv5s

Xing Jiejie1, Xie Dingjin1, Yang Ranbing1※, Zhang Xirui1, Sun Wenbin2, Wu Shibin1

(1,,570228,; 2.,,570228,)

Farmland waste has been one of the most important influencing factors on the soil environment. It is very necessary to realize an intelligent and efficient picking of farmland wastes, particularly for the high accuracy and efficiency of recognition with the simple models under complex field environments. In this study, a lightweight detection was proposed for the farmland waste under the actual field situation of the equipment using the improved yolov5s, according to the target detection and edge computing. More importantly, Artificial Intelligence (AI) was promoted in the field of smart agriculture. Firstly, some images of common wastes were collected under the complex actual field environment in the farmland. The data enhancement was then performed on the image data for the large-scale farmland wastes datasets without the over-fitting during model training. Secondly, the network unit of the classification network ShuffleNetv2 was selected to reconstruct the feature extraction network of yolov5s. The calculation and parameter amount of the model were significantly reduced to improve the running speed for the cost saving in the chip cache space. Thirdly, the convolution kernel expansion and activation function optimization were performed on the introduced lightweight network unit module, in order to effectively restore the detection accuracy of the model with less amount of model computation and parameters. Finally, the efficient intersection over union (EIoU) bounding box was introduced to reduce the target positioning error of the model in the complex environment. The reason was that there were many interference factors in the process of motion detection under the complex field environment, thus easily leading to the positioning accuracy of the target in the image. In the case of the aspect ratio for the predicted and the real frame in the loss function of complete intersection over union (CIoU), the loss item was divided into the difference between the height/width of the predicted frame and the minimum bounding frame. At the same time, the difference was gradually reduced to speed up the convergence speed and regression accuracy using the proper iteration. The experimental results show that the detection accuracy of the improved model reached 90.9% with a detection speed of 74 ms/frame. Higher detection accuracy and speed of the improved model were achieved to better balance the calculation and parameter amount, compared with the current target detection of SSD and yolov3. A tradeoff was made on the performance requirements of edge computing devices for accuracy and speed. The mobile terminal was selected to verify the application of the improved model. The models before and after the improvement were deployed on the two edge computing devices (JetsonTX1 and Raspberry4B). Compared with the original, the detection speed of the improved model increased by at least 20% on the edge computing devices, indicating an excellent detection performance. The finding can provide a lightweight solution to the detection tasks of field wastes.

neural networks; wastes; target detection; YOLOv5s; lightweight; loss function; edge computing

10.11975/j.issn.1002-6819.2022.19.017

S513; TP391.4

A

1002-6819(2022)-19-0153-09

邢洁洁，谢定进，杨然兵，等. 基于YOLOv5s的农田垃圾轻量化检测方法[J]. 农业工程学报，2022，38(19)：153-161.doi：10.11975/j.issn.1002-6819.2022.19.017 http://www.tcsae.org

Xing Jiejie, Xie Dingjin, Yang Ranbing, et al. Lightweight detection method for farmland waste based on YOLOv5s[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(19): 153-161. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2022.19.017 http://www.tcsae.org

2022-06-30

2022-09-14

海南省自然科学基金青年基金项目（520QN233）；海南省院士创新平台科研专项（YSPTZX202008）

邢洁洁，博士，讲师，硕士生导师，研究方向为计算机技术在农业工程中的应用。Email：584731137@qq.com

杨然兵，博士，教授，博士生导师，研究方向为智能农业装备与农业机器人。Email：yangranbing@163.com