基于坐标注意力机制与高效边界框回归损失的线虫快速识别

陆健强，梁 效，余超然，兰玉彬，邱洪斌，黄捷伟，尹梓濠，陈慧洁，郑胜杰

·农业信息与电气技术·

基于坐标注意力机制与高效边界框回归损失的线虫快速识别

陆健强1,2,3，梁 效1，余超然4，兰玉彬1,2,3※，邱洪斌1，黄捷伟1，尹梓濠1，陈慧洁1，郑胜杰1

（1. 华南农业大学电子工程学院（人工智能学院），广州 510642；2. 岭南现代农业科学与技术广东省实验室河源分中心，河源 517000；3. 国家精准农业航空施药技术国际联合研究中心，广州 510642；4.广东省农业科学院蔬菜研究所，广州 510640）

绿色高效杀线农药是现阶段防治植物线虫病的有效手段之一，针对在大规模杀线农药活性筛选测试阶段，传统人工镜检工作存在耗时长、准确率低、工作量大等问题，提出一种基于坐标注意力机制与高效边界框回归损失的线虫快速识别方法YOLOFN（YOLO for Nematodes）。基于YOLOv5s目标检测理论框架，在主干网络嵌入坐标注意力机制特征提取模块，融合线虫特征图位置信息于通道注意力中；进一步，平衡考量线虫目标的重叠比例、中心点距离、预测框宽高以及正负样本比例，以精确边界框回归的高效损失函数（Efficient IoU，EIoU）和焦点损失函数（Focal loss）优化定位损失函数和分类损失函数，最小化真实框与预测框的宽高差值，动态降低易区分样本的权重，快速聚焦有益训练样本，以提升模型对重叠黏连线虫目标的解析能力和回归精度。试验结果表明，YOLOFN在准确率、召回率和平均精度均值（mean Average Precision，mAP）性能指标上较改进前提高了0.2、4.4和3.8个百分点，与经典检测算法YOLOv3、SSD、Faster R-CNN3相比，mAP分别提高了1.1、31.7和15.1个百分点；与轻量化主干算法深度可分离卷积-YOLOv5、Mobilenetv2-YOLOv5、GhostNet-YOLOv5相比，在推理时间基本无差别情况下，mAP分别高出11.0、16.3和15.0个百分点。YOLOFN模型可快速、准确、高效完成线虫镜检统计工作，满足植物线虫病农药研发的实际需求，为加快植物线虫病防治新药的研制提供有力技术支持。

模型；深度学习；植物线虫病；杀线农药；目标检测；注意力机制；损失函数

0 引 言

农林业病虫害的防治对中国生态保护有重大意义。植物线虫病是由植物寄生线虫侵袭和寄生引起的植物病害，主要包括作用于花生、黄瓜、柑橘等多种作物的根结线虫病，作用于大豆等豆科作物的大豆胞囊线虫病、作用于小麦的小麦粒线虫病和作用于松木植株的松材线虫病等，严重危害中国小麦、玉米、水稻、甘薯等粮食作物和松林、蔬菜、中草药等经济作物的健康[1-4]。植物线虫病的主要防治举措包括物理防治、化学防治和生物防治，其中，采用杀线剂进行化学防治是植物线虫病防治的重要手段之一[5-6]。然而，高效低毒的杀线剂品种当前仍然匮乏[7]。在大规模的农药杀线活性筛选阶段，实验人员需要测定候选化合物在不同浓度药剂处理下对线虫的致死率，初步判断化合物的杀线效果。在测定药剂对线虫防治效果的过程中，线虫存活率的测定、繁殖量的测定以及病害发生情况的统计均涉及对线虫死亡识别及计数[8]。因此，提出一种科学高效的线虫识别方法具有实际应用意义。

传统的植物线虫形态学检测方法包括取样、分离和镜检3个环节，步骤繁琐、人工成本高、效率低[9-10]。随着计算机检测技术的发展，传统图像处理方法如阈值分割和颜色空间转换等常被用于农业病虫害检测[11]。张建华等[12]基于最优二叉树支持向量机算法对蜜柚叶部病虫害进行识别，平均识别率达到94.16%。近年来，随着深度学习的快速发展，利用深度学习方法进行农林作物、病虫害检测的实例越来越多。孙丰刚等[13]通过将Ghost轻量化模块引入YOLOv5s网络模型结合卷积块注意力机制（Convolutional Block Attention Module，CBAM ）和加权双向金字塔特征融合网络实现了对苹果病虫害小目标的检测，平均精度达90.9%；陆健强等[14]提出一种基于深度学习的柑橘黄龙病果实识别算法，利用Mixup数据增强和卷积神经网络，在数据较少的情况下实现了柑橘黄龙病害的高精度、快速检测。目前应用在植物线虫病防治领域的深度学习方法多针对受灾作物的现场检测。李浩等[15]利用无人机获取松材线虫病害松木遥感图像，将ResNet50与Faster R-CNN结合实现了不同病害程度的染病松木的识别，识别准确率达83.2%；徐信罗等[16]考虑到染病松木冠幅大小与正常木的差别，利用Faster R-CNN算法提高了识别异常染病松木的检测精度；黄丽明等[17]利用深度可分离卷积和倒残差结构改进YOLOv4算法，提高了松材线虫病异常变色木的识别精度。这些案例从检测病害松木角度出发，为植物线虫病的防治提供了可行方法。但目前从绿色新型农药研发角度出发结合深度学习技术防治植物线虫病的方法仍有待完善。

本文以助力绿色新型杀线农药研制为目的，以松材线虫显微图像为研究对象，提出一种基于深度学习目标检测技术的线虫快速识别方法。针对松材线虫显微镜镜检图像目标细长、分布密度不均、重叠黏连率高以及死活虫体形态相近等特点，本文从兼顾检测速度与检测精度的角度出发，基于YOLOv5s主要网络框架进行优化改进，提出一种基于坐标注意力机制与高效边界框回归损失的线虫快速识别模型YOLOFN（YOLO for Nematodes），以期实现准确高效识别松材线虫显微镜镜检图像活虫和死虫虫体，为植物线虫病的新药研制提供有力的技术支持，为农林业病虫害检测、重叠细小目标的深度学习智能识别方法提供参考。

1 试验数据

1.1 数据采集

松材线虫样本采集区域位于广西省玉林市兴业县松材线虫病疫区，中心经纬度为109.855°E，22.604°N。从疫区中选取8棵刚枯死以及尚未完全枯死的优势木作为样本木进行取样，样本取样位置为染病松树树干下部（胸高处）、上部（主干与主侧枝交界处）、中部（上、下部之间）3个位置。将3个取样位置的树皮剥净，为避免钻取木屑时温度超过50 ℃从而迅速杀死松材线虫，采用块状取样方式进行取样。从木质部表面至髓心采集100～150 g木屑作为分离样品。松材线虫显微镜镜检图像采集试验在华南农业大学植物保护学院植物线虫病研究室进行，采集步骤如下：对在室内纯培养繁殖的松材线虫供试虫源，采用传统贝曼漏斗法分离，注入清水浸没分离12 h，将繁殖后的线虫分离出来[9]，再将分离液体进行离心处理，获得高浓度松材线虫悬浮液，然后将高浓度松材线虫悬浮液稀释至2 000和5 000条/mL浓度的松材线虫培养液样品，最后制成不同浓度的松材线虫玻片。使用型号为NIKON YS100和NIKON TS100倒置显微镜对松材线虫玻片进行观察，并使用Canon EOS M10单反相机采集松材线虫显微镜镜检图像。最终，初步构建的松材线虫显微镜镜检图像数据集共741张图片，其中虫体较稀疏图像357张（图1a），虫体较密集图像384张（图 1b），分辨率为2 880×1 616。基于体态学判断线虫死活的方法和实际动态观察到的情况，虫体蜷曲扭动、形态不定为活虫，虫体僵直不动、呈现“J”状为死虫[18]，如图2所示。在线虫研究人员的观察指导下，首先通过肉眼观察法根据线虫形态特征鉴别线虫死活状态，然后使用开源标注软件LabelImg按死虫和活虫两个类别对松材线虫图像数据集进行标注。

图1 松材线虫图像

图2 死虫和活虫

1.2 数据增强

1.2.1 离线数据增强

松材线虫图像具有虫体个体相似度高的特点，为提高模型鲁棒性，增强模型泛化能力，使用离线数据增强方法进行训练样本扩充。首先，使用数据划分脚本对741张松材线虫图像样本按8∶2随机划分为训练集和测试集，然后对训练集的593张图像进行离线数据增强，增强方法包括旋转、平移、改变亮度、模拟遮挡、添加噪声（图3），按扩充倍数3将训练集扩充至1 779张。

图3 数据增强后松材线虫图像

1.2.2 在线数据增强

为进一步提高识别效果，增强模型泛化能力，对离线增强后的训练数据集采用马赛克数据增强方法[19-20]。如图4所示，马赛克数据增强主要是在训练时从数据集中随机选取4张图片，通过随机裁剪、缩放、排布的方式进行拼接，拼接后获得的新图片再传入神经网络进行训练学习。使用马赛克数据增强方法对训练集进行在线数据增强，增加了传入网络的松材线虫样本数，有效降低了因松材线虫图像数据集样本较少所造成的模型过拟合风险，而且提高了GPU算力的利用效率。

图4 马赛克数据增强流程

2 线虫识别模型设计

2.1 YOLOFN模型设计

YOLO（You Only Look Once）[21-22]是2015年提出的基于单个神经网络的目标检测系统，后逐步完善并发布了YOLOv2、YOLOv3和YOLOv4。2020年，Ultralytics 公司发布了YOLO家族中最新一代的目标检测模型YOLOv5。YOLOv5根据网络宽度和深度的不同，分为YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x四个版本[23-24]。从s到x网络所含残差结构的个数和卷积核个数不断增加，因此深度和宽度以及参数量和模型大小不断增加，模型检测精度得到提高，但相应的时间耗费也在增加。本研究所使用松材线虫数据集相对较小，种类较单调，因此使用较浅层的网络即可充分提取特征。且由于后续在实际应用中需要对模型进行边缘端部署等原因，本研究从综合应用角度出发，选择最轻量且可满足松材线虫特征提取深度的YOLOv5s作为基础网络进行改进。

YOLOv5s基础网络兼顾检测精度与检测速度，可满足初步识别任务。但是松材线虫识别过程中，存在线虫目标经重复卷积池化容易发生特征缺失进而导致漏检的问题。还有因松材线虫图像虫体发生重叠、黏连程度大，死虫和活虫形态差距较小而导致预测框回归精度差的问题。因此，本文针对上述问题对基于YOLOv5s的松材线虫识别模型进行优化改进。在YOLOv5s网络模型的基础上，重新设计特征提取网络和损失函数。一是将同时考虑位置和通道信息的坐标注意力机制引入特征提取网络，提高网络对细长松材线虫目标的特征提取能力。二是针对目标重叠黏连程度大、目标框回归困难的问题，将原模型损失函数（Complete IoU Loss，CIoU）改进为Efficient IoU Loss（EIoU），将原损失函数中用来衡量纵横比损失项的参数，进一步细化拆分为预测框的宽高，直接考虑宽高与其置信度的真实差异，使真实框与预测框的宽高之差最小，加速模型的收敛速度；三是当易区分负样本过多，一阶段检测算法的整个训练过程将围绕易区分负样本进行，从而淹没正样本，造成目标类别损失增大。为解决这个问题，向原类别损失函数（Binary Cross Entropy Loss，BCE）中引入一个调制因子，将类别损失函数改进为焦点损失函数（Focal Loss），动态降低易区分样本的权重，将重心快速聚焦在对训练有帮助的样本上，以提高松材线虫目标的识别精度和死活判断准确度。

2.2 特征提取主干网络改进

本文基于YOLOv5s主干网络进行改进的模型网络如下：首先把网络中目标提取特征层的特征提取卷积模块（Convolution-Batch Normalization-Sigmoid，CBS）前嵌入坐标注意力机制模块构成坐标注意力特征提取卷积模块（Coordinate Attention-CBS，CA-CBS）；然后利用多层最大池化模块进一步提取并融合经注意力加深后的高层次语义信息；继而将特征图再次传入CA-CBS特征提取模块；最后通过特征金字塔网络+路径聚合网络结构进行特征融合[25-26]。改进后的模型网络如图5所示。

松材线虫显微镜镜检图像存在虫体形态细长的特点。随着卷积加深，细长目标在大背景下的信息十分容易被大量冗余信息所淹没，导致识别精度低下。针对此问题，本文使用一种将位置信息嵌入到通道注意力中的坐标注意力机制[27]（Coordinate Attention，CA），提高网络对线虫目标的注意力，减少细小特征信息遗失。

CA注意力机制通过把通道注意力分解为并行进行的一维特征编码的过程，形成一组在方向和位置两个层面同时敏感的特征图，以增强对注意力信息的敏感性。

在通道注意力机制中，通常使用全局池化的方法将通道信息全局编码，因此造成位置信息忽视而导致检测精度降低。CA模块对此进行改进，在坐标信息嵌入中按照公式（1）将全局池化分为一组一维特征编码：

（2）

在垂直坐标方向上使用尺寸为(1,)的池化核对每个通道进行编码，宽度为的第通道的输出可以表示为

经过式（2）、式（3）对输入进行水平垂直方向的特征聚合后，输出一对方向敏感注意力特征和。该步骤使CA模块在获取一个空间方向的远程依赖，同时保存沿另一空间方向的精确位置信息，有助于网络更好地获得全局感受野并编码更精确的位置信息。

注：CA为坐标注意力模块。下同。

Note: CA is coordinate attention module.

图5 YOLOFN模型网络结构

Fig.5 YOLOFN (YOLO for Nematodes) model network structure

在坐标注意力生成阶段，首先利用上个阶段产生的注意力表征进行级联操作，之后利用1×1卷积变换函数对其进行变换操作：

2.3 损失函数改进

YOLOv5s的损失函数主要由回归框预测损失L、置信度损失L、目标类别损失L组成。总体损失函数计算公式为

在早期的YOLOv5版本中，回归框预测损失函数L采用Generalized IoU Loss（GIoU）。GIoU计算公式为

在最新版本的YOLOv5模型中，作者使用了CIoU作为损失函数。将GIoU优化两框之间的面积改为直接最小化2个目标框的距离，避免了GIoU在两框相距较远时损失很大，收敛速度慢的问题；增加了两框之间长宽比一致性的参数，对重叠密集目标检测更友好。CIoU计算公式为

CIoU虽然综合考虑了边界框回归的重叠面积、中心点距离和长宽比，但是其没有反映长宽分别与其置信度的真实差异，容易出现预测框误差问题。

针对松材线虫实际观测中出现重叠黏连目标较多的特点，对回归框预测损失L进行重新设计，将CIoU替换为EIoU：在CIoU的基础上进一步权衡宽高与其置信度的真实差异，最小化真实框与预测框的宽高差值，加速模型收敛。EIoU损失函数包含3部分，重叠损失计算、中心点距离损失计算、宽高损失计算。对公式（10）进行改进：

YOLOv5s采用二元交叉熵损失函数（BCE With Logits）作为目标类别损失函数BCE（,），计算公式如下：

通过以上两个方面对损失函数的改进，本文所设计的松材线虫快速识别算法YOLOFN的损失函数公式为

3 试验结果与分析

3.1 试验环境及训练设置

试验所采用的环境配置如下：操作系统为Windows10(x64)，CPU型号为Intel(R) Xeon(R) Gold 6330 CPU @ 2.00 GHz，运行内存为48 GB，GPU为RTX 3090 24 GB，深度学习框架为Pytorch 1.10.0，开发语言为Python 3.8，使用CUDA 11.3进行GPU加速。

本文使用增强后的1 779张松材线虫图像训练集进行模型训练。训练集由死虫和活虫两个类别构成，死虫1 731只，活虫4 092只。

本文基于以上环境以及数据集进行模型训练，batchsize设置为32，训练轮次设置为200轮，初始学习率设置为0.01，训练过程中学习率采用Warmup[29]策略进行训练预热，提高模型训练时的稳定性。采用余弦退火策略对学习率进行更新。优化器采用随机梯度下降[30]（Stochastic Gradient Descent，SGD）对误差进行调整。

本文数据采集时原图像分辨率为2 880×1 616。为增强试验可靠性，在输入网络模型训练前统一将图像分辨率缩放至640×640，并使用2.2.2节介绍的马赛克在线数据增强对图像进行处理后进行训练。

3.2 评价指标

评价指标的合理选择对于衡量模型性能至关重要。本文数据集背景单纯，目标均为松材线虫且只有两类。针对农药研制过程中的实际需求，检测侧重于快速识别出所有线虫的活虫和死虫。因此本文选择采用反映识别准确度的评价指标：精确率（Precision，）、召回率（Recall，）、平均精度均值（mean Average Precision，mAP）以及反映检测速度的指标：检测时间（测试集单张图像检测的平均时间）和模型参数量作为评价指标来综合评定模型性能。

3.3 试验结果分析

3.3.1 数据增强试验分析

为提高模型泛化性，改善由于原始数据量较少而导致的过拟合问题，本文采用了数据清洗、数据增强等方法。为验证这些方法对提高模型泛化性的有效性，进行数据增强有效性对比、消融分析试验，试验全程使用改进前YOLOv5s模型进行训练测试。结果如表1～3所示。

表1 离线数据增强扩充倍数对过拟合现象影响效果对比

由表1可知，不使用离线数据增强扩充训练数据时，模型训练发生过拟合现象，测试集mAP比训练集低了5个百分点，为解决过拟合现象首先采取数据增强的方式扩大训练集，扩充倍数取2、3、4做对比试验以获取最佳增强倍数。由表2可知采用离线数据增强的方式扩充训练集后过拟合现象有所改善，扩充倍数取3时测试集mAP最高，为74.3%，对过拟合现象缓解效果最好，故本文对经过数据清洗后的593张数据集进行3倍离线数据增强，得到1 779张线虫图像进行训练。

由表2可知，使用马赛克在线数据增强方法进行模型训练后，测试集的mAP比训练集高1.1个百分点，比未使用马赛克增强的测试集mAP高4.2个百分点，有效缓解了过拟合现象，故本文使用马赛克在线数据增强策略进行模型训练。

表2 马赛克数据增强对过拟合现象影响效果对比

表3 提高模型泛化性方法消融试验

由表3可知，对原始数据进行清洗后，训练集和测试集mAP均有所提高，分别提高了5.2和10.6个百分点，并且过拟合现象有所缓解；使用离线数据增强后，测试集mAP进一步提高了3.5个百分点，且测试集只比训练集低2.0个百分点，过拟合现象基本缓解；使用在线数据增强后，训练集mAP进一步提高了4.2个百分点，并且测试集mAP比训练集高2.4个百分点，过拟合现象已基本消除，以上消融试验证明了本文针对线虫数据量较少而发生的过拟合现象采取的改进方法的有效性。

3.3.2 消融试验分析

为验证YOLOFN算法引进CA注意力机制模块，及EIoU结合Focal loss的损失函数优化方法的有效性，进行YOLOFN算法的消融试验。试验结果如表4所示。

表4 消融试验

注：EIoU- Focal loss为高效边界框回归损失结合函数和焦点损失函数。

Note: EIoU-Focal loss respresent a combination of efficient bounding box regression loss and focus loss function.

由表4可知，向YOLOv5s主干网络添加CA注意力机制模块后，模型mAP提高了2.7个百分点；对原模型损失函数进行改进后，模型mAP提高了0.7个百分点；将两个改进同时加入模型之后，模型mAP达到82.3%，相比于原模型提高了3.8个百分点，验证了本文改进方法的有效性。

3.3.3 算法性能对比分析

目前使用深度学习目标检测算法对松材线虫进行识别研究的文献较少，因此本文用改进后的线虫识别算法与目前主流的3种目标检测算法YOLOv3、SSD、Faster R-CNN以及原始YOLOv5s进行对比试验，并且与目前主流轻量化网络主干深度可分离卷积网络、Mobilenetv2和GhostNet进行对比试验，以验证改进的有效性。性能比较对比结果如表5所示。

表5 算法性能对比

注：为平均推理时间；为模型参数量；DWConv代表深度可分离卷积。

Note:is average inference time;is model parameter quantity. DWConv represents depth-wise separable convolution.

由表5可知，与常用目标检测算法YOLOv3、SSD、Faster R-CNN3相比，YOLOFN算法准确率、召回率、平均精度均值（mAP）均有所提高，其中mAP分别提高了1.1、31.7、15.1个百分点，达到了82.3%；与原始算法YOLOv5s相比，准确率、召回率、mAP分别提高0.2、4.4和3.8个百分点，YOLOFN算法与YOLOv5轻量化主干网络深度可分离卷积、Mobilenetv2和GhostNet 3种网络相比，在模型参数量方面轻量化网络优于YOLOFN算法，检测时间方面差距不大，检测精度方面YOLOFN算法mAP优于3种轻量化网络，分别提高了11.0、16.3和15.0个百分点。其中Mobilenetv2模型拥有最轻量的模型参数量，仅为1.73 MB，检测时间比YOLOFN算法快0.1 s，但准确率、召回率、mAP分别比YOLOFN算法低13.9、12.0和16.3个百分点。YOLOFN算法在检测速度损耗不大的基础上识别精度远高于轻量化模型。以上对比试验充分证明了YOLOFN算法在检测精度与检测速度上具备优势，说明所采用的优化方法科学、有效、针对性强。图6为算法训练200轮次的mAP评估结果。由图6可知，YOLOFN训练所得到的模型在训练200轮次后检测性能最优。

图6 各算法mAP评估结果

在检测时间和模型参数量方面，YOLOFN在模型参数量没有明显增加的前提下，检测单张图片的时间为0.6 s，并且检测时间和模型参数量都远远优于YOLOv3、SSD、Faster R-CNN三种检测算法，检测精度远远优于深度可分离卷积网络、Mobilenetv2和GhostNet三种轻量化网络。综上，YOLOFN能够满足农药研制人员在实际试验中对于实时性的需求和模型移植部署的需求。

分类来看，改进后模型对死虫活虫2个类别的检测平均精度均值和改进前对比如表6所示。由表6可知，改进后模型对死虫和活虫的识别平均精度均值均较改进前有所提升，分别提升了1.5和2.2个百分点。以上对比试验证明了本文算法改进在分别针对死虫和活虫2个类别上的有效性。

表6 死虫活虫检测精度mAP对比

3.3.4 训练损失函数分析

损失函数值在训练过程中的变化能反应模型的训练情况。一般来说，损失函数曲线收敛得越快、越小，证明模型训练效果越好，当曲线平缓证明模型训练完毕。图7为改进前后模型训练过程中总损失函数曲线对比。

由图7可知，损失函数改进后比改进前下降得更快，数值波动更稳定，损失数值更小。改进前损失函数训练到200轮时已不再下降并出现过拟合情况，改进后损失函数训练到200轮的结果优于改进前损失函数，并且仍有下降趋势，且150轮之前收敛速度远快于改进前损失函数，证明了损失函数改进的有效性。

图7 改进前后总损失变化曲线对比

3.3.5 实际检测效果分析

为测试本文YOLOFN算法的实际应用效果，对本文构建的松材线虫图像测试集进行验证测试。考虑到本试验背景单一，干扰物体较少，且实际应用中希望得到的是所有虫体的查全率，基于查全率和试验对比效果考虑，试验将置信度设置为0.25。对比改进前和改进后的实际检测效果。

由图8可知，原始算法对于重叠黏连的松材线虫目标较易出现漏检误检的情况，而且目标框回归效果较差，容易出现同一只虫体同时检测为死活的情况。YOLOFN算法对重叠黏连的松材线虫检测更加准确，松材线虫类别框回归更加精准。

图8 改进前后算法的部分图片检测效果对比

遍历率、误检率的统计在农药研发中具有实际意义。图8g、8h中共33条线虫，其中31条活虫，2条死虫。示例图像中改进前后线虫遍历率、误检率统计如表7所示。

表7 改进前后算法松材线虫遍历率、误检率统计

注：图8中图片3的统计结果。

Note: Statistical results in picture 3 in Fig. 8.

由表7可知，YOLOFN算法在实际检测中遍历率比改进前提高了5.6个百分点，误检率（误检数/检测到线虫数）比改进前降低了16.3个百分点，预测框更加精准。充分表明了YOLOFN算法实际应用效果优于改进前算法。

综上所述，YOLOFN算法的平均精度均值为82.3%，平均检测单张图片时间为0.6 s，实现了死虫活虫的实时检测，可满足实际应用需求。经过算法性能对比、损失函数对比、消融试验和实际检测效果4个方面的分析证明，本文提出的改进线虫检测算法在检测精度、检测速度、部署难易程度方面皆优于改进前算法和其他对比算法，更适合应用在线虫实际检测中。

4 结 论

本文从使用深度学习技术支持大规模新药活性筛选测试阶段的线虫快速识别任务出发，以松材线虫显微图像作为实验对象，针对重叠黏连的松材线虫虫体图像识别这一难题，首次提出一种基于坐标注意力机制与高效边界框回归损失的线虫快速识别模型YOLOFN。

1）本文以自建松材线虫显微图像数据集为研究对象，以YOLOv5s作为主要框架，利用图像增强和迁移学习等训练策略进行网络模型训练。在主干检测网络中引入CA坐标注意力机制，利用通道注意力内嵌位置信息，提高网络对细长松材线虫目标的特征提取能力。

2）本文同时结合EIoU和Focal loss改进模型的损失函数，并在原类别损失函数基础上引入误差调制因子，从而有效提高检测回归精度。YOLOFN的平均精度均值达到了82.3%，平均推理时间达0.6 s，较改进前基线模型提升了3.8个百分点，同时与YOLOv3、SSD、Faster-RCNN、YOLOv5s四种常用检测模型以及轻量化主干深度可分离卷积、Mobilenetv2和GhostNet 3种网络主干相比，在检测精度和平均推理速度方面均具备优势。

本文提出的YOLOFN模型用于线虫显微镜镜检图像虫体检测，算法可同时满足检测的准确性与实时性，帮助新型农药研发人员高效准确地进行线虫显微图像的识别工作，进而计算在不同条件处理下的线虫死亡率，助力植物线虫病的防治工作。下一步，为满足端侧快速实现线虫计数以及死亡率测算，在进行线虫种类图像数据集扩充的基础上，计划在模型实现整体系统化部署方面展开研究，助力绿色杀线农药的研制，促进植物作物线虫病害防护产业发展。

[1] Zhao D, Zhao H, Zhao D, et al. Isolation and identification of bacteria from rhizosphere soil and their effect on plant growth promotion and root-knot nematode disease[J]. Biological control, 2018, 119: 12-19.

[2] Singh S, Singh B, Singh A P. Nematodes: A threat to sustainability of agriculture[J]. Procedia Environmental Sciences, 2015, 29: 215-216.

[3] 何龙喜，吉静，邱秀文，等. 世界松材线虫病发生概况及防治措施[J]. 林业科技开发，2014，28(3)：8-13.

He Longxi, Ji Jing, Qiu Xiuwen, et al. Occurrence and control measures of pine wood nematode disease in the world[J]. Journal of Forestry Engineering, 2014, 28(3): 8-13. (in Chinese with English abstract)

[4] 方国飞，黄文江，牟晓伟，等. 松材线虫病疫情精准监测实践与展望[J]. 中国森林病虫，2022，41(4)：16-23.

Fang Guofei, Huang WenJiang, Mou Xiaowei, et al. Practice and prospect of precise monitoring of pine wilt disease[J]. Forest Pest and Disease, 2022, 41(4): 16-23. (in Chinese with English abstract)

[5] Fosu-Nyarko J, Jones M G K. Application of biotechnology for nematode control in crop plants[M]. Advances in Botanical Research. Academic Press, 2015, 73: 339-376.

[6] 朱云倩，黄维燕，谢伟龙，等. 松材线虫病防治方法研究进展[J]. 河北林业科技，2021(2)：44-48.

Zhu Yunqian, Huang Weiyan, Xie Weilong, et al. Research progresson control methods of pine wilt disease[J]. The Journal of Hebei Forestry Science and Technology, 2021(2): 44-48. (in Chinese with English abstract)

[7] 陈勇. 松材线虫病药剂防治实验[J]. 安徽林业，2008(3)：49.

Chen Yong. Pharmaceutical control of pine wood nematode disease[J]. Anhui Forestry, 2008(3): 49. (in Chinese with English abstract)

[8] 赵晓佳，袁裕超，孙玉凤，等. 甲氨基阿维菌素苯甲酸盐和抗生素混合药剂对松材线虫病的防治效果[J]. 华中农业大学学报（自然科学版），2022，41(3)：146-156.

Zhao Xiaojia, Yuan Yuchao, Sun Yufeng, et al. Control effect of emamectin benzoate and antibiotic mixture on pine wilt disease[J]. Journal of Huazhong Agricultural University, 2022, 41(3): 146-156. (in Chinese with English abstract)

[9] 覃贵勇，许彦，刘露. 农药联用对松材线虫的作用研究[J]. 农业灾害研究，2018，8(6)：1-3,56.

Tan Guiyong, Xu Yan, Liu Lu. Effects of different pesticide combinations on[J]. Journal of Agricultural Catastrophology, 2018, 8(6): 1-3,56. (in Chinese with English abstract)

[10] 李敏，叶建仁，陈凤毛. 松材线虫检测技术研究进展[J]. 中国森林病虫，2022，41(3)：52-58.

Li Min, Ye Jianren, Chen Fengmao. A review of detection technology for pine wood nematode[J]. Forest Pest and Disease, 2022, 41(3): 52-58. (in Chinese with English abstract)

[11] Patrícioa D, Riederb R. Computer vision and artificial intelligence in precision agriculture for grain crops: A systematic review[J]. Computers and Electronics in Agriculture, 2018, 153: 69-81.

[12] 张建华，孔繁涛，李哲敏，等. 基于最优二叉树支持向量机的蜜柚叶部病害识别[J]. 农业工程学报，2014，30(19)：222-231.

Zhang Jianhua, Kong Fantao, Li Zhemin, et al. Recognition of honey pomelo leaf disease based on optimal binary tree support vector machine[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2014, 30(19): 222-231. (in Chinese with English abstract)

[13] 孙丰刚，王云露，兰鹏，等. 基于改进YOLOv5s和迁移学习的苹果果实病害识别方法[J]. 农业工程学报，2022，38(11)：171-179

Sun Fenggang, Wang Yunlu, Lan Peng, et al. Identification of apple fruit diseases using improved YOLOv5s and transfer learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(11): 171-179. (in Chinese with English abstract)

[14] 陆健强，林佳翰，黄仲强，等. 基于Mixup算法和卷积神经网络的柑橘黄龙病果实识别研究[J]. 华南农业大学学报，2021，42(3)：94-101.

Lu Jianqiang, Lin Jiahan, Huang Zhongqiang, et al. Identification of citrus fruit infected with Huanglongbing based on Mixup algorithm and convolutional neural network[J]. Journal of South China Agricultural University, 2021, 42(3): 94-101. (in Chinese with English abstract)

[15] 李浩，方伟泉，李浪浪，等. 基于深度学习的松材线虫病害松木识别[J]. 林业工程学报，2021，6(6)：142-147.

Li Hao, Fang Weiquan, Li Langlang, et al. Recognition of pine wood infected with pine nematode disease based on deep learning[J]. Journal of Forestry Engineering, 2021, 6(6): 142-147. (in Chinese with English abstract)

[16] 徐信罗，陶欢，李存军，等. 基于Faster R-CNN的松材线虫病受害木识别与定位[J]. 农业机械学报，2020，51(7)：228-236.

Xu Xinluo, Tao Huan, Li Cunjun, et al. Detection and location of pine wilt disease induce dead pine trees based on Faster R-CNN[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(7): 228-236. (in Chinese with English abstract)

[17] 黄丽明，王懿祥，徐琪，等. 采用YOLO算法和无人机影像的松材线虫病异常变色木识别[J]. 农业工程学报，2021，37(14)：197-203.

Huang Liming, Wang Yixiang, Xu Qi, et al. Recognition of abnormally discolored trees caused by pine wilt disease using YOLO algorithm and UAV images[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(14): 197-203. (in Chinese with English abstract)

[18] 万树青. 杀线虫剂活性测定中线虫死活鉴别的染色方法[J]. 植物保护，1993(3)：37.

Wan Shuqing. Dyeing method for identification of dead and alive nematodes in the determination of nematicide activity[J]. Plant Protection, 1993(3): 37. (in Chinese with English abstract)

[19] 梁晓婷，庞琦，杨一，等. 基于YOLOv4模型剪枝的番茄缺陷在线检测[J]. 农业工程学报，2022，38(6)：283-292.

Liang Xiaoting, Pang Qi, Yang Yi, et al. Online detection of tomato defects based on YOLOv4 model pruning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(6): 283-292. (in Chinese with English abstract)

[20] 张兆国，张振东，李加念，等. 采用改进YoloV4模型检测复杂环境下马铃薯[J]. 农业工程学报，2021，37(22)：170-178.

Zhang Zhaoguo, Zhang Zhendong, Li Jianian, et al. Potato detection in complex environment based on improved YoloV4 model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(22): 170-178. (in Chinese with English abstract)

[21] 郝建军，邴振凯，杨淑华，等. 采用改进YOLOv3算法检测青皮核桃[J]. 农业工程学报，2022，38(14)：183-190.

Hao Jianjun, Bing Zhenkai, Yang Shuhua, et al. Detection of green walnut by improved YOLOv3[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(14): 183-190. (in Chinese with English abstract)

[22] 汪斌斌，杨贵军，杨浩，等. 基于YOLO-X和迁移学习的无人机影像玉米雄穗检测[J]. 农业工程学报，2022，38(15)：53-62.

Wang Binbin, Yang Guijun, Yang Hao, et al. UAV images for detecting maize tassel based on YOLO-X and transfer learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(15): 53-62. (in Chinese with English abstract)

[23] 胡根生，吴继甜，鲍文霞，等. 基于改进YOLOv5网络的复杂背景图像中茶尺蠖检测[J]. 农业工程学报，2021，37(21)：191-198.

Hu Gensheng, Wu Jitian, Bao Wenxia, et al. Detection ofincomplex background images using improved YOLOv5[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(21): 191-198. (in Chinese with English abstract)

[24] 尚钰莹，张倩如，宋怀波. 基于YOLOv5s的深度学习在自然场景苹果花朵检测中的应用[J]. 农业工程学报，2022，38(9)：222-229.

Shang Yuying, Zhang Qianru, Song Huaibo. Application of deep learning using YOLOv5s to apple flower detection in natural scenes[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(9): 222-229. (in Chinese with English abstract)

[25] Lin T Y, Dollar P, Girshick R, et al. Feature pyramid networks for object detection[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, HI, USA: IEEE Computer Society, 2017: 2117-2125.

[26] Liu S, Qi L, Qin H, et al. Path aggregation network for instance segmentation[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City, UT, USA: IEEE Computer Society, 2018: 8759-8768.

[27] Hou Q B, Zhou D Q, Feng J S. Coordinate attention for efficient mobile network design[C]. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Nashville, TN, USA: IEEE Computer Society, 2021: 13713-13722.

[28] Zhang Y F, Ren W, Zhang Z, et al. Focal and efficient IOU loss for accurate bounding box regression[J]. Neurocomputing, 2022, 506: 146-157.

[29] Xiong R, Yang Y, He D, et al. On layer normalization in the transformer architecture[C]. Proceedings of the 37th International Conference on Machine Learning. Vienna, AUSTRIA: JMLR. org, 2020: 10524-10533.

[30] Ruder S. An overview of gradient descent optimization algorithms[EB/OL]. 2016. arXiv preprint arXiv: 1609. 04747. https: //arxiv. org/abs/1609. 04747v2

Fast identification of nematode via coordinate attention mechanism and efficient bounding box regression loss

Lu Jianqiang1,2,3, Liang Xiao1, Yu Chaoran4, Lan Yubin1,2,3※, Qiu Hongbin1, Huang Jiewei1, Yin Zihao1, Chen Huijie1, Zheng Shengjie1

(1.,,510642,;2.,517000,; 3.(),,510642,;4.,,510640,)

Plant nematode disease is one of the major diseases to threaten agricultural safety in China. The green, high-efficiency, and low-toxic nematicide pesticides can be one of the better means to control plant nematode disease, further to prevent the large-scale spread of nematode disease. However, the manual visual inspection cannot fully meet the large-scale screening and test of the nematicidal pesticide activity, such as time-consuming, low accuracy, and heavy workload. Particularly, it is very necessary to accurately and rapidly count the number of nematodes in the solution, and then to identify the dead and living insects. In this study, a fast identification was proposed for the nematodes using a coordinate attention mechanism and efficient bounding box regression loss YOLOFN (YOLO for nematodes).Firstly, the sawdust samples of tree trunks with the pine wood nematode were collected in the epidemic area of pine wood nematode disease. The solution slides of pine wood nematode were prepared with the different concentrations, after the pine wood nematode was separated in the laboratory. Secondly, the optical microscope and single lens reflex camera were used to collect the pine wood nematode images. The offline data enhancement was combined with the mosaic online data enhancement to expand the training samples of pine wood nematode images, according to the similar characteristics of pine wood nematode images. Thirdly, the feature extraction module of the coordinate attention mechanism was embedded in the backbone network, according to the theoretical framework of YOLOv5s target detection. The position information of the nematode feature map was then integrated into the channel attention, As such, this improvement enabled the model to focus on the target category and target location at the same time. Finally, a tradeoff was made on the overlapping ratio of the nematode target, the center point distance of the nematode target, the width and height of the prediction frame in the nematode target, as well as the proportion of positive and negative samples of the nematode target. The Efficient Intersection over Union (EIoU) and Focal loss functions was utilized to optimize the localization and classification loss function. There was a minimum difference between the width and height of the real frame and the predicted frame. The weight of the easily distinguishable samples was dynamically reduced to quickly focus the beneficial training samples. The analytical ability and regression accuracy of the model were improved to overlap the nematode targets.The experimental results showed that the performance indicators of YOLOFN were improved by 0.2, 4.4, and 3.8 percentage points, in terms of accuracy, recall, and mean Average Precision (mAP). The mAP of the improved model increased by 1.1, 31.7, and 15.1 percentage points, respectively, compared with the classical detection YOLOv3, SSD, and Faster R-CNN3. There was no difference in the inference time, where the mAP was higher than 11.0, 16.3, and 15.0 percentage points, respectively, compared with the lightweight backbone depth-separable convolution-YOLOv5, Mobilenetv2-YOLOv5, GhostNet-YOLOv5. Therefore, the YOLOFN model can be expected to quickly, accurately and efficiently realize the nematode microscopic examination and statistics, fully meeting the actual needs of research and development of plant nematode pesticides. The finding can provide strong technical support to accelerate the development of new drugs for plant nematode disease control. In the future research, the systematic deployment of the model can greatly contribute to the development of green nematicide, and the protection of plant nematode diseases. The high requirements of rapid end-to-side nematode counting and mortality measurement can be fully met using the expansion of the nematode species image data set.

models; deep learning; plant nematodes disease; nematode pesticide; object detection; attention mechanism; loss function

10.11975/j.issn.1002-6819.2022.22.013

S48；S435

A

1002-6819(2022)-22-0123-10

陆健强，梁效，余超然，等. 基于坐标注意力机制与高效边界框回归损失的线虫快速识别 [J]. 农业工程学报，2022，38(22)：123-132.doi：10.11975/j.issn.1002-6819.2022.22.013 http://www.tcsae.org

Lu Jianqiang, Liang Xiao, Yu Chaoran, et al. Fast identification of nematode via coordinate attention mechanism and efficient bounding box regression loss[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(22): 123-132. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2022.22.013 http://www.tcsae.org

2022-09-28

2022-11-07

岭南现代农业科学与技术广东省实验室河源分中心自主科研项目（DT20220010）；岭南现代农业实验室科研项目（NT2021009）；广州市基础与应用基础研究项目（202201010077）；高等学校学科创新引智计划资助(D18019)；广东省企业科技特派员项目（GDKTP2020070200）

陆健强，博士，高级实验师，研究方向为农业物联网与无人机遥感图像技术。Email：ljq@scau.edu.cn

兰玉彬，国家重点人才工程特聘专家，教授，博士生导师，研究方向为精准农业航空方向研究。Email：ylan@scau.edu.cn

中国农业工程学会高级会员：陆健强（B041905910S），兰玉彬（E041200725S）