融合强化注意力机制的农田杂草识别方法

惠巧娟 马伟 边超

摘要：针对农作物与杂草交叉生长，导致杂草等目标难以识别的问题，提出一种融合强化注意力机制的农田杂草识别方法。首先，利用主干网络进行特征提取，并在此基础上提出一種强化注意力模块，从水平和垂直等两个维度细粒度进行位置特征编码，通过计算原始主干网络提取的特征与位置编码之间的偏移量，强化目标物体的定位与识别；然后，在单层注意力机制的基础上，引入上下文关系链条，进一步强化模型的泛化性能，最后，结合迁移学习的训练方式缓解小样本数据集极易造成过拟合的问题。通过测试单一目标物体和交叉生长的多目标物体在晴天、雨天和阴天等多场景环境下的识别性能，结果表明，本文方法分别可以实现单一目标物体和交叉生长的多目标物体92.84%和90.01%的平均识别准确率。

关键词：农田杂草；注意力机制；强化注意力；位置特征编码；迁移学习

中图分类号：S451： TP391

文献标识码：A

文章编号：2095-5553 （2023） 04-0195-07

Abstract： Aiming at the problem that it is difficult to recognize weeds and other targets due to the cross growth between crops and weeds， an agricultural weeds recognition method based on enhanced attention mechanism is proposed. Firstly， the backbone network is used to extract the deep feature of the input images， and on this basis， an enhanced attention module is proposed， which is used to encode the position feature from the horizontal and vertical dimensions， and then strengthening the position and recognition of the target object by calculating the offset between the feature extracted from the original backbone network and the position encode. Then， the single-layer based on attention mechanism， the context chain is introduced to further strengthen the generalization performance of the model. Finally， the training method combined with the transfer learning can alleviate the problem of the over fitting caused by small sample data sets. By testing the recognition performance of the single target object and cross growing multi-target objects in multi scene environments such as sunny， rainy and cloudy days， the results show that the proposed method can achieve the average recognition accuracy of 92.84% and 90.01% for the single target object and cross growing multi-target objects respectively.

Keywords： agricultural weeds; attention mechanism; strengthen attention; position feature encode; transfer learning

0 引言

根除杂草是农业生产过程中重要的业务之一，田间杂草作为病虫害的栖息地，具有极强的生命力，通过不受控制的生长与农作物竞争生长空间和营养成分等资源，给农作物的产量和质量造成严重的影响。据统计，杂草造成粮食产量损失高达年均总产量的10%，约8亿人一年的口粮［1］。杂草根除主要包括机械除草和化学除草等两大类，机械除草成本高，且容易造成农作物的损伤；化学除草虽可以大面积根除，但极易造成环境和水资源等的污染。因此，如何利用绿色手段高效的根除农田杂草，对于保证农作物产量和质量具有重要的意义。

近年来，随着深度学习在众多领域的广泛应用，利用深度学习技术［2-5］来提高农业生产产量和质量成为农业领域的热点研究课题之一。其中，在传统机器学习方法中，基于Yolov3、Faster R-CNN和SSD等算法根除杂草的应用最为广泛［6-8］，如樊湘鹏等［9］提出了一种基于Faster R-CNN的棉花地杂草识别与定位算法，通过优化传统Faster R-CNN并结合VGG和ResNet等作为主干网络，进行棉花天地间的杂草识别与定位。刘莫尘等［10］提出了一种融合MSRCR和YOLOv4-tiny的田间玉米杂草检测算法，通过利用MSRCR算法进行图像特征的预处理，并利用YOLOv4进行目标框的聚类与通道剪纸。李开敬等［11］针对杂草种类多导致检测识别率低等原因，提出了一种基于Faster R-CNN和数据增强的草识别算法，通过采用ResNet作为主干网络分别对不同天气下的多种杂草进行定位。然而，该类方法主要借助VGG和ResNet等深度卷积进行特征提取；然后，根据目标物体的位置置信度确定最佳位置，从而进行类别判断。但利用深度学习算法识别杂草存在如下问题：（1）杂草类别丰富，不同物种外表极易相似，这使得杂草识别难度增加；（2）随着环境等因素的影响，杂草变异较快，新物种难以判断，并且无任何专家知识，再次增大了识别的挑战；（3）在场景复杂的农田中，多物种交叉生长，利用传统机器学习算法难以准确定位。

针对上述问题，以经典的ResNet-50网络为特征提取器对输入图片进行深度特征提取，并引入一种强化注意力模块，从水平和垂直等两个维度细粒度的进行位置特征編码，充分考虑像素之间的上下文时序关系；其次，通过计算原始主干网络提取的特征与位置编码之间的偏移量，强化目标物体的关注度，提高模型对于交叉多物种的辨别能力；受残差网络的启发，在单层注意力机制的基础上，引入上下文关系链条，进一步提高模型的性能；最后，结合迁移学习的训练方式缓解小样本数据集极易造成过拟合的问题。

1 数据采集与预处理

本文训练样本数据主要来源于文献［12］公开的杂草数据集和自建杂草数据集等两种。其中，自建数据集主要采集于宁夏银川当地农田，主要包括晴天、雨天和阴天等不同天气不同时间段（早上5：00、中午12：00、下午18：00和晚上21：00）下实地拍摄的8月份旱田农作物中的多类杂草，总共拍摄10 861张杂草图片，详细数据如表1所示。采集的图像多为农作物与杂草交叉生长图片，均为未做任何处理的原始图像，部分图像如图1所示。采集设备采用可旋转固定支架的佳能EOS 60D单反数码相机，图像分辨率为5 184像素×3 456像素，格式为JPEG。

为防止样本有限导致深度神经网络过拟合的问题，本文采用数据增广技术进行样本几何变换，分别采用随机旋转、放缩、部分裁剪、对比度增强和亮度变换等方式进行图像样本扩充。经过杂草图像样本扩充后，样本由22 300扩充至37 840张，并按照7∶3划分为训练集和验证集。图像像素统一调整为224像素×224像素。部分杂草数据示例如图1所示。

2 模型构建

针对现有杂草识别算法无法充分利用特征位置信息精确定位杂草，导致交叉的多物种识别不理想。因此，本文提出了一种融合强化注意力机制的小样本农田杂草识别方法。该方法以ResNet-50为主干网络，并在解码阶段的上采样中引入强化注意力模块，充分捕捉目标物体的位置信息，增强交叉多物种的定位与识别能力。

图2给出了本文的模型结构，其中编码阶段利用主干网络进行下采样，提取目标物体的编码特征；解码阶段进行上采样操作，并在上采样操作中引入强化注意力模块，强化目标定位的准确性。

2.1 ResNet-50

农田杂草由于不受任何限制，交叉生长，且同一目标杂草因其外界光照、角度等原因呈现不同的姿态。因此，相比于一般物体的检测难度更大，此时低维浅层次的特征不足以精确识别多目标杂草。

近年来，图像语义分割、目标检测和图像分类等任务采用ResNet-50和ResNet-101等作为主干网络进行特征编码［13-15］。因此，本文综合考虑试验环境和识别性能，采用ResNet-50作为主干网络进行特征编码。结构如图3所示。

3.3 结果分析

3.3.1 引入迁移学习的有效性验证

为验证迁移学习对多目标小样本数据的训练效果，在相同的数据集和试验环境下进行多组试验，详细数据如表2所示。其中，未采用迁移学习的训练方式为不加载预训练模型，利用随机生成的网络参数进行模型初始化；冻结部分卷积层的训练方式为仅训练ResNet-50最后一初始化个卷积块和全连接层，其余层采用预训练网络参数进行；冻结全部卷积层的训练方式为仅训练全连接层；所有层参与训练的方式为加载全部的预训练参数作为模型的初始化。

由表2和图6可以看出，采用预训练参数作为模型的初始化具有更高的识别性能，验证了本文设计的初衷，即利用迁移学习的训练策略，可以有效解决模型对于训练样本不足，导致无法提取充足特征的问题。此外，虽然加载预训练模型后，再次训练模型的所有层会导致时间开销有所增加，但增加不多，仍然可以满足实际应用中对于实时性的需求，并且、本文主要以识别准确率为主要评价指标。

3.3.2 多场景下目标物体的定位与识别

图7和图8分别给出了本文模型对部分晴天、雨天和阴天等不同天气不同时间段（早上5：00、中午12：00、下午18：00和晚上21：00）单一目标物体和多交叉目标物体的识别性能。具体数据如表3所示。

从表3可知，在晴天光照较好的条件下识别效果最佳，其中单一目标物体识别平均准确率为96.74%，交叉多目标物体识别平均准确率为93.55%；在光照暗淡的阴天环境下识别性能最差，但单一目标物体仍然可以达到平均90.47%的识别准确率，多目标物体可以达到平均87.14%的识别准确率。因此，为提高模型在实际应用中的效果，可以通过增加在极端环境条件下的样本数量。可视化效果如图7和图8所示。

图8给出了更具挑战性的定位与识别任务，当杂草与农作物交叉生长，使得杂草识别任务更加困难，但也更符合实际应用。虽本文模型对多目标物体交叉生长任务的识别精度有所下降，但仍然可以在晴天、雨天和阴天实现92.21%、90.69%和87.14%的平均识别准确率。再次验证了本文模型的泛化性能，更符合实际应用的需求。

3.3.3 同类相关工作对比

为进一步验证本文模型的识别性能，在相同的试验环境下分别构造文献［1］、文献［8］、文献［18］、文献［19］、文献［20］和本文模型，并利用多目标交叉物体样本数据进行对比试验，不同模型识别结果如表4所示。

由表4可知，对于交叉生长的多目标物体，本文模型可以实现晴天、雨天和阴天分别为92.21%、90.69%和87.14%的平均识别准确率，与当前主流模型相比，在雨天环境下分别提高了0.74%、2.94%、1.13%、3.01%和2.41%；在阴天环境下分别提高了1.40%、1.63%、0.14%、2.16%和3.26%；虽在晴天环境下相比文献［8］有所下降，但综合优势显然；此外，在检测时间开销方面，本文模型虽比文献［18］有所增加，但增加不大，且在识别准确率方面具有更大的优势。究其原因是本文在单层注意力机制的基础上，引入上下文注意力链条，构造了深度注意力机制，强化了模型对相邻特征间关系的捕获，提升了模型对目标物体的关注度。

3.4 消融试验

为验证本文模型不同组件的性能，在相同的数据集和主干网络上进行消融试验，详细结果如表5所示。

由表5可以看出，位置编码和上下文关系链条在模型性能提升方面具有重要的角色。虽然单一位置编码可以缓解传统方法定位不精确的问题，但结合水平和垂直等两个维度的位置编码信息可以有效提高模型对于目标物体的定位与识别精度；此外，引入的上下文关系链条可以促进相邻注意力块之间的信息共享，充分考虑到上下文语义信息，进一步提高模型对目标物体的关注度。

4 结论

本文提出了一种新的农田杂草识别方法，从水平和垂直两个维度进行特征编码，并通过计算原始特征与位置编码之间的偏移量，强化目标物体的定位；其次，利用上下文关系链条来改进单层注意力机制，并在此基础上借助迁移学习的训练方式，缓解小样本数据集极易过拟合的问题。通过在单一目标场景和多目标场景数据集上分别实现了92.84%和90.01%的平均识别准确率，表明本文模型具有较好的识别能力，验证了模型的设计初衷，具有一定的先进性。

1）  利用水平和垂直两个维度的特征能够缓解模型对于局部和全局信息利用不充分的问题，有效提高了模型对于新物种的定位与识别能力。

2）  利用上下文注意力链条改进单层注意力机制，使得特征信息在相邻注意力块之间可以自由流动，充分考虑到上下文语义信息，进一步提高模型对目标物体的关注度。

在未来的工作中，主要通过提高深度特征的表达能力，并强化模型对于密集型物体的关注，进一步提升模型的泛化性能。

参 考 文 献

［1］ 袁洪波， 赵努东， 程曼. 基于图像处理的田间杂草识别研究进展与展望［J］. 农业机械学报， 2020， 51（S2）： 323-334.

Yuan Hongbo， Zhao Nudong， Cheng Man. Review of weeds recognition based on image processing ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2020， 51（S2）： 323-334.

［2］ 蔡愛平. SAR遥感图像中农田区域识别与检测方法研究［J］. 中国农机化学报， 2020， 41（9）： 138-142.

Cai Aiping. Research on identification and detection methods of farmland areas in SAR remote sensing images ［J］. Journal of Chinese Agricultural Mechanization， 2020， 41（9）： 138-142.

［3］ 王茂励， 王浩， 董振振. 基于物联网技术的数字农田信息监测系统研究［J］.中国农机化学报， 2019， 40（9）： 158-163， 180.

Wang Maoli， Wang Hao， Dong Zhenzhen. Research on digital farmland information monitoring system based on Internet of Things technology ［J］. Journal of Chinese Agricultural Mechanization， 2019， 40（9）： 158-163， 180.

［4］ Fu L， Lü X， Wu Q， et al. Field weed recognition based on an improved VGG with inception module ［J］. International Journal of Agricultural and Environmental Information Systems （IJAEIS）， 2020， 11（2）： 1-13.

［5］ 蒲秀夫， 宁芊， 雷印杰. 基于二值化卷积神经网络的农业病虫害识别［J］. 中国农机化学报， 2020， 41（2）： 177-182.

Pu Xiufu， Ning Qian， Lei Yinjie. Identification of agricultural plant diseases based on binarized convolutional neural network ［J］. Journal of Chinese Agricultural Mechanization， 2020， 41（2）： 177-182.

［6］ 张学军， 黄爽， 靳伟. 基于改进Faster R-CNN的农田残膜识别方法［J］. 湖南大学学报（自然科学版）， 2021， 48（8）： 161-168.

Zhang Xuejun， Huang Shuang， Jin Wei. Identification method of agricultural film residue based on improved Faster R-CNN ［J］. Journal of Hunan University （Natural Sciences）， 2021， 48（8）： 161-168.

［7］ Elghany S A， Ramadan M， Alruwaili M， et al. Diagnosis of various skin cancer lesions based on fine-tuned ResNet50 deep network ［J］. Computers Materials and Continua， 2021， 68（1）： 117-135.

［8］ 邓向武， 马旭， 齐龙. 基于卷积神经网络与迁移学习的稻田苗期杂草识别［J］. 农机化研究， 2021， 43（10）： 167-171.

［9］ 樊湘鹏， 周建平， 许燕. 基于优化Faster R-CNN的棉花苗期杂草识别与定位［J］. 农业机械学报， 2021， 52（5）： 26-34.

Fan Xiangpeng， Zhou Jianping， Xu Yan. Identification and localization of weeds based on optimized Faster R-CNN in cotton seedling stage ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2021， 52（5）： 26-34.

［10］ 刘莫尘， 高甜甜， 马宗旭， 等. 融合MSRCR算法和YOLOv4-tiny的田间环境玉米杂草目标检测模型［J/OL］. 农业机械学报： 1-15［2022-10-10］. http：//kns.cnki.net/kcms/detail/11.1964.S.20220118.1730.002.html

［11］ 李开敬， 许燕， 周建平. 基于Faster R-CNN和数据增强的棉田苗期杂草识别方法［J］. 新疆大学学报（自然科学版）， 2021， 38（4）： 450-456.

Li Kaijing， Xu Yan， Zhou Jianping. Cotton field seedling weed identification method based on Faster R-CNN and data enhancement ［J］. Journal of Xinjiang University （Natural Sciences）， 2021， 38（4）： 450-456.

［12］ Jiang H， Zhang C， Qiao Y， et al. CNN feature based graph convolutional network for weed and crop recognition in smart farming ［J］. Computers and Electronics in Agriculture， 2020， 174： 105450.

［13］ 刘宇轩， 孟凡满， 李宏亮. 一种结合全局和局部相似性的小样本分割方法［J］. 北京航空航天大学学报， 2021， 47（3）： 665-674.

Liu Yuxuan， Meng Fanman， Li Hongliang. A few shot segmentation method combining global and local similarity ［J］. Journal of Beijing University of Aeronautics and Astronautics， 2021， 47（3）： 665-674.

［14］ Zang H， Xu R， Cheng L， et al. Residential load forecasting based on LSTM fusing self-attention mechanism with pooling ［J］. Energy， 2021， 229： 120682.

［15］ 陸雅诺， 陈炳才. 基于注意力机制的小样本啤酒花病虫害识别［J］. 中国农机化学报， 2021， 42（3）： 189-196.

Lu Yanuo， Chen Bingcai. Indentation of hops pests and diseases in small samples based on attention mechanisms ［J］. Journal of Chinese Agricultural Mechanization， 2021，42（3）： 189-196.

［16］ Dong R， Xu D， Zhao J， et al. Sig-NMS-based Faster R-CNN combining transfer learning for small target detection in VHR optical remote sensing imagery ［J］. IEEE Transactions on Geoscience and Remote Sensing， 2019， 57（11）： 8534-8545.

［17］ Farooq A， Hu J， Jia X. Analysis of spectral bands and spatial resolutions for weed classification via deep convolutional neural network ［J］. IEEE Geoscience and Remote Sensing Letters， 2018， 16（2）： 183-187.

［18］ 孙俊， 何小飞， 谭文军. 空洞卷积结合全局池化的卷积神经网络识别作物幼苗与杂草［J］. 农业工程学报， 2018， 34（11）： 159-165.

Sun Jun， He Xiaofei， Tan Wenjun. Recognition of crop seedling and weed recognition based on dilated convolution and global pooling in CNN ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2018， 34（11）： 159-165.

［19］ 温德圣， 许燕， 周建平. 自然光照影响下基于深度卷积神经网络和颜色迁移的杂草识别方法［J］. 中国科技论文， 2020， 15（3）： 287-292.

Wen Desheng， Xu Yan， Zhou Jianping. Weed identification method based on deep convolutional neural network and color migration under the influence of natural illumination ［J］. China Sciencepaper， 2020， 15（3）： 287-292.

［20］ Fang F， Li L， Zhu H， et al. Combining Faster R-CNN and model-driven clustering for elongated object detection ［J］. IEEE Transactions on Image Processing， 2019， 29： 2052-2065.