基于人工智能的作物与草坪杂草识别研究进展

方 璇，金小俊，陈 勇

(南京林业大学机械电子工程学院，江苏 南京 210037)

杂草通常是指妨碍作物生长的野生或无益植物，常见于农作物如玉米、水稻，蔬菜等经济作物及草坪中，其凭借自身顽强的生命力适应于各种恶劣环境[1]。农田中的杂草不但与作物争夺养分和生长空间，影响作物生产质量，亦为病虫害提供有利环境[2]，被虫害啃食的蔬菜叶片严重影响品相，草坪杂草破坏绿化景观的美观性。

杂草防治方法包括人工除草、机械除草、化学除草、生态防治除草等[3]。人工除草费时费力且效率低下，机械除草虽然节省人力且环保无污染，但所需的杂草识别技术尚未成熟，不具备在复杂农业环境中作业的能力[4]。由于杂草与草坪交织生长，通常以人工喷施化学除草剂的方式进行草坪除草，农田同样使用化学药剂。化学药剂可以有效控制杂草生长但大范围的喷洒浪费药物、抑制作物生长、污染土壤环境，进而破坏生态系统平衡。在高尔夫球场中，由于化学除草引起的高尔夫草坪褪色或色差，表面欠平顺、托球性差等皆为除草剂对高尔夫草坪的药害，直接或间接影响球技发挥[5]。除此之外，杂草生长分布不均、不连续也对杂草的精准识别提出挑战。

1 杂草识别研究现状

对杂草识别的研究，国外起步较早，我国则相对较晚。早期识别主要是对特征的提取、定位和分类，识别效果取决于特征选择与融和的好坏。近年来基于人工智能的研究重点在于模型和算法的改进[6]。杂草识别的流程可分为两部分：第一是分割土壤背景；第二是区分杂草与作物[7-8]。

传统杂草识别方法主要是指图像处理，通过对比杂草的形状特征、颜色特征、纹理特征或多光谱特征[9-10]进行杂草与作物的区分，缺点为识别精度低、速度慢。传统杂草识别需要人工设计特征，且特征选取是否合适对最终识别的准确率有较大影响[11-12]，除此之外还存在着算法设计复杂，识别速度慢等缺陷[13]。随着卷积神经网络(Convolutional Neural Networks，CNN)技术的发展，更多的研究开始借助深度学习的方法[14]。

深度学习具备复杂特征提取的能力，根据输入数据的原始形态，通过层层网络逐渐将输入抽象为目标任务的特征表示，最后将特征映射到目标[6]，其作为当前人工智能热潮的核心技术，广泛应用于NLP(Natural Language Process)、计算机视觉、语音识别等，为机器学习(Machine Learning，ML)的一个重要分支。正是由于其强大的特性，越来越多的研究人员开始使用深度学习进行杂草识别研究。深度学习与图像处理的结合，可以有效降低杂草识别复杂度，同时提高识别精度和鲁棒性[15]。基于深度学习的复杂特征杂草识别方法既能解决农业复杂特征杂草识别困难问题，也能充分利用卷积神经网络的深度特征提取能力[16]。近几年的农作物、经济作物和草坪杂草识别研究中，基于深度学习的智能识别方法均取得了较好的分类识别效果。

1.1 主要农作物杂草识别

粮食对人民生活至关重要。在我国，玉米作为三大主要粮食作物之首，是非常重要的粮食来源[17]，水稻、小麦等同样至关重要。由于农作物施药既要充分保证药效，又要减少除草剂剂量[18]，这对精准施药技术提出了更高要求。

在玉米作物研究中，王燦等[19]以幼苗期玉米及杂草为研究对象，提出了基于卷积神经网络提取多尺度分层特征的玉米杂草识别方法。通过建立卷积神经网络模型，从图像的高斯金字塔中提取多尺度分层特征作为识别依据，与多层感知器相连接对图像进行识别得到标签矩阵，利用矩阵中每个元素的类别标签将相应位置像素标记为不同颜色，玉米与杂草识别结果如图1所示，浅绿色代表玉米，深绿色代表杂草，棕色代表背景，试验平均目标识别准确率达98.92%，标准差为0.55%，单幅图像平均耗时1.68 s，可以精准、稳定和高效地实现玉米的杂草识别。权龙哲等[20]提出的通过预训练网络方法处理带有VGG19的改进Faster R-CNN模型，能快速准确地检测复杂田间作业环境下不同生长阶段的玉米幼苗，检测精确率超过97.71%。姜红花等[21]提出的基于深度卷积网络和二进制哈希码的田间杂草快速识别方法，通过对比不同卷积层数和不同二进制哈希码长度对杂草识别的影响，最终确定了包含4层卷积网络和128位哈希码长度的杂草识别模型，田间杂草识别准确率可达98.6%。在其他杂草数据集上准确率达到95.8%，证明了该方法的泛化能力。

稻田作物研究中，彭文等[22]利用多种结构的深度卷积神经网络对水稻田杂草数据集进行提取，在各深度模型对比试验中，VGG16模型精度最高，其平均F1值为0.954。针对稻田苗期分类方法单一问题，邓向武等[23]提出一种基于Subspace集成学习的稻田杂草识别方法，先提取杂草图像的颜色、纹理、形状特征作为杂草的识别特征，再通过多个基分类器集合训练得到集成学习模型，识别准确率达91.41%，高于SVM(支持向量机)和BP神经网络。

针对其他农作物，徐可等[24]提出一种基于RGB图像特征与深度特征融合的麦草识别方法，利用Ada Boost算法对表现优异的三种分类器(KNN、SVM和基于深度的线性分类器)进行集成学习，对小麦中禾本科杂草识别准确率达81.08%。Sivakumar等[25]对基于对象检测的卷积神经网络模型在低空无人机(Unmanned Aerial Vehicle，UAV)图像上进行了训练和评价，在大豆田中后期杂草中进行检测，试验表明Faster RCNN模型在精度、召回率、F1分数和loU(Intersection-over-Union)上与SSD(Single Shot Detector)模型都具有良好的杂草检测性能，但SSD模型的最佳置信阈值远低于Faster RCNN模型。

农作物的杂草识别，不少研究采用了CNN的模型。Razavi等[26]从农业站采集的图像中植物类别建立了一种CNN模型，并将识别模型的结果与其他种类的分类器和描述符进行比较，结果表明CNN更具优势。Potena C等[27]使用轻量级CNN对图像分割以获取绿色作物像素，然后在对农作物和杂草进行分类识别时选择层数更高的CNN网络。Dymann等[28]在10 413张图像上建立了一个CNN网络，这些图像在相机稳定且照明受控条件下拍摄，用于识别在生长早期的22种杂草和作物，精度达86.2%。Potena等[29]提出的一种农业机器人感知系统可以对农作物和杂草进行实时分类识别，使用轻量级CNN执行像素级二值图像分割，深层CNN对作物和杂草之间提取的像素进行分类。基于深度学习的杂草识别方法能很好地解决农业复杂环境中的杂草识别问题。

1.2 蔬菜等经济作物杂草识别

蔬菜是除粮食作物外栽培面积最广、最重要的经济作物[30]。相对于条播作物的规律性种植，蔬菜田中作物的杂草识别更加复杂，目前国内外的蔬菜杂草识别研究仍处于探索阶段[31]。

在青菜和生菜的杂草检测中，徐涛等[32]提出一种基于三维点云的新型蔬菜大棚杂草识别方法，以青菜田，生菜田为试验对象，使用深度信息Z坐标的高度特征实现蔬菜杂草识别，识别率达86.48%。金小俊等提出了一种基于识别蔬菜进而间接识别杂草的独特方法，即将神经网络标记后的图像利用颜色分割，再通过面积滤波得到滤除噪点后的杂草区域，SSD模型为用于识别青菜的三种模型中最优模型，F1值达95.4%。此外在白菜的试验中使用了一种基于深度学习的杂草检测方式如图2所示，YOLO-v3检测结果最为精确，F1值达0.971[33]，另一使用CenterNet结合遗传算法评估的识别模型在白菜的杂草识别中达到了95.6%的精度、95%的召回率和0.953的F1值，模型可行性高[34]。喻刚等[35]提出将Mask-RCNN算法应用到自然光照下白菜田杂草识别，识别率为81%，与传统阈值分割算法对比，此方法解决了传统图像算法在复杂光照和叶片遮挡环境下图像难以分割的问题。

图2 深度学习识别蔬菜

其他经济作物研究中，董亮等[36]设计了一种改进型的人工神经网络(Artificial Neural Network，ANN)算法对大棚作物苗期杂草识别，试验表明，在对大棚培育中的花椰菜及其伴生杂草空心莲子草、马唐草、小画眉草、马齿苋、婆婆纳5种杂草的识别率可达94%。孙俊等[37]为实现甜菜与杂草的实时精确分割识别，将可见光进行对比度增强，再与近红外融合为4通道图像，将深度可分离卷积以及残差块构成分割识别模型的卷积层，具有较高分割识别效果和实行性。孙哲等[38]以西兰花幼苗为研究对象，提出了一种基于Faster R-CNN模型的作物检测方法，以ResNet101网络为最优特征提取网络，优化网络超参数，Dropout值为0.6时，其平均精度达到了91.73%。

在国外，Bakhshipour等[39]采用支持SVM和人工神经网络，以甜菜及其伴生的四种常见杂草为研究对象，融合傅里叶描述符和矩不变等形状特征实现杂草识别，SVM获得了较高的准确率95%。Osorio等[40]使用基于机器学习的支持向量机技术和基于深度学习的YOLO-v3、Mask R-CNN卷积神经网络模型进行生菜田中杂草识别，F1值分别为88%、94%和94%，识别效果优于传统图像处理。Sharpe等[41]分别对草莓及番茄中的鹅草进行检测，使用tiny-YOLOv3检测器对整体植株(EP)及叶片切片部分(LP)进行标记，对比F1值及精度。结果表明草莓和番茄在鹅草检测中LP均优于EP。Borja等[42]提出一种微调预训练卷积网络(Xception、Inception-Resnet、VGNets、Mobilenet和Densenet)与传统机器学习分类器(支持向量机、XGBoost和Logistic回归)相结合的杂草识别系统，对番茄及棉花进行试验，结果表明Densenet与SVM的组合F1值最高为99.29%，其他评估方法F1值也均超过95%。Czymmek等[43]提出一种无需分割且无需大型数据集即可实现检测胡萝卜田中杂草的方法，使用卷积神经网络定位和分类植物，在胡萝卜的试验中以18.56 FPS(Frames Per Second)的计算速率实现了89%的精度。Partel等[44]研制的基于人工智能的杂草检测系统，将嵌入式图形处理单元(GPU)作为智能喷雾器处理单元，用于植物检测和目标喷涂，针对辣椒的马齿苋杂草检测精度达71%，召回率78%。

1.3 草坪杂草识别

草坪相比于农作物与经济作物，杂草识别研究起步较晚。

传统杂草识别研究中，Watchareeruetai等[45]提取草坪图像的边缘信息，通过杂草边缘与草坪草边缘的纹理特征识别杂草，对阔叶杂草的识别率达89%。Parra等[46]通过融合不同大小图像块的锐化滤波和拉普拉斯滤波结果扩大草坪与杂草的特征差异，阈值分割融合后的图像F1值最高达83%。

基于深度学习方法的研究中，金小俊等以狗牙根草坪及其伴生杂草毛花雀稗、白三叶以及莎草为研究对象，选取VGGNet模型、GoogLeNet模型和ShuffleNet模型分别以F1值、准确率和识别速度进行对比分析，试验表明，GoogLeNet模型为杂草识别最优模型，其在测试集的平均准确率和识别速度分别为98.75%和36.9fps，可应用于草坪实时杂草识别。Yu等[47]使用深度卷积神经网络进行图像分类，选取AlexNet、GoogLeNet、VGGNet三种模型，通过检测狗牙根草坪及其伴生草发现VGGNet模型取得了较高的F1值(≥0.97)和召回率(≥0.99)。单个VGGNet模型同样表现出较高的F1值(≥0.93)和召回率(1.00)。对于休眠期狗牙草及其伴生杂草的草坪杂草识别结果如图3所示，DetectNet和VGGNet都具有出色的杂草检测性能，模型取得了高F1值(>0.99)和总体准确率(>0.99)，在测试数据集中召回率为1.00[48]，在多年生黑麦草坪实验中，对于不同密度的蒲公英草的检测VGGNet取得了高F1值(≥0.927 8)和高召回率(≥0.995 2)，总的来说，基于DCNN的杂草识别可以有效检测草坪杂草[49-50]。

图3 草坪杂草识别结果

传统杂草识别方法，即通过提取图像的边缘与纹理特征进行的研究，所得到的目标识别率均较低[51]。采用深度学习与卷积神经网络的识别方法，准确率及精度明显优于传统杂草识别方法。模糊C-均值聚类算法(Fuzzy C-Means Algorithm，FCM)算法是对目标函数进行优化的聚类算法，主要是根据各个对象之间的相似性来完成目标对象的聚类[52]。江南大学化春键等提出的改进模糊C均值(Fuzzy C-means，FCM)聚类分割算法，通过在聚类过程中引入像素周围不同方向的灰度分布差异特征实现草坪杂草分割，平均分割准确率达91.45%[51-52]。此方法对草坪杂草精准识别同样具备应用价值。

1.4 小结

通过对深度学习研究方法的整理如表1所示，基于深度学习的杂草识别目标检测器可分为两大类，分别是以YOLO、SSD为代表的一阶段方法和以R-CNN、Fast-RCNN、Faster-RCNN、Mask-RCNN为代表的两阶段方法，一阶段检测速度更快，但精度低于二阶段，目前提出的新检测方法基本都是围绕改进一阶段精度、二阶段速度、模型结构、损失函数等展开。

由于缺乏作物和杂草的大型数据集，且数据集的注释非常昂贵，可采用半监督生成对抗网络(GAN)等辅助注释，通过随机点生成和多边形标记提高检测系统精度，针对研究中使用的大部分数据集类别不平衡，可能会产生偏差和模型的过拟合，可通过适当的数据再分配、类平衡分类器改善[53]。

表1 部分基于深度学习的杂草识别研究

续表1

2 总结

本文分别对农作物、经济作物和草坪三方面的杂草识别研究展开综述，并将研究集中在人工智能方法。有关农作物的研究显示，玉米幼苗是最主要的研究对象，经济作物中则是生菜与甜菜，同时不乏花椰菜、番茄等研究，草坪研究起步最晚，但在深度学习的应用下识别效果显著。在目标特征提取上深度学习明显优于传统杂草识别方法，图像处理方法虽然对简单环境下的杂草具有很好的识别效果，但在复杂环境下的识别精度、准确率低于深度学习算法。基于深度学习的方法前景广阔但前期的数据采集、标记仍消耗了不少劳动力，因此未来应对更多机器学习网络诸如半监督学习、生成对抗网络加以研究[56-57]。尽管在现有技术上，杂草识别技术仍存在着许多亟待解决的问题，但近几年人工智能在杂草识别上取得的突破性发展将会使除草装置更具应用价值。