基于多任务学习农作物叶片病害诊断方法

郑果 姜玉松

摘要：为了快速、准确判别农作物叶片病害图像的病害类型及病害程度，提出基于多任务学习的诊断方法。引入通道和空间注意力模型，对经典的MobileNetV3网络模型进行改进，并在此基础上构建基于特征金字塔的多任务深度卷积神经网络模型，实现作物类型、病害类型和病害程度的精准识别。采用多种图像增强方法对农作物叶片病害图像进行扩展，对改进前后模型与其他图像识别模型在农作物病害叶片识别性能上进行对比试验，并探究在有无数据增强处理条件下不同模型的性能。结果表明：该模型在作物类型识别、病害类型识别与病害程度识别任务上，平均准确率比原模型分别提升1.38、2.24和2.03个百分点；召回率比原模型分别提升2.38、1.62和1.18个百分点；对比MobileNetV3，InceptionV3、YOLOv7模型，该模型在上述3个任务上平均识别准确率和召回率均达到最高。

关键词：智慧农业；病害识别；深度学习；卷积神经网络；多任务学习

doi：10.13304/j.nykjdb.2022.0650

中图分类号：S126 文献标志码：A 文章编号：10080864（2024）01008910

病害给农作物生产造成巨大损失，农作物病害识别与防治对于提高农业产量和质量具有重大经济价值和现实意义[1]。及时准确地掌握农作物病害类型、受损程度和发展趋势，既能快速采取有效治理措施以降低病害对农业生产造成的经济损失，又能避免盲目用药造成的生态环境污染，为科学制定病害防治策略提供依据。传统作物病害监测主要依赖专家通过实地观测作物表面特征进行评估诊断，该方式不仅需要专家具有丰富的经验，同时评估过程较为繁琐、耗时，且具有一定的主观性，难以满足实际生产中大规模、快速病害监测的应用需求。

基于计算机视觉的图像识别方法通过学习专家知识分析病害图像的视觉特征，进而判断病害类别。在病害发生早期，叶片图像是根据经验知识，从颜色、纹理、形状、边缘等角度进行底层视觉特征提取[12]。随着深度学习理论不断完善，以深度卷积神经网络（convolutional neural network，CNN）为代表的学习方法在图像识别领域取得了重大突破[3-5]，成为当前农作物叶片病害识别的主流方法。张帅堂等[3]针对茶叶叶片病害单光谱成像识别精度偏低的问题，提出了基于高光谱成像和图像处理融合技术的茶叶病斑快速识别方法。

刘瑾蓉等[8]根据银杏轮纹病的叶片特点，设计了18层卷积神经网络，对5种不同患病程度的银杏叶片辨识率可达92%。曾伟辉等[9]针对噪声污染和复杂背景干扰的真实场景下农作物病害图像识别性能下降问题，提出了一种新的面向农作物病害识别应用的高阶残差卷积神经网络方法，以实现作物病害的准确识别。李淼等[10]针对作物小样本引起的过拟合问题，引入了知识迁移和深度学习方法。魏超等[11]采用6种深度网络模型对作物病害图像进行特征抽取，采用交叉熵和正则化项组成损失函数进行反向传播调整，通过深度学习算法来检测农作物病害。刘洋等[12]针对农作物病害识别模型在移动端部署存在参数量大、计算复杂度高等问题，对MobileNet和InceptionV3轻量级卷积神经网络进行迁移学习，使运算速度和网络尺寸之间达到平衡。Jiang 等[13]提出一种实时苹果病害识别方法，引入Inception 结构和Rainbow级联，对SSD目标检测算法进行改进。许景辉等[14]针对复杂田间背景下小数据样本学习的玉米病害图像识别问题，提出了一种基于迁移学习的卷积神经网络玉米病害图像识别模型。

Chen等[15]将轻量级网络MobileNetV2与迁移学习相结合，实现农作物细小病害区图像识别。赵立新等[16]利用迁移学习算法并辅以数据增强技术，实现棉花叶部病害图像准确分类。王春山等[17]提出了改进型的多尺度残差轻量级病害识别模型，通过增加多尺度特征提取模块，改变残差层连接方式，将大卷积核分解进行群卷积操作，显著减少了模型参数，降低了存储空间和运算开销。刘阳等[18]通过删除SqueezeNet模型中的fire模块数量并修改fire模块参数，大幅减小5种模型的参数内存需求及模型计算量，模型收敛迅速。

综上所述，大多数研究将农作物病害诊断看作一般图像识别问题，忽略了病害类别与作物类别、病害程度之间的内在联系，而实际上这种内在联系影响作物病害识别精度。因此，本文建立多任务深度学习模型，分析农作物类型、病害类型以及病害程度三者之间的关系，实现农作物病害远程自动诊断，为农作物病害精准防治提供高效手段，有利于推动深度学习技术与农业生产深度融合，促进传统农业向数字农业转变。

1 材料与方法

1.1 数据采集

由于摄像机拍摄时成像参数、拍摄距离、角度和天气等变化，农作物病害叶片采集面临运动模糊、尺度变化、复杂背景干扰、局部遮挡、光照强度变化等问题。为了满足大田农作物叶片病害识别需求，试验数据集来自PlantVillage官方数据网站（https：//github.com/spMohanty/PlantVillage-Dataset）。原数据集包含13种农作物26类病叶图像和12种农作物（苹果、蓝莓、樱桃、玉米、葡萄、桃树、辣椒、土豆、黄豆、草莓、番茄）健康叶图像，总计54 306张，具体信息如表1所。

1.2 数据处理

从表1可以发现，每种作物的各类病害叶片图像数量差距较大。为了解决这种样本数据不均衡导致模型性能下降的问题，将样本较少的病害类别图像进行扩充。首先，通过翻转（水平和垂直2 个方向）、平移、随机裁剪、旋转、缩放（按照10%、20%、30%比例放大）、加高斯噪声等方法将1幅原始图像扩展为20幅，使得多数类别病害图像数量达到5 000幅以上；然后，使用MATLAB将所有图像进行归一化，使其分辨率为224×224；其次，在训练过程中，从每批图像中随机选择2幅图像，并以一定比例混合生成新的图像，作为新的样本。为了减少数据集划分对试验的影响，本文采用交叉验证的模型训练方法[3，11]，随机将数据集中每个类别子集按照4∶1∶1的比例挑选样本，生成训练集、验证集和测试集。采用交叉验证方式随机重复10次，将平均值作为最后结果。本文借鉴文献[3，9，11]中关于农作物叶片病害程度标注方案，对于农作物病叶图像，根据病区面积与叶片面积比值（α），将病害程度定义为L1～L4 共4 个等级。L1表示健康，L2表示轻微损害（0<α≤30%），L3表示中度损害（30%<α≤50%），L4表示严重损害（50%<α≤100%）。

1.3 模型构建与优化

卷积神经网络已经被普遍用于图像分类，并且已经取得了重要进展。为了提升卷积神经网络模型图像识别精度，网络模型设计越来越复杂，网络层数逐渐加深，网络参数数量激增，难以满足实时应用需求。本文在主干网络后端引入空间和通道注意力模块[21]和特征金字塔网络模块[22]，对轻量级MobileNetV3网络模型进行改进[19]，用于农作物病害快速识别。本文基于多任务学习[20]的深度卷积神经网络框架（图1），通过共享底层特征模块提高作物类型识别、病害识别和病害程度识别3个任务的性能指标。

1.3.1 卷积块注意力模型 视觉注意力机制是通过设计一种特殊的神经网络结构，使主干深度神经网络在特征学习时把注意力聚集在图像重要区域的方法。本文引入轻量级注意力模型，由通道注意力和空间注意力2个子模块组成，其框架结构如图2所示。

在通道注意力子模块中，先将输入特征图F（H×W×C）分别经过基于高（H）和宽（W）方向的全局最大池化和全局平均池化，得到2个1×1×C的特征图，再分别输入到全连接神经网络，对其输出的2 个特征向量进行元素加和运算，再经过sigmoid激活函数得到通道注意力特征，最后将该特征与输入特征图F进行元素乘法运算，其结果作为空间注意子模块的输入。

在空间注意力子模块中，首先基于通道的全局最大值和全局平均值将上述通道注意力子模块产生的特征图F进行池化操作，分别得到2个H×W×1的特征图；然后将2个特征图基于通道进行拼接，再通过7×7卷积获得H×W×1的特征图；最后，该特征图通过sigmoid 激活生成空间通道特征，并与输入特征图F进行元素级乘法运算，得到最终特征。

1.3.2 特征金字塔 卷积神经网络通过卷积和池化不断增加感受野进行特征学习，低层卷积网络偏重学习图像的边缘、纹理等底层视觉特征，高层网络则偏重学习图像类别等高级语义特征。在传统的MobileNetV3网络中，经过5次卷积和池化（2×2最大值池化）后的特征图分辨率为输入图像原始分辨率的1/32，此时原始图像中包含的小目标就会被忽略掉。在农作物叶片病害识别中，大多数病害症状表现为斑点，其分辨率低、体积小，很难被MobileNetV3的高层网络探测到。针对此问题，本文在MobileNetV3网络基础上引入特征金字塔网络模块，将上下文增强和特征细化相结合，将多尺度扩展卷积得到的特征进行融合，并自上而下注入特征金字塔网络，以补充上下文信息，提升病斑等小目标的识别精度。本文将MobileNetV3 网络最后3个尺度的特征图进行融合：输入特征图为多个尺度的特征图组成的特征金字塔（本文取MobileNetV3最后3个尺度的特征图），最后一层特征图经过1×1卷积得到融合后对应的最后一层特征，下一级尺度输入特征经过1×1 卷积的特征图，与融合后的特征图经过2倍上采样后，进行像素级加操作，得到本层特征图。依次重复上述操作，得到融合的特征图，特征融合过程如图3所示。

1.3.3 试验环境与参数 农作物病害识别模型试验平台为台式计算机，处理器为Intel i7 10700k@ 3.8 GHz，32 G DDR4 内存，2T西部数据硬盘，显卡为NVIDIA GeForce GTX 1080Ti GPU；软件环境为Ubuntu Linux操作系统，采用Pytorch深度学习框架进行模型训练。在训练过程中，100 幅图像为1 个批次（batch size），初始学习率（learning rate）为 0.001，动量（momentum）设置为0.9，权值衰减率（decay）为0.000 3，训练代数（epoch）为200，进行10 000次迭代。为验证本文方法有效性，将其与当前农作物病害识别前沿方法进行对比，包括MobileNetV3[19]、InceptionV3[23]、YOLOV7[24]。

1.3.4 评价指标 深度学习模型的性能评估是检验训练过程中模型架构设计和超参数设置是否合理的客观依据。本文利用平均准确率（average accuracy，AA）和召回率（recall，R）评价多类图像识别性能。单个类别识别的准确率（accuracy，Acc）及模型的平均准确率和召回率计算公式如下。

式中，TP（true positive）表示样本预测标签为正且实际的标签也为正的样本数量，FP（falsepositive）表示样本预测标签为正且实际的标签为负的样本数量，M 为类别总数，FN（false negative）表示样本预测标签为负而实际标签为正的样本数量，FP表示样本预测标签为负且实际标签为负的样本。

2 结果与分析

2.1 农作物病害识别损失函数分析

图4所示为本文改进农作物病害识别模型损失函数随迭代次数的变化曲线，可以看出，前1 000次迭代，损失值迅速下降，模型快速收敛，至迭代1 500次损失函数趋于稳定，而2 000次迭代以后损失值振荡幅度较小，表明模型训练已经收敛。

2.2 数据增强结果分析

利用增强前后的数据集分别对4种模型进行训练和测试，验证增强方法对3类任务性能的影响。从表2可以看出，未对数据进行增强操作时，作物识别、病害识别和病害程度识别的准确率分别为95.23%、96.67% 和92.76%，召回率分别为94.28%、95.86%、93.67%；而数据增强后，在每个类别上样本保持均衡，作物识别、病害识别和病害程度识别的准确率分别提升3.50、0.59和1.23个百分点，而召回率分别提升3.21、1.31和1.69个百分点。由此可见，数据增强操作对农作物叶片病害诊断的性能提升具有重要作用。

2.3 农作物病害识别结果分析

将本文方法与前沿算法在PlantVillage 数据集中对农作物病害叶片和健康叶片识别效果进行对比，结果如表3 所示。从表3 可以看出，与MobileNetV3、InceptionV3、YOLOv7 相比，本文方法在25 种类别病害及健康叶片（C1～C5、C7、C10～C11、C15、C18～C19、C22～C24、C26～C31、C33～C36、C38） 的识别准确率最高，而MobileNetV3仅在C25（黄豆健康叶）类别上识别准确率最高；InceptionV3 对类别C8～C9、C12～C14、C20、C37等7种病害叶片识别效果最优；YOLOv7则对C6、C17、C21、C32等4种类别的识别准确率最高。在农作物病害识别平均准确率方面，MobileNetV3、InceptionV3、YOLOv7的平均准确率分别为95.02%、95.62%和96.92%，而本文方法的平均准确率达到97.26%，比前者分别高出2.24、1.64和0.34个百分点。在召回率方面，本文方法在类别C2～C4、C7、C10、C11、C14～C17、C19、C22～C23、C26～C28、C32～C36、C38上均取得最优；在召回率方面，MobileNetV3、InceptionV3、YOLOv7 算法分别为95.99%、95.98% 和96.43%，本文方法为97.17%。综上，本文方法采用多任务学习框架，通过引入CBAM注意力模块和多尺度特征金字塔模块对MobileNetV3进行改进，在平均准率和召回率方面均取得了较大提升，表明模型性能得到改进。

2.4 农作物类型识别结果分析

本文方法与其他3种算法在PlantVillage数据集上的农作物类型识别对比结果如表4所示。从表4可以看出，本文方法与3种前沿方法相比，在13 类作物识别中，9 类作物叶片图像（P1～P7、P11、P13）识别准确率更高；InceptionV3方法在2类作物叶片图像（P8和P10）识别准确率最高，YOLOV7 方法在其余2 类作物（P9 土豆和P12草莓）叶片图像识别取得更高准确率；在平均准确率指标上，本文方法达到98.73%，比MobileNetV3、InceptionV3和YOLOv7算法分别提高1.38、0.87 和0.37 个百分点。此外，与MobileNetV3算法相比，本文方法对各病害的识别准确率均取得优势；与MobileNetV3、InceptionV3和YOLOv7等算法相比，本文方法在苹果、蓝莓、樱桃、玉米、葡萄、橘子、桃树、南瓜、番茄9种作物上的召回率取得明显优势。试验结果表明，与MobileNetV3、InceptionV3、YOLOv7 等算法相比，本文方法在平均准确率和召回率等指标上具有优势，有效提升农作物病害类型识别的精度。

2.5 农作物病害程度识别试验结果分析

从表5中可以看出，本文方法对病害程度4个级别的识别准确率分别为95.86%、93.49%、93.68%、93.92%，比MobileNetV3、InceptionV3 和YOLOv7更高，平均准确率（93.99%）分别比它们提高2.03、1.27和0.88个百分点。本文方法对4个等级的农作物病害程度识别召回率分别达到96.82%、93.89%、92.76%、97.98%，平均召回率达到95.36%。该结果表明，本文提出的基于多任务学习的算法架构，与MobileNetV3、InceptionV3 和YOLOv7等经典算法相比，可以有效提高农作物病害叶片图像病害程度识别的准确率。

3 讨 论

本文提出了一种基于多任务学习的深度卷积神经网络模型，用于农作物类型、农作物病害以及病害程度识别。针对数据集样本失衡问题，本文采用样本增强方法对样本较少的类别图像进行扩展；通过引入卷积块注意力模块和特征金字塔模块对经典的MobileNetV3 网络进行改进。在PlantVillage数据集上，通过设置模型超参数，训练识别13种不同植物共26类病害以及4种病害等级并选出最优模型，与MobileNetV3、InceptionV3、YOLOv7经典方法进行对比试验。本文方法平均准确率和召回率取得明显优势。同时，在绝大多数类别上，本文方法也取得一定优势，表明该方法能有效利用注意力机制、特征金字塔和关联任务学习鲁棒视觉特征，同时提高每项任务的识别性能，为农作物病害远程自动化诊断、提高农业生产智能化水平提供了有力保障。综上所述，本文方法可以更好地挖掘农作物类型识别、农作物病害识别以及病害程度识别三者内在关联，为后续深入研究提供参考。

参考文献

［1］ KAUR S， PANDEY S， GOEL S. Plants disease identificationand classification through leaf images： a survey [J]. Arch.Comp. Methods Eng.， 2018， 26（4）： 507-530.

［2］ ESGARIO J G， KROHLING R A， VENTURA J A， et al .. Deeplearning for classification and severity estimation of coffee leafbiotic stress [J]. Comp. Electron. Agric.， 2020， 16（9）： 155-162.

［3］ 张帅堂，王紫烟，邹修国，等. 基于高光谱图像和遗传优化神经网络的茶叶病斑识别[J]. 农业工程学报， 2017， 33（22）：200-207.

ZHANG S T， WANG Z Y， ZOU X G， et al .. Recognition of teadisease spot based on hyperspectral image and geneticoptimization neural network [J]. Trans. Chin. Soc. Agric. Eng.，2017， 33（22）： 200-207.

［4］ 孙俊，谭文军，毛罕平，等. 基于改进卷积神经网络的多种植物叶片病害识别[J]. 农业工程学报， 2017， 33（19）： 209-215.

SUN J， TAN W J， MAO H P， et al . Recognition of multipleplant leaf diseases based on improved convolutional neuralnetwork [J]. Trans. Chin. Soc. Agric. Eng.， 2017， 33（19）：209-215.

［5］ MOHANTY S P， HUGHES D P， SALATHE M， et al .. Usingdeep learning for image-based plant disease detection [J].Front. Plant Sci.， 2016， 7（1）： 1-10.

［6］ 马浚诚，杜克明，郑飞翔，等. 基于卷积神经网络的温室黄瓜病害识别系统[J]. 农业工程学报， 2018， 34（12）： 186-192.

MA J C， DU K M， ZHENG F X， et al .. Disease recognitionsystem for greenhouse cucumbers based on deep convolutionalneural network [J]. Trans. Chin. Soc. Agric. Eng.， 2018， 34（12）：186-192

［7］ 张建华，孔繁涛，吴建寨，等. 基于改进VGG卷积神经网络的棉花病害识别模型[J]. 中国农业大学学报， 2018， 23（11）：167-177.

ZHANG J H， KONG F T， WU J Z， et al .. Image recognition ofcotton leaf diseases based on improved VGG convolutionalneural network [J]. J. Chin. Agric. Univ.， 2018，23（11）：167-177.

［8］ 刘瑾蓉，林剑辉，李婷婷. 基于卷积神经网络的银杏叶片患病程度识别[J]. 中国农业科技导报， 2018， 20（6）：55-61.

LIU J R， LIN J H， LI T T. Identification of leaf disease gradebased on convolutional neural network [J]. J. Agric. Sci. Tech.，2018， 20（6）：55-61.

［9］ 曾伟辉，李淼，张健，等.面向农作物病害识别的高阶残差卷积神经网络研究[J]. 中国科学技术大学学报，2019，49（10）：781-791.

ZENG W H， LI M， HUANG J， et al .. Research on high-orderresidual convolution neural network for crop diseaserecognition application [J]. J. Univ. Sci. Tech. Chin. 2019，49（10）：781-791.

［10］ 李淼，王敬贤，李华龙，等.基于CNN 和迁移学习的农作物病害识别方法研究[J].智慧农业， 2019， 1（3）： 46-55.

LI M， WANG J X， LI H L， et al .. Method for identifying cropdisease based on CNN and transfer learning [J]. Smart Agric.，2019， 1（3）：46-55.

［11］ 魏超，范自柱，张泓，等. 基于深度学习的农作物病害检测[J].江苏大学学报（自然科学版）， 2019， 40（2）： 71-77.

WEI C， WEI C， FAN Z Z， ZHANG H， et al .. Crop diseasedetection based on deep learning [J]. J. Jiangsu Univ. （Nat.Sci.）， 2019， 40（2）：71-77.

［12］ 刘洋，冯全，王书志. 基于轻量级CNN的植物病害识别方法及移动端应用[J]. 农业工程学报， 2019， 35（17）： 194-204.

LIU Y， FENG Q， WANG S Z. Plant disease identificationmethod based on lightweight CNN and mobile application [J].Trans. Chin. Soc. Agric. Eng.， 2019， 35（17）：194-204.

［13］ JIANG P， CHEN Y， LIU B， et al .. Real-time detection of appleleaf diseases using deep learning approach based on improvedconvolutional neural networks [J]. IEEE Access， 2019， 7：59069-59080.

［14］ 许景辉，邵明烨，王一琛，等.基于迁移学习的卷积神经网络玉米病害图像识别[J].农业机械学报，2020，51（2）：230-236.

XU J H， SHAO M Y， WANG Y C， et al .. Recognition of cornleaf spot and rust based on transfer learning with convolutionalneural network [J]. Tans. Chin. Soc. Agric. Mach.， 2020， 51（2）：230-236.

［15］ CHEN J， ZHANG D， NANEHKARAN Y A. Identifying plantdiseases using deep transfer learning and enhanced lightweightnetwork [J]. Multimedia Tools App.， 2020， 79（7）： 31497-31515.

［16］ 赵立新，侯发东，吕正超，等.基于迁移学习的棉花叶部病虫害图像识别[J]. 农业工程学报，2020，36（7）：184-191.

ZHAO L X， HOU F D， LYU Z C， et al .. Image recognition ofcotton leaf diseases and pests based on transfer learning [J].Trans. Chin. Soc. Agric. Eng.， 2020， 36（7）：184-191.

［17］ 王春山，周冀，吴华瑞，.改进Multi-scale ResNet的蔬菜叶部病害识别[J].农业工程学报，2020， 36（20）：217-225.

WANG C S， ZHOU J， WU H R， et al .. Identification ofvegetable leaf diseases based on improved multi-scale ResNet [J].Trans. Chin. Soc. Agric. Eng.， 2020， 36（20）：217-225.

［18］ 刘阳，高国琴. 采用改进的 SqueezeNet 模型识别多类叶片病害[J]. 农业工程学报，2021，37（2） ：187-195.

LIU Y， GAO G Q. Identification of multiple leaf diseases usingimproved SqueezeNet model [J]. Trans. Chin. Soc. Agric. Eng.，2021，37（2） ：187-195.

［19］ HOWARD A.， SANDLER M.， CHEN B.， et al .. Searching forMobileNetV3 [C]// Proceedigns of IEEE/CVF InternationalConference on Computer Vision （ICCV）. South Korea， 2019：1314-1324.

［20］ SANGHYUN W， JONGCHAN P， JOON-YOUNG L， et al ..CBAM： convolutional block attention module [C]// Proceedingsof European Conference on Computer Vision. Munich， Germany：2018： 3-19.

［21］ SENER O， KOLTUN V. Multi-task learning as multi-objectiveoptimization [J/OL]. arXiv：1810.04650v2 [cs.LG]. [2023-08-30] . https：//doi.org/10.48550/arXiv.1810.04650.

［22］ LIN T Y， DOLLAR P， GIRSHICK R.， et al .. Feature pyramidnetworks for object detection [C]// Proceedings of IEEEConference on Computer Vision and Pattern Recognition（CVPR）. IEEE Computer Society， 2017：936-944.

［23］ SZEGEDY C， VANHOUCKE V， IOFFE S， et al .. Rethinkingthe inception architecture for computer vision [C]// Proceedingsof IEEE Conference on Computer Vision and PatternRecognition （CVPR）. IEEE， 2016： 2818-2826.

［24］ WANG C Y， ALEXEY B， LIAO H Y.， YOLOv7： Trainable bagof-freebies sets new state-of-the-art for real-time objectdetectors [J/OL]. arXiv：2207.02696v1 [cs.CV] [2023-08-30].https：//doi.org/10.48550/arXiv.2207.02696.

（责任编辑：温小杰）