基于轻量级MIE_Net的田间农作物病害识别

温钊发 蒲智 程曦 赵昀杰 张泽宇

摘要：为实现农作物病害的快速精准识别，降低病害对农业安全生产的影响，本研究针对现有病害识别模型参数量大、鲁棒性低、泛化性弱等问题提出了轻量级MIE_Net农作物病害识别网络。该网络以MobileNetV2为基础网络结构，首先使用多尺度特征提取模块替换原网络的初始卷积层，提高网络对不同面积病斑的特征提取能力，增加网络中的特征复杂度；其次在主模块中添加ECA注意力机制，提高网络对叶片病害区域的关注程度，降低复杂背景对小病斑特征提取过程的影响；最后使用Swish激活函数增加网络的表达能力，使网络性能达到最优。结果表明，多尺度特征提取模块提高了模型对不同病斑大小的识别准确率，ECA注意力模块提高了网络对小病斑的识别准确率，最终网络模型对复杂环境中2种作物11种病害类别的最低识别精确率达到91.2%，总体病害识别准确率达到95.79%，比原网络提高1.84百分点，参数量为2.24M，权重文件大小为8.78MB。MIE_Net网络在保证模型轻量化的同时提高了模型的准确性、泛化性以及鲁棒性，整体性能优于其他现有网络模型，为以后的轻量级作物病害识别方法提供了参考。

关键词：病害识别；轻量级网络；注意力机制；多尺度特征

中图分类号：TP391.41文献标志码：A

文章编号：1002-1302（2023）10-0176-09

目前，病害依然是作物安全生产过程中的严重威胁。联合国粮食及农业组织统计数据表明，每年全球因病虫害而造成的粮食生产损失高达20%～40%［1］。2021年我国发生粮食重大病虫害与其他一类农作物病虫害土地面积达到2.35亿hm2［2-3］，对农业生产造成重大经济损失。因此，尽早对作物病害进行精确识别对我国农业安全生产与健康发展具有重要意义。

农作物发生病害时，在植物叶片表面会产生颜色、纹理、形状等方面变化，传统病害识别需要专业技术人员在田间对病害种类进行甄别，这种方法时效性低、主观性高，极易错过病害防治最佳时间。基于图像处理技术的病害识别需要人工进行特征选取、图像分割等大量前期图像预处理工作，人为选定的特征信息也会割裂病害全局信息，造成部分关键特征的信息丢失。而深度学习不需要进行前期冗杂的图像预处理工作，直接采用端到端的方式学习病害高级特征，避免了主观因素的影响。

蒲秀夫等使用VGG16网络实现了简单背景下的多种作物病害图像识别，平均准确率为96.8%［4］；Tang等在ShuffleNet中引入注意力机制，在PlantVillage数据集上对多种作物病害识别准确率达到99.14%［5］；Ni等结合密集连接思想对ResNet50网络进行改进，在AIChallenger2018数据集上准确率比原网络提高了0.8%［6-7］；胡玲艳等引入注意力机制对SqueezeNet进行改进，在PlantVillage数据集上准确率达到97.29%［8］；孙文斌等将注意力机制引入ResNet18网络，在AIChallenger2018数据集上准确率达到86.93%，权重文件大小为48.6MB［9］。以上都是基于简单环境背景开展的病害识别研究，模型应用于实地时易受外界因素影响，鲁棒性低、泛化性差。李昊等在专用设备上通过YOLOV4与DenseNet网络分别实现了柑橘园病害叶片的检测与病害识别，在自采集复杂环境数据集上准确率达到95.46%［10］；孙俊等在MobileNetV2中引入特征金字塔与注意力机制，在kaggle复杂背景数据集上达到92.20%的准确率［11］；黄林生等在ResNet18中引入Inception模块，在复杂背景数据集上平均准确率达到95.62%，权重文件大小为44.2MB［12］。以上研究针对解决复杂环境下的病害识别，但网络准确率不够理想、计算量过多、权重文件过大，难以搭载至移动端。

针对上述问题，本研究以复杂背景下的农作物病害叶片图像为研究对象，提出一种适用于复杂田间环境的轻量级网络结构MIE_Net，实现了对作物病害的高效精准识别，并利用对比试验与消融试验验证了网络有效性，以期为深度学习网络模型移植于移动端提供思路。

1材料与方法

1.1试验数据

1.1.1数据采集

简单背景叶片图像数据无外界因素干扰，病害特征表现明显，但由于背景单一，致使训练出的模型鲁棒性与泛化性差，无法在田间真实环境中应用。因此，本研究使用数据集由简单背景叶片图像与田间复杂背景叶片图像两大部分构成（图1）。数据集包括2种作物（苹果、玉米）的9种病害叶片图像（苹果斑点落叶病、苹果褐斑病、苹果灰斑病、苹果花叶病、苹果锈病、苹果黑星病、玉米灰斑病、玉米大斑病、玉米锈病）和2种健康葉片图像（苹果健康、玉米健康），共6787张。从PlantVillage数据集、NewPlantDiseasesDataset数据集、AppleScabLDs数据集以及实地拍摄图像中通过数据清洗、人工筛选得到无重复数据的原始数据集。通过分析表1可以发现，原始数据集中存在图像数据总样本少、不同作物数据样本分布不均衡、同种作物不同病害样本数量存在差距、同种病害不同背景的样本数量差距大等问题。因此，本研究拟通过数据预处理、模型结构优化等方式降低样本数量少、分布不均衡对模型性能的影响。

1.1.2数据预处理

为保证训练集与测试集的数据独立性［13］，确保模型评估效果的真实性与有效性，在数据预处理操作前，将原始数据集按8∶2的比例划分为训练集与测试集。由于训练集图像难以涵盖田间实地的多种复杂情况，网络在训练过程中容易产生过拟合现象，训练出的模型泛化性、鲁棒性较差，因此需要对训练集进行数据增强操作。通过分析作物病害表现特征，添加噪声、颜色变换等数据增强方式会改变病害的本质特征，不利于网络训练过程中的病害特征提取，故仅采用水平翻转、垂直翻转、角度旋转、亮度变换、对比度变换5种方式进行图像增强操作，增强效果见图2。为增强模型训练过程中的数据随机性，同时避免数据增强过度，本研究在训练过程中随机选取多种图像增强方法对训练集进行增强操作，操作参数见表2。

1.2模型选取与改进

随着深度学习的发展，卷积神经网络在目标检测、实例分割、图像识别等领域取得了良好表现［14］。本研究采用相同的训练策略对多种网络在同一数据集上进行训练，测试集表现如表3所示。通过比较各模型的准确率、F1分数与权重文件大小，选择MobileNetV2［15］、ShufflenetV2作为备选网络。通过表4可知，MobileNetV2网络在测试集上对各类病害的识别精确率与F1分数比ShufflenetV2网络更均衡且平均值更高，最终选取MobileNetV2作为本研究基础网络。

MobileNetV2是Sandler等在MobileNetV1［15-16］网络基础上改进提出的。MobileNetV1提出的深度可分离卷积由深度卷积与逐点卷积构成，该操作降低了卷积过程运算量，提高了模型运算速度［16］，如图3-a所示。MobileNetV2在深度可分离模块的基础上结合残差模块［17］与瓶颈模块提出倒置残差模块，将输入特征通过逐点卷积-深度卷积-逐点卷积操作，在保持较低计算复杂度的同时提高了模型获取特征的丰富度，如图3-b所示。但针对复杂背景下的作物病害识别任务，MobileNetV2依旧存在一些不足，网络中所有卷积核尺寸都是采用3×3大小，提取特征过于单一，不能很好使用不同病斑大小的特征提取；面对过于复杂的背景或小病斑时，随着网络深度增加，病害部位低级特征易被忽略或丢失。基于此，本研究将对MobileNetV2网络进行改进，提高网络性能表现。

1.2.1改进的多尺度特征提取模块

在串联网络上提高模型特征获取能力最直接的方法是增加网

络深度或宽度，但会导致模型参数量多，复杂度高等问题。针对此，Szegedy等提出了多尺度特征提取模块［18］，如图4-a所示，将串联网络的完全连接结构改为了并联的稀疏连接结构，在模型计算复杂度不会失控膨胀的基础上显著增加了单元数量，提高了特征获取的复杂度与丰富度。本研究中，作物病害具有病斑面积大小不均、背景复杂多变的特点，当处于病害初期或为小型病斑时，使用3×3小尺寸卷积核可以提取到足够有效特征，但当病斑过大或成片表现时，3×3小尺寸卷积核会导致病斑特征信息的割裂丢失，使网络难适应于不同时期、不同种类的病害识别。基于此，本研究引入多尺度特征提取模块，根据实际研究需求与叶片病害识别特点提出MInception模块，将原始模块中的步长修改为2，快速降低特征图大小，减少传入网络主干的参数量；将第1分支的卷积核尺寸修改为2×2大小，解决因步长变化而导致小病斑图像特征丢失的问题；在第2分支和第3分支分别借鉴倒置残差模块与瓶颈模块的思想对网络通道的压缩膨胀进行改进，进一步提高网络获取特征的丰富性；对各分支通道数量进行压缩，在保证提取丰富特征的同时避免模型参数量膨胀失控；将ReLU激活函数替换为Swish激活函数，提高模型泛化性，模块结构见图4-b。使用该模块取代基础网络中的第1层3×3卷积操作，增加了网络中病害特征提取的多样性，提高了网络的泛化能力。

1.2.2改进的ECA倒置残差模块

注意力机制是在网络中通过计算输入特征的各通道目标权重，使用乘积操作将权重赋予各通道，使网络更关注于目标区域的一种方法。针对本研究研究内容，复杂背景图像中外界干扰因素过多，小病斑在网络传播过程中会出现特征丢失情况，致使网络关注于其他区域。而注意力机制可以将图像中病害区域的权重增大，使网络始终关注于病害发生区域，有利于提高网络性能，提升识别准确率。传统的SE注意力［19］是将特征图的所有通道信息在压缩阶段进行处理，增加了网络的运算量，破坏了通道间的相对独立性，使病害的特征信息遭受破坏。ECA注意力［20］综合考虑了各通道间的联系性与独立性，每次使用步长为1、大小为k的一维卷积对k个通道执行操作，在不破坏特征信息的基础上实现了无降维的权重计算操作，如图5-a所示，一维卷积尺寸大小k如式（1）所示。本研究通过试验比较CBAM、DECA、ECA3种注意力对于网络性能的影响，将ECA注意力添加至倒残差模块的深度卷积操作后，将ECA倒置残差模块中的激活函数修改为Swish激活函数，结构见图5-b，增加了网络对病害特征的关注度，提高了网络准确率。

k=log2（C）γ+b[]γodd。（1）

式中：odd代表取最近整数，k代表一维卷积大小，C代表当前卷积核数量，γ=2，b=1。

1.2.3MIE_Net轻量级农作物病害识别网络

本研究设计的MIE_Net网络以MobileNetV2为基础网络，使用MInception模塊替换原始网络的第1个3×3卷积层，将主干网络中的导致残差结构更换为改进的ECA倒置残差模块，最终得到的MIE_Net轻量级网络整体结构见图6。网络得到任意像素的RGB图像后首先将图像缩放为224×224大小，然后对图像进行归一化处理，接着通过MInception与ECABlock等模块结构对输入图像进行高级特征提取，最后利用Softmax得到图像目标患各病害的概率，选取最大概率作为模型输出，模型相关参数见表5。

1.2.4网络评价标准

设立评价标准可以更客观地对模型性能进行评估，本研究选用准确率、平均精确率、平均F1分数、参数量、权重大小共5个指标作为模型整体评价标准，选用精确率、F1分数作为每类作物病害分类的评价标准。

1.3试验环境与参数设置

1.3.1试验环境

所有网络采用相同的试验环境，均在本地进行训练。在硬件方面CPU处理器使用IntelCoreTMi7-10875H@2.30GHz，GPU图形处理器使用NVIDIAGeForceRTX2060，显存为6G，运行内存为16G。在软件配置方面CUDA版本为11.0，Cudnn版本为8.0，以Pytorch1.10作为深度学习框架，使用Python3.8编程语言在Pycharm2020.3平台完成网络的结构搭建与训练。

1.3.2参数设置

本试验所有网络使用相同训练策略，选用Adam优化器，训练过程中更新所有参数，学习率设置为0.001，经过网络模型性能对比选用交叉熵损失函数，迭代次数设置为50，批处理图像数受硬件条件所限设置为32张/批。

2结果与分析

2.1模型性能结果分析

为验证MIE_NET网络的有效性，本部分选取MobileNetV2、EfficientNet、ConvNext等3种网络在同一数据集上使用相同的训练策略与MIE_Net作对比试验。由图7可知，MIE_Net网络的收敛速度高于其他3种网络结构，更容易训练。由表6可知，MIE_Net网络在测试集准确率上比原始MobileNetV2网络提高了1.84百分点，病害識别平均精确率比ConvNext网络提高了5.50百分点，模型的准确性、泛化性与鲁棒性更加优异。与EfficientNet网络性能表现相似，但参数量仅为EfficientNet的55.72%，权重文件仅为EfficientNet的56.28%，模型更容易搭载于移动端，进一步体现了MIE_Net模型的优异性能。

2.2消融试验结果分析

为了使MIE_Net网络在保持良好性能的基础上尽可能轻量化，本部分使用消融试验来判断各模块对网络性能的影响，进而优化网络结构。

由图8可知，引入ECA注意力机制或多尺度特征提取模块都提高了模型的收敛速度，提升了网络性能；使用交叉熵损失函数的网络收敛速度高于使用FocalLoss损失函数的同类型网络。图中FocalLoss损失值低是因为在反向传播过程中人为地对损失值进行了0.25或0.5的惩罚系数造成的。最终，基于交叉熵损失函数并融合了改进的ECA倒置残差模块与MInception模块的MIE_Net网络收敛速度达到最快。

由表7可知，在MobileNetV2中加入ECA注意力机制，苹果灰斑病精确率提高12.5百分点、玉米灰斑病精确率提高9.3百分点，网络平均精确率提高1.63百分点，准确率提高1.42百分点；加入多尺度特征提取模块，玉米锈病识别精确率提高2.5百分点，玉米大斑病识别精确率提高1.2百分点。试验表明，引入注意力机制可以使网络在面对背景复杂的小病斑病害图像时减弱背景影响，加大病斑特征位置的权重，使网络更关注于病害区域；引入多尺度特征提取模块可以使网络在面对大病斑或呈片状分布的叶片病害时，在保证病害特征整体性的同时，实现网络对病害特征的充分提取。

在MobileNetV2_ECA中使用交叉熵损失函数，测试集准确率提高了2.39百分点，平均精确率提高了2.65百分点。在MobileNetV2_Inception中使用Swish激活函数，提高了大多数病害的精确率，平均精确率提高了1.46百分点。试验表明，交叉熵损失函数与Swish激活函数可以提升网络整体性能。

最后，将ECA注意力机制、多尺度特征提取、Swish激活函数与交叉熵损失函数进行整合，得到MIE_Net农作物病害识别网络。该网络与各类改进网络相比，在其他病害识别精确率达到理想的情况下，数据集中几类难识别作物病害的精确率也得到了比较好的提升，病害最低识别精确率达到91.2%，在测试集准确率上比MobileNetV2网络提高了1.84百分点。综上所述，文中所提各模块对网络性能都有着不同方面的提升，融合了各模块优点的MIE_Net网络模型在不同改进网络中准确性、泛化性与鲁棒性最优。

2.3混淆矩阵结果分析

本研究使用混淆矩阵作为病害识别模型的性能衡量指标之一，其中x轴代表图像的真实标签，y轴代表模型的预测标签，主对角线为模型预测正确的样本数量，本部分使用与训练集完全独立的测试集图像数据对模型进行性能测试。从图9可知，MIE_Net模型对苹果斑点落叶病与苹果灰斑病有识别错误的情况产生，这是由于苹果斑点落叶病与苹果灰斑病在形状、颜色2种特征上有极高的相似度。但MIE_Net网络的泛化性、鲁棒性、准确性及模型收敛速度均高于其他网络，对各种类病害都能实现很好的识别效果。

3结论

本研究立足于农业生产实际，针对复杂背景干扰因素多、病斑大小不一及现有模型参数量过大等问题，提出了一种轻量级网络模型MIE_Net，实现了对2种作物11种病害的高效精准识别。MIE_Net网络以MobileNetV2为基础网络，通过引入注意力机制与多尺度特征提取模块，减轻了复杂背景与病斑大小不一对模型性能的干扰。同时，在保证模型识别准确率、收敛速度、泛化性与鲁棒性的前提下，平衡了模型复杂量与性能的关系，最终模型在测试集准确率达到95.79%，参数量为2.24M，权重文件为8.78MB。以上充分体现了MIE_Net网络搭载在移动端解决复杂背景作物病害识别问题的优越性，为其他轻量级复杂病害识别网络研究提供了参考。

参考文献：

［1］FoodandAgricultureOrganizationoftheUnitedNation.Planthealthandfoodsecurity［EB/OL］.（2020-06-04）［2022-03-03］.https：//www.fao.org/3/i7829en/I7829EN.pdf.

［2］刘杰，姜玉英，黄冲，等.2021年全国粮食作物重大病虫害发生趋势预报［J］.中国植保导刊，2021，41（1）：37-39，42.

［3］2021年其他一类农作物病虫害全国发生趋势预报［J］.农民文摘，2021（3）：47.

［4］蒲秀夫，宁芊，雷印杰，等.基于二值化卷积神经网络的农业病虫害识别［J］.中国农机化学报，2020，41（2）：177-182.

［5］TangZ，YangJL，LiZ，etal.Grapediseaseimageclassificationbasedonlightweightconvolutionneuralnetworksandchannelwiseattention［J］.ComputersandElectronicsinAgriculture，2020，178：105735.

［6］NiP，ChenZ，CaoMY.Researchoncropdiseaserecognitionbasedonunitingmulti-layerfeatures［J］.JournalofPhysics，2021，1961（1）：012030.

［7］HuangG，LiuZ，vanderMaatenL，etal.Denselyconnectedconvolutionalnetworks［C］//2017IEEEConferenceonComputerVisionandPatternRecognition（CVPR）.Honolulu：IEEE，2017.

［8］胡玲艷，周婷，许巍，等.面向番茄病害识别的改进型SqueezeNet轻量级模型［J］.郑州大学学报（理学版），2022，54（4）：71-77.

［9］孙文斌，王荣，高荣华，等.基于可见光谱和改进注意力的农作物病害识别［J］.光谱学与光谱分析，2022，42（5）：1572-1580.

［10］李昊，刘海隆，刘生龙.基于深度学习的柑橘病虫害动态识别系统研发［J］.中国农机化学报，2021，42（9）：195-201，208.

［11］孙俊，朱伟栋，罗元秋，等.基于改进MobileNet-V2的田间农作物叶片病害识别［J］.农业工程学报，2021，37（22）：161-169.

［12］黄林生，罗耀武，杨小冬，等.基于注意力机制和多尺度残差网络的农作物病害识别［J］.农业机械学报，2021，52（10）：264-271.

［13］林建吾，张欣，陈孝玉龙，等.基于轻量化卷积神经网络的番茄病害图像识别［J］.无线电工程，2022，52（8）：1347-1353.

［14］牛学德，高丙朋，南新元，等.基于改进DenseNet卷积神经网络的番茄叶片病害检测［J］.江苏农业学报，2022，38（1）：129-134.

［15］SandlerM，HowardA，ZhuML，etal.MobileNetV2：invertedresidualsandlinearbottlenecks［C］//2018IEEE/CVFConferenceonComputerVisionandPatternRecognition.SaltLakeCity：IEEE，2018：4510-4520.

［16］HowardAG，ZhuML，ChenB，etal.MobileNets：efficientconvolutionalneuralnetworksformobilevisionapplications［EB/OL］.（2017-04-17）［2022-03-05］.https：//arxiv.org/abs/1704.04861

［17］HeKM，ZhangXY，RenSQ，etal.Deepresiduallearningforimagerecognition［EB/OL］.（2015-12-10）［2022-03-05］.https：//arxiv.org/pdf/1512.03385.pdf.

［18］SzegedyC，LiuW，JiaYQ，etal.Goingdeeperwithconvolutions［C］//2015IEEEConferenceonComputerVisionandPatternRecognition（CVPR）.Boston：IEEE，2015.

［19］HuJ，ShenL，AlbanieS，etal.Squeeze-and-excitationnetworks［J］.IEEETransactionsonPatternAnalysisandMachineIntelligence，2020，42（8）：2011-2023.

［20］WangQL，WuBG，ZhuPF，etal.ECA-net：efficientchannelattentionfordeepconvolutionalneuralnetworks［C］//2020IEEE/CVFConferenceonComputerVisionandPatternRecognition（CVPR）.Seattle：IEEE，2020.