基于多尺度注意力卷积神经网络的苹果叶部病害识别方法

张会敏 谢泽奇

摘要：针对传统苹果叶部病害识别方法识别率低和现有卷积神经网络（CNN）训练时间长的问题，提出一种基于多尺度注意力卷积神经网络的苹果叶部病害识别方法。该方法由多尺度空洞卷积模块Inception与改进的残差模块组成，其中，多尺度空洞卷积模块Inception用于图像的多尺度特征提取，在卷积模块中引入双注意力机制增强网络模型，显著表示图像中叶部病斑区域特征，降低非病斑区域与背景区域对识别结果的干扰，在原始残差模块上引入卷积层与非线性激活函数改进的残差模块，增加鲁棒性判别特征的跨层融合，在苹果病害叶片图像数据集上的识别准确率达96%以上。结果表明，所提出的方法具有参数量少、占用内存小以及性能好的优势，可进一步应用于田间苹果叶部病害智能识别系统。

关键词：苹果病害识别；卷积神经网络；多尺度空洞卷积模块；双注意力机制；多尺度注意力卷积网络

中图分类号：TP391.41文献标志码：A

文章编号：1002-1302（2023）16-0154-08

收稿日期：2023-02-17

基金项目：国家自然科学基金（编号：62072378）；河南省教育厅高等学校重点科研项目（编号：20A520045）。

作者简介：张会敏（1981—），女，河南漯河人，硕士，副教授，研究方向为计算机应用。E-mail：513102773@qq.com。

通信作者：谢泽奇，硕士，副教授，主要從事计算机应用、图像处理研究。E-mail：xzq0413@163.com。

由于苹果叶部病害症状复杂，不正确的评估可能导致果农过度使用农药，不仅无法预防和控制病害，还会导致环境污染等问题。随着人工智能的快速发展，神经网络被广泛用于解决植物病害问题。Radha使用支持向量机（SVM）作为分类器，通过图像加载、对比度增强、RGB-HSI转换对图像进行预处理，以识别多种植物病害^［1］。Sharma等训练了脉冲神经网络（S-NN）模型，该模型能够在分割后准确识别9种番茄叶病，准确率为98.6%^［2］。谢滨瑶等使用形态学扩展算法从图像中去除噪声，并使用SVM对特征进行分类，以更有效地从烟草图像中提取颜色和纹理特征信息^［3］。Lin等构建了一个语义分割模型来分割黄瓜白粉病的病斑，最终准确率达到82.19%^［4］。Jiang等将深度学习和SVM技术相结合，对水稻病害进行识别和分类，模型的平均正确识别率为96.8%^［5］。Pandiyan等构建了植物叶病识别和预测分析平台，该平台使用先进的分段维方法提取植物叶病特征，并实现了实时识别和分析能力^［6］。Zhang等使用高效网络B4和最先进的优化器Ranger构建了黄瓜相似疾病的两级分类模型，以识别和分类温室黄瓜叶片上的2种疾病，获得96%的准确率^［7］。Bhagwat等提出了一种用于植物病害检测的多尺度卷积神经网络（CNN），并与当前流行的CNN进行了比较试验，结果表明其方法在处理各种类型的叶片图像时具有更好的鲁棒性^［8］。陈柯屹等构建了改进型快速区域卷积神经网络（faster region convolutional neural networks，Faster R-CNN）目标检测算法，实现大田环境棉花顶芽识别，其检测准确率为98.1%^［9］。潘仁勇等提出了基于DTS-ResNet（ResNet based on dual transfer learning and squeeze-and-excitation block）的苹果叶片病害识别方法，该方法以ResNet为基础模型，将注意力机制与残差模块相结合，作为骨干网络以强化网络对重要特征信息的提取能力，并采用双迁移学习的训练方式加快模型的收敛速度，能够较好地识别苹果叶片病害^［10］。Wang等提出了一种用于苹果病害识别的深度学习模型（IDCNNA），该模型应用深度可分离卷积来减少参数的数量，取得了良好的识别效果^［11］。Zeng等开发了智能手机辅助诊断植物叶片疾病的系统^［12］。郭小清等使用54 306张病叶和健康叶的公共数据集，采用AlexNet、GoogLeNet这2种CNN架构，提出的模型经过训练，在检测叶病方面达到99.35%的准确率；然而，在不同条件下拍摄的图像集上进行测试时，其表现不佳^［13］。王权顺等提出基于改进YOLOv4算法的苹果叶部病害缺陷检测算法，改进后YOLOv4模型的平均精度均值（mAP）达到97.52%^［14］。马宇等提出基于三通道注意力机制网络的番茄叶部病害识别方法，该方法基于残差网络，将注意力模块嵌入至残差网络的残差模块中，可以并行提取目标的通道特征和空间特征，获取有效的语义信息，在测试集上的平均识别准确率达98.4%^［15］。为了获得作物患病区域的局部特征，提高模型对疾病的识别能力，方晨晨等使用多尺度的方式，在深度可分离卷积的基础上构建了新的残差模块，实现了番茄病害特征的有效融合^［16］。曾伟辉等建立了基于高阶残差的作物病害识别模型，可以为识别结果提供更丰富的特征表达^［17］。尽管存在许多作物病害数据集，但现有数据集仍然不能满足基于CNN及其改进模型的病害检测方法的小样本要求，并且不能保证模型的通用性。主要原因是作物病害数据集需要大量专业知识和农业专家来完成培训样本标记，这需要大量人力和物力成本。另一方面，作物病害种类繁多，单一类型的样本偶尔出现，甚至有些病害与区域有很强的相关性，这使得构建一个大型完整的作物病害数据集比较困难^［18-21］。人类可以从少量样本中学习，但从少量样本学习的机器性能非常弱。在小样本任务中，最先进的CNN甚至不如简单的机器学习模型。因此，从小样本检测的角度研究作物病害检测方法具有重要的现实意义^［22］。

在以上多尺度卷积起始模块和注意力机制的启发下，本研究构建多尺度注意力卷积神经网络（MSACNN），该方法由多尺度空洞卷积模块Inception与改进的残差模块组成，期待可应用于苹果叶部病害识别。

1 材料与方法

1.1 数据采集

为更好地验证算法的有效性，本研究主要采用公共数据集和自建数据集相结合的方式，來构建可用的苹果叶部病害叶片图像数据集。其中，自建数据库中的大部分图像都是在陕西省杨凌农业示范区采集，占总数据集的60％，主要用于测试；公共数据集采用的图像来自PlantVillage数据集（https：//www.plantvillage.org），占总数据集的40％，主要用于训练。在PlantVillage数据集中，包括苹果常见的5种病害：苹果灰斑病、斑点落叶病、花叶病、褐斑病、锈病；每种病害各100幅图像，共500幅图像。

考虑到苹果叶病的病害数据集是一个小数据集，往往导致基于CNN识别方法的过度拟合问题，数据增强可以提高模型的准确性，并降低数据收集和标记的成本。有一些广泛使用的数据增强算法，如图像裁剪、随机旋转、重新缩放、垂直和水平翻转、亮度调整、添加噪声、更改对比度、随机擦除、饱和度和光增强等。由于较难采集大量实际带标签的病害叶片图像，因此对得到的图像进行扩充，避免模型的过度拟合并提高模型的泛化能力，本研究通过5种增强算法对每幅图像进行数据扩充，包括上下翻转、左右翻转、旋转、剪切、图像增加，将每幅图像扩充5幅，得到含3 000幅图像的扩展数据集，包括500幅原始图像和2 500幅扩充图像。图1-A展示苹果健康、灰斑病、斑点落叶病、花叶病、褐斑病、锈病的实例图像；图1-B展示标注的病害叶片图像和XML文件；图1-C展示1幅病害图像扩充后得到5幅扩展图像。原始数据集由所有原始图像构建，扩增数据集由全部原始图像和扩增图像构建。

1.2 相关方法

1.2.1 扩展卷积和初始模块

在目标检测和语义分割任务中，大的感受野可以提高小目标的识别和分割效果。扩展卷积是一种针对图像语义分割问题的卷积思想，其中下采样会降低图像分辨率并丢失信息。可以通过在卷积核中插入孔（零）来扩展感受野，从而使每个卷积输出包含大范围的信息。使用扩张卷积代替下采样和上采样，可以很好地保留图像的空间特征而不造成丢失信息。当网络层需要更大的接收场，而计算资源有限、无法增加卷积核的数量或大小时，可以考虑扩张卷积。扩展卷积可以很好地应用于图像需要全局信息的情况。扩展卷积和初始模块见图2，其中4个扩张卷积核如图2-A所示，黑点表示的核元素的数量保持不变，而感受野与1成比例增加，这意味着2个核输出的感受野大致相同。

1.2.2 模型构建

本研究基于注意力机制与改进的残差模块，设计多尺度注意力卷积神经网络（Multi-scale attention CNN，MSACNN）模型，该模型由4个空洞卷积模块和3个改进残差模块组成（图3）。首先，利用多尺度空洞卷积模块Inception对图像进行多尺度特征提取，然后通过改进残差模块对局部特征进行组合，从而提取更深层次的全局特征；其次，将CBAM注意力机制嵌入各卷积模块中，提高卷积模块对于病变区域的关注，降低对非病变区域和背景对识别结果的影响；最后，基于改进的残差模块实现浅层特征与深层特征的特征融合。使用全局平均池化层对空洞卷积模块4输出的空间特征进行处理，得到具有空间信息的特征向量，然后通过含有Softmax函数的分类层输出识别结果。为避免训练模型时出现过拟合的问题，使用标签平滑技术。

1.2.2.1 空洞Inception模块

网络的深度决定网络的表达能力。在某种程度上，网络越深，网络学习能力越强。增加卷积核的数量，可以提取图像中更高级别的语义信息。然而，网络越深则卷积核越多，很有可能导致模型出现过度拟合。因此，在IRes AM Net模型中只有4个卷积模块，其中卷积模块1具有32个卷积核，卷积模块2具有64个卷积核，卷积模块3具有128个卷积核，卷积模块4具有512个卷积核。每个卷积模块中的卷积核大小为 3×3，步长为1，填充模式相同，激活函数均为ReLU，但第4个卷积模块的步长为2。卷积模块1和卷积模块2具有批量归一化层、激活层、最大池化层、CBAM模块；而卷积模块3和卷积模块4仅具有批量归一化层、激活层、CBAM模块。由于第4卷积层的卷积核的数量很大，这可能会导致过度拟合，因此将L2正则化添加到第4卷积图层。卷积模块中的批量归一化层解决网络训练中梯度消失或梯度爆炸的问题。最大池化层下采样特征图，并获得特征图中的纹理特征。

1.2.2.2 卷积注意力机制

双注意力模块CBAM整合通道注意力和空间注意力。通道注意力获取目标的类别信息，而空间注意力关注目标的空间位置信息。因此，CBAM可以实现比单个注意力机制更好的性能。通过将CBAM嵌入卷积模块，可以更好地获得特征图中的关键信息。CBAM的结构如图4所示，其计算公式如下：

F₁=M_c（F）UF；（1）

F₂=M_s（F₁）UF₁；（2）

M_c（F）=σ{MLP［AvgPool（F）］+MLP［MaxPool（F）］}；（3）

M_s（F）=σ{f^N×N［AvgPool（F）；MaxPool（F）］}。（4）

其中：F∈R^H×W×C，表示CNN提取的特征图；M_c（F）∈R^1×1×C，是经过通道注意力得到的特征图权重；F₁∈R^H×W×C，表示通道注意力输出的特征图；M_s（F）∈R^H×W×1，表示经过空间注意力模块得到的特征图权重；U表示矩阵的点乘操作；AvgPool（·）是平均池化操作；MaxPool（·）是最大池化操作；MLP（·） 是一个多层感知机；σ（·）为激活函数；f^N×N（·）是 N×N的卷积操作。

1.2.2.3 卷积残差模块

残差模块包含更多的卷积层、批量归一化与非线性激活函数，如图3所示。其中，卷积层可以进一步提取图像的局部特征，在网络深层进行信息融合时，能得到更多的高级语义信息；引入批量归一化层克服由于卷积层的增加而导致的梯度消失或梯度爆炸问题，使得网络在训练过程中保持稳定，同时也可使得網络性能得到提高；添加更多的非线性激活函数使得网络具有稀疏性，减少参数的相互依存关系，进而缓解过拟合问题的发生，同时增加网络各层之间的非线性表征能力，使得网络能提取更多的非线性信息。改进后的残差模块对输入信息的计算如下：

H（x）=F（x）+y。（5）

其中：y=relu{BN［Conv（x）］}；H（x）为输出；x为输入； Conv（·）为卷积操作；BN（·）为批量归一化操作；relu（·）为非线性激活函数。

为使得改进的残差模块与相应卷积模块的通道数相匹配，残差模块1的卷积层选择64个卷积核，残差模块2、残差模块3的卷积层均选择128个卷积核。残差模块1、残差模块2中卷积层的步长为1，残差模块3中卷积层的步长为2，每个卷积核的大小均为1×1，激活函数均采用ReLU。引入1×1卷积层具有以下优势：（1）实现跨通道的信息交互；（2）引入非线性函数，提升网络的特征提取能力；（3）实现特征图的降维，以便进行特征融合。

2 试验与分析

为验证基于MSACNN算法的苹果病害识别方法的性能，在5种苹果病叶（苹果灰斑病、斑点病、花叶病、褐斑病、锈病）图像的数据集上进行试验，并与4种基于改进的CNN作物病害识别方法improved deep CNNs with an attention mechanism（IDCNNA）^［11］、AlexNet^［13］、improved multi-scale AlexNet（IMSAlexNet）^［13］、改进深度残差网络（IDResNet）^［16］进行比较，其中AlexNet用作基础网络。学习率最初设置为0.001，每30个时期减少10倍。训练批大小为25，动量为0.9，权重衰减为10^-4，迭代次数为3 000。Adam被用作模型的优化器。从AlexNet获取的SDINet的超参数被微调。为了验证本研究算法的有效性，试验于2022年11—12月在自主搭建的IBM服务器上进行，试验环境为Ubuntu操作系统，内存32 G，CPU为11th Gen Intel Core^TMi7-1165G7 3.20 GHz，计算平台为CUDA 11.0，加速库为CUDNN 7.6.2，机器视觉库为OpenCV 3.4，深度学习架构为tersonflow 2.0，编程语言为Python 3.8。

为更客观地评估病害的检测效果，引入检测准确率（precision）、召回率（recall）、平均F₁分数作为3个评估指标，以测量检测结果与实际标记图像之间的差异，计算如下：

其中：TP、TN、FP、FN分别是真阳性、真阴性、假阳性、假阴性的样本数。精度范围为（0，1），越接近1意味着预测效果越好。

2.1 验证MSACNN模型

在苹果病害叶片图像数据集上验证MSACNN的有效性，并与IDCNNA、IMSAlexNet、IDResNet、基础网络AlexNet进行比较。为保证模型的性能不受参数设置的影响，固定训练过程中所有的训练策略不变。MSACNN和4种比较模型在训练集上准确率与损失的变化分别如图5所示。从图5-A可以看出，各模型在训练过程中准确率均呈稳定上升的趋势，在第1 000个迭代轮次时就已达到收敛，且各模型在训练集上的准确率均达到90%以上，表明MSACNN在训练集上具有良好的性能。从图5-B可以看出，所有模型的损失在训练过程中均稳定下降，最终都达到收敛的状态。由于在训练MSACNN时使用标签平滑技术，导致 MSACNN的损失值相比其他4种模型较小，损失值在0.05左右，而其他模型的损失值均在0.15左右。

MSACNN与上述4种模型在测试集上的性能对比如表1所示。MSACNN与AlexNet、IDCNNA、IMSAlexNet、IDResNet相比，准确率分别提高21.80、12.17、6.60、2.90百分点，召回率分别提高11.27、4.85、4.00、2.67百分点。其中，MSACNN的准确率、召回率、F₁分数均达到95%以上，说明该模型具备有效性。

2.2 CBAM对模型性能的影响

为了分析MSACNN模型中CBAM注意力机制对模型性能的影响^［19］，在MSACNN中去掉CBAM注意力机制，对比前后模型在测试集上的性能，结果如表2所示。结果表明，尽管有CBAM的模型参数与占用内存略大于无CBAM的模型，但有CBAM的MSACNN模型取得很高的识别性能，远优于无CBAM模型的识别性能，说明CBAM注意力机制能有效增强模型的性能。

由表1、表2可以看出，MSACNN的准确率、召回率、F₁分数都在95%以上。MSACNN对每种病害的识别指标如表3所示，该模型对每种病害的准确率、召回率、F₁分数均达到93%以上，且可以计算得到模型的平均准确率为96.50%，平均召回率为95.49%，平均F₁分数为96.03%，进一步表明MSACNN具有较好的性能。

2.3 可视化分析

可视化MSACNN的卷积模块的部分输出如图6所示。可以看出，随着网络的加深，网络层提取的特征越来越抽象，即网络的较浅层提取物体的空间特征，如纹理、轮廓等信息；而较深的层提取的特征难以理解，但都可以表示不同病害类别的某些特征。同时，特征图分辨率越来越低，表明提取的特征不仅抽象，还具有精细的特点。

3 结论

针对苹果叶部病害图像的复杂多样性而导致的病害识别难题，提出一种基于空洞多尺度注意力机制的苹果病害识别方法。利用多尺度空洞卷积提取图像的多尺度卷积特征，利用双注意力机制进一步使得模型重点关注图像中的感病区域，减少背景与非病变区域对识别结果的影响，利用改进的残差模块实现特征跨层融合，增强模型的特征提取能力，进而提高模型的识别性能。在苹果病害叶片图像数据集上的试验结果表明，该方法是有效可行的，可对其他农作物的病虫害识别提供一定的参考价值。下一步将优化MSACNN，将其应用于移动设备上苹果病害识别系统中。

参考文献：

［1］Radha S. Leaf disease detection using image processing［J］. Journal of Chemical and Pharmaceutical Sciences，2017：670-672.

［2］Sharma P，Berwal Y P S，Ghai W. Performance analysis of deep learning CNN models for disease detection in plants using image segmentation［J］. Information Processing in Agriculture，2020，7（4）：566-574.

［3］谢滨瑶，祝诗平，黄 华. 基于BPNN和SVM的烟叶成熟度鉴别模型［J］. 中国烟草学报，2019，25（1）：45-50.

［4］Lin K，Gong L，Huang Y X，et al. Deep learning-based segmentation and quantification of cucumber powdery mildew using convolutional neural network［J］. Frontiers in Plant Science，2019，10：155.

［5］Jiang F，Lu Y，Chen Y，et al. Image recognition of four rice leaf diseases based on deep learning and support vector machine［J］. Computers and Electronics in Agriculture，2020，179：105824.

［6］Pandiyan S，Ashwin M，Manikandan R，et al. Heterogeneous internet of things organization predictive analysis platform for apple leaf diseases recognition［J］. Computer Communications，2020，154：99-110.

［7］Zhang P，Yang L，Li D L. EfficientNet-B4-ranger：a novel method for greenhouse cucumber disease recognition under natural complex environment［J］. Computers and Electronics in Agriculture，2020，176：105652.

［8］Bhagwat R，Dandawate Y. Comprehensive multilayer convolutional neural network for plant disease detection［J］. International Journal of Advanced Computer Science and Applications，2021，12（1）：1-10.

［9］陳柯屹，朱龙付，宋 鹏，等. 融合动态机制的改进型Faster R-CNN识别田间棉花顶芽［J］. 农业工程学报，2021，37（16）：161-168.

［10］潘仁勇，张 欣，陈孝玉龙，等. 基于DTS-ResNet的苹果叶片病害识别方法［J］. 国外电子测量技术，2022，41（9）：142-148.

［11］Wang P，Niu T，Mao Y R，et al. Identification of apple leaf diseases by improved deep convolutional neural networks with an attention mechanism［J］. Frontiers in Plant Science，2021，12：723294.

［12］Zeng W H，Li M. Crop leaf disease recognition based on self-attention convolutional neural network［J］. Computers and Electronics in Agriculture，2020，172：105341.

［13］郭小清，范涛杰，舒 欣. 基于改进Multi-Scale AlexNet的番茄叶部病害图像识别［J］. 农业工程学报，2019，35（13）：162-169.

［14］王权顺，吕 蕾，黄德丰，等. 基于改进YOLOv4算法的苹果叶部病害缺陷检测研究［J］. 中国农机化学报，2022，43（11）：182-187.

［15］马 宇，单玉刚，袁 杰. 基于三通道注意力网络的番茄叶部病害识别［J］. 科学技术与工程，2021，21（25）：10789-10795.

［16］方晨晨，石繁槐. 基于改进深度残差网络的番茄病害图像识别［J］. 计算机应用，2020，40（增刊1）：203-208.

［17］曾伟辉，李 淼，李 增，等. 基于高阶残差和参数共享反馈卷积神经网络的农作物病害识别［J］. 电子学报，2019，47（9）：1979-1986.

［18］王美华，吴振鑫，周祖光. 基于注意力改进CBAM的农作物病虫害细粒度识别研究［J］. 农业机械学报，2021，52（4）：239-247.

［19］张 宁，吴华瑞，韩 笑，等. 基于多尺度和注意力机制的番茄病害识别方法［J］. 浙江农业学报，2021，33（7）：1329-1338.

［20］黄林生，罗耀武，杨小冬，等. 基于注意力机制和多尺度残差网络的农作物病害识别［J］. 农业机械学报，2021，52（10）：264-271.

［21］蒋清健，姚 勇，付志军，等. 基于改进卷积神经网络算法的番茄叶片病害识别［J］. 江苏农业科学，2022，50（20）：29-34.

［22］朱 帅，王金聪，任洪娥，等. 基于多特征融合的残差网络果树叶片病害识别［J］. 森林工程，2022，38（1）：108-114，123.