基于注意力机制与改进残差模块的豆叶病害识别

鲍浩 张艳

摘要：豆类作物病害的有效识别对于病害的科学防控具有指导意义。针对传统作物病害识别方法效率低、准确率差的不足，利用深度学习方法设计了一种高效的轻量级豆叶病害识别模型，模型由卷积模块与改进的残差模块构成。卷积模块提取图像中的病害特征，在卷积模型中引入注意力机制增强了模型对病害区域的关注，同时降低非病变区域与背景对识别结果的干扰；在原始残差模块中添加更多的卷积层、激活函数与批归一化层得到了改进的残差模块，使得残差模块具有非线性表征和特征提取能力，从而提高模型对于高级病害特征的信息融合能力。结果表明，提出的模型对实际田间拍摄的豆叶病害图像的识别性能均达到99%以上。模型参数量仅为7.4×10⁵，分别为MobileNetV2、ResNet50、VGG16、VGG19以及DenseNet121模型参数量的32.74%、3.14%、5.03%、3.69%、10.51%；模型占用内存仅为8.75 MB，分别为MobileNetV2、ResNet50、VGG16、VGG19以及DenseNet121模型占用内存的33.14%、3.24%、5.21%、3.82%、10.68%。因此，本研究提出的模型具有参数量少、占用内存小以及性能好的优势，为田间环境下的豆叶病害智能识别系统的研发提供了理论基础。

关键词：角叶斑病；豆锈病；卷积神经网络；注意力机制；残差网络

中图分类号：S126；TP391.41文献标志码：A

文章编号：1002-1302（2023）16-0187-08

收稿日期：2022-09-11

基金项目：国家自然科学基金（编号：62141501、62265003）。

作者简介：鲍 浩（1998—），男，贵州安顺人，硕士研究生，研究方向为人工智能、机器学习及其在植物早期疾病的无损检测。E-mail：2662051997@qq.com。

通信作者：张 艳，博士，教授，主要从事生物信息无损检测、激光雷达方面的研究。E-mail：Eileen_zy001@sohu.com。

豆类作物具有丰富的营养物质，主要有蛋白质、脂肪以及碳水化合物等，营养价值与动物性食品相当^［1］。然而在豆類作物的种植过程中，管理不当会使得植株的抗病能力降低，使得豆类作物易受到病虫害胁迫，最终会使得品质与产量受到较大的影响^［2］。传统的作物病虫害识别方法主要分为人工分析与理化检测，人工分析的方法往往需要借助前人的种植经验，该方法受人为主观因素影响较大；而理化检测方法依赖于具有特定知识背景的专业人员，该方法不仅费时费力，而且低效。

人工智能的快速发展使得基于深度学习的识别方法已广泛应用于作物病害识别^［3-6］。在深度学习发展中，研究人员对人类注意力进行研究，提出了神经网络注意力机制^［7］，使得神经网络具有关注重要信息，忽略次要信息的能力。在植物病害识别中，注意力机制已经得到了广泛应用。例如，Zeng等提出了基于自注意力机制的卷积神经网络（convolutional neural networks，CNN）模型，获取了作物病变区域的局部特征，提高模型对病害的识别能力^［8］；Karthik等在模型中嵌入注意力机制，解决了由于番茄病害间相似性高导致的易错误识别的问题^［9］。在深度学习模型的构建中，随着网络模型层数的增加，模型性能也会提高，但在网络层数达到一定数量时，模型的性能却呈现出下降的现象，并伴随着难以训练的问题。为此，He等以跳跃连接的方式实现了层与层间的信息交互，从而训练了深层网络模型，即残差网络模型^［10］。残差网络的设计模式在植物病害识别模型应用中也得到了广泛应用。例如，方晨晨等以多尺度的方式在深度可分离卷积的基础上构建了新的残差模块，解决了原始残差模块中存在的参数量大、信息表达不足的问题^［11］；曾伟辉等构建了基于高阶残差的作物病害识别模型，高阶残差模块可以为识别结果提供更丰富的特征表达^［12］。以上研究表明，使用深度学习模型在作物病害识别中可以取得较好的效果，注意力机制在植物病害识别模型构建中可增强模型对于相似性病害的特征提取和表征能力，而残差网络模块可实现病害间的特征融合以提供更具有代表性的高级病害特征。

然而，现有许多研究都是基于实验室环境下获取的作物病害图像构建识别模型，实验室环境下病害图像背景与真实田园环境下病害图像背景的差异较大。实验室环境下采集的病害图像的背景简单，而真实田园环境下采集的病害图像的背景较复杂，如光照、环境等，难以应用于实际的生产环境。同时，许多识别模型需要大量的计算资源，在算力受限的移动设备上难以实现模型部署。因此，本研究围绕上述2个难题展开试验，基于真实农业生产场景下采集的豆叶病害数据集设计一种基于注意力机制结合改进残差模块的豆叶病害识别模型，以期为移动设备上的豆叶病害自动识别系统的设计提供理论基础。

1 材料与方法

1.1 试验材料

本研究使用的豆叶病害数据集（https：//github.com/AI-Lab-Makerere/ibean/）由真实生产环境下采集的图像构成，病害图像中均具有复杂的背景，例如物体阴影、杂草以及泥土等，这些背景将为构建深度学习模型带来挑战。数据集包含2种豆叶病害，即角叶斑病（angular leaf spot）、豆锈病（bean rust）以及1个健康类（healthy）图像，角叶斑病和豆锈病初期都有类似于白色的病斑，在病害后期变为褐色，并伴随着叶片干枯，部分感病作物图像及其症状描述详见表1。由于角叶斑病和豆锈病在发病症状上较相似，传统的病害识别方法难以有效判别，同时病害的高相似性也增加了深度学习建模的难度。

数据集中训练集、验证集以及测试集的图像数量分别为1 034、133、128张。由于原始的图像数量较少，为防止在训练模型中的过程中出现过拟合，对数据集进行数据增强处理。为使测试集与验证集的数据分布尽可能来源于真实的生产环境，仅对训练集进行数据增强操作。首先，在图像输入到神经网络之前使用在线数据增强的方式生成更多的图像供神经网络训练，使用的在线数据增强的方式有旋转、垂直翻转、水平翻转以及平移；然后，对图像的像素值进行归一化，以提高模型的训练速度；最后，由于神经元数量会随着图像尺寸大小变化而变化，选择将输入图像的尺寸固定为256×256像素。数据增强之后生成的部分图像见图1。

1.2 试验方法

本研究利用深度学习方法设计一种高效的轻量级豆叶病害识别模型，即改进残差注意力网络（improving residual attention mechanisms networks，简称IRes-AM-Net），模型主要由4个卷积模块和3个改进残差模块组成，详见图2。卷积模块提取图像中的局部病害信息，得到能表征病害信息的关键特征，在卷积模块中嵌入卷积块注意力模块（convolutional block attention module，CBAM）注意力机制提高了卷积模块对病变区域的特征提取能力，降低了对非病变区域和背景对识别结果的影响；改进的残差模块可以将低级特征转换为高级特征，实现高级特征间的信息交互，得到具有更丰富信息量的特征。使用全局平均池化层对卷积模块4输出的空间特征图进行处理，得到了具有空间信息的特征向量，然后通过含有softmax函数的分类层输出识别结果。为了避免训练模型时出现过拟合的问题，使用了标签平滑技术。

1.2.1 卷积模块设计

增加网络层数和卷积核的数量可以提取病害深层次信息，但是随着网络层数和卷积核数量的增加，模型会发生过拟合。因此，在设计IRes-AM-Net模型时卷积模块数量为4，各卷积模块的卷积核数量分别为32、64、128以及512；由于较大的卷积核会需要更多的计算资源，因此在本模型中所有卷积核大小均为3×3，同时多个小卷積核叠加能具有与大卷积核相同的的感受野，并且还能带来更多的非线性表征能力；为了获取局部的病害特征，选择卷积的步长为1；设置激活函数为relu具有训练速度快、增加网络非线性、避免梯度消失以及带来网络的稀疏性等优点。为了获取到特征图的全局信息，实现病斑特征间的融合，需要增大卷积的步长，但是较大的步长则会损失邻近信息，因此在网络的深处，即在卷积模块4中设置卷积步长为2。为了避免在网络深层由于最大池化层的作用出现信息丢失的问题，在卷积模块3与卷积模块4中删除了最大池化层。由于卷积模块4的卷积核数量较多，为了避免出现过拟合的问题，在卷积模块4中添加L2正则化。其中，批归一化层可增加网络训练的稳定性，最大池化层则对特征图进行下采样操作，减少网络的计算。

1.2.2 注意力机制嵌入

CBAM^［13］融合了通道注意力（channel attention）与空间注意力（spatial attention），通道注意力获取目标的类别信息，而空间注意力则关注目标的空间位置信息，因此CBAM较单一的注意力机制能取得更好的性能。将CBAM嵌入卷积模块中，可以更好地获取特征图中的关键信息^［14-15］。CBAM的结构如图3所示，计算公式如下：

F₁=M_c（F）UF；（1）

G=M_s（F₁） UF₁；（2）

M_c（F）=σ{MLP［AvgPool（F）］+MLP［MaxPool（F）］}；（3）

M_s（F₁）=σ{f^N×N{Concat［AvgPool（F₁），MaxPool（F₁）］}}。（4）

式中：F∈R^H×W×C，表示CNN提取的输入特征图，H、W、C分别表示特征图的高度、宽度和通道数；M_c（F）∈R^1×1×C，是经过通道注意力得到的特征图权重；F₁∈R^H×W×C，表示通道注意力输出的特征图；M_s（F₁）∈R^H×W×1表示经过空间注意力模块得到的特征图权重；G∈R^H×W×C为CBAM模块的输出特征图；表示矩阵的点乘操作；AvgPool（·）是平均池化操作；MaxPool（·）是最大池化操作；MLP（·）是一个多层感知机；Concat（·）可以将多个特征图在通道维度上拼接得到新的特征图；σ（·）为激活函数；f^N×N是N×N的卷积操作。

由公式（1）至公式（4）可知，当特征图F输入CBAM模块时，通道注意力模块输出特征图F的通道权重向量，并使用该权重向量对特征图F的通道进行加权，增加有效通道的权重，抑制无用通道的权重，使得模型关注特征图中的类别信息；空间注意力模块通过对特征图进行卷积操作，增加了目标所在区域的位置权重，使得模型专注于目标所在的空间信息。

1.2.3 改进的残差模块设计

残差模块^［16-17］通过跳跃连接的方式将浅层信息与深层信息进行线性组合，增加了层与层间的信息交互，可以解决由于网络层数加深导致的梯度消失或梯度爆炸问题。虽然残差模块（图4）实现了特征复用，但仅是低级特征x与高级特征F（x）间的特征融合，考虑到低级特征x与高级特征F（x）间信息的差异，这种特征融合方式可能会造成信息的丢失。

卷积层具有特征提取的作用，非线性激活函数可以为网络带来非线性表征能力，批归一化层则可以增加网络的收敛速度，并使得网络在训练过程中保持稳定。本研究在保留原始残差模块优势的基础上嵌入了更多的卷积层、批归一化层与非线性激活函数，在实现信息跨层交互的同时具有稀疏非线性的特征提取的能力，得到了如图5所示改进的残差模块。改进后的残差模块对输入信息的计算如下：

H（x）=F（x）+y；（5）

y=relu{BN［Conv（x）］}。（6）

式中：H（x）为输出；x为输入；Conv（·）为卷积操作；BN（·）为批归一化操作；relu（·）为非线性激活函数。

为了使改进的残差模块与卷积模块的通道数相匹配，各改进残差模块中卷积层的卷积核数量分别为64、128和128，并设置卷积核的大小均为1×1。在网络中引入1×1卷积层具有以下优势：（1）实现跨通道的信息交互；（2）引入非线性函数，提升网络的特征提取能力；（3）实现特征图的降维，以便进行特征融合。与卷积模块类似，在网络浅层获取病斑的局部信息，在网络的深层将局部的病斑信息进行整合，得到病斑的全局信息，因此设置了残差模块1和残差模块2中卷积层的步长为1，残差模块3中卷积层的步长为2。

1.3 试验环境

本次试验于2021年11月在贵州省农产品无损检测工程研究中心进行。硬件平台为Windows 10操作系统，GPU为NVIDIA GTX1660Ti，GPU显存为6 G，CPU为AMD Ryzen5 4600H的计算机。模型的编程语言为Python 3.9，编程平台为PyCharm 2021.2.3（社区版），深度学习框架选择Keras 2.4.3，以TensorFlow 2.5.0为后端。

2 结果与分析

2.1 性能评价指标

为了客观地评价模型的识别性能，使用混淆矩阵、准确率（accuracy）、精度（precision）、召回率（recall）以及F₁分数（F₁-scores）等性能评价指标对模型进行评价，计算公式如下：

式中：TP是正确预测的正类数量；FP是负类预测为正类的数量；FN是正类预测为负类的数量；TN是正确预测的负类数量。最后，为了评价模型复杂度，还对模型参数量以及模型占用内存进行对比。

2.2 参数设置

在数据增强时，使用TensorFlow模块中的ImageDataGenerator函数进行图像的在线增强操作，参数设置详见表2。

在IRes-AM-Net模型的训练过程中，以交叉熵函数为损失函数训练模型，训练轮次为200，优化器选择Adam，批次大小为16，标签平滑度为0.1。为了避免出现过拟合的现象，采用提前停止的训练策略，提前停止的轮次为30。

学习率对模型的收敛速度和精度起着决定性的作用，学习率较大虽具有收敛速度快的优势，但收敛精度往往不高；较小的学习率收敛精度较高，但收敛速度慢。通常在网络训练初期设置较大的学习率，使得模型快速收敛到，然后随着迭代次数的增加减小学习率增加模型的收敛精度。本研究结合线性函数与分段函数的特点设计了复合式衰减的学习率调度方式，如图6所示。首先，学习率先线性增长25个轮次，使用增长式的学习率可使得模型快速收敛；然后，固定学习率15个轮次，以固定的学习率训练模型可缓解增长式学习率带来的模型性能不稳定的问题；最后，每经过40个轮次进行学习率衰减，衰减因子为0.1，衰减式的学习率可使得模型具有较好的收敛精度。

2.3 性能对比分析

首先分析CBAM注意力机制对IRes-AM-Net模型性能的影响，验证卷积模块中嵌入CBAM注意力机制的重要性。在IRes-AM-Net模型中去除了CBAM注意力机制得到了IRes-Net模型，结果（表3）表明，虽然IRes-AM-Net模型的参数量与占用内存略大于IRes-Net模型的参数量与占用内存，但IRes-AM-Net模型取得了最高的识别性能，各性能指标均在99%以上，而IRes-Net模型的识别性能均在94.5%左右，约提高了4.67%，說明将CBAM注意力机制嵌入卷积模块中可以提高模型对病害的识别性能。

其次为了验证IRes-AM-Net模型的先进性，使用迁移学习的方法获取了5种性能较好的深度学习模型，即MobileNetV2^［18］、ResNet50^［10］、VGG16^［19］及其变体VGG19以及DenseNet121^［20-21］。为保证模型性能不受参数设置的影响，固定了训练过程中所有的训练策略不变。但由于原始的学习率相对于VGG16、VGG19以及DenseNet121模型来说较大，使得模型出现无法训练的现象，故选择将原始的学习率降低10倍，以训练VGG16、VGG19以及DenseNet121模型。

各模型在训练集上的准确率与损失随迭代次数的变化如图7所示。图7-a为模型准确率随迭代次数的变化曲线，由于使用了迁移学习技术，上述5种模型均快速收敛，IRes-AM-Net模型是重新开始训练的模型，因此IRes-AM-Net模型的收敛速度较慢，但在第80个迭代轮次时也已达到收敛。在训练过程中各模型的准确率均呈稳定上升的趋势，准确率均达到98%以上，说明各模型对训练集的训练效果较好。图7-b为模型损失随迭代次数的变化曲线，所有模型的损失在训练过程中均稳定下降，最终都达到收敛的状态。由于在训练IRes-AM-Net模型时使用了标签平滑技术，导致 IRes-AM-Net模型的损失值较其他模型的损失值大，且收敛速度较慢，IRes-AM-Net模型的损失值在0.35左右，而其他模型的损失值均在0.3左右。

IRes-AM-Net模型与上述5种模型在测试集上的性能对比如表4所示，IRes-AM-Net模型的准确率、精度、召回率以及F₁分数均达到99%以上，较其他识别模型的识别性能提高了1.41%～4.69%，说明IRes-AM-Net模型对于豆叶病害的识别性能较好。IRes-AM-Net模型的参数与占用内存均为最小，参数量仅为7.4×10⁵，分别为MobileNetV2、ResNet50、VGG16、VGG19以及DenseNet121模型参数量的32.74%、3.14%、5.03%、3.69%、10.51%；占用内存仅为8.75 MB，分别为MobileNetV2、ResNet50、VGG16、VGG19以及DenseNet121模型占用内存的33.14%、3.24%、5.21%、3.82%、10.68%，参数量少和占用内存小说明IRes-AM-Net模型对计算资源的需求低。结果表明，IRes-AM-Net模型在性能上优于目前常用的5种深度学习模型，同时具有最低的参数量和占用内存，体现了IRes-AM-Net模型的高效性和轻量性，可进一步用于移动设备上的豆叶病害识别模型的开发。

2.4 可视化分析

为了分析IRes-AM-Net模型在识别豆叶病害时叶片各区域对识别结果的影响，使用了类激活可视化方法。Grad-CAM^［22］是一种广泛用于神经网络可视化分析的算法，通过反向传播的梯度计算特征图每个通道的权重，并基于该权重对整个特征图进行线性加权得到激活热力图，最后用得到的热力图表征原始图像中特定区域对模型预测结果的贡献，从而实现类激活可视化。从数据集中随机选取3幅图像进行类激活可视化分析，并给出各区域所表示的权重系数大小，权重大小在0～1之间，越接近1表示该区域对于病害识别具有指导性意义，越接近0表示该区域在病害识别中可以忽略。

在表5中所示的3幅图像及对应的类激活图中，黄色区域表示的权重系数较大，代表了网络主要关注的区域，表示该部分区域对网络的识别结果起到关键性作用；而红色区域表示的权重系数较小，说明该区域是网络忽略的部分，即对于网络的识别结果起较小的作用或基本不起作用。由类激活可视化可知，IRes-AM-Net模型关注叶片图像中病斑周围的区域，说明模型对于感病区域具有较高的关注度，从而能取得较好的识别性能。

3 讨论

针对复杂场景下采集的豆叶病害图像进行研究，发现在角叶斑病和豆锈病的感病症状间存在较高的相似度，通过传统方法难以进行有效判别。利用深度学习强大的特征提取能力进行豆叶病害识别，通过自行设计的卷积模块可以深度挖掘病害图像中深层次的病害特征，同时嵌入CBAM注意力机制使得模型重点关注到图像中的感病区域，降低背景与非病变区域对识别结果的影响；并且由于原始残差模块进行特征融合时未考虑到信息间的差异性，仅是低级特征与高级特征进行简单的线性叠加，可能会使得部分病害信息丢失，因此在原始残差模块的基础上添加更多的卷积层、批归一化层以及激活函数，从而在特征融合时将低级特征转换为高级特征，实现高级特征间的交互，以增强模型对病害的特征提取能力。

虽然本研究提出的模型在复杂场景下识别豆叶病害取得了较好的性能，但是由于使用的豆叶病害种类较少，本研究仅是验证了使用深度学习方法在复杂场景下实现豆叶病害识别的可能性。因此，在未来的研究中，研究人员可以建立庞大的豆叶病害数据集，丰富豆叶病害种类多样性、环境多样性以及豆叶姿态多样性。将完善的豆叶病害数据集应用于本模型的训练和改进，从而实现豆叶病害的高效识别，为豆类作物的病害防控提供科学的指导。

4 结论

本研究使用自行设计的豆叶病害识别模型（IRes-AM-Net）在真实生产场景下实现了豆类作物病害的有效识别，主要结论如下：（1）为了验证CBAM注意力机制在模型中的有效性，在IRes-AM-Net模型中去除CBAM注意力机制进行对比分析，结果表明，添加CBAM模块以后的模型性能提高了约4.67%，说明CBAM注意力机制可以使模型专注到有利于豆叶病害识别的关键信息，并忽略次要信息；（2）将IRes-AM-Net模型与5种常用的深度学习模型相比，IRes-AM-Net模型在各性能指標上均达到最高，较其他模型提高了1.41%～4.69%，且模型参数与占用内存为最低，说明IRes-AM-Net模型不仅性能好，且还具有对计算资源需求低的优势。因此，IRes-AM-Net模型具有轻量和性能好的优势，为移动设备上豆叶病害识别系统的设计和研发提供了理论基础。

参考文献：

［1］王 宠，蔡健灵，焦 玲，等. 豆类食品的合理食用研究［J］. 粮食科技与经济，2020，45（4）：127-129.

［2］马鸾艳. 豆角露地高产栽培及病虫害防治技术探讨［J］. 南方农业，2021，15（32）：48-50.

［3］Ferentinos K P. Deep learning models for plant disease detection and diagnosis［J］. Computers and Electronics in Agriculture，2018，145：311-318.

［4］Lee S H，Goёau H，Bonnet P，et al. Attention-based recurrent neural network for plant disease classification［J］. Frontiers in Plant Science，2020，11：601250.

［5］王美华，吴振鑫，周祖光. 基于注意力改进CBAM的农作物病虫害细粒度识别研究［J］. 农业机械学报，2021，52（4）：239-247.

［6］李 萍，邵 彧，齐国红，等. 基于跨深度学习模型的作物病害检测方法［J］. 江苏农业科学，2022，50（8）：193-199.

［7］Bahdanau D，Cho K，Bengio Y. Neural machine translation by jointly learning to align and translate［R/OL］. 2014：arXiv：1409.0473.https：//arxiv.org/abs/1409.0473

［8］Zeng W H，Li M. Crop leaf disease recognition based on self-attention convolutional neural network［J］. Computers and Electronics in Agriculture，2020，172：105341.

［9］Karthik R，Hariharan M，Anand S，et al. Attention embedded residual CNN for disease detection in tomato leaves［J］. Applied Soft Computing，2020，86：105933.

［10］He K M，Zhang X Y，Ren S Q，et al. Deep residual learning for image recognition［C］//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Las Vegas，NV，USA.IEEE，2016：770-778.

［11］方晨晨，石繁槐. 基于改進深度残差网络的番茄病害图像识别［J］. 计算机应用，2020，40（增刊1）：203-208.

［12］曾伟辉，李 淼，李 增，等. 基于高阶残差和参数共享反馈卷积神经网络的农作物病害识别［J］. 电子学报，2019，47（9）：1979-1986.

［13］Woo S，Park J，Lee J Y，et al. CBAM：convolutional block attention module［C］//European Conference on Computer Vision.Cham：Springer，2018：3-19.

［14］张福玲，张少敏，支力佳，等. 融合注意力机制和特征金字塔网络的CT图像肺结节检测［J］. 中国图象图形学报，2021，26（9）：2156-2170.

［15］李明悦，何乐生，雷 晨，等. 基于注意力特征融合的SqueezeNet细粒度图像分类模型［J］. 云南大学学报（自然科学版），2021，43（5）：868-876.

［16］陈 娟，陈良勇，王生生，等. 基于改进残差网络的园林害虫图像识别［J］. 农业机械学报，2019，50（5）：187-195.

［17］雷建云，陈 楚，郑 禄，等. 基于改进残差网络的水稻害虫识别［J］. 江苏农业科学，2022，50（14）：190-198.

［18］Sandler M，Howard A，Zhu M L，et al. MobileNetV2：inverted residuals and linear bottlenecks［C］//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City，UT.IEEE，2018：4510-4520.

［19］Simonyan K，Zisserman A. Very deep convolutional networks for large-scale image recognition［R/OL］. 2014：arXiv：1409.1556.https：//arxiv.org/abs/1409.1556

［20］Huang G，Liu Z，van der Maaten L，et al. Densely connected convolutional networks［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Honolulu，HI.IEEE，2017：4700-4708.

［21］汤文亮，黄梓锋. 基于知识蒸馏的轻量级番茄叶部病害识别模型［J］. 江苏农业学报，2021，37（3）：570-578.

［22］Selvaraju R R，Cogswell M，Das A，et al. Grad-CAM：visual explanations from deep networks via gradient-based localization［C］//2017 IEEE International Conference on Computer Vision （ICCV）. Venice：IEEE，2017：618-626.