基于卷积神经网络的农作物病虫害检测研究

白雪松，吴建平,2,3，景文超，何旭鑫，余 咏

(1.云南大学 信息学院，云南 昆明 650504；2.云南省电子计算中心，云南 昆明 650223；3.云南省高校数字媒体技术重点实验室，云南 昆明 650223)

0 引 言

农作物病虫害严重影响农产品的质量和产量，给农业生产带来了重大损失。传统的农作物病虫害检测主要是通过现场检测或实验室化学分析，对每一株农作物进行检查使得农技人员面临着大量的重复性工作，不仅费时费力而且要求检测人员具备该领域的专业知识及丰富的经验[1]。此外，受个人主观因素影响可能无法诊断某些具有高变异性的病虫害，而导致错误的结论和治疗方案[2]。

人工智能(Artificial Intelligence，AI)技术在农业检测领域处理复杂问题时表现优秀。卷积神经网络(Convolutional Neural Network，CNN)在国内外农作物病虫害检测研究中已形成热点。Sladojevic等[3]最早采用AlexNet神经网络检测农作物病虫害，并采用多种训练方法提高模型的泛化能力。Liu等[4]将AlexNet网络和GoogLeNet网络融合成一种新模型，新模型经过训练可以有效地识别4种不同病虫害的苹果叶病。Too等[5]在农作物病虫害检测实验中对各类模型进行评估训练，包括ResNet50、VGG16、InceptionV4等主流网络。王东方等[6]对SE-ResNeXt-101模型进行改进，并结合迁移学习提出了TL-SE-ResNeXt-101模型，在试验中取得较好的识别效果。刘阳等[7]优化轻量级网络SqueezeNet的部分结构，在不降低识别精度的情况下，大大减少了模型计算量和参数存储量。樊湘鹏等[8]建立了基于迁移学习的VGG16改进模型，对网络部分结构进行优化训练，最后将VGG16改进模型移植到手机端。

上述研究工作的识别效果非常不错，在农作物病虫害识别任务中取得较大进展，但依旧存在一些问题亟待解决。首先是数据样本不足导致某些具有变异性的疾病经常与相似疾病混淆，导致分类准确率降低。其次，大多数样本都是在受限环境下采集的，没有考虑到复杂环境对样本的干扰。此外，相当多的研究采用模型融合的方法，大大增加了模型参数量及计算量。目前，大部分研究者采用传统数据增强技术进行处理，但没有能对图片进行角度、纹理等语义变换，效果受限。虽然文献[9]采用生成对抗网络(Generative Adversarial Net，GAN)来扩增数据集，但训练GAN增加了研究人员的工作量。

针对上述问题，该文提出了一种基于隐式语义数据增强算法的残差网络优化模型。综合考虑性能、参数数量、计算复杂度等因素，选择Res2Net50网络进行改进优化。训练之前，对样本数据进行传统数据增强。为提取数据图像的关键特征信息，在网络中添加混合注意力模块。在训练过程中，使用隐式语义数据增强算法进行网络优化。

1 相关网络模型

1.1 Res2Net50残差模块

网络层次加深会增强网络的特征提取能力。随着网络深度增加到一定程度，网络可能会出现退化现象。在2015年，何恺明等[10]提出了性能表现优越的残差网络(Residual Network，ResNet)，利用恒等映射的思想创建残差块，避免发生网络退化现象。最近,Gao等[11]提出了新的多尺度网络架构(A New Multi-scale Backbone Architecture，Res2Net)，在残差网络的基础上使用分层、层叠的特征组卷积(scale)取代原来的3×3卷积，增加每一层的感受野，提高了网络的特征表达能力。

该文采用Res2Net50网络模型，用4组scale架构替换一般的3×3卷积，以模型迁移的方式加载网络权重，修改全连接层分类数目。此外，Res2Net50网络残差块中加入混合注意力模块后，能在多个通道提取特征再合并输出特征，结合通道和空间维度自适应调整特征图，保留关键特征。混合注意力模块将在1.3节进行详细介绍。

改进后的残差块结构如图1所示。

1.2 隐式语义数据增强算法

农作物病虫害数据集的样本种类分布不均匀且图像在获取时受到拍摄角度、光照和其他因素的影响。为了缓解样本不平衡问题，避免出现网络过拟合现象，对数据集进行数据增强是一种简单有效的方法。传统数据增强方法虽然在一定程度提高了模型鲁棒性，但只能对图像进行像素空间的变换。

为了在传统数据增强的基础上实现图像的语义增强，该文采用一种新型的损失函数——隐式语义数据增强算法(Implicit Semantic Data Augmentation，ISDA)[12]。ISDA算法在交叉熵损失函数的基础上优化，通过动态估计样本的协方差矩阵来进行语义增强。

协方差矩阵通过特征的空间位置捕获样本的差异信息[13]，选择有意义的语义方向进行增强。语义信息估计方法如下：

(1)

(2)

(3)

此外，对交叉熵损失函数进行优化得到计算上限，避免因语义增强而造成的计算浪费。优化后的交叉熵损失函数如下：

(4)

1.3 注意力机制

如图2所示，虽然农作物的病虫害特征有不同之处，但某些病害特征却极为相似，极易造成误判。为了更好地区分农作物病虫害，该文在网络中加入混合注意力机制获取图像的关键信息。Woo等[14]提出卷积块注意力模块(Convolutional Block Attention Module，CBAM)，混合通道维度和空间维度计算注意力权重，然后调整输入特征图，保留加强图像的关键特征。CBAM-Res2Net就是在Res2Net网络残差块中加入CBAM模块。

图2 病虫害图片

1.3.1 通道注意力模块

通道注意力模块沿着通道维度计算注意力系数，方法见图3。首先，输入特征分别经过全局最大池化、平均池化获得两个一维特征，然后将两个一维特征分别输入两层共享参数的神经网络。将输出的两个特征相加，通过Sigmoid函数激活得到一维通道注意力Mc(F)。最后，将输入特征与Mc(F)相乘，生成调整后的新特征。

图3 通道注意力模块

通道注意力计算公式为：

Mc(F)=σ(MLP(AvgPool(F))+

MLP(MaxPool(F)))=

(5)

1.3.2 空间注意力模块

空间注意力模块沿着空间维度计算注意力系数，方法见图4。输入特征进行全局最大池化和平均池化得到两个二维特征后再进行拼接操作，然后使用7×7卷积降维后再经Sigmoid函数激活得到二维空间注意力Ms(F)。最后，将输入特征与Ms(F)相乘，得到新特征。

图4 空间注意力模块

空间注意力计算公式为：

Ms(F)=σ(f7×7([AvgPool(F);MaxPool(F)]))=

(6)

1.4 农作物病虫检测改进模型

提出的改进模型是保持Res2Net50网络主干不变，采用模型迁移来加载参数，并对部分结构微调训练。改进后的农作物病虫害检测模型如图5所示。

算法实现过程如下：

(1)在训练前，对数据集进行在线预处理，增加样本数量。

(2)网络加载经过ImageNet数据集训练的Res2Net50预训练模型，迁移底层网络参数。

(3)训练过程中使用ISDA算法进行语义增强，优化网络输出。

(4)选取动量梯度下降(Momentum)算法，反向传播，更新网络参数。

(5)通过全连接层Softmax函数预测分类。

(6)多次试验，对比效果，选取最优超参数。

图5 农作物病虫害检测改进模型

2 实验设计

2.1 数据集准备

实验采用AI Challenger 2018农作物病虫害数据集。该数据集包含苹果、玉米、樱桃、马铃薯、草莓、番茄、葡萄、柑橘、桃树和辣椒10种农作物、27种病害类别(分一般或严重)和10种健康类别。数据集共有47 393张图片，其中训练集31 718张，验证集4 540张，测试集(未标注)9 027张。由于数据集中第44、45类样本较少，故删除。该实验使用的数据集按照“物种-疾病-发病程度”分为59类，其中训练集有31 716个样本，测试集有4 539个样本。

2.2 数据预处理

训练神经网络需要海量且全面的数据来保证其稳定性。对数据集进行预处理不仅能增加样本量，还能提高模型的泛化能力。通过试验对比将图片尺寸重定义为224×224，此时模型识别效果最好且节省计算资源。实验采用在线预处理的方式，首先对训练集图片尺寸重新定义，然后再进行随机亮度调整、对比度增强、30°随机旋转、上下翻转、水平翻转、45°仿射变换、像素去均值化与归一化处理等操作。

测试集图片只做尺寸重定义为224×224、像素去均值化与归一化处理操作。

2.3 超参数设计

合适的学习率可提高收敛速度。经过试验对比，将初始学习率设置为0.001。在训练过程中，学习率根据验证集loss进行动态调整以便更好的收敛。当loss连续两次不再下降时，学习率便缩小10倍。

单次训练样本量(Batch-Size)会对模型性能造成一定影响。考虑到显卡容量，选取16、32、64进行试验后确定为32。

通过试验对比不同的梯度优化算法，综合考虑收敛速度和不容易陷入局部极值等因素，实验最终采用动量梯度下降算法(Gradient Descent with Momentum，Momentum)。实验将momentum设为0.9，L2正则化系数设为0.000 5。

损失函数使用ISDA算法，其中超参数λ是控制语义数据增强的强度系数。通过试验对比效果后λ确定为1.0。

2.4 实验环境

实验环境：Windows10 OS，32 GB内存，AMD Ryzen7 5800X处理器和NVIDIA 3070显卡。实验编程语言：PyTorch1.71框架，Python3.6。

3 实验及结果分析

3.1 对比实验及分析

相同实验条件下，将改进模型和其他4种模型进行对比试验。考虑到实验数据集的病虫害种类较多，实验以平均准确率(Average accuracy rate)作为评价指标。为保证试验合理性，所有实验模型均采用模型迁移的方法，训练60轮。在测试集上的实验结果如图6所示。

(a)准确率曲线

结果分析：改进后的模型可达到更高的准确率和更低的损失值。改进模型收敛后，其准确率达到88.3%左右，损失值为0.325。改进模型收敛速度最快，大约10次训练后趋于收敛。ResNet50模型收敛速度稍慢于改进模型。ResNet101和InceptionV4模型在15轮训练后趋于收敛。DenseNet121模型的收敛速度较慢，且识别准确率低于其他模型。由于改进模型加了注意力机制，初始运行时性能表现低于其他模型，但经过两次迭代后，性能表现优于其他模型。

表1为对比模型在测试集的平均准确率及其参数量。改进模型将CBAM模块添加到Res2Net50网络残差块中，使用ISDA算法进行训练。改进模型比DenseNet121和ResNet50模型参数略多，但比其他模型少，且识别准确率最高。改进模型在测试集上的识别准确率达88.33%，分别比其他4种模型提高了0.95%、1.04%、0.63%和1.75%。。

表1 对比模型的表现

3.2 消融实验及分析

Res2Net50为初始模型；模型1表示初始模型仅用ISDA算法进行训练；模型2仅在初始模型残差块中加入CBAM模块，即CBAM-Res2Net50模型。所有实验模型均采用模型迁移的方法，训练60轮。在测试集上的实验结果如图7所示。

(a)准确率曲线

在消融实验中，模型2最先达到收敛状态，在10次迭代左右就趋于收敛。改进模型和模型1经过10次迭代后趋于收敛，而初始模型收敛速度最慢。模型1和模型2在测试集上的准确率均高于初始模型。通过对比模型的准确率和损失收敛曲线，改进模型比初始模型先收敛，识别准确率提高。

如表2所示，改进模型收敛后，识别准确率可达88.33%。与Res2Net50、模型1和模型2相比，改进模型的识别准确率分别提高了0.56%、0.31%和0.49%。

表2 消融实验

3.3 不同文献对比分析

由于文献[15-16]均采用AI Challenger 2018农作物病虫害数据集进行实验，选择其最优模型进行对比，结果如表3所示。

表3 不同文献模型对比

文献[15]采用模型融合的方法，即RestNext50、SE-ResNet50、SE-RestNext50、ResNet101等4种网络模型融合成新模型。虽然模型效果相较于单一模型有所提升，但增加了模型训练时间和参数量。文献[16]对深度残差网络进行微调，使用Focal Loss进行训练，分类准确率较差。改进模型的识别准确率比文献[15]和文献[16]分别提高了1.14%、1.57%。

4 结束语

该文提出了基于隐式语义数据增强算法的CBAM-Res2Net50模型，保持Res2Net50网络结构不变，使用模型迁移加载部分参数，并在神经网络残差块中添加CBAM模块。研究采用AI Challenger 2018农作物病虫害数据集进行对比实验。实验结果表明，改进模型对59类病虫害的分类准确率为88.33%。与ResNet50、ResNet101、InceptionV4和DenseNet121模型相比，改进模型的识别准确率分别提高了0.95%、1.04%、0.63%和1.75%。改进模型从多尺度学习图像特征，挖掘图像的语义信息，在一定程度上可解决样本不足的问题，从而提高网络模型的泛化能力。

目前，实验所用图片背景简单，没有考虑复杂环境的干扰。后续研究会将不断收集农作物图片，丰富农作物病虫害数据集，对神经网络进行剪枝以减少参数数量，建立移动终端的农作物分类病虫害检测系统等。