基于改进残差网络的葡萄叶片病害识别

戴久竣　马肄恒　吴坚　班兆军

摘要：葡萄病害是导致葡萄严重减产的主要因素，大多数病害症状都反映在葡萄的叶片上，但是人工针对叶片的识别费时且效率低。本研究提出了一种基于改进残差网络的葡萄叶片病害识别模型。该研究在ResNet50的基础上采用金字塔卷积网络，通过其包含不同大小和不同深度的卷积核来处理输入，然后以特征融合来获得不同程度的病害特征细节。在金字塔网络结构上采用深度超参数化卷积层代替传统的卷积层，能够加快模型收敛速度，有效提升模型精度。结果表明，改进后的残差网络模型与AlexNet、MobileNetV2、ResNet50/101、VGG16模型相比，在准确性方面具有显著优势。与原模型相比较，识别准确率提高3.18百分比，改进模型对病害识别准确率高达98.20%。可以为识别葡萄叶片病害提供参考。

关键词：葡萄病害；残差网络；金字塔卷积；深度超参数化卷积层

中图分类号：TP391.41文献标志码：A

文章编号：1002-1302（2023）05-0208-08

葡萄是我国最常见的水果之一，它含有多种维生素、类胡萝卜素和多酚，对人类健康有许多益处，如抗癌、抗氧化和光保护［1］。根据联合国粮食及农业组织的调查数据，2021年我国葡萄产量达到 1 443.9万t，但是每年有多达40%的葡萄因病害而坏死，所以葡萄病害是全球葡萄产量下降的主要原因。因此，建立一种高准确率的葡萄叶片病害识别方法，将有助于提高葡萄生产管理水平，提供良好的生长环境使其产量有效提升。

随着计算机视觉［2-4］、机器学习［5-7］和深度学习［8-10］等技术的发展，这些技术已被广泛应用于作物病害检测［11-13］。传统的机器学习方法主要集中在色调、形状、纹路等低层图像特征以及支持向量机等传统机器学习算法上。多位学者基于全局阈值算法来分割葡萄叶片的病害部分，并将其输入机器学习分类器［14-16］。但是，传统的机器学习算法不能有效地处理图像的空间信息。与传统的机器学习方法相比，深度学习方法在特征提取方面表现更好，通常可以获得更好的性能。卷积神经网络是一种高性能的深度学习网络，它提供端到端的通道，自动学习在图像中的表达层次特征［17-20］。基于深度网络的病害识别不仅更加有效，而且避免了繁琐的特征选择过程。

目前，基于卷积神经网络的模型已被广泛应用于作物的早期病害檢测和后续病害管理。Tahir等采用InceptionV3模型结合迁移学习方法对苹果叶片病害识别进行研究，在PlantVillage数据集上的平均准确率达到97%［21］。Zhang等提出了一个改进的残差模型，用于对医学X射线图像中的多种病症进行图像分类，最后多次试验评估表明，所提出模型的准确率在不同的数据集上分别达到了87.71%和81.8%［22］。Zu等提出了一种基于改进的ResNeXt-50模型与迁移学习相结合的香菇感染枝条识别方法，试验结果表明，改进模型识别准确率可以达到94.27%［23］。龙满生等将AlexNet和GoogleNet网络与迁移学习策略相结合，对油茶病害进行了识别［24］。余小东等采用迁移学习方式并结合深度学习提出了一种基于ResNet50的模型，获得病虫害分类模型，最终其识别率达到91.51%［25］。Liu等基于VGG16和Inception-ResNetv2的迁移学习网络设计了害虫图像识别模型。最终识别准确率为97.71%［26］。Krishnamoorthy等将一个预训练的深度卷积神经网络Inception-ResNetv2和迁移学习方法结合用于识别水稻叶片病害，该模型的参数针对分类任务进行了优化，最终获得了95.67%的准确率［27］。许景辉等提出基于迁移学习的卷积神经网络的玉米病害图像识别模型，最终识别准确率达到95.33%［28］。

根据以上研究，卷积神经网络在病害识别方面取得了较好的结果，但是大多数面向应用的图像识别算法都基于流行的迁移学习方法来进行试验，对于算法的改进很少，导致模型有局限性。因此，本研究提出一种基于改进残差网络的葡萄叶片病害识别模型。以ResNet50为基础模型引入金字塔卷积网络，再此结构上使用深度超参数化卷积层代替传统卷积层，进而确保了多尺度特征的高效提取和额外参数增加，使模型的收敛速度和识别性能得到提升。

1 试验数据

1.1 图像数据

本研究从2个不同的数据集中收集各类病害和健康类葡萄的不同图像。本研究中用于评估性能的第1个数据集是来源于浙江农业科学研究院的葡萄体系研究平台，其包含白粉病、霉霜病2类病害，部分病害图像是研究员在养殖基地拍摄后上传到平台的。第2个数据集是在Plant Village数据库和Digipathos网站上挑选合适的黑腐病、叶斑病和健康叶3类叶片，每1幅图像都只有1种病害，叶片如图1部分示例所示。将源于2个数据集的葡萄叶片图像整合共同构成数量为1 205幅的数据集。

1.2 图像数据预处理与增强

深度学习模型的性能取决于所用数据的数量和质量。本研究准备的葡萄叶片病害数据集与训练模型所需的数据量相比很小，这可能会导致过拟合；在这种情况下，1个模型对训练数据表现良好，但在用未见过的数据进行测试时却不能泛化。为了解决该问题，需要将原始数据进行预处理操作，处理方法包括数据增强、局部裁剪等。如图2所示，数据增强采用多种图像增强技术（旋转、翻转、平移、亮度变化和增加噪声等）。图像局部裁剪是将原始数据图像的较小病害区域进行裁剪，这样可以让模型训练时更好地进行特征提取，如图3所示。

通过以上方法，最终将原始数据扩充为原来的6倍，最终数据集为7 230幅。

2 葡萄叶片病害识别模型

2.1 卷积神经网络选取

卷积神经网络是一种用于计算机视觉应用程序的当代技术，其中神经网络通过学习内部特征表示并泛化常见图像问题中的特征来保持层次结构。卷积神经网络的核心是卷积，它学习用于视觉识别的滤波器。本研究选取4类常见病害和1类健康叶片图像为样本，由于每类病害的病斑纹理、形状和色彩在叶片不同的位置等特点，区分难度很大。选取浅层卷积神经网络可能小范围的葡萄病斑特征很难输入到模型的深层。这种特征的损失严重影响了模型的识别精度。选取层数过多的卷积神经网络，虽然随着网络层数的增加，提取的病斑能力逐渐加强，但是在训练过程中，随着网络层数的逐渐增加，可能会导致梯度爆炸和网络退化等问题。所以本研究选取深度合适的ResNet50为基础模型，在此基础上修改了原来瓶颈层的主分支的卷积核和改进传统卷积层。使用新的卷积方式能够更高效地提取病斑特征并能加快收敛速度，提高模型性能。

2.2 改进模型的设计

在本研究中提出了一种基于改进残差网络的识别模型，显示ResNet50的具体结构（图4），显示残差块结构（图5）。ResNet50分为6个阶段，其中，Stage1的结构相对简单，可以看作是图像输入的预处理。Stage2～Stage5分别由3、4、6、3个瓶颈层组成，它们的结构原理相对相似。Stage1的输入为（3×224×224），分别表示输入的通道数、高度和宽度。Stage1的第1层包括3个顺序操作：（1）卷积，其中卷积核的大小为7×7，卷积核的数量为64；（2）批量标准化；（3）ReLU激活功能。Stage1中的第2层是最大池化层。Stage2～Stage5中的每个Stage的第1个瓶颈层都采取下采样。Stage6全连接层将高维特征进行分类输出。

本研究对Resnet50进行如下改进：

（1）修改Stage2～Stage4的瓶颈层结构，采用金字塔卷积网络方式，将Stage2中3个瓶颈层的Conv2的64个3×3的卷积核采用金字塔卷积方式，替换成16个3×3的卷积核（Padding=1），16个5×5的卷积核（Padding=2），16个7×7的卷积核（Padding=3），16个9×9的卷积核（Padding=4），共4组，卷积核的深度在每个级别上都有所不同，最后特征融合再进行输出，如图6所示。剩余的Stage3～4也都要采用相同金字塔卷积方式，分别分为3组、2组的组合方式，改进后的瓶颈层结构如图7所示。采用多组多卷积核处理，扩大卷积核的感受野，可以并行应用不同类型的卷积核，来改善不同特征级别尺度间的相关性，可以恢复更多细节。网络可以从连通性较低的大感受野连接到连通性较高的小感受野。这些不同大小的卷积核带来了互补信息，有助于提高网络的识别性能。感受野较小的卷积核可以更好地捕捉关于较小病斑的信息，而感受野较大的卷积核可以提供背景信息。

（2）在改进后瓶颈层的金字塔结构里使用深度超参数化卷积层（DO-Conv）代替传统卷积层。深度卷积层将输入特征区域P的Cin个通道中的每个通道提取出来，然后分别单一与单通道卷积核进行点积运算，得到的输出特征图区域与输入特征图区域的通道数相同。具体操作如图8所示，公式为

O=W·p

式中：W为卷积核的权重张量，P为输入特征区域，O为卷积的输出。

每个输入特征区域P（一个M×N维特征）被转换为一个Dmul维特征。可训练的深度卷积核可以表示为3D张量W∈ R（M×N）×Dmul×Cin。由于每个输入通道都转换为Dmul维度特征，因此深度卷积操作输出的是一个Dmul×Cin维的特征O=W·P，具体运算可以用公式（2）来表示：

式中：M和N为2个空间的大小；Cin为输入维度，其中M×N=4，Dmul=2，Cin=3。

如公式（2）所示，在深度卷积层中，具有不同立方体框架颜色的不同输入通道，O的每个元素由卷积核W的每个垂直列向量与输入区域P的相应通道中的元素（具有相同颜色的元素）之间的点积计算，得到输出特征O的一个融合元素，最后将每个通道组合成整体的输出特征。深度超参数化卷积层（DO-Conv）是将传统卷积层与深度卷积层结合成整体，从而对输入特征图区域进行操作的新型卷积操作形式。与传统卷积层相比较，深度卷积层因为不需要与特征图区域的整体作多次卷积计算，但是深度卷积层相对于传统卷积层的输出结果改变了输出特征图的尺寸，所以二者之间并不能完全等效。深度超参数化的主要优点之一是深度超参数化使用的多层复合线性运算可以在训练阶段后收缩成紧密的单层表示，然后只需要使用单层来进行推理，将参数计算量减少到与传统卷积层完全等效并且能够加快模型收敛速度，有效提升模型精度。

2.3 改进模型整体结构

本研究所改进的深度卷积神经网络由ResNet50为基础，采用金字塔卷积结构方式，并在其方式下采用深度超参数化卷积层代替传统卷积层，得到改进的残差网络模型。整体结构如图9所示。

3 结果与分析

3.1 试验测试平台

本试验的测试平台是 Intel CoreTM i7-8750 CPU@2.20 GHz处理器，試验环境操作系统是Windows 10，配置8 GB显卡NVIDIA GeForce [JP+2]RTX2080，64位操作系统。训练环境由Anaconda3创建，环境配置为Python3.7.10、开源深度学习框架Pytorch1.6。试验批次为32，训练轮数为50，采用自适应估计优化器（Adam）来实现模型优化。

在试验中，数据集被分成2个部分：80%用于训练，10%用于验证，10%用于测试。将图像裁剪成规定尺寸作为输入图像，并评估其分类精度。所有模型均采用相同的设置进行训练和测试。

3.2 试验设计及分析

3.2.1 研究学习率对模型的影响

为了探究不同学习率对改进模型的影响，分别设置了0.1、0.01、0.001共3个学习率进行试验对比，准确率见表1，模型训练过程如图10所示。最后根据收敛速度和识别准确率选择学习率为0.001来进行以下的对比试验。

3.2.2 研究不同分类模型的性能

改进的ResNet50与其他分类模型（ResNet50、ResNet101、VGG16、AlexNet、MobileNetV2）都是从0开始训练的，共有50个训练轮数，并且采用了相同的训练方式（学习率设置为0.001）。

Adam算法被用作模型训练的优化器。由于每个训练轮次都会有较大的噪声，容易陷入局部最优解，因此使用Adam优化器。利用带有动量的梯度下降来解决局部最优解的情况。此外，Adam优化算法是一种自适应优化方案，可以调整每个参数的学习速率。对比结果如表2所示。

为了能够更直观地观察各个模型在训练的准确率变化曲线。图11展示不同模型在训练集和验证集的准确率，改进的ResNet50模型具有最高的识别率，达98.20%，主要是因为采用金字塔卷积的方式和使用深度超参数化卷积层，模型通过并行增加卷积核大小来处理输入，然后通过特征融合来获得不同程度的病害特征细节和增加额外的参数，使上下层语义信息更加紧密，有效加快模型收敛速度和提升模型精度。

3.2.3 研究数据增强对识别性能的影响

在本研究中，数据增强被用来防止过度拟合。本研究采用旋转、翻转、缩放和颜色变化、增加噪声等方法来增加数据集。本研究将数据集划分为原始数据、原始数据增强2种数据类型。改进模型与2种数据进行试验对比，结果见表3。可以清晰地看到数据集的增强，准确率得到有效提升。

3.3 评估指标分析

在本节中，基于混淆矩阵，通过精确率、召回率和F1分数评估了每种葡萄叶片病害的识别性能。混淆矩阵作为表示精度评估的标准格式，用n行n列的矩阵形式表示。准确率、召回率和F1分数来自TP、FP、TN和FN结果的数量。由于对不同类别之间的不平衡更为敏感，因此也计算了整体精度。精确率（P）、召回率（R）和F1分数，公式为将改进的ResNet50模型对测试集进行识别分类，得到葡萄病害叶片的混淆矩阵如图12所示，可清晰地看到白粉病和霉霜病有相互识别错误的情况，叶斑病被识别成黑腐病。主要是由于不同病害在外界的干扰下病害特质比较相似。所以会导致模型识别错误。

根据混淆矩阵，计算出5种类别的准确率，召回率和F1分数作为模型的评估指标。如表4所示，通过计算所得改进的模型平均精确率为98.29%，平均召回率为98.19%，平均F1分数为98.23%，由此得出，改进的模型具有较好的识别准确率。

4 结论

本研究提出了一种基于改进的残差网络的深度卷积网络模型。在主通道中加入金字塔卷积方式，并使用深度超参数化卷积层代替传统的卷积层。通过试验，发现改进的模型在提取病害特征方面具有更好的性能。在学习率为0.001，使用Adam优化器下改进模型ResNet50识别准确率达到98.20%。相比于原模型提升了3.18百分比。表明本研究方法在葡萄病害叶片识别上能获得较好的效果，并且可以为农户高效识别葡萄病害提供有效的工具，还可以应用于其他农作物叶片和果实病害的评价。

参考文献：

［1］Sellitto V M，Zara S，Fracchetti F，et al. Microbial biocontrol as an alternative to synthetic fungicides：boundaries between pre-and postharvest applications on vegetables and fruits［J］. Fermentation，2021，7（2）：60.

［2］陈之射，阳 威. 计算机视觉及网络领域中人工智能的运用［J］. 华东科技，2022（1）：108-110.

［3］冯 硕，李 旗. 奇异果采摘机器人机械臂控制系统研究：基于计算机视觉和卷积神经网络［J］. 农机化研究，2022，44（10）：25-29.

［4］安鹤峰. 计算机视觉在作物根系识别与分析中的应用［J］. 农业科技与装备，2021（4）：45-46.

［5］孙仕亮，赵 静. 模式识别与机器学习［J］. 计算机教育，2020（11）：2.

［6］陈 荣，李 旺，周文玉. 基于形状特征和支持向量机（SVM）的茶叶病害识别方法［J］. 贵州农业科学，2021，49（4）：53-59.

［7］王 聃，柴秀娟. 机器学习在植物病害识别研究中的应用［J］. 中国农机化学报，2019，40（9）：171-180.

［8］周惠汝，吴波明. 深度学习在作物病害图像识别方面应用的研究进展［J］. 中国农业科技导报，2021，23（5）：61-68.

［9］孙 红，李 松，李民赞，等. 农业信息成像感知与深度学习应用研究进展［J］. 农业机械学报，2020，51（5）：1-17.

［10］刘慧力，贾洪雷，王 刚，等. 基于深度學习与图像处理的玉米茎秆识别方法与试验［J］. 农业机械学报，2020，51（4）：207-215.

［11］Boulent J，Foucher S，Théau J，et al. Convolutional neural networks for the automatic identification of plant diseases［J］. Frontiers in Plant Science，2019，10：941.

［12］马浚诚，杜克明，郑飞翔，等. 基于卷积神经网络的温室黄瓜病害识别系统［J］. 农业工程学报，2018，34（12）：186-192.

［13］牛学德，高丙朋，南新元，等. 基于改进DenseNet卷积神经网络的番茄叶片病害检测［J］. 江苏农业学报，2022，38（1）：129-134.

［14］Jaisakthi S M，Mirunalini P，Thenmozhi D，et al. Grape leaf disease identification using machine learning techniques［C］//2019 International Conference on Computational Intelligence in Data Science （ICCIDS）.Chennai，India：IEEE，2019：1-6.

［15］刘 峻，孙美艳，焦中元，等. 基于全局阈值迭代的苹果图像分割计数方法［J］. 安徽农业科学，2018，46（29）：180-182，186.

［16］Singh U，Srivastava A，Chauhan D，et al. Computer vision technique for detection of grape esca （black measles） disease from grape leaf samples［C］//2020 International Conference on Contemporary Computing and Applications （IC3A）.Lucknow，India：IEEE，2020：110-115.

［17］Arya S，Singh R. A comparative study of CNN and AlexNet for detection of disease in potato and mango leaf［C］//2019 International Conference on Issues and Challenges in Intelligent Computing Techniques （ICICT）.Ghaziabad，India：IEEE，2019：1-6.

［18］Chao X F，Sun G Y，Zhao H K，et al. Identification of apple tree leaf diseases based on deep learning models［J］. Symmetry，2020，12（7）：1065.

［19］Kaur M，Bhatia R.Development of an improved tomato leaf disease detection and classification method［C］//2019 IEEE Conference on Information and Communication Technology.Allahabad，India：IEEE，2019：1-5.

［20］李 彧，余心杰，郭俊先. 基于全卷积神经网络方法的玉米田间杂草识别［J］. 江苏农业科学，2022，50（6）：93-100.

［21］Tahir M B，Khan M A，Javed K，et al. WITHDRAWN：recognition of apple leaf diseases using deep learning and variances-controlled features reduction［J］. Microprocessors and Microsystems，2021：104027.

［22］Zhang Q C，Bai C C，Liu Z，et al. A GPU-based residual network for medical image classification in smart medicine［J］. Information Sciences，2020，536：91-100.

［23］Zu D W，Zhang F，Wu Q L，et al. Disease identification of Lentinus edodes sticks based on deep learning model［J］. Complexity，2022，2022：9504055.[HJ2mm]

［24］龍满生，欧阳春娟，刘 欢，等. 基于卷积神经网络与迁移学习的油茶病害图像识别［J］. 农业工程学报，2018，34（18）：194-201.

［25］余小东，杨孟辑，张海清，等. 基于迁移学习的农作物病虫害检测方法研究与应用［J］. 农业机械学报，2020，51（10）：252-258.

［26］Liu Y W，Zhang X，Gao Y X，et al. Improved CNN method for crop pest identification based on transfer learning［J］. Computational Intelligence and Neuroscience，2022，2022：9709648.

［27］Krishnamoorthy N，Prasad L，Kumar C et al. Rice leaf diseases prediction using deep neural networks with transfer learning［J］. Environmental Research，2021，198：111275.

［28］许景辉，邵明烨，王一琛，等. 基于迁移学习的卷积神经网络玉米病害图像识别［J］. 农业机械学报，2020，51（2）：230-236，253.

收稿日期：2022-04-19

基金项目：“十三五”国家重点研发计划（编号：2017YFD0401304）；浙江省重点研发计划（编号：2022C04039）。

作者简介：戴久竣（1996—），男，浙江台州人，硕士研究生，研究方向为图像处理。E-mail：15968860545@163.com。

通信作者：吴 坚，硕士，教授，硕士生导师，研究方向为农业信息学。E-mail：wujian@zust.edu.cn。