基于多特征融合的残差网络果树叶片病害识别

朱帅 王金聪 任洪娥 陶锐

摘 要：為分析果树在种植过程中病害的程度和种类，本文提出一种基于改进深度残差网络的果树叶片病害图像识别方法。该网络模型在传统残差神经网络的基础上，通过多尺寸的卷积核代替骨干网络中的7×7卷积核，既增加了网络的宽度，也增加了网络对尺度的适应性。带泄露修正线性单元（Leaky ReLU）激活函数用于替换修正线性单元（Recitified Linear Unit， ReLU）激活函数，该函数以ReLU函数为基础，在函数的负半轴上引入一个非零斜率（Leaky），解决了ReLU函数引起的神经元死亡现象。在平均池化层和全连接层之间加入Dropout（按照一定的概率将神经网络单元暂时从网络中丢弃）操作，合理设置阈值，可以有效地防止卷积神经网络的过拟合。最后，引入SE注意力机制进一步提高网络模型的识别精度。在公共数据集Plant Village（植物村）的实验表明，改进的深度残差网络模型能够很好地识别果树叶片病害，平均准确率可达到99.4%。

关键词：果树叶片;病害识别;深度残差网络;注意力机制;深度学习

中图分类号：S783.7    文献标识码：A   文章编号：1006-8023（2022）01-0108-07

Fruit Tree Leaf Disease Recognition Based on Residual Network

and Multi Feature Fusion

ZHU Shuai1， WANG Jincong2，3， REN Hong’e1，3*， TAO Rui1，4

（1. College of Information and Computer Engineering， Northeast Forestry University， Harbin 150040， China;

2.College of Mechanical and Electrical Engineering， Northeast Forestry University， Harbin 150040， China;

3.Heilongjiang Forestry Intelligent Equipment Engineering Research Center， Harbin 150040， China;

4.Hulunbuir University， Hulunbuir 021008， China）

Abstract：In order to analyze the extent and types of diseases in fruit trees during planting， this paper proposes an image recognition method of fruit tree leaf diseases based on improved deep residual network. Based on the traditional residual neural network， this network model replaces the 7×7 convolution kernel in the backbone network with a multi-size convolution kernel， which not only increases the width of the network， but also increases the adaptability of the network to scale. The Leaky ReLU activation function is used to replace the Recitified Linear Unit （ReLU） activation function. This function is based on the ReLU function and introduces a non-zero slope on the negative half axis of the function （Leaky）， solved the neuron death phenomenon caused by the ReLU function. Adding Dropout （temporarily discarding the neural network unit from the network according to a certain probability） operation between the average pooling layer and the fully connected layer， and setting the threshold reasonably can effectively prevent the over-fitting of the convolutional neural network. Finally， the SE attention mechanism is introduced to further improve the recognition accuracy of the network model. Experiments in the public data set Plant Village show that the improved deep residual network model can identify fruit tree leaf diseases well， with an average accuracy rate of 99.4%.

Keywords：Fruit tree leaves; disease recognition; deep residual network; attention mechanism; deep learning

0 引言

果树病害是造成现代农林业减产的主要原因，严重的病害会给果树种植者带来巨大的经济损失。在果树的种植过程中，病害问题是不可避免的，病害的程度和种类在不断增加，严重制约了果实的质量和产量[1-2]。我国果树的种植相对分散，相关从业人员知识水平参差不齐，极大制约着果树病害的防治[3-4]。因此，能够有效识别果树叶片病害的类别，及时进行相应的病害处理具有重要意义。

传统的果树病害鉴定是由经验丰富的专家进行诊断的，这种方法效率低，工作难度大，不能对疾病进行科学准确的实时诊断，而机器视觉技术可以实现对疾病的快速准确诊断[5-7]。卷积神经网络（Convolution Neural Networks，CNN）作为深度学习的重要组成部分，它凭借特征提取的巨大优势受到广泛关注[8-10]。

朱良宽等[11]提出一种融合了深度卷积生成式对抗网络（DCGAN）和迁移学习（TL）的新型卷积神经网络叶片识别方法，该方法可以获得96.57%的植物叶片识别精度;孙颖异等[12]构建了一种基于残差连接的AlexNet卷积神经网络，对卷积层的输入数据进行批归一化，并且利用2种不同的全局池化算法，实验验证残差连接的AlexNet卷积神经网络能够进行高效识别;孙俊等[13]采用批归一化和全局均值池化对AlexNet模型进行改进，并将改进后的模型在Plant village（植物村）数据集上训练，准确率有所提升的同时减少了模型参数;刘阳等[14]从网络规模小型化和计算过程轻量化需求的角度出发，对经典轻量级卷积神经网络（SqueezeNet）提出改进措施，并运用迁移学习和随机梯度下降算法进行训练，平均准确率达到98.13%; Tuncer[15]提出了一种基于Inception架构和深度可分离卷积的新混合CNN方法，模型可达99%的平均准确率;黄建平等[16]提出一种基于神经结构搜索的植物叶片图像病害识别方法，训练样本数据，模型识别准确率达到99.01%。

基于以上分析，本文提出一种基于改进残差网络模型的果树叶片病害识别方法。

1 研究技术与模型架构

1.1 传统残差网络

随着网络结构的增加，传统的卷积神经网络会导致梯度的消失或退化，并且由于果树叶片病害数据集样本数的限制，在网络的训练过程中容易产生过拟合现象。在残差神经网络中，通过引入残差块结构可以更容易地优化网络模型，并且由于残差块中的映射操作相同，使得网络模型可以在不发生梯度消失和过拟合的情况下加深网络深度[17-19]。残差网络的标准框架如图1所示。

1.2 改进卷积核

在识别叶片病害图像时，由于采集的公共数据集背景单一，叶片病害图像较为突出居中，而识别病害的关键点在于叶片中的病斑部分，在训练过程中由于传统残差网络图像输入时，初始卷积核尺寸和步长过大，卷积网络会丢失部分病害细节信息。为了尽量减少训练中的损失信息，适应多种果树叶片和病斑的大小，保留更多的疾病细节，需要重新设计步长和卷积核大小，用多种不同尺度的卷积核代替骨干网中的7×7卷积核，以捕捉更多的空间语义，增加了网络对尺度的适应性。同时，多个卷积核使用多个激活函数，提高了网络的非线性表达能力。因此，利用1×1、3×3、5×5的卷积通过deep concat（深度链接）合成特征，获得非线性属性，替换ResNet（Residual Neural Network）中的7×7卷积核，改进卷积核结构如图2所示。

1.3 优化激活函数

与经典的Sigmoid函数和Tanh函数相比，修正线性单元函数（Recitified Linear Unit， ReLU）解决了其致命缺陷：梯度弥散问题。函數在正无穷远处的梯度是一个常数，而不是像前2个函数一样为0。此外，由于其简单的函数组成，ReLU比包含指数函数的Sigmoid和Tanh要快得多。但缺点很明显：当输入信号为负时，函数不会启动，即其工作范围仅为0到正无穷大，且ReLU函数（公式中用ReLU表示）的输出不以0为中心，函数为公式（1）。

ReLU（x）=0，x≤0x，x>0 。 （1）

当x>0时，ReLU函数的梯度始终为1，这样梯度就不会衰减，从而缓解了梯度弥散的问题。然而，当x<0时，输入数据的特征点无法完全获得，影响了输出数据的准确性。

Leaky ReLU激活函数是ReLU函数的一个变体。在ReLU函数的基础上，在函数的负半轴上引入Leaky（一个非零斜率），解决了ReLU函数（公式中用ReLUleaky表示）引起的神经元死亡现象。函数为公式（2）。

ReLUleaky（x）=ax，x≤0x，x>0。  （2）

式中：a为超参数值，且a>0。

该函数在x>0区域的图像和ReLU函数相似，从而保留了ReLU函数缓解梯度消失的优点。在函数的负半轴区间内，函数的输出值会对输入值产生一个很小的梯度值，因此函数的负半轴导数总是不为0，解决了ReLU函数神经元死亡的现象。

1.4 添加Dropout层

在训练神经网络时，经常遇到过拟合问题。过拟合主要体现在以下几个方面：模型在训练数据中的损失函数小，预测精度高;但在试验数据上，损失函数较大，预测精度较低。通过在平均池化层和全连接层之间加入Dropout操作，合理设置阈值，可以有效地防止卷积神经网络的过拟合。添加Dropout层结构如图3所示。

1.5 添加SE注意力模块

引入注意机制进一步提取鉴别特征，并在改进的网络中采用SE（Squeeze and Exclusion）算法，通过精确建模卷积特征各通道之间的交互关系，提高网络模型的表达能力。网络模型校正特征的机制使得网络能够基于全局信息选择性地增强有价值的特征通道，抑制无用的特征通道。SE注意力模块如图4所示。

SE block的过程分为2个步骤：Squeeze（压缩） 和 Excitation（激发）。

压缩（Squeeze）：通过对特征映射层进行全局平均池化，得到当前特征映射的全局压缩特征量。激发（Excitation）：通过两层全连接的瓶颈结构获得特征图中每个通道的权重，并将加权后的特征图作为下一层网络的输入。引入注意力机制模型结构如图5所示。

2 实验结果与分析

2.1 实验数据

本次实验数据集来自公开的Plant Village数据库，提取了苹果、樱桃、葡萄、桃子全部叶片病害图像，其中，苹果包括1个健康类别，3个病害类别;樱桃包括1个健康类别，1个病害类别;葡萄包括1个健康类别，3个病害类别;桃子包括1个健康类别，1个病害类别。图像共计11 796幅。原始图片像素大小为256×256，为了满足卷积神经网络对输入图像尺寸的要求，在进行卷积神经网络模型试验时，将叶片病害图片像素尺寸缩放到224×224，各类别随机选取90%的叶片病害图片作为训练集，其余10%的图片作为测试集。每个病害类别包含的图片类型如图6所示。果树叶片病害图片各类别数目见表1。

2.2 实验参数与评价标准

在模型训练过程中，采用SGD网络训练优化器，初始学习率为0.001，权重衰减为0.005，学习率下降策略采用阶梯式下降，训练周期是100次，在梯度下降过程中，每批次训练的图片样本个数为16，Dropout系数设置为0.5。实验中以准确率（Accuracy）、精确率（Precision）、召回率（Recall）作为实验结果的评价标准。平均准确率定义为被测试集中正确分类的疾病图像数量与疾病图像总数的比值，准确率越高，模型的性能在一定程度上越好。精确率是所有预测为该类的样本里面，实际确实为该类的样本所占的比例。召回率是所有实际为该类的样本里面，预测为该类的样本所占的比例。

2.3 消融实验

为了提高果树叶片病害识别的性能，选择Res Net101网络结构，利用更深层次的网络结构获取更多的图像信息。本文采用残差网络ResNet和改进的ResNet对果树叶片病害图像进行识别。图7为在100个训练批次（epoch）后，各果树病害叶片的准确率。表2为各果树的准确率，表3为本文模型精确率和召回率。

从图7和表2可以看出，传统残差网络相比其他方法具有更深层的网络结构，能够更多地训练果树叶片病害图片中的有效信息，从而获得更高的准确率，可达到98.2%～99.2%。

在传统残差网络模型的基础上，用多种不同尺度的卷积核代替骨干网中的7×7卷积核，同时，利用Leaky ReLU激活函数，解决ReLU函数引起的神经元死亡现象，最后，在平均池化层和全连接层之间加入Dropout操作，防止卷积神经网络的过拟合，得到结构改进后的残差网络。实验结果表明，结构改进后的残差网络，能够捕捉更多的果树叶片病害图像信息，获得更多的病害特征细节，有效防止网络的过拟合化，准确率达到98.6%～99.6%，比传统残差网络准确率高出0.1%～0.4%，从而证明改进结构后残差网络的有效性更好。

传统残差网络单独引入注意力机制后，准确率为98.7%～99.5%，比传统残差网络准确率提升了0.3%～0.5%。

在改进结构的残差网络模型的基础上，引入注意力机制，通过校正特征的能力使得网络能够基于全局信息选择性地增强有价值的特征通道，抑制无用的特征通道，进一步增强网络模型的训练能力。引入注意力机制后结构改进的残差网络模型准确率进一步提高，达到99.0%～99.8%，比传统残差网络准确率高出0.6%～0.8%。同時验证了结构改进和引入注意力机制的消融性。

2.4 本文模型与现行方法对比

为验证本文模型的优越性，将本实验模型数据与文献[14]、文献[15]、文献[16]中的实验结果相对比，以上文献中的实验数据图来自Plant Village数据库。表4为实验结果对比。

从表4可以得出，本文提出的ResNet+结构改进+注意力机制模型比文献[14]、文献[15]、文献[16]中的卷积网络模型平均准确率提高了0.4%～1.3%。

本文在传统的残差网络模型基础上，进行结构的改进，增强对不同果树病害叶片的特征提取的丰富度，缓解网络训练中出现的过拟合问题，通过引入注意力机制模块，进一步增强模型整体提取叶片病害部分的能力，证明了本文实验模型的优越性。

3 结论与讨论

本文针对果树叶片病害识别问题，提出了一种基于改进深度残差神经网络的果树叶片病害图像识别方法，对传统残差网络模型进行改进。该模型在传统残差神经网络的基础上，将主干网络中7×7的卷积核替换为小卷积核，可以获得与较大的卷积核相同的感受野，并捕获更多的空间语义，减少了网络的参数。利用Leaky ReLU激活函数替换ReLU函数，该函数基于ReLU的基础上在函数负半轴引入Leaky值用于解决ReLU函数引起的神经元死亡现象。在平均池化层和全连接层之间添加Dropout操作，并且合理设置阈值能够有效地防止卷积神经网络出现过拟合的情况。最后引入SE注意力机制，进一步提高识别准确率。实验结果表明，本文提出的果树叶片病害识别模型，平均准确率达到99.4%，能够更好地解决果树叶片病害识别的问题。

【参 考 文 献】

[1]满中合.果树病害发生特点及综合防治策略探究[J].农业开发与装备，2021，27（5）：72-73.

MAN Z H. Study on occurrence characteristics and comprehensive control strategies of fruit tree diseases[J]. Agricultural Development & Equipments， 2021， 27（5）： 72-73.

[2]金瑛，葉飒，李洪磊.基于ResNet-50深度卷积网络的果树病害智能诊断模型研究[J].农业图书情报学报，2021，33（4）：58-67.

JIN Y， YE S， LI H L. The intelligent diagnosis model of fruit tree disease based on ResNet-50[J]. Journal of Library and Information Science in Agriculture， 2021， 33（4）： 58-67.

[3]SCHIEFER F， KATTENBORN T， FRICK A， et al. Mapping forest tree species in high resolution UAV-based RGB-imagery by means of convolutional neural networks[J]. ISPRS Journal of Photogrammetry and Remote Sensing， 2020， 170： 205-215.

[4]ISLAM M， DINH A， WAHID K， et al. Detection of potato diseases using image segmentation and multiclass support vector machine[C]//2017 IEEE 30th Canadian Conference on Electrical and Computer Engineering （CCECE）. April 30-May 3， 2017， Windsor， ON， Canada. IEEE， 2017： 1-4.

[5]YANG X，NI H M，LI J K，et al.Leaf recognition using BP-RBF hybrid neural network[J].Journal of Forestry Research，2021：1-11.

[6]HAN W， FENG R Y， WANG L Z， et al. Adaptive spatial-scale-aware deep convolutional neural network for high-resolution remote sensing imagery scene classification[C]//IGARSS 2018 - 2018 IEEE International Geoscience and Remote Sensing Symposium. July 22-27， 2018， Valencia， Spain. IEEE， 2018： 4736-4739.

[7]ZHANG X X， GUO Y， ZHANG X. High-resolution remote sensing image scene classification by merging multilevel features of convolutional neural networks[J]. Journal of the Indian Society of Remote Sensing， 2021， 49（6）： 1379-1391.

[8]THECKEDATH D， SEDAMKAR R R. Detecting affect states using VGG16， ResNet50 and SE-ResNet50 networks[J]. SN Computer Science， 2020， 1（2）： 1-7.

[9]赵鹏超，戚大伟.基于卷积神经网络和树叶纹理的树种识别研究[J].森林工程，2018，34（1）：56-59.

ZHAO P C， QI D W. Study on tree species identification based on convolution neural network and leaf texture image[J]. Forest Engineering， 2018， 34（1）： 56-59.

[10]汪泉，宋文龙，张怡卓，等.基于改进VGG16网络的机载高光谱针叶树种分类研究[J].森林工程，2021，37（3）：79-87.

WANG Q， SONG W L， ZHANG Y Z， et al. Study on hyperspectral conifer species classification based on improved VGG16 network[J]. Forest Engineering， 2021， 37（3）： 79-87.

[11]朱良宽，晏铭，黄建平.一种新型卷积神经网络植物叶片识别方法[J].东北林业大学学报，2020，48（4）：50-53.

ZHU L K， YAN M， HUANG J P. Plant leaf recognition method with new convolution neural network[J]. Journal of Northeast Forestry University， 2020， 48（4）： 50-53.

[12]孙颖异，李健，时天，等.基于改进的AlexNet卷积神经网络的植物叶片识别[J].种子，2020，39（2）：77-81.

SUN Y Y， LI J， SHI T， et al. Plant leaf recognition based on modified AlexNet convolutional neural network[J]. Seed， 2020， 39（2）： 77-81.

[13]孫俊，谭文军，毛罕平，等.基于改进卷积神经网络的多种植物叶片病害识别[J].农业工程学报，2017，33（19）：209-215.

SUN J， TAN W J， MAO H P， et al. Recognition of multiple plant leaf diseases based on improved convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering， 2017， 33（19）： 209-215.

[14]刘阳，高国琴.采用改进的SqueezeNet模型识别多类叶片病害[J].农业工程学报，2021，37（2）：187-195.

LIU Y， GAO G Q. Identification of multiple leaf diseases using improved SqueezeNet model[J]. Transactions of the Chinese Society of Agricultural Engineering， 2021， 37（2）： 187-195.

[15]TUNCER A. Cost-optimized hybrid convolutional neural networks for detection of plant leaf diseases[J]. Journal of Ambient Intelligence and Humanized Computing， 2021， 12（8）： 8625-8636.

[16]黄建平，陈镜旭，李克新，等.基于神经结构搜索的多种植物叶片病害识别[J].农业工程学报，2020，36（16）：166-173.

HUANG J P， CHEN J X， LI K X， et al. Identification of multiple plant leaf diseases using neural architecture search[J]. Transactions of the Chinese Society of Agricultural Engineering， 2020， 36（16）： 166-173.

[17]李晓振，徐岩，吴作宏，等.基于注意力神经网络的番茄叶部病害识别系统[J].江苏农业学报，2020，36（3）：561-568.

LI X Z， XU Y， WU Z H， et al. Recognition system of tomato leaf disease based on attentional neural network[J]. Jiangsu Journal of Agricultural Sciences， 2020， 36（3）： 561-568.

[18]马永杰，程时升，马芸婷，等.多尺度特征融合与极限学习机结合的交通标志识别[J].液晶与显示，2020，35（6）：572-582.

MA Y J， CHENG S S， MA Y T， et al. Traffic sign recognition based on multi-scale feature fusion and extreme learning machine[J]. Chinese Journal of Liquid Crystals and Displays， 2020， 35（6）： 572-582.

[19]刘飞，高红艳，卫泽刚，等.基于Res-Net深度特征的SAR图像目标识别方法[J].液晶与显示，2021，36（4）：624-631.

LIU F， GAO H Y， WEI Z G， et al. SAR image target recognition method using based on Res-Net deep features[J]. Chinese Journal of Liquid Crystals and Displays， 2021， 36（4）： 624-631.