基于卷积神经网络的农作物病害识别研究综述

范伟坚　林乐坚　李就好

摘 要：随着精准农业的发展，对农作物病害进行快速准确地识别是提高农作物产量、推动农业现代化的重要手段。传统的作物病害识别技术存在一定局限性，依赖人工提取特征，图像分割难度较大，特别在复杂环境下的识别效果不佳。而随着深度学习中卷积神经网络（Convolutional Neural Network， 下文简称CNN）在图像识别领域上的不俗表现，不少研究人员将CNN应用于农作物的病害识别。研究表明，基于CNN的深度学习方法是目前对农作物病害分类识别最先进、最有效的方法。本文将阐述传统病害识别技术的原理和缺陷，并详细介绍了CNN技术原理及其在农作物病害识别中的应用案例，基于CNN的农作物病害识别在未来发展和应用上提出几点展望。

关键词：深度学习;卷积神经网络;病害识别

中图分类号：S-3 文献标识码：A DOI：10.19754/j.nyyjs.20201015009

引言

农作物病害一直是制约农业发展的一大难题。随着精准农业的发展，对农作物病害进行快速准确地识别是提高农作物产量，推动农业现代化的重要手段。传统的作物病害识别技术存在一定局限性，依赖人工提取特征，图像分割难度较大，特别在复杂环境下的识别效果不佳。而随着CNN在图像识别领域上的不俗表现，不少研究人员将CNN应用于农作物病害的检测和诊断，并取得了较好的效果。

1 传统病害识别方法

1.1 图像识别技术实现过程

图像识别指利用计算机技术对获取的图像进行预处理、特征提取和理解分析，以识别图像中特定的1个或多个目标的技术。1个典型的图像识别系统通常由4个部分构成，如图1所示。第1部分对原始图像进行预处理，消除噪声干扰，增强目标图像信息，突出目标区域;第2部分是将图像中的目标进行标记定位，然后将目标从背景中分割出来;第3部分是将提取到的目标图像转化成明确的数学描述，以便于计算机进行处理;第4部分利用视觉识别相关的函数或分类器算法进行判断或分类，实现图像的识别。

1.2 传统的病害识别技术的缺陷

随着信息化时代的发展，机器学习等智能技术已广泛运用到农业当中，大大提高了农作效率及农作物的品质和产量，推动了智慧农业的发展，但传统的病害识别技术仍然有不小提升空间。

传统的作物病害识别主要依赖于农民长期积累的种植经验，研究人员选择特征对象时，缺乏公认的依据。同时特征样本主要靠人工采集并加以标注，不仅很难准确地获取目标作物病害的样本数据，也对样本规模有一定局限性。传统识别技术中图像分割的难度较大，特别是在复杂背景下实现图像准确地自动分割在图像处理领域始终是一个难题。同样，特征提取主要依赖人工干预，并不能保证作物病害信息的准确度，也无法保证最终病害识别的精度。

2 基于卷积神经网络的农作物病害识别

2.1 深度学习及卷积神经网络技术原理和发展

深度学习在机器学习的基础上发展而来，是一种利用复杂结构的多个处理层来建立深层次的神经网络模型，通过训练大量的数据并学习有用的数据特征，实现对数据进行预测或分类。

CNN最早由日本学者福岛[1]提出，是深度学习中的一种深度多层的监督学习神经网络模型。1990年，LeCun等[2]在研究手写数字识别问题时，提出了CNN模型LeNet-5，将BP算法应用到神经网络模型的训练上，形成了当代CNN的雏形。2012年，Hinton教授及其团队提出了经典的CNN模型AlexNet[3]并在圖像识别任务上取得了重大突破，从此掀起了深度学习的热潮。

CNN模型具有共享权值的网络结构和局部感知的特点，可以降低模型运算的复杂度，减少权值的数量。CNN结构主要有输入层、卷积层、池化层、全连接层和输出层，如图2所示。卷积层和池化层是实现特征提取的核心模块，可以将原始图像直接输入CNN模型进行特征提取，无需人工干预，克服了传统植物叶片识别依靠人工提取特征的缺陷。输出层是一个分类器，会将池化后的多组数据特征组合成一组信号数据输出，实现图片分类识别。

CNN采用梯度下降的方法，用最小化损失函数对网络中各节点的权重参数逐层调节，通过反向递推，不断地调整参数使得损失函数的结果逐渐变小，从而提升整个网络的特征描绘能力，使CNN模型分类的精确度不断提高。

2.2 卷积神经网络常见模型

2012年ImageNet比赛中AlexNet以出色的识别性能，首次确立了CNN在复杂模型中的高效性。AlexNet是典型的卷积-池化-全连接结构，其结构如图3所示。模型在训练中使用了ReLU激活函数取代了Sigmoid函数，避免了梯度弥散问题。模型首次运用多GPU进行加速训练，加快训练时间。训练采用Dropout的正则化方法忽略一部分神经元，减少全连接层的过拟合问题。区别之前CNN模型中普遍使用平均池化，AlexNet全部使用最大池化，避免平均池化的模糊效果。

2014年提出的VGG[4]本质上是AlexNet一个推广，结构如图4所示。该网络的特点在于结构简洁规整，通过反复堆叠3×3的卷积使卷积核数量逐渐加倍来加深网络，2个3×3卷积可以和5×5卷积达到一样的感受野，3个3×3卷积可以和7×7卷积达到一样的感受野。使用多个3×3卷积核代替单个较大卷积核捕捉上下左右的信息，很大程度上减少了参数的数量，提高训练效率，后续的很多CNN模型结构都采用了这种3×3卷积思想。

GoogLeNet于2014年提出[5]，该模型最大的特点就是引入了并行的Inception结构，如图5所示。当神经网络越到后面，特征越抽象，而且每个特征所涉及的感受野也更大。该模型融合不同尺度的特征信息，从网络的宽度提升模型效果，改变网络原串行的结构。随着层数的增加，在3×3、5×5的卷积前添加一个1×1的卷积，不仅可以降维，还能修正线性激活函数。该模型不仅提升了网络的深度，还大大减少了参数量，参数量仅为AlexNet的20%左右，使得模型更加简洁高效。

ResNet（Deep residual network，深度残差网络）的提出[6]是CNN发展史上重要的里程碑。随着CNN网络层数的加深，网络的训练过程会出现梯度消失和梯度爆炸现象，且退化问题也会使网络的准确率在网络层次增加时出现饱和甚至下降。该模型引入残差结构（Residual Structure），如图6所示，实现网络中的层层之间恒等映射（identity mapping），网络的深度可以达152层，比VGG深8倍，且随着网络深度加深分类的准确率不会有下降的趋势。

DenseNet是2017年提出的一种全新的网络结构[7]，基于ResNet模型残差连接的进一步研究，并提出了Dense Block（密集连接模块）如图7。在每一个Dense Block中，每一层都会使用前面所有层的特征映射作为输入，并且使用自身的特征映射作为所有后续层的输入，这样后面的网络层都可获得前面所有层的信息，降低梯度消失的可能性。该模型在ImageNet上和ResNet达到差不多的性能但参数量缩了1/2。

3 卷积神经网络在农作物病害识别中的应用

3.1 应用案例

因为CNN在图像识别领域表现突出，不少外国研究者将CNN应用到农作物病害识别中，且均表现出高水平的性能。Mohanty[8]、Sladojevic[9]、Amara[10]、Brahimi[11]、Ferentinos[12]等利用涵蓋海量的植物种类及病害图像的数据集PlantVillage，对分别基于LeNet、AlexNet、GoogLeNet、CaffeNet、VGG等各种CNN模型进行识别训练，训练后的模型可以快速准确地对给定图像进行识别分类，识别准确率及其它识别性能都优于传统机器学习方法如支持向量机（SVM）和随机森林（Random Forest）。Fuentes等[13]提出了一种基于CNN的番茄病害识别诊断系统，利用自行采集的大量番茄病害图像作为特征数据集，该系统识别准确率达到96%，比之前复杂的识别方法[14]提高了13%。研究证明，CNN非常适合通过对简单叶片图像的分析来实现农作物病害的自动检测和诊断。

近年来国内不少研究人员也进行相关的应用研究。马浚诚等[15]构建了一个基于CNN的温室黄瓜病害识别系统，结合LeNet-5模型进行霜霉病和白粉病的分类训练，准确率达95.7%。Xiaoxiao等[16]基于CNN进行茶叶叶片病害的识别研究，结果表明，基于SVM、BP神经网络、CNN 3种方法的识别准确率分别为89.36%、87.69%和93.75%，显然基于CNN的方法识别效果更好。李凯雨[17]基于CNN模型对小麦、花生和烟草3类农作物共7种病害进行识别研究，使用平均精度、查准率、查全率和F-1值对AlexNet、GoogLeNet和VGG-16 3个模型进行评估，对比分析可知，VGG-16在不同病害上的识别性能最优。

研究人员基于已有的深度学习及CNN技术原理和应用做进一步的优化和设计，促使深度学习及CNN在病害识别领域上不断扩充和发展，更有效地将其应用到复杂的现实环境检测中。孙俊等[18]基于改进AlexNet模型，提出一种批归一化与全局池化相结合的CNN模型，可对14种作物共26类病害进行快速识别，模型训练仅迭代3次就能达到90%以上准确率。Bin等[19]提出了一种可对苹果叶病自动识别的CNN模型，该模型在AlexNet基础下结合GoogLeNet的Inception结构提高特征提取能力。2种基于AlexNet优化的模型都比原来识别性能更好，参数量大大减少，收敛速度更快，泛化能力和鲁棒性更强。许景辉等[20]、李丹等[21]结合迁移学习方法，先让CNN模型在ImageNet数据集中训练后得到权重和参数数据，再移植到新构建的CNN模型中并进行训练;该方法相比全新学习的模型训练方式大大缩减了训练时间，且有很高的识别准确率。Jing等[22]、杨晋丹等[23]、邱靖等[24]针对农作物特定病害的识别设计CNN模型，采用不同的卷积核类型、池化类型等构造模型进行试验，对比分析后分别筛选出一种最优的模型，为进一步提高农作物病害诊断的效率和准确性提供了依据。曾伟辉等[25-27]设计了一个农作物病害图像识别系统AES-CDR（Crop Disease Recognition），该系统提出的高阶残差和参数共享反馈的卷积神经网络模型（High-Order Residual and Parameter-Sharing Feedback Convolutional Neural Network， HORPSF），解决了复杂环境下农作物病害识别精度不高、鲁棒性弱的问题，提出的基于自注意力的卷积神经网络（Self-Attention Convolutional Neural Network ， SACNN）使CNN学习专注于病斑区域的有效特征提取;该系统实现了在复杂环境下农作物病害图像的高精度和强鲁棒性的识别，为农作物病害快速诊断和防治提供技术支持。林乐坚等[28]提出了一种基于改进Faster R-CNN的苦瓜叶部病害目标检测方法，在ResNet-50模型的基础下融入了特征金字塔网络（Feature Pyramid Networks，FPN）的特征提取网络，实验表明，该模型在自然环境下苦瓜的多种病害的自动检测识别性能表现优良，并且优化了对小目标的检测。该模型有较好的鲁棒性和泛化能力，能适应复杂的自然环境，对后续瓜果类病害目标定位及按需喷洒农药奠定了研究基础。

3.2 基于卷积神经网络的农作物病害识别技术的优缺点

近年来不少研究表明，将CNN应用于农作物病害识别，比传统图像识别技术表现出更好的性能。基于CNN的农作物病害识别技术的优势：识别快而准，鲁棒性强，泛化能力强;避免人工提取特征的局限性和特征分割的复杂操作，降低了前期特征采样中对目标特征错判、漏判的风险;更好地实现在复杂环境中对农作物的快速定位，并自动进行病害识别诊断。

然而该技术仍有不足，开发设计新的算法和模型难度很大，需要海量的标注训练样本，且模型训练计算量大，训练时间长，硬件需求高，需要投入大量的人力物力和时间，大部分人只能使用现成的模型;CNN模型识别准确率很高，但始终难以达到100%，对于一张新的照片进行识别，无法保证结果是一定正确的;CNN模型可解释性较差，调参优化过于依赖个人经验，且只靠实验验证，几乎无法找到全局最优解。

4 总结与展望

4.1 软硬件系统协同发展

CNN模型的训练需要海量的样本，且模型中大量的超参数也会产生庞大的计算量，训练耗时长。要想加快训练的速度，节约时间成本，则需要更高性能的GPU作为硬件支持。随着深度学习不断应用和发展，为了达到更高的性能，CNN模型也设计得越来越深，算法运行也会越来越复杂，需要更便捷而强大的软件系统作为模型搭建平台。因此，若想将CNN进一步研究和推广，则对计算机的软硬件系统配置都有越来越高的需求。在考虑成本的情况下，软硬件系统协同发展，才能为CNN的发展作基础支持。

4.2 提高三维动态信息识别的准确率和稳定性

目前CNN在农业领域的研究和应用，大多都是针对农作物的静态图像进行检测识别，在复杂程度更高的三维时空信息，如视频分析任务中识别表现一般。动态信息识别研究在特征提取時需要同时在时间维度和空间维度上处理，三维CNN模型理论上有更多的参数和更庞大的计算量，同时也缺少像二维图像模型一样海量的训练集。提高三维模型的识别性能，也是未来重点研究方向。

4.3 卷积神经网络与VR的结合

VR（Virtual Reality，虚拟现实技术）是一种可以创建和体验虚拟世界的计算机仿真系统，是近年来热门的高新技术产业。结合5G通信技术，未来万物互联智能化发展必将更上一层楼。在农业领域中结合CNN和VR技术，不仅可以通过机器人和VR设备获得沉浸式体验，如临真实环境中，还可以远程操纵机器人，在复杂环境下实时准确地完成目标定位或检测任务。

4.4 卷积神经网络与高光谱成像技术的结合

高光谱成像技术（Hyperspectral Imaging）可以同时获取农作物的图像和光谱信息，从而反映出目标的各种生长属性和品质状况，近年来逐渐成为农作物快速无损检测的重要手段。CNN病害识别系统大多基于农作物外部缺陷的二维图像进行检测。通过高光谱成像技术获取的光谱图像及其反映出作物的内部品质信息，构建CNN模型，可以快速准确地对作物病害进行分类，并且可以实现农作物早期病害在复杂环境下的无损检测，早发现早防治，降低病害对作物的影响，进而提高农作物产量。

参考文献

[1] Fukushima K. Neocognitron： A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position[J]. Biological Cybernetics， 1980， 36（4）： 193-202.

[2]Lecun Y ， Boser B ， Denker J ， et al. Backpropagation Applied to Handwritten Zip Code Recognition[J]. Neural Computation， 2014， 1（4）：541-551.

[3]Krizhevsky A ， Sutskever I ， Hinton G. ImageNet Classification with Deep Convolutional Neural Networks[C]. International Conference on Neural Information Processing Systems， 2012：1097-1105.

[4]Simonyan K ， Zisserman A. Very deep convolutional networks for large-scale image recognition[J]. 2015 International Conference on Learning Representations， 2015：1482–1496.

[5]Szegedy C ， Liu W ， Jia Y ， et al. Going deeper with convolutions[C]. The IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， 2015：1-9.

[6]He K ， Zhang X ， Ren S ， et al. Deep residual learning for image recognition[C]. The IEEE Conference on Computer Vision and Pattern Recognition（CVPR）， 2016：770-778.

[7]Huang G ， Liu Z ， Laurens V D M ， et al. Densely connected convolutional networks[C]. The IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， 2017： 2261-2269.

[8]Mohanty S ， David H ， Marcel S. Using deep learning for image-based plant disease detection[J]. Front Plant Sci， 2016（7）：1419.

[9]Srdjan S ， Marko A ， Andras A ， et al. Deep Neural Networks Based Recognition of Plant Diseases by Leaf Image Classification[J]. Computational Intelligence and Neuroscience， 2016：1-11.

[10]Amara J ， Bouaziz B ， Algergawy A. A Deep Learning-based Approach for Banana Leaf Diseases Classification[C]. BTW （Workshops）， 2017：79-88.

[11]Brahimi M ， Boukhalfa K ， Moussaoui A . Deep Learning for Tomato Diseases： Classification and Symptoms Visualization[J]. Applied Artificial Intelligence， 2017， 31（4-6）：1-17.

[12]Ferentinos K . Deep learning models for plant disease detection and diagnosis[J]. Computers and Electronics in Agriculture， 2018（145）：311-318.

[13]Fuentes A F ， Sook Y ， Jaesu L ， et al. High-Performance Deep Neural Network-Based Tomato Plant Diseases and Pests Diagnosis System With Refinement Filter Bank[J]. Frontiers in Plant Science， 2018（9）：1162.

[14]Fuentes A ， Sook Y ， Sang K ， et al. A robust deep-learning-based detector for real-time tomato plant diseases and pests recognition[J]. Sensors， 2017， 17（9）：2022-2043.

[15]马浚诚，杜克明，郑飞翔，等. 基于卷积神经网络的温室黄瓜病害识别系统[J]. 农业工程学报， 2018， 34（12）： 186-192.

[16]Sun X ， Mu S ， Xu Y ， et al. Image recognition of tea leaf diseases based on convolutional neural network[C]. 2018 International Conference on Security， Pattern Analysis， and Cybernetics （SPAC）， 2018：304-309.

[17]李凯雨. 基于深度学习的农作物病害识别[D]. 河南农业大学， 2018.

[18]孙俊，谭文军，毛罕平，等. 基于改进卷积神经网络的多种植物叶片病害识别[J]. 农业工程学报， 2017， 33（19）： 209-215.

[19]Bin L ， Yun Z ， Dongjian H ， et al. Identification of Apple Leaf Diseases Based on Deep Convolutional Neural Networks[J]. Symmetry， 2017， 10（1）：11.

[20]许景辉，邵明烨，王一琛，等. 基于迁移学习的卷积神经网络玉米病害图像识别[J]. 农业机械学报， 2020， 51（02）： 230-236.

[21]李丹. 基于迁移学习和改进残差神经网络的黄瓜叶部病害识别方法[J]. 农业工程， 2020， 10（06）： 36-40.

[22]Chen J ， Liu Q ， Gao L. Visual Tea Leaf Disease Recognition Using a Convolutional Neural Network Model[J]. Symmetry， 2019， 11（3）：343.

[23]杨晋丹，杨涛，苗腾，等. 基于卷积神经网络的草莓叶部白粉病病害识别[J]. 江苏农业学报， 2018， 34（03）： 527-532.

[24]邱靖，刘继荣，曹志勇，等. 基于卷积神经网络的水稻病害图像识别研究[J]. 云南农业大学学报（自然科学）， 2019， 34（05）： 884-888.

[25]曾伟辉. 面向农作物叶片病害鲁棒性识别的深度卷积神经网络研究[D]. 中国科学技术大学， 2018.

[26]曾伟辉，李淼，李增，等. 基于高阶残差和参数共享反馈卷积神经网络的农作物病害識别[J]. 电子学报， 2019， 47（09）： 1979-1986.

[27]曾伟辉，李淼，张健，等. 面向农作物病害识别的高阶残差卷积神经网络研究[J]. 中国科学技术大学学报， 2019， 49（10）： 781-790.

[28]李就好，林乐坚，田凯，等. 改进Faster R-CNN的田间苦瓜叶部病害检测[J]. 农业工程学报， 2020， 36（12）： 179-185.

（责任编辑 周康）

收稿日期：2020-08-23

作者简介：范伟坚（1996-），男，在读硕士。研究方向：田间作物病害智能识别;林乐坚（1996-），男，在读硕士。通讯作者李就好（1963-），男，教授。