基于卷积神经网络的苹果树病虫害识别*

李 玲 ， 李艳乐 ， 郭海丽 ， 苏明敏

（衡水学院，河北 衡水 053000）

1 基于CNN的苹果树病虫害识别流程

为了探究农作物病虫害自动识别方式，课题组以苹果树为对象，收集病害苹果树叶样本，基于卷积网络实现苹果树生长阶段过程中病虫害及类型的识别。结合数据样本以及其图像数据特点，基于卷积神经网络技术，搭建CNN模型，在本文中称其为CNNModel，最后在完成模型设计以及训练之后，将其部署在计算机设备中，接入摄像头模块以及相关执行控制模块，通过实时采集图像后进行分类识别从而根据所识别的类型实现相关功能。如图1所示。

图1 基于CNN的苹果树病虫害识别流程

首先人工收集标注的苹果树叶图像数据集，在搭建的识别模型上进行训练，然后将其部署在连接了相机的后端设备中，连接的相机以一定的角度实时拍摄苹果树叶照片，并输入训练好的模型进行分类识别，输出检测结果。为了对比CNN模型的效果，引入RNN以及基于机器学习SVM模型进行对比[1-2]。

2 图像数据描述及预处理

本文数据为苹果树叶病虫害图像数据，一共含有26 368张带标签的苹果树叶图像数据，部分数据如图2所示。

图2 部分数据展示

图中一共有5类数据，Alternaria_Boltch（斑点落叶病）、Brown_Spot（褐斑病）、Grey_Spot（灰斑病）、Mosaic（花叶病）、Rust（锈病）。为使图像便于输入模型，选用线性插值方法将图像尺寸调整为224×224，同时对图像进行中心化处理，使数据分布在-1到1之间，加快模型的拟合。对原始图像数据预处理后，按7∶1∶2将数据分为训练集、验证集、测试集。将训练集输入模型训练，用验证集监控训练过程以及协助参数调整，最后用测试集评估模型的性能。

3 基于CNN的苹果树叶病虫害识别实现

3.1 深度学习与CNN的基本理论

深度学习是一种机器学习方法，其算法实质上是基于“拟合”的机制，通过大量数据在不断的试错和调整中，逐渐得出有效的参数。因为其构成是基于大量的层的神经网络，这些深层的网络结构可以有着大量的权重和偏差参数，因此能够对对象的特征进行自动提取，不同于传统需要手动提取的特征，在很多时候，深度学习能够更加方便和准确地提取到有用的特征来完成相应的任务。深度学习是一种端到端的学习。相较于传统方法，深度学习能够学习到更高效的特征与模式。

在深度学习算法应用中，卷积神经网络（CNN）是最成功的领域之一，其中，有一维到高维（三维）的神经网络。每个维度的神经网络在不同领域有不一样的表现效果。如图3所示，展示了卷积神经网络的基本结构。

图3 卷积神经网络基本结构

基本的神经网络首先包含输入层，然后接下来是隐藏层，最后是输出层。输入层为原始的数据，也就是需要进行特征提取和学习的数据，隐藏层由多个神经元组成，每个神经元都接收一些输入，并做一些计算，输出是每个分类的分数，最后的输出层为模型通过输入经过神经元后输出的结果，对于不同的任务，输出的形式略有不同[3-4]。

3.2 基于预训练的MobileNet苹果树病虫害识别的CNN模型搭建

典型的CNN由一系列的卷积、池化和全连接（密集）层组成，实现了端到端的图像处理及识别任务。在图像分类领域内，深度卷积神经网络已经取得了十分优秀的分类性能，但较多网络层数也导致了网络性能退化等问题的出现。为提升识别模型性能，可增加网络深度或宽度。但一味地叠加网络深度，易导致计算量过大等问题，在实际部署时不利于移动设备的部署。移动轻量级网络MobileNet的提出解决了一般卷积神经网络随着网络深度的增加而出现的性能退化问题。而预训练的MobileNet模型优化更容易，收敛速度更快，因此本文中基于预训练的MobileNet搭建苹果树病虫害识别的CNN模型， MobileNet的结构如图4所示。

图4 MobileNet的结构

对于MobileNet模型的网络结构。首先，通过修改输出层尺寸，使其能适用于本文中苹果树病害识别。其次，将经过ImageNet数据集预训练的MobileNet权重载入进来，迁移到本文的苹果树病害诊断模型中，这种做法被称为迁移学习，在传统机器学习中，如果要使得分类准确，不但需要其训练集、测试集拥有相同的特征空间，而且要服从相同的分布。但在现实应用中，满足这两个条件的情况是很少的，这就导致训练好的分类模型泛化性不强，不得不构建新的模型。随着迁移学习的发展，同时因为其不再局限于传统机器学习对训练集以及测试集的相同分布等的要求，其作为一种跨领域的学习方法已被广泛应用于图像分类、信号处理、语音识别等众多领域[5-7]。

迁移学习方法有许多， Sinno Jialin Pan和Qiang Yang在TKDE 2010 上的文章，将迁移学习算法根据所要迁移的知识表示形式分为四大类：1）基于实例的迁移学习。源领域中的数据的某一部分可以通过reweighting的方法重用，用于目标域的学习。2）基于特征表示的迁移学习。通过源领域学习一个好的特征表示，把知识通过特征的形式进行编码，并从源领域传递到目标域，提升目标域的任务效果。3）基于参数的迁移学习。目标域和源领域的任务之间共享相同的模型参数。4）基于关系知识的迁移学习。相关领域之间的知识迁移，假设源领域和目标域中，数据之间的关系是相同的，其中，通过基于特征表示的迁移学习构建源领域与目标域之间的潜在特征子空间减小两者之间的差异性，缩小特征的维数并优化精炼特征。

在大型数据集（ImageNet）上训练使用迁移学习的方法，将这些预训练模型在不同对象中学习的基本结构用于对组织病理学图像进行分类，可以加快训练过程并加快新CNN模型的构建。

然后训练该网络的所有层，使得模型权重适用于本文的苹果树病害诊断任务。通过MobileNet的卷积层，实现特征提取，同时接入丢弃率为0.5的DropOut层，降低模型出现过拟合的概率，最后连接全连接层，输出维度为5×1的向量结果。该结果表征了苹果树叶图像反映的病害类型。对苹果这五个病害类的识别，是深度学习中的多分类问题，对于多分类问题来说，常见的损失函数是交叉熵损失函数CE（cross entropy loss），其表达式如式（1）所示：

式中，M表示类别数，在本文中M为5，表示所有类型的数量；yc为真实的只有0和1的向量；Pc为预测的结果，需要经过激活函数将结果放缩到0～1之间，在本文中选择softmax激活函数。

3.3 苹果树病虫害识别模型评价指标

在一般的二分类任务中，常以召回率（Recall）、特异性（Specificity）、精度（Precision）、准确率（Accuracy）和F1值作为二分类模型的评价指标，定义如式（2） ～（6）所示：

式中，TP为识别正确的正样本总数；TN为识别正确的负样本总数；FN为识别错误的正样本总数；FP表示识别错误的负样本总数。在多分类任务中，分别计算每个类别的PRF，然后分别求平均得到PRF。即对多个混淆矩阵求PRF，然后求Precision、Recall，F1的算术平均，分别为micro-Precision、micro-Recall，micro-F1，3个指标都是越接近1表示效果越好[8-10]。

4 实验及结果分析

为了探究本文中的MobileNet方法的有效性，使用python语言基于tensorflow框架搭建了两个深度模型，即MobileNet、 RNN，同时基于传统的图像识别方法和opencv库提取图像的颜色及纹理特征作为样本特征，基于scikit-learn框架搭建SVM模型。然后在同样的硬件环境下，使用同样的数据集训练这3种模型。在训练两个深度学习模型时，对每个模型都训练20个epochs（轮次），优化器为Adam，初始学习率为0.001；batch sizes（一次训练所选取的样本量）设置为32，训练SVM的参数为默认参数。MobileNet训练过程损失下降曲线图如图5所示。

图5 训练过程损失下降曲线对比图

由图5损失下降曲线可知，MobileNet在训练过程中损失都明显下降，这一定程度上说明了深度学习方法的有效性，为了消除随机的影响，因此重复进行5次实验，求出平均准确度及标准差，结果如表1所示。

表1 测试结果统计量化表示

根据表1的数据可知，本文基于MobileNet提出的苹果树病害识别模型的平均准确度分数远高于其余两种方法，并且对比3个模型测试结果的标准差，也能说明MobileNet模型在本文数据中使得检测模型更加稳定，也有更好的拟合效果。训练及验证说明了模型在训练过程中表现效果较好，但还不能充分地说明本模型的优越性，因此在测试数据中，引入RPF评价指标，从而更加有力地证明本模型的优良效果，在导入测试集后，3个模型对应的评价指标如表2所示。

表2 评价指标对比结果

如表2所示，其中基于MobileNet的苹果树病害识别模型的micro-Precision为0.99、micro-Recall为0.98、micro-F1值为0.99， 综合3项性能指标与其余模型进行对比可知，MobileNet模型的性能要优于其余2种模型。因此可以认为在学习率为0.001、优化器为adam、batch_size为16的情况下MobileNet在本文数据中分类性能比其他模型要好。

5 结论

1）本文基于卷积神经网络模型，以及MobileNet，修改输出的全连接层尺寸，搭建了MobileNet苹果树叶分类模型，实现Alternaria_Boltch（斑点落叶病）、Brown_Spot（褐斑病）、Grey_Spot（灰斑病）、Mosaic（花叶病）、Rust（锈病）这5种苹果树病害的识别。平均准确率达到了0.99的分数，micro-Precision、micro-Recall、micro-F1指标分别达到了0.99、0.98、0.99，综合评价这几个模型，本模型能用于苹果树叶病害识别系统的视觉模型开发及部署。

2）本文所使用的数据集包含的类别数较小，因此代表性不强，同时本文也仅仅是针对苹果树病害进行了识别，未充分考虑其他农作物的综合情况，因此未来将考虑收集更多的农作物实况数据，制定更多的指标，实现更高精度的分类识别[11-13]，从而为开展嵌入式实时农作物病虫害视觉系统应用研究提供参考，以推动我国农业自动化建设的发展。