基于轻量级卷积神经网络和迁移学习的小麦叶部病害图像识别

冯 晓，李丹丹，王文君，郑国清，刘海礁，孙永胜，梁 山，杨 莹，臧贺藏，张 辉

(1.河南省农业科学院 农业经济与信息研究所，河南 郑州 450002；2.河南省智慧农业工程技术研究中心，河南 郑州 450002； 3.河南省林业科学研究院，河南 郑州 450008)

小麦是我国重要的粮食作物，病害的发生严重危害小麦的生长发育[1-2]。利用计算机视觉技术快速、准确识别小麦病害类型对于小麦病害防治具有重要的应用价值。传统的作物病害计算机视觉识别通常是在病害图像经预处理、病斑分割、病斑特征提取及筛选等多个步骤后，利用支持向量机(Support vector machine，SVM)、神经网络等分类器进行识别[3-5]，这类识别需要依赖专业知识针对病害症状设计特征提取方法，泛化能力及鲁棒性较差。近年来，随着大规模标记数据的产生和计算机计算能力的快速提升，卷积神经网络(Convolutional neural network，CNN)进入快速发展期，基于CNN的图像识别方法无需经过繁琐的预处理、特征提取等中间建模过程，采用端到端的结构，由数据驱动自动提取深层的抽象特征，减少了人工设计特征产生的不完备性。许多学者将AlexNet[6-10]、VGGNet[8,11]、ResNet[12]等经典CNN用于作物病害图像识别，取得了比传统识别方法更好的效果。

基于CNN进行图像分类需要大量数据和计算资源支撑，且耗时长。通过迁移学习，将在大型图像数据集上训练好的CNN通过一定方式在小的目标数据集上经过小幅训练即可完成目标识别任务，可有效弥补数据量的不足，且大幅降低计算时间。当前，迁移学习在作物病害识别[7-8,13]领域已获得成功应用。

传统的AlexNet、VGGNet等CNN参数多、复杂度高，不适合移动终端应用场景，不依赖于网络、完全部署在手机等移动设备上的作物病害识别APP更符合当前作物病害识别应用现实需求。郭小清等[9]结合番茄叶部病害图像特征，改进AlexNet实现了多感受野识别模型Multi-Scale AlexNet，并开发了Android平台的番茄叶部病害图像识别系统。刘洋等[14]综合比较了基于MobileNetV1[15]和InceptionV3建立的移动端植物病害识别模型的识别精度、模型尺寸和运算速度，表明MobileNetV1在移动平台应用的综合性能更优。MobileNetV2[16]是Google公司2018年推出的轻量级CNN，比MobileNetV1的网络结构更深，参数更少，模型尺寸更小，但目前利用MobileNetV2进行作物病害识别的研究还比较缺乏。构建识别准确率高、泛化能力强、尺寸更小的轻量级模型是移动端小麦叶部病害识别的趋势。鉴于此，采集小麦生产中发生普遍、危害严重的白粉病、条锈病和叶锈病3种叶部病害图像建立样本集，基于MobileNetV2和迁移学习建立小麦叶部病害图像识别模型，并分析迁移学习方法、样本量、全局平均池化(Global average pooling，GAP)前添加Dropout层、初始学习率设置对模型性能的影响，为开发基于移动终端的小麦病害智能识别系统提供模型构建技术支持。

1 材料和方法

1.1 数据来源

在大田复杂自然环境中采集白粉病、条锈病和叶锈病共3种小麦叶部病害图像，其中一部分于2017年5月在河南温县用佳能60D(镜头18-135 mm IS)数码相机拍摄，大小为5 760像素×3 240像素；另一部分于2020年5月在河南原阳河南现代农业研究开发基地用华为荣耀8X手机拍摄，大小为5 120像素×3 840像素。鉴于样本类别不均衡对CNN性能有较大影响[17-18]，对每种小麦叶部病害拍摄基本均衡的数量，2次拍摄后选出1 200幅清晰图像作为原始图像。

1.2 数据预处理及数据增强

首先，将采集到的原始图像利用图像处理工具包Python image library(PIL)批量随机裁剪出1 150像素×1 150像素、950像素×950像素、750像素×750像素、550像素×550像素、400像素×400像素等不同像素大小的图像，从中筛选出每种病害样本3 000幅，3种病害样本共计9 000幅。通过上述操作扩充了图像数量且模拟了拍摄的尺度差异。然后，随机选取部分图像进行水平或垂直翻转以模拟拍摄的角度差异。最后，将9 000幅图像尺寸统一调整为224像素×224像素，获得最终的小麦叶部病害样本集。图1为小麦叶部病害样本示例。

1.3 模型构建

训练一个良好的CNN需要大规模规范的数据集和计算资源作为支撑，通过迁移学习，将在大型基准数据集上训练好的成熟模型的参数迁移到新的目标识别任务，可显著降低对训练样本集和计算资源的需求，并加速模型学习效率。本研究将在ImageNet数据集上训练好的MobileNetV2模型作为预训练模型进行小麦叶部病害图像识别。MobileNetV2采用深度可分离卷积(Depthwise separable convolution，DSC)[19]，在损失精度较少的情况下大幅度降低参数量和计算量，并在MobileNetV1基础上引入具有线性瓶颈的倒残差结构。

本研究中构建了表1所示的2种小麦叶部病害图像识别模型。2种模型中，MobileNetV2的宽度乘子(α)均设置为1.0，分辨率乘子(β)均设置为224，去除MobileNetV2的原分类器，替换为用于小麦叶部病害图像识别任务的新分类器。在新分类器中，采用了GAP，其相比传统CNN中常用的全连接(Fully connected，FC)层极大减少了模型参数，使得模型抗过拟合能力更强，并提升了模型训练速度；最后采用Softmax函数输出病害图像属于每个类别的概率。模型a和模型b的不同在于，模型a在GAP前增加了Dropout层，其丢弃概率(Rate)设置为0.5。Dropout技术通常用于全连接层，通过降低神经元之间的相互依赖减少深层神经网络过拟合现象，是增强模型泛化能力常用的解决方案[20-21]。

表1 模型网络结构Tab.1 Model network architecture

1.4 模型训练及优化

从每种病害图像样本中随机选出2 160幅作为训练集，540幅作为验证集，300幅作为测试集，用于模型训练及测试。为研究图像样本数量对模型精度影响的大小，在每种病害训练集和验证集中随机选取1/4(训练集540幅、验证集135幅)的图像分别作为训练集和验证集进行小样本训练，其中，2种不同样本量训练后，均采用相同的300幅测试集进行模型评价。

深度学习模型训练时，学习率是最影响模型性能的超参数之一，本研究使用自适应矩估计(Adaptive moment estimation，Adam)自动优化学习率，选择0.000 01、0.000 1和0.001共3种初始学习率进行学习。批训练样本数(Batchsize)设置为16；迭代次数(Epoch)设置为100；每次迭代前随机打乱训练集。

常用的迁移学习方法是首先冻结预训练模型所有层，利用目标数据集对新分类器参数进行训练；然后解冻预训练模型靠近输出的部分卷积层，联合训练新分类器和这部分解冻的卷积层，通过这种微调高阶特征表示的方式，使模型与目标任务更相关。由于MobileNetV2属于轻量化模型，模型参数量相对较小，本研究采用不冻结任何网络层，将模型所有层设置为可训练的迁移学习方式，即直接训练模型所有参数，并与冻结预训练模型的全部卷积层，仅对新分类器参数训练的迁移学习方式进行对比。

基于上述模型训练及优化方案，2种模型网络结构下共计进行24组模型训练。本研究中建模及模型训练在深度学习框架Tensorflow 2.0下完成。

1.5 模型评价指标

采用平均识别准确率对模型进行评价：

式中，ns表示样本类别数量，本研究中为3；ni表示第i类样本数量；nii表示第i类样本预测正确的数量。本研究中，取模型100次迭代中验证集平均识别准确率最高的迭代第次对应模型的测试集平均识别准确率评价模型。24组模型训练时，个别组出现最高验证集平均识别准确率不唯一的情况，选择其中训练集平均识别准确率最高的迭代第次对应的模型为最终模型。若最高训练集平均识别准确率也不唯一，则选定其中最小的迭代第次对应的模型为最终模型。

2 结果与分析

2.1 迁移学习方式对模型性能的影响

表2为24组模型训练后识别准确率情况。从表2可以看出，24组模型中，在相同的样本量、模型a或b及初始学习率下，直接训练模型所有参数的迁移学习方式均明显优于仅训练模型分类器参数的方式，测试集平均识别准确率提升了5.56～24.66个百分点。直接训练模型所有参数的迁移学习方式下，方案19的测试集平均识别准确率最高，达99.96%；仅训练模型分类器参数的迁移学习方式下，方案3的测试集平均识别准确率最高，为91.11%。方案3和方案19的模型训练过程准确率曲线如图2所示，方案3在迭代8次时训练集平均识别准确率上升到90%以上，之后较为稳定，而验证集平均识别准确率波动较大，明显过拟合；方案19在迭代8次时训练集平均识别准确率上升到99%以上，且验证集平均识别准确率曲线和训练集平均识别准确率曲线基本一致，获得了很好的识别效果。以上研究表明，基于MobileNetV2进行小麦叶部病害图像识别中，采用直接训练模型所有参数的迁移学习方式更为适宜。

表2 模型识别准确率Tab.2 Recognition accuracy of model

a：方案3的训练曲线； b：方案19的训练曲线

2.2 样本量对模型性能的影响

从表2中直接训练模型所有参数的迁移学习方式下的方案13—24可知，在同样的模型a或b选择及初始学习率下，采用大样本量训练均比小样本量训练获得更高的测试集平均识别准确率，尤其是采用0.001的初始学习率时，大样本量训练相比小样本量训练，模型a、b的测试集平均识别准确率分别提升了2.11、4.00个百分点。大样本量训练下获得的最高测试集平均识别准确率为99.96%，比小样本量训练下获得的最高测试集平均识别准确率99.44%高出了0.52个百分点。本研究综合考虑样本类别均衡性、田间拍摄尺度和拍摄角度的差异性，设计了适宜的样本数据采集、预处理及增强方案，通过增加样本量有效提升了模型性能。同时，表2中小样本量训练下方案14的测试集平均识别准确率达到了99.44%，也表明在每种病害图像样本量低于1 000幅的情况下，基于MobileNetV2通过迁移学习即可很好地实现小麦叶部病害图像识别建模。

2.3 GAP前添加Dropout层对模型性能的影响

从表2中方案13—24可知，在小样本量训练下，分类器中添加Dropout层的方案13、14和15的测试集平均识别准确率分别高于不添加Dropout层的方案16、17和18；在大样本量训练下，初始学习率为0.000 01的方案19比22的测试集平均识别准确率提升0.07个百分点，但初始学习率为0.000 1及0.001的方案20和21不如方案23和24的识别性能好。以上结果表明，GAP替代全连接层后，采用Dropout技术在提升模型泛化能力上未必一定有效，这是因为GAP本身就是一种结构性的规则项，不同于全连接层非常依赖Dropout进行规则化，但也表明，在GAP前采用Dropout技术有可能起到提升模型性能的作用，实际应用中可具体模型具体分析。

2.4 初始学习率对模型性能的影响

从表2中方案13—24可知，采用直接训练模型所有参数的迁移学习方法，除初始学习率较高的小样本量训练，模型测试集平均识别准确率均达到了99%以上。但从不同的初始学习率下模型训练过程平均识别准确率曲线(图2b、图3)可以看出，初始学习率为0.000 01的方案19的训练集平均识别准确率和验证集平均识别准确率均稳定保持在较高水平，走势基本一致，而初始学习率为0.000 1和0.001的方案20和21虽训练集平均识别准确率很高，但验证集平均识别准确率呈现一定的波动，尤其是方案21波动幅度较大，模型不稳定。以上结果表明，采用0.000 01的初始学习率模型泛化能力最强，效果最优。这是因为经过迁移学习，预训练模型已获得了较好的训练，设置较大的初始学习率会导致参数更新幅度大，结果易跨过最优解，在最优解两端震荡。

a：方案20的训练曲线； b：方案21的训练曲线

3 结论与讨论

本研究针对小麦叶部病害便捷识别的需求，建立了白粉病、条锈病和叶锈病3 种小麦叶部病害图像样本集，基于MobileNetV2和迁移学习对这3种小麦病害图像识别进行建模。通过设置24组模型训练，筛选识别准确率高、泛化能力强的模型。根据试验结果，得到如下结论：

1)基于MobileNetV2和迁移学习建立的小麦叶部病害图像识别模型的平均识别准确率高达99.96%，取得了非常好的识别效果。

2)利用ImageNet数据集上训练好的MobileNetV2模型进行迁移学习时，由于MobileNetV2是轻量化模型，参数量级不大，且ImageNet数据集和小麦叶部病害图像样本集差异大，采用直接训练模型所有参数的迁移学习方式明显优于仅训练模型分类器参数的方式。在实际图像分类任务中，当采用的模型本身参数量级不太大，且与预训练数据集差异较大时，可尝试采用直接对全部模型参数进行训练的迁移学习方式。

3)采集到的图像样本进行预处理及数据增强时，应考虑到田间拍摄尺度和拍摄角度的差异，通过适宜的方式增加样本量，可提升模型性能。每种病害样本量达到1 000幅的情况下，就能较好地实现小麦叶部病害识别建模。经迁移学习，模型已在预训练数据集上收敛，应采用较小的初始学习率进行训练，以防止模型跨过最优解，在最优解两端震荡。分类器中GAP前采用Dropout技术在一定的初始学习率、样本量下有可能小幅提升模型性能，但作用不如全连接层中采用Dropout技术明显，解决实际分类问题时可具体问题具体分析。

本研究建立的模型仅在3种小麦叶部病害图像识别任务中获得了很好的效果，而实际上小麦病害种类繁多，多种病害引起的危害症状可能类似，比如赤霉病、全蚀病、根腐病等都会引起小麦干穗死穗现象，这是小麦病害图像识别丞待解决的问题，可能需采集多部位特征综合识别。下一步对模型进行推广应用时，还需增加更多的病害种类，增加同种病害不同症状的样本以及多种病害混合发生的样本，并研究同症异病及混合病害识别方法，以提升模型的应用价值。