周巧黎 马丽 曹丽英 于合龙
摘要:番茄病害的及时检测可有效提升番茄的质量和产量。为实现番茄病害的实时无损伤检测,本研究提出了一种基于改进 MobileNetV3的番茄叶片病害分类识别方法。首先选择轻量级卷积神经网络 Mobile? NetV3,在 Image Net 数据集上进行预训练,将预训练得到的共享参数迁移到对番茄叶片病害识别的模型上并做微调处理。采用相同的训练方法对 VGG16、ResNet50和 Inception-V3三种深度卷积网络模型也进行迁移学习并进行对比,结果显示 MobileNetV3的总体学习效果最好,在Mixup混合增强和 focal loss 损失函数下对10类番茄病害的平均测试识别准确率达到94.68%。在迁移学习的基础上继续改进 MobileNetV3模型,在卷积层引入空洞卷积和感知机结构,采用 GLU (Gated Liner Unit)闸门机制激活函数,训练得到最佳的番茄病害识别模型,平均测试的识别准确率98.25%,模型的数据规模43.57 MB ,单张番茄病害图像的检测耗时仅0.27 s 。经十折交叉验证(10-Fold Cross-Validation),模型的鲁棒性良好。本研究可为番茄叶片病害的实时检测提供理论基础和技术支持。
关键词:番茄病害识别;卷积神经网络;迁移学习;MobileNetV3;激活函数;识别分类
中图分类号:TP391.41;TP183 文献标志码:A 文章编号:SA202202003
引用格式:周巧黎, 马丽, 曹丽英, 于合龙.基于改进轻量级卷积神经网络 MobileNetV3的番茄叶片病害识别[J].智慧农业(中英文), 2022, 4(1):47-56.
ZHOU Qiaoli, MA Li, CAO Liying, YU Helong. Identification of tomato leaf diseases based on improved light‐ weight convolutional neural networks MobileNetV3[J]. Smart Agriculture, 2022, 4(1):47-56.(in Chinese with Eng‐lish abstract)
1 引言
番茄在种植和果实产出过程中,容易受天气、温度和湿度等各种因素的影响,发生各种病害从而影响番茄的质量[1]。番茄的根部、茎部和果实都会发生多种常见的病害,在病害发生的不同阶段会呈现出不同的损伤特征,叶部易发生的病害主要有细菌斑、叶霉病、早疫病、晚疫病、七星叶斑病、靶斑病、双斑蜘蛛、花叶病毒,以及黄曲叶病等。番茄病害类别多且病害对叶片的影响程度较为复杂,需要及早地对病害种类和程度做出识别和判断,喷洒对应的农药进行治疗,否则会影响番茄的果实培育,最终影响番茄的质量和产量。
计算机图像处理技术和深度学习技术的逐渐成熟使植物叶片病害识别有了突破性进展。王建玺等[2]对苹果叶部病斑进行分割,将病斑的颜色、纹理特征与支持向量机(Support Vector Ma‐ chine , SVM )结合实现病害的识别。秦丰等[3] 提取叶部病斑的颜色、形状和纹理,利用朴素贝叶斯方法和线性判别分析建立了苜蓿叶部病害识别模型。夏永泉等[4]提取小麦病害纹理和颜色特征,采用 SVM 实现小麦病害识别。上述针对植物叶片病害的识别研究都是应用病害的颜色、纹理特征、形状等信息对病害进行诊断,这些特征的提取都是依靠人工标定方式完成,病害类别的分类不够准确,进而会影响叶片病害的识别度,该类方法普遍适应性不强。
卷积神经网络可以实现作物病害特征的自动提取,GoogLeNet、AlexNet和ResNet等在作物病害识别方面都已经取得非常好的效果。劉婷婷等[5] 采用AlexNet卷积神经网络对水稻纹枯病进行识别,达到了97%的精确度,但病害类别单一且数据量不够丰富。Wu [6] 通过调整 VGG16和ResNet双通道卷积神经网络的参数,对玉米叶部病害识别准确率达到93.33%,但识别率较低且图像分辨率较高,模型参数依然庞大,整体识别性能还有待提高。丁瑞和周平[7]参照AlexNet框架,构建卷积神经网络结合迁移学习训练网络,测试识别准确率96.18%,识别效果较好。陈桂芬等[8]通过数据增强和迁移学习的方式对改进 Inception-V3进行训练,提取病害图片特征,对农田玉米病害的平均识别准确度达96.6%,分类效果良好。Waheed等[9]提出了一种用于玉米叶部病害识别和分类的优化密集卷积神经网络结构,监测作物健康状况,模型的精度达到98.06%。综上所述,将迁移学习与神经网络相结合,可以有效提高病害的识别精确度,但是所采用的卷积神经网络算法参数量大,图像分辨率高,运行时间长,不利于在移动端实现对作物病害的快速实时检测。
本研究以番茄的病害叶片为主要研究对象,以轻量级卷积神经网络 MobileNetV3[10] 为主干网络模型,在迁移学习基础上对模型结构进行改进,并将其与 VGG16、ResNet50和Inception-V3模型进行了试验对比。
2 数据来源及预处理
2.1 试验数据集
试验研究对象为番茄叶部病害图像,试验数据集来自 Plant Village [11]公开数据集,该平台包括不同作物的多种病害类别的植物叶片图像,按照物种和疾病可分为38类。番茄试验样本主要包括10类常见的番茄病害叶片,其中早疫病1000幅、晚疫病1909幅、细菌病1320幅、叶霉病952幅、七星叶斑病1771幅、靶斑病1404幅、双斑蜘蛛1676幅、花叶病毒373幅、黄曲叶病1250幅、健康叶片1591幅。本研究统一采用*.jpg格式,图像统大小一调整到64×64像素。
2.2数据预处理
2.2.1 普通数据增强
为保证试验数据的均衡性、样本的多样性和训练卷积神经网络模型[12]所需样本的充足性,对试验数据进行了批归一化和数据增强处理[13]。对病害图像分别做了高斯噪声添加、亮度增强、对比度变换、随机裁剪和随机旋转操作,以此增强样本的多样性,达到尽可能模仿自然环境下对病害识别的效果。扩充后的病害图像总数为18,521张。对数据集中10种病害进行相同的增强处理,提高番茄样本的质量和数量以及训练模型的泛化能力。以七星叶斑病为例,扩充示意图如图1所示。数据增强方法调整了原始图像的角度、亮度、模糊度、放大了局部病斑的细节。
2.2.2 Mixup混合增强
Mixup增强方式[14]是将两张原图像按比例进行线性插值来生成新的混合图像,经插值混合后的样本与真实样本非常接近。本研究选择对番茄样本进行同类混合增强,既增加了样本的多样性,又增强了对重要特征的学习。使用Mixup合成新的图像可以线性叠加两张原始图像的特征向量,提升了模型预测训练样本以外数据的适应性,使预测更具有平滑性。在进行Mixup增强时,随机选择同一类别病害中的两张原始图像样本来合成新的番茄图像。根据Mixup设置的比例不同,合成的图像也不同,如图2为混合系数λ[15]取值范围0到1内的合成图像示例。根据不同比例的合成效果,试验设置λ值分别为0.3、0.5和0.8对每一类别的病害原始图像进行随机抽取以合成新的图像。混合后的训练样本共有15,974张。
在同样达到数据扩充的目的下,数据增广和Mixup混合增强各有其优势,但Mixup混合增强更能增加数据的多样性。
3 识别模型构建
3.1 MobileNetV3模型
MobileNetV3模型以MobileNetV1[16]模型和MobileNetV2[17]模型為基础,结合了这两个模型的优势,进一步提高了模型的精度,是效率更高的轻量级卷积神经网络。由于线性整流函数( Linear Rectification Function ,ReLU )在低维空间内的工作效率低,不利于特征的提取,易丢失特征信息,因此本研究采用线性瓶颈结构,在通道数量少的卷积层后使用线性层来代替ReLU函数,以此来保证提取到的特征信息更加充足。
在 MobileNetV2网络结构的基础上,Mobile-NetV3将 SE (Squeeze-and-Excitation )注意力模块[18]应用到瓶颈结构中,起到强化突出特征、抑制不明显特征的作用。在网络最后的位置,去掉了1×1卷积层,将平均池化层向前移动。采用 h-swish 激活函数,计算量大大降低。网络的框架结构属于轻量级,对硬件的配置要求低,不仅可以实现较高的分类精度,还能够在手机移动端实现。MobileNetV3主体部分由11个瓶颈结构组成,前3个结构中采用3×3的深度卷积,后面8个采用5×5的深度卷积,瓶颈结构中其他设置均相同。
3.2迁移学习
本研究以 VGG16、ResNet50、Inception-V3以及 MobileNetV3模型这四种算法进行迁移学习[19],并且对番茄病害图像进行识别。这四种算法各有其自身的优势,在实际的病害识别应用中都可以起到良好的分类效果,有效节约检测时间。
首先,采用大型数据集 ImageNet [20]作为网络预训练的源域,将预训练得到的模型权重等信息迁移到对番茄病害识别的模型上,通过已有的先验知识可以对类似的识别任务做出高效的处理;然后在对番茄病害图像训练的过程中,对模型中的参数进行微调[21],得到最终的番茄病害识别模型。在迁移学习过程中,冻结所有卷积层并将最后的输出层去掉,剩余的网络可视为一个用来提取特征的容器,在番茄叶片数据集的训练中,将提取到的特征输入分类器,对病害类别做出预测。将网络的输出转换为适合于番茄分类任务的10类输出,实现对番茄病害任务的精准预测。各模型迁移训练的识别算法流程如图3所示。
3.3 MobileNetV3模型的改进
3.3.1 多层感知机
多层感知机[22] (Multilayer Perceptron, MLP )可以作为一个小型网络嵌入到深度网络中,相当于一个分类器,可实现不同类别的分类输出。本研究将原模型中瓶颈结构(bottleneck 模块)中的5×5卷积后加上1×1卷积层作为感知机的全连接层,并引入ReLU激活函数,构成感知器嵌入到深层网络中。感知器中的ReLU作为非线性激活函数,可以使网络的非线性表达能力得到提升,而感知机结构可以实现特征的重用,这样可以提高卷积神经网络的局部感知能力,使拟合能力得到增强。MLP结构见图4,图中 MLP layer层即为在5×5卷积基础上构建的感知机结构,能够灵活地添加网络层次且其全连接层是由1×1卷积组成,相比传统的全连接,在实现分类作用的同时可以省去大量的参数,节约了网络的计算成本。
3.3.2 空洞卷积
空洞卷积[23]在传统卷积计算中引入了膨胀系数 r ,扩张卷积核的同时保持参数量不增加,可以使卷积核提取更多的特征信息,有利于对模型的学习训练。番茄病害种类多样,不同病害间具有一定的相似性,发病初期,病斑微小,难于对病斑的细节纹理信息进行提取。此外,病斑叶片颜色与健康叶片非常接近,且难以对病斑的边缘、轮廓等特征作区分。
在不同的瓶颈结构中设置不同尺寸的卷积核,有利于更深层次抽象特征的提取,使之与目标对象更加接近。因此,本研究在 MobileNetV3的最后两个 bottleneck 模块中引入了空洞卷积,r 分别为2和4。如图5所示,三张图对应的初始卷积核大小都为3×3, r 从左至右分别为1、2、4,感受野分别为3×3、5×5、9×9。可以看出 r 的增大使得感受野也明显增大,且没有增加运算消耗,卷积核计算参数依然同初始卷积核一样。
3.3.3 GLU 函数
GLU ( Gated Liner Unit )、 GTU单元[24]是基于闸门机制( Gate Mechanism ) 的激活函数, GLU 拥有线性通道在经过激活的神经元时不会出现梯度消失的问题,有利于建模过程中的反向传播,加速网络收敛,防止梯度弥散。
GLU的表达式为:
hl (x )=(x × W + b)?σ(x × V + c) (1)
其中,x 表示第 l层的输入; hl 表示该层的输出信息; W和 V代表卷积核参数; c代表偏置参数。在第 l 层,输入值 x 经过核参数 W 与偏置 b 的卷积处理后,由参数为 V与 c的卷积处理并激活的输出门来控制当前层的输出结果。保留更重要的信息输入到下一层,加强病害特征的学习和识别。MobileNetV3网络结构改进后的示意图如图6。
4结果与分析
4.1试验环境
番茄叶片病害识别模型的训练和测试均是基于深度学习框架Pytorch完成的。硬件环境采用Intel ( R ) Celeron ( R ) CPU N3150@1.60GHz1.60 GHz ,内存4G ,GPU 采用 NVIDIA GeForce显卡,4 GB 显存。采用 Windows 7操作系统,Pycharm编译环境和Python3.7语言。每次试验运行60轮(epochs),综合考虑内存原因和模型的泛化能力,将batch size 定为64。学习率依次选取了1×10-5、1 ×10-4、1×10-3和1×10-2,当leaning rate 数值为1×10-3时模型训练的效果最好。采用 Adam优化算法和ReLU激活函数。
4.2迁移方法验证
为确定迁移学习方法的有效性,分別对VGG16、 Inception-V3、 ResNet50 和 Mobile‐NetV3网络模型的识别性能和迁移学习的试验结果作对比分析,如图7所示。曲线的起点由原来的19%~35%提高到55%~74%,初始性能明显提升。迁移训练的 MobileNetV3曲线在训练达到10轮时就可以收敛,相比原来的20轮有所提前。而 VGG16、 Inception-V3和 ResNet50在训练25轮后也收敛,准确率相比之前有大幅提升。且基于迁移学习的曲线在训练过程中更趋于稳定。
图8为四种迁移学习算法对番茄叶片病害识别的效果对比。可见,MobileNetV3迁移算法对番茄叶片病害的识别率更加精确,且在训练10轮的时候曲线已经收敛,与其他三种算法相比提前了15轮达到收敛状态;而且 MobileNetV3迁移算法在训练过程中曲线震荡幅度较小,更加稳定,呈现出了更佳的训练状态。综上所述,Mo ‐bileNetV3迁移算法更适合番茄叶片病害识别任务。
4.3 MobileNetV3迁移模型在不同试验方案下的识别结果
经迁移学习对番茄病害叶片的测试, Mo ‐bileNetV3模型取得了最优的识别效果。为检测损失函数和数据增强对模型性能的影响,针对番茄叶片的普通增强和Mixup混合增强两种增强方式,分别选用 Focal loss 损失函数以及 Cross en‐tropy loss函数进行测试,形成四种不同的组合方案。准确率和损失变化如表1所示。
由表1可知,四种试验方案下模型的识别精度相差不大,但损失变化的差异相对较明显,其中方案 F 和方案 FX 下的识别准确率比方案 C 和CX 下的准确率提升0.05%~0.11%;而方案 F 和方案 FX下的损失值也明显比方案 C和 CX下的损失值降低5%左右。这说明与使用 Cross entropyloss函数相比,使用 Focal loss函数的模型总体识别性能更好。
此外,方案 FX 和方案 F 相比,准确率提高0.37%、损失值下降1.47%;方案 CX和方案 C相比,准确率提高0.31%、损失值下降0.61%,这说明在同一损失函数下,采用Mixup混合增强方式比普通增强方式的分类效果更好,Mixup混合增强有助于提高深度网络模型的识别性能。
4.4基于迁移学习的 MobileNetV3改进前后结果对比
4.4.1 模型识别性能的提升
如图9所示,MobileNetV3曲线代表4.3节的迁移模型的识别曲线,dilated标识的曲线代表迁移 MobileNetV3模型采用空洞卷积和感知机的识别变化; dilated and GLU 曲线代表迁移 Mobile‐ NetV3模型在 dilated曲线的基础上,进一步采用 GLU 函数的模型识别变化。从图9中可以看出,在训练达到相同轮数的情况下,改进后的模型的识别精度有所提升。相比迁移学习的94.68%的识别率,在空洞卷积和感知机相结合的情况下识别率可提升2.62%,进一步采用 GLU函数可以使识别率再次上升0.85%。说明本研究方法提高了模型的识别精度,识别性能得到提升。
从表2可以看到,VGG16模型的测试准确率仅有86.62%,ResNet50和 Inception-V3测试准确率分别为89.95%和90.26%;而 MobileNetV3模型测试准确率达94.68%,在对 MobileNetV3模型结构改进之后,准确率达到了98.25%,提升了3.57%,识别效果达到最优。
在识别过程中,ResNet50对单张图片检测时间为1.54 s 。VGG16与 Inception-V3的平均检测时间分别是0.57 s和0.55 s ,MobileNetV3模型的识别检测平均耗时为0.39 s 。GLU函数加速了网络的收敛,单张图像的识别时间缩减为0.27 s,缩短了0.12 s ,且数据规模最小,更适合番茄病害的检测。
4.4.2 各类别病害识别准确率的提高
如图10所示,为改进后模型对病害分类效果的混淆矩阵图。其中0~9分别代表番茄细菌病、早疫病、晚疫病、叶霉病、七星叶斑病、靶斑病、双斑蜘蛛、花叶病毒、黄曲叶病、健康叶片的类别。可以看到改进后的模型对于病害类别分类错误的样本数明显减少。
表3列举了迁移 MobileNetV3模型改进前后各类别病害的识别率,其中番茄健康叶片、双斑蜘蛛和叶霉病的识别率均提高6%~7%,其它类别平均提高3%左右。10个类别的番茄叶片病害的平均识别准确率为98.25%,与原来的94.68%相比提升了3.57%。试验表明在迁移学习的基础上对模型的改进方法是可行的,有助于番茄叶片病害的分类识别。
4.5模型识别性能评价
本试验采用交叉验证方法[25]作为评价标准来衡量模型对番茄叶片病害的识别性能,采用十折交叉验证( 10-Fold Cross-Validation )对模型进行评价。将番茄叶片病害图像分为10份,依次选取其中的9份作为训练集,另外1份作为测试集。取10次测试结果的均值,作为模型鲁棒性的评价标准。1~10次试验的识别准确率分别为96.78%、98.51%、97.31%、98.22%、98.17%、99.05%、 98.66%、 98.93%、 97.72%、 99.17%,平均测试准确率为98.25%。10次测试的精度相差无几,表明改进的 MobileNetV3模型具有一定的稳定性和可靠性。
5 结论
本研究在卷积神经网络 MobileNetV3迁移学习的基础上,改进了激活函数和瓶颈层结构的卷积层,构建番茄病害识别模型,输出10类番茄叶片病害的对应类别。对本研究提出的病害识别方法进行试验和分析,得出以下结论。
(1) 采用轻量级网络在深度学习的识别任务中更具有优势。与 VGG16、ResNet50和Incep‐tion-V3深度迁移模型相比,轻量级网络 Mobile ‐NetV3对番茄病害识别的效果更好,平均准确率98.25%、单张图像识别时间0.27 s 、模型数据占用内存43.57 MB ,更有利于在移动 APP 上实现对番茄叶片病害的实时检测,提高检测效率。
(2) 采用迁移学习策略有助于提升网络的识别性能,但是其作用依然有局限性,通过将迁移学习与Mixup混合增强结合,并采取更适合的损失函数,可以将 MobileNetV3网络的识别率由94.57%提升至98.25%,并且网络训练更稳定。
(3) 针对番茄不同病害间叶片及病斑颜色相近、形状相似的不易区分的特点,对模型的卷积层进行改进,添加空洞卷积和感知机结构可以辅助病斑特征的提取,提高2.62%的识别精度;将激活函数改进为 GLU 门控机制函数,识别时间缩短0.12 s ,可加速网络的收敛。
(4) 采用十折交叉验证方法对模型的稳定性和可靠性进行更准确的评价,平均测试准确率98.25%。
研究结果表明在迁移学习的基础上对 Mo ‐bileNetV3模型进行改进,有助于提高对番茄叶片病害识别的整体效果。考虑到实际病害识别中图像背景往往较为复杂,后续将会收集一些自然环境中的多种作物病害图像,对模型进行更加轻量化的改进,致力于开发出可应用于移动端的作物病害识别系统。
参考文献:
[1] 张创创, 袁帅坤, 霍克坤.影响番茄生产效益的因素[J].湖北农机化, 2020(12):33-34.
ZHANG C, YUAN S, HUO K. Factors affecting toma‐to production efficiency[J]. Hubei Agricultural Mecha‐nization, 2020(12):33-34.
[2] 王建玺, 宁菲菲, 鲁书喜.基于支持向量机的苹果叶部病害识别方法研究[J].山东农业科学, 2015, 47(7):122-125, 141.
WANG J, NING F, LU S. Study on apple leaf disease identification method based on support vector ma‐ chine[J]. Shandong Agricultural Science, 2015, 47(7):122-125, 141.
[3] 秦丰, 刘东霞, 孙炳达, 等.基于图像处理技术的四种苜蓿叶部病害的识别[J].中国农业大学学报 , 2016, 21(10):65-75.
QIN F, LIU D, SUN B, et al. Recognition of four dif‐ferent alfalfa leaf diseases based on image processing technology[J]. Journal of China Agricultural Universi‐ ty, 2016, 21(10):65-75.
[4] 夏永泉, 李耀斌, 李晨.基于图像处理技术的小麦叶部病害识别研究[J].科技通报, 2016, 32(4):92-95.
XIA Y, LI Y, LI C. Recognition of wheat leaf disease based on image processing technology[J]. Science and Technology Bulletin, 2016, 32(4):92-95.
[5] 劉婷婷, 王婷, 胡林.基于卷积神经网络的水稻纹枯病图像识别[J].中国水稻科学, 2019, 33(1):90-94.
LIU T, WANG T, HU L. RhizocotoniaSolanirecogni‐tion algorithm based on convolution neural network[J]. China Journal of Rice Science, 2019, 33(1):90-94.
[6] WU Y. Identification of maize leaf diseases based onconvolutional neural network[J]. Journal of Physics: Conference Series, 2021, 1748(3): ID 032004.
[7] 丁瑞, 周平.基于卷积神经网络的典型农作物叶病害识别算法[J].包装学报, 2018, 10(6):74-80.
DING R, ZHOU P. Identification of typical crop leaf diseases based on convolutional neural network[J]. Packaging Journal, 2018, 10(6):74-80.
[8] 陈桂芬, 赵姗, 曹丽英, 等.基于迁移学习与卷积神经网络的玉米植株病害识别[J].智慧农业 , 2019, 1(2):34-44.
CHEN G, ZHAO S, CAO L, et al. Corn plant disease recognition based on migration learning and convolu‐tional neural network[J]. Smart Agriculture, 2019, 1(2):34-44.
[9] WAHEED A, MUSKAN G, GUPTA D, et al. An opti‐mized dense convolutional neural network model for disease recognition and classification in corn leaf[J]. Computers and Electronics in Agriculture, 2020, 175:ID 105456.
[10]常江, 管声启, 师红宇, 等.基于改进生成对抗网络和MobileNetV3的带钢缺陷分类[J].激光与光电子学进展, 2021, 58(4):221-226.
CHANG J, GUAN S, SHI H, et al. Strip defect classifi‐ cation based on improved generative adversarial net‐ works and MobileNetV3[J]. Laser & Optoelectronics Progress, 2021, 58(4):221-226.
[11] FAYE M, CHEN B, KANE A S. Plant disease detec‐tion with deep learning and feature extraction using plant village[J]. Journal of Computer and Communica‐tions, 2020, 8(6):10-22.
[12] WANG X, ZHANG C, ZHANG S. Multiscale convolu‐tional neural networks with attention for plant speciesrecognition[J]. Computational Intelligence and Neuro‐science, 2021, 2021: ID 5529905.
[13] ZOHAIB M, SHUN F, QUOC V. Spectral imagesbased environmental sound classification using CNNwith meaningful data augmentation[J]. Applied Acous‐tics, 2021, 172:ID 107581.
[14]陆健强, 林佳翰, 黄仲强, 等.基于Mixup算法和卷积神经网络的柑橘黄龙病果实识别研究[J].华南农业大学学报, 2021, 42(3):94-101.
LU J, LIN J, HUANG Z, et al. Identification of citrusfruit infected with Huanglongbing based on Mixup al‐gorithm and convolutional neural network[J]. Journalof South China Agricultural University, 2021, 42(3):94-101.
[15]葛麗君.混合 beta 分布的建模方法研究[J].南国博览, 2019(4):166.
[16]易强, 李成娟, 李宝清, 等.基于改进 MobileNetV1网络的野外车辆识别[J].工业控制计算机, 2020, 33(7):104-107.
YI Q, LI C, LI B, et al. Field vehicle recognition basedon improved MobileNetV1 network[J]. Industrial Con‐trol Computer, 2020, 33(7):104-107.
[17]陈智超, 焦海宁, 杨杰, 等.基于改进 MobileNetV2的垃圾图像分类算法[J].浙江大学学报(工学版), 2021,55(8):1490-1499.
CHEN Z, JIAO H, YANG J, et al. Garbage image classi‐fication algorithm based on improved MobileNetV2[J].Journal of Zhejiang University (Engineering Edition),2021, 55(8):1490-1499.
[18] LI X, SHEN X, ZHOU Y, et al. Classification of breastcancer histopathological images using interleavedDenseNet with SENet (IDSNet)[J]. PLoS One, 2020,15(5): ID e0232127.
[19]李淼 , 王敬贤 , 李华龙 , 等.基于 CNN 和迁移学习的农作物病害识别方法研究[J].智慧农业 , 2019, 1(3):46-55.
LI M, WANG J, LI H, et al. Method for crop diseaseidentification based on CNN and transfer learning[J].Smart Agriculture, 2019, 1(3):46-55.
[20] MOON J, HOSSAIN M B, CHON K H. AR and AR‐MA model order selection for time-series modelingwith ImageNet classification[J]. Signal Processing,2021, 183(10): ID 108026.
[21]姚燕, 胡立坤, 郭军.基于深度迁移网络 MobileNetV3的地形识别[J].广西大学学报(自然科学版), 2021, 46(4):996-1007.
YAO Y, HU L, GUO J. Terrain recognition based ondeep migration network MobileNetV3[J]. Journal ofGuangxi University (Natural Science Edition), 2021, 46(4):996-1007.
[22] AMAHAN P A, VILLARICA M V, VINLUAN A A.Technical analysis of Twitter data in preparation of pre‐ diction using multilayer perceptron algorithm[C]// Pro‐ceedings of 20214th International Conference on Data Science and Information Technology (DSIT 2021). New York, USA: Association for Computing Machin‐ery, 2021:120-124.
[23] KUMAR V, SINGH R, DUA Y. Morphologically dilat‐ed convolutional neural network for hyperspectral im‐ age classification[J]. Signal Processing: Image Com ‐munication, 2022, 101: ID 116549.
[24]耿海波.基于 U-Net模型的單声道唱声分离研究[D].乌鲁木齐:新疆大学, 2020.
GENG H. Research on mono singing sound separationbased on U-Net model[D]. Urumqi: Xinjiang Universi‐ty, 2020.
[25] MABUNI D, BABU S A. High accurate and a variantof k-fold cross validation technique for predicting thedecision tree classifier accuracy[J]. International Jour‐nal of Innovative Technology and Exploring Engineer‐ing, 2021, 10(2):105-110.
Identification of Tomato Leaf Diseases Based on Improved Lightweight Convolutional Neural Networks MobileNetV3
ZHOU Qiaoli, MA Li* , CAO Liying, YU Helong*
(College of Information Technology, Jilin Agricultural University, Changchun 130118, China )
Abstract: Timely detection and treatment of tomato diseases can effectively improve the quality and yield of tomato. In order to realize the real-time and non-destructive detection of tomato diseases, a tomato leaf disease classification and recognition meth‐ od based on improved MobileNetV3 was proposed in this study. Firstly, the lightweight convolutional neural network Mobile‐ NetV3 was used for transfer learning on the image net data set. The network was initialized according to the weight of the pre training model, so as to realize the transfer and fine adjustment of large-scale shared parameters of the model. The training meth‐ od of transfer learning could effectively alleviate the problem of model over fitting caused by insufficient data, realized the accu‐ rate classification of tomato leaf diseases in a small number of samples, and saved the time cost of network training. Under the same experimental conditions, compared with the three standard deep convolution network models of VGG16, ResNet50 and In‐ ception-V3, the results showed that the overall performance of MobileNetV3 was the best. Next, the impact of the change of loss function and the change of data amplification mode on the identification of tomato leaf diseases were observed by using MobileNetV3 convolution network. For the test of loss value, focal loss and cross entropy function were used for comparison, and for the test of data enhancement, conventional data amplification and mixup hybrid enhancement were used for comparison. After testing, using Mixup enhancement method under focal loss function could improve the recognition accuracy of the model, and the average test recognition accuracy of 10 types of tomato diseases under Mixup hybrid enhancement and focal loss func‐tion was 94.68%. On the basis of transfer learning, continue to improve the performance of MobileNetV3 model, the dilated convolution convolution with expansion rate of 2 and 4 was introduced into convolution layer, 1×1 full connection layer after deep convolution of 5×5 was connected to form a perceptron structure in convolution layer, and GLU gating mechanism activa‐tion function was used to train the best tomato disease recognition model. The average test recognition accuracy was as high as 98.25%, the data scale of the model was 43.57 MB, and the average detection time of a single tomato disease image was only 0.27s, after ten fold cross validation, the recognition accuracy of the model was 98.25%, and the test results were stable and reli‐ able. The experiment showed that this study could significantly improve the detection efficiency of tomato diseases and reduce the time cost of disease image detection.
Key words: tomato disease identification; convolutional neural networks; transfer learning; MobileNetV3; activation function; identification and classification