范世达,马伟荣,姜文博,张 辉,王金振,李 琦,何鹏博,彭 磊,黄兆波
(1 云南农业大学机电工程学院,昆明650201)(2 红河哈尼族彝族自治州经济作物技术推广站)(3 云南农业大学植物保护学院)(4 云南农业大学园林园艺学院)
云南省柑橘产业发展迅速,经济效益日益增长,种植基地的柑橘品质和产量稳步增长,但柑橘种植过程中病虫害严重发生,影响了柑橘产量与品质[1]。柑橘黄龙病是柑橘生长过程中的一种危害极大的病害,染病植株出现长势衰退、产量下降、品质降低,严重时导致植株死亡或停止结果,染病后除砍伐烧毁外很难根除[2]。柑橘植株感染黄龙病后,通常的病征表现为叶片斑驳黄化、均匀黄化、叶脉木质化暴突,果实出现颜色不均、形态异常等[3-5]。
基于深度学习的柑橘黄龙病远程诊断效果Effect of remote diagnosis of Citrus Huanglongbing based on deep learning
目前,针对柑橘黄龙病的监测与防控仍存在很多问题。果园管理粗放,防控方法不科学,发现与防控不及时,柑橘种植园占地面积大,种植工作主要依靠人力,大部分果农没有受过专业培训,无法辨别黄龙病,出现染病时无法及时采用正确的防控手段;片面追求高产、忽视植株长势、用药用肥不合理、长期大量使用化肥严重降低了植株的抗病虫害能力,且不科学用药也无法防治黄龙病;针对柑橘黄龙病的检测方法存在局限性,柑橘黄龙病检测方法包括病害田间诊断、指示作物鉴定法、病原显微镜观察法、血清学鉴别法、DNA-DNA 杂交判别法和PCR 检测法等[6-7]。现行的病虫害检测工作主要依靠少数植保专家和农技人员完成,通过人工识别病害特征具有局限性,降低了识别的准确度,所以田间诊断一般为初步判断;指示作物鉴定法和病原显微镜观察法所需时间较长,且易出现漏检;血清学鉴别法对不同病菌适应性差,且过程复杂;DNADNA 杂交判别法最为准确,但检测仪器要求较高,成本昂贵;定量PCR 检测法是目前使用较为广泛的方法,但所需时间较长、成本较高,缺乏实时性[8]。
随着时代的发展,信息化技术逐渐运用于农作物病害识别,科研人员开始将深度学习应用到病害图像识别中,大大提高了病害识别效率、降低了成本、提高了准确率、减少了工作量[9]。樊湘鹏等[10]引入区域卷积神经网络Faster R-CNN 算法并对其改进,以实现在田间真实环境下背景复杂且具有相似病斑特征的玉米病害的智能诊断。基于深度学习的农作物病虫害识别研究,为柑橘黄龙病快速检测提供了重要的研究思路和研究方法。
本文构建出一种基于深度学习的柑橘黄龙病诊断方法,利用图像设备实时采集柑橘图像,并将图像数据通过网络上传至云平台,使用深度学习算法对柑橘黄龙病进行图像识别,及时监测预警柑橘黄龙病的发生,为柑橘黄龙病提供智能化快速诊断,从而探寻柑橘黄龙病合理有效的防控手段。
1.1.1 图像样本采集
自2016 年起,本研究团队在云南省开展柑橘黄龙病防治及识别技术研究,通过实地调研在玉溪市的华宁县和新平县、大理市宾川县、香格里拉市等地的柑橘种植基地中柑橘黄龙病发生情况,在植保专家指导下针对患病植株采集叶片,并用分辨率为1 920×1 080 的高清数码相机拍摄叶片建立图像样本,将叶片样本置于统一的黑色背景上,避免阳光直射,便于后期图像处理与识别。对采集到的叶片进行黄龙病病菌含量检测,根据检测结果将叶片对应的图像样本进行分类。
在上述4 个地区共采集到黄龙病叶片原始图像样本318 张,图像样本按患病程度分为重度、轻度和无病3 个等级(图版2-A)。患病图片与文献[11]中所展示的斑驳和黄化叶片图片相比较症状相似度较差,其原因是云南省种植柑橘历史悠久,各种植园均有病害防控技术人员跟踪指导,植株出现明显病症后,为防止病害扩散,果农即将染病症状明显植株砍伐,故采集到的叶片中斑驳黄化、均匀黄化等明显特征较少。
1.1.2 叶片病菌检测与分级
将采集到的柑橘叶片清理干净,按照国标要求进行黄龙病病菌含量检测,使用CTAB 方法提取样本DNA,采用定量PCR 方法分析,检测得到柑橘黄龙病病菌拷贝数(CLas copies)与CT 均值,将采集到的叶片样本分为健康、轻度患病和重度患病,并按相应标签存储。部分检测与分类结果如表1 所示,其中“-”代表健康,“+”代表轻度患病,“++”代表重度患病。
表1 黄龙病病菌检测与分类
1.1.3 图像样本预处理
利用PIL(Python Imaging Library)Python 图像处理库的相关功能,对采集到的柑橘图像样本进行图像预处理,使用图像处理工具将样本图像随机切割为950 像素×950 像素、750 像素×750像素、550像素×550 像素、400 像素×400 像素等不同像素大小的图像,最终将尺寸统一为224 像素×224 像素,便于输入深度学习算法进行训练,该操作对样本数据进行了增强,以6∶2∶2 的比例划分为训练集、验证集、测试集,并按照健康、轻度患病和重度患病3 类标签分文档存储。
1.1.4 深度学习网络模型构建与训练
传统的卷积神经网络如 AlexNet、VGG、GoogleNet 以及ResNet 网络等缺点明显,内存需求大、运算量大,导致其对硬件设备的要求较高,故该柑橘黄龙病病害识别模型采用的深度学习网络为MobileNet V3,该网络是由Google 团队在2019 年提出的一种轻量级网络[12],模型轻便,计算延迟小,便于后续移动端的开发。
模型的构建与训练试验是在 Python 3.8、Tensorflow-GPU 2.4 软件环境下完成的,硬件环境中CPU 采用Intel Corei 5-8400,主频2.8GHz;GPU 采用Nvidia GeForce 1060,6 G 显存,16 G 内存。
首先利用MobileNet V3 网络对Plant Village 数据集进行预训练,保存好预训练的参数权重,利用迁移学习的方法冻结除最后2 个卷积层外的所有网络结构,只训练最后2 个卷积层,利用此预训练参数权重设置模型参数,训练采集后经过图像预处理的柑橘叶片图像。初始学习率为0.000 5 和0.001,迭代次数设置为100,批训练样本数设置为16,每次训练时随机分配训练集。
自2016 年开始,本研究团队于华宁县亚热带水果示范园中先行构建了根域灌溉系统,并进行相关柑橘水肥药自动实施相关试验[13]。在成功构建黄龙病病害识别模型后,为探寻识别模型的应用效果,故2019—2021 年在此基础上构建了基于深度学习的柑橘黄龙病识别系统,开始进行柑橘黄龙病诊断方法相关研究田间应用试验,试验地点位于华宁县华溪镇斑茅棵,该地区为干热河谷气候区,种植柑橘品种为2 年生新津蜜柑[14-15],按照水肥实施分为8 个不同区域,共种植1 447 株柑橘树。
在田间架设的型号为CP-ZB22B 的智慧树智能终端内置高清摄像模块,可实时采集分辨率为1 920×1 080 的高清晰度图片,也可进行分辨率为720 P或1 080 P 的高清直播。通过主控制器PLC 自动控制其每天按时打开,设定每天早、中、晚3 个时段自动采集柑橘图像数据,采集到的数据将通过有线网络上传至云平台,并进行存储,便于后续利用深度学习算法识别训练。利用图像采集系统实时采集柑橘植株生长情况,将采集到的柑橘叶片图像进行黄龙病识别,可做到针对柑橘黄龙病的实时检测,有利于病害早发现早治疗。
设备架设区域位于采果时发现的疑似黄龙病患病果树附近,由于黄龙病患病表现初期由树冠区域展现并逐渐向下扩散,故设备架设在植株较高位置采集图像。布设于不同疑似病树附近的设备采集到的图像如图版2-B 所示。
1.4.1 采样识别
柑橘叶片样本采集自云南省玉溪市华宁县农业局亚热带水果示范园,该种植基地共有1 447 株柑橘树,依据根域灌溉系统的水肥药实施控制,将其分为8 个不同区域,经植保专家实地考察发现,疑似柑橘黄龙病患病植株大多集中于2、7、8 号灌溉区,故主要在此区域采集样本。每个区域选取5株间距大于5 m 的柑橘树,分别在其不同层、不同方向采集叶片样本,具体分布如表2 所示。
表2 柑橘叶片样本采集分布情况
在实验室架设与基地现场架设同型号的CPZB22B 智慧树智能终端的高清摄像头采集图像,重复1.1.2 叶片病菌检测与分级步骤,获得试验地柑橘树黄龙病病菌检测结果(表3)。其中选取的图像样本如图版2-C 所示,按患病程度分为重度、轻度和无病3 个等级。
表3 试验地柑橘树黄龙病病菌检测结果
1.4.2 黄龙病病害远程识别诊断
为初步探寻识别模型的可行性,利用布设在试验地不同区域的智慧树智能终端,按照表2 设计的采集分布实时采集叶片样本图像,因视角有限,故选取分别位于试验地不同区域的4 株患病植株架设采集设备,针对4 株植株各进行10 次病害诊断,进一步验证远程识别效果。
2019—2021 年期间分别进行了2 次柑橘叶片样本采集,共采集到叶片样本600 片,采集可用的图像数据1 000 张,根据检测到的黄龙病菌拷贝数将原始样本分为健康、轻度患病和重度患病3 类,其中健康样本200 张、轻度患病样本550 张、重度患病样本250 张。经过图像随机切割等数据增强后按6∶2∶2 的比例划分为训练集、验证集、测试集,划分结果如表4 所示。
表4 数据集划分结果
基于深度学习算法的柑橘黄龙病病害识别训练结果如下,其中不同学习率下的识别准确率与损失值变化曲线如图1 所示。由训练结果可知,识别准确率随着迭代次数的增加逐渐升高,在迭代次数超过20 次之后黄龙病病害识别准确率趋于稳定,迭代100 次之后学习率为0.001 下的准确率为86.0%,学习率为0.000 5 下的准确率为87.3%,识别率较高;损失值随着迭代次数的增加而减少,在30 次迭代后逐渐趋于稳定,损失值基本在0.1 以下,2 种学习率下的损失值均较小,说明识别模型较为稳定,可初步实现病害识别。
图1 不同学习率下的识别准确率和损失值变化
利用布设在试验地不同区域的智慧树智能终端采集到的田间叶片图像进行病害诊断,得到部分结果如图版2-D 所示,预测结果分别为健康、健康、轻度患病和重度患病,准确率分别为74.0%、82.0%、80.1%和78.2%。由以上结果可以看出,单次识别准确率存在差异,为确保试验结果可靠,应针对多株树体进行多次病害识别诊断,以平均结果为准,故针对4 株植株各进行10 次病害诊断,以取得的平均准确率为准,诊断结果如表5 所示。经过40 次田间远程诊断所得的平均准确率为77.1%,可见实际使用的准确率低于模型训练的准确率,但可以初步实现柑橘黄龙病田间远程诊断。
表5 田间远程诊断结果
通过构建柑橘黄龙病病害识别模型,利用黑色背景下采集的叶片图像进行算法训练试验,试验得到算法训练结果准确率为87%左右,表明基于深度学习柑橘黄龙病识别模型是稳定可用的,可以初步实现病害识别诊断。为验证识别模型的实际使用效果,在复杂的田间背景下进行远程病害诊断试验,田间远程诊断结果准确率为77.1%,远程病害识别准确率有所下降,但仍能初步达到柑橘黄龙病远程诊断要求。可能原因主要是用于训练的样本图像是在统一背景、光照条件下采集的,受到的干扰因素较小,故训练结果较优,可初步实现针对柑橘黄龙病的远程病害识别诊断。但进行田间远程病害诊断时,田间环境较为复杂,采集到的图像样本干扰因素较多,故识别准确率有所下降。其次由于2018—2021 年期间本研究团队开展了针对柑橘黄龙病的生物防治研究,采用根域灌溉的方式将药液施用于柑橘植株,有效降低了黄龙病病菌含量[16],可能导致柑橘黄龙病远程识别结果受到影响。
由于本文试验属于初步探究黄龙病远程诊断方法的可行性,后续研究应逐步开展更加详细的田间远程诊断试验,优化算法结构加强其针对复杂背景的抗干扰能力。同时应优化田间的图像采集条件,减少由于光照变化等因素影响图像质量,提高识别准确率。
本文初步探寻的一种基于深度学习的柑橘黄龙病远程诊断方法,突破了传统柑橘种植过程中针对黄龙病检测不及时的局限,摆脱了黄龙病识别需高度专业化知识的限制,降低了黄龙病快速检测的成本。使用深度学习的方法识别研究柑橘黄龙病,一方面可以提高病害识别的效率,在柑橘生长过程中实时监测预警做到早识别早应对,另一方面大大降低了黄龙病检测成本。后续研究与应用仍需重视识别模型的优化,针对病菌含量下降造成的病症弱化现象强化特征提取能力,提高其大田复杂背景下的识别准确率。