基于红外热成像和机器学习的作物早期病害识别研究进展*

徐衍向，张敬智，兰玉彬，3，孙越梅，韩鑫，白京波

(1. 山东理工大学农业工程与食品科学学院,山东淄博,255000;2. 山东思远农业开发有限公司,山东淄博,255400; 3. 山东省农业航空智能装备工程技术研究中心,山东淄博,255000)

0 引言

农作物病害是作物生产中最严重的自然灾害,细菌、真菌、病毒等的微生物等的入侵造成的作物损坏及其经济损失数额巨大,且一年四季均有发生,因此作物早期病害的识别就显得尤为重要[1]。

作物病害的侵染分为侵入前期、侵入期、潜育期和发病期四个时期。病原物与其侵染植物最初的相互作用在侵入前期,对其自身的侵染和后续的扩散有着直接影响,因此侵入前期是阻止病害发展的最佳时期。但在病害侵染之前,作物不会启动防御机制,无法用红外热成像技术进行预防性病害防控作业,直到潜育期病原物才从与寄主建立寄生关系逐步过渡到开始表现明显的症状,病原菌在这时期从寄主体内汲取影响,寄主启动相应的防御机制,但人们在肉眼上无法直接观察到,故可在潜育期进行作物的早期病害检测,通过提早识别染病植物,进行农药的局部喷洒,抑制病菌的早期生长,进而减少后续农药的使用。一旦进入发病期,该病就会迅速传播,导致防治难度家大、成本增高。因此,病害的早期识别检测于病害的识别预防具有重要意义。

早期的作物检测方法包括专家鉴定法,分离培养检测法和血清检测法[2],前者容易造成主观误判,后两者会对作物的结构造成破坏,不易用于大田作物病害检测。随着人工智能的发展,机器视觉等越来越多被应用于农业领域[3],尤其是机器学习深度学习越来越多的应用于病害检测的领域,能够帮助克服人工误判、依赖专家经验、耗费大等缺点,解决了病害识别的问题。随着红外热成像技术,高光谱技术[4]及X光检测技术等都用于作物病害的早期检测,随着机器学习和红外热成像技术,机器视觉和红外热成像在安全、医学和电力等领域进行了许多的应用,在农业病害识别等方面也进行了不少的研究,但因环境的影响和红外热成像技术本身的分辨率和灵敏度等的局限性,在复杂环境下应用尚不成熟。本文首先介绍了红外热成像和机器学习的工作原理和以深度学习为代表的识别技术和以红外热成像为代表的图像检测技术在病害检测上的应用,然后介绍了两种技术相结合用于改善红外热图像质量和监测作物病害,最后进行问题分析和研究展望并得出结论。

1 基于红外热成像技术的作物早期病害检测

1.1 红外热成像技术的作物早期病害检测机制

1.1.1 红外热成像原理

红外热成像技术是利用物体自身各部分之间的差异性,把自身发出且肉眼不可见的红外辐射转化成可见的热图像技术[5]。可以检测到作物的温度变化,从而实现作物的无损检测。主要设备为热成像仪,成像原理如图1所示。

简单来说,红外热像仪的工作原理就是把物体自身发出的红外辐射转变为可见的热图像。热图像的信息可以通过不同的颜色来表示不同的温度传达出来,而且红外辐射可由所有温度高于绝对零度(-273 ℃)的物体发出,部分病害的发生会影响到气孔和蒸腾作用进而影响到其温度,且没有直接接触,因此可利用红外热像仪进行物体的无损检测。随着技术的发展,热成像技术在叶片表皮导度、气孔导度、蒸腾作用等与作物叶片温度有关的方面得到了广泛的研究[6-8]。

红外热成像技术的优点如下:(1)检测方式为非接触式,影响因素减少,准确率高,可进行无损检测。(2)成像速度快,可以直观地反映信息,便于病害的识别。(3)图像可以进行录制和存储,且检测成本低,便于对多次检测结果进行对照分析。

1.1.2 病害发生原理

作物病害根据病原的种类可分为侵染性病害和非侵染性病害两大类,常规病害发生原理如图2所示。

图2 病害发生原理

当病原体侵染作物时,会在作物伤口处形成伤素和大量化学信使等,在经过一连串的反应后产生防御反应,通过防御反应的产物来抑制或杀死病原体。例如作物可以通过控制气孔来控制蒸腾作用,用来防御病害[9]。而防御作用下的生理指标变化会影响作物叶片的温度,从而引起自身辐射能量的变化,这种变化可以直接反映在红外热图像中,来进行作物早期病害的识别。

1.2 红外热成像技术在作物早期病害检测中的研究进展

1.2.1 国外研究进展

在国外,将红外热成像应用于农业起步较早,在检测细菌、病毒和真菌作为病原体感染的植物病害方面获得了不少的成果[9-12],通过对于叶片表面温度的检测的方式来评估植物和病原体的相互作用。

近年来红外热成像已被用于病害检测,如烟草花叶病[13-14]、黄瓜霜霉病[15]、葡萄霜霉病[16]、小麦白粉病和黑星斑病[17]等。2008年,Stoll等[18]研究发现利用热红外成像技术可在接种后3～4 d且肉眼无法观测时检测到葡萄霜霉病斑;2015年,Baranowski等[19]通过红外热成像仪检测冬油菜感染病菌后的变化,发现染病叶片比健康叶片温度高3.5 ℃,且即便在大面积种植时,也能发现染病区域温度的明显差异;2015年,Rispail等[20]发现在控制的环境下敏感种在尖孢镰刀菌侵染后表面叶温度的显著升高至少0.5 ℃,而抗性种质温度保持在控制水平,发现可用红外热成像技术来进行优质品种的筛选;2016年,Kim等[21]发现在红外热图像中感染烟煤病后叶片温度健康区域和染病区的平均温度分别为26.98 ℃和28.44 ℃,表明染病区的平均温度明显高于健康区域);2019年,Wang等[22]使用热成像作为估计作物水分胁迫方法,表明接种病菌后1～7天,只有大温差(p≤0.01)和冠层温度(p≤0.05)参数与病害感染显著相关,可用于预测小麦真菌感染的发作。

1.2.2 国内研究进展

国内起步较晚,但是发展迅速,在检测作物水分胁迫、冻害检和病虫害检测发挥了重要作用,在农业方面被广泛用于提前感知作物病害等不但有加强了作物的管理,也有利于筛选更优秀的突变体。在烟草花叶病[23]、番茄花叶病[24]和小麦条锈病[25]等病害的识别也获得了不少成果。2000年,江涛[26]研究发现利用高分辨率红外视频摄像机,可检测到叶片感染病毒部分的温度高于正常部分0.3 ℃～0.4 ℃;2007年,朱圣盼[27]利用红外热成像进行番茄叶片性状的早期检测,发现感染叶片生理变化与温度变化呈正相关;2012年,徐小龙等[24]研究发现可在接种后3 d后检测出感染番茄花叶病的番茄叶片比正常叶片高0.5 ℃～1.2 ℃;2014年,李小龙等[25]研究发现可利用红外热成像识别出受到条锈病侵染但未显症的小麦植株。

2012年,Wang等[28]使用热红外相机检测感染尖孢镰刀菌的黄瓜叶片的发病机理,可以对土传病害fusariumwilt的发展过程进行非侵入性检测和间接可视化,而且还可以揭示与水分状况相关的某些内部代谢过程。2019年,姚志凤等[29]使用红外热成像检测小麦条锈病,发现随着接种天数的增加,接种病害的小麦植株冠层的平均温度会逐渐降低,叶片间的最大温差会不断加大,可用来进行小麦条锈病早期检测。

综上所述,红外热成像具有无损检测、高灵敏度强预警性的特点,可在肉眼发现之前提前感知感染区域与正常区域之间的变化,并且随着农业技术的发展,越来越多的研究者将红外热成像的灵敏度高、无损检测等特点用于作物早期的病虫害检测。

2 基于机器学习的作物病害检测

随着计算机视觉和机器学习的发展,机器学习在物体识别方面取得了重大的进展,近年来在农业方面取得了不少的成就,尤其是深度学习方面。且深度学习对比普通的识别方法具有学习能力强,覆盖范围广、适应性好等优点,在农业方面被广泛应用于植物的病害检测。

2.1 基于传统的机器学习的作物病害检测机制

传统的机器学习主要依靠人工从原始数据中提取的特征,然后进行机器学习模型训练完成分类,它的流程包括如图3所示。

图3 传统机器学习的主要流程

可通过人工对输入的数据进行特征提取,后输入到模型中进行训练分类。机器学习有着算法简单、计算速度快的优点,但良好的特征表达对其性能至关重要,人工设计特征不仅费时费力,还有着无法表达高层语义信息,泛化能力弱且无自学习能力等缺点。在视觉认知机理的启发下,2006年提出一种称为深度置信网络的深度学习模型,克服了深层网络结构在训练上的困难,有效解决了之前存在的误差传播控制问题,从而有利于数据的可视化或分类。不仅避免了繁杂的特征提取环节,而且能够更好地实现复杂的函数逼近。

2.2 基于深度学习的作物病害检测机制

深度学习是一种最新的、具有精确结果的图像处理技术。它采用自动而不是人工提取特征,并且可以提取更为复杂的特征,使得后期分类变得简单有效,本质是模拟人的视觉系统的分层处理机制。

随着深度学习的发展,被越来越多的应用于语音识别、人脸识别等方面,农业方面在作物病害的检测识别环节发展迅速。如图4所示,深度学习可以从数据中提取到更加复杂的特征,且只用把提取出的特征进行分类即可获得较好的效果。根据统计可知,使用深度学习进行的病害识别准确率比传统识别高出10%～20%[30]。

图4 深度学习的主要流程

2.3 机器学习在作物病害图像检测中的研究进展

在农业方面,深度学习已被广泛用于病害检测,如小麦病害[31]、荞麦病害[32]、葡萄[33]和番茄病害[34]等各种病害。2018年,马浚诚等[35]研究发现:一种在残差网络(ResNet18)的基础上进行改进的多尺度卷积结构与注意力机制结合的农作物病害识别模型可实现田间环境下的病害识别;使用深度卷积网络识别扩充后的图像数据集,得出对炭疽病、霜霉病、白粉病和目标叶斑病4种黄瓜病害的准确率为93.4%;2017年,Liu等[36]提出一种基于深度卷积神经网络算法的苹果叶片病害准确识别方法精准度高、速度快,可有效解决苹果叶片病害的识别。

大多数据集都在特殊条件或简单背景下拍摄的,在田间环境下难以识别,针对此类问题,2018年Khan等[37]结合PlantVill和普渡大学的CASC IFW数据集,使用图像增强与背景分割等方法,建立了VGG VD 16和Caffe AlexNet模型,该模型对苹果和香蕉叶斑和果实病斑的准确率为98.6%。2021年黄林生等[38]提出一种多尺度卷积结构与注意力机制结合的农作物病害识别模型,该研究在残差网络的基础上引入Inception模块以提高特征的丰富度,还加入了注意力机制SE-Net,提高了重要特征的权重,降低了非重要特征的影响,提高了模型的提取能力和自身的鲁棒性,使得田间环境中的平均识别精度达到95.62%。2021年何自芬等[39]针对苹果叶部病害数据集因环境等各种因素造成的精度低和泛化能力差的问题,提出了一种新型的非对称混洗卷积神经网络ASNet,该研究通过在ResNeXt骨干网络中添加scSE注意力机制来增强网络提取特征,使用非对称混洗卷积模块来增强特征提取能力,提高了模型的分割精度和泛化能力,对实地采集的苹果3种病害和健康叶片的平均分割精度为94.7%。2021年樊湘鹏等[40]提出了一种基于深度卷积神经网络的玉米病害识别方法,该研究设计了具有5个卷积、4层池化和2个全连接层的卷积神经网络结构,利用L2正则化和Dropout策略优化网络,对复杂情况下玉米病害的识别精度为97.1%。

在营利性养老服务机构里，入住老年人不仅需要日常生活照顾、疾病诊治、身体康复训练，还需要健康咨询、心理安慰、营养指导、临终关怀等，因此需要有大量的专业人才来提供专业服务。但是目前广西此类人才相当缺乏，具有养老护理职业资格证书的服务人员更少。目前广西养老机构服务人员多数为40岁以上妇女，她们的文化程度普遍较低，没有受过正规的专业护理培训，提供的服务基本属于简单的日常照料和护理。

深度学习需要大量的数据用于训练网络模型,但是拍摄图片制作数据集则需要花费大量的时间精力,而且通过学习不同领域、场景和尺度的目标特征可实现端到端的检测[41-42]。还可以通过大量的训练样本学习提取图像特征的能力,从而减少网络模型训练所需的样本数。龙满生等[43]研究发现使用深度特征网络参数迁移可以获得性能更好的模型。

2019年Solemane等[44]提出了一种基于迁移学习和特征提取的方法识别珍珠谷霉病,准确率为95.00%。2020年许景辉等[45]提出了一种基于迁移学习的卷积神经网络玉米病害图像识别模型,该研究在VGG-16模型的基础上设计了全新的全连接层模块,并将其在Image Net图像数据集训练好的卷积层迁移到模型中,对玉米健康叶、大斑病叶、锈病叶图像的平均识别准确率为95.33%。2021年樊湘鹏等[33]引入迁移学习机制,提出了基于迁移学习和改进卷积神经网络的病害检测系统,该研究利用大型公开数据对VGG-16模型预训练,保持前端13个层的参数和权重,快速准确的实现了对葡萄叶部病害的检测。

3 机器学习和红外热成像技术相结合的作物早期病害检测

3.1 基于机器学习的红外热图像处理方法

红外热图像有着分辨率差,对比度低和信息难以完整提取的缺点,后续特征提取的难度大,但随着机器视觉的发展,现在图像增强技术越来越多的结合机器学习技术,有研究者研究了CNN[33]和GAN[46],通过与可见光图像融合、提出相对应的算法等方法来达到提高图像的目标表征,增强场景理解的效果,可大批量的提取图像特征,为之后的病害识别提供便利。尤其是对复杂背景下的红外病害图像的分辨率和灵敏度方面有着巨大的作用。例如图像增强技术可根据人的主观要求对图像进行对比度、分辨率和信噪比的优化。也可采用不同的算法来进行特定的图像处理,包括多算法结合[47-48]和单一算法优化[49]。有学者考虑采用单帧超分辨率技术来提高IRT图像的分辨率。2016年Zhang等[50]提出了一种基于图像偏差矫正和超分辨率CNN的系统方法,针对目标像素数量少,可最大显得的获取有效信息,以提高目标特征分辨率和优化目标识别输入的基线质量在提出算法方面,苏庆单等[51-54]通过提出相应的算法,解决了红外热图像模糊、清晰度差等特点,实现了红外热图像的增强。

除了简单的提高红外热图像的分辨率,还可以利用可见光和红外热图像的互补性来融合二者的信息,实现图像的超分辨率[55]。Liu等[56]将卵生神经网络用于红外和可见光图像,直接去获得融合的权重图,实现了当前最高水平的视觉质量和客观评价效果;张维林[57]将短波和长波红外图像的融合为核心,研究了匹配算法和融合图像的目标检测技术,此算法相较于其他算法在多种场景下具有更加稳定的表现。为增强红外与可见光图像融合的可视化效果,提出了一种GAN和ResNet相结合的方法,将两种图像的拼接作为信号发生器网络的输入,结果该方法明显优于其他九种常见方法[57]。

机器学习处理红外病害图像可通过去噪增强等提取目标特征,还能通过特征信息来识别图像,以减少环境和人为因素的干扰,进而精准区分病变区域。还可以促进农业监测自动化,新型图像识别还可以解决复杂情况下的红外热图像关于灵敏度和分类精度的问题。

3.2 基于机器学习的作物病害红外热图像识别研究进展

近年来,深度学习和红外热成像结合的技术在光电仪器自动检测[58]、医学[59-61]、电力[62]、化工[63]、森林防火[64-68]等方面已经较为成熟,在农业方面大多应用于病害的高光谱图像的检测识别[69-70]和果实缺陷[71-72]和病变[73-75]的红外热图像检测中,在病害的红外热图像检测识别方面比较缺乏,将其应用到作物病害红外热图像中,不仅有红外热成像技术对于病害的无损和早期检测的优点,还可以和深度学习的快速识别、自主分类等优点结合起来,以实现对植物病害的早期快速检测。

在果实检测方面,2019年Farokhzad等[73]使用热像仪和加热箱获取热图像,研究处于不同阶段(感染后1～7天)的健康马铃薯块茎和被茄花镰刀菌污染的块茎温度,找到最佳热成像条件,通过线性和二次判别分析方法提取并分类了一些温度统计特征。结果表明,二次判别分析可以对不同时期的健康块茎和污染块茎进行分类,准确率高达98.5%。最终建立了一种基于主动热成像的可靠,无损,快速的方法来检测马铃薯块茎中的真菌。

Kheiralipour等[74]使用热成像、QDA和ANN(人工神经网络)方法对开心果的真菌污染与黄曲霉进行分类。发现使用ANN和QDA方法区分健康开心果和受污染开心果的准确率分别为97.70%和99.00%。

Chelladurai等[75]研究了使用红外热成像系统识别储存小麦中真菌感染的可行性。受灰曲霉群、黑曲霉和青霉属感染的散装小麦籽粒的热图像。并通过线性和二次判别分析(LDA和QDA)开发了四向和成对分类模型。成对的LDA和QDA分类模型对健康样本的最大准确率分别为100%,对受感染样本的准确率分别超过97%和96%。

在叶片病害方面,2015年Raza等[76]提出了图5所示的一种将红外热图像、可见光图像数据与深度信息相结合开发的一个可用于远程检测感染番茄白粉病植物的机器学习系统。包括图像匹配、深度估计、特征提取和分类。首先通过将红外热图像与可见光图像融合得到合成图片并制作数据集,再将深度信息添加到数据集中,然后应用局部特征提取和全体特征提取的方法将提取到的特征输入分类器,最后分类器根据所输入的信息来检测健康植物和患病植物,结果表明,将深度和热信息加入到特征集中可以明显提高早期识别病害的精度,还表明了此系统显著提高了远程影响再病害监测的应用。

图5 病态植物检测算法的方框图

2017年Jafari等[77]利用可见光图像和红外热图像检测感染白粉病和灰霉病的玫瑰花。并提出了如图6所示的自动捕获的热图像和可见光图像使用设计方格表面进行预配准方法,训练了两个神经模糊分类器来区分健康植物和受感染植物,设计的神经模糊分类器的性能通过使用自动成像设置捕获的热图像进行评估。可以在肉眼可见之前检测出的感染白粉病和灰霉病的玫瑰的症状,在接种后的第二天达到了最佳正确估计率,为60%和80%。

图6 热图像和可见图像的配准过程

2019年朱文静等[78]为提高图像检测能力,提出了一种基于红外热成像技术的快速检测和分级方法。首先通过对整株小麦样本在不同时期的红外热成像图像的平均叶温的计算,探明了病原体侵染时的温度变化规律;然后使用直方图均衡化和中值滤波等预处理方法提取出图像中低于显症植株温度阈值的区域,通过阈值分割,计算病斑面积和在总面积中的占比;最后,进行病情指数的相关分析,获得相关系数为0.975 5,预测均方根误差为9.79%,总识别正确率为90%。

近年来一些便携式热成像相机已经可以适配移动电话,促进了红外热成像技术的发展,2017年Lopez等[79]提出了一种适应自适应于手机的热感相机来自动检测运动性疲劳的方法。2017年Cho等[80]提出了一种基于低成本热成像相机的深度学习模型,该模型可以根据人体的呼吸模式自动识别心理压力水平,可以将安装在智能手机上的摄像头放置在距离人鼻孔区域55 cm的位置,提出了一种从红外热视频的鼻孔ROI恢复一维呼吸信号的呼吸跟踪算法,对两级压力和三级压力的区分准确率分别为84.59%和56.52%。

研究表明,深度学习可以通过识别红外热图像来进行病害检测,还可以改进红外热图像的缺点并提高病害识别速度和精度,但现阶段应用于红外热图像病害识别检测研究较少且识别要求大、准确率低,想要提高网络模型的性能,就必须使用大量的数据来训练模型,现阶段红外图像数据集种类少且公开的红外图像数据集的规模都较小。为解决以上问题,在未来可通过优化小样本数据集下的网络模型,提高模型的泛化能力和迁移能力来解决此类问题。

4 存在问题和研究展望

总结上述几年红外热成像于机器学习相结合应用于病害识别领域的研究,发现尚处于起步阶段,仍存在不少的问题。

1) 红外热图像拍摄困难。红外热图像易受光照、温度、风吹等环境影响,在被测物体和环境的温度之间的温差很小时,无法准确地获得所需的信息,还容易受到光照、风的影响导致温度分布的变化。现在大多数图片都是在可控且单一背景的环境下拍摄而成的,缺乏泛化性,且红外热图像本身存在着灵敏度低和分辨率低等特性,难以保证拍摄的红外热图像的质量,会引起红外图像的错误解读

2) 训练结果使用的数据量少,训练的模型针对特定场景,缺乏泛化性。深度学习需要大量数据集,拍摄数据集往往有限,且公开的红外热成像数据集类型和数量均较少,难以满足深度学习的要求。

3) 现阶段算法识别准确率低且大多数基于红外热成像的机器视觉(IRMV)还处于实验室测试阶段,跟实际应用还有很大的差距。随着人工智能的发展,算法的改进带来了识别上巨大的优势,现阶段算法对于小样本数据集的识别精度低,后续则需要对算法进行优化,减少冗余,提高精度。

针对以上存在的问题,本文提出以下建议,希望可为未来早期病害的识别提供方向。

1) 红外热图像拍摄苦难。可通过在更改环境的温度、湿度和光照等的条件来不断进行采集,直至明确各种病害最佳的拍摄条件。

2) 针对红外热图像噪声大、分辨率低和灵敏度低的特点,可以应用图像处理技术来进行图像的优化,可将红外热图像与可见光图像和高光谱图像结合,与红外热图像互补以获取更多的信息,还可进行作物病害的种类和程度的识别,还可以应用图像处理技术来进行图像的优化,增强图像的细节和边缘信息。

3) 深度学习需要大量的数据来进行模型的训练,采集红外热图像则会花费大量的时间,可将其和迁移学习相结合提高其泛化能力,使模型获得结果,或通过优化小样本数据集下的网络模型等来提高模型对于病害识别的准确率。

4) 在实际应用阶段,随着计算能力和仪器适配性的不断提高,可以通过跟无人机、机器人和嵌入式设备结合来解决实际应用问题。

5 结语

红外热成像技术已经成为作物病害早期监测的关键技术之一,在各个领域发展迅速并表现了各方面的优越性,在农业方面表现出了巨大的潜力,针对红外热成像自身低分辨率、低清晰度等的特征,网络模型准确率低等问题,随着深度学习等的不断发展和对于作物病害更好的认知,可拍摄更高质量的红外热图像并克服田间环境的影响,进而进行更早和更大规模的病害检测,以减少施药量,提高作物的品质,相信通过机器学习和红外热成像技术的不断发展可以让我国作物病害管控更加高效,在农业方面发挥更大的作用。