摘要:农业是国民经济的一个重要产业,推进农业农村现代化建设是社会主义现代化建设的重大任务。随着智慧农业的发展,深度学习技术在农业图像数据分析中的应用越来越广泛。深度学习技术在农业图像处理方面的应用,有效地降低生产成本,提高农业生产效率,加快农业现代化的发展进程。系统介绍了目标检测、图像识别和图像分割3种常见的深度学习技术在农业图像处理中的应用现状,希望能为后续研究者提供帮助。
关键词:深度学习农业图像处理目标检测图像分类图像分割
中图分类号:TP391
ReviewofResearchonAgriculturalImageProcessingBasedonDeepLearningTechnology
WANGWanwan
CollegeofComputerandInformationEngineering,HenanNormalUniversity,Xinxiang,He’nanProvince,453007China
Abstract:Agricultureisanimportantindustryinthenationaleconomy,andpromotingthemodernizationofagricultureandruralareasisamajortaskofsocialistmodernization.Withthedevelopmentofsmartagriculture,DeepLearningtechnologyismoreandmorewidelyappliedinagriculturalimagedataanalysis.TheapplicationofDeepLearningtechnologyinagriculturalimageprocessinghaseffectivelyreduced ;productioncosts,improvedagriculturalproductionefficiency,andacceleratedthedevelopmentprocessofagriculturalmodernization.ThearticlesystematicallyintroducesthecurrentapplicationstatusofthreecommonDeepLearningtechnologies,includingobjectdetection,imagerecognition,andimagesegmentation,inagriculturalimageprocessing.Itishopedtoprovideassistanceforfutureresearchers.
KeyWords:DeepLearning;Agriculturalimageprocessing;Objectdetection;Imagesegmentation;Imagesegmentation
随着物联网与人工智能技术的发展,我国已经进入了智慧农业时代。智慧农业的发展使得农业物联网和智能农机装备越来越先进,农业图像数量急剧增加。如何从大量的图像数据中提取出有用的信息,为农业生产提供技术支持,成为迫切需要解决的问题。近年来,深度学习技术在数字图像处理领域取得了令人瞩目的进步。深度学习不需要过多的数据预处理操作,就可以自主学习数据的特征,并且其具有特征表达能力优、鲁棒性高和泛化性强的特点,因此逐渐被应用到农业图像数据分析的研究中。
1基于深度学习的农业目标检测
目标检测主要是在图像中找到所关注目标对象,用矩形框将目标锚定,对目标进行分类并且标记目标的位置。目标检测在目标跟踪和农业智能化领域有着重要的应用。
目前基于深度学习的目标检测方法主要分为两大类:第一类是以FasterR-CNN算法为代表的双阶段(two-stage)目标检测算法,该类算法首先需要找出含有目标对象的候选区域,然后通过对候选区域分类和回归操作进而得到目标检测结果。该类算法的检测精度较高,但是实时性较差。李佳俊等人[1]使用ResNet50替代传统FasterR-CNN模型的主干特征提取网络,在草莓果实识别任务中表现出了较好的检测性能与技术能力。李翠明等人[2]提出改进的FasterR-CNN模型,该模型使用ResNet50作为特征提取网络,并在每一层的卷积后引入高效通道注意力机制进行通道特征加强,最后将不同尺度特征输入征金字塔实现多尺度融合。该算法提高了果实采摘机器人在自然环境下果实分布密集、枝叶遮挡等情况下对可抓取苹果的精度。
第二类是基于回归的单阶段(one-stage)目标检测算法,该算法不需要找出候选区域,而是直接通过卷积神经网络提取图像特征,同时对目标物体的分类和定位进行预测。该算法检测速度快,准确率较高,适合农业实时检测场景。YOLO算法是一种one-stage目标检测算法,该算法于2015年被提出,经过一代一代的发展更新,截至目前已经更新到YOLOv9。YOLO算法被广泛应用于植物叶片和果实的检测和识别。张震等人[3]将部分卷积和ECA模块引入YOLOv7模型中,不仅将模型进行了轻量化改进,还增强了模型的特征提取能力。在模型训练过程中,使用麻雀搜索算法(Sparrowsearchalgorithm,SSA)的学习率优化策略提高了模型的检测精度。改进后的模型可以在复杂的果园环境下准确地识别出苹果,有利于苹果采摘的智能化进程。刘莫尘等人[4]在YOLOv8-Pose网络的Neck部分加入Slim-neck模块,并在特征提取层融入了卷积块注意力模块。改进后的模型不仅能提升对草莓这种小目标的检测能力,还能提高对草莓果柄检测的准确性。基于深度学习技术的目标检测可以做到提前防治病虫害,提高农产品的生产质量,有利于推动农业智能化和自动化的发展。
2基于深度学习的农业图像分类
图像分类算法性能不断地提高,越来越多的网络模型被应用到农业图像的分类中。陈善雄等人[5]采用最大稳定极值区域与卷积神经网络结合的方法,实现对荞麦发病区域的精确检测,分离病害与非病害区域,准确定位病灶。同时,将两级inception结构引入传统卷积神经网络的框架上,并采用基于余弦相似度的卷积代替传统的卷积运算。最终,该模型在苦荞病害的识别中取得了97.54%的准确率。张艳等人[6]采用ResNet12提取RGB茶叶病害特征和灰度茶叶病害特征,并基于这两个特征构建图神经网络的两个子节点和两条边,交替更新双节点和双边,提高边特征对节点度量的准确性,该模型在数据集样本不充足条件下提高了对茶叶病害分类的准确性。姜红花等人[7]在ResNet18网络中引入通道注意力和空间注意力模块,增强了苹果叶部病斑区域的特征提取能力,进而提高了苹果病害的分类准确率。同时,通过引入特征图随机裁剪分支对模型进行优化,提升了模型的识别实时性。姜晟久等人[8]将可分离扩张卷积块应用于MobileNetv2模型中,扩大感受野以增强番茄叶部病害特征提取。通过替换PReLU激活函数并应用通道剪枝技术,在减少参数的同时增强网络的鲁棒性,提高了对番茄叶部病害的识别能力。袁培森等人[9]采用注意力机制改进MobileNetv3Small模型,并使用迁移学习,将PlantVillage数据集上训练好的模型迁移到水稻病害数据集上,提高了病害的识别准确率。
3基于深度学习的农业图像分割
近几年深度学习成为计算机视觉的研究热点,这些新的方法也被应用到图像分割领域中来。目前在图像分割任务中应用最广泛的是U-Net和全卷积神经网络。Li等人[10]将残差块和门控卷积应用到U-Net模型中来提取边缘信息,为了进一步提升分割效果,模型还引入空洞卷积。最后,采用了空洞空间金字塔池化结构,将U-Net的边缘特征与其高层次特征相融合,显著地提高了青苹果果实的分割精度和模型的泛化能力。韦钙兴等人[11]在U-Net网络的编码器上使用BAResNeXt模块,用来增强每层分割对象特征并减少计算参数,网络中引入交叉注意力模块和SE注意力机制提高网络对于水稻叶片的分割能力,改进后的网络模型各评价指标均有不同程度的提升。侯文慧等人[12]将MobileNet-v3Large和U-Net网络相结合用于草莓垄间图像实时分割,并将模型迁移学习到蓝莓和葡萄垄间分割中以验证模型的泛化性和准确性,该模型在果实垄间路径的实时提取准确性较高。
除了以上最常用的网络模型外,其他的模型结构在农业图像分割中也有优越的表现。董娅兰等人[13]提出了以残差网络和特征金字塔网络为主干特征提取网络的MaskR-CNN模型,用于葡萄藤关键结构的分割,该模型具有较好的拟合性和泛化性能。Peng等人[14]将DeepLabV3+语义分割模型和Xception深度可分离卷积特征有效融合,采用了空间金字塔池化技术以更精确地捕捉语义像素的位置信息。此外,还借助数据增强和迁移学习的方法,显著加速了模型的收敛速度,并增强了模型的鲁棒性,该模型在荔枝树枝语义分割中表现出色。李旭青等人[15]将OCR模块(object-contextualrepresentations)入CAHRNet模型中,对输出特征进行粗略的类别区域分割,并采用坐标注意力机制来提高模型边缘细节信息的提取能力,提高了冬小麦作物田块分割的准确性。
4结语
深度学习技术的应用促进了农业智能化的发展,加快了智慧农业的发展进程。但是深度学习在农业图像处理中的应用也存在一些问题:深度学习模型的性能受预训练数据量影响,在数据量充足和数据质量较好的情况下,模型的性能也更好。然而实际的数据集中,由于光照、背景和角度等因素的影响会导致数据的质量参差不齐,如何综合考虑以上问题并构建典型的公开数据集,是促进深度学习技术在农业发展的关键。由于深度学习对计算资源的要求比较高,这就增加了实际生产应用中的成本,如何能够在保证检测精度的同时降低成本,在硬件水平不高的情况下,网络模型也能够稳定运行,是研究者需要进一步探索的方向。
参考文献
[1].李佳俊,朱子峰,刘洪鑫,等.基于改进FasterR-CNN模型的草莓果实识别算法[J].湖北农业科学,2023,62(11):183-190.
[2].李翠明,杨柯,申涛,等.基于改进FasterR-CNN的苹果采摘视觉定位与检测方法[J].农业机械学报,2024,55(1):47-54.
[3].张震,周俊,江自真,等.基于改进YOLOv7轻量化模型的自然果园环境下苹果识别方法[J].农业机械学报,2024,55(3):231-242,262.
[4].刘莫尘,褚镇源,崔明诗,等.基于改进YOLOv8-Pose的红熟期草莓识别和果柄检测[J].农业机械学报,2023,54(S2):244-251.
[5].陈善雄,伍胜,于显平,等.基于卷积神经网络结合图像处理技术的荞麦病害识别[J].农业工程学报,2021,37(3):155-163.
[6].张艳,车迅,汪芃,等.基于双节点-双边图神经网络的茶叶病害分类方法[J].农业机械学报,2024,55(3):252-262.
[7].姜红花,杨祥海,丁睿柔,等.基于改进ResNet18的苹果叶部病害多分类算法研究[J].农业机械学报,2023,54(4):295-303.
[8].姜晟久,钟国韵.基于可分离扩张卷积和通道剪枝的番茄病害分类方法[J].江苏农业科学,2024,52(2):182-189.
[9].袁培森,欧阳柳江,翟肇裕,等.基于MobileNetV3Small-ECA的水稻病害轻量级识别研究[J].农业机械学报,2024,55(1):253-262.
[10].LiQ,JiaW,SunM,etal.AnovelgreenapplesegmentationalgorithmbasedonensembleU-Netundercomplexorchardenvironment[J].ComputersandElectronicsin ;Agriculture,2021,180:105900.
[11].韦钙兴,易文龙,刘昱成,等.基于改进U-Net的水稻叶片细胞分割方法研究[J].河南农业科学,2023,52(3):153-160.
[12].侯文慧,周传起,程炎,等.基于轻量化U-Net网络的果实垄间路径识别方法[J/OL].农业机械学报,1-13[2024-06-17].http://kns.cnki.net/kcms/detail/11.1964.S.20240103.0955.011.html.
[13].董娅兰,胡国玉,刘广,等.基于MaskR-CNN模型的葡萄藤关键结构分割方法[J].中国农机化学报,2024,45(2):207-214.
[14].PengH,XueC,ShaoY,etal.SemanticsegmentationoflitchibranchesusingDeepLabV3+model[J].IEEEAccess,2020,8:164546-164555.
[15].李旭青,吴冬雪,王玉博,等.基于改进HRNet的遥感影像冬小麦语义分割方法[J].农业工程学报,2024,40(3):193-200.