摘 要: 小麦麦穗的高效计数对快速、准确掌握小麦产量具有重要意义。无人机由于具有效率高、成本低等特点被广泛应用于大田小麦信息的采集。但已有的用于小麦麦穗计数的深度学习模型结构复杂、参数量大,不能直接部署在存储空间有限的无人机的边缘设备上。针对这一问题,提出了一种融合剪枝策略和知识蒸馏的模型压缩方法,基于YOLOv5s 模型构建了一种轻量化模型,并设计了面向无人机边缘计算的小麦麦穗计数轻量化方案。试验结果表明,经过模型剪枝和知识蒸馏轻量化处理的YOLOv5s 模型,在小麦计数任务上的计数准确率为93.3%,模型的mAP(meanAverage Precision,平均精度均值)达到94.4%,模型大小缩小了约76%,模型参数量减少了79.61%。因此,模型在保持较高的计数准确率的同时将会占用更少的计算资源和存储空间,显著的压缩效果使模型可以部署在无人机的边缘设备上,为小麦麦穗的实时计数提供了可能。
关键词: 麦穗计数;无人机;深度学习;边缘设备;剪枝;蒸馏
中图法分类号: TP391.41 文献标识码: A 文章编号: 1000-2324(2024)03-0453-13
小麦产量与国家粮食安全和经济效益有关,小麦穗数是评价小麦产量的关键指标,小麦穗数的及时、准确计数对产量预测具有重要的现实意义[1]。随着人工智能技术的迅速发展,尤其是深度学习在图像识别和处理方面的强大能力,已成为农业智能化的关键技术[2,3]。
传统的小麦穗数采集方法主要包括人工田间产量预测、基于历史数据的产量预测、基于年度情况的预测和利用遥感影像的预测。人工现场判断依赖于经验,准确性较低且劳动强度大。使用体积法测量小麦密度不仅成本高,而且效率低。遥感方法使用卫星图像作为样本,但由于图像距离地面较远,只适用于大规模处理和分析,因此小麦预测的精度较低。随着图像识别技术的发展,利用图像数据进行麦穗检测和计数已成为一种更为有效的方法[4]。传统的图像处理方法虽然可以在简单环境下实现麦穗计数,但存在特征工程复杂、识别精度低和可移植性差等问题。相较之下,基于深度学习的麦穗识别方法提供了更加有效的解决方案。
近年来,已有很多学者将卷积神经网络用于小麦麦穗检测或计数。Hasan[5]等采用深度学习方法,成功实现对麦穗的检测和计数,其准确率最高可达94%。Madec[6]等学者利用卷积神经网络从低空间分辨率的RGB 图像中识别麦穗。Zhao[7]等研究者提出了一种改进的基于Yolov5的方法,能够准确检测无人机(Unmanned AerialVehicle, UAV)图像中的麦穗数量。Gong[8]等学者提出了一种基于深度神经网络的麦穗检测方法,其平均精度值为94.5%。另外,Xie[9]等研究者引入特征金字塔及在线负样本挖掘技术,提出了一种基于深度学习的麦穗检测方法,成功实现对麦穗的检测,检测精度达到92.9%。Shi[10]等提出了一种新的麦穗检测算法YOLOv5s-t,通过改变空间金字塔中的卷积核大小来对麦穗进行检测,其平均精度值可以达到97.4%。Qiu[11]等利用局部小麦数据集对原始YOLOv5 模型结构进行优化,利用GhostNet 轻量级模块对YOLOv5模型结构进行优化,降低了模型的参数和计算复杂度,改进后的模型mAP为96.60%。
无人机技术具有成本低、操作方便、效率高等特点,被广泛应用于了小麦麦田信息的采集[12]。由于主干特征提取网络结构复杂,参数众多,已有的用于小麦麦穗计数的卷积神经网络只能部署在地面的中心服务器。近年来,为了提高麦穗检测的实时性并减少数据传输的延迟,越来越多的研究聚焦于开发可部署于无人机边缘设备的轻量化模型。这些模型通过简化计算过程和减少模型大小,使得无人机能够在飞行过程中实时进行麦穗检测和计数,极大地提高了作业效率和数据处理速度。在小麦麦穗检测和计数领域,Bhagat[13]等提出了一种轻量级的WheatNet-Lite 结构,采用混合深度卷积算法,在骨干网络中加入一个反向的残余瓶颈来设计轻量化模型。Dong[14]等引入了空间维度和通道维度的极化自注意,并采用Shuffle 单元将这两种注意机制有效地结合起来用在小麦穗检测上。Shen[15]等利用ShuffleNetV2 轻量级卷积神经网络对YOLOv5s 模型进行轻量化设计。Li[16]等将DCNv3 作为主干网内的部分卷积,采用FasterNet中的PConv 作为ELAN-W 模块的标准卷积,从而达到模型轻量化的目的。上述研究均是通过轻量化卷积、特征融合等人工设计方法来对卷积神经网络进行轻量化的。大田环境下,小麦麦穗密集,多个麦穗易存在粘附叠加现象,并且采集的麦穗图片的质量受外界环境和拍摄角度影响较大,因此大田小麦麦穗数据具有复杂性的特点。而人工设计的轻量化卷积神经网络对于复杂的任务或数据集,可能难以达到最佳性能。并且人工设计的轻量化卷积神经网络一旦设计完成后,要对网络进行更新或改进可能需要重新设计和训练,成本较高。相对于人工设计方法,基于现有模型进行优化和压缩的方法则具有更新成本低、性能保持等优点。
在众多的模型压缩技术中,剪枝和知识蒸馏是两种常用的模型压缩技术[17],它们在减少模型参数量和提升推理效率方面都有显著的优势。剪枝通过消除模型中冗余的连接和参数来减小模型的体积,降低计算资源需求,并提高推理速度。知识蒸馏则是引入一个辅助的小模型(教师模型),来引导学习一个更小而高效的模型(学生模型),在保持模型性能的同时减小模型的体积。在小麦麦穗计数领域,使用剪枝或知识蒸馏构建轻量化模型的研究较少。Shi[10]等构建了一个数据集,涵盖了小麦的三个生长阶段:开花、灌浆和成熟,以YOLOv5s 模型为基础进行剪枝,减少了模型参数量,使模型权重仅为9.1 MB。但此轻量化的模型大小仍有改进的空间。
因此,本文尝试将剪枝和知识蒸馏两种方法结合,充分发挥它们各自的优势,对模型进行轻量化设计,在保持较高准确率的同时,尽可能地减小模型大小,实现一个能有效进行小麦麦穗计数的轻量化模型,并使其能够搭载在无人机边缘设备上,实现小麦麦穗的实时检测和计数。
1 材料与方法
1.1 数据集构建
1.1.1 数据采集 数据采集点位于山东省泰安市山东农业大学泮河校区农学试验站,位置位于山东省泰安市泰山区在东经117°09′~117°10′和北纬36°09′~36°10′之间,海拔约120 m。该地区属于温带季风气候,适合小麦的种植和生产。地理位置图如图1所示。
由于无人机具备数据采集高效、节约人力资源、不影响小麦生长环境等优势,并能方便实现大范围的数据采集[18],因此本文基于大疆PHANTOM 4 PRO V2.0 无人机进行麦穗数据采集。搭载高分辨率摄像头的无人机在预定的飞行高度上对小麦麦田进行连续航拍,为了清晰拍摄小麦麦穗图像,飞行速度设置为1 m/s,其余飞行参数设置详见表1。