甜瓜机械化采摘目标检测研究

李 超， 倪跃跃， 韩 腾， 姬文婷

（1.枣庄市农业农机技术推广中心，山东 枣庄 277800； 2.枣庄市农业综合执法支队，山东 枣庄 277800）

0 引言

甜瓜是世界10 大水果之一，是葫芦科草本植物的果实[1-2]。甜瓜口感脆爽、香甜浓郁，深受人们的喜爱。甜瓜含有丰富的蛋白质、脂肪和维生素等营养物质，具有水分充沛、可清热解暑、消烦止渴及利尿等功能[3-4]。甜瓜种植历史已有3 000 多年，中国是甜瓜生产和消费第一大国[5]。近年来，我国甜瓜种植面积快速增长，2020 年达到38.78 万hm2，其种植区域主要集中在新疆维吾尔自治区、山东省、河南省、河北省和江苏省等[6-9]。甜瓜采摘是每年收获季节的一个关键环节，费时费力。研究和发展甜瓜采摘机械化势在必行，目标检测在机械化开发中发挥关键作用。

近年来，随着人工智能的兴起，深度学习的迅速发展使得目标检测取得了重大突破。比较流行的算法可分为两类：一是two-steps 算法，如R-CNN、Fast RCNN，此类算法将目标检测任务分为目标类别和目标区域两个步骤；二是one-step 算法，例如YOLO、SSD，此类算法直接预测不同目标的类别和位置[10-12]。twosteps 算法检测精度高，但是卷积神经网络计算量大、速度慢；one-step 算法在保证检测精度的同时，检测速度快。YOLO（You Only Look Once）系列算法广泛应用于目标检测领域，并经历了v1～v7 的发展。YOLOv5和YOLOv7 在检测精度和速度都具有良好优势[13-15]。

YOLOv5 是 由 UitralyticsLLC 公 司 在2020 年 发 布的一种单阶段目标检测算法，有4 个版本：YOLOv5s、YOLOv5m、YOLOv5l 和 YOLOv5x。YOLOv5s 内存最小、速度最快，检测精度良好。商钰莹等[16]利用YOLOv5s 检测了自然场景下苹果花朵，模型的准确率为87.70%、召回率为94%。刘芳[17]基于YOLOv5 进行了柑橘果实的快速识别。YAO J 等[18]利用YOLOv5算法进行了猕猴桃缺陷实时检测。LAWAL O M 等[19]基于改进的YOLOv5 进行水果检测。

YOLOv7 是由WANG C Y 等[20]在2022 年6 月发布的一项最新的one-step 目标检测算法；官方版YOLOv7 相同比量下比YOLOv5 精度更高、速度快120%（FPS）。由于YOLOv7 模型发布时间近，关于YOLOv7 用于甜瓜农产品检测研究尚未有报道。本研究基于YOLOv5 和YOLOv7 算法进行了甜瓜图像的目标检测。

1 材料和方法

1.1 图像采集

本研究采用的甜瓜品种博洋9，是天津德瑞特种业有限公司培育的薄皮型甜瓜品种，具有丰产稳产优势。博洋9 甜瓜图像采集于山东省枣庄市龙潭家庭农场温室。图像分辨率为2 340×1 080，图像通道为RGB 3 通道。图像采集环境复杂，不同情况下的图像如图1 所示，包括了遮挡、光照变化、形状差异、采集角度和背景环境等多重因素。

图1 不同环境下的甜瓜图像Fig.1 Muskmelon images in different environments

采集到的图像共736 张，将图像随机分为训练集和测试集，比例4∶1，训练集图像为588 张、验证集图像148 张。

1.2 图像标注

在训练YOLOv5 和YOLOv7 模型之前，需要进行图像标注，即类别标签和图像检测位置。采用开源工具LabelImg 进行图像标注，标签文件以txt 格式保存，名称与图像一致，txt 文件表示法如图2 所示。txt 文件中，第1 个数据表示物体类别，“0”是指甜瓜；第2个和第3 个数据表示标注框的中心点坐标（x，y）；第3 和第4 个数据是分别表示标注框的相对宽度W和相对高度H。图像标注原则为标注框在覆盖目标的同时尽可能小，使目标信息占比尽可能大。对于有遮挡的目标，根据虚拟形状进行标注。

图2 图像标注文件txt 文件数据表示含义Fig.2 Image annotation file txt file data representation meaning

1.3 模型

1.3.1 YOLOv5 模型

YOLOv5 网络结构由Backbone、Neck 和Head 组成。其中Backbone 主要使用了CSDarknet53+空间金字塔池化SPP 模块。颈部（Neck）采用了FPN+PANet 结构，头部结构和YOLOv3 一致，YOLOv5 头部采用了G-IOU 损失函数。YOLOv5 的网络结构如图3 所示，本研究采用YOLOv5s 权重模型。

图3 YOLOv5s 模型结构Fig.3 YOLOv5s model structure

1.3.2 YOLOv7 模型

YOLOv7 算法网络结构整体与YOLOv5 相似，不同之处主要集中在网络结构内部组件的更换。YOLOv7 的backbone 使用了ELAN（Extended efficient layer aggregation networks）和MP（Maxpool 和CBS）结构。ELAN 通过控制最短最长的梯度路径，使得更深的网络可以有效地学习和收敛。YOLOv7 的Head 引入RepVGG 改造了Head 网络结构，并使用了辅助头（auxiliary Head）训练及相应的正负样本匹配策略。

1.4 试验平台

本研究试验平台搭建：计算机为Lenovo Legion R90000P 2021H，操作系统为Windows 10（专业版），CPU 为 AMD Ryzen 7 5800H 3.2 GHz， GPU 为RTX3060，RAM 为16GB，CUDA v11.7，OpenCV v 4.6.0.66。

将训练集588 张图像分别进行YOLOv5 和YOLOv7模型训练，输入模型的图像大小640×640，每批次样本数32 个，epochs 为100，初始学习率为0.01。

1.5 模型评估

为验证模型优劣，对模型进行评估，使用精度P、召回率R、F1系数（score）、平均精度AP作为评估参数。计算公式如下

式中TP——真阳样本数

FP——假阳样本数

FN——假阴样本数

AP——平均精度

2 结果与讨论

2.1 模型分析

用148 张、共474 个标签的验证集图像验证训练好的YOLOv5 和YOLOv7 模型，验证结果如表1 所示。YOLOv5 使用精度86.1%，比YOLOv7 使用精度略高；YOLOv5 召 回 率 82.5%， YOLOv7 召 回 率 85.8%；YOLOv5 平均精度90.2%，YOLOv7 平均精度92.5%；而从检测速度看，YOLOv5 和YOLOv7 一致，检测速度均高，为83.33FPS。综合比较，认为YOLOv7 模型最优，YOLOv7 的PR 曲线如图4 所示。

表1 不同模型的检测结果Tab.1 Results of different models

图4 YOLOv7 模型P-R 曲线Fig.4 P-R curve of YOLOv7 model

2.2 测试结果

2.2.1 不同环境下图像测试

将上述不同环境下的图像拼接成一张图像，用YOLOv5 和YOLOv7 模型进行检测，结果如图5 所示。

图5 不同环境下甜瓜图像的模型测试结果Fig.5 Models test results of muskmelon images in different environments

YOLOv5 将一个铁夹错检为甜瓜，用x号标注；漏检一个形状较大的甜瓜目标，用○标注；其他大型甜瓜目标均能被检测出，另外，还能检测出部分特小、模糊的目标。YOLOv7 没有错检样本，全部检测出大型甜瓜目标，而大部分特小、模糊目标也能被检测出来。综合评定，在不同环境下，检测甜瓜大目标，YOLOv7 比YOLOv5 检测效果更佳。

2.2.2 随机图像测试

随机选取1 张图像进行YOLOv5、YOLOv7 模型测试，结果如图6 所示。从检测结果分析，此图像含有铁夹，但是YOLOv5、YOLOv7 均未将其认为甜瓜目标，而上述不同环境下的图像检测出错，可能是由于多张图像拼接在一起导致目标过小而引起的。

图6 随机甜瓜图像模型测试结果Fig.6 Random melon image model test results

YOLOv5 检测出11 个甜瓜目标，YOLOv7 检测出13 个甜瓜目标，比YOLOv5 多检测出2 个小目标。此结果验证了上述不同环境下检测结果，说明YOLOv7在全部检测大目标同时，小目标也容易检测出来。

3 结束语

本研究采用了YOLOv5 和YOLOv7 模型进行博洋9 甜瓜检测的研究。

（1）两个模型检测结果良好，平均精度都超过90%。

（2）相较于传统的YOLO 系列，YOLOv5 和YOLOv7 模型的检测速度均较好，达到了83.33FPS。

（3）经测试，YOLOv5 和YOLOv7 均检测出大型甜瓜目标和部分小型甜瓜目标。

研究表明，基于YOLOv5 和YOLOv7 模型进行甜瓜检测是可行的。 这两个模型可应用于甜瓜采摘机械化技术开发的目标检测环节。