基于YOLOv5网络的缺陷硬糖智能分拣系统研究

朱婷婷，程 磊，王锦亚，居荣华，倪 超

（南京林业大学 机械电子工程学院，南京 210037）

0 引言

糖果作为日常消费品，是世界食品零售市场的重要组成部分。中国糖果产业在世界食品市场中占据重要地位，2019年中国糖消费量为1580万吨，消费量位居全球第三［1］。硬糖作为糖果中的一个品类，是将糖浆经高温熬煮制得，其糖体形态固定、坚硬而质脆。硬糖的品质受熬制温度、熬制时间、配料等因素影响［2］。对于国内糖果厂来说，生产高品质的硬糖是其提高产业竞争力和争夺国际糖果市场的关键。然而，在熬制硬糖过程中，由于进料不足、吸湿、产生气泡等原因会导致硬糖产生表面凹陷、体积形变等缺陷［3］。为此，大多数糖果厂通常采用检查员目视识别，并手工挑出生产线上缺陷硬糖的方法保证产出硬糖的质量。但是这种人工操作耗时低效、劳动强度大，且无法保证一致性。

近年来，机器视觉在智能分选中得到广泛应用，其中基于深度学习的图像识别和目标检测技术更是在这一领域取得了较好的成果［4］。例如，王德镇等［5］分析了深度学习在小浆果分选中的应用，具有鲁棒性好、检测速度快等优势；孙美艳等［6］采用机器视觉技术，通过决策树算法获得了面团发酵过程的可视化树，从而准确地控制发酵时间，对智能烘培技术的发展有着重要意义；宋超［7］通过对比K-means结合支持向量机的传统方法和深度学习方法检测鸡蛋裂纹，发现基于深度学习的缺陷识别率高于传统方法近3%；FAN等［8］使用卷积神经网络对苹果进行缺陷分拣和检测，准确率达到92%；王淑青等［9］使用YOLOv4神经网络检测小龙虾质量，准确率达到97.8%。因此，将机器视觉引入食品生产行业，可以提高生产效率、降低劳动强度、改善生产自动化程度［10］。

针对人工分选缺陷硬糖效率低、漏检等弊端，本文设计一种全自动硬糖分选系统，将机器视觉和深度学习引入缺陷硬糖的检测分选过程，提出基于卷积神经网络的缺陷硬糖智能分选方法，配套工业相机采集生产线上硬糖图片进行检测识别，并通过喷阀剔除缺陷硬糖。该智能分选系统旨在代替人工分选，并提高分选效率，实现硬糖缺陷识别与分选的全自动化。

1 分选系统设计

1.1 分选系统的硬件组成

硬糖智能分选系统的硬件结构如图1所示，主要由AI计算机（Jetson Xavier NX）、工业相机、开孔面光源、可编程逻辑控制器（PLC）及喷阀机构等组成。其中，AI计算机与工业相机通过千兆网线连接，与PLC通过RS-485连接。

图1 系统结构示意图Fig.1 The structure diagram of the sorting system

AI计算机为整个系统的“大脑”，负责进行图像处理及深度学习网络的计算，并把识别结果传输给PLC。系统选用基于NVIDIA VoltaTM架构的Jetson Xavier NX，其配备384个NVIDIA CUDA核心和48个Tensor核心，可为边缘提供性能高达21TOPs的加速AI计算，能够并行运行多个现代神经网络。

工业相机作为分拣系统的“眼睛”，是机器视觉系统中必不可少的部分，其本质功能是将光信号转换成电信号。工业相机具有非常高的帧速率和优秀的图像质量，使其在机器视觉系统中越来越多的替代CCD相机［11］。系统选用海康威视公司生产的MV-CA050-10GC型面阵工业相机，以及MVL-HF0824M-10MP型1 000万分辨率工业镜头。工业相机的参数如表1所示。

表1 工业相机参数表Tab.1 Parameters table of industrial camera

喷阀机构由喷阀和40个喷嘴组成，由PLC控制高低电平实现喷阀开启和关闭，1 s可进行50次开关操作。40个喷嘴分别对应传送带横截面的40个划分区域，以确保精准地击打传送带上任意位置的缺陷硬糖。

1.2 分选系统原理与工作流程

硬糖智能分选系统的工作流程如图2所示。振料盘作为上料机构，通过振动将冷却后的硬糖分散地撒落在传送带上，传送带以2 m/s的速度运行。首先，硬糖将向前输送至采集箱中，为了防止外界环境光对采集图像产生影响，采集箱采用封闭设计以保证不透光，包含工业相机和开孔面光源等。然后，工业相机将拍摄的硬糖图片通过千兆网口传送至AI计算机，计算机运行部署好的基于YOLOv5网络的缺陷硬糖分类算法对图片进行识别，并将检测结果及缺陷硬糖的坐标信息通过Modbus通信协议发送给PLC，PLC将根据计数编码器脉冲在缺陷硬糖到达喷嘴区域时开启喷阀。当硬糖到达传送带末端时，没有缺陷的硬糖将因为惯性飞出并落入正常硬糖收集框，而具有缺陷的硬糖将在飞行过程中被上方喷嘴喷出的气流改变飞行轨迹，落入缺陷硬糖收集框。至此，系统剔除缺陷硬糖，将缺陷硬糖与没有缺陷的硬糖进行分选。

图2 系统工作流程图Fig.2 Flow chart of the sorting system

2 基于YOLOv5网络的缺陷硬糖分选算法

YOLOv5网络是 YOLO（You Only Look Once）架构系列的最新网络［12］，由Ultralytics公司于2020年5月提出，具有检测精度高、实时性强等优点，最快检测速度可达到每秒140帧。同时，YOLOv5网络模型的权重文件大小比YOLOv4小了近90%，因此非常适合被部署到嵌入式设备上进行实时检测。目前，在交通运输等领域已经取得了较好的应用［13］。

根据采集到的糖果图像特点，对YOLOv5卷积神经网络进行修改，实现对缺陷硬糖的检测和分类，然后将训练好的缺陷硬糖检测算法部署到Jetson Xavier NX计算机上，处理工业相机拍摄的硬糖图像，实现对缺陷硬糖的检测和识别。YOLOv5网络模型的结构主要由Backbone、Neck、Detect 3个部分组成，如图3所示。其核心思想是将输入图像划分为若干个网格，每个网格负责预测目标框的回归坐标及置信度，过滤置信度较低的目标框并对保留的目标进行非极大值预测处理，最终得到预测结果［14］。

图3 YOLOv5网络模型结构Fig.3 The structure of YOLOv5 network model

2.1 Backbone网络

Backbone网络包含Focus和CSPNet结构。Focus结构使用切片和卷积操作将输入的3通道图像分割成3×320×320的4个切片，以减少模型计算量，加快训练速度。CSPNet结构旨在更好地提取图像的深层特征，通过进行局部跨层融合，利用不同层的特征信息来获取更丰富的特征图［15］。

2.2 Neck网络

Neck网络是一系列混合图像特征的聚合层，采用FPN+PAN的结构。FPN是通过上采样的方法传递和融合信息，从而获得预测的特征图。由于该网络的特征提取采用了自上而下的特征金字塔网络，因此能够提高低层特征的传输，增强对不同尺度目标的检测，可以精确地识别具有不同尺寸和比例的目标对象［16］。

2.3 Detect网络

Detect网络用于模型的最终检测部分，包括Bounding box损失函数和非极大值抑制（Non-Maximum Suppression，NMS）。它将锚框应用于从上一层输出的特征图，并输出一个包含目标对象的类别概率和目标框坐标的向量。YOLOv5中使用GIOULoss作为损失函数，增加相交尺度的衡量，解决边界框有时不重合的问题。如A表示真实标注的目标框面积，B表示算法预测目标框面积，C表示包含A与B的最小矩形框面积，D表示A与B最大重叠的矩形框面积，则损失函数如下式所示。

其中，IOU表示D与C的比值；Δ表示C中除去D部分的面积。针对众多目标框的选择，模型采用加权NMS操作选取最优选择结果。

3 数据收集与算法训练

3.1 硬糖缺陷分类标准

本文收集了4种不同品类的硬糖，人为地将这些硬糖分为3种类别，分别为正常硬糖、形状规整但含有洞或者坑的硬糖、轮廓破碎且形状不规则的硬糖。各类硬糖图像具体如图4所示。

图4 硬糖缺陷分类示意图Fig.4 Schematic diagram of classification of defective hard candies

3.2 图像数据收集与标注

检测缺陷硬糖的网络模型使用自制数据集进行训练，该数据集根据工业相机拍摄硬糖生产过程中包含缺陷硬糖样本的图片制作而成。由于训练数据集样本的数量和多样性决定检测算法模型的训练效果和泛化能力，因此为了避免因相机采集的图像数据较少而导致模型过拟合，采用图像增强方法，将图像随机旋转、镜像翻转和改变亮度来扩充数据集，使得训练后的检测网络模型能够满足对不同位置、角度和亮度下的硬糖的检测要求，具有较好的识别效果，保证模型的鲁棒性。通过图像增强后共得到同一品类硬糖图像400张，包含了该品类硬糖3种类别的硬糖样本。

在训练基于YOLOv5网络缺陷硬糖检测算法前需要对数据集进行标注。选择使用LableImage数据标注软件标注缺陷硬糖的位置及其缺陷种类。标注有洞或者坑的硬糖为类别0，标签为hole；标注轮廓破碎且形状不规则的硬糖为类别1，标签为defect。数据标注完成后保存YOLO数据格式的文本文件用于模型训练。

3.3 基于YOLOv5网络缺陷硬糖检测算法训练

基于YOLOv5网络缺陷硬糖检测算法在试验室服务器上进行训练，训练平台配有Intel i7-8700 3.20GHz 的 CPU、Nvidia RTX 2080Ti 的 GPU以及16G的显存。YOLOv5网络模型的训练参数设置：输入图像大小为640×640，Batch-size大小为32，最大迭代次数为300，动量因子为0.9，权重衰减系数为0.000 5，初始学习率为0.01。

采用召回率（recall）和精准率（precision）作为缺陷硬糖检测算法的评价指标。召回率是指样本中的正确类别被预测正确的概率，即：

其中，TP表示将正确类别预测为正确类别的个数；FN表示将正确类别预测为负类别的个数。

精准率是指数据集中预测正确的正样本总数与实际正样本总数的比值，即：

其中，FP表示将负类别预测为正确类别的个数。

采用上述图像构成的训练集对缺陷检测算法进行训练，训练得到的召回率和精准率如图5所示。在经过250次迭代后，模型趋于收敛，模型的召回率达到0.97，说明模型能够精准地检测出具有缺陷的硬糖。

图5 模型性能评估Fig.5 Performance evaluation of the proposed model

4 生产现场测试

缺陷硬糖智能分选系统的机械部分由南通某公司制造，通过将训练完成的YOLOv5网络模型部署至AI计算机上，剔除有缺陷的硬糖，分选出没有缺陷的硬糖。经过测试，该模型部署在Jetson Xavier NX上后对每张糖果图像的平均检测速度达到35 ms，符合工业生产实时性强、速度快的需求。

为进一步验证系统的实际使用效果，在工业生产现场对系统进行测试。根据之前人工筛检的结果，在硬糖的实际生产过程中，具有缺陷的硬糖出现的概率约为5%。为提高测试难度，将含缺陷的硬糖占比提高到10%，同时提高上料速度。具体为在200颗硬糖中混入20颗具有缺陷的硬糖，通过振料盘将硬糖散落到传送带上，使其随传送带运送至视觉系统工作区域，分选系统对缺陷硬糖的检测效果如图6所示。

图6 测试中的缺陷硬糖检测结果Fig.6 Detection results of defective hard candies during the testing process

在实际测试中发现，由于上料速度提高，导致传送带上硬糖分布较密集，气流在击打缺陷硬糖的同时可能会将其周围的正常硬糖连同打出，此现象称为“带出”。通常采用带出率来衡量分选系统这一性能，即带出的正常硬糖数与整体分选正常硬糖数的百分比。经过5次测试，系统分选结果如表2所示。系统的召回率在95%～100%之间，5次整体召回率达到98%；带出率在1.67%～2.22%，5次整体带出率为1.78%。在实际生产中缺陷硬糖出现的概率大约为5%，且传送带上硬糖更加分散，因此实际使用中带出率会更低。综上所述，分选系统性能能够达到硬糖实际生产的工业需求。

表2 现场测试结果Tab.2 Results of the proposed model in the field testing

5 结语

本文提出了一种基于YOLOv5卷积神经网络的缺陷硬糖智能分选系统，通过YOLOv5网络模型完成对缺陷硬糖的检测识别，结合喷阀实现对缺陷硬糖的分拣。经过生产现场的测试，缺陷硬糖召回率达到95%以上，带出率低于2.22%。检测精度高、实时性好、工作速度快，具有高度自动化和智能化水平，有效解决了人工分选存在的效率低、成本高、错误率高等问题，可以满足食品生产工业中的需求，具有一定的应用和推广价值。