苏叶在线分选系统设计与试验

赵 博 王 烨 董 鑫 李亚硕 姜含露 吕程序

(中国农业机械化科学研究院土壤植物机器系统技术国家重点实验室， 北京 100083)

0 引言

苏叶不仅具有一定的药用价值，还具有较高的食用价值[1]。近些年，国内对诸如烤肉、寿司等料理的消费逐年增大，作为重要辅料的苏叶逐渐为人所知，市场不仅对苏叶的需求量快速增长，而且对其尺寸、形状、新鲜度等质量要求也越来越高。

依据不同尺寸规格制定苏叶价格，分等销售、分级贮存，满足不同食用需求，提高苏叶产品价值及竞争力，这是目前市场重点关注且急需解决的问题。然而，目前国内尚未见相应的苏叶分选系统，主要依靠人工来完成，耗时耗力，效率极低。

机器视觉是一种快速、经济、一致、客观、无损的检测技术，已被国内外学者广泛应用于蔬菜、水果等分选系统中[2-15]。SOFU等[16]利用机器视觉技术实现了对苹果尺寸、颜色、质量、缺陷的检测与分级。JARIMOPAS等[17]利用机器视觉系统对罗望子形状、尺寸、外部缺陷进行检测与分级。ABBASGOLIPOUR等[18]采用图像处理技术实现了对葡萄干纯度等的检测与分级。BLASCO等[19]采用多光谱机器视觉技术显著提高了常规机器视觉系统对柑橘外部缺陷检测的准确率。杜永忠等[20]利用机器视觉技术实现了对圣女果表面缺陷的检测与分选。文献[21-24]利用机器视觉与图像分析实现农产品分选。

本文应用机器视觉技术设计苏叶在线分选系统，以苏叶叶片最大长度为分选依据，利用苏叶叶片形态特征，设计基于最小圆的苏叶长度测量算法，以实现苏叶自动测量与分选。

1 硬件系统设计

1.1 总体结构设计

苏叶在线分选系统硬件部分主要由上料单元、检测单元、传输单元、分选单元、下料单元、供气系统以及控制系统组成。整机结构如图1所示，其中，1、2构成了上料单元主体，4～6构成了供气系统主体，7～9构成了检测单元主体，10～13构成了分选单元主体。

图3 控制系统工作原理图Fig.3 Schematic of system operation

图1 苏叶分选系统整机结构图Fig.1 Whole structure of sorting system for perilla1.第1执行机构 2.上料输送皮带机 3.控制系统 4.无油空气压缩机 5.过滤减压阀 6.精密减压阀 7.LED灯带 8.CCD相机 9.暗箱 10.第2执行机构 11.第3执行机构 12.第4执行机构 13.第5执行机构 14.传输单元 15.下料单元

1.2 关键部件设计

1.2.1上料单元

上料单元用于将待检测苏叶移送至检测单元。上料单元包括机架、上料电机、电机调速器、传动装置、辊子、上料输送带、第1执行机构。其中，第1执行机构如图2所示，可一次吸附4片苏叶，包括安装架、连接支架、无杆气缸、双杆气缸、真空吸盘。每个无杆气缸和双杆气缸上设有两个行程开关用于气缸动作控制。

图2 第1执行机构结构图Fig.2 Structure of the first actuator1.安装架 2.无杆气缸 3.连接支架 4.双杆气缸 5.真空吸盘

1.2.2控制系统

控制系统用于控制苏叶上料、检测、输送、分选、下料，控制系统包括工控机、控制器、输出扩展模块、继电器。控制系统的工作原理如图3所示，苏叶被摆放到上料输送带上，用于上料的执行机构将苏叶自动移送至检测单元；工控机利用检测单元结合软件系统接收信号，对图像进行采集、分析、处理并给出分选信号；S7-200分析处理信号，通过输出扩展模块、继电器控制分选单元和下料单元实现苏叶的分选和下料。

其他硬件系统功能和组成如表1所示。

1.3 系统工作流程

系统工作流程图如图4所示，具体流程如下：①开机。②调节无油空气压缩机至0.5 MPa，调节相机光圈和焦距至能获得清晰图像，激活各驱动电机，调节至合适速度。③人工上料至上料输送带，第1执行机构上料。④相机采集图像，工控机处理并输出分级结果。 ⑤控制器接收处理分选结果并控制不同分级阀组和真空发生器实现苏叶分级，即控制器首先判断分选信号中是否存在1级信号，若存在，则激活第2级执行机构对应阀组和真空发生器状态进而控制第2级执行机构将苏叶移送至下料输送带，若不存在，则直接将信号移位至下一级，依此类推，最后，若检测的苏叶不属于任何级别，则视为无效目标。⑥下料。

表1 部分硬件系统功能与组成Tab.1 Function and component of part of hardware system

图4 系统工作流程图Fig.4 Working flow chart of system

2 软件系统设计

2.1 苏叶长度测量算法

图5 苏叶测量长度示意图Fig.5 Schematic of length of measuring perilla

由于国内在苏叶分选上尚未有相应的分选标准，因此，本文参考国外苏叶分选标准，以苏叶叶片最大长度作为苏叶尺寸分选的唯一依据。图5所示苏叶是本文分选的目标，观察其外形可以看出，其叶片最大长度实际为叶尖PA和叶片与叶梗分离点PB的距离Lu。因此，本文对原始图像(图6a)依次进行灰度化、大津法阈值分割处理，获得二值图(图6b)，并对图像取反(图6c)，结合

图6 目标提取及最小外接圆获取Fig.6 Target extracting and minimum circumscribed circle searching

(1)

式中j′(x,y)——图6d中点(x，y)处的像素值

j(x,y)——图6c中点(x，y)处的像素值

Rmin、Rmax——行上、下阈值

对取反图像进行降噪处理(图6d)，去除背景干扰。但从降噪图像可以看出，部分叶片叶梗相连，这使得PB坐标难以获取，因此，对降噪图像进行形态学操作以完全分离叶片与叶梗。经试验发现，对降噪图像依次进行1次闭运算、2次腐蚀、2次膨胀处理的效果最好(图6e)。对降噪图像进行形态学操作后，分离的叶梗虽然成了噪声，但可以看出，该类噪声面积远小于目标轮廓所包围区域面积且数量较少，因此，一种有效的方法是通过区域面积进行筛选，在滤除噪声的同时对目标进行提取(图6f)，筛选公式为

(2)

式中Ce,i——图6e中第i个区域轮廓判定结果

Ai——第i个轮廓所包围区域面积

Ad——面积下限

Au——面积上限

N——检测出的轮廓数量

其中，判定结果为1表明该轮廓为苏叶轮廓，为0表明该轮廓为非苏叶轮廓。由于苏叶姿态的不确定性，使得PA、PB两点的坐标随着苏叶姿态改变而改变，这使得依靠PA、PB坐标进行测量比较困难。对此，本文采用一种简单有效的方法，即通过获取苏叶轮廓最小外接圆(图6g)，进而获取其直径D，并作为Lu的系统测量值。后续通过试验也证明了这是一种简单、快速、有效的方法。由于通过该方法得到的系统测量值是以像素为单位的长度，对此，本文先通过计算获得了转换系数k，将得到的系统测量值乘以该系数k得到待测量长度Lu的系统测量结果Lu,s，其中k的计算公式为

(3)

式中Li——苏叶叶片最大长度人工测量值，cm

Di——苏叶叶片最大长度系统测量值，像素

M——苏叶数量

整个算法流程如图7所示。

图7 苏叶长度测量算法Fig.7 Algorithm for measuring length of perilla

经试验得出，Rmin、Rmax分别取200、545像素时降噪效果最佳，如图6d所示。当Ad取6 000像素，Au取30 000像素时判别结果最佳，如图6f所示，红线表示苏叶轮廓。

2.2 测量结果排序

由于实际获取的苏叶轮廓(图8a)无规则排列，使得根据苏叶轮廓获取的最小外接圆无规则排列(图8b)，导致苏叶系统测量长度输出顺序较乱，使得软件系统根据苏叶系统测量长度给出的分选信号排列不规则，给后续分选控制带来一定的困难。因此，为使后续苏叶分选控制方便，在获取苏叶轮廓最小外接圆之前，对苏叶轮廓进行再排列以输出规则排列分选信号(统一采用从左到右排列顺序)。结合所识别苏叶的最大数量将整幅图分为4个区域，标识为1、2、3、4号，对苏叶轮廓进行再排列的公式为

(4)

式中Cz,i——第i片苏叶区域轮廓判定结果

cx,i——第i片苏叶区域轮廓中心点x坐标值

db——边界初始距离

dg——区间间隔

经试验可得，db取30像素，dg取330像素时，所得效果较好，如图8c所示。

图8 苏叶轮廓及最小外接圆(图中数字仅代表排列顺序)Fig.8 Contour and minimum circumscribed circle of perilla (numbers in map only represented sequence)

2.3 软件系统开发

基于上述算法，在Windows框架下，采用MFC和OpenCV3.4.0作为开发工具，设计了苏叶在线分选软件系统，主要包括控制面板、图像采集显示模块、结果展示模块、统计结果显示模块、日志生成控制模块与工作信息显示模块，软件系统界面如图9所示。

图9 软件系统界面Fig.9 Software system interface1.控制面板 2.图像采集显示模块 3.结果展示模块 4.统计结果显示模块 5.日志生成控制模块 6.工作信息显示模块

3 试验与结果分析

3.1 分选依据与样机

苏叶分选参考日本堀田生态农场股份有限公司相关标准，如图10所示，依据苏叶叶片最大长度Lu将苏叶分为4级，7～8.5 cm为1级，记为M规格；8.5～9.5 cm为2级，记为L(小)规格；9.5～10.5 cm记为3级，记为L(大)规格；10.5～12 cm为4级，记为2L规格。

图10 苏叶分选依据图Fig.10 Pursuant picture of perilla sorting

样机如图11所示，整机尺寸为5 000 mm×1 500 mm×1 500 mm，分选速度约为4片/s。

图11 苏叶分选样机Fig.11 Perilla sorting machine

3.2 图像标定

如2.1节所述，在苏叶长度测量算法中，所提取的直径是像素坐标下的值，因此，需要通过转换系数k将该像素直径转换为实际值。为此，选取苏叶120片，其中100片用于验证苏叶分选系统测量精度和分选效果，其余20片用于计算k。由于使用的相机基本无畸变，k计算步骤为：①初始时，设置软件系统中k为1。②采用游标卡尺对苏叶叶片最大长度进行测量，得到人工测量值Li。③将苏叶放入系统检测单元结合软件系统对苏叶叶片最大长度进行再测量，得到系统测量值Di。④利用步骤②、③所得测量信息结合式(3)重新计算k，得到结果为0.053 013 cm/像素。

3.3 长度精度试验

修改软件系统中k为0.053 013 cm/像素，k一经确定在装置不改变的情况下不需要再次修改。采用人工方式测量剩余100片苏叶最大长度并利用系统测量对应长度，所得测量结果和测量误差分别如图12、13所示，总体来看，测量误差较小，能够满足实际分选苏叶测量精度要求。

图12 苏叶测量结果对比Fig.12 Comparative diagram of measurement results of perilla

图13 误差曲线Fig.13 Diagram of error

3.4 分选试验

将人工测量后的苏叶摆放在上料输送带上，通过系统上料、检测、输送、分级、下料，进行苏叶分选试验，所得分选结果如图14所示，其中分选准确率的计算公式为

(5)

式中Pc——分选准确率Nc——分级正确数量

Nt——当前检测数量

图14 苏叶分选结果Fig.14 Sorting result of perilla

3.5 结果分析

经试验，苏叶分选系统单幅图像处理时间约为0.18 s，规格为M、L(小)、L(大)、2L的苏叶对应系统测量绝对误差最小值均为0 cm，最大值分别为

0.450、0.510、0.400、0.400 cm，平均绝对误差分别为0.145、0.148、0.186、0.162 cm，总体平均绝对误差为0.157 cm，对应分选准确率分别为93.10%、89.47%、77.78%、100%，总体分选准确率为90.09%，如表2所示。

表2 苏叶分选统计结果Tab.2 Sorting results of perilla

从表2可以看出，苏叶系统测量长度总体平均绝对误差较小，但每个规格苏叶对应系统测量绝对误差较大。主要原因是，在苏叶长度测量算法中，为有效分离叶片叶梗，对降噪后图像进行了多次形态学操作，使得叶尖以及叶片与叶梗连接点被腐蚀，导致系统测量的图像距离偏小，但由于即使使用相同的方式对不同苏叶进行形态学操作，其处理效果也不尽相同，使得在系统标定过程中，通过人工测量的苏叶叶片最大长度与其对应图像距离近似为比例关系，由此，使得后续测试系统性能时得到的测量结果存在一定程度上的误差。总的来说，本文所述分选设备结合本文所述苏叶长度测量方法，能够实现苏叶长度较为准确的测量和不同规格苏叶的快速分选，分选准确率较高。

4 结论

(1)设计了苏叶在线分选系统，包括上料单元、检测单元、传输单元、分选单元、下料单元、供气系统以及控制系统，实现了苏叶上料、检测、输送、分选、下料的全流程自动化。

(2)提出了苏叶长度测量算法，设计了苏叶测量结果信号反馈排序策略和苏叶在线分选软件系统，实现了苏叶长度在线快速测量及结果实时显示、统计以及软硬模块实时通信。

(3)以100片苏叶验证所设计的苏叶分选系统性能，试验结果表明，单幅图像处理时间约为0.18 s，分选速度约为4片/s，在苏叶长度测量和分选情况上，规格为M、L(小)、L(大)、2L的苏叶对应系统测量总体平均绝对误差为0.157 cm，总体分选准确率为90.09%。