基于Jetson Nano处理器的大蒜鳞芽朝向调整装置设计与试验

李玉华，刘全程，李天华，吴彦强，牛子孺，侯加林

基于Jetson Nano处理器的大蒜鳞芽朝向调整装置设计与试验

李玉华1,2,3，刘全程1，李天华1,2,3，吴彦强1,2,3，牛子孺1,2,3，侯加林1,2,3※

（1. 山东农业大学机械与电子工程学院，泰安 271018；2. 山东省农业装备智能化工程实验室，泰安 271018；3. 山东省园艺机械与装备重点实验室，泰安 271018）

为满足大蒜定向播种的农艺要求，针对现有大蒜鳞芽调整方法对杂交蒜适应性差的问题，该研究设计了一种基于Jetson Nano处理器的大蒜鳞芽朝向自动调整装置。采用双卷积神经网络模型结构，其中一个神经网络模型对大蒜是否被喂入进行实时监测，检测到大蒜喂入调整装置后，一个ResNet-18网络模型对蒜种鳞芽朝向进行判断，当鳞芽朝上时大蒜鳞芽调整机构打开Y型料斗使大蒜以鳞芽朝上的姿态直接落下，当鳞芽朝下时大蒜鳞芽调整机构翻转180°带动大蒜一起翻转后以鳞芽朝上的姿态落下，实现大蒜鳞芽朝向实时调整。神经网络模型推理及舵机控制采用英伟达边缘计算处理器Jetson Nano进行处理。利用离散元分析软件EDEM结合正交试验方法对调整装置的关键结构参数进行优化，并以杂交大蒜为试验对象进行台架试验，试验结果表明：大蒜鳞芽调整成功率为96.25%，模型推理时间0.045 s，平均每粒大蒜调整时间为0.785 s，满足大蒜播种机播种要求。该文研究结果可为解决杂交大蒜直立播种问题及边缘计算在精密播种设备中的应用提供有益参考。

机器视觉；深度学习；边缘计算；Jetson Nano处理器；大蒜；鳞芽朝向

0 引 言

定向播种[1]对大蒜产量、品质及出苗一致性有极其重要的影响[1-3]，并且便于对薄膜覆盖大蒜进行破膜。单粒定向播种是大蒜种植的基本要求，大蒜播种密度大，人工劳动强度极大，可靠的自动化大蒜播种机是当前大蒜种植户的迫切需求，而大蒜鳞芽自动调整是机械化播种推广的关键技术[4]。

近年众多学者及科研人员对大蒜鳞芽朝向自动调整进行了研究。其中典型机械式鳞芽朝向调整装置有双鸭嘴式大蒜鳞芽调整装置[5]、三级锥形料斗鳞芽调整装置[6]、锥形螺旋导管自动定向装置[7]和旋转式蒜瓣单粒定向取种装置[8]。这些鳞芽朝向调整装置主要利用大蒜重心靠近底部或鳞芽狭长的物理特点进行鳞芽朝向调整，对于形状规则的薹蒜等品种具有良好的效果，但对杂交大蒜等形状不规则的大蒜品种则效果不理想。

近年随着机器视觉[9-10]及深度学习[11-12]应用的发展，在杂草识别[13-14]、害虫检测[15-17]、水果采摘[18]及分拣等农业领域已有众多研究及应用，技术已相对成熟。已有学者利用机器视觉对大蒜鳞芽识别和朝向调整进行了研究，杨清明等[19]利用数字图像形态学对大蒜图像进行处理，进而判断大蒜鳞芽位置；方春等[20]利用CNN的局部感知特点，提出了基于深度学习的大蒜鳞芽朝向识别算法；吴献等[21]通过对蒜瓣样本图像进行形态学处理，采用种观测窗的方法识别定位蒜瓣的尖角位置；赵丽清等[22]通过对大蒜图像形态学处理后运用质心中心判别法判定大蒜的朝向并进行定位。

上述关于大蒜鳞芽调整的研究只是针对鳞芽识别算法层面，还未对机械和控制相关的应用进行具体研究。此外，侯加林等[23]设计了一款大蒜鳞芽调整试验装置，通过树莓派对大蒜图像进行处理并判断鳞芽朝向。Li等[24]也提出了一种基于机器视觉的大蒜鳞芽朝向调整装置，利用LabVIEW[25-26]实现图像采集、预处理、鳞芽识别及调整机构控制。但树莓派的运算能力相对较弱，无法满足深度学习网络对运算能力的需求；LabVIEW是基于PC的开发环境，体积大，成本高，无法在大蒜播种机上应用。

本文针对上述大蒜鳞芽调整装置存在的问题，以边缘计算处理器Jetson Nano[27-28]为平台，以深度学习网络为框架设计了一种大蒜鳞芽朝向自动调整装置，并进行了台架试验，以期为大蒜智能化定向播种机的设计提供参考。

1 总体结构与工作原理

1.1 总体结构

大蒜鳞芽朝向调整装置主要由蒜种喂入通道、摄像头、摄像头支架、鳞芽调整机构、翻转舵机和支架等组成。其中鳞芽调整机构由翻转架、复位弹簧、料斗开合舵机、Y型料斗Ⅰ和Y型料斗Ⅱ等组成，如图1所示。翻转舵机驱动整个鳞芽调整装置翻转180°，料斗开合舵机驱动2个Y型料斗张开或闭合，复位弹簧两端分别与2个Y型料斗连接并处于拉伸状态确保2个Y型料斗打开后的自动复位。

Y型料斗Ⅰ和Y型料斗Ⅱ采用非对称结构，通过优化2个料斗的结构参数保证大蒜进入料斗后处于直立状态。Y型料斗Ⅰ设立蒜种滑落引导槽，防止鳞芽调整机构翻转时大蒜自旋转而导致鳞芽调整失效。

1.蒜种喂入通道 2.摄像头 3.摄像头支架 4.鳞芽调整机构 5.翻转舵机 6.支架 7.翻转架 8.复位弹簧 9.Y型料斗Ⅰ 10.料斗开合舵机 11.Y型料斗Ⅱ

1.Garlic seeds feeding channel 2.Camera 3.Camera bracket 4.Garlic bulbil orientation adjustment mechanism 5.Servos for turning 6.Bracket 7.Tilting frame 8.Reset springs 9.Y-type hopper Ⅰ 10.Servos for hopper opening and closing 11.Y-type hopper Ⅱ

图1 大蒜鳞芽调整装置结构示意图

Fig.1 Structure diagram of garlic bulbil orientation adjustment device

1.2 工作原理

边缘计算处理器Jetson Nano通过大蒜检测深度学习网络实时处理摄像头抓取的图像并判断是否有大蒜从蒜种喂入通道进入Y型料斗。当检测到大蒜进入料斗后，立即通过鳞芽朝向判断深度学习网络对摄像头抓取的图像进行大蒜鳞芽朝向识别。当大蒜鳞芽朝上时，Jetson Nano处理器通过PWM信号控制料斗开合舵机旋转一定角度，使Y型料斗Ⅰ和Y型料斗Ⅱ下端打开，大蒜以鳞芽朝上的状态直接落入插播装置；当大蒜鳞芽朝下时，Jetson Nano处理器通过PWM信号控制翻转舵机旋转180°，带动鳞芽调整机构一起翻转，此时大蒜将沿着Y型料斗Ⅰ的引导槽滑落并翻转180°，实现大蒜鳞芽朝向的调整。

大蒜检测深度学习网络通过对大蒜和背景图像进行实时分割进行大蒜检测，判断是否有大蒜喂入鳞芽调整装置。鳞芽朝向判断深度学习网络对大蒜鳞芽的朝向进行实时判断，从而为鳞芽调整装置的控制提供依据。大蒜检测和鳞芽朝向判断采用大蒜检测和大蒜鳞芽朝向识别2个网络模型，以提高识别准确率，便于训练，提高系统的实时性。

2 机械系统优化设计

前期理论分析及单因素试验表明，大蒜鳞芽朝向调整装置的结构参数对鳞芽调整合格率及效率具有较大影响。尤其是2个Y型料斗的结构参数。理想的Y型料斗结构应使大蒜喂入后处于直立状态，且结构紧凑，便于在整机中的布置。大蒜在料斗内处于直立状态（鳞芽朝上或朝下），可以保证大蒜鳞芽调整的成功率，且大蒜直立状态时从上部拍摄的鳞芽图像特征更便于神经网络训练和提高识别准确率。Y型料斗的高度尺寸应尽量减小有利于减小调整机构翻转时所需要的空间，便于整体布置，缩短翻转时大蒜滑落所有需要的时间，提高调整效率，并防止调整后的大蒜在下落过程中再次翻转导致调整失败。为找到最优的结构参数，根据对大蒜鳞芽调整装置的结构参数的要求，采用离散元仿真试验对Y型料斗I的结构进行优化。

2.1 离散元仿真模型

为获得Y型料斗的最优结构参数，本文采用离散元分析软件EDEM对大蒜鳞芽调整装置性能进行仿真分析。以杂交大蒜为仿真分析对象，按体积分为大、中、小3级，每级大蒜籽粒的尺寸根据体积按正态分布进行设置[27]。颗粒间及颗粒与设备间的接触模型均采用Hertz-Mindlin模型，仿真模型及关键结构参数如图2所示。

注：为喂入通道角度，（°）；为Y型料斗I底部半径，mm；为料斗高度差，mm。

Note:is the angle of the feeding channel, (°);is the radius of the Y-hopper I, mm;is the height difference of the hopper, mm.

图2 EDEM仿真模型及关键结构参数

Fig.2 EDEM simulation model and key structural parameters

2.2 参数优化

通过实物模型前期试验及仿真试验发现，蒜种喂入通道角度、Y型料斗I底部半径（后文简称料斗半径）和料斗高度差对蒜种喂入Y型料斗后的直立率影响最大。因此取这3个参数为仿真试验因素，以蒜种喂入Y型料斗后的直立率为试验响应指标。根据前期单因素仿真试验，综合考虑结构尺寸限制，确定各试验因素的取值范围，如图2所示。依据Box-Benhnken中心组合设计理论进行试验设计，试验因素和水平如表1所示。

表1 试验因素编码

仿真试验方案与结果如表2所示，运用Design Expert 11.1.2.0数据分析软件进行多元回归拟合分析，得到直立率的回归方程为

任意2个因素的相互作用对直立率的影响如图3所示。由图3a可知，随料斗半径增加，直立率先升后降。由图3b可知，随高度差增加，直立率也会相应升高。由图3c可知，料斗半径一定时，高度差增大直立率提高。

表2 试验设计方案及结果

注：1、2、3表示各因素编码值

Note:1、2and3represent the coding values of each factor

为确定Y型料斗的最优结构参数，以直立率最高为目标函数，以蒜种喂入通道角度、Y型料斗半径和料斗高度差为约束条件，建立Y型料斗结构参数优化模型：

利用软件Design-Expert软件Optimization Numerical模块进行优化，得到直立率最佳的参数组合为：喂入通道角度为80°，Y型料斗半径为12.49 mm，料斗高度差为20 mm，此时模型预测的直立率为96.85%。考虑结构加工要求，对优化参数进行圆整，取Y型料斗半径为12.50 mm，料斗高度差为20 mm，在相同试验条件下重复3次试验，结果取平均值，得到直立率均值为96.05%，试验结果与优化结果基本一致，误差小于5%。

3 控制系统

3.1 硬件设计

系统硬件由边缘计算处理器Jetson Nano、电源模块、摄像头、PCA9685模块、翻转舵机和料斗开合舵机构成，如图4所示。

边缘计算处理器Jetson Nano是一款低成本高性能的AI嵌入式处理器，可应用于图像分类、目标检测、分割和语音处理等领域，具体规格参数见表3。其中软件开发工具包NVIDIA JetPack SDK拥有用于深度学习、计算机视觉和加速计算的CUDA-X加速库与应用程序接口（API），可极大提高人工智能（AI）应用开发的速度，PCA9685模块可同时输出16路PWM信号用于对翻转舵机和料斗开合舵机进行驱动。

表3 Jetson Nano处理器规格参数

3.2 软件设计

3.2.1 系统工作流程

根据系统的功能要求，设计系统控制流程为：初始化后控制摄像头对鳞芽调整机构内部图像进行采集，然后利用大蒜检测网络模型对采集的图像进行处理，判断是背景图像还是大蒜图像，如果是背景图像则进行下一帧图像采集并继续判断；如果是大蒜图像，则将图像输入到鳞芽判断网络模型进行鳞芽的朝向判断，如果鳞芽朝上控制料斗开合舵机打开2个Y型料斗使大蒜保持直立状态落入插播装置，如果鳞芽朝下则控制翻转舵机将鳞芽调整机构翻转180°，带动大蒜一起翻转180°并落下，实现鳞芽朝向调整，系统控制流程图如图5所示。

3.2.2 大蒜检测及鳞芽识别方法

为了简化模型的复杂度，降低训练难度，提高识别准确率，对大蒜检测和鳞芽朝向识别采用不同的神经网络模型，网络模型结构如图6所示。

大蒜检测模型主要对采集的大蒜图像进行实时处理，判断是否有蒜种喂入，由于2种图像特征差异显著，采用5层卷积神经网络模型，前4层为4个由卷积层、ReLU层和池化层构成的卷积块，第5层为全连接层。大蒜鳞芽朝向判断模型对大蒜鳞芽朝上或朝下进行判断，采用ResNet-18网络结构，通过迁移学习对网络参数进行训练。

大蒜检测模型训练用图像为8 000张RGB图像，其中4 000张背景图像，4 000张大蒜图像，图像大小为112×112。训练过程中采用adam优化器对模型进行优化，设置初始学习率为0.001，批大小（bachsize）为32。训练结果如图7a所示，训练后模型在测试集的识别准确率为99.3%。

大蒜鳞芽朝向判断模型训练用图像为4 000张RGB图像，其中鳞芽朝上的图像2 000张，大蒜鳞芽朝下图像2 000张，图像大小为224×224。为加快训练过程提高训练准确率，采用基于ResNet-18网络迁移学习训练，训练结果如图7b所示，训练后模型在测试集的识别准确率为99.4%。

4 台架试验

4.1 试验材料与设备

为验证基于Jetson Nano处理器的大蒜鳞芽朝向调整装置的作业效果，于2020年11月在山东农业大学107实验室开展了台架试验。试验材料选用国内种植面积最大品种金乡杂交大蒜为样本，随机选取200粒饱满的蒜种进行试验。

试验设备为自行搭建的基于边缘计算处理器Jetson Nano的大蒜鳞芽调整装置试验台，结构如图8所示，主要包括支架、Jetson Nano、PCA9685模块、蒜种喂入通道、摄像头、摄像头支架、复位弹簧、翻转舵机、料斗开合舵机和鳞芽调整机构等。其中，PCA9685驱动模块频率范围为40-1000 Hz，通道数为16，电压为DC 5-10 V；摄像头具有IMX219的感光芯片，800 W分辨率和77°的对角视场角。

1.蒜种喂入通道 2.摄像头 3.支架 4.翻转舵机 5.鳞芽调整机构 6.边缘计算处理器 7.舵机控制芯片 8.电源 9.料斗开合舵机

1.Garlic seed feeding channels 2.Camera 3.Bracket 4.Servos for turning 5.Garlic bulbil orientation adjustment mechanism 6. Edge computing processor 7.Servo control chip 8.Power 9.Servos for hopper opening and closing

图8 大蒜鳞芽朝向调整试验平台

Fig.8 Test platform of garlic bulbil orientation adjustment

4.2 试验方法

鳞芽朝向调整要求参照农艺及农户实际播种需求，以地面垂直线为基准，蒜种鳞芽朝上且倾斜角小于30°视为朝上[29-30]，调整后鳞芽朝向在此范围为合格。大蒜播种机大多采用锥形鸭嘴插播机构，蒜种落入锥形鸭嘴中时受到鸭嘴结构尺寸的限制限制，大蒜鳞芽处于朝上且倾斜角小于30°或朝下且倾斜角小于30°状态。因此试验采用锥形鸭嘴结构承接调整后的蒜种，鳞芽朝向调整合格个数通过试验观察统计得到，鳞芽朝向调整成功率计算公式如式（3）。

式中1为鳞芽朝向调整成功率，%；0为试验蒜种个数；1为鳞芽朝向调整合格的蒜种个数。

识别成功率是指大蒜鳞芽朝向识别准确的概率，计算公式如式（4）。

式中2为鳞芽朝向识别成功率，%；2为鳞芽朝向识别正确的蒜种个数。

模型推理时间为采集图像到鳞芽识别完成所需的时间；调整时间为图像采集完成到大蒜鳞芽朝向调整完成所需要的总时间，是图像采集时间、模型推理时间和舵机驱动鳞芽调整机构运动所需要的时间总和。

4.3 结果与分析

试验结果如表4。由表4可知，鳞芽识别成功率均值为97.25%，鳞芽朝向调整成功率均值为96.25%，鳞芽朝向调整成功率低于识别成功率的原因是识别正确的大蒜在鳞芽调整过程中由于大蒜重心位置不规则引起大蒜下落时翻转，最终导致调整失败。模型推理时间均值为0.045 s，调整时间均值为0.785 s，其中鳞芽上时的调整时间均值为0.59 s，鳞芽朝下时均值为0.98 s，鳞芽朝上与鳞芽朝下时的调整时间相差较大，是因为对鳞芽朝下的大蒜进行鳞芽朝向调整需翻转调整机构180°，然后将翻转机构复位，而对于鳞芽朝上的大蒜进行鳞芽朝向调整时只需将2个Y型料斗下端打开即可，开合舵机旋转角度较小，并且2个舵机的转动角度速度一致，因此鳞芽朝下时的调整时间比鳞芽朝上的长。

表4 大蒜鳞芽朝向识别与调整试验结果

5 讨 论

本文试验结果的鳞芽朝向调整时间均值为0.785 s，其中模型推理时间均为0.045 s，调整时间约为网络模型推理时间的17倍，主要原因是所用舵机的旋转角速度相对较小。因此缩短鳞芽调整时间，提高鳞芽调整效率的主要措施是提高舵机的转速。已知现有的大蒜种植农艺为株距0.1～0.12 m，行距0.18～0.20 m。大蒜播种效率通过公式（5）进行计算：

式中为播种效率，hm2/h；为1次播种行数；为鳞芽朝向调整时间，s。

假设大蒜大播种机一次播种行数为12，当鳞芽朝向调整时间为0.59 s时，通过公式（5）计算大蒜播种效率为0.132～0.176 hm2/h；当鳞芽朝向调整时间为0.785 s时，大蒜播种效率为0.099～0.132 hm2/h；当鳞芽朝向调整时间为0.98 s时，大蒜播种效率为0.079～0.106 hm2/h。现有机械式鳞芽调整方法的大蒜播种工作效率在0.05～0.1 hm2/h范围内[6,28]。通过对比分析可以看出，本文设计的大蒜鳞芽调整装置的鳞芽朝向调整时间可以满足播种机对播种效率的要求。

6 结 论

1）设计了一种基于Jetson Nano处理器的大蒜鳞芽朝向调整装置，以Jetson Nano处理器对深度学习模型进行推理，实现大蒜检测和鳞芽朝向识别。根据大蒜鳞芽朝向控制调整机构对大蒜鳞芽朝向进行调整，使大蒜最终均能以鳞芽朝上的姿态落入插播装置，解决了难以采用纯机械机构对杂交大蒜鳞芽朝向调整的问题。

2）大蒜检测和鳞芽朝向识别采用双神经网络架构，大蒜检测神经网络实现对大蒜是否被喂入调整机构进行实时检测，当检测到大蒜时鳞芽朝向识别神经网络对大蒜鳞芽朝向进行实时判断，利用判断结果控制调整机构对大蒜鳞芽朝向进行调整。

3）通过离散元仿真软件EDEM对调整机构的关键参数进行优化，并通过台架试验进行了试验验证。试验结果，大蒜鳞芽朝向调整成功率为96.25%，模型推理时间0.045 s，平均每粒大蒜调整时间为0.785 s，大蒜理论播种效率可达到0.099～0.132 hm2/h。

[1] 王侨，陈兵旗，朱德利，等. 基于机器视觉的定向播种用玉米种粒精选装置研究[J]. 农业机械学报，2017，48(2)：27-37.

Wang Qiao, Chen Bingqi, Zhu Deli, et al. Vision-based selection machine of corn seed used for directional seeding[J]. Transactions of the Chinese Society for Agricultural Machinery, 2017, 48(2): 27-37. (in Chinese with English abstract)

[2] 金诚谦，袁文胜，吴崇友，等. 大蒜播种时鳞芽朝向对大蒜生长发育影响的试验研究[J]. 农业工程学报，2008，24(4)：155-158.

Jin Chengqian, Yuan Wensheng, Wu Chongyou, et al. Experimental study on effects of the bulbil direction on garlic growth[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2008, 24(4): 155-158. (in Chinese with English abstract)

[3] 刘静. 不同大蒜品种及鳞芽播种朝向对生长特性与品质的影响[D]. 泰安：山东农业大学，2018.

Liu Jing. Effects of Different Garlic Varieties and Bu1bil Seeding Directions on Growth Characteristic and Quality[D]. Tai’an: Shandong Agricultural University, 2018. (in Chinese with English abstract)

[4] 崔荣江，黄嘉宝，张振河，等. 大蒜机械化播种技术研究现状[J]. 农业装备与车辆工程，2018(6)：54-56.

Cui Rongjiang, Huang Jiabao, Zhang Zhenhe，et al. Research status of garlic mechanized sowing technology[J]. Agricultural Equipment & Vehicle Engineering, 2018(6): 54-56. (in Chinese with English abstract)

[5] 侯加林，黄圣海，牛子孺，等. 双鸭嘴式大蒜正头装置调头机理分析与试验[J]. 农业机械学报，2018，49(11)：87-96.

Hou Jialin, Huang Shenghai, Niu Ziru, et al. Mechanism analysis and test of adjusting garlics upwards using two duckbill devices[J]. Transactions of the Chinese Society for Agricultural Machinery, 2018, 49(11): 87-96. (in Chinese with English abstract)

[6] 耿爱军，栗晓宇，侯加林，等. 自动定向大蒜播种机的设计与试验[J]. 农业工程学报，2018，34(11)：17-25.

Geng Aijun, Li Xiaoyu, Hou Jialin, et al. Design and experiment of automatic directing garlic planter[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(11): 17-25. (in Chinese with English abstract)

[7] 荐世春，刘云东. 大蒜播种机蒜瓣自动定向控制装置的试验研究[J]. 农业装备与车辆工程，2009(10)：28-29，37.

Jian Shichun, Liu Yundong. Experimental research on the garlic clove automatic orientation control device of garlic planting machine[J]. Transactions of the Agricultural Equipment and Vehicle Engineering, 2009(10): 28-29, 37. (in Chinese with English abstract)

[8] 荐世春，赵峰，李青，等. 旋转式蒜瓣单粒定向取种器的研究设计[J]. 农业装备与车辆工程，2009(2)：18-20.

Jian Shichun, Zhao Feng, Li Qing, et al. Research and design on rotary garlic single-clove directional seed metering device[J]. Transactions of the Agricultural Equipment and Vehicle Engineering, 2009(2): 18-20. (in Chinese with English abstract)

[9] Liu H, Chahl J S. A multispectral machine vision system for invertebrate detection on green leaves[J]. Computers & Electronics in Agriculture, 2018, 150: 279-288.

[10] He Y, Wang H, Zhu S, et al. Method for grade identification of tobacco based on machine vision[J]. Transactions of the ASABE, 2018, 61(5): 1487-1495.

[11] 谢忠红，徐焕良，黄秋桂，等. 基于高光谱图像和深度学习的菠菜新鲜度检测[J]. 农业工程学报，2019，35(13)：277-284.

Xie Zhonghong, Xu Huanliang, Huang Qiugui, et al. Spinach freshness detection based on hyperspectral image and deep learning method[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(13): 277-284. (in Chinese with English abstract)

[12] 孙钰，周焱，袁明帅，等. 基于深度学习的森林虫害无人机实时监测方法[J]. 农业工程学报，2018，34(21)：74-81.

Sun Yu, Zhou Yan, Yuan Mingshuai, et al. UAV real-time monitoring for forest pest based on deep learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(21): 74-81. (in Chinese with English abstract)

[13] 苗荣慧，杨华，武锦龙，等. 基于图像分块及重构的菠菜重叠叶片与杂草识别[J]. 农业工程学报，2020，36(4)：178-184.

Miao Ronghui, Yang Hua, Wu Jinlong, et al. Weed identification of overlapping spinach leaves based on imagesub-block and reconstruction[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(4): 178-184. (in Chinese with English abstract)

[14] 孙俊，谭文军，武小红，等. 多通道深度可分离卷积模型实时识别复杂背景下甜菜与杂草[J]. 农业工程学报，2019，35(12)：184-190.

Sun Jun, Tan Wenjun, Wu Xiaohong, et al. Real-time recognition of sugar beet and weeds in complex backgrounds using multi-channel depth-wise separable convolution model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(12): 184-190. (in Chinese with English abstract)

[15] Tetila E C, Machado B B, Menezes G V, et al. A deep-learning approach for automatic counting of soybean insect pests[J]. IEEE Geoence and Remote Sensing Letters, 2019, PP(99): 1-5.

[16] 张博，张苗辉，陈运忠. 基于空间金字塔池化和深度卷积神经网络的作物害虫识别[J]. 农业工程学报，2019，35(19)：209-215.

Zhang Bo, Zhang Miaohui, Chen Yunzhong. Crop pest identification based on spatial pyramid pooling and deep convolution neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(19): 209-215. (in Chinese with English abstract)

[17] Thenmozhi K, Reddy U S. Crop pest classification based on deep convolutional neural network and transfer learning[J]. Computers and Electronics in Agriculture, 2019, 164: 104906.

[18] 赵德安，吴任迪，刘晓洋，等. 基于YOLO深度卷积神经网络的复杂背景下机器人采摘苹果定位[J]. 农业工程学报，2019，35(3)：164-173.

Zhao Dean, Wu Rendi, Liu Xiaoyang, et al. Apple positioning based on YOLO deep convolutional neural network for picking robot in complex background[J] Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(3): 164-173. (in Chinese with English abstract)

[19] 杨清明，李娟玲，何瑞银. 基于图像处理的大蒜蒜瓣朝向识别[J] . 浙江农业学报，2010，22(1)：119-123.

Yang Qingming, Li Juanling, He Ruiyin. Direction identification of garlic seeds based on image processing[J]. Acta Agriculturae Zhejiangensis, 2010, 22(1): 119-123. (in Chinese with English abstract)

[20] 方春，孙福振，任崇广. 基于深度学习的大蒜鳞芽朝向识别研究[J]. 计算机应用研究，2019，36(2)：598-600，610.

Fang Chun, Sun Fuzhen, Ren Chongguang. Identifying bulbil direction of garlic based on deep learning[J]. Application Research of Computers, 2019, 36(2): 598-600, 610. (in Chinese with English abstract)

[21] 吴献，胡伟. 基于观测窗的大蒜鳞芽朝向识别研究[J]. 测控技术，2016，35(7)：35-39.

Wu Xian, Hu Wei. Research on garlic clove orientation recognition based on observation window[J]. Measurement & Control Technology, 2016, 35(7): 35-39. (in Chinese with English abstract)

[22] 赵丽清，马志勇. 大蒜播种机装盘系统蒜瓣定向识别算法的研究[J]. 农机化研究，2013，35(6)：163-166.

Zhao Liqing, Ma Zhiyong. The study of garlic machine installation system of the directional recognition algorithm[J]. Journal of Agricultural Mechanization Research, 2013, 35(6): 163-166.(in Chinese with English abstract)

[23] 侯加林，田林，李天华，等. 基于双侧图像识别的大蒜正芽及排种试验台设计与试验[J] . 农业工程学报，2020，36(1)：50-58.

Hou Jialin, Tian Lin, Li Tianhua, et al. Design and experiment of test bench for garlic bulbil adjustment and seeding based on bilateral image identification[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(1): 50-58. (in Chinese with English abstract)

[24] Li Y H, Wu Y Q, Li T H, et al. Design and experiment of adjustment device based on machine vision for garlic clove direction[J]. Computers and Electronics in Agriculture, 2020, 174: 105513.

[25] 白士宝，滕光辉，杜晓冬，等. 基于LabVIEW平台的蛋鸡舍环境舒适度实时监测系统设计与实现[J]. 农业工程学报，2017，33(15)：237-244.

Bai Shibao, Teng Guanghui, Du Xiaodong, et al. Design and implementation on real-time monitoring system of laying hens environmental comfort based on LabVIEW[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(15): 237-244. (in Chinese with English abstract)

[26] 许顺，佟金，李默. 基于LabVIEW的蔬菜切碎机性能测试及工作参数优化[J]. 农业工程学报，2017，33(3)：250-256.

Xu Shun, Tong Jin, Li Mo. Performance testing of vegetable chopping machine based on LabVIEW and operation parameter optimization[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(3): 250-256. (in Chinese with English abstract)

[27] Debauche O, Sad M, Mahmoudi S A, et al. Edge computing and artificial intelligence for real-time poultry monitoring[J]. Procedia Computer Science, 2020, 175: 534-541.

[28] Carvajal O, Melin P, Miramontes I, et al. Optimal design of a general type-2 fuzzy classifier for the pulse level and its hardware implementation[J]. Engineering Applications of Artificial Intelligence, 2021, 97(4): 104069.

[29] 李玉华，张智龙，李天华，等. 轮勺式大蒜单粒取种装置设计与试验[J]. 农业机械学报，2020，51(3)：61-68.

Li Yuhua, Zhang Zhilong, Li Tianhua, et al Design and experiment of wheel-spoon type garlic precision seed-picking device[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(3): 61-68. (in Chinese with English abstract)

[30] 文恩杨，吴彦强，李天华，等. 牵引式大蒜播种机的设计[J].农机化研究，2020，42(1)：96-100.

Wen Enyang, Wu Yanqiang, Li Tianhua, et al. Design of traction garlic sowing machine[J]. Journal of Agricultural Mechanization Research, 2020, 42(1): 96-100. (in Chinese with English abstract)

Design and experiments of garlic bulbil orientation adjustment device using Jetson Nano processor

Li Yuhua1,2,3, Liu Quancheng1, Li Tianhua1,2,3, Wu Yanqiang1,2,3, Niu Ziru1,2,3, Hou Jialin1,2,3※

(1.,,271018,;2,271018,; 3,271018,)

Garlic cultivationis highly demanding for a single seedto maintain upright-directional sowing with the roots downwardvertically.However, current adjustment devicesfor the direction of garlic clovescannot besuitable for hybrid garlic varieties. In this study, an intelligent adjustment device was designedfor the direction of garlic cloveusing edge computing. The deviceconsistedof a feeding channelof garlic clove, a camera, a camera bracket, clove direction adjustment mechanism, turning servo and brackets. The adjustment mechanism of clove directionwas composed of flip frame, reset spring, hopper opening and closing servo, Y-type hopper I and II. A dual convolution neural network (CNN) structurewasadopted in thecontrol system,wherea custom deep learningCNNwas for garlic monitoringin real time, and a ResNet-18 network was for thedeterminationof garlic clove orientation. In monitoring, the garlic clove was distinguished from the background of images,therebydetermining whether the clove was fed to the adjustment. Areal-timedetection of orientation was to keep the pointy endof garlic clove facing upward,while the blunt end down into the soil. Asuitable control strategy was providedtopromptlyadjust the direction of garlic clove. Higher identification accuracyand real-time performance were achieved in two different networksfor separate detection and orientation of garlic clove.The specific procedure of orientation adjustment was as follows. Animage processing was performed to determine whether the garlic clove entered the Y-shaped hopper from the feeding channel. Once the garlic clove was detected to be in the hopper, an image was real-time captured by the camera. The captured image was processed immediately through the deep learning network of detection and orientation. When the scales (blunt end)of garlic cloveswere facingupward, the opening and closing servos of ahopper rotated at a certain angle to open the lower end of Y-type hopper I and II. As such, the garlic clove fell directly into the inserting with the scales facing upward. If the scales of garlic cloveswere facing downward, the turning servosand adjusting mechanismindividually rotated 180°, to accurately tailor the orientation of scaleswhen the garlic clove was slidingdown the guide slot of Y-type hopper I. Both theoretical and empirical data demonstrated that the structural parameters of the adjusting mechanismgreatly dominatedthe success rate of the adjusted scale bud. A discrete element method (DEM)was performed onacommercial software EDEM to simulate the working effect of the adjusting mechanism. An orthogonal test was also utilized to optimize the keyparameters of adjusting mechanism. An optimal combination of parameters was obtained,where the inclination angle of the garlic clove was 80°in the feeding channel,the radius of the Y-shaped hopper was 12.49 mm, and the height difference of the hopper was 20 mm.Finallya bench testwascarried out to verify the direction adjustment of garlic cloves.In scale bud,the success rate of identification was 97.25%, and the success rate of adjustment was 96.25%, where the success rate of adjustment was slightly lower than thatofrecognition.The reasonwas that the correctly identified garlic turnedover unexpectedly when falling, due to the irregular center of gravity inasingle seed. The mean inference timeof the model was 0.045s, indicating a small proportion of adjustment timefor the scale bud. The averageadjustment time was 0.785s,where the mean value was0.59s when the garlic cloves were facing up and0.98s when facing down. There was a relatively large difference inthe adjustment time when the garlic buds were faced up and down. This difference came into being because therewas inconsistent movement stroke of the adjustment mechanism in two cases, particularly where the rotation speed of the drive motor was the samewhen the scale buds were facingdown.Consequently, the adjustment timeof scale buds facing upwas shorterthan that of the roots downwardvertically in garlic planting.

machine vision; deep learning; edge computing; Jetson Nano processor; garlic; bulbil orientation

2020-12-13

2021-02-01

国家特色蔬菜产业技术体系项目(CARS-24-D-01)；山东省农业重大应用技术创新项目（SD2019NJ004）；山东省现代农业产业技术体系蔬菜产业创新团队项目（SDAIT-05-11）

李玉华，讲师，博士生，研究方向为智能农业装备研究。Email：liyuhua@sdau.edu.cn

侯加林，教授，博士生导师，研究方向为智能农业装备研究。Email：jlhou@sdau.edu.cn

10.11975/j.issn.1002-6819.2021.07.005

S223.2

A

1002-6819(2021)-07-0035-08

李玉华，刘全程，李天华，等. 基于Jetson Nano处理器的大蒜鳞芽朝向调整装置设计与试验[J]. 农业工程学报，2021，37(7)：35-42. doi：10.11975/j.issn.1002-6819.2021.07.005 http://www.tcsae.org

Li Yuhua, Liu Quancheng, Li Tianhua, et al. Design and experiments of garlic bulbil orientation adjustment device using Jetson Nano processor[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(7): 35-42. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.07.005 http://www.tcsae.org