智能驾乘式高架草莓采摘车的设计与试验

侯广宇,雷小洁,袁子喻,甄军全,刘继展,谢学军

(1. 江苏大学 现代农业装备与技术教育部重点实验室,江苏 镇江 212013;2.常州工学院 经济与管理学院,江苏 常州 213032)

0 引言

当前,设施温室草莓种植占据90%,其中的高架草莓生产由于光照和通风条件好、清洁、省力等优势不断扩大[1-2]。然而,目前高架草莓采摘作业仍完全依赖人工,劳动力占用极多且生产效率低;同时,草莓采收后因二次运输、再包装造成额外损伤以及兼顾采摘与车辆操控引起劳动强度增加成为当前草莓生产的主要实际问题。

采摘车是辅助人工实现果蔬舒适高效采摘、运送的现场装备,发达国家先后推出了多种草莓采摘车。在垄栽方面, PBZ LLC[3]开发了一种“人趴式”草莓采摘车,由人趴扶在采摘车上进行作业,但不适用于高架环境。在高架方面,日本采用“手推轨道车”的作业方式,在进行采摘作业的同时需人为操控采摘车在高架轨道上行走,使人的大部分精力浪费于操控驾驶上,效率低下。沈农草莓团队使用“人坐脚蹬车”方式在棚下驾乘实现草莓采摘,但仍需人助力行走,不适宜长时间劳作,采摘效率低。在其它类型的采摘车方面,广西大学任晓智[4]设计了智能芒果高空采摘车,山东理工大学刘广新[5]设计了冬枣辅助采摘车,沈阳航空航天大学陈章恒[6]设计了菠萝采摘车,而这些采摘车需要莓农在采摘的同时控制车辆运动状态且需要采收后对草莓进行二次运输和包装。

针对现有研究的不足,笔者拟开发一种面对高架环境的驾乘式草莓采摘车,在达到高采摘效率目标的同时兼具乘坐舒适及随采随包装的能力。

1 高架草莓采摘车设计目标

本研究设计的总目标是通过乘坐高架草莓采摘车降低劳动力强度和用工量,提升采摘效率。具体目标包括:

1)采摘行为辨识的智能操控:通过捕捉莓农采摘动作自主控制草莓采摘车运动状态,莓农可将全部精力放于采摘上,解放手脚,提高采摘效率。

2)满足现场初加工随采随包装的要求:可实现同步机载采摘—称重—语音提示—打标签—包装的连续性工作,有效减少草莓因重复搬运再包装造成的损伤且兼具休闲娱乐功能。

3)保证莓农长时间劳作的舒适性:基于人机工程学理论,通过在空间范围内对莓农采摘时的身体方位进行合理规划,有效减少莓农因长时间劳作造成的不适。

2 设计方案

2.1 整体方案

草莓采摘车主要由相机、伸缩云台、单向轮、车体外壳、车体内架、曲面门、内部控制系统、草莓称重装置、弹性辅助启停装置、弹性辅助加速装置、乘坐椅、底盘部件及轮毂电机等部件组成,如图1所示。

1.相机 2.伸缩云台 3.车体外壳 4.弹性辅助加速装置 5.弹性辅助启停装置 6.单向轮 7.内部控制系统 8.底盘部件 9.轮毂电机 10.乘坐椅 11.曲面门 12. 车体内架 13. 草莓称重装置图1 草莓采摘车整体结构图Fig.1 Overall structure of strawberry picking truck

1)草莓采摘车采用轮式结构在高架环境中行走作业,从而有效解决及狭小空间通行问题。

2)通过设计智能操控系统实现人手行为识别和草莓采摘车启停控制,以达到采摘作业时对草莓采摘车的智能操控。

3)为满足现场随采随包装的要求,配备草莓称重装置,草莓包装盒可直接放于称重传感器上,实现称重-语音提示-打标签-包装连续作业。

4)采摘空间基于人机工程理论进行设计,莓农乘坐草莓采摘车时脚部可轻松触发弹性辅助启停装置,身体各个部位不受内架空间限制,且左右方向采摘不会因大幅扭身产生不舒适,乘坐更舒适。

2.2 智能操控系统设计

2.2.1 人手行为识别系统

为使人全部精力应用于采摘,减少注意力在草莓采摘和操控驾驶之间频繁切换,开发了人手行为识别系统。该系统主要对视场内采摘姿态进行识别,当人手伸出车体开始采摘动作时,相机对该动作进行识别,确定为采摘动作之后,控制采摘车停止前进;而当采摘结束后,控制采摘车继续匀速前进,直到下一个动作循环。

2.2.1.1 人手行为识别系统主要结构

人手行为识别系统硬件部分由三维深度传感器、云台伸缩杆及jetson nano上位机系统构成。其中,三维深度传感器采用RealsenseD435,有效深度探测距离为(0.1m,10m),水平视场角度范围为65.5°,竖直视场角度范围为91.2°;上位机系统采用jetson nano开发板,通过USB3.0接口进行两者连接。

人手行为识别系统软件部分基于Ubuntu18.04系统、python语言、Visual Studio Code软件框架,使用labelme软件对图像标注,使网络拥有更强的泛化性能。其中,在相机视场下莓农的手离开车体即为有采摘意图。搭建深度学习pytorch框架,通过yolov4-tiny轻量级模型对莓农在采摘车上有采摘意图和无采摘意图进行识别。yolov4-tiny可以同时完成有无采摘意图的分类与回归,避免过拟合,经过下采样和上采样的数据相互融合,能够有效分割识别出采摘意图信息(即手离开车体),实现分类识别。

2.2.1.2 通信系统设计

jetson nano包含40位GPIO口,引入GPIO库,通过import serial引入USART通讯方式。其中,port="/dev/ttyTHS1",波特率为115200,bytesize采用serial.EIGHTBITS,parity采用serial,stopbits采用serial.STOPBITS_ONE方式。if str(predicted_class)=="Picking" and float(score) >0.9,serial_port.write("1 ".encode()),即在识别到采摘意图而且识别得分高于0.9时发送字符串1,实现上到下的信号输出。

2.2.1.3 相机布置方案

相机空间布置方法如图2所示。相机高度可通过伸缩云台依据莓农乘坐高度进行调节,具体关系为

h′=i+0.75h

(1)

其中,h为莓农身高(cm);i为草莓采摘车底盘距地面高度(cm);根据座椅高度z确定乘坐高度h′(cm)。

伸缩云台高度l区间为(125cm,160cm),向下倾斜角度为

β=θ1/2=32.7°

(2)

其中,β为向下倾斜角度(°);θ为相机竖直视场范围(°)。

图3所示为相机视场布置实际场景,可保证视场内对人体姿态-采摘行为-左右单行高架信息进行获取。

图3 实际相机视场布置Fig.3 Actual camera field of view layout

2.2.2 手脚辅助式控制系统

为保证采摘过程中草莓采摘车能够自动启停,设计了手脚辅助式控制系统。在接收人手识别系统发送的字符串信号和人脚部触发信号后,将其转化为控制命令。该系统采用隐藏式内部结构,控制系统安置在底盘下方位置以保证与莓农脚部不产生接触,同时采用“一层供电、二层控制”的双层设计。

控制系统硬件部分主要由接近开关、STM32F104开发板、伺服电机驱动器、轮毂电机、光耦离合及各种转压模块组成,如图4所示。

图4 手脚控制系统硬件框图Fig.4 Control system hardware block diagram

STM32F104开发板包含多个信号输入口和信号输出口,信号输入口接收jetson nano发送的字符串。STM32F104开发板和伺服电机驱动器连接,伺服电机驱动器对轮毂电机进行控制。4路方向接近开关对草莓采摘车相对高架的空间位置进行感应,感应信号通过光耦离合发给STM32F104开发板,实现草莓采摘车的方向调整。刹车和加速接近开关通过弹性辅助机械刹车装置和弹性辅助机械加速装置触发。各接近开关的信号电压由光耦离合转换模块转为3.3V,将命令信号传给STM32F104开发板,实现手脚控制草莓采摘车的运动状态。

2.3 现场称重-包装系统设计

2.3.1 采摘工作流程

现场初加工系统能在盒子装满草莓时进行自动语音提示,协助人工采摘,其工作流程如图5所示。该方案可减少草莓搬运再包装流程及草莓损伤,大幅降低劳动强度。

图5 工作流程Fig.5 Workflow

2.3.2 现场称重-包装系统

在乘坐草莓采摘车进行采摘作业时,莓农可将采摘完的草莓直接放包装盒中称重。针对市场上一种大小为11cm×8cm×6cm的草莓包装盒,系统通过感应草莓+草莓包装盒质量自动语音提示,以实现称重—语音提示—打标签—包装的连续作业模式。

图6中,草莓包装盒和称重传感器连接支撑装置,内部装有称重传感器,莓农可将采摘后的草莓放置于该支撑装置上方的草莓包装盒中进行称重。称重传感器基于力-电效应,将草莓包装盒的质量转换成与被称物体质量成一定函数关系的电信号;该电信号经过称重传感器信号输入口和AD转换电路后,转换成数字信号送入到核心处理器中;核心处理器根据设置的输入量(即质量大小)进行判断、分析。同时,语音模块实时接收信号,当达到设置重量0.5kg时,自动进行语音提示。

1.草莓包装盒 2.草莓包装盒和传感器连接支撑装置 3.称重传感器 4.称重传感器信号输入口 5.AD转换模块 6.核心处理器 7.供电口 8.语音模块 9.OLED显示器图6 现场称重-包装系统Fig.6 On-site Weighing-Packaging System

2.4 基于人机工程的舒适乘坐空间设计

为充分考虑到草莓采摘车的乘坐舒适性,保证身体姿态为坐姿时腿部不受内架空间限制,且采摘时不会因左右大幅扭身产生不适,基于人机工程学理论对采摘车乘坐空间进行设计。

2021年4月3日,在常州一号农场高架草莓园进行实地测量,测量的参数主要包括栽培槽宽度、过道宽度、高架高度等,如表1所示。实地测量高架过道宽度最窄为646mm,栽培槽宽度在229～235mm之间,高架高度在905～942mm之间。

表1 设施高架调研参数

草莓采摘车要求单人乘坐,内部乘车空间大于莓农最大活动空间,而车体宽度小于高架过道最窄长度,同时留有最大乘坐空间。基于调研数据,将车宽定为600mm;为满足车体高度高于高架高度,将车高定为900mm。同时,乘坐椅要预留一定空间,将草莓采摘车整体长度定为1200mm,草莓驾乘采摘车整体高度×宽度×长度为900mm×600mm×1200mm。

对40个人在乘坐椅舒适坐姿高度下(35cm)抽样调查,发现人在乘坐时腿伸出距离、腿部高度和身高有关,数据如表2所示。

根据表2数据得出分布规律图,其中身高和累计数目之间呈正态分布规律。正态分布峰值为身高174cm,腿部伸出平均长度为66.7cm。因乘坐椅上会占据一定乘坐面积,故将乘坐椅边缘到弹性辅助启停装置的水平距离定为55cm,该范围内可轻松脚踏油门刹车模块。

表2 数组人体舒适坐姿状态下的数据

2.4.1 车体内架空间设计

车体内架结构分为上下两部分,如图7所示。

其中,上部分对车体和草莓称重装置起到固定支撑作用;下部分是整车承力架,与底盘固定;侧边有一对车体侧面支撑点,用于防止车体晃动。

根据表2数据,人体在舒适坐姿下腿抬起高度最大为45cm,为保证腿部活动空间充裕,将下部分高度定为55cm。车架上部分留有上下间距H′为25cm的空间,用于存放空草莓包装盒子。针对上述规格草莓包装盒,上部空间可同时存放15个草莓包装盒。

该设计可充分减少传统采摘过程中需要更换包装盒损失的时间,采下的草莓可直接出售。同时,有效减少草莓损伤,保证连续、高效采摘。

2.4.2 左右舒适采摘空间设计

据实际考察结果,采摘时左右扭身程度对采摘舒适度影响较大。为使乘坐草莓采摘车采摘更加轻松,设计了旋转式乘坐椅和旋转角度限位机构。

在该机构中,乘坐椅可随采摘者身体扭动而旋转;同时,在最大舒适采摘位设置限位机构,使莓农不会因上身大幅度扭转造成与下半身之间不协调,从而带来不适。

设计旋转角度限位机构,使乘坐椅保持在最大旋转角度范围内。在确定最大旋转角度时,主要以乘坐椅旋转角度为标准。如图8所示,在保持身体竖直面和腿的侧面为90°的角度旋转时,圆圈部位为最大舒适采摘位。正常坐姿下,双腿和车体边缘距离决定乘坐椅旋转角度大小,车内空间大小由高架宽度决定,双腿和车体边缘距离由车内空间、旋转椅尺寸、莓农本身各种参数决定。

根据以上参数,确定乘坐椅旋转角度大小。建立数学模型为

(3)

其中,k为车体中心距离车体边缘距离(cm);c为乘坐椅长度(cm);b为乘坐椅宽度(cm);a为人体正常坐姿下腿部前端到乘坐椅边缘距离(cm);γ为乘坐比例系数。

γ∈(0.7,0.95)c

(4)

乘坐比例系数由莓农自身乘坐舒适度决定,通过该模型可以根据莓农乘坐舒适度设置乘坐椅旋转角的大小。

3 试验与结果分析

3.1 试验材料

为验证智能草莓采摘车实际工作性能,在实验室按照与实际高架1:1的比例搭建仿真高架,两侧高架全长6m,高架间距离为80cm,单侧高架草莓模型密度为9个/m,草莓颜色介于红色和绿色之间。其中,单行里红色草莓平均5个/m,红绿草莓2个/m,绿色草莓2个/m,30个41cm×27cm×19cm白色泡沫箱作为草莓承载架,仿真高架宽度为27cm,地面为光滑水泥地面。

3.2 试验方法

规定车体中心距离车体边缘距离k为车宽的1/2(即30cm),乘坐椅宽度b为33cm,长度c为33cm。人体正常坐姿下腿部前端到凳子边缘距离和身高由采摘人自身决定。分别在构建的仿真高架环境和实际高架环境中进行试验,试验分为草莓采摘车识别运动控制试验和现场初加工采摘系统采摘效率试验。

2)试验二:分析采摘效率大小,设置两组对比试验。第1组乘坐搭载现场初加工采摘系统的草莓采摘车进行生产性人工采摘,设置采摘车速度为0.7m/s;第2组采用传统采摘方式,由采摘人边行走边拿筐采摘。两组试验均需要对采摘后的草莓进行称重计量-分盒包装-打标签,记录两组各采摘5kg草莓所用时间和草莓损伤情况。

3.3 试验结果分析

3.3.1 采摘车识别控制结果与分析

试验数据如表3所示。

表3 试验数据

草莓采摘车在高架中可以实现对整车的智能控制,具有可行性。试验结果表明:

1)3组人身高位于165cm-178cm之间,根据模型确定了草莓采摘车旋转乘坐椅旋转角度,其在正常坐姿和扭身采摘情况下感受皆为舒适。

2)草莓采摘车以0.7m/s的速度前进,6m的距离采摘时间为49.7s,4m的距离采摘时间为34.23s,2m的距离采摘时间为15.23s,部分采摘时间被采摘动作识别准确率所影响。

综合试验结果可知:草莓采摘车动作识别控制平均准确率为85%以上,表明草莓采摘车能够达到实际采摘作业要求,且更适合长距离全生产性采摘作业。

3.3.2 现场初加工采摘试验结果与分析

试验数据如表4所示。

表4 试验数据

草莓采摘车在高架中可以实时进行草莓称重与包装,是可行的方案。试验结果表明:

1)乘坐草莓采摘车生产性采摘5kg成熟草莓共前进8m,而人行走采摘共前进12.5m,说明乘坐草莓采摘车采净草莓率更高。因为人边行走边拿筐采摘的方式会因一次采摘量有限,导致一部分时间浪费于草莓运输途中,而草莓采摘车很好地解决了这一问题。

2)乘坐草莓采摘车作业对草莓的损伤率低于常规采摘方式。由于人行走采摘需要对每一次采完的草莓进行称重,而且要在达到5kg左右时对草莓进行分选包装,容易造成草莓二次损伤;而乘坐草莓采摘车的草莓只需经历采摘-包装一次损伤,大大降低了草莓损伤率。同时,草莓采摘车配备了无损高效采摘系统配备语音提示功能,让采摘者能够随时知道采摘量,以便进行打标签工作,大大节省了采摘时间,且劳动强度较低,感觉更为舒适。

综合试验结果可知:草莓采摘车能够达到实际作业生产要求,可以减轻莓农的作业疲劳程度,解放劳动力,取代了传统的行走采摘模式。

4 结论

1)针对高架环境下人工采摘草莓劳动强度大、效率低的问题,设计了一种面对生产作业的驾乘式草莓采摘车。通过在仿真高架和实际高架环境中的试验可知:相比于传统采摘模式,采摘车能够在满足实际作业生产要求的前提下有效减少莓农因长时间劳作造成的不适,解放手脚,提高采摘效率。

2)智慧休闲农业在不断发展,未来可将驾乘式草莓采摘车率先在江苏省内进行推广,相信会给高架草莓采摘旅游业发展带来巨大效益,并有机会向全国推广普及,发展前景广阔。