王瑞雪, 朱立成, 赵 博, 王长伟, 贾晓峰, 徐庆钟
(1. 中国农业机械化科学研究院集团有限公司,北京 100083; 2. 土壤植物机器系统技术国家重点实验室,北京 100083)
随着信息化和智能化技术的日新月异及其在农业领域的深度应用,智能化农业装备逐渐成为当今社会发展热点。近年来,英国、日本、挪威、美国等国家先后构建了无人大田、无人温室、无人渔场等一批试验性的无人农场,我国福建、江苏、山东等地也开展了大量无人农场的试验探索[1]。农业机器人是集多种先进技术于一体的智能化农机作业装备,是无人农场和数字精准农业的重要组成部分之一。目前,农业机器人的研究领域范围很广,从及时准确收集作物和田间详细时空信息实现数字化农业的采集机器人,到完成复杂非线性自动果实收获及运输的果蔬采收机器人[2]。世界各地的组织机构积极参与多种类型农业机器人的研发工作。我国农业机器人技术相对落后,迫切需要借鉴国外农业机器人应用现状,结合我国农艺要求,利用多种前沿技术的优势,提升我国农机装备智能化水平,为实施无人智慧农场奠定坚实技术基础。
近年来,农业机器人研究领域的文献大多集中在目标及作业对象的准确识别、多传感器融合路径规划及末端执行器设计等方面内容[3]。本文重点介绍国外已经商业化或者能满足自动作业要求的农业机器人,主要包括在田间杂草控制、田间监测和数据收集,以及自动化收获方面的技术应用。
机械除草和精确对靶控制喷药是目前农业生产中最需要、最可能实现商业化应用的农业机器人。在过去的10 年里,国外一些研究机构和知名公司[如荷兰瓦赫宁根大学、昆士兰科技大学、悉尼大学、蓝河技术(CA,USA)、瑞士EcoRobotix 公司和法国的Naio Technologies 等]之间跨学科合作研发了各种先进的除草机器人技术,在对靶喷药除草机器人和机械除草机器人应用方面均取得了较好的应用成果[4]。
2018 年,瑞士的EcoRobotix 公司小批量改进试制了一批AVO 除草机器人,在瑞士、法国、荷兰和比利时进行了实地测试,如图1a 所示。AVO 除草机器人的4 个轮子均可独立操纵,可以适用农田行式种植的多种作物的自动除草作业,如菠菜、棉花、豆类、洋葱、甜菜、油菜和花椰菜。该机器人视觉系统由多个摄像头组成,利用先进的图像识别及机器学习技术,对杂草进行检测并定向喷洒微量除草剂;导航系统使用激光雷达和超声波传感器探测周围障碍物和人,结合GPS+RTK 定位技术,使田间导航精度达到厘米级,确保轮子在作物行间稳定行驶[5]。据统计,AVO 除草机器人在行内和行间杂草的检测成功率超过90%,且在检测到的杂草中喷洒率超过95%,但有5%的农作物被误认为杂草进行喷药。
法国Naïo Technologies 公司成立于2011 年,其典型产品有Dino(大田蔬菜除草机器人)和Ted(葡萄园除草机器人)两种机械式除草机器人[6]。Dino 大田除草机器人外观如图1b 所示,其导航系统采用GPS+RTK和多传感器信息融合的自动导航方式,定位精度达到2 cm。视觉图像系统可检测识别作物行距,通过调整除草工具使其尽可能靠近农作物以彻底清理杂草[7]。该机器人主要用于生菜、洋葱、胡萝卜、防风草、卷心菜、韭菜和花椰菜等作物的除草作业。为了适应葡萄园除草作业的需求,Ted 除草机器人的高度达到2 m,可在葡萄果树间进行除草作业,如图1c 所示。其田间工作速度可达6 km/h,与Dino 配置同样的GPS+RTK 卫星导航系统,下部设计通用安装框架,满足多种除草工具的安装需求[8]。其典型除草工具如图2 所示。据该公司介绍,有超过200 个Naïo 田间除草机器人已经在世界各地投入使用,且已经进入商业化销售阶段。
图2 Dino 与Ted 机器人末端除草工具Fig. 2 Robot end weeding tool of Dino and Ted
2019 年,丹麦FarmDroid 农场机器人公司出售并交付了其首款农业机器人FD20,这是一款可实现作物播种及行间和行内自动机械除草的多用途机器人,如图1d 所示。FD20 同样使用GPS+RTK 信号定位技术,能在播种时记录每颗种子的播种位置,因此该系统不依赖相机识别作物或杂草就知道需要除草作业的区域。同时,FD20 是一款由太阳能电池板供电的自主作业机器人,可以不需要外部充电就能实现甜菜、洋葱、油菜等作物的播种除草作业。2020 年春季,FD20 型机器人已经应用在多个欧洲国家的农场替代人工作业,种植和除草面积达1 500 hm2[9]。
图1 田间除草机器人Fig. 1 Field weeding robot
以上4 种农业机器人是国外除草机器人应用的典型产品,虽然上述除草机器人的应用没有达到完美的作业效果,会出现误将作物识别成杂草、漏识杂草、误伤农作物等识别率不稳定问题,但经过大量实际作业验证及使用效益估算,上述机器人可以满足在特定结构化的田地进行自主除草作业需求。这些技术应用方案解决了农场工人短缺的问题,减轻了繁重的体力劳动,减少化学除草剂的使用。
目前,粮食的收获已经实现机械化和自动化作业,但对于水果和蔬菜收获还处于传统劳动密集型作业阶段,急需借助先进的机器人技术将水果及蔬菜的收获从单调的手工采收转变为连续的自动化作业来解决劳动力短缺和及时性问题。收获机器人按功能可以分为传感(即水果识别)、规划(即手眼协调)和动作(即抓取水果的末端执行器机构)3 个主要部分。在收获作业机器人方面,国外专家学者进行了大量的理论和应用研究。
新西兰奥克兰大学与Robotics Plus 公司联合开发了猕猴桃采摘机器人,如图3a 所示。该设备整体分为4个子模块,每个子模块附近设置2 个摄像机拍摄树冠图像,利用深度神经网络和立体匹配的研究成果,通过图像检测系统处理并定位果实在三维空间中的位置。控制调度系统对各个模块中已定位的猕猴桃位置进行排序,利用防碰撞规则为每个手臂动态分配收获目标,协调4个采收臂进行有序采收。仿照人工采收动作设计专用末端手爪,如图3b 所示。使用非对称四杆机构,利用一根线缆驱动完成手爪夹持、旋转、回正及打开动作,这一系列的动作实现了果实的采收作业。夹爪手指内部设计空气通道,采用3D 打印制成,使手指在抓取果实时变形贴合,增加手指和水果之间的接触面积,最大限度地减少擦伤[10]。
图3 采摘机器人及其末端执行器Fig. 3 Picking robot and its end effector
西班牙AGROBOT 公司研制了Agrobot E 系列草莓采摘机器人,如图3c 所示。它由3 排支撑桁架平台组成,上部安装24 个独立的滑动臂,在每个臂上安装2 个超声波传感器,可实现限位停止和防止臂触地的功能[11]。使用激光雷达传感器监测周围环境,避免与农场里的工人发生碰撞。板载集成颜色和红外深度传感器捕获手爪附近图像,利用人工智能识别软件来识别草莓果实并评估果实的成熟度。末端手爪结构如图3d 所示,直接抓住草莓茎部并切割,然后夹持放入平台储物盒内。每个轮子安装超声波传感器,通过不断检测轮子与草莓行之间的距离,使车辆保持在合适位置,实现温室行内自主收获任务[12]。但该机器人对草莓种植结构环境要求较高,且换行作业还需手动操纵完成。
与Agrobot E 草莓采摘机器人结构不同,比利时Octinion研发公司也开发了一款草莓采摘机器人,如图3e 所示。该机器人电动轮式平台采用车轮编码器、陀螺仪和超宽带(UWB)室内定位系统等多传感器融合技术进行导航,通过3 台不同位置的RGB 摄像头检测识别草莓,利用仿生原理设计开发了专用机械臂和专用末端手爪,通过轻轻拉动草莓并施加旋转运动进行草莓采收作业[13]。柔软手指部件由3D 打印加工成形,如图3f 所示,与人类手指相比,该手指与草莓的接触面更大,可降低对果实的伤害。
温室甜椒采收机器人SWEEPER 是欧盟H2020 计划中机器人应用案例项目,如图3g 所示,主要由标准6自由度工业机械臂、定制专用末端执行器、图形处理单元、传感器及其他电子设备组成。定制专用末端执行器如图3h 所示,包括RGB-D 视觉部件、LED 照明装置及果实捕获筐。视觉系统可以从远距离和近距离获取植物的RGB 图像,利用深度学习技术、基于形状和颜色的检测算法识别定位果实茎部相对于果实的位置,使用视觉伺服控制机械臂靠近果实并向下移动,利用振动刀切割果梗进行采收作业[14]。SWEEPER 收获机器人只能收获位于植物和茎前面的果实,且在单株行种植结构中才能充分发挥其收获性能。
虽然上述4 种机器人在特定的环境中可以实现自主收获作业,但是在果实的检测识别率、深度定位、路径规划及末端手爪动作等方面还没达到令人满意的效果。如在猕猴桃采摘机器人视觉系统拍摄出的图像中,人肉眼可分辨出96%的果实,但在图像识别中仅有79%能被检测出,且被正确立体匹配以生成手臂采摘位置的猕猴桃定位率为76.1%[10]。甜椒收获机器人在没有修剪或去除叶子和被遮挡果实的真实种植场景中,甜椒收获的成功率为65%。另外,末端执行器还可能发生定位错误、摩擦力小抓握失败、动态规划碰撞枝叶等问题。据资料显示,在现实的商业果园环境中,对收获机器人进行实际收获性能测试,在最佳作业条件下成功采摘果实数量不超过总数的61%。
在为精准农业和智慧农场提供可靠精确的测量数据方面,田间监测与数据采集机器人发挥着重要的作用。通过田间信息采集机器人获得的田间数据信息,农民可以更有效地管理农作物。目前世界各国为了实现有效的自主作业、导航控制和多源信息采集等功能,开发装有先进传感器的田间监测及数据采集机器人。
由伊利诺伊大学的科学家们开发的TerraSentia 紧凑型作物表型机器人集成了4 台高清RGB 相机和GPS 导航系统,如图4a 所示,具有丰富的3D 数据集和感知功能。TerraSentia 通过机器学习算法训练,可以检测和识别作物常见疾病,采集物理典型特征,如玉米穗高、叶面积指数和生物量等。TerraSentia 体积小、质量小,可以在茎秆较高的玉米和高粱作物行间移动,利用安装的多种传感器部件测量单个作物的特征,并将数据实时传输到远端手机或笔记本电脑[15]。
葡萄园产量估计对于计划和组织收割、计划酒窖需求、计划采购或葡萄销售等都有重要的指导作用,因此,市场对快速、可靠的产量评估机器人有一定需求。VINBOT机器人是一个集成多种传感器的葡萄园信息监测机器人,如图4b 所示。它的底盘基于一款商用移动机器人,有效负载达到65 kg,上部安装彩色和近红外相机,可对藤蔓进行高精度成像。利用激光测距仪和RGB-D 装置进行避障,并获得藤架三维点云信息。利用基于云的网络应用程序处理图像或创建3D 地图,通过人机界面,进行导航和数据采集任务[16]。利用深度学习卷积神经网络检测方法,使用图像中葡萄簇所占的面积估计最终葡萄的产量。
Lady bird 是一款多用途农业机器人平台,由悉尼大学的澳大利亚田间机器人中心(ACFR)设计和建造,如图4c 所示。该机器人使用轮式电动底盘,由上部的太阳能电池板进行供电。利用NovAtel 同步位置姿态导航(SPAN)、全球定位和惯性导航系统(GPS/INS)实现定位功能,通过跟踪数字农场地图上的GPS 路径点进行自主导航,也可通过为每个作物区域创建一系列航路点进行导航。上部配置了多种非接触传感器设备用于作物的自动化信息采集,如用于生成植被指数的高光谱相机、用于检测水分胁迫的热像仪、用于执行图像识别任务的高分辨率立体视觉相机等[17]。
图4 田间数据采集机器人Fig. 4 Field data collection robot
田间信息采集不仅是通过监测田间作物果实估算出果实的产量,更重要的是要根据植物的表型、基因、气候变化和土壤质量等因素去适宜地干扰植物的发育。通过鉴定植物的表型,可以与它们各自的基因型联系起来,从而可以确定适当的生长条件。虽然基于机器视觉的导航算法对真实世界的噪声、变化的光照条件还未达到有效鲁棒性,但是随着全球导航技术、伺服控制技术、先进传感采集及视觉图像处理技术的不断进步,国外田间数据采集机器人即将进入初步应用阶段。该项机器人技术的应用将会在降低农作物生产成本、提高生产率和质量,以及规范农作物种植方式等方面发挥重要作用。
与发达国家相比,我国农业机器人的研制起步较晚、基础也比较薄弱,发展速度缓慢,多数处于理论研究与试验探索时期。近年来,在市场需求的不断引导及国内科研机构的不懈努力下,农业机器人技术也取得了一定的成果。
目前针对大田农业生产的农机具,国内企业相继研发出多种自动导航驾驶系统,已经在一些北方大田地块进行农业生产作业,特别是在新疆棉花产区。棉花穴播播种、侧深施肥、铺膜及铺设滴灌管等农艺作业特点使得农机自动导航装备成为不可缺少的配置[18]。农机自动导航驾驶系统可以保证耕地、播种、施肥、喷药、收获等作业的精确衔接,避免产生漏播、重播现象,有效降低作物的损失率。目前卫星导航系统在直线路径上的导航效果较好,但在地头转弯及地块调度方面的导航还达不到无人化要求。
在植保机器人和果蔬采摘机器人方面,苏州博田自动化技术有限公司与国内高校紧密合作,研发出了几种类型的农业机器人。其开发的温室环境检测机器人如图5a 所示,可以实现环境温度、湿度、二氧化碳等参数的智能感知。同时该公司融合了人工智能和多传感器技术开发了履带式果蔬采摘机器人,如图5b 所示,主要由行走系统、视觉系统和采摘执行系统组成。视觉系统采用双目立体视觉定位技术,基于深度学习的视觉算法实现对果蔬大小、颜色、形状、成熟度和采摘位置的信息获取及处理;集合超声、红外和激光等多种传感器,开发了“手、眼”协同自动化系统,控制机械手臂完成抓取、切割、放置任务[19]。目前上述两种机器人也仅用于现代农业园区或科技农业园区、标准化温室种植、农业嘉年华类活动等。
图5 国内农业机器人应用Fig. 5 Agricultural robot applications in China
农业智能作业车是目前应用较多的农业机器人行走装备,如图5c 所示。该农业无人车搭载厘米级精准导航,可实现果树植保、大田除草、智能田间巡检及农资运输等农事服务,为我国智慧农业、农业机器人的发展提供了技术基础[20]。但是针对成行的精准作业还取决于作业臂和末端执行机构,在田间地头导航还需人工干预。Autolabor 公司研发了一款高通量植物表型机器人,如图5d 所示。其主要用于植物表型组学研究,以轮式机器人为本体,车身装载激光雷达、超声波、视觉相机等多种传感器,基于多传感器信息融合环境感知技术,实现了机器人在特定温室环境下自动巡检、定点采集、自动避障、自动返航等功能。该机器人目前主要针对农业大棚结构化的环境状态,通用性和采集后处理功能还有待提高。
国内各高校和研究机构在收获和除草农业机器人领域进行了大量研究,研制出可供技术验证的样机结构,如中国农业大学研发的温室黄瓜采摘机器人、西北农林科技大学研发的猕猴桃采摘机器人、江苏大学及中国农业机械化科学研究院集团有限公司研发的苹果采摘机器人等[21]。这些样机离实际应用差距较大,还没达到产业化、商品化阶段。
与工业应用相比,农业机器人在很多领域的应用仍处于起步阶段,提高机器人在农业应用中的速度和准确性是农业机器人当前面临的主要问题。
(1)田地、茶园、果园及温室等条件下的自主导航,在场景特征、导航目标和要求、信息来源等方面存在较大差异。基于卫星信号的全球导航已初步应用于大田农业生产作业中,但在非结构化的复杂农业场景中,要实现农业机器人全自主作业就需要全局导航与基于场景感知的局部导航相融合。不同的环境使用不同的方式,如在田间地头等掉头转弯区域可以使用人工特征(如使用RFID 标签或无线传感器)进行引导入行,在行内采用卫星导航或利用固有的行结构信息采用超声、激光雷达或视觉等方式来引导机器人实现自主行进。目前该项技术研究与实际应用仍然存在一定差距,但在市场需求的指引下,随着各项科学技术的进步,未来科学家们必将突破多传感器融合导航技术的瓶颈,实现更高层次、更强自主作业能力的无人驾驶系统。
(2)在机器视觉及图像处理方面,基于视觉识别的图像处理技术在实际应用中已经取得一定突破,但是研究成果通常依赖研究人员自身收集的数据,实际的非结构性农业场景复杂多变,不同的光照条件带来的亮度、阴影及物体的遮挡等问题都会使通用性受到很大限制[22]。收获机器人需要保证水果在复杂浓密的冠层中可靠地检测和定位果实,除草机器人需要在复杂的土壤背景中可靠地区分作物和杂草,而上节介绍的农业机器人产品的实际测试结果并不完美。农业环境为半自然环境状态,作业目标的生长状态及位置具有较大随机性,加上农产品果实硬度低、易损坏,这对研发自主农业机器人系统来说具有非常大的挑战。因此,我国要加快研究适应自主收获要求的作物新品种,使农业生产与智能化装备有效结合,降低农业机器人作业的随机性;同时在视觉硬件(传感器、芯片)不断升级的促进下,研究快速有效的图像处理算法,提高果实识别效率,实现多信息融合技术和图像处理算法的突破。
(3)手眼协调控制是收获或植保等农业机器人最重要功能之一。目前,借助工业机械臂的运动控制算法,末端定位精度可以满足采收任务的要求,但在实际的作业过程中既要快速计算目标位置、及时生成运动轨迹,实时反馈位置信息,又要结合实际的作业场景进行轨迹智能调整,这对当前控制技术仍是一项难题。通过改进农作物种植方式、借助外部力量统一生长状态是实现全自主作业的有效途径之一,同时根据操作经验进一步优化轨迹规划算法,保证农业机器人达到预期的拣选速度和成功率。另外,对于果实被高密度植物叶子严重遮挡的问题,可以借鉴人工操作经验,通过多个视觉工具在多角度捕捉定位目标,通过多臂协作的方式进行采收或植保等作业。将机械臂控制与平台定位系统有效集成,协调控制底盘移动和机械臂作业,实现农业机器人“边走边干”的高效作业。
针对当前国外农业机器人在除草、果蔬收获及环境监测方面的发展,通过已经或即将商业化产品的功能,了解国外农业机器人技术水平及应用现状。从目前作业效果可以看出,即使已经投入应用的农业机器人产品在目标图像处理、路径实时规划及手臂轨迹控制等方面的鲁棒性还有待提高。针对国内农业机器人发展的现状,介绍了几种农业机器人的研发应用情况,除了在自动导航方面的应用之外,其余均处于示范应用阶段。最后,分析当前农业机器人存在的主要问题,探讨了解决问题的可行性方法。