刘成良 林洪振 李彦明 贡 亮 苗中华
(1.上海交通大学机械与动力工程学院, 上海 200240; 2.上海交通大学机械系统与振动国家重点实验室, 上海 200240;3.上海大学机电工程与自动化学院, 上海 200444)
随着我国社会的老龄化、城镇化的推进以及青壮年劳动力就业观念的变化,农业劳动力日益短缺,“谁来种地、如何种地”已成为严峻的社会问题。改变农业生产对劳动力的强依赖性,农业机械融合电子信息、物联网、云计算等技术,实现农业生产过程的自动化、智能化、机器人化是解决上述问题的根本途径。“智能在端、智慧在云、管控在屏”,即现场控制智能化、云端决策智慧化、监控调度移动终端化是未来智慧农业的发展方向。美国[1]、德国[2]、日本[3]等相继提出了各自智慧农业发展战略,我国农业装备领域的专家分别从不同角度阐述了我国智慧农业及智能农业装备的发展方向[4-9]。中国制造2025计划也将智能农业装备列为十大发展领域之一。
智能农业装备是集复杂农业机械、智能感知/智能决策/智能控制、大数据/云平台/物联网等技术为一体的现代农业装备,可自主、高效、安全、可靠地完成农业作业任务。以智能农业装备为核心的智能农机系统(图1)包括田间信息感知获取、田间智能作业机械、田间互通互联以及云-端互联系统、云平台决策管控中心。本文针对农业生产“耕、种、管、收”环节,阐述分析智能农业装备的智能感知、智能控制、智能决策、自主作业、智能管控五大关键技术现状、技术前沿及发展趋势。
图2 农业装备智能感知技术框图Fig.2 Agricultural machinery equipment intelligent sensing technology framework
图1 智能农机系统构成示意图Fig.1 Schematic of intelligent agricultural machinery system
参考汽车自动驾驶[10],智能农业装备感知分为机外感知和机内感知。机外感知是指对农机作业环境和对象信息参数的感知,包括作物生长及其病虫草害信息感知、作业环境与障碍信息感知等。机内感知是指对农业装备自身的工作参数及作业状态参数的感知,包括农业装备共性状态参数感知、耕整机械作业参数感知、施肥播种机作业参数感知、植保机械作业参数感知、收获机械作业参数感知等,如图2所示。
1.1.1作物生长与病虫草害感知技术
(1)作物生长信息感知技术
叶绿素、氮素含量是作物生长的重要营养指标,直接决定了农产品产量和质量,鉴于作物光谱反射特征直接反映了作物叶绿素和氮素含量,因此,基于光谱特征分析法实时获取作物叶绿素和氮素含量是变量施肥和精准植保作业亟待解决的难题。
在叶绿素含量检测研究方面,俄克拉荷马州立大学的JONES等[11]使用多光谱成像传感器检测叶绿素含量和浓度,使用超声波传感器估算植被高度来提高叶绿素含量检测精度,爱达荷大学的EITEL等[12]使用平板彩色扫描仪检测植物叶片叶绿素含量,德国慕尼黑工业大学的BARESEL等[13]将光谱技术和数字图像处理技术结合用于叶绿素含量检测。国内,李民赞团队[14]研究了基于近红外光谱技术的叶绿素含量检测方法;朱艳团队[15]基于高光谱遥感特征进行小麦叶片含氮量检测、小麦氮素积累动态检测等技术研究。
检测传感器及仪器产品开发方面,国内外已有较为成熟的叶绿素含量及氮含量检测仪器(表1)。上述便携式手持产品可实现参数的离线检测。而Yara公司的N-sensor传感器(图3)可直接安装在车载机具上进行作物叶绿素含量以及氮素含量的在线检测[16],精度还有待进一步提高。
综上所述,目前叶绿素和氮素的光谱检测分析技术已相对成熟,离线手持式测量仪器已实现产品化,而车载叶绿素和氮素含量高精度实时在线快速检测是变量施肥和精准植保作业的关键,是亟待解决的难题。
表1 叶绿素检测传感器产品特点Tab.1 Product features of chlorophyll detection sensor
图3 N-sensor传感器 Fig.3 N-sensor
(2)农田病虫草害信息感知技术
作物病虫草害信息准确感知是精准变量靶向喷施和季节性病虫害预测预防的依据。
目前病虫害的检测方法主要有荧光光谱法、可见/近红外光谱法、高光谱成像和数字图像处理法等。国外学者较早开始这方面的研究工作,如美国爱达荷州立大学的GRIFFEL等[17],基于光谱特征,使用支持向量机(SVM)来检测感染病毒的马铃薯植株;德国波恩大学的RÖMER等[18],基于荧光光谱特征,使用支持向量机来检测小麦叶锈病,比利时鲁汶大学的MOSHOU等[19],基于高光谱反射信息,使用荧光成像技术来检测冬小麦黄锈病;KAUR等[20]使用图像处理和支持向量机技术对植物的叶面图像检测植物病变,计算出患病面积的百分比。国内何勇团队[21]利用可见光和近红外光等光谱信息对茄子叶片灰霉病、大豆豆荚炭疽病进行检测;王儒敬团队[22-23]研究了基于深度学习的病虫害智能化识别系统,使用多分类器融合的方法对玉米叶部病害进行识别。文献[24-26]采用光谱技术对苹果、柑橘、枣等实现虫害的无损检测。上述检测手段都是离线检测方法。
鉴于病虫害信息具有实时可变性,需要进一步解决在线检测实时靶向喷药处理。自然环境下基于机器学习的车载高精度、快速作物病虫害识别技术是要攻克的难题。
杂草去除是提高作物产量的重要环节,机器代人靶向定点去除是发展方向,杂草、作物、背景环境快速实时精确识别定位是难点。杂草的检测识别定位主要有视觉法和光谱法。昆士兰科技大学的HALL等[27]开发了一个可快速部署的杂草分类系统,该系统使用可视数据来实现自动精确除草,无需事先确定田地中存在的杂草物种;日本名古屋大学的WATCHAREERUETAI等[28]使用单目相机,基于纹理和颜色特征检测草坪中的杂草;丹麦奥尔堡大学的KAZMI等[29]使用单目相机,基于叶片颜色和边缘形状特征进行杂草检测;法国勃艮第大学的MARINE等[30]提出了结合空间信息和光谱信息,用于农作物杂草早期检测的无监督分类算法;比利时让布卢大学的PIRON等[31]使用立体视觉传感器,基于株高特征进行杂草识别分类;BAKHSHIPOUR等[32]将神经网络技术应用于杂草识别。李伟团队[33]研究了基于视觉形态特征的杂草识别方法,将其应用到移栽类蔬菜用苗间锄草机器人上。何东健等[34]和李先锋等[35]分别将支持向量机和DS(Shafer-Dempster)证据理论用于多特征融合的杂草识别方法。国内外一些农机企业也推出了农田杂草识别系统,科乐收(CLAAS)、蓝河科技(Blue River Technology)分别在CULTI CAM和See & Spray解决方案中使用了基于视觉的田间杂草感知系统(图4a)。碳蜂(Carbon Bee)公司推出了一种车载的高光谱传感器AQiT-Sensor,可以识别出作物中间生长的杂草(图4b)。
图4 农田杂草传感器Fig.4 Farmland weed sensor
目前农田杂草的感知技术主要基于视觉特征,对于不同的杂草需要不同的算法,用于学习训练的数据库比较单一和独立,未来可以将杂草的特征进行整合建立一个统一的数据库,使用机器学习的方式将各种杂草最主要的特征进行提取,减少终端的运算量,提高杂草感知的准确性和实时性。
1.1.2作业环境与障碍感知技术
(1)农田土壤信息感知技术
车载农田土壤信息感知是提高精准变量肥水施用生产率的有效手段。车载土壤信息获取包括土壤养分、水分、酸碱度、压实度等信息。
车载土壤养分精确测量目前还没有成熟的手段,但国内外学者都对此进行了大量深入研究。何勇团队[36-37]利用土壤的光谱特征来检测土壤的有机质含量、含水率、氮磷含量、pH值等信息;李民赞团队[38-39]基于卤钨灯光源和多路光纤法设计了土壤全氮含量检测仪,基于近红外光谱信息对土壤参数进行实时分析,使用神经网络和支持向量机对土壤参数进行预测,研发了车载式土壤电导率与机械阻力实时测量系统;王儒敬团队[40-41]设计了土壤钾离子非接触电导检测装置,基于光谱、卷积神经网络、深度稀疏学习等方法对土壤有机质含量进行预测;张小超团队[42-43]利用近红外光谱法分析了北京典型耕作土壤的养分信息,研究了基于激光诱导击穿光谱的土壤钾素检测方法,应用傅里叶变换近红外光谱技术分析了土样的全氮、全钾、有机质养分含量和pH值;孙宇瑞团队[44]开发了土壤水分剖面实时测量传感器、农田土壤含水率与坚实度信息快速采集系统,设计了基于激光反射的土壤表面粗糙度测量装置,运用近红外光谱分析方法对土壤质地进行分类。
国外从事土壤信息感知技术研究的有美国乔治亚大学的HAMRITA等[45]使用射频识别技术对土壤的温度信息进行快速无线实时监测;意大利卡西诺大学的ANTONUCCI等[46]使用主动红外热成像法实现了实验室和现场的土壤含水量快速检测;比利时列日大学的GENOT等[47]使用近红外反射光谱法检测土壤有机质含量。
目前与农田土壤信息感知相关的企业和产品,如奥地利POTTINGER公司的车载综合土壤传感器TSM,可以实时地扫描土壤表层和深层土质结构,得到不同区块的压实度、含水率、电导率和土壤类型等信息(图5a)。美国精密种植(Precision Planting)公司的Smart Firmer传感器和Delta Force压力传感器能够感知土壤的有机质含量,收集温度和湿度信息,采集土壤的硬度信息(图5b)。美国Veris technologies公司的iScan车载传感器可以实时检测土壤的质地、含水率、温度、土壤阳离子交换容量、有机质含量等信息。
图5 土壤传感器产品Fig.5 Soil sensor products
土壤养分车载精确测量是未来努力的方向,车载含水率、酸碱度、压实度、有机质含量等参数测量技术相对成熟,但高可靠性、高精度、多参数组合量传感器是未来的发展方向。此外,为配合智能农业装备处方作业,在土壤中预埋大量物联网传感器的智慧农田系统是未来智慧农业的发展趋势,研发低功耗、低成本、小型化、无线通信土壤信息传感器,将土壤参数上传至云端,农业装备按需取用,实现闭环控制是未来的创新发展模式。
(2)作业障碍信息感知技术
障碍物信息感知是智能农业装备在复杂的非结构化农田环境中安全可靠作业的保障。农业装备作业环境中的障碍物复杂多变,静态有树木、电线杆、水井、房屋等,动态有人、动物、作业农机等。目前障碍物检测手段主要有超声雷达、激光雷达、红外传感、视觉传感器以及多传感融合等。美国肯塔基大学的DVORAK等[48]使用超声波传感器检测农业环境中的障碍物。韩国国立韩国外国语大学的KIM等[49]、西班牙阿卡拉德赫拿勒斯大学的DIEGO等[50]使用多个超声波传感器组成阵列来检测障碍物,该方法可以有效地提高稳定性。德国汉诺威大学的BRENNEKE等[51]使用三维激光雷达检测障碍物,受天气、光照等环境因素的影响较小。PENG[52]使用成本略低的二维激光雷达,配合算法可以准确地检测障碍物。美国斯坦福大学的MICHELS等[53]、MAIER等[54]使用单目视觉传感器检测障碍物,配合强化学习算法提高检测稳定性(图6a)。BRAND等[55]、德国凯泽斯劳滕大学的FLEISCHMANN等[56]使用双目立体视觉生成点云信息,识别障碍物比单目视觉更加准确。OHYA等[57]、DING[58]、LIU[59]研究了视觉、激光雷达、红外成像和超声波等多传感融合的障碍感知方案(图6b)。刘成良团队[60]研究了基于支持向量机的视觉水田田埂边界检测方法。周俊等[61]基于机器视觉技术检测作业环境中的运动障碍,采用帧差法消除机器人自身运动的影响。何东健团队[62]基于机器视觉技术,使用贝叶斯决策图像分割法进行障碍物检测。奥地博田公司的车载Sensosafe传感器通过光学红外传感器检测在收割时隐藏在草丛中的野生动物。
图6 障碍物检测传感器Fig.6 Various types of obstacle detection sensors
农业装备作业环境中的障碍物感知技术中,红外技术是检测人和动物的有效方法,超声与激光雷达测量范围大,对距离、速度检测精度高,三维雷达测量精度高,但成本也高,基于视觉、二维雷达组合的障碍物检测是较理想的方案,多传感融合是农田障碍感知的研究重点。
农业装备机内感知的目的是实现机器运行的闭环控制,以及作业参数的优化匹配。
1.2.1农业装备共性参数感知技术
农业装备机内共性参数包括发动机信息、动力输出信息、扭矩信息、滑转率、姿态信息、安全隐患信息等。其中发动机信息、动力输出信息等可通过CAN总线按照ISO 11783协议读出,姿态信息一般可采用北斗模块和陀螺仪获得,而扭矩信息、滑转率是农业装备共性参数检测的难点。RAJABI-VANDECHALI等[63]基于径向基函数(Rdial basis function,RBF)神经网络和自适应神经网络模糊推理系统(Adaptive network-based fuzzy inference system,ANFIS),使用低成本传感器对拖拉机发动机的扭矩进行了估测。王书茂团队[64]使用多模多频卫星定位与惯导测速技术,采用扭振补偿的旋转编码测速方法,实现了低速扭振动力机械的驱动轮边速的高精度测量。未来农业装备机内共性参数感知的研究重点是扭矩信息和车轮滑转率精确测量。
1.2.2耕整机械作业参数感知技术
耕整机械的作业参数有姿态、压力、位置、深度等。实现深松作业的关键前提是耕整深度的准确检测。孟志军团队[65]提出一种基于深松机组姿态估测的耕深检测方法。朱忠祥团队[66]提出一种基于倾角传感器的自动测量农机具耕深的方法。苑严伟团队[67]提出一种基于超声波测距传感器的悬挂式深松机耕深在线检测方法。博世力士乐公司推出了用于耕整机械的液压控制解决方案,方案使用了多种传感器实现了耕整机具姿态感知、耕整作业阻力感知、耕整深度感知。未来耕整机械的作业参数感知可以结合土壤信息感知技术,在耕整阶段全方位、多参数地感知土壤信息,建立土壤信息图,实现“一次感知,全过程使用”。
1.2.3施肥播种机械作业参数感知技术
施肥播种机械的作业参数有种肥流速流量、播施深度等。施肥播种机械作业参数的准确感知是施肥播种机械精准自主作业的基础。SWISHER等[68]使用激光发生器和光学传感器设计了一种用于测量气流中颗粒肥料流量的传感器。苑严伟团队[69-70]设计了一种差分结构的电容传感器,在排料管道外壁构建阵列式电容传感器来提高检测精度。刘成良团队[71]基于电容法设计了一套用于小麦播种量检测的系统,建立了种子数量与电容变化量之间的线性关系。余洪锋等[72]设计了一种基于皮带秤的施肥机施肥性能检测装置,装置可以检测排肥口的实时流量。精密种植公司的SpeedTube是高速种植系统的一个组件,可以在高速播种的情况下精确测量播种施肥的速率,WaveVision使用高频无线电波测量播种量,有效消除了灰尘的干扰,vSet是一种圆盘式的解决方案,基于转速检测播种量。
目前施肥播种精量控制技术比较成熟,但在肥种流量检测方面,虽然有光电、电容等不同方法,但其精度不高、可靠性还有待进一步提高,应侧重于检测数据的智能处理方法以及创新感知原理新型传感器设计的研究。
1.2.4植保机械作业参数感知技术
植保机械作业状态参数包括喷雾压力、喷雾流量、喷杆姿态等。李树江团队[73-74]通过多传感信息采集,建立基于总线的作业速度、喷雾流量、喷雾压力、喷杆作业状态、喷头堵塞、喷杆高度探测、药液体积、气象环境等参数的在线监测系统,并实现喷头堵塞及低流量自动报警、喷杆高度自动仿形,解决了传统植保机械容易出现的农药漏喷、不均匀和飘移等问题。精密种植公司开发了用于液体测量的传感器,该传感器可以实时测量包括液体农药和液体肥料在内的液体流量。目前对于植保机械的作业参数感知研究较少,未来应研究液体肥料和农药的感知机理,解决传感器的抗腐蚀性和精度保持性问题。
1.2.5收获机械作业参数感知技术
收获机械种类繁多,本文主要以稻麦、玉米联合收获和棉花采摘机械为例进行收获机械作业参数感知技术分析。稻麦、玉米等联合收获机械的作业参数有含水率、流量、损失率、含杂率等。巴西圣保罗大学的DA等[75]使用6个双板差分冲击式传感器形成阵列来测量谷物产量,有效地减小了振动引起的噪声干扰。印度旁遮普农业大学的SINGH等[76]基于称量传感器开发了安装在储罐底部的收获机械产量传感器,并且使用此传感器结合GPS系统开发了产量制图系统。丹麦电气工程技术大学的HERMANN等[77]使用谷物流量模型和谷物吞吐量传感器,对谷物流量进行预测。印度农业工程学院的HIREGOUDAR等[78]使用人工神经网络技术评估田间条件下的谷物收获损失。加拿大阿尔伯塔大学的LIU等[79]使用9个声学谷物撞击传感器布置在收割机分离格栅下方,通过对声学撞击信号的分析检测谷物损失量。比利时鲁汶大学的WALLAYS等[80]基于多光谱视觉传感器和遗传算法检测谷物流中的谷壳、稻草等杂质,得到谷物清洁度数据。罗锡文团队[81]设计了一种双板冲量式谷物流量传感器及其差分消振电路,以消除车身振动对测产精度的影响。刘成良团队[82-83]设计了冲量式谷物联合收获机智能测产系统和基于计算机视觉的谷物测产系统。张小超团队[84-85]研究了基于称重法的联合收获机测产方法,设计了用于联合收获机谷物损失测量的聚偏氟乙烯阵列传感器,研究了基于电容法的棉管籽棉质量流量检测方法。刘成良团队[86]研究了基于光电原理的棉花流量产量测量装置,引入网络神经元进行数据的分析。郑传涛团队[87-89]提出采用可调谐二极管激光吸收光谱技术,探测痕量CO,研制抗干扰新型红外CO传感器,实现收获作业过程中隐性火灾的探测。
目前收获机械的作业参数传感原理已基本成熟,国外科乐收等机型也安装有成熟的水分、流量等传感器,国内缺乏成熟的产品,主要在于检测精度与可靠性不高,虽然多年来国内学者一直进行此方面的研究,但在精度、可靠性、算法模型等方面与实际应用还有差距。
多传感以及多智能控制单元是智能农机的一个显著特点,对此国际标准化组织制定ISO 11783标准[90],详细规定了智能农机的控制系统网络整体架构、物理层、网络层、数据通讯、各种电子控制单元(ECU)及任务控制器结构。图7为基于ISO 11783的智能农机控制系统结构组成和示例说明。
图7 ISOBUS示意图Fig.7 ISOBUS schematic1.总线末端 2.总线插座 3.自带控制器的拖拉机内部总线 4.用户终端 5.到运营计算机的数据终端 6.机具ECU 7.拖拉机-机具总线
为了推行ISO 11783标准,美国制造商协会(National association of manufacturers,NAM)、德国机械设备制造业联合会(Verband deutscher maschinen- und anlagenbau,VDMA)和格立莫(GRIMME)、格兰(KVERNELAND)、爱科、奥地博田、克拉斯、约翰迪尔、凯斯纽荷兰于2008年共同成立了农业电子协会(Agricultural industry electronics foundation,AEF),拥有230个世界主要农机企业及科研机构成员。世界著名农机公司目前大都采用ISOBUS控制结构,图8是凯斯公司的总线结构。
图8 凯斯公司ISOBUS总线结构Fig.8 CASE IH company ISOBUS bus structure1.电源 2.拖拉机电源线 3.连接机具CAN线 4.拖拉机ECU 5.点火开关 6.雷达接口 7.总开关 8.AgGPS现场管理显示线 9、26.CAN末端 10.通用扩展交换机模块 11.喷雾器 12.风扇转速传感器 13.料斗余量传感器 14.气压传感器 15.气吸式播种机控制器 16.应用速率传感器 17.PWM电磁阀 18.伺服阀 19.气压传感器 20.料斗平面传感器 21.机具提升传感器 22.风扇转速传感器 23.雷达速度传感器 24.种子监视器 25.排线 27.机具CAN扩展线 28.气吸式播种机控制线 29.CAN牵引扩展线 30.连接驾驶室线
国内自2008年开始关注ISOBUS在农机中的应用,开始借鉴其通讯结构并在导航系统中应用[91],自2017年开始采用ISO 11783系列标准,颁布了GB/T 35381系列标准[92]。国内福田雷沃、一拖、五征、中联重机等主要农机公司开始采用ISOBUS系统。总线控制系统的研究热点集中在监控终端、主机和机具控制器方面。
监控终端是一个状态监控系统,实时显示农机的运行状态,ISO 11783对监控终端的功能、界面布局等做了详细规定[93]。
由于监控终端是农业装备产品化的部件,所以对其研究较多的是农业装备企业。欧美等高端农机都配备有符合标准的监控终端(图9),约翰迪尔公司Green Star系列总线化车载智能终端提供了高低不同的一整套显示屏交互方案,获得了AEF的授权,使用ISO Task Control功能控制第三方机具。凯斯公司推出的AFS DISPLAY终端可以监控和控制凯斯的车辆和工具,记录重要的数据和路线,用于将来的管理和决策,终端符合ISOBUS标准。科乐收公司为其自动转向系统GPS PILOT配备了一个集成了10.4英寸触摸屏和双频接收器的S10终端,具有操作自动转向系统、控制接入ISOBUS的机具等功能。格兰公司发布的iM FARMING精准农业解决方案包括Iso Match特勒斯专业版(Tellus Pro)通用终端。爱科旗下麦赛弗格森(Massey Ferguson)的FUSE Technologies解决方案中包括了AgCommand监控终端。除了农业装备主机企业自研的监控终端外,还有一些配套企业提供的监控终端,例如美国MC Elettronica公司、DICKEY-john公司、AIS公司、STW公司、Agleader公司等都推出了相关产品(图10),JCA公司还将监控终端功能移植到Android或者IOS系统的平板电脑上。国外农业装备不论是主机企业还是配套企业的终端设备,基本都符合ISOBUS标准。
图9 国外农机企业的监控终端Fig.9 Virtual terminals of foreign agricultural machinery enterprises
图10 国外配套企业的监控终端Fig.10 Virtual terminals of foreign supporting enterprises
国内农业装备企业目前在跟进监控终端的研究发展,与国外不同的是,国内农业装备主机企业一般使用配套公司的监控终端产品。例如司南公司农机智能终端用于卫星导航自动驾驶,是集用户界面显示、作业数据显示、作业模式调整等功能于一体的综合性农机智能终端。中海达公司农机智能终端采用一体化设计,内置北斗卫星导航定位系统,采用其独有的Smart Heading等多项专利技术,实现对农机驾驶数据的显示和农机驾驶的操控。除此之外其他监控终端供货商有长沙硕博电子、贵州永青电子、北京博创联动、上海宏英科技等公司,基本上都是从工程机械领域向农业装备领域拓展的。国内企业开发的监控终端大部分没有通过AEF的认证,对ISO 11783标准的兼容性未知,甚至有的企业和单位使用LabView等第三方组态软件编写上位机界面实现监控终端的功能。
目前国内的农业装备监控终端存在的主要问题是没有实现接口、功能和界面的标准化,没有互换性,不能实现不同企业农机和机具之间的互联互通,未来需要解决的问题是监控终端的标准化问题。
控制器是实现农业装备智能控制的核心部件。ISO 11783规定的ISOBUS按照设计功能和安装位置的不同将农业装备中的ECU分为主机ECU和机具ECU两类[94]。主机ECU可以完成的功能包括电源管理、拖拉机设备响应、附加悬挂参数、机具与拖拉机照明控制、估计和测量辅助阀流量、悬挂命令、动力输出装置(Power Take-Off,PTO)命令、辅助阀命令等,可以读取处理的信息包括辅助阀信息、PTO信息、速度和距离信息、时间/日期信息、悬挂信息、语言信息等;机具ECU主要完成机具作业时的控制,如耕整机具的犁深控制、喷施机具的变量喷药施肥、播种机具的精量播种等。
如图11所示,国外智能农机控制器主要有两类,一类是企业自主研发的控制器,比如约翰迪尔公司的M50、M700、2000控制器。凯斯的AFS控制解决方案中包括了EZ系列控制器,有EZ-PILOT、EZ-STEER等型号。一类是配套企业研发的符合ISOBUS标准的产品,如博世力士乐开发了可用于农业装备行走机械控制的BODAS控制器,用于电液提升控制和犁深控制的EHC-8控制器;STW公司开发了符合ISOBUS标准的ESX系列控制器。国内博创联动开发了SF9507车载控制器、TTC60通用控制器,派芬开发了HE20系列控制器。
图11 拖拉机主机控制器Fig.11 Tractor main controller
研究方面,TUMENJARGAL等[95]在ISOBUS的基础上开发了一种施肥机械液压控制系统,基于OSB-Ag公司的ISOBUS商用库,开发了面向服务器ECU和客户端的应用程序。BACKMAN[96]将ISOBUS应用于农业机械的导航控制系统,使用了ISOBUS规定的标准接口和通信通道、标准信息流等。苗中华等[97]将CAN应用层协议应用到采棉机智能监控系统中,搭建了基于CAN总线的数字化智能监控系统。杨卫平团队[98]基于拖拉机的ISOBUS实现了拖拉机的故障诊断。目前我国的农机主机控制器主要是来自第三方配套生产,不符合标准,不利于高端智能拖拉机的推广。
如何为用户提供开放的编程环境是目前农机控制器使用中的一个问题。目前的农业装备控制部分没有操作系统的概念,使用基于Windows、Linux的上位机程序,或者是基于LabView编写的界面来完成应该由操作系统完成的功能。部分企业开始进行农业装备操作系统的研究,博世力士乐公司为其开发的BODAS控制器配备了BODAS系列的配套软件,利用配套软件可以实现对控制器的图形和文本编程,已经具有了操作系统的基本功能;约翰迪尔的MECA控制器搭载了约翰迪尔操作系统(John Deere operating system,JDOS),可以实现强大的软件后期开发;STW公司的ESX系列控制器使用CoDeSys搭建了开发环境,可以使用C语言或Matlab/Simulink支持包进行自由编程,实现功能扩展和后期升级。目前大部分农业装备企业还没有建立起农机操作系统的概念,未来应将操作系统纳入标准化的范畴,研究基于农机操作系统的云传输、云控制技术。
硬件是智能控制的躯体,决策是智能控制的大脑。决策和协同是保证智能农机高效、高精度及高品质作业的关键,主要技术包括变量作业决策技术、路径规划决策技术、多机协同作业技术。
变量作业智能决策是指根据作业过程中的传感器数据,结合专家系统、知识库和数据库里的信息,得出控制策略。美国蒙大拿州立大学的PEERLINCK等[99]使用机器学习算法,通过分析冬小麦的施肥配方对产量进行预测,进而实现了对小麦施肥配方的辅助决策;芬兰于韦斯屈莱大学的KAIVOSOJA等[100]使用遥感信息估计土壤的氮含量,将此数据用来对变量施肥的配方进行决策,实现精准施肥。国内孟志军等[101]开发了基于处方图的变量作业控制和辅助导航软件;魏新华团队[102]设计了脉宽调制间歇喷雾变量喷施系统;苑严伟团队[103-104]设计了变量配肥施肥机和小麦精量播种变量施肥机,开发了基于作业处方图的氮磷钾配比施肥决策支持系统;赵春江团队[105]论述了基于空间信息的精准施药分析决策方法;刘成良团队[106]研究了基于模糊系统的开度转速双变量施肥控制序列生成方法。凯斯公司研发了ST820型气力输送式变量施肥播种机,施肥作业前在计算机上制作处方图,生成处方文件,施肥机自动实施变量作业。科乐收公司研发了一种振动式切线脱粒系统,该系统能根据农学策略自动优化决策调整脱粒滚筒转速和脱粒间隙宽度等参数。农机变量作业决策是专家经验、农机动力学模型和人工智能的综合应用,国内在此方面研究较为深入,研究成果也较多。今后变量作业决策的发展一方面是新模型算法的深入研究,另一方面是大数据、人工智能及云计算在变量决策方面的深入应用。
农业装备的作业路径规划是指必须满足相关农艺规范的要求,实现作业区域内不重、不漏前提下,对作业距离、时间、转弯次数、能耗等参数优化,寻找合理的行走路线,是农机无人驾驶与自主作业的不可或缺的环节。
图12 全区域覆盖路径规划策略[116]Fig.12 Regional coverage path planning strategy
图13 农业装备地头转弯策略[116]Fig.13 Turning strategy of agricultural machinery equipment
农田环境下农业装备的行驶路径包括跟踪作物行的直线段路径和连接直线段之间的曲线段路径。直线段的路径规划主要依靠A-B线导航技术。对于全区域覆盖路径规划而言,考虑的不仅仅是转弯路径而是包括转弯路径在内的农田区域内的所有行驶轨迹,目前的规划方案有S形、口字形、回字形、对角形4种(图12)。对全区域路径规划的研究多集中在转弯路径(图13),转弯路径的规划方案有弓形、半圆形、梨形、鱼尾形4种。国内外学者对于路径规划的研究成果总结如表2,日本岩手大学的TORISU[107]结合拖拉机的机械参数和农田的几何约束,以转弯路径的时间最短为目标优化拖拉机的地头转弯路径规划。日本北海道大学的KISE[108]以最小转弯半径和最大转弯速度为目标,利用3阶样条函数创建了两种转弯路径,即前向转弯路径和后退转弯路径。美国康奈尔大学的RYERSON等[109]将农田区域划分为多个单元块后,基于遗传算法寻找全区域路径来实现最大的覆盖面积和最小的行驶距离。美国阿肯色大学的KAREN[110]将决策支持系统用于拖拉机导航,决策系统会选取最节省时间、最节省燃料、盈利最高的行驶路径。日本国家农业研究中心的NAGASAKA等[111]设计了采用梭形法进行转弯作业的自动驾驶插秧机。德国斯图加特大学的STOLL[112]提出了一种根据目标地块最长边将其分割成子田块,再分别对子田块进行全覆盖作业的规划路径方法。HAMEED[113]以成本最小化为路径规划的准则,提出了一种多目标优化覆盖规划方法。国内刘刚等[114]提出了一种基于 GNSS 的农田平整自动导航路径规划方法,该方法以空载或满载时间最短为最优评价基准。孟志军等[115]提出了一种面向农田作业机械的地块全区域覆盖路径优化方法,该方法将田间作业划分为不同区域,根据先验信息选择不同的路径优化目标:转弯数最少、作业消耗最小、总作业路径最短或有效作业路径比最大。
目前规则地块的全覆盖路径规划算法已经比较成熟,未来的研究方向是不规则地块及多障碍、多约束的全覆盖路径规划算法,解决主机和机具不同转弯半径时的自适应路径规划算法,以及绕过不同障碍物继续进行作业的路径规划算法。
现代农机有两种不同发展方向,一是朝超大型化、复杂化方向发展;另一个方向是通过多台小型农机协同作业,提高生产效率,多机协同作业对具有严格的作业窗口期要求抢种抢收的意义重大。
农业装备的多机协同控制分为主从协同控制和共同作业控制。日本北海道大学NOGUCHI团队[117-118]研究了一种手动驾驶拖拉机跟随自动驾驶拖拉机的Leader-follower系统,研究了多机器人系统在日本水稻、小麦和大豆农业中的应用,该机器人农业系统包括水稻种植机器人、播种机器人、机器人拖拉机、联合收获机以及附加在机器人拖拉机上的各种机具。李民赞团队[119]研究了基于蚁群算法的多机协同作业任务规划,建立了多机协同作业任务分配模型。胡静涛团队[120]提出一种基于领航-跟随结构的收获机械机群协同导航控制方法,该方法在建立收获机群运动学模型的基础上,结合反馈线性化理论和滑模控制理论设计了渐近稳定的路径跟踪控制律和队形保持控制律。张漫团队[121]设计了基于Web-GIS的多机协同作业远程监控平台,其中数据分析模块可以实时分析处理多机位置和航姿信息,对各农机进行决策分析和任务调度,从而实现多机协同作业。陈军[122]设计了拖拉机机组的主从跟踪控制模型,实现了一个驾驶员控制两台拖拉机的目的。芬特公司研发的MARS系统是群体智能控制技术在农业工程领域的第一个商业化应用,一个主机负责给多个自走小型农机添料,监控和带领小型农机协同作业。
表2 路径规划研究成果Tab.2 Summary of path planning studies
多机协同是农机智能控制领域的新技术,目前主要侧重于领航-跟随协同算法的研究,而未来协同技术走向实用化除了领航-跟随算法,还需解决协同作业中单机异常诊断及队形恢复、跨区域空-地协同、云-端协同调度,农业装备机群协同作业管控平台技术,多农业装备集群协作云调度技术,分布式多机协同远程运维技术,人机伴行控制技术等。
辅助驾驶、无人驾驶与自主作业是农业装备智能化研究的热点之一。根据驾驶员对驾驶活动主体的参与度的不同,国际自动机工程师学会(Society of Automotive Engineers,SAE)将自动驾驶分为L0~L5共6级(表3);美国高速公路安全管理局(National Highway Traffic Safety Administration,NHTSA)则将其分为5级。类似的,凯斯纽荷兰(CNH Industrial)也将农业装备的自动驾驶进行了分类(表4)。本文根据表3和表4对农机无人驾驶与自主作业技术进行分类阐述。
表3 SAE关于汽车自动驾驶的分级Tab.3 SAE’s classification of auto driving
表4 农业装备自动驾驶分类Tab.4 Classification of automatic driving for agricultural equipment
农业装备的自动定位与导航技术是实现农机自动驾驶的基础,研究重点包括位置定位、行线检测两方面。
位置定位主要有GNSS定位技术和视觉定位技术。随着GNSS导航定位技术向民用领域的开放,利用载波相位差分技术的实时动态定位(Real-time kinematic,RTK)精度已小于等于2.5 cm,RTK-GPS和RTK-BDS在精准农业领域得到了广泛推广应用并促进了农业装备自动导航技术的发展。日本东京大学的KAIZU等[123]使用增强现实技术构建环境的三维图像,来确定拖拉机在环境中的位置;美国斯坦福大学的O’CONNOR等[124]将高精度RTK-GPS应用于农机导航中;美国林肯大学的DAYOUB等[125]使用全向视觉传感器来确定农业移动机器人在环境中的位置。罗锡文团队[126]在东方红X-804型拖拉机上开发了基于RTK-DGPS的自动导航控制系统,设计了基于PID算法的导航控制器,在雷沃M904-D型拖拉机上开发了基于预瞄追踪模型的农机导航路径跟踪控制方法。
行线检测技术有激光法和视觉法两种,主要用来识别作物行,确定导航的基准线。美国德州农工大学的SEARCY[127]最早将Hough变换引入到农机导航特征提取中来,提出了一种基于Hough变换的作物行参数提取方法。美国华盛顿州立大学的DICKSON等[128]将光纤陀螺仪、RTK-GPS和机器视觉3种传感器融合实现行线检测和定位导航。法国昂热大学的MALAVAZI等[129]研究了使用激光雷达从2D点云中提取行线的技术,使用了PEARL算法。澳大利亚昆士兰科技大学的ENGLISH等[130]研究了一种基于纹理特征的视觉行线检测方法,在夜间也可以准确检测行线。韩国高等科学技术学院的CHOI等[131]研究了一种基于形态学特征的视觉行线检测方法,形态学特征包括农作物的叶片、茎的方向和密度等。SHKANAEV等[132]将视觉行线检测技术应用到联合收获机上,基于秸秆的颜色和纹理信息识别行线。姬长英团队[133]基于光照无关图提出一种农业机器人视觉导航算法。
国内外相关企业也推出了各自的相关定位导航产品。凯斯公司的AFS解决方案中包含了AFS ACCUSTAR系列GPS定位接收机,可以和AFS系列的监控终端AFS Pro 700连接,配合AFS AccuGuide程序完成农机的定位导航。科乐收公司推出了GPS PILOT解决方案,高精度GPS接收机配合激光传感器,后者作用是检测已收割作物和未收割作物之间边缘的精确位置。约翰迪尔公司推出了Radio RTK系列接收机,使用RTK-GPS技术的解决方案。芬特(Fent)公司推出了Vario、Katana、Rogator等多个系列的农机定位解决方案,适用于不同的场合。除了几大主机企业外,国外的一些配套企业也开发了用于农业装备的定位导航产品,如拓普康(Topcon)公司开发了Hiper、NET系列,AutoFarm公司开发了GR系列,AgLeader公司开发了GPS 6000系列,天宝公司开发了NAV和GFX系列。国内农业装备导航产品有合众思壮的G9系列、联适导航的R系列、博创联动的HOMER系列、华测的X和T系列等。
综上所述,目前农机卫星导航定位技术相对成熟,并得到了广泛应用,在高端农机中成为标配。而基于视觉和激光的行线检测目前是一种辅助手段,尤其是视觉行线检测的环境鲁棒性是影响其实际应用的重要因素。未来卫星定位与视觉导航结合将满足更多作业场景的需求。
目前农业装备的自动驾驶技术大多处于辅助驾驶阶段,辅助驾驶是传统驾驶到无人驾驶之间的过渡阶段,其特点是直线跟踪和地头转弯等行驶项目采用自动驾驶,机具控制等作业项目采用人工辅助,使操作员更专注于农机作业,有利于提高作业质量。凯斯的AFS解决方案中包含了AFS AccuGuide、AccuTurn辅助驾驶技术,可以在现有普通拖拉机基础上安装这种电动方向盘。约翰迪尔公司的AutoTrac解决方案可以实现大半径的自动转弯,减少作业面积的重叠。科乐收公司的CEMOS解决方案可以实现自动对行,自适应半径转弯等功能。格兰发布的iM FARMING精准农业解决方案里包含了IsoMatch自动驾驶系统,可以实现自动转向功能。德国Holmer公司与Reichhardt公司联合研发的智能转弯系统SmartTurn,可以实现甜菜挖掘机的全自动转向。我国农业装备自动驾驶系统大多由配套企业研制,主要功能是通过北斗卫星定位导航系统实现拖拉机直线跟踪行驶。以北京合众思壮的“慧农”产品为例,该产品包括了固定式基站、GNSS定位装置、姿态传感器、智能驾驶控制器、转向轮角度传感器、压力传感器、液压转向电磁阀组和显示终端等。除合众思壮外,还有上海司南、上海联适、上海华测、广州中海达、无锡卡尔曼等公司也推出了农机辅助驾驶产品。
目前的农业装备辅助驾驶产品大部分属于后装系统,增加了精确跟踪及作业控制参数调整匹配的复杂性。
无人驾驶是自动驾驶发展的最高阶段。发展无人驾驶的一个瓶颈是拖拉机的无级变速和动力换挡。约翰迪尔、爱科(AGCO)、凯斯和道依茨法尔(DEUTZ-FAHR)等世界一流农机企业都推出了具有无级变速功能的大功率拖拉机。国外比较成熟的农机用动力换挡传动系的零部件供货商有德国采埃孚(ZF)公司、意大利卡拉罗(Carraro)公司等,其中道依茨法尔公司使用的是德国采埃孚公司提供的动力换挡传动系。目前国内也有主机企业和配套企业研究动力换挡技术。一拖在收购了法国ARGO集团旗下研究动力换挡技术的企业之后,推出了自己的动力换挡拖拉机LF2204,使用的是一拖(法国)公司生产的TX4A传动系;五征公司使用德国采埃孚公司提供的动力换挡传动系,推出了WZ2104型拖拉机;雷沃重工推出了搭载其欧洲技术中心研发的动力换挡传动系的拖拉机P5000;中联重机公司推出了动力换挡拖拉机RN1004,其动力换挡技术由中联重机北美的团队提供。目前国内主机企业使用的动力换挡技术几乎全部来自于国外,国内也有第三方配套企业开始攻关动力换挡技术,浙江海天公司联合广西玉柴公司推出了两款动力换挡传动系HT2404和HT1604;杭州前进齿轮集团推出了应用于农业机械的动力换挡传动系DB200。具有动力换挡和无级变速功能的大功率拖拉机在我国的需求不断变大,未来我国配套企业研发动力换挡产品会不断完善,逐渐打破国外的技术垄断,会有更多搭载我国自主研发的动力换挡传动系的大功率拖拉机投入使用。
无人驾驶的农业装备目前停留在概念机阶段,主要开发单位是农业装备制造企业,较为典型的没有驾驶室的无人驾驶拖拉机有凯斯公司的Magnum和一拖公司的“超级拖拉机1号”。凯斯公司推出了无人驾驶概念拖拉机Magnum(图14a),该拖拉机结合了目前在定位、遥控、数据共享和农艺管理上的最新突破,拖拉机的作业过程从现场边界输入开始,控制器会根据边界和机具宽度自动规划好行驶路径,并在使用多台互联的机器时规划好最高效的协同路线,操作人员可以使用台式计算机、平板电脑等多种终端来监控拖拉机运行,拖拉机机身上安装的摄像机将拖拉机的运行状态、工作环境实时展示给操作人员参考,操作人员可以浏览发动机转速、燃油油位、机具设置等拖拉机参数并进行手动修改。为了保障无人驾驶的安全性,拖拉机上安装了雷达、激光测距传感器、摄像机等传感器来实现障碍物检测。该拖拉机能够使用实时气象信息等大数据信息进行自主决策,天气条件变得恶劣以至于不能继续作业时拖拉机会自动停止作业,在条件改善时自动恢复作业。中国一拖集团有限公司在 2016 年中国国际农业机械展览会上展出了中国首台真正意义上的无人驾驶拖拉机“超级拖拉机1号”(图14b),“超级拖拉机1号”由中科晶上公司提供整机系统方案和卫星通信等核心技术,中科院微电子所提供无人驾驶技术,中科院合肥物质院提供传感器,中国一拖提供拖拉机车架、传动系等技术和应用场景数据。“超级拖拉机1号”由无人驾驶系统、动力电池系统、智能控制系统、中置电机及驱动系统、智能网联系统等五大核心系统构成,具有整车状态监控、故障诊断及处理、机具控制、能量管理等功能,并实现恒耕深、恒牵引力等智能识别与控制功能。“超级拖拉机1号”通过路径规划技术和无人驾驶技术,可实现障碍物检测与避障、路径跟踪以及农具操作等功能。
图14 无人驾驶拖拉机Fig.14 Unmanned tractor
在未来的一段时间内,搭载辅助驾驶系统的农业装备仍旧是农民实际使用的主要产品,随着农业智能化的发展,越来越多的企业将推出更为成熟的、更加具有实用价值的无人驾驶拖拉机产品及其配套附件。
农业装备的无人驾驶技术与智能机具技术相结合可实现农业装备的智能无人作业。罗锡文团队[134-135]在久保田和井关水稻插秧机的基础上开发了基于CAN(Controller area network)总线的水稻插秧机GPS导航控制系统和无人作业系统。胡静涛团队[136-137]设计了与 GPS 导航系统相配合的插秧机无人作业控制系统。刘成良团队[138]研究了水田环境下水稻直播机的无人驾驶和作业控制系统。目前农业装备的无人作业主要有三大瓶颈:①电液提升控制技术,传统的机具与主机的连接部分使用的是机械液压提升,以机械反馈提升器为主,不利于实现自动化和智能化控制,国外的农机企业如凯斯、约翰迪尔、道依茨法尔等公司在大功率拖拉机上都标配了电液提升控制系统[139]。德国力士乐(Bosch Rexroth)推出了完整的电液提升控制解决方案,可以实现犁深控制等功能。五征公司使用力士乐的电液提升控制技术推出了PH1404型拖拉机。②智能机具技术,无人作业的实现不仅需要拖拉机主机实现无人驾驶,还需要机具实现无人操作,需要研究机具的智能决策控制等技术。③控制的鲁棒性,实现无人作业必须解决控制系统的鲁棒性问题,农业装备的作业环境是典型的非结构化环境,对农业装备控制系统的干扰因素多样且复杂,需要解决农业装备的侧滑补偿、滑移控制等技术来提高控制系统的鲁棒性。
未来智能农机系统是集智能农业装备、云端智慧、服务平台为一体的跨区域作业管控系统(图15)。其核心思想是“智能在端、智慧在云、管控在屏”,即现场控制智能化、云端决策智慧化、监控调度移动终端化。
图15 智能农机系统示意图Fig.15 Schematic of intelligent agricultural machinery system
“智能在端”是指装备本身的智能化,作业运行的数字化,包括现场智能感知与边缘计算、智能控制与无人驾驶、装备物联与协同作业,现场数据到云端大数据发送以及云端决策指令的接收执行等。
“智慧在云”是指决策管理的云端智慧化,包括农机大数据云服务架构的构建、知识库/算法库/模型库的生成、基于数据挖掘/机器学习的运维调度和预测控制策略的自生长、以及云对端的闭环控制等。
“管控在屏”是指农机调度监控的网络终端化,通过APP和电脑客户端实现对分布各地的农业装备进行远程调度管控。
目前苑严伟团队开发的农业全程机械化云管理服务平台、黑龙江建三江七星农场研发的农业物联网综合服务信息平台初步具备了智能农机系统功能。约翰迪尔、凯斯、芬特、科乐收、格兰等主机公司分别开发了网络化农业装备管控平台(表5)。
表5 农业装备企业的网络化管理解决方案Tab.5 Networked management solution for agricultural equipment enterprises
从农业装备智能感知、智能控制、智能决策、自主作业、智能管控五方面,系统分析了国外和国内智能农机发展的现状,以及我国智能农机与国外的差距,为实现我国从农机制造大国向农机制造强国的转变,提出了 “智能在端、智慧在云、管控在屏”的发展新思路。
未来需要从以下几方面实现突破:
(1)农业装备智能感知技术:研究叶绿素和氮素、土壤养分、动静态障碍物的车载、高精度、快速实时传感器的新原理和算法。研究扭矩信息传感器的感知机理,开发漏施漏播、耕深、喷雾流量、谷物棉花测产等传感器的感知新原理,提高传感器的精度和可靠性。
(2)智能农业装备云脑技术:构建农机全程作业云端大数据库、云端知识图谱知识库,开发以人工智能算法为理论支撑的云脑决策库,为智能农业装备的云脑决策提供强力的数据、知识和决策支持。
(3)农业装备智能控制技术:加快基于国际标准ISO 11783的主控系统TCU、传动控制子系统ECU、刹车控制子系统ECU、提升控制子系统ECU、转向控制子系统ECU等,以及智能机具ECU的研究开发,快速装备国产农机。
(4)农业装备智能管控技术:突破基于云端数据库、决策库、知识库支撑的智能农机管控云平台关键技术,实现对农业装备的远程监控调度运维,开发农机管控APP,实现对农业装备的移动终端管控。