岳学军,宋庆奎,李智庆,郑健宇,肖佳仪,曾凡国
(华南农业大学 电子工程学院, 广东 广州 510642)
随着国内科技和农业设施发展,符合中国国情的信息化田间作物监测已经逐步替代了传统农业模式,信息化方式的田间作物监测大大提高了作物的产量和品质,打破了以往的时空和地理限制[1-2]。监测技术已被广泛应用于田间作物生长的各个环节,在作物表型方面,通过高光谱成像仪、热红外相机等传感器和遥感卫星、农用无人机等监测平台获取的作物表型数据,可用于量化分析基因型和环境的相互作用效应,在培育优良作物品种、调控作物生长环境和指导农业生产活动等方面具有重大应用价值[3-4];在环境信息监测方面,田间作物监测可以快速感知作物的生长环境信息,包括土壤环境和气候环境;在病虫草害方面,由于田间作物病虫草害的发生面积广、发生概率高,通过提前监测,施药预防,可以将损失大幅降低[5-7];在重金属含量方面,作物重金属含量超标会严重影响国民健康,对田间作物进行重金属检测,可以快速排查问题作物,保障食品安全性。近年来,我国智慧农业技术取得长足进步,一般性环境类农业传感器基本实现国内生产;农业遥感技术广泛应用于农情监测、估产以及灾害定量化评损定级;农业无人机应用技术达到国际领先水平,广泛用于农业信息获取、病虫害精准防控。此外,我国在农业大数据技术和农业人工智能应用以及大数据挖掘、智能算法、知识图谱、知识模型决策等方面也进行了广泛的研究[8]。但是,相较于荷兰、以色列、美国和日本等国家,我国存在农业专用传感器缺乏、高端农业智能装备不成熟、农机与农艺融合不够、智能决策算法模型创新性不足等问题。要加快我国田间作物监测技术的应用推广进程,必须突破关键技术瓶颈,研制出符合我国国情的田间作物监测装备与系统,充分发挥信息技术在农业生产管理中的潜在价值。本文从田间作物监测中主要应用场景、监测平台以及信息分析方法3个方面,对国内外研究和应用现状进行分析,详细介绍了田间作物监测的关键技术,指出当前我国田间作物监测技术与方法面临的问题,并结合我国实际情况对未来的研究方向和发展趋势进行了展望。
用于田间作物监测的具有破坏性、劳动密集型、耗时的传统方法已经不适用于现代的大规模作物监测,基于人工智能和现代监测技术的田间作物监测系统,可以对作物进行多类型数据的精确提取和分析。对田间作物进行有效监测是降低农产品风险和促进智慧农业的重要实践。过去的几十年来,作物监测技术已经广泛地应用于农作物管理中,遥感和物联网等新型监测技术给农产品生产和管理带来了变革。通过对作物的监测,可以实时掌握作物的生长情况并给出具体种植方案,有效地减少农用资源浪费、增加农产品产出[9]。国内关于田间作物表型、病虫草害、环境信息等方面的监测研究均取得了一些进展,并通过多种平台获取数据信息,采用图像处理和深度学习等方法进行农情解析;但相关研究成果还不能作为商业化产品进行大规模推广,当前研究仍局限于常见作物和典型症状。
肉眼评估和人工操作仪器的作物表型测定方法严重滞后于功能基因组学和作物育种学,导致作物表型研究出现瓶颈。为此,世界各国的科研团队和商业机构基于现代信息技术和先进农机设备开发了一系列作物表型监测工具,用于获取高精度、高通量的作物表型信息。国外尤其以美国为代表的西方国家,作物表型监测已具有平台化、模块化、商业化等特点,能够针对不同作物特点进行作物表型信息采集与分析,在作物表型平台、技术创新以及监测仪器等方面具有较好的应用案例。Bao等[10-11]开发了基于通用拖拉机的田间表型平台,在拖拉机上配置了多个立体相机用于采集作物的立体图像,使用PatchMatch Stereo平台对植株进行三维重建,从而获取植株的株高、叶长等表型信息;Zhu等[12]使用透地雷达(Ground-penetrating radar)通过高频无线电波脉冲可以获取作物的根系生物量和根长密度等表型信息;荷兰农业科技公司Phenospex研发的PlantEye F500植物表型分析仪通过3D扫描和多光谱成像实时获取作物的形态参数以及光谱信息,从而计算出作物的叶面积指数、胁迫程度和地上生物量等表型参数,是目前比较具有代表性的商用高通量表型分析仪[13];此外,国外研究人员开始在微观层面的作物表型识别与计数应用上进行探索,Fetter 等[14]提出了一种使用深度卷积神经网络的自动气孔计数系统识别和统计显微图像中的气孔,用以判断植物的光合作用、呼吸作用与蒸腾作用。目前,国内研究人员在作物表型信息分析方面主要通过机器视觉技术、图像分割和深度学习等方法,对植物形态特征的表型鉴别与分类、养分胁迫进行相关研究,例如,Liu等[15]利用卷积神经网络融合循环神经网络的算法架构,模拟观察者视角进行植物识别和植物图像建模,探索并实现了通过多个局部特征来提高整体表型识别率的可行性;Zhu 等[16]基于多通道稀疏编码特征提取方法,获得了准确率近100%的分类效果。
相较于国外,国内在作物表型平台的开发仍处于追赶阶段,要提高田间作物表型监测的质量与效率,必须开发出适合我国国情的表型信息采集平台,对实际生产环境中的多种背景进行数据采集,以此设计对应的智能决策算法模型。国内外研究对象仍局限于症状数据的识别和分类,作物受到胁迫后未显症或胁迫症状隐现阶段没有相关研究,这也是作物表型监测未来需要重点突破的难点。
田间作物的生长环境信息包括土壤环境和气候环境。目前,国内外相关从业人员采用的仪器设备、测量方法、测定标准并无太大差别。对田间作物土壤条件的监测主要依靠传统化学方法、光谱分析法以及各类农用传感器。在土壤传感器方面,蔡坤等[17-18]根据不同含水率土壤的介电常数不同这一原理,分别基于 RC 网络相频特性和基于 LVDS 差分总线上信号传输延时机制设计了土壤含水率传感器,可以快速测量含水率并进行实时反馈,其中,前者检测速度更快,而后者检测精度更高。在光谱分析方面,Benedet等[19]使用便携式X射线荧光光谱仪收集土壤的光谱数据,并利用机器学习算法对数据进行处理,可以快速、无损测定土壤肥力。传统农田气候条件的监测主要依托集成了各类气象传感器的农田气象站,基层从业人员一般通过风向风速仪、温湿度传感器、雨水传感器等设备进行农业气象监测[20]。在现代农业信息化推动下,农田气象条件监测可以通过权威组织机构的数据库获取相关数据。中国国家气象中心基于分布式大数据技术和Web架构搭建了农业气象大数据共享平台,向用户展示全国2 412个气象观测站点的基础气象数据,包括平均气温、日降水量、日照时长和最大风速等信息[21];广州市气候与农业气象中心基于混合云采用微服务架构、B/S结构方式设计开发了广州智慧农业气象服务平台,为用户提供农业气象信息的同时允许用户自行构建农业气象业务应用模型,可以根据用户需求提供定制的气象监测与预测服务[22]。
植物的生长受到多种环境因素的影响,其生长生产过程中需要应对多种生物胁迫。在生物胁迫方面,虫害、病害和草害是造成作物减产的主要原因。目前,针对田间作物的病虫草害监测方法主要有荧光光谱法、高光谱成像、可见/近红外光谱法和数字图像处理等技术[23-24]。其中,光谱技术由于发展较早,在病虫草害监测方面已有广泛应用[25],早期的研究人员主要通过传统回归分析方法[26]和逐步判别分析法[27]等手段分析光谱数据,效率和精确度不高,难以满足大规模病虫草害监测的需求。随着深度学习和农用无人机等技术的发展,实现了大面积农田低成本、高效率的病虫草害监测。在数字图像处理方面,机器学习和深度学习等技术取代了传统人工肉眼评估的方法。国外基于图像信息的农田作物病虫草害监测方面的研究发展较快,Griffel 等[28]基于光谱特征使用支持向量机分类器来判断马铃薯植株是否感染病毒,识别准确率达89.8%。Kaur 等[29]使用图像处理和支持向量机对植物图像进行处理,以此判断植物病变情况,并计算出患病面积的百分比。在深度学习方面,Turkoglu等[30]利用多种方法架构深度学习神经网络,通过支持向量机和极限学习机等方法进行特征分类,训练得到的深度学习神经网络模型可根据作物图像来判断其染病情况;Louargant 等[31]利用无监督分类算法,对早期农作物杂草进行监测,相较于单一的杂草识别,这项工作还结合了空间信息;David 等[32]开发了一个杂草快速分类系统,可以直接使用可视化数据来实现杂草区分和定位,减少了计算量,提高了自主决策水平。国内学者对作物病虫草害图像信息的解析技术进行了大量研究,并取得了一定的成就。在作物虫害监测方面,余小东等[33]通过CNN 算法对农作物进行病虫害监测,标注病害名称,评估作物受害程度,并针对作物的病状进行文字描述;赵静等[34]基于无人机多光谱遥感图像使用多种机器学习算法进行玉米田间杂草识别,总体精度达90%以上;彭文等[35]利用CCD感光相机采集杂草图像样本,构建稻田杂草数据集,利用多种结构的深度卷积神经网络对数据集特征自动提取,并进行建模和田间试验。
田间作物的重金属含量主要通过光谱法[36]进行检测。刘美辰[37]对比了石墨炉原子吸收光谱法和胶体金快速定量法在检测小麦、玉米等作物中铅含量时的表现,两者均符合粮食中铅测定的质量控制,前者的检出精度略高,但后者的检测速度要快得多,是一种较好的作物重金属含量检测方法。Jin等[38]利用光谱法,根据作物生长规律和胁迫机理,通过遥感光谱数据推算得到水稻的根干质量,并以此为估算指标,推算出水稻当前的重金属胁迫程度。
除上述监测对象外,现代监测技术还在许多场景中被应用。例如,利用空基平台,通过无人机搭载热红外相机和多光谱相机,在作物产量预估的场景中,可以通过作物生长发育期光谱数据和植被指数构建的产量预测模型估测作物产量[39-41];作物水分胁迫会降低植物的光合作用和蒸腾作用,通过获取作物冠层温度和光谱反射率可以实现对作物水分胁迫的监测[42-43]。除去田间的病虫草害等生物灾害外,田间作物还受气候环境的影响,关于涝灾、倒伏等方面的监测也有相关研究[44-45]。
随着现代传感器和传感技术的发展,精准农业中的田间信息收集可以通过多种技术来实现,包括无线传感器网络(WSN)、遥感(RS)、全球定位系统(GPS)和地理信息系统(GIS),已广泛应用于农业自动化灌溉管理[46]、虫害检测[47]、土壤元素及墒情[48-49]、施肥[50-51]以及环境监测和温室控制[50]。RS和GPS作为数据收集工具在大田土壤和作物特性的地图和模型生成中显示出巨大的应用潜力,已被广泛用于田间作物监测,可以发现某种类型的作物胁迫并预测作物产量[52-53]。目前,常见的田间作物监测手段主要通过“天-空-地” 3种监测平台进行,“天-空-地”即天基平台、空基平台和地基平台,利用现代传感器和传感技术对田间作物进行监测及信息采集(图1)。不同平台通过搭载相应的传感器进行数据采集,如天基、空基平台一般搭载遥感图像传感器进行数据采集,地基平台通过搭载不同的农业传感器、气象传感器等进行数据采集,获取田间作物数据并分析后,结合农业生产管理需求,充分发挥遥感、物联网等多源数据的应用优势,实现对田间作物生长情况的监测。
图1 田间作物监测平台及应用场景Fig. 1 Field crop monitoring platforms and application scenarios
农作物监测系统通过多种技术来实现,根据其感知区域面积大致可以分为 2 类:检测物体某点信息的点传感器和能够提供被检测物体空间分布信息的成像传感器[54]。其中,天基平台和空基平台主要通过搭载的遥感成像传感器进行图像信息采集,地基平台通过无线传感网络及农业点传感器搭建的物联网系统进行作物监测。用于地面监测平台的农业传感器种类繁多,根据应用场景大致可分为环境类传感器、农业气象类传感器、动植物生长状态类传感器和农机参数类传感器4大类[1]。用于作物监测的遥感成像传感器,根据波段大致可分为可见光相机、多光谱成像仪、高光谱成像仪、热成像相机和激光雷达5大类,表1展示了各类遥感传感器的优缺点和对应的功能。
表1 遥感传感器的优缺点及应用场景Table 1 Advantages and disadvantages of remote sensing sensors and application scenarios
经过多年发展,我国的成像光谱技术在光谱分辨率、分光方式等领域已经达到国际先进水平,但在光谱仪的商业化、小型化等方面发展缓慢,多光谱成像的软硬件设备目前高度依赖国外进口[55]。
2.2.1 天基平台高空作物监测平台主要指遥感卫星等在地球大气层外工作的遥感平台。卫星遥感技术是利用人造卫星搭载的遥感设备远距离感测地物环境辐射并将遥感信息发送至地面接收站的现代信息技术。根据作物特性与冠层光谱反射特征的内在联系[65],卫星遥感在田间作物监测中可通过测定农作物的归一化差值植被指数、比值植被指数、近红外波段反射率等光谱指标实现作物地上生物量估测[66-67]和作物长势参数反演等监测[68-69]。
高空作物监测平台具有视点高、覆盖面积大、可连续观察、获取成本相对低等优势,对大面积露天农业生产的调查、评价、监测和管理具有独特的优势[70-71]。目前,以遥感卫星为代表的高空作物监测平台在农作物的长势监测、产量估计和生长环境监测等方面都有广泛的应用,基于天基平台的应用主要有通过叶面积指数反演进行估产、通过植被覆盖率等参数进行土壤含水率估测等。吴志峰等[72]基于多源多时相卫星光学遥感图像构建甘蔗叶面积指数反演模型,实现了对甘蔗叶面积指数的动态监测与分析;张传波等[73]建立了BP神经网络模型,将NDVI、RVI等5个光谱遥感指标和冬小麦叶面积指数作为自变量,训练得到了用于估测冬小麦地上部生物量的模型,平均估测精度达80.6%,比传统多元线性回归估测模型高13.4%;张晓春等[74]利用“哨兵一号”卫星和环境卫星获取入射角数据、后向散射系数和植被覆盖指数等遥感信息,建立农田土壤表层含水率反演模型。
2.2.2 空基平台低空作物监测平台主要包括搭载了遥感设备的直升机、飞艇和无人机等在地球大气层内工作的飞行器,这类空基平台可在云层高度以下飞行,在距离监测对象更近的同时避免了云层对数据采集的干扰,相较于遥感卫星等天基平台在精度方面具有更优的表现。直升机和飞艇作为发展较早、技术较为成熟的飞行器,因具有载荷方面的优势,可携带大量传感器用于作物监测,在作物育种、叶面积指数监测等方面有良好的应用。Deery等[75]将113个 ArduCrop传感器安装在 Robinson R44 Raven载人直升机的货舱处,使用ArduCrop传感器连续重复测量开花期小麦的红外冠层温度,通过计算得到小麦的气孔导度,最终达到指导小麦育种的目的。
作为空基平台,直升机和飞艇虽然具有载荷方面的优势,但是无法在较低的空中盘旋与飞行,无法获取空间分辨率更高的数据,且受天气影响大,运营成本高,难以大规模普及。近年来随着民用无人飞行器技术的高速发展,具备飞行高度低、成本低廉、灵活性强、易于携带等优势的无人机逐渐成为农作物监测场景中应用最广泛的空基平台[76-77]。无人机可通过搭载可见光相机、高光谱相机、红外相机、激光雷达等遥感设备进行多角度、高频率航拍,获取覆盖面更广、精细度更高的数据,快速、即时地对作物的元素含量、叶绿素含量及其他各项指标进行监测[63,78-84]。在作物表型方面,张宏鸣等[85]通过无人机获取玉米不同生长阶段的高清数码正射影像及数字表面模型,对玉米区域进行几何配准后,使用遥感影像处理软件生成掩膜,最后得到影像上的玉米植株高度;在叶面积指数估算方面,樊鸿叶等[86]使用搭载多光谱相机的无人机获取玉米的多光谱影像数据,基于4种光谱植被指数的模拟方法构建了玉米叶面积指数和地上部生物量的估算模型;在元素估测方面,陈志超等[87]使用搭载UHD185高光谱成像系统的无人机获取春玉米冠层高光谱遥感影像,并构建了春玉米氮营养指数反演模型;在病虫害监测方面,史东旭等[88]利用无人机拍摄的RGB图像和土壤传感器监测所得的传感器值生成精确农场地图,通过光谱分析了解农场病虫草害状况。在农作物监测中,无人机监测平台获取的信息具有大数据特征,可与农业物联网进行联动,实现遥感信息实时上传云端处理、智能航线规划等功能,具有巨大的发展潜力[89-90]。
2.2.3 地基平台由于不同地域的自然条件、土壤质地和作物种类不同以及遥感技术存在的物谱差异,空中监测平台获取的数据可能存在与地面实况不一致的情况,针对遥感卫星的监测精度不高、难以连续监测、无人机监测平台易受天气影响以及有效载荷低的问题,在部分应用场景下,具有更高精确度和可信度的地基平台具有不可替代性[91]。过去的地面监测大多依靠技术人员实地考察获取农作物的长势指标和生长环境参数,耗费大量人力和物力,且效率低下。随着现代信息技术的发展和监测工具的进步,目前已有多种地基平台代替了传统的方法,这些新型地基平台根据工作状态可分为移动式平台和固定式平台(图2)。
图2 地面监测平台示意图Fig. 2 The diagrams of ground monitoring platforms
移动式地基平台主要包括车载式和自走式。其中,车载田间作物平台主要是以智能拖拉机、智能移动小车为驱动,根据作物种类和状况搭载各类传感器的平台。这类平台能适应田间作物监测的尺度和精度,在全球定位系统、陀螺仪等配件的帮助下可以实现自动导航、自动巡逻等功能,有助于减少农业生产的人力成本、提高工作效率[92]。Thompson等[93]开发了基于高地隙拖拉机的高通量田间作物监测平台,在高地隙拖拉机前端安装了4个可调机械臂,该平台主要用于对棉花等冠层结构复杂的矮小株型植物进行表型监测,分析植物在水分和养分缺乏时受到的胁迫程度;唐政等[94]针对车载系统在行进过程可能会出现的颠簸、抖动和无法行进等问题,设计了平台整体结构模型,优化后的主体结构质量减少了63.61%。
自走式作物监测平台一般以机器人为基础进行开发设计,由行走系统、控制系统和表型信息采集系统组成,行走系统一般分为足式、履带式和轮式[95-96]。与依托农机设备的车载式表型平台相比,自走式监测平台具有更强的灵活性和可设计性,无需外部动力输入即可完成表型信息采集工作,且可预先设置好导航路线实现自动巡逻,减少人力成本,因此具备良好的应用前景。履带式及轮式自走平台已有较成熟的产品,Young等[97]开发了以履带为底盘的自走式机器人表型监测平台,利用高度可调的桅杆、立体相机和深度传感器来测定作物株高和基部茎宽;Grimstad等[98]开发了一款高度模块化的自走式机器人表型监测平台Thorvald II,该平台包括电池、驱动、转向、车体、传感器接口与控制等基本模块,其中,传感器模块为铝制框架,可悬挂高光谱相机、热红外相机和激光雷达等不同传感器,具有良好的实用性。
虽然移动式监测平台具有灵活、成本低等优势,但数据采集过程中难以避免出现因颠簸、抖动而产生精度下降的问题,门架式和悬索式等固定式作物监测平台解决了这一问题。门架式作物监测平台主要以架设在导轨上的龙门架结构为主体,通过导轨和可升降的机器臂实现传感器系统的水平和垂直移动,避免了车载式平台因地面不平而产生的抖动,且负载质量大,可搭载多种传感器,能全天候对大面积农田作物进行高精度、高通量表型信息采集。门架式表型监测平台具有稳定、精准、快速的特点,能大幅提高表型信息采集工作的效率,但这类平台也存在占地面积大、建设成本高、建设周期长且无法移动、只能采集固定区域的作物信息等缺点。目前已商用的门架式监测平台中,比较具有代表性的是荷兰农业科技公司Phenospex研发的Fieldscan门架式植物表型分析平台,通过3D扫描和多光谱成像实时获取作物的形态参数以及光谱信息,利用模型分析软件HortControl进行数据可视化与分析,能够高效地对作物进行监测[13]。悬索式作物监测平台不受田间地形影响,在平稳采集作物表型信息的同时可大幅减少占地面积,且建设成本相对较低、监测范围更广,具有良好的泛用性。Kirchgessner等[99]在瑞士苏黎世植物科学研究站建立了一个悬索式的作物监测平台,监测范围达1 hm2,可装载热成像仪、激光扫描仪和高分辨率RGB相机等传感器,在离地面2~5 m的高度采集作物信息;Bai等[100]研发了一种悬索式作物监测平台NU-Spidercam,传感器采集的数据与地面实况数据呈较强线性相关性,偏差非常小,是一个稳定的作物监测系统。
除上述监测平台外,WSN在田间作物监测中发挥着重要的作用。WSN由多个传感器节点组成网络,有助于感应、收集和测量来自部署周围环境的信息,并将数据传输给用户。在WSN集成方面,Garcia-Sanchez等[101]提出了一种集成的WSN,可以有效整合作物数据采集和传输至最终用户的功能;在无线网络传感器技术上,Diaz等[102]提出了一种WSN在农业领域应用的方法,该方法有7个阶段,即研究环境条件、传感器网络架构设计、作用和重要性、实施、模拟、部署、维护;在WSN应用方面,Zhu等[103]开发了一种基于WSN的监测系统,使用3种不同的场景(温室、开阔农田和果园)评估所建系统的功能,为部署在农业领域的传感器节点之间提供了更可靠的通信;Georgieva等[104]设计了一个基于WSN的监测模型,计算了土壤的不同参数,如温度、湿度、电导率和酸量。
不同类型的田间作物监测平台各有优缺点(表2),使用时需要根据具体情况,综合考虑实用性、易操作程度、数据通量和精度等实际需求,以及成本和经济性合理选择、设计监测平台。现有的各平台之间每种传感器都有使用条件的限制,需要针对特定的目标和要求进行合理选择,一般在监测平台或系统中搭载的传感器不止一种,通过多种传感器的组合来获取不同类型的作物信息。此外,在作物监测中采集的信息类型包括图像、文本、音频等多种数据资源,由于各个作物监测平台采集的信息存在冗余及不完全性,需要对各平台采集的信息进行有效融合,以便更高效地利用各个作物监测平台的信息。
表2 不同类型田间作物监测平台优点和缺点Table 2 Advantages and disadvantages of different types of field crop monitoring platforms
在田间作物监测中,各类农用传感器和监测平台获取了大量有关作物生长状况及生长环境的原始数据,其中主要包括RGB图像、光谱信息、传感器直接采集的环境参数和激光雷达点云数据等,对这些数据进行处理与分析以获取有效信息是作物监测中的重要环节。根据数据分析过程中使用的技术进行分类,田间作物信息分析方法主要有经典统计分析、经典图像处理与计算机视觉、机器学习和大数据计算分析等。
经典统计学分析法是基于数据间的相互关系对数据进行数理分析,包括主成分分析、相关性分析、多元回归和偏最小二乘回归等[105],其中,主成分分析和回归分析广泛应用于建立传感器参数与作物生长参数的反演模型[106],相关性分析则在校验模型准确性方面具有重要作用。王超等[107]基于小麦叶面积、含水量、地上部生物量等生理指标,使用主成分分析法构建了可表征小麦长势的综合长势指标,并结合偏最小二乘回归法构建了小麦综合长势指标的高光谱图像估测模型,对作物长势具有良好的监测效果;张漫等[64]基于统计分析设计了双重滤波算法,可用于去除激光雷达采集的玉米点云数据的冠层边缘噪声;Fu等[108]基于数值反演使用偏最小二乘回归建立了作物冠层高光谱图像与作物光合特性的反演模型。
经典统计学分析法方便获取已知参数与目标参数间的数值关系,在作物监测方面具有简单易行的特点,对计算设备的要求相对较低,相关的统计分析工具 (如 SPSS、Stata、SAS、Origin 等)发展较为成熟,是目前应用最广泛的数据分析方法。但由于人工提取数据特征的能力有限,经典统计学分析法难以对数据间更深层次的关系进行发掘,在处理复杂数据方面的表现欠佳[109-110]。
图像传感器是应用最广泛的农作物监测设备之一,RGB相机、成像光谱仪、立体视觉系统等成像设备在工作过程中可大量采集作物的二维图像,利用图像处理方法和计算机视觉技术可对这些图像数据进行处理与分析,以获取所需的信息。在机器学习方法前,经典的图像处理方法包含图像预处理(包括灰度化、几何变换、图像增强等流程)、图像分割(包括阈值分割法、区域分割法、分水岭分割法等方法)、特征提取(使用颜色直方图、灰度共生矩阵法、傅里叶变换等方法提取农作物的颜色特性以及纹理、形状等形态学特征)、特征选择与优化(包括主成分分析法、线性判别分析法和多维尺度法等方法)、目标分类与识别(包括贝叶斯和判别函数等传统模式识别等方法)等流程[111],从复杂背景中提取目标的边缘和轮廓。目前,常用的图像处理工具包括 OpenCV、Vision Pro、MATLAB、LabVIEW、Halcon、Sci Kit Image等开发包。针对二维图像的图像处理方法广泛应用于农作物的长势监测[112]、病虫草害监测[113-116]和产量估计[57]。
经典的图像处理方法难以从二维图像中提取出植株的整体结构信息,而以三维重建为代表的计算机视觉技术可以重构作物的三维模型,能更好地监测农作物的株型、株高等性状[117]。三维重建的方法主要有立体视觉 (Stereo vision , SV)和运动恢复结构 (Structure from motion , SFM)等,其原理是对不同视角下的作物二维图像进行数学分析,间接推算得到作物的三维模型。随着传感器技术的发展,深度相机和激光雷达等新型传感器可直接获取农作物的3D点云数据,能快速地重构作物的三维模型,相较于SV和SFM更加简单、易用。
机器学习是一种可从样本中学习以改善模型性能的计算机建模技术,可以在没有编写明确规则的情况下,从现有数据中归纳出趋势或模式最终得到能解决具体问题的数学模型,对复杂数据具有很强的处理能力。在农作物监测领域,机器学习被广泛应用于识别、分类、预测和评估等方面。经典的机器学习方法有支持向量机、决策树、逻辑回归、随机森林和K近邻算法等,这类方法训练模型所需的样本数据量较小、对设备性能要求较低、所得模型的可解释性强,常用于农作物的种类识别[118]、长势监测[119-120]和病虫草害检测[121]。
深度学习是一种起源于人工神经网络的新兴机器学习方法,是近年来农作物监测的研究热点之一[122]。深度学习模型一般由包含多个隐藏层的神经网络构成,可通过大量的非线性变换对输入数据进行深层次的特征提取,拟合复杂模型的能力相对较强,在分析图像、音频、文本等非结构化数据时,相较经典机器学习方法有突出优势,具有更高的检测精度和更好的泛化能力。其中,基于YOLO、SSD、R-CNN、Faster-RCNN等算法的深度卷积神经网络模型因在图像处理方面具有优异表现,常用于对农作物的目标检测[123]、遥感影像分析[124]以及病虫草害检测[125]。深度学习方法的缺点在于需要训练样本有较大的数据量,对设备性能要求较高,而且训练过程难以被理解,模型可解释性不强。
大数据通常被定义为数据容量巨大、形式多样化、非结构化特征明显的数据集,传统的数据处理手段无法很好地对其进行存储、管理和分析[126]。随着现代信息技术的快速发展,农业数据也呈现爆炸式的增长,其中,包括来自作物监测平台和无线传感器网络的大量文字、图表、音频、图像、视频等多媒体数据,以及专家经验与知识、农业模型、环境信息等非结构化数据。对于这些具有明显大数据特征的农业数据,大数据分析方法相较于其他数据处理手段具有明显优势[127-128]。大数据分析方法是涵盖分布式数据库、云计算、统计分析、图像处理、机器学习等多种技术的综合数据处理方法,其核心是依托分布式架构的计算机集群获取足够的计算资源,对海量数据进行存储、分析和挖掘,在此过程中主要通过虚拟化技术实现计算资源的集中,通过分布式资源管理技术和并行编程技术实现计算资源的分配和使用[129-130]。目前主流的分布式大数据处理平台是Apache软件基金会旗下的Hadoop,该平台的核心组件是分布式文件系统HDFS和分布式计算模型MapReduce,可供用户开发的分布式并行程序在多台机器上同时运行,在短时间内完成海量数据的运算。由于发布时间较早且系统底层细节开源透明,Hadoop具有众多由不同开发者提供的相关组件,比如优化数据读取过程的数据仓库工具Hive和高速计算框架Spark,具有良好的可拓展性和可移植性。在农作物监测领域,大数据分析方法主要应用于数字育种[131]、农业数据可视化[132](包括制图、制表等)、基于气象数据建立农业气象预测模型、基于多源农业数据建立智慧农业决策系统[133-134]和智能农业云服务平台[135]等。
随着信息解析技术手段的不断丰富,通过计算机统计分析、图像处理方法与计算机视觉技术、机器学习和农业大数据分析等方法对采集到的田间作业信息从数学和图像等不同的角度进行分析和处理,大大提高了作物监测的效率及准确性。表3展示了不同信息解析方法田间使用的优缺点,使用时需要根据具体信息量、信息类型等方面,进行合理的选择。
表3 不同信息分析方法的优缺点Table 3 Advantages and disadvantages of different information analysis methods
新型传感器、监测平台以及数字化处理方法的出现,为快速、准确、非侵入性的田间作物信息采集提供了丰富的工具和手段,使田间作物表型、田间作物环境信息、病虫草害、重金属等多方面的相关研究得到了快速发展,但同时也存在以下一些问题需要不断地发展创新,以适应不断更新的农业生产方式。
4.1.1 作物监测技术和方法与当前农业发展水平不匹配在实际生产过程中,由于主观理念及客观因素影响,农业大数据存在数据真实性、数据分类、数据共享和数据决策等问题,可能会形成农业产业闭合回路。人为的操作失误可能导致数据失真、错位等问题。
4.1.2 异构数据源处理技术不稳定在作物监测中采集的数据类型包括文本、音频、图像等多媒体数据资源,而作物监测不同平台采集的信息存在冗余及不完全性,需要对各平台采集的信息进行准确的整合,但由于缺乏相应标准及数据结构,所以在数据查询和存储方面存在一定难度。同时,农业生产受环境因素影响较大,数据存在短时的波动性和不稳定性,且有效性偏低。
4.1.3 共享技术支撑存在不足当前的研究过程中,研究人员多从自身专业角度出发,研究内容存在一些重叠和隔离。同时,在数据格式、数据类型、存储类型、存储标准等方面存在较多的问题,体现在:1)缺乏相应共享标准,在农业生产的各个领域针对农业多源异构、结构化、半结构化数据的标准化技术和海量数据管理的模型技术相对较少;2)农业大数据平台较少,现有的大数据平台存在技术良莠不齐、无法相互沟通共享等问题。
4.1.4 推广难度大目前,田间作物监测的基础设施建设成本高,监测体系平台应用推广程度低,农民的操作能力与信息化知识储备不足。此外,相关的农业政府部门没有充分做好引导与扶持工作,这也是造成田间作物监测推广难度大的原因之一。
过去的几十年来,作物监测技术已经广泛地应用于农作物的生产和管理中。目前,我国的田间作物监测主要应用于田间作物表型、田间作物环境信息、病虫草害、重金属等方面。通过对作物的监测,可以实时掌握作物的生长情况并给出具体种植方案,有效减少农用资源浪费、增加农产品产出。基于人工智能和现代监测技术的田间作物监测系统,可以对作物进行非侵入性的、多类型数据的精确提取和分析。得益于田间作物信息采集平台的迅速发展,监测平台可以在相对较短的时间内快速筛选和扫描大量的植物,大大提高了信息获取效率。无论是天基平台、空基平台还是地面平台,通过搭载合适的传感器设备,可以对田间作物进行快速的信息采集。针对作物监测所采集的信息,利用丰富的技术手段对其进行解析,通过经典统计分析、图像处理方法与计算机视觉技术、机器学习和农业大数据分析等方法对采集到的田间作业信息从数学和图像等不同的角度进行分析和处理,大大提高了作物监测的效率及准确性。未来我国的作物田间监测技术仍需要在以下几个方面继续开展相关研究:
4.2.1 监测技术改革与创新传感器、监测平台、数据分析方法的发展水平决定了田间作物监测的发展水平。在智慧农业的背景下,应切实加强技术结合与技术创新。在技术结合方面,应切实推进“天-空-地”监测平台在田间作物监测中的精准感知、智能分析等原始创新和集成创新,例如,在无人机信息采集平台中,利用5G信号传输、云计算、物联网、机器学习、大数据等新兴技术的融合发展,开发出具有较高实时性的农田作物信息解析及生产管理决策支持的系统。在技术创新方面,针对田间作物的传感器技术和无线传感技术等,需朝着高性价比、高质量、低能耗、商品化的方向加大创新力度,在现有的理论、方法、工具、系统等方面取得变革性、颠覆性突破。
4.2.2 信息处理及信息共享1)数据标准化及数据库管理规范化。在作物监测中采集的信息类型包括图像、文本、音频等多种数据资源,针对作物监测平台中各种传感器所采集的多源异构数据,为了提高数据的准确性和精准度,需要对采集信息先进行归一化、标准化处理;同时,需要进一步考虑筛查信息中存在的数据重复,数据误差等问题,在信息融合的基础上更高效地利用监测平台采集的数据信息;此外,农业数据库是数据的重要储存方式,为解决上述数据信息存在的问题,应着重提高数据库的质量,建立数据库相关标准,优化架构设计方案,使用数据冗余的反范式设计,让数据储存模块化、格式化、规范化,为数据存贮、数据挖掘、决策支持等信息处理技术的应用提供数据支撑[54],以满足建库后不同维度的查询需求。2)共享化是作物监测研究的发展趋势。在后续研究中,应倡导开放共享理念,建立健全农业数据资源整合和信息系统互联互通平台,促进技术方法、数据资源、监测成果共享共用,构建智能化决策机制。
4.2.3 加大基础设施建设及推广力度加大田间作物监测的基础设施建设,提升监测体系平台应用。获取作物的监测数据是发展智慧农业、精准农业的关键基础,加强农作物监测平台的基础设施建设,可以更好地减少信息的波动、不稳定、错位等问题。与此同时,政府应加大作物监测平台的推广力度,增强农民、企业参与度。