大数据技术农业应用

王文生，郭雷风

中国农业科学院农业信息研究所，北京 100081

引言

农业直接关系到国计民生，涉及国家粮食安全、农村劳动力就业、城乡统筹发展等经济社会生活方方面面，数据量庞大、实时动态、结构复杂，数据已成为农业生产决策的核心要素。一方面，就农业本身而言，农业包罗万象，包括土地资源、水资源等农业资源环境数据，土壤、大气、水质、气象、污染、灾害等农业生态环境数据，农业生物资源、农业种质资源等农业生物数据等；另一方面，就农业产、加、销等整个流程而言，包括农资管理数据、农业生产过程管理数据、农业仓储管理数据、农业物流运输管理数据、农产品加工数据、农产品市场流通数据以及农产品食品安全数据等[1,16]。

进入21世纪后，我国农业与农村信息技术的研究和应用进入高速发展阶段，已成为现代农业的重要标志，以农业物联网技术和智能装备技术为代表的农业信息技术正逐步融入到农业生产经营的全过程，农业形态和过程都发生了深刻的变化。一是“更透彻的感知”，通过智能传感设备广泛应用，实现农业生产全过程的数字化与可感知，包括作物长势、作物营养、畜禽生长信息、土壤参数、环境信息、气候变化等；二是“更全面的互联互通”，物联网、传感网、因特网等在农业领域应用，实现了生产、加工、仓储、物流、市场、消费等各个环节的互联互通；三是“更深入的智能化”，通过区块链、人工智能、云计算和超级计算机等先进信息技术，对感知的海量数据进行分析处理，农业生产决策、农产品市场管理等更加智能。

1 农业大数据内涵以及特征

农业大数据是不断发展和衍化的过程。

从政府层面看：2015年，农业农村部发布了《农业部关于推进农业大数据发展的实施意见》，提出“发展农业农村大数据发展和应用的重点领域，提高农业农村生产、经营、管理、服务水平，是推进国家农业大数据发展方针的具体实施。”2019年，农业农村部、中央网络安全和信息化委员会办公室关于印发《数字农业农村发展规划（2019-2025年）》的通知，提出建设国家农业农村大数据平台。2020年，中央一号文件提到，开展国家数字乡村试点，依托现有资源建设农业农村大数据中心。国家对农业大数据重视程度越来越高，从概念到具体落地，已经有了非常明确的建设思路。

从学术角度看：温孚江[2]提出农业大数据是大数据理念、技术和方法在农业领域的实践。孙忠富等[3]认为农业大数据是指以大数据分析为基础，运用大数据理念、技术和方法，解决农业或涉农领域数据的采集、存储、分析与应用等一系列问题，以此来指导农业生产经营，是大数据理论和技术在农业上的应用和实践。米春桥等[4]提出农业大数据是融合了农业地域性、季节性、多样性、周期性及作物本身特性等特征后产生的来源广泛、类型多样、结构复杂、具有潜在价值并难以应用传统方法处理和分析的数据集合。周国民[5,17]提出农业大数据是农业领域全要素、全时、全域、全样本的数据集合，并应用大数据理念、技术和方法来处理这些数据集合。

作者认为农业大数据是智慧化、协作化、智能化、精准化、网络化、先觉泛在的现代信息技术不断发展而衍生的计算机技术农业应用的高级阶段，是结构化、半结构化、非结构化的多维度、多粒度、多模型、多形态的海量农业数据的抽象描述，是农业生产、加工、销售、资源、环境、过程等全产业链的跨行业、跨专业、跨业务、跨地域的农业数据大集中的有效工具，是汲取农业数据价值、促进农业信息消费、加快农业经济转型升级的重要手段，是加快农业现代化、实现农业走向更高级阶段的必经过程[6]。

农业大数据是一个开放的复杂巨系统，最显著的特征在于其农业属性，具体有主体多、领域广、周期性等（见表1）。

表1 农业大数据特征Table1 Features of agriculture big data

农业数据主要是对各种农业对象、关系、行为的客观反映，一直以来都是农业研究和应用的重要内容，但是由于技术、理念、思维等原因，对农业数据的开发和利用程度不够，一些深藏的价值关系不能被有效发现。随着大数据技术在各行各业广泛研究，农业大数据也逐渐成为当前研究的热点。笔者认为农业大数据不是脱离现有农业信息技术体系的新技术，而是通过快速的数据处理、综合的数据分析，发现数据之间潜在的价值关系，对现有农业信息化应用进行提升和完善的一种数据应用新模式。

简单地讲，农业大数据是指大数据技术、理念、思维在农业领域的应用[7]。

2 大数据农业应用关键技术

农业大数据体量大、结构复杂、模态多变、实时性强、关联度高，大数据技术农业应用，必须充分考虑农业自身特征，开展数据获取、数据管理、数据处理等关键技术研发和应用。

（1）农业大数据获取技术

农业大数据获取是指利用信息技术将农业要素数字化并进行有效采集、传输的过程。围绕耕地、育种、播种、施肥、灌溉、植保、收获、储运、农产品加工、销售等各环节，依托现有的信息技术而建立的交叉、立体、融合的采集网络，获得的各种类型的结构化、半结构化及非结构化的海量数据集。

农业农村部《关于推进农业农村大数据发展的实施意见》中提出“拓展物联网数据采集渠道、开辟互联网数据采集渠道等。”另外，根据应用场景不同，农业大数据获取技术还包括卫星遥感、无人机遥感以及各种智能终端等（见表2）。当前，信息技术发展迅猛，农业大数据获取技术采集频率更高、精度更高，因此，数据量更大、价值更高。

表2 农业大数据获取技术Table2 Agriculture big data acquisition technology

（2）农业大数据管理技术

面对海量的半结构化和非结构数据，传统关系数据库在可伸缩性、可容错性、可扩展性等方面有所局限，不能有效满足数据总量大、数据增长速度快以及数据类型多样等需求，其优势越来越不明显。农业大数据管理技术具有高可扩展性、高性能、容错性、可伸缩性等特点，能够满足数据量增长的需要、数据读写的实时性、数据查询处理的高性能，保证分布系统的可用性，实现各种资源的按需分配和调度。

农业大数据经过抽取、转换、清洗(ETL)等过程，并建立不同主题数据库，达到格式统一、口径一致，使数据更具规范性、可用性，为数据分析应用提供统一的指标、口径、属性等。通过农业大数据管理技术能够实现对数据存储的统一规划，规范数据存储类型、更新频次、数据库类型，使之能有效的对应用系统中的数据进行存储，形成不同的主题数据库，使数据存储和组织更加合理，达到格式统一、口径一致，实现数据集成，使数据指标高度规范和统一，使数据更具规范性、可用性，可以为数据分析应用提供统一的指标、口径、属性等，使用户可以高效的对已存储的数据进行访问和应用（见图1）。

（3）农业大数据处理技术

大数据处理能够将数据变为资源、变为服务，进而实现数据价值。农业大数据来源于农作物从生产到餐桌的整个过程，受土壤环境、农作物品类、病虫害、气候条件等诸多因素影响，数据具有不确定、不完全（数据随机噪音）和稀疏性（数据的实用价值不高）等特征。农业大数据处理平台主要对众多开源组件进行封装和增强，实现协同应用，进行价值发现。目前在批数据[7]、流数据[8]等处理方面均有研究。

通用大数据处理系统，将数据进行清洗、解析、集成等，然后根据数据格式内容分成两条线：一条是流式计算平台进行实时数据处理；另一条是批量数据处理，主要针对离线数据。常用的架构有Lambda，Kappa，IOTA 等，其中，IOTA 架构以统一的数据模型贯穿始终，基于不断发展的智能终端、物联网等实现边缘计算，将各种计算分散在数据生产、计算和查询过程中，从而提高数据处理效率。根据农业大数据特征，提出了基于IOTA 架构的农业大数据处理平台（见图2），在实时数据处理方面，集成Storm，Flink，Spark Streaming 等计算实时指标，在批量数据处理方面，利用Mapreduce，Hive，Spark SQL 等，支撑精准农业智能控制、农业生产环境监测、农情遥感预警等，推动农业生产过程实现智能预警、智能决策、智能分析等。

图1 农业大数据管理系统架构Fig.1 Agriculture big data management framework

图2 基于IOTA 架构的农业大数据处理架构Fig.2 Agriculture big data processing framework based on IOTA

3 大数据精准农业智能控制

精准农业智能控制是指根据空间变异，定位、定时、定量地实施一整套现代化农事操作与管理的智能控制系统，决策分析是精准农业智能控制体系中的核心，致力于根据农田小区作物产量和相关因素，在农田内的空间差异性，实施分布式的处方农作。专家系统、作物模拟模型、作物生产决策支持系统推动了精准农业发展，但在面对多结构、高密度数据处理方面略有不足。大数据环境下，精准农业的数据获取、数据处理、智能控制装备等都将发生变化。高密度的农田信息获取后，怎样根据动态变化的农田信息，集成作物自身生长发育情况以及作物生长环境中的气候、土壤、生物、栽培措施因子等数据，综合考虑经济、环境和可持续发展的目标，设计一整套具有可实施性的精准管理措施，是需要多学科交叉融合的研究科学问题[9]。

（1）农田变量数据高密度获取

农田变量信息快速采集主要是对农田中的土壤含水量、肥力、SOM、土壤压实、耕作层深度和作物病、虫、草害及作物苗情分布信息采集，一般分为接触式传感技术和非接触式遥感技术。农田变量信息主要服务于精准农业生产，强调实时性、精准性等特点，属于局部、微观、持续的农业数据。随着现代科学技术的发展，各种非接触快速测量传感器和智能化传感器不断涌现。土壤容重、土壤坚实度、土壤含水量、土壤PH值、土壤肥力（N、P、K 含量）、大气温度、大气湿度等大田环境数据实现了实时、高密度获取。

（2）多源信息融合的智能决策支持系统

变量决策分析是精准农业技术体系中的核心，致力于根据农田小区作物产量和相关因素，在农田内的空间差异性，实施分布式的处方农作。利用大数据处理分析技术，基于农业生物-环境参数的多源信息表达及融合，多源有效信息的提取和分析模拟，集成作物自身生长发育情况以及作物生长环境中的气候、土壤、生物、栽培措施因子等数据，综合农作物高通量表型识别方法、农作物影响因子关系模型、病虫害诊断与预报预警、农田变量作业优化管理等理论与方法，统筹经济、环境和可持续发展的目标，突破专家系统、模拟模型在多结构、高密度数据处理方面的不足，为农业生产决策者提供精准、实时、高效、可靠的辅助决策。

（3）反馈控制的农业智能装备

农业智能装备是精准农业的田间实现，是各种信息融合、处理、交叉、分析的汇聚点。目前，农业智能装备向大型、高速、复式作业、人机和谐与舒适性方向发展，具备较强的GIS 综合功能，能自动完成产量监测并生成产量分布图。利用大数据技术，研究基于环境变量决策的智能装备，实现作业智能导航和自动驾驶，根据需要配置成精准播种、精准变量施肥、变量喷药等作业控制系统。

4 大数据农业生产环境监控

农业生产环境监测与控制系统属于多变量、大惯性、非线性的复杂大系统，贯穿农业信息获取、数据传输与网络通信、数据融合与智能决策、专家系统、自动化控制等于一体，数据量逐渐增大、数据结构日益复杂。在大田粮食作物生产、设施农业、畜禽水产养殖等应用场景中，实时监测、自动控制、数字化管理技术越来越多，全链条、全产业、全过程的智能化、泛在化的数据感知与处理更加普及，农业生产、监测、服务、管理等逐渐逼近整体最优化，农业资源利用效率大幅度提高，农业生产成本大幅度降低，农业生态环境显著改善[10]。

（1）全面感知的农业生产环境数据获取

智能传感设备广泛应用，实现农业生产全过程的数字化与可感知，农业信息获取的范围越来越广，从农作物生长过程中的表型数据、生理数据、生态数据、发育数据以及大气、土壤、水分、温度等农作物生产环境数据，到针对畜禽个体生长发育、群体活动规律、饲养环境状况和身体健康数据等。一方面，农业智能传感器技术、传感网技术以及光谱、多光谱、高光谱、核磁共振等先进检测方法在植物、土壤、空气、环境信息采集方面广泛应用，农业生产环境数据的精度、广度、频度大幅度提高。另一方面，包括光谱技术、机器视觉技术、人工嗅觉技术、热红外技术等在内的生命信息感知技术的广泛应用，实现了农业生产对象本身的数字化描述，动、植物生长过程中的生理、生长、发育、活动规律等生物生理状况可感知、可记录。

（2）高效可靠的农业生产环境数据传输

伴随着传感终端的大量使用，农业生产环境数据传输也呈现出新的特征，数据量越来越大、传输速度越来越快、传输频率越来越高、传输密度越来越大、综合程度越来越强，针对网络类型不同、传感设备来源不一、农业原始数据繁杂无序等问题，建立符合大数据特征的高速数据传输专用通道，解决海量、多源、异构的农业生产环境数据的快速采集、有效汇聚、兼并融合难题，实现农业生产环境数据可以进行高可靠的信息交互与传输。设施作物生产管理通过无线网络技术等组成传感网络，采用分层网络结构进行自组织组网，节点间信息传递采用多跳路由协议传递数据，经由网关到达控制中心；基于无线传感网的动物数字化监测平台，给动物佩带无线传感器，通过无线、蓝牙等技术将体温、呼吸、脉搏、位置、运动等信息进行采集，再通过网络传送到服务器上；农村信息智能服务综合管理系统，以集成化的农业知识库为支撑，以有线网络与无线网络相结合，充分利用4G、5G 等移动通信技术，构建信息资源大数据中心，实现对业务系统的数据支持以及信息服务。

（3）智慧决策的农业生产环境管理

农业生产环境是一个复杂系统，具有许多不确定性和不精确性，对其信息的实时分析是一个难点。利用大数据、云计算、数据融合与数据挖掘、优化决策等各种智能计算技术，突破多源数据融合、数据高效实时处理等方面的瓶颈，对物联网、传感网、互联网融合感知获取的海量数据进行分析处理，提供集图形、声音、影视为一体的多媒体服务系统，提高智能化决策与控制水平，实现农作物生长过程的动态、可视化分析以及畜禽水产养殖的个性化、集约化、工厂化管理[11,15]。比如：西部电子集团的温室小管家系统，能够实时采集温室大棚内的空气温湿度、土壤温湿度、CO2、光照强度等各种环境要素参数，自动开启或者关闭喷灌、通风、遮阳、加温等设备，实现温室大棚内蔬菜、菌菇等生长环境智能监测和控制。

5 大数据农情遥感监测预警

农情遥感监测主要是指利用遥感等信息技术对农业生产信息，如作物面积、长势和产量、农业自然灾害、农业生态资源等，进行远程监测和综合评价，辅助农业生产决策的过程。遥感技术飞速发展，特别是传感器分辨率的提高、新型传感器的应用等，遥感影像的数据量急剧增加，空间维度、时间维度、光谱维度等不断增加，海量数据的存储、快速产生、信息提取、融合应用等，为遥感数据分析带来了挑战。利用大数据分析处理技术，研究天地网一体化农业监测系统中的多源多类数据的智能融合与分析、定量化反演以及网络化集成与共享关键技术，实现全局数据发现与跨学科的数据集成和互操作，为农业遥感信息的深入分析提供支撑[12]。

（1）天地网一体化农情数据采集

天地网一体化农情数据采集，依托于航天遥感平台、航空遥感平台、地基观测平台、农业物联网、农业传感网等数据采集源，多方式获取对地观测数据并进行综合型信息处理。随着高性能新型传感器研制开发水平提高，高空间、高时相、高像素和高分辨率已是卫星遥感影像获取技术的发展趋势，遥感数据专业化与精细化程度更高。传感器的地面分辨率数量级从千米、厘米、微米，甚至到纳米级别；波谱范围从紫外到超长波；时间间隔从十几天一次到每天几次。由航天、航空、地面观测台站、地面监测网络等组成的农情遥感数据获取系统，能够获取各种维度的空间数据，提供定位、定性和定量以及全天候、全时域和全空间的数据支持，解决了农情监测数据时空不连续的关键难点，提高了信息保障率，降低了工作成本[13]。

（2）多模式与多体态遥感数据融合应用

采用单一遥感数据、遥感技术、遥感装置，必然导致监测结果不准确、不全面、不综合，难免引起决策失误[14]。随着对地观测技术的不断发展，一颗卫星装备多种传感器成为趋势，既有适合于小区域、高密度的高精度和高分辨率、窄成像带的传感器，又有适合全面、宏观、综合、快速监测的中低空间分辨率和光谱分辨率、宽成像带的传感器，不同传感器获取的可见光、红外及微波的影像数据与日俱增，这些数据在空间、时间、光谱、方向和极化等方面对地表某一区域构成多源数据。未来农情遥感监测趋向于多传感器集合、多遥感影像数据源、多时相数据的综合应用，利用大数据思维进一步抽取农情遥感数据的多元数据特征，采用特征融合、概念融合、语义融合等方法进行数据分析处理，为农业生产、经营、管理与决策提供高精度、高效率的可行方案。

（3）多源遥感数据智能处理与控制

高空间分辨率、高光谱分辨率的的新型遥感传感器波段多、速率高、周期短、数据量大，需要考虑大数据处理与分析技术。充分利用高速网络环境和高性能集群计算环境等高性能数据处理基础设施，服务农业遥感大数据处理与应用，提高体系的数据分析能力，更好更快更全面地实施大数据农业遥感信息挖掘，提高农业遥感空间信息分析的质量和效率。一方面，在MapReduce、HDFS 等开源数据并行处理平台和并行文件系统的基础上进行二次开发，研究适用于海量遥感数据处理的高性能、大规模并行处理算法模型，提高海量遥感数据的处理能力和处理效率。另一方面，通过稀疏表征、流形学习等方法简化数据量与数据维度，使大数据变小后再进行后续研究，进一步通过机器学习、非线性随机的数据缩减技术，挖掘大数据中蕴含的信息。

（4）农情遥感信息空间可视化表达

人类视觉感知系统具有高速、大容量、并行等特点，是感知获取外界信息的有效方式。可视化技术将杂乱无章的大规模原始数据进行智能分析，通过融合空间特征、时间属性等进行图形、图像、地图、视频等可视化操作，以更加直观、更易理解、更为形象的形式表达出来，找出其中潜在的价值规律。农情遥感信息空间可视化表达、智能化应用是一个必然趋势。利用三维仿真地图、虚拟现实技术、基于多媒体的可视化、虚拟现实与网络环境等三维空间信息可视化技术，研究多维数据模型和数据结构以及图形、图像的实时动态处理等关键技术，构建农情数据三维空间数据库，实现农情遥感信息空间可视化表达。

6 应用展望

在万物互联的时代，农业大数据将成为一种新型的生产资料，被赋能改变农业“从田间到舌尖”的整个产业链，实现更大范围农业数据的互联互通，精准把控农业各环节，全面提升智能化水平，加速释放数字红利。

一方面，我国农业信息化建设多头并进，建立了农业领域不同行业的信息化系统，如智慧牧场、智慧大田、智慧果园和智慧水产等，在为信息化的发展注入生机和活力的同时，不可避免地出现了片状分割、各行其道的局面，信息孤岛严重。农业大数据将打破农业生产各行业之间的壁垒，构建一个整体的农业信息化生态系统，形成与真实世界对应的镜像世界中的“农业数字孪生生态系统”。

另一方面，农业大数据作为数字农业的新引擎，具有实时、快速、共享、安全等优点，能够创新现代农业产业链，实现生产加工物联化、经营服务信息化和管理决策智能化。政府和涉农部门将利用网络信息技术为农民提供科学、精准、动态的信息服务，为乡村公共服务、公共管理、公共安全提供保障，提高农业农村管理和服务水平。

总之，农业大数据带来的技术变革势必将促进各生产要素的流动和农业产业化发展，实现以人为核心的农业农村资源的最优分配，为农民增产增收提供有力的保障。

利益冲突声明

所有作者声明不存在利益冲突关系。