农业大数据的发展现状与发展趋势

2017-05-30 13:52李月滕青林刘丽丽杨阳张磊
安徽农业科学 2017年31期

李月 滕青林 刘丽丽 杨阳 张磊

摘要介绍了农业大数据的概念和发展现状,阐述了农业大數据理论在农业中的主要应用,分析了农业大数据发展过程中存在的问题,并预测了农业大数据的发展趋势。

关键词农业;大数据;发展趋势;现状

中图分类号S126文献标识码A文章编号0517-6611(2017)31-0210-03

AbstractThe conception and development status of agricultural big data were introduced. Main applications of agricultural big data theory in agriculture were expounded. The existing problems in the development process of agricultural big data were analyzed. And the development trend of agricultural big data in future was predicted.

Key wordsAgriculture;Big data;Development trend;Status

在世界经济论坛发布的《2013年全球信息技术报告》指出,大数据是一项具有帮助全球经济复苏的巨大潜力的新资产。2013年是大数据元年,大数据逐渐显现出对社会生活产生全方面影响的态势[1]。在云计算、物联网、移动互联网等技术变革的推动下,我国已经开始进入“大数据”时代,IT行业开启了大数据的起航之旅,大数据已在电子商务、市场营销、临床诊断、远程监控、药品研发、金融等领域发挥着重要作用。在农业领域中,农业科研和生产活动每年都在产生大量数据,集成、挖掘和使用这些数据对于现代农业的发展将会发挥极其重要的作用。笔者介绍了农业大数据的概念和发展现状,阐述了农业大数据理论在农业中的主要应用,分析了农业大数据发展过程中存在的问题,并预测了农业大数据今后的发展趋势。

1农业大数据的概念

麦肯锡数据分析研究所指出,大数据的数据规模超出了传统的数据处理软件的处理能力。21世纪,随着互联网使用者的不断增多,各种信息以数据的形式传播,因为数据的规模大大超出以往的认知范围,所以产生了各种大数据的处理技术和方法。以数据分析为例,经典的数据分析常采用抽样数据来分析和概括某个问题,而大数据处理技术是将全部的数据加以分析,从而得出更为全面的结果。农业大数据是指以大数据分析为基础,运用大数据理念、技术和方法,解决农业或涉农领域数据的采集、存储、分析与应用等一系列问题,以此来指导农业生产经营,是大数据理论和技术在农业上的应用和实践[2]。

农业大数据的特征主要包括以下方面:①从领域来看,以农业领域为核心,逐步拓展到相关上下游产业,同时整合宏观经济背景的数据,包括统计数据、进出口数据、价格数据、生产数据,乃至气象数据等;②从地域来看,以国内区域数据为核心,借鉴国际农业数据为有效参考;不仅包括全国层面的数据,还应涵盖省市数据,甚至地市级数据,为精准区域研究提供基础;③从粒度来看,不仅包括统计数据,而且包括涉农经济主体的基本信息、投资信息、股东信息、专利信息、进出口信息、招牌信息、媒体信息、CIS坐标信息等;④从专业性来看,应分步实施,首先是构建农业领域的专业数据资源,其次应逐步有序规划专业的子领域数据资源[3]。

2农业大数据发展现状

21世纪以来,随着各项互联网新兴技术的发展,衍生出大量数据,现代社会已进入大数据时代,但大数据理论和技术真正引起人们关注和重视是在2008年《Nature》杂志发表了一篇从各个角度介绍大数据带来的挑战的专刊之后。2013年,大数据理论逐渐被应用于实践,并且呈现出对人们的社会生活产生全方位影响的态势,且在农业领域对大数据的研究和应用也在不断发展。

据中国知网(http://www.cnki.net/)统计,国内关于农业大数据的学术关注度不断上涨,2006年农业大数据中文发文量仅有145篇,2016年已增加到 1 246篇,2006—2016年农业大数据中文年发文量的环比增长率一直在10%以上,其中2013年环比增长率高达45%。农业大数据的媒体关注度从2014年开始大幅增长,在2014年之前农业大数据的媒体发文量每年都仅有2~3篇,但在2014年达到17篇,2015年农业大数据的媒体发文量与2016年相当,各有62和61篇。这些数据表明关于农业大数据的研究从2013年开始引起人们重视,并且关注度还在不断增加,从学术关注度和媒体关注度来看,媒体关注度大大低于学术关注度,这反映出我国的农业大数据研究以农业类高校和科研机构为主。

在农业大数据实践方面,2013年6月国内第一个农业大数据产业技术创新战略联盟在山东农业大学成立。山东农业大学校长温孚江指出:目前在国内大数据研究虽然刚刚起步,但有关“农业大数据”的研究已经十分领先[3]。2014年,中国农业科学院农业信息研究所许世卫认为:伴随大数据技术在农产品监测预警领域的广泛应用,构建农业基准数据、开展农产品信息实时化采集技术研究、构建复杂智能模型分析系统、建立可视化的预警服务平台等将成为未来农产品监测预警发展的重要趋势[4]。2014年,广东省现代农业装备研究所孟祥宝等[5]提出农业大数据应用体系结构和平台建设的设想。2016年,中国农业科学院农业信息研究所王文生等[6]介绍了建业农业大数据中心的数据基础,对农业大数据中心的应用前景进行了展望,并指出了建设农业大数据中心的必要性。2017年3月,黑龙江省农业大数据管理中心成立,构建“大数据”+“现代农业”新模式,这是基于全省农业大数据管理服务的组织机构,负责统筹全省农业大数据建设运用工作,指导农业大数据信息采集分析、加工存储、开放共享、产品开发、课题研究和安全管理。

由此可见,农业大数据在现代农业中的应用不断增加,建設农业大数据中心从一个设想到真正建成仅需4年时间,说明农业大数据已经引起了全社会的重视。

3农业大数据理论在农业中的主要应用

3.1用于农情监测

农情监测的主要目的是根据监测耕地的变化、农作物产量的变化、自然灾害发生概率等情况,来实现由“看天而作”到“知天而作”的转变。在大数据的数据基础上,根据数据处理平台的分析处理,使农情监测系统更加完善,给农情监测工作带来了新的机遇。

3.1.1

自然灾害监测。通过分析收集的气象数据,结合气象模拟、土地分析、植物根部等要素,可以改进自然灾害的预测预报和灾害评估方法,提高预测灾情的客观性与准确性。这种通过大数据分析来监测自然灾害的方法在国内虽然尚未开始使用,但是在国外已有报道。美国加州The Climate Corporation公司通过天气数据、气象数据、土地情况数据的大数据分析,为农民提供农作物自然灾害保险服务。

3.1.2

作物估产及生长动态监测。农作物的生长监测一般采用遥感技术和作物模拟技术相结合的方法,遥感卫星监测从宏观上反馈作物生长数据,而作物生长模型从机理上通过作物生长环境来模拟其生长发育过程,从而对农业生产提供系统全面预测。针对遥感卫星监测提供的宏观数据,可以利用大数据处理平台进行全面分析,为作物估产和生长动态监测提供重要的信息情报。

3.2用于农产品监测预警

农产品监测预警是指通过对农产品质量、农产品市场的监测来实现对农产品的预测,从而使现代农业得到稳定发展。大数据时代的来临,为农产品市场监测预警工作提供了海量的数据支撑,因此会推动农产品监测预警工作更加标准化、精确化。在农产品质量监测预警方面,大数据技术给农产品信息的全面收集提供了技术基础,使农产品质量能够进行全方位比对,提高农产品质量监测的准确性。由于大数据处理技术的实时性,也使得农产品在出现质量问题时,能够及时控制影响范围,从而使农产品质量预警机制更加高效。在农产品市场监测预警方面,由于数据获取技术更加快捷,所以农产品市场信息的流动会大大加快,从而减弱不同地域的市场信息不同步所带来的市场风险。同时,大数据分析技术更加注重全面分析,而不是抽样分析,因此农产品市场监测预警更加精准。

3.3用于精准农业决策

精准农业决策是指根据各个方面的农业信息,制定出一整套具有可实施性的精准管理措施。在大数据处理分析技术出现之前,专家系统、作物模拟模型、作物生产决策支持系统是主要的生产决策技术。大数据处理分析技术可以集成作物自身生长发育状况以及作物生长环境中的气候、土壤、生物等数据,同时综合考虑经济、环境、可持续发展的指标。这可以弥补专家系统、模拟模型在多结构、高密度数据处理方而的不足,为农业生产决策者提供更加精准、实时、高效的农业决策[6]。

3.4用于农村综合信息服务系统的搭建

国家农村综合信息服务系统的搭建有助于农业信息的传播。农村综合信息服务是指按照“平台上移,服务下延”的思路,集成与整合各分散的信息资源与系统,在全国范围内实现信息资源的共享[7]。在信息服务平台搭建过程中,数据资源体量大、数据处理流程复杂、信息服务模式多样,需要实现海量农业信息化数据获取、传输、加工、服务一体化处理。因此,面对复杂多样的用户需求,实现信息服务按需分配以及处理大规模的资源数据中就必须利用大数据处理分析技术。农业大数据的应用研究,为农村综合信息服务系统的搭建提供了必要的技术支撑。

4农业大数据发展过程中存在的问题

4.1农民文化素质低,大数据理论推广困难

农业大数据是指大数据在农业领域的研究和应用,也就是说农业大数据最终是为农业服务的。在我国,乡村人口有66 280.5万,文化程度初中及以下人口55 005.5万,文盲人口3 888.4万(2010年第6次全国人口普查主要数据),由于农民的文化素质较低,对于大数据理论的理解会有一定的难度,因此对于大数据理论的宣传和推广会形成一定的阻力。

4.2农业大数据的数据积累不足

目前,农业领域的数据积累尚处于初级阶段,远达不到电信、金融、互联网等领域的数据积累水平。然而,随着农业数据采集方式的变化,自动化、智能化、人工化信息终端的大量涌现,数据的实时、高清以及长久保存等需求使得农业大数据成为可能。农业大数据源来自农业生产、农业科技、农业经济、农业流通等方面,不同的数据源对应不同的数据获取技术[8]。目前,农业大数据获取主要包括以下方面:农业生产环境数据、生命信息智能感知、农田变量信息、农业遥感数据、农产品市场经济数据、农业网络数据。

4.3数据管理技术不成熟

大数据时代,数据规模巨大,人们不得不面临海量数据管理问题,传统的数据管理在一定程度上解决了结构化数据管理的问题,但是面对新的数据形态,数据管理技术需要创新发展,提供新的思路,来提高数据库的扩展性。大数据管理技术中应用最广泛的是NoSQL、NewSQL这2种类型的数据库技术。虽然这2种数据库管理技术都在快速发展,相关数据库也已达到数百种。但是,从农业数据管理来看,基于NoSQL、NewSQL的农业数据管理研究都还在探索之中,农业大数据的管理技术并不成熟。

4.4数据处理技术不成熟

数据处理是指对数据进行操作,以产生有价值信息的过程。大数据时代,数据处理所面临的场景发生了根本性变化,数据成批处理和流处理都是典型的大数据处理模式,数据成批处理是首先进行数据存储,然后再对存储的静态数据进行集中计算;流处理是对数据的实时处理,与先存储后处理不同,通常采用直接处理的模式。针对2种不同处理模式,需要不同的数据处理技术[5]。大数据处理技术不断发展,提高处理数据的效率以及深化数据之间的相关性研究是2种数据处理模式共同追求的目标。

4.5数据安全问题难以保障

在数据收集阶段,虽然对数据的采集、共享等出台了相关制度,但尚未出台针对性的法律,因此对农业数据的收集缺乏主动性和积极性,存在“重用轻管”的问题。在维护数据安全方面,尚未设置严格的访问控制和隐私管理,经常出现采集的数据得不到有效保护的问题。

在技术处理阶段,大数据的存储和处理离不开互联网技术,农业大数据在数据迁移到“云”中存储时容易失去对安全边界外数据的控制,会大大增加数据保护的难度,同时会降低安全系数[9]。为了保证网络安全,相关部门虽然会引入防火墙、入侵检测、用户访问控制等技术,但互联网是一个高度开放的虚拟空间,重要而敏感的农业信息很容易遭到黑客攻击,窃取农业资源情报,进行非法操作。

在服务管理阶段,数据安全的问题主要在于:农业数据分散在各类不同的管理部门和科研机构中,导致这些数据之间的共享互换和交流应用缺乏统一的标准和规范,因此数据之间难以同步,会形成滞后的时间差,这个时间差如果被有心人利用,就会造成农业信息的泄漏和农业数据的外泄。

5农业大数据发展的趋势

5.1多种信息采集技术有效互补

目前,农业大数据的各种信息采集技术的互补性日趋明显。这主要表现在不同的信息采集技术具有不同的覆盖范围和不同的适用区域。农业大数据源来自农业生产、农业科技、农业经济、农业流通等方面,不同的数据源对应不同的数据获取技术,农业生产方面就会运用气象数据采集技术。气象数据采集结合气象模拟、土地分析、植物根部等要素,可以提高预测灾情的客观性与准确性。农业流通方面,就要利用农业市场数据的处理分析结果,农业市场数据的信息采集就会运用云存储技术。基于此,若要得到较为完整、准确的数据信息,必须将不同的信息采集技术相结合,将不同的技术应用在不同范围,使各种信息采集技术之间形成有效互补。

5.2农业大数据应用体系化

在农业信息化的不断发展过程中,农业大数据技术的应用呈现体系化的趋势。

大数据技术在农业中的应用分为3个阶段:数据收集阶段、技术处理阶段和服务管理阶段。①数据收集阶段是农业大数据应用的基础,基础设施资源、自然资源、信息资源的收集以及数据存储技术、数据挖掘技术的投入是数据收集阶段的主要任务。②技术处理阶段是农业大数据应用的核心,需要建设产出的应用平台、业务系统。应用平台是农业大数据应用最直接的产出物。③服务管理阶段是农业大数据的绩效层,服务主要是指提供智慧的农业服务,管理是指规划管理、运营管理和监督评价管理[10]。这一阶段决定了农业大数据应用最终呈现出来的效果。农业大数据应用的3个阶段是一个相互联系的整体,在农业大数据发展过程中必然会越来越系统化和体系化。

5.3农业大数据管理中心的建立趋于统一化

20世纪90年代,我国相继启动了一系列重大的农业信息化项目,农业农村信息化方面的投资逐年增加,这为我国农业大数据中心的建设提供了必要的支撑。2017年3月,黑龙江省农业大数据管理中心成立,农业大数据管理中心基于全省农业大数据管理服务的组织机构,负责统筹全省农业大数据建设运用工作,指导农业大数据信息的采集分析、加工存储、开放共享、产品开发、课题研究和安全管理[11]。黑龙江省率先建立农业大数据管理中心实现了省内的农业大数据管理和应用工作,但农业大数据的应用范围并不仅仅是局限在一个省内,因此随着农业大数据技术的普及和推广,其他省(市、自治区)的农业大数据管理中心也会相继建立。为了实现省际间的数据交流互通以及全国性农业大数据的应用,农业大数据管理中心必將趋于统一化。

安徽农业科学2017年

参考文献

[1] RAHAMROWE D,GOLDSTON D,DOGTOROW C,et al.Big data:Science in the petabyte era[J].Nature,2008,455(7209):8-9.

[2] 孙忠富,杜克明,郑飞翔,等.大数据在智慧农业中研究与展望[J].中国农业科技导报,2013,15(6):63-71.

[3] 温孚江.农业大数据研究的战略意义与协同机制[J].高等农业教育,2013(11):3-6.

[4] 许世卫.农业大数据与农产品监测预警[J].中国农业科技导报,2014(5):14-20.

[5] 孟祥宝,谢秋波,刘海峰,等.农业大数据应用体系架构和平台建设[J].广东农业科学,2014,41(14):173-178.

[6] 王文生,郭雷风.农业大数据及其应用展望[J].农民科技培训,2016,43(12):43-46.

[7] 王儒敬.我国农业信息化发展的瓶颈与应对策略思考[J].中国科学院院刊,2013,28(3):337-343.

[8] 张浩然,李中良,邹腾飞,等.农业大数据综述[J].计算机科学,2014,41(11):387-392.

[9] 陈雨霏.农业大数据的跨界旋风[J].中国农村科技,2013(8):20-23.

[10] 柳平增.农业大数据平台在智慧农业中的应用:以渤海粮仓科技示范工程大数据平台为例[J].高科技与产业化,2015,11(5):68-71.

[11] 宋长青,牟少敏,周虎,等.农业大数据研究中心的建设、研究与实践[J].中国现代教育装备,2015(3):8-11.