王强
新疆维吾尔自治区农业厅农业信息中心,乌鲁木齐830049
大数据技术在农业领域的应用分析及建设策略
王强
新疆维吾尔自治区农业厅农业信息中心,乌鲁木齐830049
农业大数据涉及农业生产、经营、管理和服务的方方面面。随着农业大数据时代的到来,需要利用大数据的理论和技术,综合农业现代化发展战略,不断推进农业大数据技术的应用实践。本文通过对农业大数据的应用前景和存在的问题进行分析,提出加快推进农业大数据的建设策略。
大数据技术;农业;应用分析;建设策略
随着信息技术的快速发展,特别是近年来云计算、物联网、大数据、电子商务等新兴技术促使人类社会的数据种类和规模正以前所未有的速度增长,大数据时代正式来到。数据已成为一种基础性资源。农业作为第一产业,拥有海量、多样的数据,其规模效应给数据存储、管理以及数据分析带来了极大的挑战,数据管理方式正在变革。
1.1 基本概念
学术界和工业界都对大数据赋予大量的关注并开展了深刻的研究。Nature于2008年推出Big Data专刊。Science于2011年推出专刊《Dealing with Data》,均围绕科学研究中大数据问题展开讨论。麦肯锡研究院(MGI)则于2011年6月发布名为《Big Data:The next frontier for innovation, competition,and productivity》的研究报告,对大数据的影响、关键技术和应用领域等进行了详尽的分析,并指出大数据将会是带动未来生产力发展和创新以及消费增长的指向标。
大数据在全球范围内备受关注,对大数据的定义也有多种提法。IBM认为大数据具备规模性(Volume)、多样性(Variety)、和高速性(Velocity)、精确性(Veracity)。规模性指数据量巨大,量级达到TB级及PB级;多样性指数据类型放多,包括结构化数据和非结构化数据;高速性指数据创建、处理和分析的速度在持续加快。
1.2 大数据与其他现代信息技术关系
1.2.1 云计算
大数据的数据量极大,超过了任何一台计算机的处理能力,那么如何对它进行处理,就需要云计算。云计算是技术,提供分布式处理、分布式数据库、云存储和虚拟化技术。如果数据是财富,那么大数据就是宝藏,而云计算就是挖掘和利用宝藏的利器。
1.2.2 数据整合
数据整合是借助于分布式计算、搜索引擎等多种技术,对非结构化数据及各种业务系统产生的结构化数据,通过对数据的抽取、转换、关联、标识等过程,建立一个安全、可靠、稳定、高效的数据服务平台,使之成为标准规范内的、面向业务的、有价值的、鲜活的数据,为上层应用服务,为日常工作服务,真正发挥其应有的价值,最大限度的提升数据共享和服务能力的过程。
在大数据时代,随着数据资源爆炸性增长,更需要对海量的各种不同数据源实现数据传递、转换、净化、集成等功能,从用户的业务需求和实际应用出发,对海量数据资源和处理流程进行综合分析,以信息资源规划为标准,通过数据层面的整理提炼,将分散在各个“信息孤岛”中的有效信息资源,形成完善的数据中心系统,全面支持数据共享、统一管理和分析决策。
1.2.3 物联网、移动物联网
物联网、移动物联网等是大数据资源的来源方式。
《国家中长期科学和技术发展规划纲要(2006-2020年)》、《软件和信息技术服务业“十二五”发展规划》、《物联网“十二五”发展规划》、农业部《全国农业农村信息化发展“十二五”规划》以及国务院《关于加快推进农业科技创新持续增强农产品供给保障能力的若干意见》等。
3.1 测土配方施肥服务系统
农业部印发的《2014年种植业工作要点》中,要求各地推进配方肥到田和施肥方式转变,重点解决“看病、开方”后的“抓药、用药”问题,利用“大数据”与相关化肥生产企业合作推广配方肥,同时还开展测土配方施肥手机信息服务和新型经营主体科学施肥示范试点,提高肥料利用效率。
3.2 基于大数据技术的大棚智能控制系统
3.2.1 监测系统
利用传感技术,采集温室大棚种植中关键要素,如空气、土壤的温湿度、光照强度、二氧化碳浓度等数据,利用现代网络通讯技术将数据及时传送到控制终端和大数据服务中心。
3.2.2 控制系统
控制系统接收控制终端和大数据服务中心的命令,进行相应操作。如对卷帘机、风机、灌溉装置等进行控制,实现农业生产的智能化管理、精准管理。
3.2.3 控制终端
由手机等移动终端设备安装智能控制系统终端软件,使用户实时获得监测信息,并进行相应操作。
3.2.4 大数据服务中心
基于云计算建立大数据服务中心,建立不同农作物的生长模型,根据监测信息,系统自行决定在何种条件下,对何种设备进行操作,减少人工干预,做到精确控制,节约生产成本,提高生产效率。
3.3 病虫害预测
病虫害的发生与土壤情况,温湿度都有密不可分的关系,通过对历史生产数据进行分析,结合建立数学模型,可得出病虫害发生预测。根据这类预测,生产者就可通过调节大棚内温湿度,通过施肥等改善土壤结构,有效避免病虫害的发生,从而减少农药的施用,提高农产品质量。
3.4 作物成熟度与上市期预测
通过对历史生产数据进行分析,结合当前的气象数据,可对农作物成熟度进行预测,并预估上市时间。生产者可根据当前及历史市场价格走势情况,通过调整温湿度及施肥情况,调整农作物成熟时间;通过调整养殖温度计饲料供给、保鲜等人工干预,调整产品上市时间,以获得最好的收益。例如,湖北湘口现代渔业园区,建有一座河蟹恒温活体保鲜库,在螃蟹上市高峰时,如果收购价偏低,通过电脑控制恒温保鲜,实现错时上市。
3.5 农业灾害预测
农业生产受气象条件影响很大,洪、涝、大风等都会对农业收成带来直接影响。将历史生产数据与历史气象进行综合分析,可得出降雨量、风力等气象与产量的关系,根据这些预测结果,在类似天气出现之前,进行适当的预防措施,保证农作物产量。
4.1 农村土地承包经营权信息管理方面的应用
土地承包经营权确认了农民对承包土地的占有、使用、收益权利,关系到农民的切身利益。但由于历史条件限制,很多地区不同程度的存在农村土地承包管理混乱,土地纠纷解决困难。为改变这一状况,国家积极开展农村土地承包经营权调查工作。从各地调查情况看,土地承包经营权的应用规模主要以本地区为主,管理方法以手工为主,信息化程度不高。信息化必将成为规范土地承包经营权管理、推广土地经营权应用的有效手段。利用计算机、遥感、地理信息系统、全球定位系统等技术,建立一个规范、高效、应用范围广的土地承包经营权管理平台将极大提高土地权属调查效率,提高农村土地流转的管理水平。
4.2 农产品质量安全管理
目前,食品安全问题备受关注,绿色食品、有机食品虽然价格不菲,却成为很多人购买的首选。但市场上出现了一些假冒的绿色、有机农产品,普通消费者很难辨别真伪。开发三品认证查询系统,供消费者查询。当消费者普遍接受这种方式时,会发生大量用户同时并发访问系统的情况,应对这种大规模的并发访问,正是大数据的强项。
4.3 农资服务
利用大数据技术,通过采集到的生产数据、销量数据等资源,结合季节、民族、地区差异等因素,设计专业的数据分析模型,预测各地区、各类农产品的供求平衡关系,提前发出预警信息,提示来年哪类农产品需求可能大于已知的种植面积,建议适量增加该类农产品的种植,引导种子等农产品生产资料提前进行流转,为农民播种做好农资服务。一方面通过提前播种,在供求平衡被打破前,是农产品产量满足市场需求,达到平抑物价的作用。另一方面通过预测,提示生产资料供应按需生产,充分调配,避免农产品生产资料产能过剩或短缺。
4.4 农技服务
目前,种植、农机、畜牧、水产养殖等农业生产技术发展较快,传统的农技服务推广依赖基层农技人员进行指导,但是存在基层推广人员的技术水平参差不齐,针对性指导不足等问题,传统的农技推广服务方式已不能满足广大农户日益增加的农业技术指导需求。利用大数据技术,通过采集农产品种养殖数据、病虫害数据、防疫物资销售数据等,与历史数据相结合,通过模型分析,将已有的专家解答、相关的农业技术、附近的农技人员与提问农户信息进行匹配,是农技服务更有针对性。大数据技术的运用可以较好的解决海量信息匹配的难题,为农机推广服务。
4.5 农业信息服务
广大农民对于农业信息的需求潜力巨大,但由于多种原因,农民获得有用农业信息较少。利用大数据技术,通过对农户基本信息、所在地域、种养殖领域、种养殖规模等基础信息的采集,通过模型分析,将与其相关的农业政策法规、农产品历史数据、市场信息等匹配,为农民提供丰富的信息资源,使农民方便快捷的获取与农业生产、加工、经营相关的信息服务。既增强了农业管理部门对农民提供信息服务的方式和内容,又对农民获取信息后更好的从事农业生产,继续为增产增收创造条件。
近年来,我国农业应急管理的形势十分严峻,极端天气日益增多,各种重大自然灾害呈多发、频发、重发态势,对农业生产和农民生命财产安全造成重大影响,农业应急管理工作已呈常态化趋势,加强农业应急管理工作已成为农业部门一项紧急而重要的职责,农业应急管理工作对信息化需求较为迫切,对信息资源、数据资源的依赖度较高,开展大数据技术研究对做好预测预警、应急处置、灾害评估等具有重要意义。以动物疫情领域为例,围绕重大动物疫情应急指挥核心业务,梳理各管理部门的信息资源,确定元数据内容,建立应急信息资源目录,实现数据交换和共享,对数据进行清洗和融合后,进行数据挖掘和活化。具体可分为:数据采集、应急资源目录建设、数据交换与共享、数据融合、大数据分析与挖掘、数据活化等。
6.1 缺乏整体大数据资源规划
农业大数据资源规划实职对数据的采集、处理、传输和利用的全面规划。数据资源规划是农业信息化的基础工程。但由于目前没有农业数据资源整体规划,造成数据资源建设目标不清,数据资源结构和资源分布不均衡,资源重复建设,共享水平不高,资源建设存在空白领域等问题,随着农业数据资源大规模增长,没有信息资源规划的顶层设计,农业大数据的汇集、处理、分析等工作将难以进行。
6.2 农业大数据分而治之
目前,农业部相继建设了农业政策法规、农经统计、农产品价格等60多个数据库,构建了40余条部省协同信息采集渠道。各省级农业部门也结合实际情况建设了一批地方农业数据库。但是,这些数据分散存储在各部门,各应用系统数据结构不统一,数据整合难度大,而且由于没有有效共享、数据整合的制度和要求,数据分而治之现象严重。单独的数据难以发挥作用,融合的数据才具有分析挖掘的价值。农业大数据若分散存储分散管理,则只能是数量上的大数据,而无法发挥其预测、分析等的价值和作用。
6.3 农业大数据来源不足
目前,农业部门建立的农业数据采集渠道及数量级远不能满足指导农业宏观决策、微观生产指导、农业市场分析等数据支撑的需要,出现了数据量不足、频度不够、涵盖面不广、连续性不强等问题。目前多采取的数据采集方式为层层上报,时效性差,数据采集多以任务方式下达,积极主动性不强,分布在各类农业网站、12316、农业企业的多种格式的数据未能收集和汇总,已有的采集渠道未能得到充分利用等等。
6.4 农业数据资源利用率低
传统数据库和数据分析工具仅能处理结构化数据,对于网页、音视频、图片、文档等非结构化数据无法进行处理和利用。目前国家农业数据中心存储有约3.6T的数据,结构化数据仅占17%,也就是说83%的数据未得到开发利用。农业数据分散存储,格式不一、标准不同,无法进行综合利用,没有挖掘出数据的应有价值。
当前农业大数据建设还处于早期阶段,各级农业部门已经认识到了农业大数据的重要性。依据农业部相关信息化战略规划要求,结合我国农业信息化实际,本着“集成、创新、落地、协同、固本”的建设策略,开展农业大数据云平台建设是农业大数据建设的重中之重。
农业大数据建设应逐步推进农业信息的规范化和标准化建设,有效整合农业内外资源,提高农业信息化深度应用、高端应用、合成应用能力和水平;增加基础设施建设力度,完善信息中心各类基础设施;加强整合信息资源,对各类信息精心筛选、加工整序,建立完善的数据整合体系;通过数据整合和数据共享,提升相关各部门和机构的紧密配合程度,使每个系统都得以有效运转;推进农村信息资源整合的整体进程,形成信息化建设综合保障长效机制,整体提升农业信息化管理和应用水平。
农业大数据平台建设应采用大数据处理与挖掘分析、智能应用、智能消息推送、社会化协作、服务化架构等关键技术,把农业大数据平台建设成为全新一代的松耦合、高效和高可用、高度可伸展、安全可靠的应用服务支撑平台,为各种规模和各种类型的云应用提供统一开发、运行和管理的服务。
农业大数据云平台的建设目标:
一是通过平台的建设,汇集各方资源,构建农业领域大数据研究中心。二是通过数据整合,采集和加工处理,建成农业数据资源平台。三是依托农业大数据相关技术,包括数据采集技术、存储技术、分析挖掘技术、展现技术等构建农业大数据应用平台。四是通过分析应用平台,进行成果发布,形成农业领域专业研究的权威成果发布平台,服务于政府、科研院所、涉农企业、社会公众等。
7.1 农业大数据建设思路
按照高起点设计、主体先行的思路,农业大数据建设策略分为三步:搭建农业大数据云平台,农业大数据整合,农业应用聚合创新。
规范农业大数据标准和规范体系,搭建农业大数据云平台,构建云数据服务模型框架,逐步丰富资源服务功能,有效整合农业内外资源,提高农业信息化深度应用、高端应用、合成应用能力和水平,不改变原有农业应用系统进行聚合创新。
7.2 农业大数据建设要求
一是多元与整体考虑并存,满足农业多部门和业务的宽幅需求,随时了解不同业务需求变化,集中规范化、标准化解决,确保农业大数据云平台长期的服务能力。
二是前瞻性与阶段性相结合,需要具有适当的前瞻性,充分考虑到未来的技术发展方向和需求变化方向。
三是标准化与可扩展性相结合,充分考虑未来农业业务服务内容拓展,使系统在较长时期内能适应农业业务发展的需要。
四是先进性与安全性相结合,农业大数据承载着多样的数据信息,采用先进技术的同时,也要保证系统运行的稳定与安全。
7.3 农业大数据标准规范建设
农业数据标准规范体系建设,是对农业信息活动的各个环节实行标准化管理,将信息获取、传递、存储、分析和利用等环节有效衔接,从而切实有效的开发和利用农业信息资源,提高资源使用效率,扩大资源共享范围。
农业数据标准规范体系建设是农业信息资源开发利用的关键因素。随着农业数据大规模增长,农业大数据迫切需要出台相关标准规范体系支撑,按照顶层设计、统一规划、统一标准的原则,重点从采集、处理、传输和利用进行全面规划的标准技术规范体系框架。这些标准包括数据元素标准、信息分类编码标准、数据交换标准等。这些标准的建立,将贯穿信息需求分析、数据建模和后续应用开发的全过程。
[1]黄建全,解翠平,黎凌.新疆农业信息化发展现状及建议[J],新疆农业科技,2013(5):1-4
[2]许世卫.农业信息分析学[M].北京高等教育出版社,20012: 1-323.
[3]陈晓华,农业信息化概论[M].北京:中国农业出版社,2012:1-386.
王强(1980年2月-),本科学历,农艺师,研究方向:农业农村信息化。
2014-12-18