精准施肥大数据系统的研究与应用

荆旭全， 蔡德楠， 丁文翰， 徐剑波

(华南农业大学资源环境学院，广东广州 510642)

从传统农业转变到智慧农业，我国农业信息化的步伐未曾止步[1-3]。农业数据由于具有来源广泛、类型多样、结构复杂等特点，更需要大数据技术支持[3-5]。农业大数据是智慧农业发展的关键所在。测土配方数据成果形式多样、数据量庞大，其数据规模给数据存储、管理及分析带来巨大的挑战。通过运用大数据技术对上述测土配方大数据进行处理与分析，实现基于数据驱动的科学决策[6-10]，对获得可靠专业的决策结果具有重要的促进作用。在精准施肥应用中结合大数据技术和网络地理信息系统(web geographic information system，简称WebGIS)技术，开发一套基于精准施肥的大数据系统及相应的信息服务平台，能够有效解决精准施肥大数据成果充分应用及信息不对称等问题，深入挖掘施肥价值，为精准施肥科学决策提供新的决策工具和思路[11-17]，大数据手段的运用对促进广东省农业发展具有重要意义[18-21]。

1 理论与技术路线

通过对数据进行预处理以及批量标准化调整，利用ArcMap 10.2软件对广东省施肥大数据(耕地质量评价单元、地类图斑、行政区划等)进行定制化(整饰、配色、出图)，生成各县域测土配方图件及整个广东省的全图数据，通过ArcSDE建立数据集并导入SQL Server空间数据库中，进而发布Web地图服务(web map service，简称WMS)，以供终端访问。同时建立大数据分布式集群服务器平台，利用数据库导入工具，将SQL Server数据库中的数据导入到Hadoop平台中[22-23]，使用Hadoop平台对数据进行分析运算。通过Intellij IDEA开发平台，配置应用程序编程接口(application programming interface，简称API)，将所有系统集成开发打包，并上线至生产服务器，部署至Tomcat服务器，用户通过互联网地址或二维码形式等渠道访问该系统。

在深入研究已有先进成熟技术的基础上，参考并借鉴先进的大数据架构和WebGIS的设计思想与理念，深入了解广东省施肥大数据系统建设的需求，根据已知的系统数据源，提出一套可行性建库方案，建立广东省施肥大数据库及数据仓库，采用前后端分离的RESTful设计架构与分布式集群架构，建立元数据管理系统，从而实现施肥大数据的空间数据和非空间数据的一体化管理。在数据需求与数据流分析的基础上，采用自顶向下的设计模式对系统框架进行设计，整合多元数据资源，建立广东省施肥大数据标准体系(包括全省96个农业县土地利用数据、土壤养分数据、主要作物农田分布体系以及主要作物施肥指标体系和精准化作物施肥模型等)。在设计上保证数据便于维护、可更新、安全加密、海量及跨平台资源共享。

该系统主要功能建设包括施肥决策支持子系统、大数据管理子系统、专家答疑服务子系统、知识库管理子系统、用户管理子系统、施肥数据可视化子系统及辅助子系统，以数据驱动的方式联动系统功能建设，进而保证系统使用的高效与快捷(图1)。

2 系统分析与设计

2.1 目标用户与需求分析

通过对系统的目标用户与系统功能需求进行分析，并经过充分调研发现，系统的目标用户主要分为3类：第1类用户为整体文化水平较低，施肥观念滞后，获取施肥服务有效手段匮乏的种植大户或农场主；第2类用户为具备一定农业服务技能，但基层农技推广效率不高的基层农技人员和农业专家等；第3类用户为与农民紧密联系的肥料生产企业和农资店等农业服务商。针对目标用户的特性，研究设计一套针对多种类型用户可高效运行的大数据平台，指导农业种植生产和科学施肥，以达到增产增优、减少农业污染等目的。

综合对目标用户行为特征的分析，并结合当前广东省测土配方施肥技术推广和地域特色等实际情况，分析确定本研究系统平台的功能需求。精准施肥大数据系统主要借助现有成熟的大数据技术优势，通过对数据进行处理、清洗、转换与存储，建立统一标准的海量数据库及数据仓库，并基于Hadoop架构实现海量数据的存储、分析与应用，发挥地域特色，解决施肥大数据管理与应用难题，为农户提供快速科学施肥决策服务。主要功能需求包括农业大数据需求、精准施肥指导服务需求、农业技术推广需求等。

2.2 系统设计

系统设计包括系统的总体用例设计与系统的总体结构设计。按照数据统一性和安全性、高效性和易用性、可维护性和扩展性原则进行设计。

2.2.1 系统的总体用例设计 根据“2.1”节的需求分析和调研分析，本系统主要涉及到以下用例：大数据分析与管理、精准施肥决策、农业知识库管理、专家在线咨询、系统用户管理等(图2)。

2.2.2 系统的总体结构设计 针对精准施肥核心环节，建立精准施肥大数据系统及相应的信息服务平台，集成大数据管理与应用、精准施肥决策、农技推广、施肥数据可视化等功能应用。利用大数据技术、WebGIS技术等现代信息技术在农业生产中的应用，收集并整合相关资源，将农户、农业技术人员、种植专家、政府各级农业相关人员统一接入到服务系统内，帮助农户学习农业技术，通过测土配方技术实现精确定位施肥，从而减少盲目施肥和过度施肥所带来的农业污染和农业资源浪费。相关技术人员通过大数据分析，挖掘出其中的数据价值，为农户提供相关农业指导性意见(图3)。

2.3 数据库设计

大数据精准施肥系统存储着海量数据，数据作为系统最核心的部分，是系统正常运行的先要条件。数据库是数据管理的中心，其设计的好坏将直接影响系统的可用性和稳定性。按照规范化、可扩展性、开放性与安全性、稳定性等原则对数据库进行设计。系统数据构成与分类如下：(1)土壤养分数据，包括全省96个农业县的农田分布数据、2千多万个地块数据、50万条土壤采样化验数据以及200万多项土壤指标数据(包括氮含量、磷含量、钾含量、有机质含量、pH值以及铁、硫、硅、锰、铜、硼、锌、钼等中微量元素含量)。(2)土地利用数据，包括全省96个农业县的耕地地力评价单元数据、耕地土壤类型数据、行政区划以及线状地物、地类图斑数据，此外还包括座落名称、地貌类型、地面坡度、田面坡度、坡向、常年降水量、通常地下水量、地类编码、图斑面积、评价分级等指标数据。(3)施肥指标体系数据，包括豆角、瓜果、柑橘橙、花生、苦瓜、糖蔗、龙眼、荔枝、马铃薯、茄果、水稻、果蔗、甜玉米、香蕉、叶菜、柚子等16种广东省主要地域特色作物施肥指标。(4)作物库和配方库数据(包括每个农业县的主要作物分布数据，包括粮食作物、蔬菜、水果、瓜类等作物生长期推荐施肥品种、数量、方法、配方肥配比、施用方法等)。(5)农业知识库数据，包括种植管理、栽培技术、病虫害防治、良种繁育、土壤改良等图文数据及多媒体数据。(6)专家答疑服务数据，包括专家与用户之间互动交流记录等图文数据以及用户最近询问专家记录、匹配推荐专家等数据。(7)专家及用户数据，包括专家姓名、头像、性别、职称、擅长领域、手机号码、专家答疑次数、工作单位等数据以及用户注册数据。(8)系统日志数据，包括用户行为收集数据、系统运行访问数据、性能数据、错误日志等。

2.3.1 空间数据库的设计 精准施肥空间数据库的原始数据为耕地地力评价成果更新数据，比例尺为1 ∶50 000，坐标系为北京54坐标系，包括各县域耕地地力评价单元数据、各县域耕地土壤调查采样点分布数据(每年更新的历史数据)、各县域耕地土壤类型数据、各县域耕地土壤养分数据等专题地理数据以及地类图斑、线状地物、行政区界线、行政区等基础地理数据。

空间数据库作为地理信息系统在计算机物理存储介质上存储的与应用相关的地理空间数据的总和，一般以一系列相互关联的特定结构文件的形式组织在存储介质之上，存储着空间数据(以点、线、面为同一类型同一时段的空间描述对象的分层、分组织储存的实体)和属性数据(如人口面积)。数据库具有数据量庞大、高可访问性、空间数据模型复杂、属性数据和空间数据联合管理、时空多尺度性等特点，支持空间查询和空间分析等方法，在GIS领域中发挥着最基础和最核心的作用。

通过数据预处理、数据更新和插值、构建数据库与发布专题地图、构建分析数据库对精准施肥空间数据进行标准化处理。

2.3.2 配方施肥模型库构建 精准施肥大数据系统的核心是施肥模型的构建。模型库由一些评价和预测模型组成，是按照已确立的各种特性因子，并结合肥料学、土壤学、植物营养学等知识和专家经验建立的模型。施肥模型主要是在指定区域和作物种类(包括设定目标产量)已选定的情况下，通过对施肥量和施肥配比及时期的运筹，得出最优的施肥配比和施肥方案。目前，该系统已有的作物配方施肥模型包括豆角、瓜果、柑橘橙、花生、苦瓜、糖蔗、龙眼、荔枝、马铃薯、茄果、水稻、果蔗、甜玉米、香蕉、叶菜、柚子等，本研究以此为基础搭建施肥配方服务接口。

以水稻为例，水稻的施肥推荐模型须要根据不同区域采用不同的回归模型，同时还应考虑各个地区籽粒养分吸收量的不同，以及不同地区肥料利用率的不同。首先根据土壤养分计算出相对产量，其次根据目标产量和地力提供产量计算得出肥料须提供产量，再次考虑籽粒养分吸收量和肥料利用率，最终求出该地区该目标产量下的水稻养分推荐施肥量，表1为水稻养分推荐施氮量模型。

表1 水稻养分推荐施氮量模型

2.3.3 系统功能模块设计 依据系统的分析和设计，本系统的总体功能模块设计见图4。针对不同类型的用户进行拆分，其中，数据统计分析模块和业务更新部分仅面向管理员用户类型开放。

3 系统实现

3.1 用户管理模块的实现

该系统平台用户主要分成农户、专业人员、农业部门管理员等3类。农业部门管理员通过PC端进入用户管理模块后，可以查看各类用户列表及详情，并可根据统一模板批量导入专家数据，对专家用户信息进行编辑和删除，添加用户，查看用户列表。农户和专业人员在移动端网页入口进入、注册或登录访问。

3.2 测土配方施肥模块的实现

3.2.1 测土配方施肥系统 通过对(市—区—村)逐级进行选择，向服务器发送请求获得所选村的地图服务，然后进入所选村的地图；在地图上进行操作，将地图中心点放在绿色的地块上，与后台交互获取土壤养分数据，弹出Callout窗体，点击该窗体，进入测土配方参数设置。地图显示功能时序见图5。除显示该地块必要土壤养分元素外，用户可设置不同的作物及目标产量。设置完毕，点击确定，发送请求至服务器，服务器通过计算相应的县域配方模型获得施肥建议卡，并将施肥建议卡以网页的形式显示到用户界面。该施肥建议卡可通过微信、QQ、微博等形式实现分享。生成配肥方案时序见图6。

3.2.2 现场决策施肥 现场决策的流程与测土配方施肥基本一致，只是该流程第1阶段并不须要通过访问地图来获得土壤养分数据。只须开启手机端全球定位系统(golbal positioning system，简称GPS)，获得当前的经纬度坐标，调用服务接口，经坐标系转换以及Query查询，并设置范围与容差，即可获得该坐标下的土壤养分数据。然后再选择作物，得到施肥建议卡。

3.2.3 配方模型更新 作物模型与目标产量的设置通过服务器获得更新，调用SharedPreferencesUtil工具类以离线的方式存储至手机端。以定期更新的形式获得最新数据表。配方施肥模型的计算方案由后台进行更新。

3.3 农业知识库模块的实现

在移动端部分，用户点击“知识库”模块，进入知识库，可以查看农作物品种、农业技术、农资信息等相关图文内容，为科学农业生产提供知识支撑，通过阅读、浏览、学习提升用户知识水平。点击搜索框，可以选择知识库分类以及搜索相关的关键词。

3.4 数据分析模块的实现

数据分析模块包括大数据可视化分析、用户行为分析和信息统计分析。该模块功能面向管理员级别，由后台管理系统提供服务，方便管理员进行决策分析，为后续工作提供指导基础。

3.4.1 大数据可视化分析 空间数据可视化是大数据可视化的重要构成部分。该模块结合GIS大数据与Hadoop技术，搭建Hadoop大数据分析平台，利用GIS Tools for Hadoop工具将施肥大数据转化为JSON数据并导入到Hadoop平台中，提交到MapReduce程序中，经空间分析运算将分析结果转化为要素类显示至地图中，可有效节省运算时间，解决单机执行效率有限问题。另外，开发了1套基于Python自动化数据处理工具的系统，对原始数据进行标准化处理(统一字段、检查坐标系、统一属性值)后，批量导出广东省范围的土壤数据和底图数据，导入至空间数据库，并发布地图切片服务。

该模块以市、县为单元维度，对大数据进行实时更新统计分析，如对县域维度的土壤数据平均值、最大值、最小值进行统计分析等。可将数据处理结果以报表形式导出用于查阅(图7)。

3.4.2 用户行为分析 移动端设计各类行为埋点，如施肥建议卡生成次数、阅读单个文章次数、点击单个Activity次数以及访问时间、用户评论互动指标等，根据这些行为埋点分析用户行为，获得相关的反馈，进而优化App核心功能(图8)。

3.4.3 信息统计分析 该模块用于记录核心业务的信息统计内容，包括用户数统计、农业知识库数量统计、专家答疑内容统计、生成施肥建议卡次数统计以及用户主动提供反馈的信息内容(如用户建议和投诉信息等)。另外，统计生成建议卡作物地域分布情况及满意度评价。

4 结束语

目前大数据应用在用户推荐、流量统计、系统架构等领域取得了巨大进步，然而其他具体垂直领域的大数据应用仍处于摸索阶段。本研究对精准施肥大数据系统进行分析、设计与开发，基本实现系统的核心功能，并对系统进行推广应用，弥补了精准施肥大数据领域应用上的空缺，其技术具有一定的先进性和借鉴作用；同时进一步提升了精准施肥管理及决策水平，且具有专业化、精准化、区域化、可维护性和应用范围广等特点。首先，充分利用精准施肥大数据及相应的大数据技术，建立标准统一的精准施肥海量数据库、数据仓库及元数据管理系统，可为精准施肥提供新的决策方案和途径。其次，结合大数据技术和WebGIS技术，采用前后端分离的RESTful设计架构与分布式集群架构，开发1套基于精准施肥大数据系统以及相应信息服务的应用平台，为农户提供精准施肥决策指导(图9)及农技推广服务，进而逐渐改变农户传统种植观念，提高农户知识水平，达到农作物增产增收、减少环境污染等效果。最后，系统先后于广东省各地(如开平市、罗定市等)进行推广应用，推广效果显著，并被评为“粤治-治理能力现代化”2016—2017年优秀案例。