大数据环境下农业统计数据采集平台的设计

王英强，陈绥阳，王振铎

（西安思源学院电子信息工程分院，陕西西安710038）

我国自古以来就是农业大国，非常重视农业的生产。随着我国经济的发展，农业经济状况也发生了很大的变化，例如：农业人口、经济状况、产业结构、农作物种类等等。为了保证农业生产的稳定，了解农业生产的现状，农业数据统计工作特别是基层农业数据统计，成为国家统计部门的重要工作之一。与此同时，云计算、大数据等信息技术成为当前的热门话题。大数据是结构复杂、内容多样的海量数据，具有规模大、种类多、处理速度要求高、数据价值密度低等特[1]，一般认为有认为大数据需要满足3个特点：规模性（volume），多样性（variety）和高速性（velocity）。以国际数据公司IDC为代表的认为大数据应该还具有的是价值性（value）[2]，而以IBM为代表的则认为大数据还应具有真实性（veracity）[3]。目前，农业大数据成为大数据应用的一个重要分支。

1 我国农业大数据建设现状

农业大数据是指以大数据分析为基础，运用大数据的理念、技术及方法来处理农业生产销售整个链条中所产生的大量的数据，从中得到有用信息以指导农业生产经营、农产品流通和消费的过程[4-5]。目前，我们国家也进行了农业大数据的相关研究。文献[6]阐述了农业大数据研究对于我们国家具有重要的战略意义:为政府决策当智囊，为企业管理做支撑，为学科发展建平台，为管理升级提供手段。文献[7]结合农业自身的特点，分析了大数据在农业上的需求、主要应用领域及其在智慧农业中的关键地位。文献[8]分析设计了农业大数据应用体系架构，并设计了农业大数据智能分析平台，分析了平台的总体架构、功能设计及技术实现。与此同时，我们国家也开始进行农业大数据的实践，以山东农业大学为首的部分高校已经开始进行农业大数据的研究和应用。在河北省廊坊市，软通动力的团队在做着基于大数据的“智慧农业”尝试[9]。

但是，在农业大数据的实施过程中，尤其在农业统计数据的采集与获取方面，仍然存在很多的问题：

1）很多区域信息化程度不足。部分基层的统计部门在开展农业统计工作时仍然采用手工登记、手工汇总的方式来进行，统计手段落后。尤其是在当前信息化时代的大背景下，统计数据的数据量呈现几何式的增长，落后的统计手段使统计结果的质量难以得到保障[10-11]。

2）农业大数据来源不足。目前农业统计数据采集方式多为层层上报，时效性差；并且数据采集多以任务方式下达，积极主动性不强；统计结果分布在各类农业网站，并且为多种格式的数据，未能收集和汇总；已有的采集渠道，相互独立，未能得到充分利用等等[12-13]。

3）农业统计数据种类繁多，结构复杂，导致数据难以分析利用。目前农业统计数据的来源有：纸质、Word文档、电子表格、数据库等；而数据类型主要包括结构化数据、半结构化数据、非结构化数据[14]。这些复杂的数据无法直接进行统计分析。因此需要对不同数据来源的各种数据进行处理，统一格式，建立数据转换标准；对异构数据库的汇集整理，通过对数据的抽取、转换、关联、标识等过程，建立一个安全、可靠、稳定、高效的数据中心，同时，还需对价值不大，或不感兴趣的数据，以及故障数据、异常数据进行剔除和清理[15]。

2 解决方案

文中针对当前农业统计数据的采集、分析的现状所存在的问题，提出了农业统计数据采集移动平台。本平台将移动互联网络与农业统计数据采集相结合，利用移动网络通过智能手机APP进行数据采集，并通过异构数据处理中间件对其他来源的数据进行处理，主要实现以下功能：

1）实现数据实时传输。基层统计人员通过网络将数据进行上报，避免使用纸质人工报送的方式，提高数据采集的效率。

2）提高数据的正确性。在基层统计人员上报数据时，可以设定数据填报的范围，进行数据验证，从而避免填报一些不合理的数据，提高了数据的正确性。

3）提高数据统计的效率。通过信息化的方式，可以根据统计方式自动进行统计计算，可以大大的提高统计的效率。

本平台具有以下创新：

1）易用性。本设计本平台时，充分利用4G移动网络，采用移动手机软件进行农业统计数据的采集，可以让工作人员随时随地的进行数据的填报，提高数据采集效率。

2）可靠性。对于一个平台，数据的安全是至关重要的。在本平台中，具备完善的权限管理和数据备份机制，从数据库层面保证了数据的安全性。在用户使用系统时，要对用户进行严格认证，避免非法用户登录。

3）灵活性。在本平台中，采用异构数据处理中间件，对不同结构的数据进行提取、转换、清理、标识、关联等处理，形成格式统一的数据，解决农业统计数据来源分散，数据结构不统一的问题，为后期的分析提供基础

3 系统设计

在本节中，主要介绍平台结构、系统设计、移动客户端APP设计、后台数据管理系统以及用户的权限设计。

3.1 平台结构

通过分析，本平台主要由3部分组成：

1）数据库服务器、Web Service服务器。

2）移动客户端应用程序。

3）后台数据管理系统。

基层工作人员通过使用移动终端的数据采集APP进行数据的采集、上报；在数据上报时，移动终端通过调用Web Service公布的数据库接口，将数据存入到数据服务器中；管理人员可以通过后台数据管理系统对上报的数据进行审核、基础数据进行维护。本平台的每一个组成部分是有机地结合在一起，协同进行工作。本平台的网络结构设计如图1所示。

图1 平台网络结构图

3.2 系统结构设计

为了满足基层农业统计数据的采集上报的需求，提高系统平台的数据处理效率，遵循软件开发的先进性、易用性、可靠性、灵活性、扩充性的原则[16-17]，本平台的系统结构图如图2所示。

图2 系统结构图

下面对各个组成部分在系统中的作用进行说明：

1）数据库服务器、Web Service服务器：数据库服务器主要用于存储上报的农业统计数据，并且按照年份对数据进行区分。Web Service服务器：公布了访问数据库的各种接口方法，即移动客户端APP通过调用数据库访问接口，主要用于移动客户端APP与数据库服务器之间的数据交换，实现对数据的上报、修改、浏览等功能。

2）移动客户端APP：主要实现数据的采集填报，包括数据采集填报、历史上报数据查看、数据传输、审核、消息提醒、个性化报表设置等主要模块。

3）后台基础数据管理系统：主要对本平台的基础数据、后台业务进行管理，包括：数据审核、组织机构管理、农作物信息、报表管理、用户管理、权限管理等主要模块。

3.3 系统数据库设计

在平台中，数据库负责农业统计数据的存储、管理，随着时间的推移，最终形成历史数据库，并且为了方便以后数据的统计分析，对数据按照年限、季度进行标记。本平台的数据库主要包含以下几张表：用户表（User）、农产品表（ProductInfo）、用户农产品表（UserProduct）、农产品统计数据采集表（Product-Data）、农业统计数据采集年份季度表（UploadDate-Node）、信息表（Message）、区域表（AreaInfo）。本平台的数据库结构如图3所示。

图3 数据库结构图

3.4 WebService服务器设计

WebService服务主要完成数据库服务器与移动客户端APP之间的数据交换与通讯，即数据的上报、修改、浏览等功能。在WebService中，公布了移动客户端APP访问数据库的各种接口方法。移动客户端APP通过调用WebSerivice的数据库访问接口，对数据库中的数据进行增加、修改、删除、查询等。为了保证WebSerivice架构服务器能够顺利的访问到数据库服务器，需要WebSerivice服务器与数据库服务器在同一个局域网络中。

本平台的WebService服务主要实现了用户信息查询（QueryUserInfo）、查询农产品统计数据（QueryProductData）、插入修改（OperaProductData）等数据库访问接口，如表1所示。

表1 WebService数据库访问接口

3.5 移动客户端APP设计

在通过对业务进行详细的需求分析之后，移动客户端APP主要实现4个功能模块：数据采集上报、历史查看、消息提醒、个性化报表设置。下面对每个模块的主要功能进行说明：

1）数据填报：本模块实现农业统计数据的上报、查看、修改。

2）历史查看：本模块主要实现用户查看其上报的统计数据，并允许根据上级的审核意见对上报的数据进行修改。

4）提醒功能：本模块实现调查进度、时间安排、数据反馈的提醒推送功能，从而提醒工作人员及时对数据进行上报、修改。

5）个性化报表设置：在本模块中，用户根据农作物种植实际情况，对统计项目进行选择加载，去除自己区域内不需要填写的调查项目，形成个性化表格。

3.6 后台数据管理系统

为了支持移动端应用程序的使用，需要对平台的基础数据进行管理，例如：组织机构、农作物、用户、报表等进行管理。后台数据管理系统主要包含的模块有：数据审核、数据汇总、组织机构管理、农作物管理、报表管理、用户管理等。下面对每个模块的主要功能进行说明：

1）数据审核：本模块主要实现上级管理人员对基层工作人员、下一级的工作人员上报的数据进行审核。

2）数据汇总：在本模块中，根据下级所填报的数据，自动形成汇总报表，并且将汇总数据自动与去年同期数据对比，当数据波动超过10%时，进行提示。

3）组织管理：本模块主要对本平台的各级组织进行管理，例如：市区、村镇、街道等进行管理。

4）农作物管理：本模块主要针对在本区域中所播种的农作物品种进行管理。

5）报表管理：本模块主要对填报的统计报表进行管理。

6）用户管理：本模块主要对系统的用户进行增加、修改、删除等管理。

3.7 用户权限设计

本平台的使用用户数量众多，为了保证平台运行的稳定，以及数据的正确、完整及安全，对本系统的用户进行了划分，主要分为：基层工作人员、上级管理人员、系统管理员。在本平台中，他们各自的作用如下：

1）基层工作人员。这一部分用户是系统的主要使用人员具有数量多、所在的地域范围广、受教育程度层次不齐等特点。他们主要使用本平台的移动终端应用程序进行数据的采集、上报。

2）上级管理人员。上级管理人员可以有多个层级，例如：乡镇级、区级管理员等。这一部分用户主要是对区域内上报的数据进行审核，检查数据是否规范、合理、正确，并对数据进行统计，形成本区域的农业数据统计结果。

3）系统管理员。作为本平台的系统管理员拥有整个系统最高的权限，主要负责系统的安全、维护等工作，例如：用户管理、权限管理等。

本平台的用户权限框架图如图4所示。

图4 系统权限框架图

4 系统实现

本系统的实现主要采用以下技术：数据库服务器采用 SQL Server2012，WebService采用 Visual Studio 2015，移动终端APP采用Eclipse进行开发。在本文中给出，以移动终端APP的数据采集上报为例，给出其实现过程。

其主要的实现代码如下：

数据采集界面如图5所示。

图5 数据采集界面

5 结论

文中针对农业数据采集存在的效率低、错误率高、采集困难、来源不足、种类繁多等问题进行分析，提出了基于移动终端的农业统计数据采集移动平台的解决方案，以实时采集、定时提醒、定制式统计报表等策略，有效解决了这些问题。平台运行稳定，功能完善，实现了农业统计数据采集的信息化管理，有效提高了数据采集及统计分析的工作效率。