天津市“三农”大数据平台构建

张保岩 赵丽华 辛北军

摘要：天津市农业信息化发展中存在的数据不能有效整合、数据利用率低、分析模型缺乏等问题，导致增加了数据统一治理的难度和成本，降低了政府在服务水平和监管效率上的施政能力。本研究在充分分析数据资源和应用现状及问题的基础上，提出了天津市“三农”大数据平台的整体框架，设计了包括农业大数据中心基础子平台、数据仓库系统、基础管理服务子平台、数据开发开放子平台、可视化数据挖掘系统、智能检索系统、农业大数据“一张图”应用、运维管理系统的核心功能，描述了基于J2EE平台的实现方式。通过建设天津市“三农”大数据平台，进一步加快实施针对农口各部门信息资源在基础数据元及共享业务元中的整理和挖掘，实现全市统一的涉农基础数据元管理体系，构建统一的大数据集中处理基础设施和大数据综合服务平台，全面服务于天津农口各单位对大数据信息共享、数据挖掘和智能服务的需求，推动天津市农业农村大数据产业共建融合和创新发展。

关键词：农业大数据;天津;三农;数据共享;平台;农业信息化

中图分类号：S126   文獻标志码： A  文章编号：1002-1302（2020）17-0245-05

信息技术与经济社会的交汇融合引发了数据迅猛增长，数据已成为国家基础性战略资源，大数据正日益对全球生产、流通、分配、消费活动以及经济运行机制、社会生活方式和国家治理能力产生重要影响。大数据源于互联网及信息技术的广泛应用，大数据概念体系在2014年左右逐渐成形，发展出相关的技术、产品、应用和标准，并逐步形成包括数据资源与API、开源平台与工具、数据基础设施、数据分析、数据应用等内容的大数据生态系统[2-3]。随着云计算、互联网、泛在网、物联网等现代信息技术在各行各业的大量应用和实践，大数据产业正快速发展成为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析，从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态[4]。

我国农业农村信息化工作经过近十多年的发展，信息化基础设施已有较大改善，广播、电视、电话、互联网等纷纷入村入户，智能手机、农业物联网、智能农机具逐渐发展并普及，为农业大数据的发展应用提供了坚实的基础[5]。以大数据为代表的现代信息技术推动了农业生产方式、流通方式、贸易方式的变革[6-7]。2015年，原农业部发布了《关于推进农业农村大数据发展的实施意见》，明确了农业农村大数据发展和应用的总体要求、农业农村大数据发展和应用的重点领域、实施进度安排以及组织领导和保障。2020年中央一号文件更是提出了依托现有资源建设农业农村大数据中心，加快物联网、大数据、区块链、人工智能、第五代移动通信网络、智慧气象等现代信息技术在农业领域的应用[8-9]。

近年来，天津市紧紧围绕自身智慧城市定位，以“推动数据整合、深化应用创新、培育壮大产业”为重点，强化大数据发展和应用的顶层设计，统筹建设大数据基础设施，在保障网络信息安全的前提下，推进政务信息数据和社会公共数据资源共享开放[10-11]。天津市农业农村委员会及其下属单位还分别建设和使用了48套信息化系统，涵盖种植业生产、畜牧业生产、渔业生产、服务业以及农业科教、产业、监管、农产品质量安全、新农村建设、农村经营、农村改革等各类三农行业，以上系统已采集大量结构化和非结构化信息资源，并分散部署和存储在异构网络环境中，目前缺乏在统一的基础设施环境和统一的数据标准体系框架内完成数据清洗、数据集成、数据加载和资源分享，增加了数据统一治理的难度和成本，降低了政府在服务水平和监管效率上的施政能力，并在信息资源整合挖掘和大数据服务层面没有做到统一管理和精准服务，数据资源的使用效率较低，数据壁垒仍然存在[12-13]。因此，需通过建设天津市“三农”大数据平台，进一步加快实施针对农口各部门信息资源在基础数据元及共享业务元中的整理和挖掘，实现全市统一的涉农基础数据元管理体系，构建统一的大数据集中处理基础设施和大数据综合服务平台，全面服务于天津农口各单位对大数据信息共享、数据挖掘和智能服务的需求，推动天津市农业农村大数据产业共建融合和创新发展[14-15]。

1 现状及问题分析

1.1 数据资源现状及问题

随着天津市涉农信息资源梳理工作的开展，全市农业农村数据资源收集、整合、处理、分析等方面取得了一定的成效，已完成天津市农业农村委员会26个专题、48件业务事项、105个数据大项、1 800多个指标小项的业务元数据进行专项采集，共采集数据资源326万多条，其中结构化数据2 421 439条、非结构化数据159 971条共计35.8 GB、WEB接口数据 32 637 条、外部单位数据共计645 439条，数据规模涵盖了3 683个行政村、213家龙头企业、544家农民合作社、22 188 名村干部、139 404 名基层党员、6 355 名入党积极分子、790个帮扶单位、2 062 名驻村干部和120 075户农村困难群体，为全市农业大数据处理中心建设提供了数据基础和业务基础，同时天津市农业农村委员会也出台了一系列的政策措施，为今后农业农村大数据发展及智能农业建设提供了政策保障。但目前还存在一些亟待解决的问题，如农口信息化系统建设较多、数据资源相对分散、数据资源共享互通方式单一、大数据分析挖掘深度不足、数据综合利用效能不足等。

1.2 应用系统现状及问题

近年来，天津市农业农村委员会在农业物联网区域试验工程、“三网联动”工程和“金农工程”等框架体系下完成了农业信息化和智能农业建设和改进，建设了共计48个在用农业信息化应用系统，极大地增强了天津农业农村工作的信息化水平，并取得了较好的示范效应和规模效应，完成了异构信息系统在共享数据资源和纵深业务领域的整合和归并。但是在大数据处理中心以及大数据智慧化平台建设方面却凸显出一些问题，如大数据中心建设滞后、大数据分析模型应用缺乏、乡村数据分析应用类型片面。

2 “三农”大数据平台架构

结合天津市农业农村委员会及其下辖单位工作特点和实际情况，在进行平台规划、设计、开发、部署和运行管理规划时应坚持“实用、可靠、先进、标准、开放”的方针，遵循“总体规划、统筹兼顾，需求牵引、面向应用，统一规划、分级使用，整合资源、集中管理，统一标准、统一架构，平台统建、资源共享，安全运行、稳定可靠，维护便捷、跟踪可控，技术创新、能力拓展，服务驱动、开放协作”的基本原则，设计平台框架如图1所示。

从图1可以看到，基础管理服务平台完成对现有系统及数据资源进行收取和归集，建设数据治理、数据集成、任务调度和专题管理等子功能，并将处理后的数据结果集通过数据清洗、规则引导和结果合并存储在数据仓库子系统中，建设农业基础数据仓库、农业资源要素数据仓库、农业经营交易数据仓库和农业管理服务数据仓库，并为可视化数据挖掘系统提供指标数据分解和业务模型解析渠道，形成数据挖掘算法、数据挖掘流程和数据挖掘实例，为农业大数据“一张图”系统和数据开放系统提供数据和模型支撑。其中农业大数据“一张图”系统提供数据检索和浏览、地图数据专题分析以及地图预警功能为天津市农业农村委员会各级领导、业务处室和行业局办提供一张图“画图作战”功能;建设智能检索系统提供全文检索和语音检索服务;建设数据开放系统为农口直属单位和社会公众提供数据资源开放访问和下载业务。

3 功能设计

基于对业务需求和用户需求描述，本平台在功能需求方面主要建设基础管理服务子平台、数据开发开放子平台、可视化数据挖掘系统、智能检索以及农业大数据“一张图”等五大类主要功能。

3.1 农业大数据中心基础子平台

以大数据技术体系架构下的数据源技术、数据采集层技术、数据存储层技术、数据计算层技术、数据业务层技术以及数据展现层技术实现集数据统一采集、数据清洗整合、数据分布式存储、流式并行计算、智能搜索引擎、挖掘算法模型于一体的农业大数据处理中心基础技術平台。

3.2 数据仓库系统

通过Hadoop资源权限管理技术和分布式数据仓库（基于HIVE）技术建设农业大数据处理中心数据仓库子系统。数据仓库子系统主要由以下五大类数据仓库构成：农业基础数据仓库、农业资源要素数据仓库、农业经营交易数据仓库、农业管理服务数据仓库以及涉农大数据处理中心日志类数据仓库。

3.3 基础管理服务子平台

基础管理服务平台基于Hadoop大数据处理框架，整合开源技术库和商业化的工具组件，对农业大数据处理中心数据仓库中的各类数据资源进行整合、挖掘、归并、处理和共享。基础管理服务平台主要由以下9个功能子系统组成：数据治理子系统、数据集成子系统、云化ETL子系统、任务管理子系统、专题管理子系统、文件管理子系统、接口管理子系统、资源申请子系统以及统计分析和数据画像子系统。

3.4 数据开发开放子平台

数据开发开放平台将建立统一的面向农口各业务部门和单位内部使用的数据开放信息门户，对农业大数据处理中心中汇聚的信息资源进行数据检索、数据申请和数据下载等操作。数据开放子系统建设内容包括：数据开放后台管理、数据开放资源管理、数据开放统一门户、数据开放统计分析、注册及授权管理以及个人中心等功能。

3.5 可视化数据挖掘系统

可视化数据挖掘系统以知识图谱为可视化数据挖掘模型体系，以数据挖掘算法为手段，以Hadoop大数据计算框架下的数据挖掘组件Mahout为计算组件，搭建起一套基于海量农业信息资源的可视化数据挖掘系统，用户可以在这套系统提供的图形化数据挖掘操作平台中的完成数据挖掘流程配置、挖掘节点关联，数据挖掘算法配置等操作，此外通过数据挖掘系统提供的语义关联、数据关联、动态感知等底层功能，天津市农业农村委员会决策机构用户还能在系统中完成智能查找、伴随分析、智能标签（画像系统）等功能操作，全面提升用户对农业农村智慧型大数据分析系统的使用体验。

3.6 智能检索系统

智能检索系统通过完成对Hadoop大数据技术体系下的搜索引擎分布式处理框架和语音识别技术的集成，搭建智能检索门户系统，对农业大数据处理中心中存储的海量农业信息数据资源进行快速、准确、高效的智能化信息检索，可实现对结构化数据资源、非结构化数据资源以及其他数据资源的即席搜索、模糊搜索、高级搜索、空间搜索。

3.7 农业大数据“一张图”应用

通过建设底层的地图服务和应用引擎，建设农业大数据“一张图”应用系统，实现农业土地现状、农业产业结构、农村经济发展、农产品生产流通和特色品牌农业建设等领域实现业务图层叠加显示、“一张图”专题分析、地图检索以及信息监测和异常预警等服务。

3.8 运维管理系统

运维管理系统能实现自动化脚本部署、集成可控的任务调度、集成运维管理、可视化管理操作界面、平台安全审计等功能。另外可通过运维管理系统实现信息资源目录、三农大数据管理平台、数据采集平台等多个系统的一体化运维，降低平台管理难度。此外运维管理系统实现对集群的状态和上层应用服务的运行状态和性能指标进行监控，对异常事件产生警报和记录，为运行维护人员提供农业大数据处理中心以及上层应用的部署和配置管理。

4 平台实现

平台基于J2EE平台进行开发，利用Spring boot、Duboo、Zookeeper搭建的共享服务平台，用于RESTful、XML/JSON服务的快速开发、注册、发现、路由等工作;利用Hadoop大数据体系技术，对海量农业数据进行并行计算和分布式处理;支持结构化数据库系统Oracle＼Mysql＼Sqlserver、利用NoSql数据库作为前端界面缓存数据库;同时构建文件库和异构索引库存储非结构化数据信息。平台核心界面如图2、图3所示。

5 结论

天津市“三农”大数据平台，符合电子政务、大数据、云计算产业整体发展规律，适合天津市农业农村委员会电子政务及信息化发展现状的要求，是天津市农业农村委员会当前最为关键的信息化建设需要，为天津市农业信息化及农业大数据产业发展的深化与开展做出必要的拓展，对推动政府改革、提升政府工作效率、提升管理机构的科学决策能力，都有着重要意义。

平台统一天津全市农口各单位、各部门农业信息化推广及相关农业大数据建设底层计算环境，全面构建开放型、服务型、共享型的大数据处理技术中心;新建设数据仓库系统、基础服务管理系统和数据开放开放平台，完成农业大数据处理中心技术管理平台的搭建，实现对农业生产、农业经营、农业科技、农业贸易、农业市场、农业流通等各环节、各节点、各流程数据的分类管理、整合入库、精准定位和开放服务，完成农业农村大数据“聚通用”最后一千米的建设;新建设可视化数据挖掘应用系统、智能检索系统以及农业大数据“一张图”应用系统，完成农业大数据处理中心技术服务平台的搭建，构建面向天津市农业农村委员会各单位、部门综合业务场景应用体系下的数据挖掘、预警预测、数据关联、即席查询、数据地图等上层服务应用，最终实现天津市农业农村委员会各类信息资源的互联互通、业务协同、信息共享和挖掘应用，进而全面提高天津市三农管理的综合决策、监管治理和服务公众的水平，加快天津市农业农村委员会农业农村管理方式和工作模式转变，创新绿色经济发展新业态，以大数据和信息化打造精准治理、多方协作的农业农村社会治理新模式[16]。

参考文献：

[1]Gandomi A，Haider M. Beyond the hype： big data concepts，methods，and analytics[J]. International Journal of Information Management，2015，35 （2）： 137-144.

[2]Mayer-Schnberger V. 大數据时代[M]. 杭州：浙江人民出版社，2012：23-25.

[3]Kamilaris A，Kartakoullis A，Prenafeta-Boldú F X. A review on the practice of big data analysis in agriculture[J]. Computers and Electronics in Agriculture，2017，143：23-37.

[4]罗治情，官 波，陈娉婷，等. “三农”数据云平台设计研究[J]. 江苏农业科学，2018，46（17）：209-212.

[5]郝 炘，李建华，牛明雷，等. 物联网背景下农业信息化建设的现状、问题与对策研究[J]. 农学学报，2019，9（11）：67-71.

[6]吴文斌，史 云，段玉林，等. 天空地遥感大数据赋能果园生产精准管理[J]. 中国农业信息，2019，31（4）：1-9.

[7]Mario L，Jorge E H，Maria M E A D，et al. Agri-food 4.0：a survey of the supply chains and technologies for the future agriculture[J]. Computers in Industry，2020，117：103187.

[8]卢文林，李秀峰. 全国基层农技推广信息化平台农技咨询数据库的构建[J]. 中国科技成果，2013（2）：38-39.

[9]温孚江，宋长青. 农业大数据应用、研究与展望[J]. 农业网络信息，2017（5）： 31-36.

[10]海云瑞，张学俭. 宁夏农业物联网大数据共享及综合应用平台研究与设计[J]. 宁夏农林科技，2017，58（9）：51-53.

[11]康春鹏，董春岩，王文月，等. 我国农业农村大数据发展应用研究[J]. 中国农业信息，2018，30（6）：100-104.

[12]郭雷风. 面向农业领域的大数据关键技术研究[D]. 北京：中国农业科学院，2018.

[13]Perakis K，Lampathaki F，Nikas K，et al. CYBELE-fostering precision agriculture & livestock farming through secure access to large-scale HPC enabled virtual industrial experimentation environments fostering scalable big data analytics[J]. Computer Networks，2020，168：107035.

[14]Shrivastava S，Marshall-Colon A. Big data in agriculture and their analyses[J]. Encyclopedia of Food Security and Sustainability，2019（1）：233-237.

[15]Sabarina K，Priya N. Lowering data dimensionality in big data for the benefit of precision agriculture[J]. Procedia Computer Science，2015，48： 548-554.

[16]钱 晔，孙吉红，张 悦. 智能算法在农业大数据中的探究[J]. 北方园艺，2019（20）：156-161.