湖南省水稻大数据综合服务平台体系架构设计与实现

于 超，刘学文，罗建军，周 超，张智优，李 亮

（湖南省农业信息与工程研究所，长沙 湖南 410128）

近年来，信息技术飞速发展。物联网、“互联网+”、云平台、大数据等技术的应用越来越广泛[1-3]。2020年中央一号文件在农业信息化建设方面提出加快物联网、人工智能、大数据、第五代移动通信网络、区块链、智慧气象等现代信息技术在农业领域的应用。因此，利用大数据技术解决农业综合服务问题已成为农业信息领域的重要课题[4-6]。目前，农业单品种大数据平台构建的研究是热点。例如：张辉等[7]结合物联网、遥感、大数据技术汇聚的花生大数据平台，可实现花生生产质量安全追溯，推动当地花生产业高质高效发展；程述汉等[8]基于AMSRT 架构的苹果产业大数据体系，该体系采用Hadoop 分布式处理系统，用Spark搭建混合处理框架，解决苹果生产、管理、加工流通中产生的大量数据的集成、挖掘和使用问题。2016—2020 年，农业农村部、工业和信息化部相继开展农业农村大数据试点、大数据产业发展试点，在全国范围内建设生猪、柑橘、花生、马铃薯、大蒜、绿叶菜、大闸蟹、普洱茶、橡胶、苹果等多个品种的全产业链大数据，并利用大数据及其挖掘分析结果引导市场预期、指导农业生产[9]。除此之外，还有大豆、茶叶、热带作物等农作物单品种大数据平台也相继建成并运行服务。

水稻是我国最主要的粮食作物，其种植面积居我国粮食作物的首位。全国有65%以上的人口以大米为主食，稻米产量在很大程度上制约着我国的粮食市场走势和粮食安全形势。笔者针对水稻全产业链中各阶段的信息资源需求，建立了一套以空间信息为载体，以水稻科研数据、水稻种植过程数据、水稻全产业链数据等为核心的公共数据共享开放平台。该平台是服务水稻产业，促进信息技术与农业生产深度融合应用，提升水稻产业精准化、智能化水平的有力支撑，是防止脱贫之后返贫、实现乡村振兴的重要举措之一。

1 水稻大数据综合服务平台建设构想

基于大数据理念，立足湖南，开展平台的顶层设计、底层架构设计、UI 设计，综合运用遥感技术、农业物联网技术、现代网络技术、网络爬虫技术等现代化信息采集手段，并结合传统信息采集手段，收集水稻种质资源信息、水稻市场信息、水稻病虫害及防治药剂信息、水稻种植环境信息和水稻相关知识，开展水稻遥感图形数据分析及展示、水稻数据挖掘分析及展示、水稻专家远程服务等功能设计，以此建立水稻大数据综合服务平台来完善水稻种植研究和产业发展信息服务体系，着力提升水稻产业信息技术创新应用能力，为水稻的生产管理、科学研究、政府科学决策和新型农业经营主体可持续发展提供新方法、新思路，为保障国家粮食安全提供新的技术手段，促进水稻产业健康、高质量、可持续发展。

1.1 运用大数据理念进行服务平台的顶层设计

大数据是一种全面的系统性的思维方式，平台思维是大数据时代用户参与的驱动力。该研究的水稻大数据综合服务平台以建设一站式综合服务平台，构建一张图、一个库、一个门户、一个数据中心、一个分析展示平台、多个可扩张性功能应用为顶层理念，通过大数据等现代信息技术搭建一个由政府、企业、科研院所、用户等多主体共建、共享、共赢、开放的综合服务平台，为用户提供全面周到的服务体验。

1.2 运用云计算技术构建服务平台的基础支撑

云计算是一种新兴的共享基础架构方法，它以公开的标准和服务为基础，以互联网为中心，提供安全、快速、便捷的数据存储和网络计算服务。水稻大数据综合服务平台采用云计算作为底层基础设施的交付和使用模式，通过互联网提供虚拟化的资源计算方式，将动态易扩展的资源以按需求的方式提供和获取，并通过私有云的搭建，轻松地扩展水稻大数据的各种应用和服务，提高计算资源的利用率，使平台具有良好的扩展性和伸缩性。

1.3 运用大数据技术实现平台的精准服务

水稻产业的综合发展形成了海量的各种类型数据，例如生产要素（种质资源、育种、种植、病虫害、土壤、农资等）、流通价格、流通过程和企业主体等相关数据[10]。通过挖掘、整合可以将散乱的数据变为可供分析的数据集；通过搭建大数据分析平台，建立开放性的数据共享制度，可以丰富数据的来源及种类；规范具备数据置换和共享的接口，充分利用外部数据，以用户为中心，提供个性化的大数据服务，从而有效提高水稻产业服务的质量。

2 水稻大数据综合服务平台的建设与实现

2.1 平台体系架构

如图1 所示，水稻大数据综合服务平台体系架构包含数据接入层、云平台基础建设层、水稻大数据中心、平台应用层4 个部分。

2.1.1 数据接入层 数据接入层中包含了平台数据的来源。平台数据包括由遥感卫星、近红外、多光谱、高光谱等提供的影像数据，政府部门和产业研究机构提供的可开放共享的水稻产业相关数据，水稻相关科研部门提供的科研历史数据、各类模型数据和专家知识数据，水稻产业相关经营者提供的生产经营管理的一线数据以及其他各类有用数据。

2.1.2 云平台基础建设层 云平台基础建设层是平台运行的基础。底层为硬件设备，由各类服务器、存储设备、硬件防火墙、网络交换机和路由器等实体设备组成；中间是通过虚拟化软件将硬件资源重新整合后形成的虚拟化资源池，可分为计算机资源池、存储资源池和网络资源池；上层则是在虚拟化基础上采用云技术实现云主机、云存储、负载均衡和云安全等服务。

图1 水稻大数据综合服务平台体系架构

2.1.3 水稻大数据中心 水稻大数据中心是该服务平台的核心建设内容，包含水稻大数据从接入、筛选整合、分析挖掘到共享开放的数据加工和服务的全过程。首先对所采集到的数据种类进行预处理和标准化，然后依据不同业务需求进行筛选、整合、再次抽取等流程，完成数据业务化处理和入库，并对外提供开放与共享服务。该平台的大数据中心通过大数据处理技术和数据挖掘引擎，结合专家系统、知识库、机器学习等先进信息技术，在现有融合标准的基础上实行数据的深度分析[11]。同时，中心将收集并沉积各类第三方的模型和算法形成算法模型库，基于空间信息提供水稻大数据“一张图”服务，供平台内部使用的同时，可向其他外部应用系统提供接口。

2.1.4 平台应用层 平台应用层是依托平台提供应用服务，主要包括水稻种质资源信息、水稻市场数据信息、水稻知识库、水稻遥感数据分析、水稻数据分析展示、水稻知识库和专家课堂等可扩展功能服务。

2.2 水稻大数据综合服务平台框架与功能模块

水稻大数据综合服务平台总体框架由8 个部分组成，包括水稻遥感数据分析、水稻种质资源信息共享、水稻市场数据信息共享、水稻知识库、水稻数据分析展示平台、水稻行业资讯、专家课堂和资源共享。

2.2.1 水稻遥感数据分析 （1）水稻分布影像：按时间序列管理和显示多期卫星、航空正射影像，选择当期矢量数据叠加，支持任意期数据影像拉帘对比。（2）稻田分类管理：按时间序列管理和显示多期二维影像数据和稻田分类矢量数据，并提供地块标注功能。（3）稻田分布：导入示范县的水稻空间分布矢量数据集，展示示范县水稻分布面积（图2）。（4）稻田产量：导入示范县的水稻遥感监测统计表，展示示范县水稻产量预估情况。

2.2.2 水稻种质资源信息共享 对已采集的水稻种质资源信息提供综合查询以及分类检索服务，其中可以查询的信息包括：（1）水稻品类，可通过输入品种、地区、选育单位进行精确查询；（2）超级稻，显示超级稻相关品种信息，点击某一品种，可查看该品种产品特性、产量表现等信息；（3）水稻族谱，可查看水稻族谱内容。

2.2.3 水稻市场数据信息共享 通过收集全国和湖南省的数据信息进行整理分析，提供全国和全省的粮食产量对比，全省谷物统计分析、水稻统计分析、水稻市场价格等图表信息。

2.2.4 水稻知识库 借助数据资源平台提供海量的水稻科研文献、专利、成果、技术体系查询和共享。

2.2.5 水稻数据分析展示平台 展示全省地图，并标注全省水稻基地分布；展示环境感知数据图表、全省水稻统计分析图表；展示水稻生产基地，点击地图上的基地名称，或者基地列表上的基地名称，进入该基地生产现场查看生产过程实时情况，实时展示各环境传感器采集数据、自动化设备运行状态数据等；提供水稻种质资源、水稻专家远程服务、水稻知识服务功能板块；提供专家服务APP 二维码下载及扫描页面。

2.2.6 行业资讯 采用爬虫技术，在相关水稻行业及相关网上抓取最新资讯整理后进行展示。

2.2.7 专家课堂 平台录入水稻选育技术、水稻育苗技术、水稻肥水管理技术、水稻病虫害防治技术等专业课堂视频及技术小视频，为用户提供便捷的网络在线学习服务。

图2 望城区域农业遥感数据水稻分布界面

2.2.8 资源共享 提供农业气象、农资产品推荐、农产品市场价格浮动、水稻病虫害监测与防治等与水稻生产相关的产前、产中、产后信息服务，为政府监管部门决策提供咨询、指导，为科研院所产品研发提供指导，为企业、农户提供生产经营指导。

2.3 水稻大数据综合服务平台开发设计

如图3 所示，水稻大数据服务平台以B/S(Browser/ Server)架构为基础，只需通过浏览器就能访问系统，为系统的运行提供稳定性；采用mysql 数据库，无需授权，速度快；采用了当前最流行的面向对象的编程技术，并且在访问接口采用了非常复杂的加密等安全技术，系统安全性高、运行速度快；平台采用数据库与Hadoop 分布式架构，HDFS 分布式文件系统、任务调度系统、MapReduce 计算系统，主从（Master/Slave）结构模型，提供高吞吐量的数据访问，放宽了一部分POSIX 约束，可以实现流式读取文件系统数据和相对复杂数据的分析与计算；平台采用基于开源GIS 系统的可视化遥感分析技术，对接大数据中心，制作分析图层进行展示，支持2000 坐标系卫星影像、航空正射影像、矢量数据、三维实景数据、BIM 模型数据加载，支持监控摄像头画面显示。

3 讨论与结论

当前我国单品种大数据平台建设仍处于规范模板阶段，很多平台建设目标是自身使用，面向社会的资源共享平台不多，关键是在数据来源、数据标准及数据安全共享方面存在分歧。全产业链单品种大数据平台涉及的部门和机构众多，包括政府部门、科研院所、高校、企业、农户等，涉及的领域也较多，独立构建的话实施单位力量较为单薄，将导致全产业链数据不全。目前平台普遍存在一些不足：例如数据整合范围有限、规范化持续积累不足、数据涉及全产业链短且总量低、数据及服务更新不及时、数据加工和挖掘深度不够、数据的分析不明确等。

图3 水稻大数据（湖南）综合服务平台主界面

而该研究构建的平台是运用大数据和全产业链思维，通过政府、科研高校及行业企业、农业大户等多主体协作和市场化运作相结合的运维模式，统筹水稻产业各类资源和要素进行深度利用开发而构建的公共服务平台。同时，该平台重视了科技服务在水稻产业发展中的贡献，先从需求大且易实现的功能入手，逐步推进完成平台建设，实现数据资源的开放共享，推动湖南水稻产业高质量高效发展。

该研究结合单品种大数据特点，以水稻大数据全产业链上的经营生产管理职能服务为目标，运用大数据、云计算等前沿技术，并结合传统信息采集，建立覆盖水稻产业管理、生产、加工、市场各环节的智能化水稻大数据公共服务平台，实现了面向政府管理部门、农业科研机构和相关企业的一站式智能化公共服务，较好地满足了平台服务多元化以及用户对海量资源的需求。该平台架构设计和技术设计可行，在实践操作中具有较好的性能。