基于天网大数据的农业智能化动态监测平台设计

2021-10-22 10:35梁斯东张宝玉
科学与信息化 2021年26期
关键词:天网存储系统监测

梁斯东 张宝玉

北京道达天际科技有限公司 北京 100049

引言

在我国,由于耕地的数量减少与质量下降,耕地保护已成为实现农业可持续发展的一个重要战略任务。遥感信息因其覆盖面大,实时性和现势性强,速度快,周期性和准确可靠以及省时、省力、费用低等优点被广泛用于测定农用地的数量与质量的动态变化。20世纪20年代航空遥感刚一转入民用,便被用于农业土地调查。尤其是20世纪60年代将多光谱原理应用于遥感后,人们根据各种植物和土壤的光谱反射特性,建立了丰富的地物波谱与遥感图像解译标志,在农业资源调查与动态监测、生物产量估计、农业灾害预报与灾后评估等方面,开展了大量的和成功的应用。

天网大数据主要由天(时空)数据和网空数据两大类数据集合而成,通过时空数据语义化和网空数据时空化,将两类数据有机融合。其中:天(时空)数据包括卫星、航空飞机、无人机对地观测拍摄的遥感数据;网空数据通过互联网开源数据采集手段,获取的文字、图片、视频和音频等信息资源。基于天网大数据的农业动态监测,更加有效地提升了农业领域智能化信息服务能力。

1 需求分析

1.1 面向政府部门的业务需求

1.1.1 提供土地确权、土地资源利用、农业用地设计与规划以及农产品种植等信息,供政府部门了解农业用地土地现状,指导农作物种植以及农业产业结构调整。

1.1.2 提供农产品种植、加工以及销售一体化信息,包括农产品长势、产量、加工品种以及销售市场等数据,辅助政府进行区域农产品品牌规划,促进农业经济发展。

1.1.3 提供农产品溯源信息,辅助政府了解农产品从产地环境、农业投入品、农业安全生产规程到农产品市场准入等“从农田到餐桌”的全程质量信息。

1.1.4 提供农业生产资料、农业机械设备的储备信息,并发布给涉农企业,在农业生产过程中合理调配、调度生产资料,辅助涉农企业安排生产。

1.1.5 提供农业灾害监测信息,如旱灾、洪涝、病虫害等,辅助政府部门进行救灾物资储备和调拨,指导紧急救灾和灾后生产恢复等[1]。

1.2 面向涉农企业的业务需求

1.2.1 在农作物种植准备过程中,了解生产资料、农业机械市场需求,包括种子、肥料、农药以及农业机械等,通过天网大数据监测农业用地现状,通过互联网获取政府发布的农产品种植规划建议等信息,提前安排农业生产资料以及农业机械的生产计划。

1.2.2 在农作物生长以及收割过程中,生产资料、农业机械厂商重点关注农作物病虫害信息、农作物长势、土壤墒情等数据,从而根据区域作物生长情况,调度生产资料布局,辅助农场主合理安排农事;农业保险机构在农作物承保阶段需要精确测定承保标的面积、数量、位置等信息,理赔阶段从宏观上了解灾害总体损失情况及空间分布,为承保风险管控提供支撑,解决被保险人报损不准甚至严重夸大的问题。农业期货企业重点关注农作物的价格,而农作物种植面积、长势、产量以及农灾等信息时刻影响着农产品的价格,因此提供科学、精确合理的监测信息,能够为农业期货市场提供辅助支撑。

1.2.3 在农产品加工与销售过程中,农产品加工公司主要关心加工原材料的产地、质量、供应量等信息,需要建立农产品的溯源体系,形成产品原材料档案,为加工产品质量安全以及品牌推广奠定基础。

1.3 面向社会公众的业务需求

1.3.1 消费者主要关心农产品的食品安全问题,因此需要提供农产品的原材料生产地、辅助肥料、农药信息,物流仓储信息以及加工过程等溯源信息,同时能够掌握溯源信息的真实可靠性。

1.3.2 对于农业科研院所,他们需要更多的天网监测数据、农业实际发生数据作为支撑,进一步推进农业天网监测技术的发展[2]。

2 平台总体设计

2.1 总体设计思路

基于天网大数据的农业智能化动态监测平台设计思路如图1所示:

图1 总体设计思路图

2.1.1 实现天网大数据农业应用云服务模式,建立天网大数据农业应用云服务中心,以及“互联网+”云服务门户,实现农业行业监测管理数据、遥感卫星数据、矢量地图数据、文本数据、图片数据、专题监测数据及多媒体数据的存储管理,并能通过云服务门户网站面向政府、涉农企业、农场主以及公众提供信息的共享发布。同时,能够收集公众采集的农作物实时数据。

2.1.2 集成利用高低空遥感、网络爬虫、云计算、地理信息系统、人工智能和数据清洗治理等技术,建立从农业生产规划到农业生产过程管理以及交易信息服务的全链路服务。在农业生产以及交易的每个环节,包括农业用地规划、作物种植监测、肥料配送、水利灌溉、机械设备调度、农产品交易、保险服务、灾害应急以及农产品加工与销售等主要过程,对每个过程提供监测信息,结合其他感知信息为农业生产决策提供信息支撑。

2.1.3 基于统一时空框架,融合众多环境变量以及农业要素信息纳入到天网大数据农业分析计算模型中,结合实时更新的卫星遥感数据、无人机遥感数据、传感器数据和公开来源数据,对农作物进行、产量评估,并以亩为单位将数据可视化,优化管理水平,协助用户做出合理决策,从而最大化农作物产量,提高生产效率。通过以亩为单位的农田精准化管理,给用户带来产量提升、降低生产成本和气候变化带来的风险。同时,为涉农相关企业提供精准的农业信息服务。

2.1.4 建立面向不同用户群体的特色使用模式。平台面向的用户群包括政府、涉农企业、农场主、社会公众以及互联网等用户群体,每类用户在农业生产以及交易过程中担当的角色不同,关注的农业信息也不同。平台根据每类用户群体的业务需求以及使用要求,设计不同的使用模式以及软件能力,为每一类用户提供精细化的农业服务信息[3]。

2.2 平台能力设计

2.2.1 天网大数据农业信息云服务门户。天网大数据农业信息云服务门户是平台与外部用户进行数据共享服务的接口,用户通过该门户可浏览农业天网大数据产品,根据需要选择下载所需数据。同时在门户网站可浏览农业政策信息以及农产品价格、走势等信息。

2.2.2 天网大数据农业动态监测。天网大数据农业动态监测以遥感技术和网络爬虫技术为基础,实现农业用地规划、农作物长势监测、农作物估产、农业灾害监测、农作物生产过程管理、农村土地承包经营权登记管理等天网大数据农业监测应用,为农业生产规划、过程管理以及交易服务提供信息支撑。

2.2.3 天网大数据农业分析服务。天网大数据农业分析服务基于基础地理空间框架,在农业天网大数据集的支撑下,借助天网大数据分析方法,分析农牧人口分布、农业保险数据分析、农业期货情报数据分析、种植面积变化趋势、生产加工企业收入分析、运输仓储企业营收分析、农机调配分析、物料配送分析等信息。

2.2.4 天网大数据农业信息可视化与辅助决策。天网大数据农业信息可视化与辅助决策在二三维时空地理信息框架下,对天网大数据分析成果,基于图形数据渲染方式进行可视化展示,提供灾害应急预案,以及农业决策预案的可视化推演与分析决策。

2.2.5 天网大数据农业信息保障与共享交换。天网大数据农业信息保障与共享交换通过卫星、航空以及无人机遥感、无人机倾斜摄影、多媒体资料以及其他传感器等获取农业保障数据,并通过对数据的组织编目,建立后台数据共享交换机制,实现精准农业天网大数据的共享交换服务[4]。

2.3 总体架构设计

基于天网大数据的农业智能化动态监测平台在计算、存储、网络、终端设备、数据资源保障的基础上,进行软件架构搭建。同时对于后续软件的功能完善和改造提供极高的扩展性,便于软件部署、迁移和升级。软件在逻辑上自下而上分为物理层、数据获取层、数据层、平台层、应用层等五个部分,具体如下图所示:

图2 基于天网大数据的农业智能化动态监测平台架构图

2.3.1 物理层。物理层为平台提供基础软硬件支撑环境,依托现有设备资源,包括服务器主机、存储设备、运行网络、显示设备、操作系统以及单机应用终端等,为基于天网大数据的农业智能化动态监测平台提供统一、高速、安全的网络和主机运行基础平台[5]。

2.3.2 数据获取层。数获取层主要获取天(时空)数据和网空两大类数据:通过商业采购、互联网抓取和数据申领的方式,获取高分辨率卫星影像数据、航空影像数据和无人机影像数据,为后续业务分析应用提供基础数据支撑;通过智能化的互联网信息采集技术,从新闻网站、智库信源、社交媒体、论坛、百科等网站,获取文字类、图片类、视频类和音频类等公开来源数据。

2.3.3 数据层。数据层是基于天网大数据的农业智能化动态监测平台的数据资源管理层,在统一的框架下,实现对各类数据的接入和存储。可存储管理的数据主要包括遥感影像数据、矢量地图数据、图片类数据、文字业务类数据、音视频数据以及农业专题数据等。

2.3.4 平台层。平台层作为数据与应用的桥梁,向下需要提供数据访问服务、集群控制、计算资源并行管理等,向上提供应用所需的业务功能,同时,支持二次开发,丰富上层业务应用拓展。

2.3.5 应用层。应用层主要构建平台的业务应用功能,实现天网大数据农业云服务门户、数据共享交换、农业监测、农业大数据分析以及农业大数据可视化服务决策等功能,为天网大数据农业动态监测应用提供业务支撑,以提供统一、通用、标准的方式实现各类业务应用[6]。

2.4 物理架构设计

基于天网大数据的农业智能化动态监测平台物理架构如下图所示,包括云计算服务平台、高性能计算集群系统、存储系统、应用客户端以及网络等。

图3 系统物理架构图

2.4.1 高性能计算集群系统:承载平台云服务平台的计算分析服务,通过对外服务网络与应用客户端进行服务交互,与数据存储系统通过IB网进行数据交互。

2.4.2 云计算服务平台:一方面实现应用软件的虚拟化服务,另一方面对云环境下的计算资源、存储资源进行管理与调度,通过虚拟化的方式将服务器、存储、网络等资源组织成一个资源聚合体,再根据需要分配给前端应用使用。通过资源池化机制,以细粒度管理方式充分利用资源,从而大幅提高云计算系统的资源利用率。

2.4.3 存储系统:包括服务器存储系统、磁盘阵列存储系统、分布式并行存储系统以及备份存储系统四种类型[7]。

2.4.3.1 服务器存储系统:实现结构化数据在数据库中的存储,用二维表结构来逻辑表达实现的数据;

2.4.3.2 磁盘阵列存储系统:实现结构化文件实体的存储;

2.4.3.3 分布式并行存储系统:实现遥感影像、文本、图片、XML、HTML、各类报表、音频/视频信息等数据的存储;

2.4.3.4 备份存储系统:按照制定的备份策略实现系统数据的备份存储。

2.4.4 网络系统:主要实现数据存储以及云环境管理的通道。

2.4.4.1 存储网络:结构化数据采用FC SAN架构,因此采用FC光纤网络;非结构化数据包括视频或者图片等非结构化的数据和虚拟机镜像文件数据,该部分主要通过以太网络实现数据的存储,网络带宽为万兆。

2.4.4.2 管理网络:主要实现在业务负载较重时,虚拟机进行迁移和虚拟机之间心跳监控室进行通信。该部分采用万兆以太网实现。

2.4.4.3 计算网络:使用IB网络满足高性能计算对高效能存储与低延迟通信方面的要求。

2.4.5 应用客户端:通过计算机、会商终端、手机以及PDA等应用终端访问云数据中心,进行桌面级操作与应用。

2.5 监测模式设计

基于天网大数据的农业智能化动态监测平台对农业监测数据的获取采取“卫星普查、网络辅查、航空详查、地面核查”的方式,通过卫星监测获取大面积农业生产现状,结合互联网采集的相关信息资源进行融合分析。同时,针对普查的结果对核心重点区域进行航空/无人机详查。最后,结合人工现场调查成果完成农业的动态监测[8]。

图4 监测模式设计

3 结束语

本文设计的基于天网大数据的农业智能化动态监测平台,综合利用云计算、计算机深度学习、卫星遥感图像分析挖掘、时空信息可视化和网络爬虫等关键技术,建立精准农业动态监测算法模型,获取大量天网大数据资源,并将所有服务打包成可视化模块运行在云服务平台上,为政府部门、农业服务企业、农场主和社会公众提供精准的农业信息服务,能够为推进农业产业结构调整以及农业经济的合理化发展提供有价值的参考。

猜你喜欢
天网存储系统监测
分层式大数据存储系统缓存调度策略与性能优化
特色“三四五六”返贫监测帮扶做实做细
网 购
厉害了!中国“天网”
天河超算存储系统在美创佳绩
面向4K/8K的到来 存储该怎么办?
起念
网络安全监测数据分析——2015年12月
网络安全监测数据分析——2015年11月
学习监测手环