PIE-Engine 遥感云平台助力卫星遥感应用

2022-09-05 02:35杨政军余永安杨娜刘晓晨从少平刘翀郭士波张超
卫星应用 2022年7期
关键词:数据处理引擎产品

文│杨政军 余永安 杨娜 刘晓晨 从少平 刘翀 郭士波 张超

航天宏图信息技术股份有限公司

一、背景

近年来,随着云计算、大数据等前沿技术的快速发展,新的对地观测技术快速提升了数据获取、解译等效率。遥感,作为对地观测的主要手段,伴随不同领域的数据集约化、标准化,融合化、应用场景大众化,已逐步实现从硬件到软件整条产业链的国产自主替代,但如何快速获取并挖掘数据有效信息成为当前产业发展的重中之重。推动我国自主研发遥感云平台的建设,快速、自动地进行遥感大数据的处理和分析,进而完成遥感数据产品的主动、智能信息服务,是我国遥感行业发展亟待解决的重要课题。为了满足当前需求,航天宏图自主研发了一套PIE 家族系列软件,该系列包含一套PIE 基础软件工具集,一个地球科学引擎PIE-Engine,以及一个二三维可视化展示应用分析门户PIE-Earth 智慧地球。其中,PIE-Engine 地球科学引擎是基于PIE 工具集的云原生平台,是PIE 系列家族中遥感云服务平台的明星产品,在行业中的应用展现出巨大潜力。

二、PIE-Engine 云服务特性和规模

PIE-Engine 是一套基于云原生技术构建的面向地球科学领域的专业PaaS/SaaS 云计算服务平台,该平台通过打造“开放+共建+共享”的新模式,以高效能、低门槛、低成本的途径挖掘海量遥感数据价值,使行业快速应用创新,为自然资源、生态、气象、环保、海洋等调查、监测、评价、监管和执法等重点工作提供技术支撑,助力遥感应用产业化发展。

目前,PIE-Engine 平台注册用户已超过7 万余人,汇聚了超过6PB 的海量多源开放式数据资源,平台访问超过100 万余人次,遥感数据集总数160 多个,是互联网规模化遥感数据处理平台,有力推动了中国遥感技术生态圈的形成和发展。随着“十四五”规划国家对科技创新的大力扶持, PIEEngine 地球科学引擎以其融合、创新、开放协同等理念,必将在对地观测的各个领域产生重要而积极的应用。

三、PIE-Engine 的优势和能力

PIE-Engine 地球科学引擎是国内首个自主可控的基于互联网规模化运行的对地观测遥感数据处理与服务引擎,实现了云上多源异构遥感数据处理流程的灵活搭建、任务全程监控、多端协同作业和准实时快速处理,具有强大的数据存储和高性能分析计算能力,具有众多优势和能力:1)更丰富的数据,涵盖全球光学、雷达、气象、海洋、地球物理及矢量数据,包括国外哨兵系列、MODIS 系列、Landsat系列等,国内高分系列、资源系列、环境系列、气象系列、海洋系列及国家青藏高原科学数据中心、北京师范大学、清华大学服务产品等,且每日持续更新;2)更快速的处理能力,应用流程编排技术和算法统一封装接口,实现了30 多颗国内外主流光学、SAR、高光谱等卫星数据以及航空影像数据的辐射校正、几何校正、正射校正、镶嵌匀色等并行分布式处理,实现高分二号影像从原始影像到真彩色成果的日生产能力超过600 景;3)更简洁的计算能力,研发了300+遥感计算算子、矢量分析算子和专题算法接口,快速实现在线大范围、长时序的地球科学分析,提供JavaScript 和Python 两种脚本语言,与Google Earth Engine 平台语法相近,可以实现平台的快速迁移;4)更智能的分析能力,提供了百万量级深度学习样本和丰富的神经网络模型,集成了百度飞桨、清华计图等主流深度学习框架,包括PyTorch、TensorFlow、Jittor、PaddlePaddle等,支撑目标识别、语义分割和变化检测深度学习模型训练和解译;5)更高效的性能,秒级全球影像动态发布,持续为用户提供云上多源数据处理、实时计算、智能分析、共享发布服务;6)更贴心的服务,微服务方式构建平台功能,已适配信创名录中的多家CPU、操作系统、数据库、中间件,可根据需求灵活快速搭建系统;7)更完善的产品,形成了时空数据服务PIE-Engine Server、数据生产服务PIE-Engine Factory、数据计算服务PIE-Engine Studio、智能解译服务PIE-Engine AI、无人机应用服务PIE-Engine UAV、PIE-Engine SAR 雷达数据应用服务平台等产品,对行业提供开放平台,将算法能力封装成API 提供给上层应用集成调用。

其中,PIE-Engine Factory 遥感处理云服务,作为一套基础能力,是面向国内外主流遥感卫星、航空摄影数据提供标准化产品生产、管理、调度及质检一体化服务的分布式处理平台。该平台提供了丰富的算法和生产线模板:支持光学、高光谱、SAR 等影像数据标准产品自动化、批量化生产,生态参量产品反演,分类产品、地表要素的智能提取与信息挖掘;并支持对上述产品的质量检查与精度评估。

PIE-Engine Factory 产品作为海量数据处理利器,是遥感应用的基础,已在全国多个部委、地方单位部署,在环保、国土、应急管理、海洋应用等多个行业开展试运行。针对“生态环境部国家生态保护红线监管平台项目信息系统建设”项目,PIEEngine Factory 为项目构建数据处理与加工系统(数据处理部分)。系统支持集群并行处理,构建了高分辨率卫星遥感数据获取、处理、服务发布的全链条自动化流程。日处理能力400 景,单景切片服务发布1 分钟,基本实现了“当日获取、当日处理、当日发布”。系统提供高分一号、高分二号、高分一号B/C/D、资源三号、高分六号等9 颗国产高分卫星数据的融合产品生产流程,以及基于MODIS数据的植被指数、叶面积指数等7 个参量产品的生产流程。

四、PIE-Engine 应用案例

1.PIE-Engine SAR 眼中的太原古建

依托平台,可为湿地专题研究人员提供湿地遥感研究数据、方法、成果的可视化结果,为政府业务部门提供快速便捷的湿地信息参考及服务,为监管与决策部门提供有效信息参考。同时基于平台,可向公众展示湿地保护直观信息与价值意义,强化大众湿地保护意识,贡献于我国湿地保护工作。

五、结束语

PIE-Engine 地球科学引擎是基于大数据、云计算、人工智能、物联网等技术研制,依托云计算基础设施,对PIE 基础软件工具集及多项行业应用成果进行标准化集成和运行,具备云端海量多源异构数据的管理、生产、分析、解译、推理、发布、共享全生命周期应用服务能力的遥感云平台,并提供面向各行业的算法插件集成、业务流程定制化服务。

未来,PIE-Engine 地球科学引擎将持续更新数据源,增加遥感算子,优化用户界面,更新高级功能,让各行业的用户通过地球科学引擎实现更高效、更便利的应用,实现“遥感走进生活”。

猜你喜欢
数据处理引擎产品
点燃企业发展的“引擎”
打造信息化建设的“党建引擎”
认知诊断缺失数据处理方法的比较:零替换、多重插补与极大似然估计法*
基于ARCGIS 的三种数据处理方法的效率对比研究
车坛往事4:引擎进化之屡次失败的蒸汽机车
高层建筑沉降监测数据处理中多元回归分析方法的应用研究
高层建筑沉降监测数据处理中多元回归分析方法的应用研究
视频大数据处理的设计与应用
2015产品LOOKBOOK直击
新产品