2023 年7 月召开的全国生态环境保护大会提出,深化人工智能等数字技术应用,构建美丽中国数字化治理体系,建设绿色智慧的数字生态文明。
经历了近40 年的发展,中国初步建立了天地一体的生态环境立体监测网络,生态环境遥感已经成为生态环境监管不可或缺的重要组成部分,广泛应用于生态、大气、水、土壤等生态环境监测评估和管理决策的各个领域,在全国生态状况调查评估、污染防治攻坚战、应急与监督执法等方面发挥着重要作用,显著推动着生态环境智慧监管能力的提升,有力支撑了中国新时期环境保护管理与决策。随着遥感平台和传感器的不断改进和增加,生态环境遥感数据量由TB 级快速增加到PB 级,在数据层面上已经体现了体量大 (Volume)、类型多(Variety)、 时效性高(Velocity)、真实性强(Veracity) 和应用价值高 (Value) 的“5V”特征,中国生态环境遥感进入了一个大数据时代。
不断涌现的海量生态环境遥感数据需要大量的存储和计算资源,而传统遥感数据处理分析应用模式存在单机作业、线下数据交互、影像数据服务为主、人力密集型、自动化程度低、遥感应用流程长等问题,已无法满足快速响应、定制化应用等需求。生态环境部卫星环境应用中心研发了集数据处理、产品生产、分发服务能力为一体的环境遥感监测应用平台,系统形成了生态环境遥感监测业务运行能力,但也存在数据可见性不强、应用流程长、自动化程度低、服务面窄、服务水平低等问题。
面对上述问题,我们围绕生态环境智慧监管新需求,提出采用“数据超市”模式构建新型生态环境遥感云平台,研究设计平台建设思路和总体框架,分析平台的技术架构和关键技术,以期为构建生态环境遥感数据处理分析应用新模式提供参考。
生态环境遥感数据超市是生态环境遥感大数据服务体系的形象表达,基本思路是借鉴现代超市经营理念,建立开放性的类似于“商品市场”的平台,用户可以是“买家”,通过超市选购所需原料或成品,直接购买或者再加工并应用;用户也可以是“卖家”,将自有服务资源在超市进行上架展示,供其他用户购买,实现数字资源循环再利用。
生态环境遥感数据超市建设按照集成化、一体化的思路,全面整合遥感数据、功能、应用资源,构建一站式“数据超市”系统,形成从原始数据到业务应用的全业务链服务,让数据“可查、可看、可用”。借鉴现代超市体系架构,参考企业架构框架(enterprise architecture,EA)理 论 和SOA(Service Oriented Architecture)面向服务架构,我们从整体、全局和综合的视角出发,来设计生态环境遥感数据超市总体架构。生态环境遥感数据超市由资源库、加工间、服务区三部分组成。
生态环境遥感数据超市总体架构
一是多源卫星数据统筹获取技术。统筹20 余颗优于2 米的高分辨率卫星,构建虚拟卫星星座,制定卫星拍摄计划,大幅提升了高分遥感覆盖能力。全国2米卫星月度覆盖能力由29%提升至80%,1 米卫星季度覆盖能力由60%提升至65%,卫星数据获取效率由日提升到小时级。
二是遥感影像大规模自动化处理技术。利用分布式计算框架,结合CPU-GPU 协同处理技术,构建流式计算模式,实现卫星数据高效实时处理。系统实现对国产主流高分遥感影像数据的正射校正、融合镶嵌、质检全流程自动化处理,处理能力达400 景/天,基本实现“当日获取、当日处理”。业务化生产将植被指数、植被覆盖度、叶面积指数、净生态系统生产力、净初级生产力、生物量、反照率、土壤水分指数、地表蒸散等11 个重要陆地生态参数产品进行了归一化。
三是高性能影像地图切片服务技术。攻克轻量级地图快速切片和实时发布技术,显著提升高分辨率卫星影像在线地图发布时效。影像切片效率达1 景/分钟,提升8.3 倍,全国2 米影像切片时间从2 个月压缩到7 天,可实现“当日生产、当日发布”。
四是生态环境遥感智能解译技术。利用深度学习和面向对象等技术,开展系列智能解译技术研究,解译精度和时效明显提升。突破基于亚米级高分遥感影像的草原区牧畜识别、基于深度学习的人类活动智能识别、基于深度学习的生态变化智能检测、基于多源遥感的河流干涸断流快速筛查、基于热点网格的大气污染星地协同监管、海洋水体水色异常遥感快速提取等生态环境智能解译关键技术,较传统手段的工作效率总体提升3 ~5 倍。
五是多元数据时空可视化分析技术。系统集成云服务技术、大数据分析技术、三维可视化技术等,实现多主题、多时空、多指标、多要素、多样化的成果展现与分析。利用集成与展示技术,实现多源数据成果的快速融合、三维集成、立体展示与综合分析能力。研究突破情景表达技术,实现复杂信息时空表达情景构建,支撑央地协同、多主体参与的互动式会商监管决策。
一是海量遥感数据可视化便捷使用。系统利用地理网格、多模态数据统一时空处理技术,初步构建了时空连续、共用共享的综合数据库。数据库涵盖基础地理、影像产品、参量产品、环境专题、观测数据、评估产品等10个大类,数据层数达3988 层,产品种类超500 种,总数据量达4.6拍字节。数据超市支持产品下载、实时调用、加工定制,简单便捷,只需要三步就可以完成数据订购。第一步,多方式查看、检索各类数据,按需要挑选数据;第二步,点击加入“购物车”,提交数据使用或加工申请;第三步,审批通过后,这些数据便可直接下载、加工或调用。
二是“天天影像”全在线近实时服务。系统日处理高分辨率卫星影像达400 景、制作发布卫星影像瓦片1000 余景,基本实现卫星遥感影像“当日获取、当日处理、当日发布”。现已制作发布高空间分辨率卫星影像瓦片在线地图服务“天天影像”近30 万景,时间范围自2013 年以来,可每日实时更新。“天天影像”提供多时相、专题任务集、元数据等多种形式的数据调用服务,已被9 个业务系统和核查APP 调用,年调用量超8500 万次。卫星影像使用模式已从“线上检索、 线下应用、 耗时长”转变为“线上优选、实时应用、高时效”,数据使用的便捷性和效率显著提升。
三是功能组件资源集成与复用。数据超市集成主机、网络、存储、安全系统等各类型软硬件基础支撑设备800 余套,计算节点225 个,计算能力达到46 万亿次/秒。数据超市整合算法模型139 个,功能模块达506 个。通过算力资源、模型组件库的集成,数据超市可以实现功能组件资源的重复利用。比如,面向人类活动线上线下一体化监管,集成数据超市自动检测、问题识别、野外核查、信息上报、跟踪监测等功能组件,实现了人类活动监管全业务流程快速搭建。针对生态破坏问题“空天地”一体化会商决策,集成数据超市生态破坏问题研判、三维可视化、无人机指挥系统接入、地面观测场数据接入、多方在线视频会商、文件资料共享等功能组件,快速建立问题发现、问题核实、问题整改机制。
四是生态环境遥感一体化云服务。面向地方环保部门快速部署和监管应用,集成数据超市数据推送、处理、管理、解译、服务等自动化处理功能组件和基础设施,构建即时、在线、高效、轻量级生态环境卫星数据一体化云服务平台,支持生态环境卫星数据资源的即时在线高效利用。基于生态环境卫星数据一体化云服务平台,采用“工业制造4.0”理念,研制生态环境遥感云服务一体机,深度整合软件、硬件和数据于一体,实现卫星数据的一体化、自动化、智能化、可视化处理与管理,具备高性能、易部署、易应用等特点。
一是进一步提升生态环境遥感数据超市的生态环境遥感数据获取能力。在发展天基卫星、无人机、定位观测能力的基础上,增补高空与地面移动遥感监测系统,提升全天时、高精度、高时效监测能力,将数据获取时效由月、天提升到小时、分钟级。
二是进一步提升生态环境遥感数据超市实时智能服务能力。通过手机或智能终端APP、卫星在轨智能处理、空基边缘智能处理,实现遥感数据从获取、处理到应用端的分钟级生态环境信息实时服务,推动遥感数据应用模式从事后处理向实时智能转变,从专业用户服务向社会大众服务转变。