蔡志雄,方朝阳,2,徐 健,张 倩
(1.江西师范大学,330022,南昌;2.鄱阳湖湿地与流域研究教育部重点实验室,330022,南昌)
湿地是珍贵的自然资源,也是重要的生态系统,被誉为“地球之肾”。江西省湿地资源丰富,在长江流域发挥着水源调节、资源供给等生态服务功能,具有十分重要的生态价值[1]。江西省作为国家生态文明先行示范区,湿地保护也是生态文明建设的重要内容之一。但是,随着江西省湿地保护管理工作不断走向深入,一方面,湿地工作利用到和所形成的数据呈现出多源异构、体量大的特征,传统的数据采集、存储和管理方式难以胜任,另一方面,各级管理部门湿地信息化建设顶层设计不足且缺乏统一标准,造成系统应用开发乱象,数据交换共享困难等问题。因此,分析江西省湿地管理与湿地数据资源现状,设计研究可弹性伸缩、可扩展、可通用的湿地平台,对于湿地信息化建设优化升级具有重要参考价值。
近年来,国内外学者和管理机构已相继开展了基于云计算、大数据技术的湿地信息化研究,如浙江西溪国家湿地公园通过接入阿里巴巴的大数据平台,帮助西溪湿地开展生态研究和数据利用工作,为湿地保护提供技术和数据分析支撑,对湿地进行全面科学的管理,促进了湿地生态和水环境改善。福建省是我国率先开展环境大数据建设的省份,采用Hadoop框架构建大数据管理平台,应用数据资源中心框架进行生态云平台建设[2]。孙伟[3]构建了林业资源信息云计算服务体系架构,在大数据环境下处理分析林业资源多源异构数据,通过云计算服务平台有效组织管理各类服务资源,为林业业务应用系统开发测试和运行管理提供虚拟环境。赵芬[4]等设计了生态环境大数据综合平台的总体构架,从数据获取、数据存储与管理、数据计算模式与系统和数据分析过程详细阐述了生态环境大数据技术平台构建的关键技术。美国NWI基于云计算平台开发湿地应用系统,实现湿地分类、湿地制图和调查结果建库,通过在线湿地地图服务实现数据访问和共享,并提供湿地专题图和分析报告等数据资料的下载服务[5]。Hasan[6]等研究大数据在林业生态监测、林业管理系统开发中的作用,提出改进大数据、云计算和信息技术及其组合,有助于实现林业管理智慧化。
基于此,本文以江西省为研究区域,基于大数据、云计算、GIS等技术,研究构建统一的湿地云平台,全面整合各类湿地数据资源,实现湿地资源数据的高效存储、快速应用和共享,实现系统应用的统一管理、利用和维护,以期快速、准确和全面掌握湿地资源现状及其动态变化,为湿地合理开发、利用及保护提供决策支持。
江西省湿地分布广泛且类型多样,据统计,共有湿地4类8型,总面积大小91.0万hm2,占全省国土面积的5.45%。截至2019年初,江西省已创建的省级以上湿地公园99个,全省湿地保护率达到55.2%,全省湿地平均价值为15.84万元/hm2·a,在全国处于较高水平。
江西省林业厅湿地保护管理办公室承担组织、协调全省湿地保护的具体工作。通过在该管理部门的实地调研,本文梳理了湿地业务对应的数据产生和利用现状。目前,全省已完成2次湿地资源调查,第3次湿地资源调查工作也已接近尾声,随着信息化水平的提高以及湿地生态实时监测网络覆盖范围和密度的不断扩大,湿地数据总数据量已达TB级并且每天都在迅速增长和更新,根据数据的来源及其用途,湿地数据主要包括以下几方面。
基础地理信息属于空间数据基础设施,扮演着定位基准和空间载体的重要角色,包括多个尺度(1∶25万、1∶5万、1∶1万等)、多个类型(地形要素数据、正射影像数据、地形图制图数据、数字高程模型数据等)和多个现势性版本。湿地工作经常会用到各种基础地理信息数据,例如湿地规划和管理要以卫星影像数据和无人机影像数据作为底图,以行政边界、道路、水系、土地分类、宗地时空属性作为决策辅助。
湿地生态环境监测数据是指利用智能监测和监控设备在全省范围内布设湿地生态实时监测网络,对湿地和保护区的气象环境、土壤环境、水质环境以及空气质量进行监测,从而获取的PM2.5、土壤电导率、水酸碱度、碳通量等数据。目前建成并投入使用的有包括鄱阳湖南矶湿地野外综合试验站、东鄱阳湖国家湿地公园、青山湖湿地等在内的15个监测站点。
湿地保护管理业务涉及广泛数据,主要包括全省湿地资源调查数据,湿地空间分布、分类及统计结果数据,湿地巡查任务记录和上报数据、巡查时空轨迹数据;湿地保护政策法规文件、技术标准和规范、项目申报文件数据;湿地规划数据、湿地公园名录数据;湿地保护与恢复、湿地生态效益补偿数据;科普宣教产生的数据。
湿地资源本底数据是湿地野生动植物保护的决策依据和基础数据,主要包括植物、动物、自然环境要素等。例如,植物相关数据有野生植物多样性、植物种的多样性、湿地植物群落、类型、地理分布、空间布局、主要优势植物种、保护价值等;动物相关数据有野生动物栖息地状况、两栖动物等各类动物资源数据。据江西省第2次湿地资源调查结果统计,全省有湿地脊椎动物及虾蟹贝类688种(亚种),湿地高等植物988种[7]。
经过多年的湿地信息化建设,已建成系统相关应用数据主要有覆盖全省的360全景数据、三维模型数据、知识文献数据、网络抓取数据、用户反馈数据、系统日志数据。
云平台是基础设施、数据资源、平台服务等共同组成的有机整体。本文采用分层架构方法设计湿地大数据云平台总体框架,平台自下而上构建,依次是基础设施层、数据资源层、服务平台层、应用层以及安全保障体系、标准规范体系。平台的总体框架如图1所示。
图1 云平台总体框架
基础设施层包括云平台基础设施和湿地生态监测基础设施两部分,云平台基础设施通过虚拟化技术,对服务器、网络设备等进行虚拟化,构建虚拟化资源池,由云管理系统实现计算、存储、网络资源的统一管理和调度[8];湿地生态监测基础设施是布设在省内各重点湿地区域用于水、气象等多种生态要素监测的传感器设备,为湿地云平台提供生态环境监测数据。
数据资源层的主要目标是建设湿地数据中心,通过离线拷贝、人工数字化等方式采集数据,在此基础上数据经过ETL、空间化处理形成结构化、半结构化和非结构化数据集,最后存储到数据库系统。
服务平台层通过标准化、插件化、模块化的功能服务,对数据资源层进行统一调配。基于时空GIS平台提供空间分析、三维可视化等服务,大数据服务平台提供服务编目、共享交换、数据分析和挖掘等服务,此外,运维平台提供服务监控、资源弹性调度、镜像服务等,保证各类服务的高性能和平台高并发能力[9]。
应用层以服务湿地生态保护管理工作为主要目标,通过建设湿地资源综合信息应用系统、湿地生态环境监测预警系统等应用,实现大范围快速、准确地掌握湿地资源现状及实时动态,提高江西省湿地建设信息化水平和湿地管理能力。
标准规范体系包括管理标准、技术标准和工作标准等。平台安全保障体系主要由云平台安全、数据安全、接口安全组成。
数据资源层和服务平台层是应用层系统建设、运行和优化升级的基础,其内容涉及数据的采集、存储、分析、共享、服务化输出以及管理和运维过程,是湿地云平台建设的核心。
2.2.1 云平台基础设施 基础设施作为云平台的计算、存储和网络等资源提供者,是整个平台的基础,包括服务器、网络设备、存储设备、安全设备和机房等。通过将基础物理资源的计算、存储等能力集合在一起并虚拟化,组织成一个健壮的资源聚合体,构成虚拟资源池(包括计算资源池、网络资源池、存储资源池、安全资源池),资源池化机制以细粒度的方式管理和利用资源,以提高云平台的资源利用率。
2.2.2 湿地生态监测基础设施 湿地生态监测是利用智能监测设备按照标准监测频率和方法采集相关指标数据,用于水、土壤、气象、空气等环境要素的监测和预警。湿地生态监测基础设施由微型气象站、水质、土壤传感器、视频监控设备及其数据通讯设备等组成,布设在全省各重点湿地区域全天候无人值守自动监测,智能监测设备会将传感设备电信号转换成数字信号,通过GPRS网络、无线微波和宽带混合等方式将数据传输到数据中心。
数据资源层是实现湿地数据的采集、存储和管理,构建统一的湿地大数据中心,为湿地云平台提供数据支撑。江西省湿地数据由于多源异构、体量大的特点,所以在数据资源层的设计中,基于大数据技术,采用不同的数据采集方法和不同的数据存储和管理方式。数据资源层架构如图2所示。
图2 数据资源层架构
2.3.1 多样化数据采集 随着湿地资源数据越来越多地表现出大数据特征,数据采集方法和流程的制定需要充分研究数据的获取渠道、数据状态、数据结构、数据规模。目前较传统的数据采集方式有人工数字化、数据库读取、Web服务接口连接、FTP服务器下载等[10]。以基础地理信息数据采集为例,根据其有无涉密性选择不同的采集方式,非涉密数据可通过全国地理信息资源目录服务系统等进行网络下载,涉密数据则需要经省测绘地理信息部门审核通过后以离线拷贝的方式获取,另外对于精度要求高、现势性强的数据可采取人工数字化方式进行数据生产。基于大数据技术的数据采集方法应用也十分广泛,例如生态监测实时数据流可以采用Kafka这样的高吞吐量的分布式消息中间件进行处理;结构化数据存储系统与Hadoop系统之间的双向数据传输可以使用Sqoop来完成;通过Flume可以实现海量日志数据的采集[11]。湿地数据采集需要使用以上一种或几种数据采集方法,经数据抽取、清洗、转换操作后加载到混合型的存储系统中。
2.3.2 分布式数据存储 为保证存储服务的可用性、可靠性和经济性,云平台数据存储采用分布式存储方式。分布式存储技术将分散的存储资源通过Internet互联,组成虚拟的存储设备作为一个整体对外提供数据存储服务,具有易扩展高性能、高可靠等特性,能支持平台海量数据的存储和管理需求[12]。分布式存储具有可扩展、低成本、高性能、易用等特点,其挑战主要在于数据和状态信息的持久化,在自动迁移和容错、数据读写的过程中保证数据的一致性[13]。分布式存储的数据结构类型分为结构化数据、非结构化数据和半结构化数据3种,分别对应分布式存储系统的分布式数据库、分布式文件系统和分布式NoSQL数据库。湿地数据中的结构化数据包括基础地理信息数据中的要素数据、湿地生态监测中的监测指标数据、已建成系统的关系表等;非结构化数据包括多源遥感影像、各类文档、科普宣教以及相关活动中涉及的图片、视频、音频等;而半结构数据包括系统日志文件、XML文件、JSON文件等。
2.3.3 大数据运维管理 大数据运维是针对湿地大数据中心而展开的数据备份、数据监控、故障排除等一系列措施。例如,对于分布式存储系统,需实时监控主节点和数据节点的健康状态,监控网络状态、服务器负载等,一旦出现故障要通过错误日志进行故障排除并快速恢复。对于传统关系型数据库要检查所有实例的运行状态,检查系统资源的使用情况,删除无效的数据对象、约束和触发器,检查日志文件等。为了完善大数据运维体系,还需要制定科学合理的保障制度,在建库标准、数据标准、数据更新规范等基础上,制定能保障系统长期运行、数据完整性好、工作职责明确的制度[14]。
平台服务层屏蔽了底层的复杂性和专业性,将湿地大数据云平台的数据资源、功能需求等进行业务化管理,形成统一的湿地信息资源应用、发布共享、挖掘分析中心,实现省内不同地区的湿地相关部门间的业务协同和资源共享,其架构如图3所示。平台服务层作为数据与应用间的桥梁,提供了数据服务、功能服务、接口服务、知识服务,降低了专题应用的开发难度,具体建设内容包括时空GIS平台、大数据服务平台、云门户系统以及运维管理平台。
图3 平台服务层架构
2.4.1 时空GIS平台 时空GIS平台为湿地研究与管理科学化、自动化提供了重要技术手段和分析方法。运用GIS强大的空间数据管理和空间分析能力进行湿地生态资源调查和湿地区域规划等工作。湿地空间数据包括湿地空间分布数据,湿地规划数据等矢量数据,用于解译湿地区的多时相、多分辨率的遥感影像等栅格数据,在GIS平台支撑下这些数据发布到GIS服务站点,能够为湿地应用系统提供要素服务、影像服务、三维数据服务、地名地址服务,实现基于在线地图的二维、三维数据浏览和查询、数据编辑、专题制图、空间分析、规划与选址。
2.4.2 大数据服务平台 大数据服务平台面向的是海量湿地数据,旨在为用户提供各类数据服务、功能服务、知识服务和服务管理[15]。数据服务包括数据的共享交换和数据下载等服务,数据提供者将只需将共享交换的数据上传到大数据服务平台,供需要的用户调用,数据使用者在获得相应的资源使用许可后进行下载。功能服务是基于Spark、Elasticsearch等大数据引擎实现对海量数据的检索、计算和统计分析。知识服务依赖于数据服务、功能服务,分析湿地保护管理各项指标的时序变化规律,形成报告,存储到大数据平台为用户提供知识服务,辅助湿地决策和管理。服务管理涵盖服务检索、服务注册、服务编辑、服务审核与授权等内容。
2.4.3 云门户系统 云门户系统是为用户提供的前端访问和平台使用的统一入口,包括数据和功能资源中心、专题应用、开发中心等内容,帮助用户便捷发现使用资源,实现多维内容管理。云门户系统具备灵活的数据共享方式,以精细化地访问控制为不同用户和组织开放不同的资源和服务,用户可以创建工作空间,在组织间进行资源共享,实现跨领域、跨部门的业务协作。
2.4.4 运维管理平台 运维管理平台建设为整个平台服务层的稳定、高效和正常运行提供保障和技术支持。通过门户管理和目录管理为服务层提供系统目录结构管理和用户访问权限控制等功能;通过实时监控实现GIS服务、大数据服务、资源池服务器的运行状态、性能、访问率等监控并提供自动告警;另外,审批管理是管理员审批用户注册、审批资源使用、交换的入口。用户管理可以对平台服务层的内部用户和外部用户进行统一管理,为用户分配不同角色和权限。
湿地生态环境数据采集与监测预警是湿地有效管理和保护的基础,对全省重要湿地区生态环境要素进行实时监测,构建包括湿地生态保护、生态状况的生态评估及其预警模型,从而帮助湿地管理者及时发现生态环境异常并实施预警。
湿地生态环境数据采集利用湿地云平台基础设施层的传感器、视频监控、移动巡护设备,对全省重要湿地的水环境、气象、土壤、空气、动植物和人类活动进行实时在线监测。实时的监测数据通过GPRS网络或无线微波等回传到云平台的数据资源层,数据资源层既有近实时数据又存储了过去的历史数据[16-17]。湿地生态监测预警的关键是有效利用这些数据,平台服务层可在其中发挥重要作用,基于大数据引擎对近实时数据和历史数据进行分析挖掘,运行生态评估和预警模型服务对监测数据进行预测和模拟并对外提供数据接口服务。应用层只需配置时间范围、监测站编码、数据类型等参数来访问数据接口,获取近实时和历史监测数据、预警预报信息等。
湿地生态环境监测预警系统部署在湿地云平台上,基于GIS引擎在地图上显示全省各个监测站点,方便站点快速查找和定位,并为每个监测站标绘点绑定事件进行监测数据查询和展示。例如通过点击标绘点获得该站点的设备状态、指标状态、湿地生态状况信息、影像信息并通过统计图、仪表图等进行数据展示,一旦监测到任何异常状态,如滥捕偷猎野生动物、侵占和破坏湿地资源等情况,立即发出警报信息并及时通知系统管理员进行处理。
湿地资源保护管理综合信息应用是基于湿地云平台数据服务、功能服务等实现湿地资源管理、信息查询、分析和可视化的集成平台。其主要围绕湿地保护成效评估指标模型计算、“湿地一张图”管理、三维可视化和巡护监管4个方面进行,有助于全面快速掌握全省湿地总体情况,为下一步工作计划的制定提供依据和参考,同时提高了湿地保护管理工作的效率和信息化水平。
湿地保护成效评估指标包括湿地面积、保护率、生态状况等,已被纳入生态文明建设目标评价考核体系。为快速和直观反映全省各地区湿地保护成效,需要对其评估指标进行计算和结果展示。例如,湿地面积和湿地保护率计算需要借助云平台服务层的GIS引擎通过空间几何计算与空间统计方法构建指标计算模型并发布成地理处理服务,再由前端开发者以各地区矢量面数据作为输入参数调用该服务获得指标计算结果,最后采用柱状图、饼状图对各地区的湿地面积及其在整个区域中的面积占比、湿地保护率进行绘制,有效反映湿地保护成效。
“湿地一张图”是利用WebGIS技术对江西省湿地资源调查成果、省级重要湿地、湿地公园、鄱阳湖国际重要湿地等空间信息和属性信息进行编辑管理、空间分析和专题制图的在线系统。“湿地一张图”以在线矢量和影像瓦片地图作为底图,以各类包含时空属性信息的湿地要素作为服务图层,通过调用GIS叠加分析、邻域分析、统计分析等空间分析方法,再结合数据可视化插件完成系统的集成与开发。“湿地一张图”的应用为非专业人员屏蔽了技术上的复杂性,免去了专业软件和系统环境的安装,使用者只需在浏览器上访问云端资源就能实现对湿地资源空间分布、空间规划、生态效益补偿、湿地保护与恢复、优势物种等信息的更新、查询和利用。
湿地三维可视化是对湿地公园、湿地自然保护区内珍稀动植物和人工地物等湿地资源的虚拟化表达。湿地三维数据存储在湿地云平台数据中心,数据可视化基于云平台服务层的三维GIS引擎,利用数字高程模型DEM与数字正射影像叠加融合构建三维地形场景,在场景之上通过倾斜摄影测量数据、BIM数据、物联网实时数据等数据融合与集成,实现三维立体空间的信息管理、场景漫游与路线飞行、三维量算与空间分析。湿地三维通过对湿地水文、地貌等自然环境的模拟提高突发事件的应急指挥能力,对湿地资源的多维度、多角度、交互式展示为湿地科普宣教提供支撑,增进公众对湿地的了解,提高公众的湿地保护意识。
湿地野外巡护是湿地保护的重要手段,能有效打击制止破坏湿地生态环境的非法活动。传统的巡护方式需要巡护人员携带GPS设备、纸质表格等进行信息记录,工作效率低且不易于管理[18]。巡护监管系统以湿地云平台的数据存储和功能服务作为支撑,利用LBS、GIS、移动开发等信息技术,在移动端集成巡护任务接受执行、轨迹记录、事件上报、地理围栏等功能用于野外巡护,在WEB端集成巡护任务分发、路线制定、信息查询、远程协助等功能管理野外巡护工作和巡护人员,提高了巡护工作的质量和水平,有效保护湿地野生动植物资源和生态环境的安全。
本文首先对江西省湿地资源现状以及湿地保护管理工作中的问题进行了研究和分析,一方面湿地资源数据体量在不断增大,传统的数据存储管理方式已不能满足当前湿地信息化需求,另一方面用于湿地信息化建设的技术手段落后导致数据的价值没有得到重分利用,数据交换和共享机制不完善导致数据重复建设等问题。为解决上述问题,本文以分层架构设计思想研究和设计湿地云平台的总体架构,重点阐述了数据资源层和平台服务层的建设内容和过程,基于物联网、大数据和GIS技术实现从数据采集、存储到管理、共享再到可视化和系统应用的湿地信息化建设,在提高数据流转效率、数据分析能力的同时服务于湿地保护管理。本文对湿地云平台的初步研究和设计,希望能对湿地保护管理工作起到参考作用。