三峡库区地质灾害防治信息系统及预警指挥系统数据管理模式探讨

2018-10-31 00:36吴润泽程温鸣刘军旗杨建英
中国地质灾害与防治学报 2018年5期
关键词:三峡库区原始数据数据管理

吴润泽,程温鸣,刘军旗, 杨建英

(1.中国地质调查局武汉地质调查中心, 湖北 武汉 430205; 2.中国地质环境监测院,北京 100081;3.中国地质大学(武汉)教育部三峡库区地质灾害研究中心, 湖北 武汉 430074)

三峡库区是我国地质灾害的频发区域[1],严重制约着三峡库区及其周边区域的快速及可持续发展。为了有效地存储、管理地质灾害防治工程中所获得的大量宝贵资料,并对这些资料进行有效分析和处理,国内外学者做了大量的研究,文献[2]基于MapGIS软件,采用关系数据库对地质灾害数据进行管理;文献[3]采用P2P(peer-to-peer)对等网络索引技术来实现海量数据的查询等管理任务;文献[4]对地质、地球物理和现场数据的管理进行了讨论,重点介绍了数据管理过程的几个主要阶段;文献[5]介绍了首尔市岩土信息系统和韩国海洋数据集成系统等的数据管理情况;文献[6]基于Skyline三维软件平台,针对舟曲灾后重建过程中多源灾害监测数据的综合管理进行了研究;文献[7]以地下水和地下基础设施等数据为数据源,建立了巴塞罗那城市地下空间数据库;文献[8]以GIS为载体,建立了东莞市三维地质灾害信息发布平台,实现了地质灾害专题数据及群测群防数据的二三维一体化管理等。

通过大量类似的研究可以看出,目前在地质灾害数据管理方面,基本通过建立一套完整的数据库系统来实现对地质灾害数据的管理。这种管理方式,从理论上来说是合理的,但是三峡库区地质灾害多源异质异构[9-11]数据具有多来源、大数量、多类型、多格式、多尺度、多参照系、多精度、标准化程度差、数字化程度不同、密级不同等特点,采用单一数据库对数据进行管理的模式无法满足不同层次数据管理、不同层次数据应用的实际需求。

(1)三峡库区地质灾害数据包含大量的涉密数据,如果采用单一数据库管理模式,将会在数据保密与数据共享之间造成很大的冲突,要解决这一问题,不管是从技术上还是从实际操作控制上,都有很大的难度。

(2)地质灾害数据库管理需要对原始数据进行大量的标准化、二维表格化、归一化等处理,对三峡库区大量资料来说,这一处理过程工作量很大,而且很繁琐,很可能造成最终数据库中的数据在完整性、准确性等方面与原始数据不完全一致的情况发生。

(3)原始数据是数据库的基础,虽然原始数据不能像经过标准化处理的数据库中的数据那样使用方便,但是原始数据是地质灾害所有分析工作的基础,单一数据库管理在针对原始数据的管理方面也存在缺陷。

本文依据三峡库区地质灾害数据的本身特征和多层次数据应用的需求,采用了一种双层四块、底层物理隔离的数据管理模式。

1 三峡库区地质灾害信息系统及预警指挥系统的数据基础

三峡库区地质灾害数据依据其应用类型可分为空间数据、专业属性数据、管理数据三类,其中空间数据包括基础空间数据和灾害点空间数据,基础空间数据由基础地理空间数据和专题空间数据组成(图1)。

图1 三峡库区信息系统及预警指挥系统数据基础Fig.1 Base data of the information system and warning command system in the Three Gorges Reservoir Area

三峡库区基础地理数据包括1∶1万、1∶5万及1∶10万等资源环境本底数据,各种比例地形图及数字地面模型等组成的基础地理信息和TM、SPOT、DMC、UCD及Lidar等库区影像图。专题空间数据主要由水文地质图、工程岩组图、环境地质图、灾害易发性分区图等区域专题图和勘查工作布置图、滑坡基岩面等高线图、勘查剖面图、施工平面图、监测点分布图等具体专题图组成。

专业属性数据主要有地质灾害调查数据、地质灾害勘查数据、监测数据、防灾预案数据、搬迁避让数据、移民区地质安全评价数据、治理工程数据、地质安全评价数据、人文经济数据等。这些数据多以栅格图片、数字录像、Word文档、电子表格等方式提供。

管理数据主要包含公文等办公文书数据、科研立项等科研管理数据、项目成果等建设项目管理数据和规程规范等标准数据。

这些数据具有数量巨大而价值密度低、种类繁多且关系复杂、来源众多且异质异构等典型的地质大数据特征[12-16]。要充分使用这些数据为政府职能部门提供直观地灾害整体情况及多种处置预案,为科研及技术人员提供全面的数据支持与分析服务,为社会公众提供灾害预警及防灾撤离路线等的支持与服务,需要一个科学合理的数据管理及数据服务架构。

2 三峡库区地质灾害信息系统及预警指挥系统数据管理及服务架构

三峡库区地质灾害信息系统及预警指挥系统的数据管理与服务体系由数据采集层、数据管理层和数据应用层三层组成(图2)。

图2 三峡库区地质灾害信息系统及预警指挥系统数据管理及服务架构Fig.2 Data management and service structures of the geologic hazard information system and early warning command system in the Three Gorges Reservoir Area

2.1 数据采集层

由于没有高效的输入技术,数据采集是目前信息系统的瓶颈之一[17-19]。本系统数据采集层通过多种常规手段采集与地质灾害相关的各类数据,如基础地理数据、基础地质数据、地质灾害数据、人文经济数据、气象数据、地震数据、灾害防治数据、专业监测数据、群测群防数据、治理工程数据、搬迁避让数据等。包括通过PC或智能移动端采集地质灾害调查、勘查数据,通过手持终端采集群测群防数据,通过GPRS传输自动监测数据等。外部系统数据是指其他已建信息系统中与地质灾害相关的数据,可通过转换接口接入。为提高采集效率,系统采用了标准录入卡、基于电子平面图采集数据和基于三维模型采集数据等多种手段[20]。

图3是基于平面图采集数据的示意图,其基本原理是把平面图(a)上的钻孔图元与数据库中的钻孔数据表(b)建立链接,钻孔图元的位置可以依据布孔设计绘制到平面图上,在平面图上选取某个钻孔图元时,就可以调用钻孔数据表来采集数据。采用同样的原理,基于三维模型进行数据采集会显得更加直观。

图3 基于平面图的数据采集示意图Fig.3 Schematic diagram of data acquisition based on the planar graph

数据采集层获取的数据是与库区地质灾害相关的原始数据,也是系统后续分析的基础。

2.2 数据管理层

根据三峡库区数据本身的特点和数据使用特点,系统对数据采集层获取的数据采用双层四块、底层物理隔离的模式进行管理(图2)。

双层是指把数据管理分为基础数据库和操作数据库两层,基础数据库分门别类地管理所有原始数据,保持这些数据的原貌,没有统一参照系,也没有进行统一的标准化整理等,是关于库区地质灾害珍贵的第一手资料。操作数据库就是常规意义上的数据库,是在基础数据库的基础上,对原始数据进行整理、分解、统一坐标系、统一高程系、统一标准化、统一地质语义等,把地质灾害相关数据标准化、结构化。并通过数据库进行全面管理的数据库,是后续数据处理与分析的数据支持平台。

四块是指把基础数据库和操作数据库依据是否涉密分成四块,分别为涉密基础数据库、非密基础数据库、涉密操作数据库和非密操作数据库。涉密库和非密库的区别是是否涉密,非密库中的相关涉密数据都经过脱密处理,可以开放使用。

涉密基础数据库与非密基础数据库物理隔离,两者通过手工交换数据保持同步(图4)。这样就使得两套基础数据库除是否涉密外,一直保持同步更新。

图4 基础数据库数据同步示意图Fig.4 Data synchronization schematic of the basic database

涉密基础数据库中数据经过整理、分解、归一化处理进入涉密操作数据库,非密基础数据库中的数据经过整理、分解、归一化处理进入非密操作数据库。操作数据库中都包含空间数据库、专业属性数据库和管理数据库三部分。

具体使用流程是:依据库区地质灾害数据的特点和使用需求,建立四个数据库,分别是涉密、非密的基础数据库和操作数据库,数据采集层获取的数据中,涉密的直接接入涉密基础数据库,不涉密的直接进入非密基础数据库,经过基础数据库的数据同步操作,形成完整的两个基础数据库,涉密基础数据库中的数据经过结构化、标准化处理进入涉密操作数据库,非密基础数据库中的数据经过结构化、标准化处理进入非密操作数据库。这样就形成了涉密和非密两套数据库系统,基础数据库中的数据一直保持更新,除为操作数据库提供原始数据外,除非需要对原始数据进行核查,一般不进行其他操作。数据的查询检索、统计计算等等数据处理与分析工作都基于操作数据库进行(图5)。

图5 地质灾害数据入库流程Fig.5 Storage processes for the geologic disaster data

2.3 数据应用层

数据应用层基于操作数据库进行,分为信息系统数据应用和预警指挥数据应用两部分。信息系统数据应用主要包括基于操作数据库的数据查询检索、统计计算、二维灾害地质图件编绘、三维建模、空间分析、三维视景漫游、库区地质灾害的危险性区划、重点灾害点的稳定性分析及各类报告报表的辅助编制等功能;预警指挥数据应用分为两个层次:首先在操作数据库的基础上,依据数据特点和预警指挥工作的需求,对操作数据库中的数据进行多主题检索、重组、联机分析、数据挖掘等,结合信息系统中的各类成果,构建预警指挥系统的综合数据仓库,然后基于数据仓库中的各类分析成果进行地质灾害的预测、评估、会商、预警和应急指挥。

2.4 建立双层四块、底层物理隔离管理模式的必要性及作用

三峡库区地质灾害数据含有大量的涉密数据,因而数据有必要分为涉密和非密两部分,原始数据是第一手的珍贵资料,需要完整保存,但是又比较杂乱,且没有归一化,很难进行有效的查询检索及进行各种数据分析工作,因而把数据库分为基础数据库(用以保存原始数据,同时在必要时对相关数据进行再次核查)和操作数据库(标准化、归一化后的结构化数据库,可以提供各种高效的数据支持)是合理的。基础数据库分为两部分的主要目的有两个,一是把涉密数据与非密数据分开,二是大量的非密数据可以直接在非密基础数据库中进行实时更新,且使非密的操作数据库也保持同步实时更新。非密基础数据库+非密操作数据库既可以完整保存原始数据,又可以提供高效的数据管理与数据支持功能,非密操作数据库可以对具有数据访问权限的所有人员开放。涉密基础数据库+涉密操作数据库脱密后就是非密基础数据库+非密操作数据库,其存在意义是进行敏感信息的灾情评估、专家会商等等,涉密与非密是两套物理隔离的系统。在多年的三峡库区地质灾害防治工作过程中,这种管理模式很好地管理了各类原始数据和多种成果数据,既保证了涉密数据的保密性,又可以为各级管理部门和科研部门提供全面的数据支持与服务;既完整保存了工作过程中产生的原始数据,又充分发挥了数据库强大的检索及管理功能。

3 结论

在面对庞杂且含有部分涉密信息的大数据集时,采用单一数据库对数据进行管理的模式无法满足不同层次的数据管理与数据应用需求。双层四块、底层物理隔离的模式可以达到以下几个目的。

(1)通过涉密和非密基础数据库既有效保存了完整的原始数据,也使涉密数据的安全性通过简单的扩充存储空间这一相对较小的代价得到保障。

(2)通过基础数据库向操作数据库的转换,既可以保持原始数据的完整性,又可以充分利用数据库的强大功能对数据进行操纵。

(3)通过涉密和非密操作数据库既可以方便管理地质灾害数据,也可以为不同密级的使用人员提供全面的数据支持。

库区地质灾害防治信息系统及预警指挥系统多年来的顺利运行,证明这种数据管理模式是符合库区地质灾害数据管理实际需求的。这种管理模式对复杂且涉密的大数据管理与服务具有一定的普适性。

猜你喜欢
三峡库区原始数据数据管理
企业级BOM数据管理概要
定制化汽车制造的数据管理分析
海洋环境数据管理优化与实践
受特定变化趋势限制的传感器数据处理方法研究
CTCS-2级报文数据管理需求分析和实现
全新Mentor DRS360 平台借助集中式原始数据融合及直接实时传感技术实现5 级自动驾驶
对物理实验测量仪器读数的思考
三峡库区的动植物资源概况
三峡库区雕塑遗存忧思录