新一代多源数据集成技术在高放废物地质处置的研究与实现

2017-07-05 15:22黄树桃王树红
世界核地质科学 2017年2期
关键词:数据格式空间信息空间数据

高 敏, 黄树桃, 王 鹏, 王树红

(1.核工业北京地质研究院,中核高放废物地质处置评价技术重点实验室, 北京 100029;2.核工业北京地质研究院, 遥感信息与图像分析技术国家级重点实验室, 北京 100029)

新一代多源数据集成技术在高放废物地质处置的研究与实现

高 敏1, 黄树桃2, 王 鹏1, 王树红2

(1.核工业北京地质研究院,中核高放废物地质处置评价技术重点实验室, 北京 100029;2.核工业北京地质研究院, 遥感信息与图像分析技术国家级重点实验室, 北京 100029)

传统的多源集成技术的不成熟与不完善及新一代 GIS 应用模式的发展, 促进了新一代的多源数据集成技术发生了根本性变革,同时也为高放废物地质处置地学和新数据库的研究和实现提供了技术支撑。 利用空间数据接口GDAL/OGR 的技术优势, 通过不同数据格式转换和集成技术平台为多源地学数据管理和利用开拓了新的思路和方法。

高放废物地质处置; 多源数据集成; GDAL; OGR; 数据格式转换

随着数字地球、智慧城市、云计算等概念的兴起, 地理信息系统(GIS)技术也得到了快速发展, 新一代 GIS 应用集成模式应运而生。这种模式的产生使得原本的开发模式从只重视开发技术细节向更加注重专业领域应用的模式改变, 推动了 GIS 开发和应用领域的 新 高 潮 。 而 作 为 通 用 于 Google Earth 和WorldWind 两 大 平 台 的 空 间 数 据 接 口 GDAL/ OGR 具有强大的技术优势, 提供了不同数据格式的转换和集成技术的新理念,为多源地学数据管理和利用开拓了新的思路和方法,为有效解决高放废物地质处置研究中所面临的复杂数据问题奠定了强有力的技术基础。

1 高放废物多源数据集成的意义

高放废物地质处置库预选区研究对象的十大数据资料包括社会经济资料、废物运输条件资料、土地使用资料、人类活动及其后果资料、环境保护资料、地质资料、水文地质资料、地球化学资料、工程地质和建设条件资料和未来自然变化资料[1]。 经过多年的研究,已经积累了高数级的原始数据,通过对数据的仔细研究和分析认为,多源数据在综合利用方面面临着以下问题。

1) 地质信息尺度各异。 地质信息数据比例 尺 有 1 ∶20 万 、 1∶50 万和 1 ∶250 万 。基础地理信息 数 据 比 例 尺 有 1∶25 万、 1∶100 万和1∶400万。 多种比例尺是否可以较好地融合和衔接成为关注要点。

2) 投影方式不一。 数据采用墨卡托投影, 部分数据采用 UTM 投影, 有的甚至没有采用标准投影,还有的数据采用了多种投影。因此,在数据集成中必须考虑投影转换问题[2]。

3) 位置坐标有误差。 参与集成的数据大多是需按不同专题 (地层、 断裂和构造等)进行合并或进行不同影响数据的融合。因此,数据在转绘、扫描、纠正、拼接、数据编辑、数据转换等过程中会产生坐标误差,产生空白或重叠区域。

4) 属性数据的描述质量。 各层数据的属性表中出现同一属性数据的字段描述方式、编码、字段长度各异,描述方式不规范等情况直接影响了数据查询结果和可用性,是在集成研究时必须要考虑的问题。

如何将上述具有复杂问题的数据集成起来,达到较好的空间数据与非空间数据的可视化,成为设计和实现高放废物地质处置地学信息库的关键所在,同时也是多源数据集成技术的重点和热点问题。

2 传统多源数据集成模式

空间多源数据的集成主要是解决的来自各专业或多类原始数据的数据集成。在地理信息系统的发展过程中,形成了多种数据格式,不同的用户依据自己的习惯采用不同的系统处理各式各样的问题,出现的数据格式类型也就多种多样。上述情况的普遍存在使得地理信息系统的数据共享和发布非常困难。传统的 GIS 多格式空间数据的集成主要有以下3种模式:数据格式转化模式、数据互操作模式和直接数据访问模式。

2.1 数据格式转化模式

数据格式转化模式是在地理信息系统发展过程中最先使用的集成方法。这种模式下以数据共享需求用户的利益为出发点,其他数据格式采用用户自己编写的数据转化程序进行格式转化,变成用户自己习惯使用的数据格式。

这种数据格式转化模式主要存在着信息损失、转化过程复杂不足,甚至在某些方面违背了数据分布独立性的原则,使数据集成本身的难度和对数据的要求大大增加,也不适合一般用户的学习和应用。

2.2 数据互操作模式

开放式地理空间信息联盟 OGC 成立后,对一系列的数据使用进行了规范,在此基础上,数据互操作模式作为贴合用户理解和需求制定的规范也越来越被更多用户使用。 OGC为数据互操作制定了统一的规范,使得一个系统能够同时支持不同的空间数据格式成为可能,数据共享和问题得到改善。

虽然这这种集成模式为多源数据集成提供了崭新的思路和规范,但它的实现是基于特定的 OpenGIS 协议下的软件进行的, 作为并非上述标准的空间数据格式在数据集成中还缺少标准的规范。

2.3 直接数据访问模式

用户可以利用直接数据访问模式的思想将单个 GIS 软件存取多种数据格式变为现实,不再需要复杂繁琐的数据转换形式。这是数据集成模式更为经济适用,是地学信息集成的最高模式。但是数据的格式同时也受到了GIS 软件的制约, 现在还没有一种软件能完全访问涉及地学信息的众多格式,且构建成本较高。

综上所述,3种集成模式既有优势,但同时也有不足之处:有的会造成数据属性数据的丢失, 影响集成后的数据质量, 有的对 GIS软件及数据要根据标准进行繁琐的处理,有的则会大大提高用户在数据层和不同数据接口开发的成本,因此亟需研究和分析解决这些问题的方法。数据互操作模式被认为是多源数据集成的发展方向,但是目前的发展却不成熟,这既为高放废物地质处置领域的多源数据集成提供了基础方法,同时也表明了重点和难点问题所在。

3 新一代 GIS 应用集成模式分析

近年来,随着数字地球、智慧城市和云计算等概念的提出, 地理信息系统(GIS)技术也得到了快速发展。 作为新一代 GIS 应用模式的代表产物 Google Earth、 网格 GIS 和 云计算等也为多源地学信息集成技术的发展指明了新的方向。

3.1 Google Earth

Google Earth 可以显示点、 线和面等 几何类型,具有栅格图像叠加的功能,并能在此基础上实现城市三维模型的视觉效果,以三维地球的形式把多类图片、图像集成在一起,使用户从全新角度读取地球的相关数据,并在各领域取得了广泛应用。

作为现阶段基于 GDAL/OGR 空间数据接口具有代表性的软件,笔者可以在进行多源地学信息集成技术研究中借鉴 Google Earth 以下关键技术: 1) 利用 GDAL/OGR 解决多源遥感影像数据源问题; 2) 客户端采用多线程、缓存定时技术、多重检索技术,完成海量数据浏览和查询操作;3) 服务器端采用多分辨率的影像金字塔技术,实现高质量的图像压缩算 法 ; 4) 基 于 GFS、 BigTable 等自行 研 发的影像数据的存储与组织技术。

3.2 网格 GIS(Grid GIS)

网格 GIS 概念的产生最早出现于 20 世纪90年代中期, 它是一种汇集和共享空间信息资源、进行一体化组织与处理、具有按需服务能力的空间信息基础设施。随着关键技术的不断突破, 网格 GIS 已经发展成为在互联网上与空间信息相关的所有资源,如计算资源、 存储资源、 通信资源、 GIS 软件资源、 空间信息资源和空间知识资源等全面连通的 GIS基础平台和技术体系。

网格 GIS 将实现互联网上与空间信息相关的所有资源的汇集与共享,其核心是解决广域环境下各种空间信息处理资源的共享和协同工作。 网格 GIS 的出现为实现多源信息集成提供了重要的平台支撑和技术引导作用,为多源信息集成系统具有海量空间数据处理能力、空间资源共享功能、集成现有系统的能力、异地协同工作能力、支持异构系统的能力和适应动态变化的能力提供了重要的技术支撑。

3.3 云计算

随着计算机软/硬件技术的飞速发展, 人们在分布式、并行计算和网格计算等概念与模型基础上又提出了云计算模型。云计算通过业务逻辑与计算资源的分离,让用户不用关心繁重、复杂和易错的各类计算机资源管理[3], 而只需关注业务逻辑,从而大大地降低企业信息化的复杂度,并提高了计算资源的利用率。另外,云计算以搭建高可缩性、高可靠性和廉价的系统开发为目的,与多源地学信息的集成目标十分契合,云计算实施的关键技术和研究思路为多源地学信息集成提供了重要的指示作用。

4 高放废物地质处置新一代多源地学信息集成技术的实现

基于上述传统数据集成模式和新一代 GIS应用模式的介绍和分析,提出基于空间数据接口 GDAL/OGR 的多源地学信息集成模式,来解决高放废物地质处置研究中的数据集成问题。

4.1 GDAL 简介

GDAL(Geospatial DataAbstraction Library)作为一个强大的空间数据接口,是一个操作各种栅格地理数据格式的库,可以实现栅格数据格式的读取、写入、转换和处理操作。

GDAL 具有以下特点: (1)作为开源栅格空间数据转换库, 已经通过 X/MIT 许可协议来表达所支持的各种文件格式,并定义了一系列代码命令来执行数据转换和处理操作;(2) 支 持 包 括 Arc/Info ASCII Grid (asc)、GeoTiff (tiff)、 Erdas Imagine Images (img) 和ASCII DEM (dem) 等栅格数据格式的操作;(3)使用抽象数据模型来解析它所支持的数据格式,抽象数据模型包括数据集、坐标系统、仿射地理坐标转换、大地控制点、元数据、栅格波段、颜色表、子数据集域、图像结构域和 XML域, 这些几乎囊括了所有的属性意义; (4)核心类结构设计如图 1 所示。

图 1 GDAL的核心类结构Fig.1 Core class structure of GDAL

GDAL 库 所 包 含 的 gdalinfo、 gdal_translate、 gdaladdo、 gdalwarp、 gdal_merge.py 和gdalindex 函 数 支 持 此 类 数据格 式 的 操 作 , 栅格数据的空间分析和应用提供了技术支持,使得空间数据的处理和分析不再经过反复的基于基础函数的计算,而是通过库函数的基本操作,就可以轻松实现。

4.2 OGR 简介

OGR 是 GDAL 的一个分支, 可以实现包括 : ESRI Shapefiles、 S-57、SDTS、PostGIS、

Oracle Spatial、 MapInfo mid/mif 和 MapInfo TAB 等矢量数据格式的读取、 写入、 转换和处理操作[5], 其模型关系如图 2 所示。

OGR 库 所 包 含的 ogrinfo、 ogr2ogr 函数为矢量数据的空间分析和应用提供了技术支持。

4.3 不同转换工具模块的实现

4.3.1 数据格式转换

4.3.1.1 数据格式转换的技术实现

基于 GDAL/OGR 的矢量/栅格数据格式的转 换 。 GDAL 实 现 了 栅 格 数 据 的 GeoTiff 转jpeg 的 功 能 。 OGR 实 现 MapInfo (.tab) 转ShapeFile、 GeoDataBase ( .mdb) 转 ShapeFile和 Microstation ( .dgn) 转 ShapeFile。 数 据 格式转换的流程图如图3所示。

4.3.1.2 数据格式转换的平台实现

1) 矢量数据转换

矢 量 数 据 格 式 转 换 可 以 实 现 MapInfo(.TAB)AutoCAD (.DWG)Microstation (.DGN) 格式转换为 ESRI Shapefile 格式。

2) 栅格数据转换

栅格数据转换可以实现 GeoTiff格式 转换为通用的 JPEG 格式。

数据格式转换界面(图 4)是根据数据转换流程的设计,使用开源代码自主开发实现的。

4.3.2 坐标转换

图 2 OGR 的 Geometry 模型关系图Fig.2 Geometry model chart of OGR

图3 数据格式转换流程图Fig.3 Flow chart of data format conversion

图4 数据转换界面Fig.4 Interface of data conversion

4.3.2.1 坐标转换的技术实现

坐标转换提供平面直角坐标(由 x, y 坐标值表示)与地理坐标(由 L, B 经纬度表示)之间的相互转换(实现过程如图 5 所示)。 转换的参数如下。

(1) 椭球: 选择不同的椭球, 那么长短轴的参数就会不同;

( 下 转 第 124 页 , Continued on page 124)

Study and implementation on new multi-source data integration technology for geological disposal of High-level Radioactive Waste

GAO Min1, HUANG Shutao1, WANG Peng1, WANG Shuhong2
(1.CNNC Key Laboratory on Geological Disposal of High-level Radioactive Waste, Beijing Research Institute of Uranium Geology, Beijing 100029, China; 2.National Key Laboratory of Remote Sensing Information and Image Analysis Technology, Beijing Research Institute of Uranium Geology, Beijing 100029, China)

The immature and imperfect traditional multi-source integration technology, as well as the development of new generation of GIS application model promoted the fundamental changes of new multi-source data integration technology, which provided technical support to the study and implementation of database for geological disposal of High-level Radioactive Waste.This study made full use of the technical advantage of spatial data interface GDAL/OGR , opened up a new idea and method for multiple source data management through the different data format conversion and integration technology platform.

geological disposal of HLW; multi-source data integration; GDAL; OGR; data format conversion

图5 坐标转换流程图Fig.5 Flow chart of coordinate conversion

TL942

A

1672-0636(2017)02-0113-05

10.3969/j.issn.1672-0636.2017.02.009

国防科工局三废专项 “高放废物处置库预选区地学信息库开发研究” 项目 (编号: 科工局科工二司 [2011]1074 号)资助。

2016-06-29;

2016-11-02

高敏(1985— ), 女, 山东济阳人, 工程师, 主要从事高放废物地质处置地学信息库研发工作。E-mail:gaomin820@163.com

猜你喜欢
数据格式空间信息空间数据
结合多层特征及空间信息蒸馏的医学影像分割
基于作战环的空间信息时效网关键节点分析模型
世界首个可记录物体内部结构等复杂信息的3D打印数据格式问世
元数据驱动的多中心空间数据同步方法研究
论子函数在C语言数据格式输出中的应用
关于地理空间信息标准体系
基于文件系统的分布式海量空间数据高效存储与组织研究
基于ArcGIS的规划数据格式转换研究
客户端空间数据缓存策略
多源空间数据同名实体几何匹配方法研究