王 斌,梁银平,韩 健,张立海
(国土资源实物地质资料中心,河北 三河 065201)
关于全国重要地质钻孔数据库服务平台建设的思考
王 斌,梁银平,韩 健,张立海
(国土资源实物地质资料中心,河北 三河 065201)
地质钻孔资料是地质工作形成的最重要资料,利用计算机技术实现全国地质钻孔资料的网络化信息共享,对我国国民经济和地质行业的发展具有重要意义。根据地质钻孔资料数据特点,本文介绍了全国钻孔数据库服务平台建设的目标任务和设计原则,重点研究了服务平台总体架构设计、主要功能以及大数据存储、集群节点架构自动对等、四叉树切片、无级平滑缩放等关键技术应用,并就钻孔资料涉密信息处理和服务平台更新维护提出了解决措施和建议。
钻孔;地质资料;数据库;平台
地质钻孔资料是地质工作形成的第一手资料,是人类认识地球最直接的原始地质信息记录。新中国成立以来,特别是近十几年,我国开展了大规模的区域地质、矿产地质、水文地质、工程地质、环境地质调查、矿产资源勘查评价和地质科学研究等工作,获得了大量的十分珍贵的地质钻孔资料。纵观全球,美国、英国、加拿大、德国、澳大利亚等发达国家非常重视地质钻孔资料的采集、管理和利用,纷纷开展了不同程度的地质钻孔数据库建设,并对外提供网络化服务利用。为进一步提高我国地质钻孔资料信息化水平和服务效率,2009年我国将钻孔数据库建设列为“十二五”发展规划纲要的一项重要工作内容。
2011年,我国开展了地质钻孔基本信息清查工作,掌握了我国各地勘单位保管的地质钻孔类型、分布及数量,建立了全国地质钻孔基本信息数据库,包含全国除油气、海洋和放射性钻孔外的958102个钻孔的基本信息。2013年,我国启动了全国钻孔数据库建设工作,目前已初步建立了阶段性全国钻孔数据库,包含全国445个地勘单位9216个项目的166683个钻孔的基础信息,总数据量达2.8TB。充分利用已有地质钻孔资料,有利于降低地质工作风险,减少重复工作,避免资金浪费[2]。为尽快将钻孔数据库成果向社会提供服务利用,充分发掘地质钻孔资料价值,扩大地质钻孔资料应用范围,高效服务经济社会发展、找矿突破战略行动和其它相关学科研究,建设全国钻孔数据库服务平台十分必要。
采用先进的计算机技术、网络技术和数据库技术,按照全国地质钻孔资料信息一张图的建设思路,根据“标准统一、分布部署、集成服务”的原则,建设完成具有数据输入、输出、检索查询、统计分析、图形制作与三维可视化、数据管理与维护等功能的分布式全国钻孔数据库服务平台,为经济社会发展和找矿突破战略行动汇集地质钻孔数据信息并提供基础数据服务支撑。
1)分层设计原则。平台由多层组成,每层完成独立功能。各层的功能基于同层和底层的功能之上,上层只能调用本层和下层的接口。每层内部分多个模块,各模块之间相互独立,但数据流双向交换。
2)组件式开发和可扩展性原则。为方便系统功能扩展,宜采用面向服务的体系结构SOA(Service-Oriented Architecture,SOA)开放标准,将主要功能写成专门的模块或类。模块功能强内聚、模块间耦合度小。在系统后期功能扩展和更新维护中只需修改参数、调用或开发新的模块即可实现功能扩展。
3)标准化、规范化和安全性原则。平台应遵循信息技术方面的国家和行业技术标准规范,确保信息资源存储、传输和应用的标准化、规范化和安全性[5]。
4)可靠性原则。平台应有很强的容错和处理突发事件以及报错能力,不至于因某个动作或突发事件而导致数据丢失或系统瘫痪[6]。
5)快速性原则。平台应建立钻孔数据的字段索引信息,提高钻孔信息检索查询速度。
图1 服务平台总体功能设计图
图2 服务平台总体技术架构设计图
全国钻孔数据库服务平台应是以Internet技术为基础,采用面向服务(SOA)构架、Web Service技术、基于国家测绘地理信息局开发并对外发布的天地图作为地理底图,开发而成的B/S模式(Browser/Server,浏览器/服务器)的分布式地质钻孔数据发布平台。该平台主要由前端界面功能、后台数据管理和安全运行维护管理三部分组成。服务平台总体功能设计如图1所示,总体技术架构设计如图2所示,各技术功能说明如表1所示。
表1 各技术功能说明
目前,全国钻孔数据库中主要包含地质钻孔保管单位、项目、钻孔基础信息和岩芯图像信息。为满足政府部门和各省级地质资料馆藏机构的钻孔数据管理和综合利用以及社会公众的检索查询和服务利用需求,全国钻孔数据库服务平台应实现钻孔数据的分布式存储、管理、检索、图形制作与三维可视化、数据处理与统计分析等功能。全国钻孔数据库服务平台主要功能实现的关键技术包括以下方面。
1)采用非关系型数据库,实现大数据的虚拟分布式存储。目前,全国地质钻孔数据是采用MS Access数据库进行存储。由于其局限性,很难实现对全国钻孔数据的综合管理与利用。由于钻孔数据库中占存储量较大的主要是JPEG、TIF格式的工程布置图、勘探线剖面图、钻孔柱状图和PDF格式的样品分析结果表,为实现对非结构化数据的有效组织和高效管理,服务平台应采用NoSQL型数据库(如Big Table和Dynamo数据库等)。
2)支持分级树状和等权网状架构模型。作为全国钻孔数据库服务平台,应实现各单位之间地质钻孔数据信息的资源共享、信息共享和成果共享以及多元信息的协同共享,建立地质钻孔数据信息互联互通的节点群。服务平台的开发设计应在实现分级树状架构模型基础上,还应支持可跨域的等权网状架构模型。
3)实现地质体属性编码解析。利用地质要素自动解析技术,对已有地质数据信息进行地质体属性编码解析,并通过地质数据编码接口、XML JSON技术实现客户端就某一位置的地质体属性信息查看请求。
4)开发钻孔数据转换、传输和发布工具。利用计算机并行处理技术,设计开发能实现MS Access钻孔数据库快速批量导入到服务平台,以及钻孔数据的一键式发布的钻孔数据转换、传输、导入和发布工具。并利用集群节点自动对等技术实现主节点和分节点钻孔数据的定时和强制对等,实现全国各节点钻孔数据的及时更新。
5)实现钻孔柱状图、勘探线剖面图和工程布置图等非结构化数据的无级平滑缩放。利用四叉树切片、无级平滑缩放、微软银光内核等技术,将非结构化的钻孔柱状图、勘探线剖面图和工程布置图按照像素大小自动识别并进行至少10级切片,确保其在互联网能够快速浏览查看。
6)实现地质钻孔在天地图上的空间展现与集群式发布。以钻孔为单元,利用钻孔经纬度坐标在天地图上进行快速投点显示,实现地质钻孔的地图检索查询,并以Tab页或气泡窗口形式进行地质钻孔保管单位、项目和钻孔基础信息的浏览查看。
7)实现地质钻孔柱状图、岩芯扫描图像和钻孔基础属性信息的“一张图”组合综合显示。利用先进的图像浏览显示技术如流媒体、切片等,实现地质钻孔柱状图、岩芯扫描图像、钻孔基础属性信息和样品元素测试分析结果数据等按照钻孔深度以“图表”形式从上到下依次显示,并按钻孔深度依次注明地质时代、层位、分层、岩性描述、岩性花纹、元素测试分析结果等信息。
8)实现地质钻孔数据管理、关键字查询、模糊查询、高级查询、矩形查询、多边形查询、目录树查询、统计分析等功能;实现某矿区或特定区域的三维地质建模、勘探线剖面图划切、钻孔柱状图生成、矿体圈定、储量计算等功能。
9)实现计算机终端和移动终端的在线浏览和检索查询功能。
10)开发必要的调用接口。利用XML Web Service技术开发必要的服务平台前台调用接口、后台数据调用接口以及支持与其它系统或软件的调用接口。
按照国家涉密地质资料管理和服务的相关法律法规和文件规定,服务平台公开发布的钻孔位置精度必须优于50m,因此需要对钻孔经纬度坐标进行漂移技术处理。处理方法有两种:一是利用国家测绘地理信息局开发的钻孔坐标非线性抖动处理软件对钻孔精度进行处理;二是根据圆的参数方程:x′=x+1*sinθ,y′=y+1*cosθ(x表示纬度,y表示经度,θ为随机数),利用高级编程语言中的随机数发生器,开发钻孔坐标随机漂移处理工具对钻孔坐标进行降低精度处理,使钻孔位置精度符合涉密技术要求。
工程布置图和勘探线剖面图涉及大量的地理信息、等高线信息、参照物信息等,需要对其进行降低分辨率、像素抽稀、缩小图片大小、消除或屏蔽涉密信息等技术处理,从而有效保护地质资料,使其合理开发利用。
钻孔柱状图中含有钻孔经纬度坐标、孔口高程等涉密数据,需利用CorelDraw、Photoshop等软件对其进行擦除、遮盖等技术处理。
服务平台建设完成后,更新维护是关键。服务平台地质钻孔数据信息的更新维护,主节点应由国家地质资料馆藏机构负责;各分节点应由各省(区、市)地质资料馆藏机构负责,各省(区、市)只需每年度末将钻孔数据以刻盘形式上报国家地质资料馆藏机构即可。同时,为了保证该项工作的顺利开展,每年国家都应给每个省(区、市)安排一定的地质钻孔数据信息更新维护工作经费,从而保障该项工作顺利开展实施[6]。
地质钻孔资料是地质工作形成的最重要基础地质资料之一,具有能够重复开发利用、长期提供服务利用的特点。全国钻孔数据库服务平台的建成,将是我国地质钻孔资料管理和服务工作的一项重大进展,是地质钻孔资料对外提供网络化服务利用和提高地质钻孔资料利用效率的重要手段,是我国纸质向电子地质钻孔资料服务利用方式的工作模式转变。全国钻孔数据库服务平台对于实现我国地质钻孔资料的信息共享、资源共享和成果共享,服务国民经济和地质行业的发展都具有重要作用。
[1]朱合华,郑国平,吴江斌,等.基于钻孔信息的地层数据模型研究[J].同济大学学报,2003,31(5):5-9.
[2]王斌,林向军,陈杰,等.危机矿山接替资源找矿工作成果服务利用构想[J].中国国土资源经济,2013,26(9):32-34.
[3]韩国建,郭达志.矿山信息的八叉树存储和检索技术[J].测绘学报,1992,21(1):13-17.
[4]侯恩科.三维地质模拟的若干关键问题研究[D].北京:中国矿业大学(北京),2002.
[5]王斌,陈杰,张立海,等.关于地质钻孔基本信息数据库服务利用的思考[J].中国矿业,2013,22(10):134-136.
[6]王斌,张立海,刘向东,等.基于VB钻孔基本信息数据采集系统的研究与应用[J].科技创新导报,2012(6):30-31.
[7]陈硕.基于钻孔数据的三维数字地层可视化系统研究[D].大连:大连理工大学,2008.
Thinking on the construction of service platform of national geological drilling database
WANG Bin,LING Yin-ping,HAN Jian,ZHANG Li-hai
(Cores and Samples Center of Land and Resources,Sanhe 101149,China)
The data of geological drilling is the most important information of geological work,and sharing the data of geological drilling is very important to the development of national economy and geological industry.According to the characteristics of geological drilling data,this paper introduces the tasks and principles of the construction of service platform,and focused studies the overall design,main functions and application of some new and key technologies of service platform,for example,technology of big data storage,automated peer,sliced,stepless zoom and so on.At the same time,it proposes the solutions and recommendations for the technical processing of confidential geological drilling data and the update of platform.
drilling;geological data;database;platform
王斌(1984-),男,汉族,山东泰安人,主要从事地质资料管理和服务利用研究工作。E-mail:wangbin_cgs@163.com。
G250.74;P624
A
1004-4051(2014)S2-0370-04
2014-09-17
地质调查工作项目“重要地质钻孔数据库平台建设与试点应用”资助(编号:1212011220350)