康 庄,王永力
1.中国地质调查局沈阳地质调查中心,辽宁沈阳110034;2.天津地质调查研究院,天津300191
大数据背景下的地质成果数据服务
康 庄1,王永力2
1.中国地质调查局沈阳地质调查中心,辽宁沈阳110034;2.天津地质调查研究院,天津300191
在大数据环境下的地质数据服务应改变传统服务模式,创新与变革服务理念和服务方式.通过构造基于数据的开放协同的研究与创新模式,搭建数据共享平台,使地质数据资源的积累存储、加工处理、研发服务一体化,进而实现数据的流通、共享和使用,提高地质数据服务能力.
大数据时代;地质数据;信息化;服务模式;数据共享
早期地质资料管理相对分散,加之地质调查机构的调整变化,部分数据资料濒于失散.中国地质地质调查局成立后,依托全国地质资料(包括原始地质资料、成果地质资料和实物地质资料)汇交管理工作机制,完善地质资料的汇交监管平台,加强汇交监管,促进地质资料的有效汇交,累积了丰富的地质资料与数据.然而,由于当前我国地质资料信息相对分散,服务面窄,产业链短,集成化程度较低,不足以应对当今快速增长的资源供给、环境保护、工程建设和防灾减灾等工作的需求.所以,如何更有效地开发利用地质数据信息,逐渐地成为一个值得深思的课题.
地质成果数据是地质调查工作中获取的海量基础地质成果资料,在矿产勘查、地质科学研究等各方面应用取得的重要成果,这些资料以传统的文字报告及图件形式系统地描述了区域地质特征、基岩岩石及盖层沉积的性质、矿产及矿化分布以及区域地质演化过程,属于基础性的资料,并已成为国土资源合理开发利用、矿产资源评价、国民经济建设、区域经济建设、区域规划制定、地质环境保护等项工作所必需的基础资料.充分开发和利用这些资料,必将极大地促进我国国民经济健康、快速地可持续发展.
当今世界已步入大数据时代.数据成为了科学研究的基础.科学家利用数据不仅可以分析解决重大科学问题,而且根据海量数据的知识化、可计算化,构造了基于数据的、开放协同的研究与创新模式[1].在地球科学领域,协同操作的数据、信息、系统、空间基础设施对整个地球科学学科和应对变化中的地球及其面临的巨大挑战至关重要[2].如何对地质数据进行进一步分析与加工处理,整合集成后提取具有更高价值的地质信息,需要大数据新理念的指导和大数据新技术的应用.基于地质大数据技术的分析处理,通过化散为整、化异构为同构,对非结构数据和知识服务进行建模,实现技术转化和服务创新.
以美国为首的西方发达国家,地质资料社会化服务基本采用一站式服务.重视社会公众需求服务,地质产品多样化、系列化,服务方式多样化;严格的审查核准,确保信息真实;严格的发布机制,确保地质资料的各项权益不被侵占;社会化、专业化、科普化,服务机构众多,遍及各个区域;公益性与商业性服务共存;完善的客户服务制度体系,明确的考核标准.地质资料的服务对象更为广泛,不仅是各级政府机构和地质相关管理部门,如水资源管理、环境保护、地质灾害管理部门,以及教育机构和专业研究组织,还包括本国的企业、国内一般公众以及国外的客户.
美国2005年通过新的能源政策法——国家地质和地球物理数据保存计划(NGGDPP),以实现存储、维护地质、地球物理和工程数据、地图、测井和样品以及建立国家地质资料信息存档材料目录的目标;建立了一个涵盖地球科学材料和数据存储库的独立运作的全国性合作网络,并遵循通用的标准、程序以及协议.用户可通过一个基于互联网的国家数字目录浏览这些资料库.通过整合这些存储库,提供一个来源广泛的地球科学数据和资料库来满足整个国家的需求[3].美国地质调查局拥有完善的数据信息.为了向公众提供比较详细的地质资料信息,美国地质调查局提供了多种途径供公众获取资料.由他们提供的大多数信息都可以通过由第三方提供的插件在线免费阅览以及下载.一些特殊的详尽信息,通过地质调查局的整理汇总,由他们的网络商店向公众出售.此外,美国地质调查局还提供很多他们旗下的组织以及商业合作伙伴的链接或联系方式,以便公众获取更为详尽的信息.
在澳大利亚,澳大利亚工业、旅游与资源部所属的地球科学局(Geoscience Australia)是其地质资料的国家管理与发布机构.利用官方网站(Http://www.ga.gov.au)发布新产品.针对对地质资料的不同精度需求,为公众提供免费或廉价的非涉密的地质资料.地质资料数据产品丰富,从地形数据到各地球科学专题,卫星摄影、航空摄影等;基础数据库作为免费下载服务产品,如1∶25万地质图航空地球物理数据库,OZCHEM全国重力数据库岩石地球化学数据库,OZMINO Oracle相关数据库,包含澳大利亚的矿床地质和资源信息,涉及60个矿种的1000多个矿床等.地学相关信息标准和数据模型、数据访问和传输解决方案由GGIPAC(由澳大利亚各个州和地区的地质调查局和澳大利亚联邦政府的地球科学局的代表以及新西兰地质调查机构组成)建立.地质资料信息汇交具体的数据格式和模板由澳大利亚联邦政府通过制定《澳大利亚数字勘探数据提交要求》(2004)来统一规定[4].澳大利亚地球科学局每年都会生产许多产品,定期发布《地球科学产品目录》,通过网站和销售中心向公众提供.
根据地质调查成果所包含的内容以及成果载体的特征,确定中国地质调查局地质调查成果数据产品由地质数据库、地质图件、资料文献、技术方法、仪器设备、技术标准六大系列组成.地质数据库:以地质调查工作所获得的基础数据为主体,是地质调查成果服务产品体系中的基础服务产品.主要内容包括覆盖各个专业的全国性大型数据库、不同调查专项的专题数据库等.地质图件:以图件方式表达地质调查工作成果,主要反映地质调查权威的、基础的地质调查成果.地质图件是地质调查工作成果的最主要的表现形式.资料文献:以地质调查工作项目汇交的地质资料为主体,主要内容是调查项目的成果报告,也包括应该向国家汇交的实物地质资料和原始地质资料.文献资料包括地质调查项目资助论文和正式出版物.技术方法:按照国家地质工作指导思想和地质工作为国民经济和社会发展服务的实际需求,通过解决地质调查中关键勘探方法技术难题,促进地质调查工作整体水平提高.仪器设备:指地质工作中使用的收集、存储、识别、处理地质信息,解释和推断地质现象的器具.地质信息涉及的范围极为广泛.宏观方面包括大地构造、地形、地貌、地层、地球物理场、岩石和矿物的各种物性参数,土壤和水域中化学元素的含量与分布情况等;微观方面包括岩石、矿物的光片和薄片在显微镜下呈现的物质组成、结构和演变特征,元素的裂变径迹等.包括水工环地质技术装备、遥感勘查地质技术装备、海洋地质技术装备、勘探技术装备、探矿工程技术装备、矿产综合利用技术装备.
1)创新数据服务模式
传统服务模式仅能提供数据借阅式的服务,制约了地质数据的利用、开发.应通过专题开发、数据产品定制,丰富数据产品,提供增值服务,满足多元化服务需求[5].要围绕资源、环境、工程等不同需求,根据国家和部门各类需要,及时编制服务于区域战略规划的专题服务模式.同时在充分尊重地质成果资料的基础上,二次开发地质资料,为社会提供丰富多彩的地质数据产品,改变以往传统的地质数据服务形式与方式,适应国民经济、社会发展与新时期地质工作的需求.
针对不同的服务对象,采取公共服务与社会化服务相结合的服务模式:针对国家宏观决策部门,了解国家具有公益性特征的重大项目,主动开展地质数据集成开发服务;对专业化生产部门,除提供包含公益性服务的内容外,还为以盈利为目的的生产部门提供服务,并在提供借阅服务的同时,积极开展项目合作;针对社会公众,在互联网服务的基础上,可以采用先进适用的信息技术,建设地质信息服务机构共同参与的共享服务平台,为地勘企事业单位提供统一、优质、高效的“一站式”地质信息共享服务.
2)促进数据共享理念
在非涉及国家安全、商业机密、个人隐私条件下地质数据及时共享,保证数据质量原始性和及时性.原始性要求数据是一手的,非经整合或修改.及时性即数据必须以最快的速度更新和发布.数据向全社会共享,人人可获取.大数据时代,数据已成为继劳动力、资本、土地、物质资产外重要的“国家基础性战略资源”.数据开发应用、数据价值挖掘的前提是数据资源的获得.
数据共享将带动地质行业各部门间数据交换的领域和数量的进一步扩展,从以往彼此割裂、互不融通的零散数据转向相互融合、重构、延伸的区域综合性数据[6].打破数据壁垒、连接信息孤岛后,数据应用场景更加丰富,应用种类更加高级,数据挖掘和分析的结果、地质数据对政府治理现代化的辅助作用逐渐显现[7].随着地质数据共享的常态化,决策主体变得多元化、异质化,有利于公平民主因素的融入,增加了决策的准确性;在环境治理、地质灾害、工程建设等方面提供有效的数据支撑.随着移动互联网的加速发展,云计算、大数据、物联网等新技术融入到地质工作中来,将带动“互联网+”地质调查工作新模式.
在未来,科学和工程上的国际领先地位将越来越取决于在数字化数据的优势,取决于通过成熟的数据挖掘、集成、分析和可视化工具将其转换为信息和知识的能力.因此,在国内机构层面、国家层面应采取一系列的行动计划,建立科学研究数据的公共访问机制,为科学研究和经济建设服务,并保持在科学研究和工程技术领域的领先地位.回顾我国近10年来地质数据共享的运行管理机制,总的来说,在保障国家安全的保密性管理机制方面还是成功和有效的.建立了有效的保障系统,基本上没有出现大的问题.但是,在公益性和产业化两种机制的划分上就不十分清楚,其中最主要的问题是对数据的产权划分不清楚.数据共享机制是建立数据共享工作的重要环节[8].在中国地质调查局和国家层面上建立强制性机制,规范数据共享行为,是数据共享机制建设的第一步,也是最关键的一步.
机制保障体系的主要内容包括:
1)健全中国地质调查局和国家层面的政策法规体系.针对地质数据不同产权性质,在政策法规中作出明确规定,通过立法、监察以及司法等法治环节保障共享,杜绝以数据为表现形式的国有资产的流失和损失.
2)在强制性运行机制下,严格区分保密性管理机制、公益性共享机制和市场管理机制3种不同的情况.
3)对于可能危及国家安全、影响政府政务、涉及个人隐私的数据和信息均纳入保密性运行机制中管理,并对这些内容作出十分严格和明确的规定.同时,参与这些数据及信息开发和管理的人员需要与单位签订保密协议,地调局与各个单位安全主管负责检查数据和信息的安全性执行情况.
对私营企业投资产生的数据,纳入到市场运行的管理体系.国家通过对开发证的批准、税收、反经济垄断等渠道加以管理.
要实现基础地理信息的共享并使之与其他经济、社会信息相互联系,就要求建立统一的基础地理信息的内容与表达标准、空间元数据标准、空间数据交换标准、空间数据分发服务标准、空间数据库互操作标准等.地质数据学科门类复杂,数据资源格式多种多样,标准建设在地学数据管理、转换、共享、应用等方面起着举足轻重的作用.统一的标准是地学信息进行协同操作的基础.信息技术的发展对标准建设提出需求,同时标准的实施与应用促进了新技术、新方法的发展.目前在重要的国际项目与数据共享领域应用广泛的数据转换标准、地质样品注册标准、地质与环境科学术语标准[2],如 GeoSciML v3.0、Earth-ResourceML v2.0、OzSoilML、CoalLog等,体现了标准与信息技术的融合.
数据共享平台(图1)是整个数据共享支撑体系的联系纽带,直接关系到数据共享服务的质量.通过元数据和数据托管可以有效地整合集成分散的数据资源.在提供数据的同时,提供配套的数据文档及知识,才能真正让用户应用这些数据[9].
图1 地质数据共享平台架构Fig.1 Architecture of the geological data sharing platform
3.4.1 数据检索服务
以元数据为核心实现数据的整合和搜索服务.元数据是对数据进行描述和说明的数据,即关于数据的数据,是关于信息资源的形式、主要内容、存放位置等信息的综合,是多源数据资料获取、智能分析的关键.通过对元数据的整理从而达到对这些知识和信息的归类汇总来提供搜索服务.
3.4.2 数据维护
利用“地质云”平台建立云存储模式,实现数据的一体化组织,搭建服务虚拟化的地质云计算平台,提供服务管理、搜索调用,实现数据动态汇交及更新.针对地质调查工作项目部署特点,从体系架构上可以采用分布式数据共享平台,将数据本身的管理和处理工作交给数据的生产和提供方,多数情况下,是产生数据的项目负责人.这样,数据生产和提供方持有数据内容和格式的控制权,更有利于数据本身的维护.
3.4.3 数据获取
除了倡导共建、共享数据理念以外,可以在数据资源整合和汇交策略上将从科研项目中获取数据资源作为一个重要的途径.通过架起数据和数据活动参与者之间的桥梁,主动与科研人员接触,了解他们的需求,并提供数据集产品,而用户在获利以后也会主动的将自己的数据提交共享.通过互动的方式逐步吸纳用户参与到数据共享活动中来,由此建立一种良性循环机制,使得数据共享工作不断深入.
随着云计算、大数据、物联网、GIS等新技术融入到地质工作中来,地质勘查、找矿工作全流程信息化与智能化,数据是公共决策最重要的依据.大数据将驱动地质工作变革与创新.因此要重视数据服务,重视数据在决策中的支撑作用,创新与变革服务理念与服务方式.通过数据共享平台使地质数据资源的积累存储、加工处理、研发服务一体化,进而实现数据的流通、共享和使用,提高地质数据服务能力.
(/Continued on Page 520)(/Continued from Page 524)
[1]Moody D W,Kays O.Development of the U.S.Geological Survey Bibliographic System using GIPSY[J].Journal of the American Society for Information Science and Technology,1972,23(1):39.
[2]刘荣梅,严光生,夏庆霖.从第34届国际地质大会看地学信息技术发展趋势[J].地质通报,2013(4):685-692.
[3]芦书文,朱卫红.美国地质资料信息服务发展研究[J].中国矿业,2013(9):77-82.
[4]赵伟,潘懋,郭艳军,等.澳大利亚地质资料信息服务现状及其对我国的启示[J].中国矿业,2013(7):53-57,67.
[5]文艳,田新忠.地质资料信息服务模式研究——以新疆地质资料馆为例[J].安徽农学通报(上半月刊),2011,19:143-144,152.
[6]陈军,王春卿.关于科学数据共享机制的思考[J].中国基础科学,2003(1):42-45.
[7]Rajaraman A,Ullman J D.大数据:互联网大规模数据挖掘与分布式处理[M].王斌,译.北京:人民邮电出版社,2012:67-69.
[8]诸云强,朱琦,冯卓,等.科学大数据开放共享机制研究及其对环境信息共享的启示[J].中国环境管理,2015(6):38-45.
[9]刘润达,诸云强.科学数据共享关键问题探索——以地球系统科学数据共享网为例[J].地理科学进展,2007(5):118-126.
GEOLOGICAL DATA SERVICES UNDER THE BIG DATA BACKGROUND
KANG Zhuang1,WANG Yong-li2
1.Shenyang Institute of Geology and Mineral Resources,CGS,Shenyang 110034,China;2.Tianjin Institute of Geological Survey,Tianjin 300191,China
Geodata services should innovate and change the traditional service modes and service concepts in the big data environment.By constructing data-based open collaborative research and innovation model,data sharing platform can realize the service integration of geodata resources storage,accumulation,processing,research and development,to achieve data flow,sharing and usage,thus improve the geodata services.
bigdataera;geologicaldata;informatization;servicemode;datasharing
1671-1947(2017)05-0521-14
P628
A
2017-05-02;
2017-06-20.编辑:张哲.
国土资源大调查项目“国家地质数据库建设与整合项目”(编号121201207000171401).
康庄(1979—),男,高级工程师,从事地质信息技术、地质空间数据整合与集成研究,通信地址辽宁省沈阳市皇姑区黄河北大街280号,E-mail//sybeetle@126.com