测绘资料档案信息一站式管理平台关键技术

2017-04-10 11:53郭海青程宏宇杨耀东朱王璋
测绘通报 2017年3期
关键词:数据中心测绘资料

郭海青,霍 亮,程宏宇,杨耀东,朱王璋

(1. 山西省基础地理信息院,山西 太原 030001; 2. 北京建筑大学,北京 100044;3. 北京中有联科技有限公司,北京 100036)

测绘资料档案信息一站式管理平台关键技术

郭海青1,霍 亮2,程宏宇2,杨耀东3,朱王璋3

(1. 山西省基础地理信息院,山西 太原 030001; 2. 北京建筑大学,北京 100044;3. 北京中有联科技有限公司,北京 100036)

在对现有测绘资料管理方法进行研究的基础上,依据信息化测绘的要求,设计了测绘资料档案信息一站式管理方案,实现了测绘资料档案信息一站式管理平台。实践证明,该方案能够适应不同部门的测绘资料管理需求,在提高资料管理效率的同时能够为用户提供更为便捷的测绘资料服务。

测绘资料;档案管理;一站式;数据中心

为了适应现代化测绘资料信息管理科学的发展趋势,满足信息化测绘的要求,需要提高空间数据生产单位测绘资料管理的科学水平与信息化程度[1]。随着测绘科学的进步,测绘技术与应用不断发展深化,与此同时,测绘部门积累了海量宝贵的历史测绘资料,包括4D(DEM、DLG、DOM、DRG)数据、航片数据、卫片数据、点云数据、模型数据、控制资料、文档资料、档案资料等,其数据存储的载体也种类繁多,包括磁盘、数据库、光盘、纸质文件等。测绘资料的数据量日益增长,测绘资料的管理也成为各测绘单位必须应对的复杂工作。

当前测绘资料的组织方式主要包括:基于元数据的组织方式、基于地图分幅的组织方式和基于图层的组织方式。其存储方式主要包括:文件方式、数据库和文件混合方式、基于关系型数据库扩展方式。管理人员根据部门的不同需求,选择不同的组织与存储方式。当前很多测绘单位采用基于元数据的组织方式与文件存储方式对现有测绘资料进行管理。由于测绘资料管理工作固有的复杂性,以及基于元数据的管理方式依据不同的分类需求将会产生多种分类方案,导致该项工作的工作量巨大,其在可移植性、可拓展性、可视化、自动化方面仍有较大的提升空间。如何在数字化条件下充分利用现有手段和技术对海量测绘资料进行全面、高效的管理,从而方便测绘成果的有效利用,为国民经济各部门提供更为高效、便捷的数据服务,这将成为测绘资料能否充分发挥其应有价值的关键。

本文设计了测绘资料档案信息管理一体化解决方案,该方案允许资料管理员根据需要灵活配置资料档案信息,管理流程与测绘资料的可视化效果直观,有效地提高了资料管理的效率。

1 测绘资料管理方案的关键问题

测绘资料不同于其他普通档案资料,它具有时域性、区域性、海量性、涉密性等特征[2],同时是对真实复杂地理空间的信息化表达,空间特征是测绘资料与其他类型资料的本质区别。设计和实施测绘资料管理方案需要综合考虑测绘资料的特点,同时兼顾实际的资料管理环境,需要考虑以下几个方面的问题:

(1) 可移植性、可拓展性。可移植性直接关系方案的实用价值,对测绘资料的管理既要考虑管理部门内部的具体情况,又要考虑不同资料管理部门之间的差异,由于不同部门之间实际情况和作业方式的不同,其对资料的分类及管理方式也将会有所区别,这就要求管理方案的设计要具有灵活的拓展性,以适应不同的管理要求。

(2) 管理流程与测绘资料的可视化。基于管理流程的特点与UI技术设计便捷的操作界面,在地图视图中展现海量测绘资料的空间信息,便于用户了解当前资料分布现状,良好的可视化效果是提高用户体验的重要手段。

(3) 测绘资料管理各流程的高效优化与整合。测绘资料管理包括资料的前期整理、资料建档、资料入库、资料发布等环节,在对各个环节进行深入分析的基础上对其进行优化与整合,这将在不同程度上提高测绘资料的管理效率,是方案设计的关键问题。

2 测绘资料档案信息一站式管理方案

2.1 概念设计

本文将数据的基本组成单元称为数据包,数据包的结构和内部关系如图1所示。

图1 数据包示意图

数据包由文件和档案两部分构成,文件是数据的存储形态,库房是文件的存储空间。档案是对数据的描述,本文将档案划分为基本信息、数据类型、文件格式、操作记录4部分。基本信息包含数据的公共属性,如名称、所属项目等。数据类型分为必选类型与可选类型,必选类型包括原始数据、过程数据、成果数据、空间数据、非空间数据、DEM、DOM、DLG、DRG、文档共10种,可选类型支持用户自定义,每一数据类型都对应各自的元数据,同一数据可能隶属于多种数据类型。文件格式由主文件格式与附属文件格式组成,如shapefile的主文件格式为SHP,附属文件格式包括SHX、PRJ、DBF等。数据类型与文件格式存在弱关联,如大部分shapefile文件属于空间数据及DLG数据。操作记录包括入库记录、更新记录、迁移记录、备份记录。档案是测绘资料管理的关键依据,建立清晰的档案结构与灵活的档案设计能够提高管理方案的可移植性与可拓展性。

2.2 逻辑架构

大部分测绘单位都积累了大量的历史测绘资料,占用了单位内部绝大多数存储空间,而且不同类型的数据可能采用不同的方式进行组织,难以统一管理,如果对现有数据进行重新组织和存储,将会产生很大的工作量。本文在不改变现有数据存储方式的前提下,基于数据包的概念和结构,设计了基于元数据的、统一标准的一站式测绘资料管理方案,如图2所示。

图2 一站式测绘资料管理方案

该方案依次包括数据存储、档案管理、数据管理、信息提取4个主要模块。

2.2.1 数据存储

虚拟库房是指建立在计算机和网络通信技术基础上,将存储介质不同、地理上分散的数据存储容器进行整理,在软件系统中形成具有统一形态、统一特性的虚拟网络映射。虚拟库房的种类包括服务器、硬盘、光盘、真实房间。该方案没有改变测绘资料现有的存储方式,用户仅需要将现有存储设备配置为虚拟库房。

2.2.2 档案管理

档案管理模块提供了灵活的档案配置方式,用户可以快速定制新的数据类型及其元数据、文件格式、项目档案等。该模块为测绘资料提供了高拓展性的管理框架,由于档案管理的高可配置性,该框架几乎可以兼容所有类型的测绘资料。

2.2.3 数据管理

数据管理模块提供了数据入库、数据更新、数据迁移、数据备份、数据发布、数据检查等整套数据管理流程。每个步骤都设计了便捷的交互操作界面,采用条形码电子标签对数据进行唯一标识,使用批量操作与数据读取插件提高自动化程度。

2.2.4 信息提取

信息提取模块提供了测绘资料的查询、统计、展示等功能,主要包括信息查询、信息统计、二三维展示等。

该方案实现了数据类型及其元数据、文件格式等多种档案信息的灵活配置与关联,具备较高的可移植性与可拓展性;在资料入库时自动提取元数据及其相关空间信息,包括外包框、快视图、参考系等,自动化程度高,并将提取的空间信息转换为经纬度坐标,便于实现空间数据的统一展示;入库成功后自动生成条形码作为唯一标识,为数据更新、迁移、备份提供依据;实现了多种定制化的查询和统计功能,便于用户了解数据现状,快速准确地定位感兴趣的数据;设计了测绘资料的一体化展示方案,使用二维视图和三维视图对数据的外包框和快视图等空间数据概要信息进行展现,增强了用户认知体验。

2.3 物理架构

测绘数据中心是包括一系列软件和硬件在内的,实现了测绘资料存储、管理、发布等综合性应用的测绘资源服务设施。在信息化时代下,构建综合、高效、安全的测绘数据中心,将会规范测绘资料管理流程,提高测绘资料管理的效率,增强测绘资料管理的信息化程度,减少人工操作带来的一系列隐患,加强数据的安全性。

该项目基于一站式测绘资料管理方案,设计了内网环境下的测绘数据中心,其架构如图3所示。

图3 测绘数据中心(物理架构)设计

该数据中心主要由以下4个部分组成。

2.3.1 数据超市

数据超市是指所有数据仓库的集合,数据仓库是存储测绘数据的容器,其种类可以包括数据服务器、磁盘阵列、光盘、真实房间等,数据仓库可以存储所有类型的测绘数据,每一数据都有唯一标识,在硬件条件支持的前提下,数据仓库的数量可以无限增加。

2.3.2 总控机

总控机面向的用户仅限于数据管理员,数据管理的主要流程在总控机上完成,包括入库、更新、迁移、备份、检查等。总控机是数据中心的枢纽,控制数据中心的各个部分进行协同工作。

2.3.3 应用服务器集群

应用服务器集群主要用于部署各种后台服务器,包括Web服务器、地图服务器、数据库服务器、业务功能服务器、FTP服务器、消息服务器等,各服务器之间协同运行、相互依赖,为测绘资料管理提供稳定的数据与功能服务。

2.3.4 浏览器

浏览器端面向的用户是数据使用者,用于浏览门户网站,主要提供数据在线查看与三维展示功能。

3 测绘资料档案信息一站式管理平台

该项目设计的测绘数据中心合理整合利用了测绘单位现有软硬件与数据资源,建立了高拓展性的数据架构,适用于数据量和数据类型不断增加的测绘资料的管理。本文综合运用GIS、互联网、数据库等相关技术,参考OAIS模型,针对测绘数据中心的各功能部件及其特点,在软件层面设计了测绘数据中心的技术架构,实现了测绘资料档案信息一站式管理平台,为各级用户提供了便捷的操作界面,支持测绘数据的快速定位与溯源,如图4所示。

图4 测绘资料档案信息一站式管理平台架构

测绘资料档案信息一站式管理平台由3个子系统组成,分别为一站式数据管理子系统、数据发布子系统、数据三维展示子系统。

3.1 一站式数据管理子系统

一站式数据管理子系统部署在总控机,面向数据管理员,通过目录服务获取数据存储的文件信息,实现了测绘资料管理流程的各部分操作,依次包括档案管理、数据管理、查询统计、数据检查、数据安全、常用工具、用户管理等模块。系统主界面如图5所示。

图5 一站式数据管理子系统主界面

3.2 数据发布子系统

数据发布子系统部署在应用服务器集群,由地图服务器、功能服务器等组成,实现了多源、海量、异构测绘数据的发布,客户端通过网络与服务地址请求相应的功能。

3.3 数据三维展示子系统

数据三维展示子系统在浏览器端运行,面向数据使用者,基于WebGL技术,实现了浏览器端无插件的三维展示效果,支持多源、多尺度、多参考系的测绘数据的一体化展示,提供了丰富的查询统计功能,使用户可以实时掌握数据动态。系统主界面如图6所示。

图6 数据三维展示子系统主界面

4 结 语

本文的研究成果适用于绝大多数复杂异构的测绘档案与成果数据的管理,提高了测绘资料管理的信息化程度,对测绘资料的管理和再利用具有重要的意义。

(1) 设计了适用于海量、多源、多尺度、多时相测绘资料的一站式数据管理解决方案。

(2) 构建了测绘单位内部的测绘数据管理体系,合理整合利用了现有软硬件与数据资源,研发了一站式管理平台,为各级用户提供了便捷的操作界面。

(3) 实现了海量测绘资料的二三维一体化的查询、检索与分析功能,增强了场景流畅性,提高了用户认知体验。

[1] 赵力彬,张新利,吕志勇,等. 测绘资料信息管理系统的设计与实现[J].测绘通报,2011(12):75- 78.

[2] 余建军. 测绘资料档案管理系统的若干关键技术研究[D].杭州:浙江大学,2012.

[3] 曾波,霍亮,朱王璋. 汾河流域测绘4D数据管理系统的设计与实现[J]. 测绘通报,2012(12):62- 66.

[4] 余建军,程超鹏. 省级测绘资料档案综合管理系统的研建[J]. 地理信息世界,2010,17(5):69- 72.

[5] 张磊,邵金强,张丽,等. 基于测绘应用的数据中心设计与实现[J]. 科技视界,2012(30):436- 437.

[6] 田玉山,樊文有,程卫恒. 基于数据中心的基础测绘成果管理系统的设计与实现[J]. 测绘通报,2011(2):70- 72.

[7] LAUGHTON P. OAIS Functional Model Conformance Test: A Proposed Measurement[J]. Program: Electronic Library and Information Systems,2012,46(3):308- 320.

[8] SHAON A,WOOLF A. An OAIS Based Approach to Effective Long- term Digital Metadata Curation[J].Computer and Information Science,2008,1(2):2- 16.

[9] SHARON M M. With a Little Help from OAIS: Starting down the Digital Curation Path[J]. Journal of the Society of Archivists,2011,3(22):241- 253.

[10] 时月娇. 基于用户视角的数字档案馆评价指标体系研究[D].上海:上海交通大学,2011.

[11] 杨伯钢, 张保钢, 白立舜,等.城市多元化测绘地理信息数据动态更新体系[J]. 地理信息世界, 2016,23(6):88- 92.

[12] 张琳,何宗宜,文定梦. 测量数据管理系统中多格式数据的导入与输出[J]. 测绘信息与工程,2006(1):34- 35.

[13] 马润霞. 大地测量档案管理系统的设计[D]. 西安:西安科技大学,2014.

[14] 帅开德. 测绘生产管理信息系统的设计与实现[D].长沙:中南大学,2007.

[15] YANG J L,ZHOU Q S,CAO X G,et al. Research on Set up of Web- based Surveying and Mapping Data Processing Center[J]. Applied Mechanics and Materials,2012,1800(170):2831- 2835.

Research on the Key Technology of a Station Management Platformfor Surveying and Mapping Data Archives Information

GUO Haiqing1,HUO Liang2,CHENG Hongyu2,YANG Yaodong3,ZHU Wangzhang3

(1. Basic Geographic Information Institute of Shanxi Province, Taiyuan 030001, China; 2. Beijing University of Civil Engineering and Architecture,Beijing 100044, China; 3. Beijing ZhongYouLian Technology Co. Ltd., Beijing 100036, China)

Based on the research of existing surveying and mapping data management methods, a station management scheme of surveying and mapping data archives information is designed according to the requirements of informatization surveying and mapping, and a station management platform for surveying and mapping data archives information is realized. Practice has proved that the program can meet the needs of different departments of surveying and mapping data management, improve data management efficiency and also provide users with more convenient surveying and mapping data services.

surveying and mapping data; archives management; a station; data center

2016- 07- 14 作者简介: 郭海青(1975—),男,高级工程师,主要从事数字城市建设、GIS软件研发与应用、数码航空摄影测量等工作。E- mail:654896575@qq.com

郭海青,霍亮,程宏宇,等.测绘资料档案信息一站式管理平台关键技术[J].测绘通报,2017(3):114- 119.

10.13474/j.cnki.11- 2246.2017.0098.

P208

A

0494- 0911(2017)03- 0114- 06

猜你喜欢
数据中心测绘资料
酒泉云计算大数据中心
测绘新技术在测绘工程中应用的常见问题及对策
浅析数据中心空调节能发展趋势
Party Time
PAIRS & TWOS
JUST A THOUGHT
关于建立“格萨尔文献数据中心”的初步构想
工程测绘中GNSS测绘技术的应用
04 无人机测绘应用创新受青睐
无人机在地形测绘中的应用