■滕 洁
省级测绘档案管理与服务系统研建
■滕洁
本文以广东省测绘档案管理与服务系统建设为例,探讨当前省级测绘档案管理与服务系统建设的思路和措施。
1.1归档数据量大
伴随对地观测技术的迅猛发展,测绘地理信息数据获取周期大大缩短,测绘档案归档数据量快速增长,主要表现在数据总量大(年均归档量达20TB)、单个数据文件大(单个遥感影像文件普遍在1G以上)、数据文件个数多,需要产生庞大的目录管理信息。这需要具备强大的测绘档案资源信息储备、过硬的测绘成果档案处理技术和高效的利用方式,才能使测绘档案服务满足社会的需求强度。
1.2测绘档案分类复杂、易于变化
按专业类型,分为大地测量、工程测量、摄影测量与遥感、海洋测绘、地图制图等,按资料类别,分为技术文件、外业观测资料、计算资料、成果资料等;按载体类型,又分为纸质、胶片、底片、薄膜、磁带、磁盘、光盘、硬盘等,按数据格式,又包含doc、txt、xml、shp、gdb、gwp、dwg、tiff、bil等。各类测绘档案的实体分类表结构差别较大,难以统一。
1.3现势性要求高
现势性是指所提供的测绘档案服务所提供的测绘成果资源要尽可能地体现当前最新的情况。随着当前城镇化进程的加快,地物地貌和各种信息数据日新月异,在大量的测绘档案涌入的测绘档案保管部门的同时,社会又对现势性好、精度高和大范围的测绘档案数据服务具有迫切的需求,这对测绘档案保管部门的管理和服务提出了更大的考验。
1.4时空特性强
测绘生产是在一定地域范围内进行的,因而作为测绘生产活动记录的测绘成果资料档案表现出明显的地域特征。同时,测绘档案也具有很强的时间特性,同一区域的测绘档案,在不同的历史时期一般具有不同的档案版本,各个时期的档案共同构成了该区域的发展轨迹,对于区域发展脉络的分析研究具有重要作用。
2.1海量数据管理力不从心
数据规模呈指数级增长,导致管理繁重;数据随项目分散存储,导致数据重复、冗余,并使设备资源浪费严重;数据查询提取困难,导致数据使用效率低下;历史档案数据的价值没有得到有效利用,档案数据整体性、安全性无法得到保障。
2.2档案管理与成果利用脱节
测绘档案具有项目特征,测绘项目从项目任务下达、项目任务生产、项目成果质检、成果归档到档案的利用服务,要经过很多环节和部门,当前的测绘服务平台无法实现项目的前端控制和全程管理跟踪,测绘档案的管理环节与服务环节是脱离的,导致测绘档案服务资源的更新速度跟不上数据实际获取的速度。
2.3汇交工作量巨大
一个建设项目所形成的测绘档案数据量往往具有数百GB甚至更大,且种类繁多、内容复杂、表现形式多样,这给汇交工作带来很大的难度。如果采用人工方式进行汇交,需要人工对汇交档案的完备性、规范性等进行检查并进行存储,人工提取相应的著录项信息,不仅工作量大、工作效率低,还容易出错。
3.1建设总体思路
省级测绘档案管理与服务系统主要针对当前测绘档案信息化管理工作中存在的问题和测绘档案的新特征,综合利用WebGIS技术、数据库技术、文件传输等技术而建立起来的,解决了现今测绘档案在存储、管理、分发利用过程中的种种问题,实现了测绘档案资料从项目任务下达、到档案汇交、组卷归档、查询检索、销毁、提供利用等全生命周期的信息化管理,提高工作效率,促进测绘成果档案社会化应用。
系统采用三层架构:基础设施层、数据存储层和应用服务层。数据存储层是核心,存储了测绘档案管理相关的档案实体文件、档案目录数据、元数据、空间索引等信息,空间数据与非空间数据分别通过ARCSDE和自定义开发的数据接口与应用程序进行通信。应用服务层通过Net Framework和ArcEngine 开发C/S模式的桌面应用,实现测绘档案的信息化管理,通过Flex 和ArcGIS Server技术开发B/S模式的web应用,实现测绘档案的网络化服务。
3.2核心解决方案
3.2.1数据组织科学化--解决海量数据存储与管理问题
1.数据存储模式
根据测绘档案的海量、大二进制等特性,采用文件与数据库相结合的数据存储模式,其中档案实体数据作为外部文件存储,档案的元数据、目录数据、空间索引等采用关系数据库管理,通过在数据库中存储实体数据的存放路径来实现关联。这种存储方式使得海量的档案实体文件数据传输快、摆脱了商用数据库数据储存量的限制,将目录数据等存储到数据库中,查询检索便利,提高了数据库利用率。
商用数据库平台选择当前国际上先进成熟的关系型数据库管理系统Oracle 软件,空间数据引擎选择ESRI 公司的 ArcSDE。另外对于档案所特有的光盘、底片、印刷地图、文本资料等采用档案柜存放,并采用虚拟库房的方式进行管理和查询。
2.数据组织形式
测绘档案的实体分类结构非常复杂,结合多年测绘档案管理经验,将繁杂的测绘档案实体分类归纳为四大类:成果类、控制片/加密片类、图历簿/调绘片类和文档资料类,成果类又分为基础地理信息、大地成果、模拟纸图、航空航天遥感卫星数据和专题成果五类,每一类再根据实体文件的结构进行细分,控制片/加密片类、图历簿/调绘片类和文档资料类不再进行细分。下图是测绘档案的数据组织结构,实线框类别是最小的实体分类,在数据库中各对应一张物理存储表。
3.建立空间索引
测绘档案成果类数据具有空间特性,通过建立空间索引,将地理位置与目录数据、实体文件等建立关联,可实现档案目录资源的可视化表达和检索。
在ArcGIS Server地图服务中,空间索引的质量对数据展现、查询检索的效率有较大影响。因此,在建立空间索引时,应尽量减少空间索引图层的数量,避免数据冗余。
图1 测绘档案管理系统架构图
基础地理信息和模拟纸图的空间索引通过图幅接合表来建立,如果为每一类型每个比例尺的数据建立图幅索引层,需要建立近50个索引层,为提高性能,每个比例尺建立一个图幅索引层,由各类型基础地理信息和模拟纸图共用,共建立8个索引图层,大大减少了数据冗余。大地成果的空间索引由点成果的概略坐标生成,需进行相应的脱密处理,水准点、GPS点、三角点、军控点和标石各建立一个空间索引图层。航空航天卫星遥感数据建立2个空间索引图层,其中航片索引图层通过像片的像主点建立,遥感影像数据的空间索引通过提前每一景数据的边界生成空间索引。专题数据需根据数据的实际情况来建立空间索引,例如提取边界建立、根据图幅接合表建立。
3.2.2测绘档案管理与服务一体化--解决管理与服务脱节问题
将测绘项目全生命周期各环节:项目任务下达,档案汇交、组卷归档、查询检索、销毁、提供利用等纳入到测绘档案信息化服务平台中,实现对项目的前端控制和全程管理跟踪测绘档案的完成情况,项目竣工验收后及时完成测绘档案的收集,对收集档案通过既定的质量管理及档案管理流程,以最快速度完成档案数据的整合,通过网络平台等多种手段,快捷提供利用,保证测绘档案资源的现行效用。
3.2.3测绘档案汇交智能化--解决汇交工作量大、效率低的问题
数据汇交要解决的问题是:如何把海量分类复杂、格式多样的汇交数据分门别类、高效智能的提取录入到系统对应的档案类别和物理存储表中。本文提供的思路如下图所示。
汇交设置环节的核心功能是进行“入库单位设置”,该功能确定了测绘档案管理的深度。在数据上传入库环节,一方面是将档案实体文件通过FTP上传到磁盘阵列进行存储,另一方面则是根据用户的“入库单位设置”自动提取实体文件的目录数据进入临时库中,并建立目录数据与实体文件的关联关系。
3.2.4应用搭建工具化--解决测绘档案分类复杂、易于变化的问题
图2 数据组织结构
系统运用工具化的思想,设计了灵活的“三步骤”定制功能。第一步:测绘档案分类可定制,可增加、修改、删除档案分类,以适应分类的调整;第二步:定义实体分类物理存储表,指根据实体分类表结构的变化,可在系统中新建、修改删除物理表及其字段;第三步:建立关系,为测绘档案分类指定对应的实体分类物理存储表,以实现测绘档案的存储,一个档案分类只能对应一张物理存储表,一张物理存储表可对应多个档案分类。这样系统就能灵活定制,可适应业务的不断变化,易于拓展。
3.2.5数据展现时空化
针对测绘档案具有的空间特性,设计了GIS图文一体化的档案检索功能。按照传统的档案查询方式如全文检索、模糊查询、自定义查询、SQL查询等检索出项目或档案文件后,可直接在地图上进行定位,可根据空间范围、档案属性字段等进行检索,检索结果直接定位在地图上,可关联查询其对应的项目、案卷、案件等的基本信息,也可关联到档案实体数据文件,可对比分析项目的计划汇交和实际汇交,比对多个项目的计划汇交范围、实际汇交范围等。针对时间特性,开发了测绘成果历史轨迹展现功能,用户可一目了然查询每一个成果或档案各个时期的版本的详细信息,包括每一个版本的生产日期、归档年份、被新数据替换日期、销毁情况、提供利用情况等。
(作者单位:广东省国土资源档案馆)