刁明光,薛 涛,李建存,许 彩,邹森忠,赵鹏飞
(1.中国地质大学(北京)信息工程学院,北京 100083;2.中国国土资源航空物探遥感中心,北京 100083)
在数字国土工程的实施中,我国提出了以提高地质调查社会化服务水平为目标,以数据支撑体系和技术支撑体系为基础,最终实现地质调查主流程信息化的工作思路[1]。在此思路的指导下,加强遥感数据集中管理和集成应用,提高数据使用效率和数据共享能力,对于统一管理和应用各类遥感数据具有重要意义。
随着遥感技术的广泛应用,有关部门采集和存储了大量空间数据[2],这些数据在应用方面主要有如下特征:①数据量大且多源,从GB级到TB级不等,且涉及不同的专题;②元数据标准多样,数据统一集成管理难以实现[2];③使用人员广泛,数据获取困难。GIS系统的核心是数据的应用。通过对空间数据特征分析发现,多源空间数据的特点导致数据不能得到有效的管理和组织,限制了其在实际应用中发挥最大作用的能力。对多源空间数据进行统一组织和管理,是解决由数据管理带来的应用困难问题的出发点。为此,多源空间数据管理系统的建立对于解决大数据量空间数据的应用问题具有重要意义。
针对多源空间数据的组织和管理,需要对元数据、空间数据检索统一规划。本系统通过对元数据标准进行扩展解决多源空间数据的元数据交换的问题;利用单机多SDE数据存储技术解决多源数据定位及共享问题;最后通过建立空间索引数据库,在单机多SDE的基础上,解决空间数据的快速检索的问题。上述设计思路在空间矢量数据和遥感数据上均是适用的。
统一的标准是能够规范地采集元数据和提供元数据信息服务的基础[4]。在地学领域,目前存在多种不同空间元数据标准,本系统在数据管理中除了要满足符合通用标准的空间元数据管理需要,还要满足相关数据应用部门的特殊需求,为此,在参照《地质信息元数据标准(DD2006-05)》[5]的基础上,在系统的开发过程中,要求将空间元数据与空间数据库及所属项目进行关联,并设计符合系统特殊要求的规范化的元数据信息内容,扩展后的元数据标准对空间矢量数据及遥感数据均可进行描述。如图1所示。
图1 地质信息元数据标准的扩展Fig.1 Extension of the geological information metadata standard
在《地质信息元数据标准》中,对图1A框中所示的8个子集共122项数据项进行了详细描述[5]。基于本系统使用单位的需要,实现元数据—空间数据、元数据—项目信息的关联管理,在元数据标准信息基础上添加了空间数据库信息和项目信息两个子集[6],扩展后元数据共213项数据项,如图1中B框所示。其中,空间数据库信息子集用于描述空间数据信息及其所在空间数据库的物理位置信息,实现元数据—空间数据关联管理,也为空间数据的快速检索定位提供信息;项目信息子集则用于描述空间数据所属的相关计划项目和工作项目信息,实现元数据—项目信息关联管理。
通过对地质信息元数据标准的扩展,可为解决多源空间数据的元数据交换问题提供基础。
基于XML(extensible markup language)的空间元数据交换主要用于实现在空间数据管理系统中,对空间元数据进行数据交换。同时采用XML作为交换媒介,不以数据结构为前提,具有很强的平台无关性和可扩展性。
尽管数据交换功能较常规功能而言具有一定优势,但同样存在生产效率低、维护成本高昂的问题。为了解决以上问题,采用模型驱动架构(MDA)相关理论,对空间元数据交换流程进行设计,并根据空间元数据的特点,在应用MDA的同时对其进行了一定的扩展,从而产生了模型—平台—数据源无关模型(data source independent model,DSIM)、数据源相关模型(data source specific model,DSSM)。
从数据转移的角度来看,空间元数据从源应用到目标应用需要经过源应用、数据源无关模型和目标应用3个状态。空间元数据在3者之间的转移可划分为3个业务流程:数据提取、数据处理和数据装载。数据提取和数据处理协作完成数据自源应用到数据源无关模型之间的传递,数据装载完成数据自数据源无关模型到目标应用的传递,流程如图2所示。
图2 空间元数据交换流程Fig.2 Spatial metadata exchange process
ArcSDE能够在多种关系数据库中管理空间数据并提供访问接口的空间数据引擎。针对资源与环境遥感数据多源的特点,在一个数据库服务器中建立多个SDE服务来定位不同来源、不同专题的大数据量空间矢量数据及遥感数据,达到多源空间数据共享目的,如图3所示。
图3 单机多SDE空间数据共享Fig.3 Spatial data sharing based on single machine mutiple SDE
由图3所示,单机多SDE的集成方式是在本地一个数据库服务器中建立多个SDE的空间数据库服务,即通过在一个数据库服务器中建立多个SDE服务和数据库实例来形成单机多SDE的空间数据库模式。这种模式将区域分散、数据量大的空间数据物理地集中到一起进行定位共享,增强空间数据库间的数据共享能力,提高数据访问的效率;同时,又从逻辑上将每个数据库分开,使每个数据库可以灵活地设计各自的逻辑结构,实现特别的业务模型或工作流程。
此模式下,虽然用户能够检索到所需的数据,但会花费大量时间,无法快速检索数据,索引数据库的建立则可帮助解决这一问题。
使用索引可快速访问数据库表中的特定信息,本系统索引数据库针对多源的空间数据库中的数据建立索引,如图4所示。
图4 空间索引数据库存储结构Fig.4 Spatial index database storage structure
数据组织形式是通过收集、制作平台数据库空间数据的地理范围、属性定义,建立数据库内部关联引用元数据信息、空间数据条目,实现包括空间索引属性数据和空间数据库基本信息的空间索引基础数据库的集中管理和空间数据库间属性数据—空间数据—元数据关联的数据检索功能,保证实体数据与检索数据的一致性,为平台的数据应用服务接口提供合理有效的数据支持,解决用户快速检索定位数据问题。基于图4的空间索引数据库,本系统将采用基于空间对象MBR(最小外包矩形)的空间索引方法在空间数据库中对空间数据建立索引,空间数据的检索模块采用的方法如图5所示,将实现空间数据的粗略检索和精确检索。
图5 空间数据检索方法Fig.5 Spatial data retrieval method
本研究是在“资源与环境遥感信息基础平台建设”(以下简称平台)项目的基础上进行的,该平台用来对资源与环境遥感空间数据进行组织管理的同时提供专业操作应用,平台建设实现过程可划分为数据库集成、系统安全、数据服务及专业4个方面。本研究形成的系统对应于平台的数据库集成和数据服务两方面内容,以实现对大数据量的多源空间数据的组织和管理,实现部分的数据以空间矢量数据为例进行功能展示。
系统采用B/S三层体系结构[7],这种体系结构具有方便维护、可扩展性强、安全性高、重用性好、可靠性高等特点,各层的调用关系和主要功能划分描述如下:
1)表示层。本层是用户界面,接收用户事件,用户通过客户端的浏览器向中间层发送操作请求及查看请求返回的响应信息。
2)中间层。本层负责数据处理和传递,在表示层接收用户提交的操作请求或数据信息之后,采用ADBRAC权限模型[8]提供系统安全校验;在第三方控件(ArcGIS Server for.NET框架类库)的基础上提供系统各项功能操作(元数据管理、空间数据管理等);通过采用对象/关系映射方式访问数据库服务器里的数据。在本层中通过数据访问层访问数据,经过通用层和业务逻辑层的处理之后得到用户需要的数据,最终通过表示层以界面的形式展现到用户的浏览器上。
3)数据存储层。本层是业务对象的属性得以永久性保存的载体[7],在本系统结构的数据存储层,采用图3及图4所示的多源空间数据组织和管理的技术和方法建立元数据库、空间索引数据库和项目信息数据库,实现对多源资源与环境遥感空间数据及其元数据和平台特殊需求的项目信息的存储管理,为平台建设提供稳定的数据支撑。
图6 平台功能图Fig.6 Platform functions
本文重点讨论多源空间数据管理问题,即图6中数据服务部分的数据管理功能(元数据管理、图层数据管理和空间数据库管理[8]),其他功能在此不作详细描述。为了保证系统的可用性,系统共收集了75幅索引图幅和全国32个省(市、自治区)的700幅基础图幅(包括地质灾害、矿产资源、森林植被等矢量图幅)进行系统测试。
数据服务具有对元数据、图层数据和空间数据库进行组织管理,实现各数据的增、删、改、查功能及元数据、图层数据和空间数据库分别进行的关联管理。元数据在规范化扩展之后定义了213项数据项,对空间数据库或图层数据的属性均能做到详细准确的描述。在根据元数据查询时则根据这213项数据项中的关键参数属性进行图层数据的查询。
在空间元数据管理和图层元数据管理时,均可实现元数据信息的编辑和交换功能,交换即实现元数据的XML格式或纯文本文件格式的导出和XML格式文件的导入,如图7所示。此功能解决了当前多种介质文件数据交换问题,利于多部门快速实现数据交换使用。
图7 交换格式文件Fig.7 XML(left)and text(right)exchange format file
空间数据库管理则是系统管理员或是授权的用户能够通过SDE连接系统所需使用的空间数据库如图8所示。
图8 空间数据库管理Fig.8 Spatial database management
图层管理功能是提供授权用户将系统所需使用的各空间数据库中图层矢量数据移入或移出系统索引数据库,实现系统图层数据的更新,如图9所示。其中,图层元数据管理界面如图10所示,元数据信息管理界面如图11所示,在图11A中对元数据的213项数据项进行了折叠显示。
图9 空间数据库图层导入导出Fig.9 Importing and exporting of spatial database layers
图10 图层元数据管理Fig.10 Metadata management of layers
图11 元数据信息管理Fig.11 Metadata information management
在分析当前空间数据的特点基础上,基于地质信息元数据标准的多源空间数据管理系统,通过对元数据标准的扩展,解决多源空间数据的元数据交换的问题;利用单机多SDE数据存储技术,解决多源数据定位及共享问题;通过建立空间索引数据库,在单机多SDE的基础上,解决空间数据的快速检索的问题;最终,在系统中实现了元数据管理、图层数据管理和空间数据库管理等数据管理功能。系统的实现为平台的建立提供了数据支撑和功能扩展接口。继本研究之后还将继续研发平台的各项管理功能和扩展功能。
[1]周家寰.地质调查信息化建设成果及思路[J].国土资源信息化,2005(5):4-6.Zhou J H.Achievements and consideration of geological survey informatization[J].Land and Resources Informatization,2005(5):4-6.
[2]胡 鹏,黄杏元,华一新.地理信息系统教程[M].武汉:武汉大学出版社,2007.Hu P,Huang X Y,Hua Y X.Geographic information systems tutorial[M].Wuhan:Wuhan University Press,2007.
[3]冯 敏,诸云强,王卷乐,等.分布式多标准地学元数据共享研究与实践[J].地理与地理信息科学,2007,23(6):8-13.Feng M,Chu Y Q,Wang J L,et al.Research and implement of distributed multi- standard geo- metadata sharing[J].Geography and Geo-Information Science,2007,23(6):8-13.
[4]王成锡,张明华.国家地质信息元数据管理系统的开发[J].国土资源信息化,2011(2):12-15,24.Wang C X,Zhang M H.National system of geological information metadata[J].Land and Resources Informatization,2011(2):12-15,24.
[5]中国地质调查局.地质信息元数据标准(DD2006-05)[EB/OL].http://www.cgs.gov.cn/YWguanli/BZguifan/ZGdizhidiaochajudizhidiaochajishubiaozhun/578_1893.htm.2006.China Geological Survey Bureau.Geological Information Metadata Standard(DD2006-05)[EB/OL].http://www.cgs.gov.cn/YWguanli/BZguifan/ZGdizhidiaochajudizhidiaochajishubiaozhun/578_1893.htm.2006.
[6]赵鹏举,刁明光,薛 涛,等.一种基于地理信息元数据标准的空间索引体系[J].科技导报,2010,28(8):84-88.Zhao P J,Diao M G,Xue T,et al.A geospatial index architecture based on geological information metadata standard[J].Science and Technology Review,2010,28(8):84-88.
[7]王伟雄.浅谈三层体系结构应用系统[J].价值工程,2010(23):162-164.Wang W X.Discussion on the three layer architecture applications[J].Value Engineering,2010(23):162-164.
[8]刁明光,薛 涛,李建存,等.资源与环境遥感项目成果信息服务系统权限模型的设计与实现[J].国土资源遥感,2009,21(4):101-104.Diao M G,Xue T,Li J C,et al.The design and implementation of the permission model on the results and projects information services system of resources and environmental remote sensing projects[J].Remote Sensing for Land and Resources,2009,21(4):101-104.
[9]Li J C,Diao M G,Xue T.Application research on WebGIS index system based on fractal theory information and automation-international symposium[C]//ISIA2010,Revised Selected Papers,2011,309-316.