张红文,程明慧,夏定辉
(1.重庆市地理信息中心,重庆 401121;2.华蓥市林业局,四川华蓥638600)
FME支持下的空间数据库更新技术
张红文1,程明慧2,夏定辉1
(1.重庆市地理信息中心,重庆 401121;2.华蓥市林业局,四川华蓥638600)
保证数据库现势性,利用多源数据实现快速更新成为必然,研发批量数据更新技术成为趋势。针对建立数据之间的转换关系是批量数据更新的关键,结合重庆市的1:500空间数据更新机制,对数据特征进行了深入研究,充分发挥FME技术平台优势,采用数据库批量更新技术,实现了一套符合我市空间数据库更新技术流程。
空间数据库;批量更新;FME技术
基础地理空间数据库对地区发展数字化、信息化有着重要作用。目前,重庆市基础地理空间数据库已经建成。近些年来,随着重庆政治经济文化所发生巨大变化,城市面貌日新月异,据统计,2008年就有约200km2的地区焕然一新,以此计算,若不加强空间数据库的及时更新,估计在2至3年内,目前的整个空间数据库将完全不能满足现势要求,因此需要找到一条快速、有效更新空间数据库的方法,保持我市数据库现势性以支撑城市建设和经济快速发展的需要。在这些年,我们学习、借鉴其他城市的成功经验并不断开拓创新、积极探索,逐步形成了适合自身特点的基础空间数据库更新的技术体系。本文结合重庆市1:500空间数据更新机制,通过对数据特征的深入研究,提出了基于FME的空间数据批量更新方法,为基础空间据库的更新、管理提供了借鉴作用。
FME Suite(Feature Manipulate Engine)是加拿大SafeSoftware公司推出的一套完整的访问空间数据的解决方案的软件,可用于读写、存储和转换各种空间数据。该软件是基于OpenGIS协会提出的新的数据转换理念“语义转换”(宽通道转换)进行数据的管理[1]。FME通过转换过程的数据重构,实现不同格式(模型)的空间数据间的转换。此外,系统还能改善用户已经录入的数据的质量,对不同格式数据进行集中管理。
FME语义转换属于数据格式转换的范畴,但有别于传统的数据格式转换。语义转换是通过在转换过程中重新构造数据,利用语义文件映射提取源数据的不同层面和内容,来满足最终用户或系统的需求[2]。它利用可重新定义输入或输出数据的引擎 (数据模型),保持内部一致性和可扩展性。输入、输出格式或系统的数据模型映射到该引擎,不再需要满足最低公用标准的要求,改变了传统格式转换应用程序对各自系统的种种限制要求,其转换流程如图1所示。
图1 FME语义转换流程图
2.1 空间数据库更新的关键技术
2.1.1 批量更新技术
根据数据生产者所提供的更新信息内容,数据库更新主要分为 2种方式:增量更新和批量更新。所谓增量更新是指在主数据库更新过程中或之后,只记录或提取新版数据中发生变化的要素及相关信息,然后将这些信息以增量文件的方式集成到原来数据库中的过程。而批量更新是指在数据库更新中,直接通过数据删除、新增、接边等方式,将更新数据按要素更新,替换原有数据[3]。
重庆市1∶500数据目前主要采取离散的方式进行生产,即由项目建设单位负责组织数据的生产,数据的生产单位和技术要求也不尽相同,缺乏统一协调,同时增量式更新更适合于地形地貌变化不大的小比例尺数据的更新,因此重庆需要采取批量更新方式进行基础地理信息数据库的更新。
2.1.2 多源数据集成技术
在数据库更新过程中,我们常使用不同数据源、格式多样的基础空间数据,其数据生产平台不同且采用的编码标准、数据质量千差万别,因此如何将多源数据通过某种技术手段、方法统一到标准基础空间数据库中成为目前地理空间数据库更新的重要课题。我们通过引入FME的语义转换优势,同时深入挖掘各种来源数据的特点,建立合理的语义映射关系,实现了多源数据的集成更新[4]。
2.1.3 模版控制技术
基础空间数据库更新是多级比例尺、全要素的更新,更新工作量和复杂程度非常大,而城市的快速更新、发展要求我们能够提供一个更及时、有效的基础空间数据资源,因此更新效率不高一直成为基础空间数据库更新的重大难题。在FME平台中引入模版控制技术,实现了数据库的快速、规范化更新[5]。在更新过程中针对不同的数据情况灵活建立语义映射模版、转换模版、质量检查模版等各类建库模版,将建库过程模块化、规范化,能够灵活、自动地控制数据更新过程,同时极大地提高生产效率。
2.2 基于FME的重庆市基础空间数据库更新
2.2.1 建立映射关系
通过对DWG数据的分析,将数据整合为点、线、面和注记4种几何类型。如block或cell的几何类型为点;等高线、陡坎、河流及沟渠等的几何类型都是线;房屋、湖泊水库等的几何类型为面;文字说明、数字等的几何类型为注记。根据数据的属性信息(名称、颜色、图层、大小、旋转角度、坐标等)判断图形表示的是什么要素,建立对应的要素的映射表。
根据上面的原则,在数据与标准数据(满足《重庆市基础地理信息电子数据标准》DB50/T286-2008要求的数据)之间,建立起一个数据映射模型[6],如图2所示。
图2 数据映射关系图
下面给出常见的CAD数据映射表实例表,通过这些映射关系,在CAD数据与标准数据之间搭建了一座桥梁,使二者之间能够实现数据相互转换,如图3、图4所示。
图3 点数据映射表
图4 线数据映射表
2.2.2 更新流程设计
映射关系建立完成后,我们设计数据更新流程来进行数据更新。数据库是采用ArcSDE技术建设的,需把DWG数据格式统一转换到shp、gdb等格式。FME的读取一般采取以下2种方式:一种是按图层信息读取,这种方式比较适合分层统一数据;另一种按数据几何类型读取(即按照点线面的方式读取)[7]。由于我市更新数据的现状存在要素分类、分层标准不统一等问题,所以在设计流程时我们采用第二种方式,按数据几何类型读取。数据更新流程如图5所示。
图5 CAD数据更新流程图
2.2.3 批量转换
在建立好的映射关系模版和更新流程模版基础上,通过批量转换器实现数据的批量转换,提高更新效率,如图6所示。
图6 批量转换示意图
2.2.4 质量检查
通过检查方案的确定、检查模版的定制、质量检查、报告输出等环节,对更新成果进行产品级、图层级、地物级的全面检查,保证更新数据的质量[8]。产品级检查项包括数据命名规范、数据格式规范、元数据项值合法性、图层是否存在等。图层级检查项包括图层名称是否正确、属性定义是否正确等。地物级检查项包括编码分层正确性、字段值是否符合规范、数值一致性、拓扑关系是否正确、几何画法是否符合规范、几何类型是否正确、空间包含性、几何依赖性、空间分布性、几何接边、属性接边等,如图7、图8所示。
图7 质量检查模板设置图
图8 质量检查示意图
图9是数据转换前后的效果对比情况,通过上述过程转换后,图形信息几乎没有什么损失,要素之间保持了正确的拓扑关系,同时在转换过程中实现了要素编码等属性赋值及要素的自动分层,达到了数据库更新的要求,如图9所示。
图9 更新前后对比图
快速更新空间数据库采用批量式更新技术,关键在于如何建立数据之间的转换关系,准确有效地处理空间数据。基于语义转换方式可以自动实现要素图形、属性、分层重组等,把人们从繁琐的数据转换处理过程中解放出来,全身心投入数据资源本身的研究分析,大大提高了空间数据的处理、转换效率,极大地提高了数据库的更新速度。
[1] 李刚,朱庆杰.基于FME的城市GIS基础空间数据格式转换[J].测绘通报,2006(4):17-21
[2] 潘邦龙,赵俊三.利用FMESuite实现MapGIS地图数据和Geodatabase间的语义转换[J].四川测绘,2007(3):56-59
[3] 刘勇,李成名.城市基础空间数据库更新方法研究[J].测绘科学,2006,31(4):121-125
[4] 曾巧玲.利用FME实现GIS与CAD的语义转换[J].计算机工程与应用,2005,41(3):254-257
[5] 吴秀芹,张洪岩.ArcGIS 9地理信息系统应用与实践[M].北京:清华大学出版社,2007
[6] DB50/T286-2008.重庆市基础地理信息电子数据标准[S].
[7] 王厚之,肖剑平.基于FME建立GIS基本地形数据库建设方法研究[J].城市勘测,2006(3):15-18
[8] 钟耳顺.地理信息系统技术开发、应用与产品[J].中外科技信息,1998(12):56-58
Research on Updating Spatial Database Technology Based on FME
by ZHANG Hongwen
In order to ensure that the database updating,use multi-source data to achieve rapid updates become inevitable,bulk data updating technology has become the trend.Combined with the Chongqing City 1:500 spatial data updating mechanism,the paper conducted the thorough research on the data characteristics,with the help of FME technology platform,study a set of spatial database updating technology process.
spatial database,batch update,technology of FME
2011-10-14
项目来源:重庆市科委科技资助项目(CSTC,2009CB2015)。
T208
A
1672-4623(2011)06-0057-03
张红文,助理工程师,主要研究方向为空间数据建库和数据处理。