刘现印,曹新国,宋拥军,张金盈
(山东省国土测绘院,山东 济南 250013)
山东省地理国情普查数据库系统的设计与实现
刘现印,曹新国,宋拥军,张金盈
(山东省国土测绘院,山东 济南 250013)
地理国情普查是一项重大的国情国力调查。地理国情普查数据库系统建设是地理国情普查工作的重要组成部分。为了实现地理国情普查成果的科学有效管理以及普查成果的高效应用,山东省开展了地理国情普查数据库系统建设。根据山东省地理国情普查待建库数据的类型、用途及其之间的相互关系进行了科学细致的数据库设计;根据地理国情普查数据管理、应用与服务的相关需求,将地理国情普查数据库管理与应用服务系统划分为质检与预处理工具、数据库集成管理、统计分析、普查图制作、普查成果展示和成果应用服务6个子系统。通过该系统的建设山东省建立了完整的、空间连续、主要要素时点统一的省级地理国情普查数据库,实现了地理国情普查成果的集成管理与集成展示、统计分析应用,并为今后的地理国情监测提供了有力支撑。该文从系统总体架构、数据库设计、系统功能设计及实现等方面介绍了山东省地理国情普查数据库系统的设计及实现情况。
地理国情普查;数据库管理;应用服务;山东省
地理国情普查是一项重大的国情国力调查,它从地理的角度分析、研究和描述国情,以地球表层自然、生物和人文现象的空间变化和它们之间的相互关系、特征等为基本内容,对构成国家物质基础的各种条件因素做出宏观性、整体性、综合性的调查、分析和描述,并形成空间化和可视化的国情信息[1-2]。摸清地理国情家底,对于了解国情、把握国势、制定国策具有重要意义[3-4]。我国在2013—2015年开展了第一次全国地理国情普查工作[5]。
地理国情普查数据库系统建设是地理国情普查工作的重要组成部分[6]。山东省通过地理国情普查数据库系统的建设,建立了完整的、空间连续、主要要素时点统一的省级地理国情普查数据库[7-9],并建成了地理国情普查数据库管理和应用服务系统。实现了地理国情普查成果的集成管理与集成展示、统计分析应用,并为今后的地理国情监测提供了有力支撑。该文结合实际建设工作,从系统的总体架构设计、数据库设计、系统设计与实现、系统特色等方面进行论述。
山东省的地理国情普查数据库管理软件采用关系型数据库Oracle,通过功能组件和服务接口实现数据库存储与访问。整个数据库系统由支撑层、数据资源层、组件服务层和应用层构成[9-16]。山东省地理国情普查数据库系统总体技术架构如图1所示:
(1)支撑层:是保障系统正常运行的支撑环境,由基础软件环境、硬件环境及网络环境组成。山东省建设了云计算管理平台,以便为普查数据库及管理系统提供高性能的软硬件支撑环境。
图1 山东省地理国情普查数据库系统总体技术架构图
(2)数据资源层:是经过科学组织管理的地理国情普查数据,它是应用层的操作对象。数据类型包括地表覆盖、地理国情要素、元数据、路网和水网数据、遥感影像数据、地形地貌数据、遥感影像解译样本、专题数据、统计分析成果和瓦片数据(矢量瓦片、影像瓦片)。
(3)组件服务层:提供功能组件和服务接口,以便于更加方便、灵活、高效地搭建应用服务系统。
(4)应用层:实现数据入库检查和预处理、数据库集成管理、普查成果展示、统计分析、普查图制作、应用服务等功能。
2.1 入库数据分析
山东省地理国情普查数据成果主要包括:地形地貌数据、遥感影像数据、遥感影像解译样本数据、地表覆盖数据、地理国情要素数据、道路与水系网络数据、专题数据、地理国情统计分析成果[7-16]。另外,从数据库管理角度,数据库中还包括元数据、相关技术文档、历史数据、系统管理数据等[7-8]。
(1)地形地貌数据。地形地貌数据包括多尺度DEM数据(覆盖全省的1∶1万比例尺2m格网DEM和1∶5万比例尺10m格网DEM),以及由DEM数据派生出来的坡度与坡向数据、高程与坡度分带数据等。
(2)遥感影像数据。山东省在地理国情普查过程中使用了多种类型的遥感影像数据。影像种类包括WorldView、QuickBird、航摄影像以及资源一号等,数据时相从2013年4月至2015年4月。正射影像数据包括1∶2.5万分幅DOM数据和整景DOM数据。
(3)遥感影像解译样本数据。遥感影像解译样本采集的数据包括2类:一是地面照片;二是遥感影像实例数据[17]。全省共采集10.6万个解译样本点。
(4)地表覆盖数据。地表覆盖数据由耕地、园地、林地、草地、房屋建筑(区)、道路、构筑物、人工堆掘地、荒漠与裸露地表、水域10种地表覆盖类型的空间范围和属性信息组成,该数据在普查区范围内全覆盖[1]。全省共采集地表覆盖图斑1237.8万个。
(5)地理国情要素数据。地理国情要素数据包括道路、水域、构筑物和地理单元等要素[1]。全省共采集地理国情要素164.7万个。
(6)道路与水系网络数据。山东省基于山东省地理国情普查要素数据,提取所有起连通作用的公路、城市道路、乡村道路构建山东省路网。提取连通作用的、所有等级的河流及沟渠进行构网[7-9]。山东省的网络数据与国家级的网络数据相比要更加精细和真实。
(7)专题数据。专题数据指收集整理的各类与地理国情普查相关的专题资料数据,包括社会经济统计数据和行业专题数据[7-9]。根据地理国情普查以及统计分析的需要,山东省共从27个省直有关部门收集了各部门主管相关的资料。主要包括:国土部门的第二次全国土地调查数据、水利部门的第一次全国水利普查资料、交通部门提供的道路信息、海洋部门提供的海岸线信息、林业部门提供的林业数据、省公安厅提供的地名地址数据以及统计部门提供的统计年鉴等。
(8)统计分析成果数据。统计分析成果数据指在地理国情普查成果数据及专题数据基础上按照地理国情统计分析技术方法,经地理国情统计分析软件形成的包括国家级、省级、县级、自然或自定义区域等为单元的统计分析结果[18]。
(9)其他数据。其他数据包括在普查数据生产、普查数据库建设与管理过程中形成的元数据、相关技术文档、历史数据、系统管理数据等。
2.2 数据库设计
从山东省地理国情普查成果数据分析可以看出,山东省普查数据成果在数据模型上涵盖矢量数据、栅格数据、表格数据、文档数据等多种类型;在数据时态上包括现势数据库、历史数据库和归档数据库[7-10]。
(1)数据库逻辑结构设计。由于国家测绘地理信息局要求省级地理国情普查数据库的逻辑设计模型应与全国地理国情普查数据库保持一致,因此,山东省地理国情普查数据库需要参照《第一次全国地理国情普查数据库建设技术设计》[11]。根据国家测绘地理信息局的要求结合山东省地理国情普查数据的类型和特点,数据库中综合使用矢量数据集、栅格数据集、表格数据、文档资料数据等形式对数据进行存储管理。其中矢量数据集包括地表覆盖、道路网络、水系网络、构筑物要素、地理单元、元数据、地理国情概况、专题数据、统计分析成果数据等9个数据集,栅格数据包括DEM、坡度、坡向、地表覆盖栅格化数据、DOM等5类数据,表格数据包括遥感影像解译样本数据、社会经济统计数据、网络关系表、其它表格数据等;文档数据包括遥感影像解译样本以及普查相关技术文档[7-9]。山东省地理国情普查数据库总体逻辑结构如图2所示。
(2)数据库表空间设计。针对地理国情普查数据量大的特点,为方便数据库数据备份和迁移,地理国情普查数据库采用小文件表空间进行管理,并允许自动分配。考虑每种数据的数据量,将地理国情普查数据库划分为9个表空间(表1),分别为:不需分区的地理国情矢量数据、需分区的地理国情矢量数据、正射影像数据表空间、地形栅格数据表空间、地表覆盖栅格数据表空间、网络数据表空间、社会经济统计数据表空间、以及数据库空间索引和属性索引数据表空间等[7-9]。
表1 数据库表空间设计
山东省地理国情普查数据库系统基于云架构进行设计和开发,包含质检与预处理工具、数据库集成管理系统、地理国情统计分析系统、地理国情普查图制作系统、普查成果展示系统和成果应用服务系统[7-9]。对于数据处理和计算密集型的质检与预处理工具、数据库集成管理系统、地理国情统计分析系统、地理国情普查图制作系统采用C/S架构,基于ArcEngine10.3,利用C#语言构建系统;普查成果展示系统采用C/S架构,基于ArcEngine10.3和DirectX,利用C#语言进行构建;对于查询浏览为主的成果应用服务系统,采用B/S架构,基于OpenLayers,利用JAVA语言构建系统。
3.1 云计算管理平台
为了给山东省地理国情普查数据库系统提供高效稳定的软硬件支撑环境,山东省建设了地理国情普查云计算管理平台。它采用私有云模式,通过云平台管理软件,将计算、存储、网络等资源虚拟化,并进一步池化管理。用户通过云主机构建统计分析计算服务器集群、Web服务器集群、应用服务器集群、文件服务器等。
其设计与搭建充分考虑了地理国情普查数据类型及格式多样、数据结构复杂、数据量巨大、查询浏览速度要求高、安全性要求高等特点,实现了云平台与数据存储管理、系统运行的有机结合,具有高性能、高可靠性、扩展能力高等特点。
3.2 质检与预处理工具
主要用来对通过“二级检查、一级验收”后的地理国情普查各种数据(包括精细化DEM、地表覆盖分类数据、地理国情要素数据、遥感影像解译样本数据、遥感影像数据等),进行入库前的检查及预处理工作。质检工具包括:任务管理、数据检查、数据审核和系统设置等功能[7-9](图3)。预处理工具包括:地形地貌、地表覆盖、普查要素、解译样本、正射影像处理功能以及辅助工具[7-9](图4)。
图3 入库质检工具示意图
图4 预处理工具示意图
3.3 数据库集成管理系统
3.3.1 功能设计
该系统用来实现地理国情普查数据的入库、管理、查询浏览、使用等。包括数据入库、数据查询浏览与统计、数据提取、数据库更新、数据交换、数据变化检测以及运维管理等功能[7-9](图5)。
图5 数据库集成管理系统
3.3.2 创新点
在该系统建设过程中进行了以下技术创新:
(1)矢量数据分布式并行入库技术。地理国情普查矢量数据成果具有图层多、部分图层要素数量巨大、要素精度高等特点,传统模式下该类数据入库暴露出入库时间长、入库过程不稳定、出错后重新入库代价高、图层锁使得计算机资源无法充分利用和提升入库效率困难等问题[10]。
为了解决上述问题,该系统采用基于分布式的高性能并行入库技术。具体通过任务拆分、高速缓存、智能故障修复3个要点来实现。该项技术保障了地理国情矢量数据正确、稳定和高效的入库。经实际验证,在采用该技术后,全省矢量数据入库整体稳定性和效率得到极大提升。
(2)海量矢量数据分级索引与动态渲染技术。由于地理国情普查矢量数据数量庞大,部分图层要素数量和单要素节点数量都非常大。按照目前常规的矢量渲染浏览和栅格切片浏览2种方式,在效果、效率和可查询性方面都存在不少的缺陷。
为满足国情海量矢量数据的动态符号化、浏览效率高、实时查询检索等方面的需求,该系统采用了含矢量分级切片索引、数据高速切割、高效渲染技术在内的一整套矢量分级索引与动态渲染技术体系,实现了在一套数据前提下,国情普查大体量矢量数据在大中小比例尺区间内的全程高效浏览和实时查询[10]。
3.4 地理国情统计分析系统
该系统基于地理国情普查数据进行统计分析计算,得到各类地理国情普查数据并自动生成基本统计分析报告。包括数据处理、统计配置、分类统计、结果查看、报表生成等功能模块[18-19](图6)。
图6 地理国情统计分析系统
3.5 地理国情普查图制作系统
该系统基于地理国情普查数据库制作地理国情普查图件成果。依据地理国情普查图制作规范进行符号库制作及符号化配置,并制作成制图模板。基于地理国情普查数据及统计分析成果快速生成地理国情普查标准图件,并开展图面的整饰及图件输出。包括基础制图功能、自动化制图功能、交互式制图处理和制图整饰等功能[9](图7)。
图7 地理国情普查图制作系统
3.6 普查成果展示系统
3.6.1 功能设计
该系统以二三维一体化的形式实现地理国情数据的展示,包括对地理国情数据进行提取处理,形成展示发布库,然后将国情数据发布为标准的地理信息服务,通过调用服务接口,实现普查成果分布范围展示、统计分析成果展示、二三维一体化展示、单项数据产品展示等功能。包括全局视图展示、数据分类视图展示、多维度数据的关联展示、综合查询检索、快速定位等功能[19](图8)。
图8 普查成果展示系统
3.6.2 创新点
混合金字塔二三维数据一体化组织与渲染技术是该系统建设过程中进行的技术创新。地理国情数据成果包含地形、影像、国情要素、地表覆盖等多种类型。由于这些数据各有特点,在进行成果展示时,需要根据其不同的展示需求,采用不同的展示方式和技术路线。例如,地形与影像多以切片后叠加的方式进行三维地形地貌集成展示,采用了该系统的三维平台按金字塔标准进行切片。国情要素等矢量数据,由于单图层体量不大且有查询需求,需要以实时地图服务方式展示,采用了成熟的ArcGIS配图并发布地图服务的方式接入展示。而地表覆盖数据由于体量大、要素复杂,采用了矢量分级索引和动态渲染的方式实现。但是,当这些数据在同一平台中集成展示时,面临着同一个三维场景中需接入ArcGIS Server、天地图和三维平台自定义等多种金字塔标准混合接入和集成展示的问题。
针对上述问题,该系统设计了混合金字塔数据组织与一体化渲染技术,通过一种虚拟金字塔数据组织模型以及图层数据分离、逻辑耦合的技术,解决上述问题(图9)。通过该技术的使用,实现了各类地理国情数据成果ArcGIS Server、天地图和自定义3种金字塔标准展示数据的混合接入和集成展示,并且在全省任意区域、三维场景任意高度和倾斜视角下,场景内各数据均达到无延迟、集成浏览[10]。
图9 混合金字塔数据组织与一体化渲染技术示意图
3.7 成果应用服务系统
该系统依托于地理国情普查数据库,通过拓展服务形式提供成果目录服务、面向天地图·山东的在线数据服务等多种在线服务以及数据分发等离线服务来提升地理国情普查成果综合应用服务能力的共享服务系统(图10)。包括成果发布、成果概况展示、成果综合查询、目录管理和系统运维等功能模块[19]。
图10 成果应用服务系统
山东省地理国情普查数据库系统的建成,实现了对全省地形地貌、遥感影像、遥感影像解译样本、地表覆盖、地理国情要素、专题数据、地理国情统计分析等7大类地理国情普查成果的高效管理,提供了数据制图、变化检测、统计分析、成果展示、面向公众的应用服务等特色功能,为地理国情基本统计以及应用服务、数据分发和信息发布等提供了有利条件,也为后期的普查成果深度开发应用以及今后的地理国情监测奠定了坚实基础。
[1] GDPJ 01-2013.地理国情普查内容与指标[S].
[2] 彭延锋.浅谈地理国情普查技术[J].科技视界,2014,(12):315-316.
[3] 张高丽在全国地理国情普查领导小组全体会议上强调做好地理国情普查成果推广和应用认真开展常态化地理国情监测工作[N].人民日报:2016-11-23(1).
[4] 杨香菊.浅析开展地理普查工作的重要性[J].中国地名,2014,(3):58-59.
[5] 吴祖霞.安徽省地理国情普查工作的实施与思考[J].安徽冶金科技职业学院学报,2015,(2):85-87.
[6] 谢小惠.福建省地理国情普查试点成果建库实践[J].测绘与空间地理信息,2014,(6):92-94.
[7] 国务院第一次全国地理国情普查领导小组办公室.第一次全国地理国情普查数据库建设技术设计[G].北京:国务院第一次全国地理国情普查领导小组办公室,2014.
[8] 国务院第一次全国地理国情普查领导小组办公室.第一次全国地理国情普查数据库建设实施方案[G].北京:国务院第一次全国地理国情普查领导小组办公室,2015.
[9] 山东省第一次全国地理国情普查领导小组办公室.山东省第一次全国地理国情普查数据库系统建设总体设计方案[G].济南:山东省第一次全国地理国情普查领导小组办公室,2015.
[10] 山东省第一次全国地理国情普查领导小组办公室.山东省第一次全国地理国情普查数据库系统建设技术总结报告[G].济南:山东省第一次全国地理国情普查领导小组办公室,2016.
[11] 马婉婷.辽宁省地理国情普查数据库建设的设计思路[J].测绘与空间地理信息,2016,39(1):165-166.
[12] 魏雪梅,马卫春,李宝.安徽省地理国情普查数据库系统的设计与实现[J].地理空间地理信息,2016,14(11):14-17.
[13] 廖芳,罗海燕.地理国情普查数据库管理及服务系统建设设计[J].测绘地理信息,2016,41(4):77-79.
[14] 雷瑛,鲍立尚.甘肃省第一次全国地理国情普查数据库设计[J].测绘与空间地理信息,2016,39(2):161-163.
[15] 祁向前.地理国情普查成果管理信息系统设计——以内蒙古满洲里市成果为例[J].安徽农业科学,2016,44(2):335-336.
[16] 刘成宝,杜洪涛,张坤.面向地理国情普查的济南市地理信息数据库建设[J].测绘与空间地理信息,2014,37(9):66-68.
[17] 胡俊昌.浅谈阜新市地理国情普查样本解译外业数据采集[J].中国地名,2015,(1):33-36.
[18] 董菲.浅议如何进行地理国情统计分析[J].测绘与空间地理信息,2014,37(6):184-187.
[19] 于莹.关于地理国情普查综合统计分析的探讨[J].科技与企业,2015,(4):237-237.
Design and Implementation of General SurveyDatabase System of National Geographic Condition
LIU Xianyin, CAO Xinguo, SONG Yongjun, ZHANG Jinying
(Shandong Land Surveying and Mapping Institute, Shandong Jinna 250013, China)
s: The construction of database system on national geographic condition is a significant national condition and power investigation. It is an important part in learing national geographic condition. In order to realize scientific management and effective application of general survey ahcievement of national geographic condition, the construction of national geographic condition database system has been carried out in Shandong province. The database has been designed scientifically and meticulously as to type, usage and correlation of to-be-built bases on Shandong national geographic condition. The national geographic condition database management and application service system consists of quality control and preprocess tool, database integrated management system, national geographic statistics analysis system, national geographic condition mapping system, results presentation system and results application service system according to the needs of national geographic condition data management, application and service. Through the construction of this system, provincial level national geographic condition database has been built up, featured with completion, continuation in space, unity of principal factors in time and spot, which has achieved integrated management and presentation, statistics analysis application of national geographic census results and supported convincingly national geographic monitoring in the future. From the aspects of overall structure, database design, design and realization of system function , design and the implemention of the database system on national geographic condition in Shandong province has been introduced.
National geographical national condition; database management; application and service
2017-03-03;
2017-05-14;编辑:王敏
山东省国土资源厅,山东省地理国情数据库建设,项目编号:LDYG2015046
刘现印(1982—),男,山东济南人,工程师,主要从事地理国情普查、测绘等方面的工作;E-mail:xianyin05@163.com
P208
B
刘现印,曹新国,宋拥军,等.山东省地理国情普查数据库系统的设计与实现[J].山东国土资源,2017,33(8):85-91. LIU Xianyin, CAO Xinguo, SONG Yongjun,etc. Design and Implementation of General Survey Database System of National Geographic Condition[J].Shandong Land and Resources, 2017,33(8):85-91.