魏雪梅,马卫春,李 宝
(1.安徽省基础测绘信息中心,安徽 合肥 230031;2.安徽省智慧城市与地理国情监测重点实验室,安徽 合肥 230031)
安徽省地理国情普查数据库系统的设计与实现
魏雪梅1,2,马卫春1,2,李 宝1,2
(1.安徽省基础测绘信息中心,安徽 合肥 230031;2.安徽省智慧城市与地理国情监测重点实验室,安徽 合肥 230031)
从总体设计、关键技术、数据库构建、数据库管理系统设计与实现等方面,详细介绍了安徽省地理国情普查数据库系统的建设与应用情况。该系统的建成,一方面有效地实现了对国情普查数据成果的高效管理,另一方面为国家与省级国情普查数据库之间的数据更新与共享预留了数据交换接口,为后期开展常态化地理国情监测工作奠定了基础。
国情普查;数据库;地理数据;数据更新
根据国发[2013]9号《国务院关于开展第一次全国地理国情普查的通知》及皖政[2013]57号《安徽省人民政府关于做好第一次地理国情普查的通知》要求,为全面掌握安徽省地理国情现状,满足安徽省经济社会发展和生态文明建设的需要,安徽省于2013~2015年在全省开展了第一次地理国情普查工作。2015年7月完成了安徽省地理国情普查数据库系统的设计与建设工作,实现了全省地理国情普查数据成果的集成化管理、展示和统计分析,同时为后期开展常态化地理国情监测建立了本底数据库。本文结合实际建设工作,从总体设计、关键技术、数据库的构建、管理系统的设计与实现等方面进行论述[1]。
1.1 总体架构设计
安徽省地理国情普查数据库系统由支撑层、数据资源层、组件服务层和应用层构成[2],如图1所示。
1)支撑层:保障系统正常运行的支撑环境,由基础软件环境、硬件环境及网络环境组成。
2)数据资源层:根据地理国情普查成果数据入库要求,成果数据包括地表覆盖、地理国情要素、元数据、路网和水网数据、遥感影像数据、地形地貌数据、遥感影像解译样本、专题数据、统计分析成果和瓦片数据(矢量瓦片、影像瓦片)。
3)组件服务层:提供功能组件和服务接口,更加方便、灵活、高效。
4)应用层:实现地理国情展示、信息查询分析、数据更新维护及系统安全管理。
图1 总体架构图
1.2 数据库建库流程设计
地理国情普查建库流程主要包括生产成果数据汇交、汇交前检查处理、成果数据汇交国务院普查办、入库前检查处理、数据入库、地理国情普查管理系统建设、集成展示系统建设、数据库运行环境构建等过程。数据库建库流程如图2所示。
图2 建库流程图
1)数据库分区存储技术。采用Oracle数据库分区技术创建分区表。Oracle的分区表可以包括多个分区,每个分区都是一个独立的段,可存放到不同的表空间中。本文采用分区策略来进行大体量数据的存储,以行政区划码为分区字段作分区存储,并作分区索引。实践证明,采用该技术可显著提升数据存储管理和查询浏览的效率。
2)基于基态修正模型的时态数据库增量更新技术。基态修正模型只存储过去某个时刻的数据状态(基态)和基于基态的一系列变化量。对于每一次变化,它仅记录变化的增量,数据冗余少,地物变化量表达明确,可对任意时间节点的历史数据进行回溯,也可追溯单个要素的历史变化。基于基态修正模型的数据库更新,在初期建库时用ElemSTime、ElemETime记录对象有效时间,用唯一标识码对要素进行唯一性认定;在后续数据持续更新过程中,一方面严格保证待更新数据统一由数据库提供,另一方面保证更新平台能对更新要素有效时间和唯一标识码等进行实时维护;更新入库过程中,以更新包的方式与库中原有区域数据进行变化检测及增量入库,从而实现数据库的增量更新。
3)基于NoSQL的瓦片数据存储技术。NoSQL 是一种非关系型的数据存储模式,基于Key-Value 的形式进行存储,不需要固定的表结构,具有模式自由的特点。MongoDB是一个开源的NoSQL 文档型数据库。本文使用一种类似json 的bson 格式进行数据存储,由于该数据存储格式的松散性可存储多种复杂的数据类型,其自带一个分布式文件系统支持海量数据的存储。MongoDB 作为一种存储json 格式的数据库,对存储地图瓦片优势明显。通过为每张瓦片建立索引“_id”(如瓦片的行列号及级别),可基于Key-Value 键值对需要读取的瓦片进行快速定位。实践证明,采用MongoDB数据库存储大量影像和矢量瓦片,可显著提升在线地图服务的响应速度。
4)Oracle Goldengate在线双机热备技术。该技术通过解析源数据库在线日志或归档日志,获得数据的增量变化,再将这些变化应用到目标数据库,从而实现源数据库与目标数据库的同步,在遇到灾难性故障时,可进行快速容灾切换。
3.1 数据库内容
安徽省地理国情普查数据库建设内容主要包括普查成果数据库、统计成果数据库和历史数据库[3]。地理国情普查数据库建库内容逻辑构成如图3所示。
图3 建库内容逻辑构成图
3.2 数据库建库流程
将经过预处理和入库检查后的地形地貌、遥感影像、遥感影像解译样本、地表覆盖、地理国情要素、统计分析成果、专题数据等地理国情普查成果数据,快速导入到数据库系统存储区,然后再上载到数据库中。为使成果数据能批量入库,需要设计和开发入库辅助工具。普查成果数据入库包括创建数据库结构、数据导入和数据批量入库等过程,如图4所示。
3.2.1 创建数据库结构
创建数据库结构流程包括:创建数据库实例和表空间(表1),创建矢量数据、栅格数据、表格数据、文档数据以及历史数据的库结构。
图4 普查成果数据入库流程图
表1 数据库表空间
3.2.2 数据快速导入
为提高数据入库的速度,需要预先将各类普查成果数据导入到数据库系统的存储区中,通过数据导入服务器将数据分类复制到NAS存储系统中的数据存储区。
3.2.3 数据入库
利用开发的数据入库工具,将已导入存储区中的遥感影像解译样本数据、地形地貌数据、地表覆盖、地理国情要素、地理单元等数据批量导入数据库中。数据入库时可采用多个终端并行、批量入库。
1)矢量数据入库。不分区的地理国情要素数据层、规则格网数据层、1∶50 000分幅10 m格网DEM元数据层、专题数据要素层等为非分幅或分区数据,按数据层直接导入到相应数据集中。地表覆盖数据集、道路网络数据集、水系网络数据集、构筑物要素数据集、地理单元数据集(规则格网除外)、元数据集(除10 m格网DEM元数据外)为分幅或分区数据,需按数据层拼接入库到相应数据集的数据层中。对于拼接入库的数据层,在数据大批量入库前,首先应将索引删除,并设置大数据批量装载的表为Nologging模式,以提升数据入库的速度[4]。
2)栅格数据入库。将DEM数据、坡度数据、坡向数据、地表覆盖栅格数据、正射影像分幅数据等分幅导入相应的镶嵌数据集中;将整景影像按原分幅(景)导入到数据库中。分幅栅格数据入库时,应将索引删除,以提高数据入库速度。
3)表格数据入库。单个表格数据直接导入,分区域相同表格文件在入库时需合并记录到一个表中。
4)文档数据入库。按照数据库技术设计规定目录,将文档数据组织上载到服务器存储目录中。
5)瓦片数据入库。支持多种瓦片数据类型,多种图片格式,多种源数据类型地理切片数据入库。支持同一数据同一级别多次入库更新,并提供了数据版本信息设置,实现了同一套瓦片数据不同时期版本的多重存储。
数据库管理系统按照SOA思路开发各类基础组件、业务组件和服务接口;采用Web Services技术封装各类信息、功能组件和服务接口;面向业务应用特点,采用C/S与B/S混合架构,通过搭建、配置和少量定制,快速构建系统应用功能;用于高效浏览和集成展示的数据,采用切片处理,并以OGC服务方式发布,切片处理规范参照天地图标准。
数据库管理系统包含地理国情展示模块、信息查询分析模块、数据提取模块、数据更新维护模块以及系统安全管理模块[5],如图5所示。
4.1 地理国情展示模块
该模块主要提供基本地理国情普查成果集成管理与可视化、统计分析成果和地理国情专题图等的展示功能。其主要包括对建库后的地形地貌数据、遥感影像数据、遥感影像解译样本数据、地表覆盖数据、地理国情要素数据、专题数据、元数据以及地理国情统计分析成果数据、专题图等的集成显示和成果演示,系统主界面如图6所示。
4.2 信息查询分析模块
该模块主要提供地理国情要素信息的查询检索和对比分析等功能,可满足用户快速查询各类信息的需求,如图7所示。
图5 地理国情普查数据库管理系统功能模块图
图6 数据库管理系统主界面
图7 地理国情要素查询功能示例
4.3 数据提取模块
该模块提供矢量数据、地形地貌数据、正射影像数据、解译样本数据和表格数据等的提取功能。其主要包括按行政区范围提取、按要素范围提取、按标线范围提取、分幅提取等,如图8所示。
4.4 数据更新维护模块
该模块提供数据入库检查、数据预处理、数据入库、路网水网构建、数据交换与更新、历史数据管理、瓦片数据制作维护等功能。
4.5 系统安全管理模块
该模块提供保障系统运行安全方面的功能,包括用户管理、系统运行监控、日志管理、数据备份和恢复等,如图9所示。
图8 按范围提取DOM要素示意图
图9 系统安全管理模块界面
安徽省地理国情普查数据库系统的建成,实现了对全省地形地貌、遥感影像、遥感影像解译样本、地表覆盖、地理国情要素、专题数据、地理国情统计分析等7大类成果的高效管理,为地理国情基本统计以及应用服务、数据分发和信息发布等提供了有利条件。系统建立的数据交换接口可满足从省级数据库到国家级数据库的数据更新和共享。
与此同时,地理国情普查数据库既是地理国情普查工作的成果库,又是地理国情监测的本底库。有了地理国情本底库,地理国情监测才有动态分析的基础,才更有利于发现和分析变化,认识地理国情发展的规律,从而成为后期常态化的地理国情监测的重要基础。
[1] 马婉婷.辽宁省地理国情普查数据库建设的设计思路[J].测绘与空间地理信息,2016,39(1):165-166
[2] 廖芳,罗海燕.地理国情普查数据库管理及服务系统建设设计[J].测绘地理信息,2016,41(4):77-79
[3] 雷瑛,鲍立尚.甘肃省第一次全国地理国情普查数据库设计[J].测绘与空间地理信息,2016,39(2):161-163
[4] 王堃昊.应急制图数据库的设计与实现:以辽宁省为例[J].测绘通报,2016(5):123-125
[5] 李彬彬,周卫.基础地理数据属性脱密系统设计与实现[J].测绘通报,2015(增刊1):238-240
[6] 丁春雨,晏明,张晓娇,等.ArcGIS支持下的土地利用时空数据库设计与功能实现[J].测绘通报,2015(10):110-113
[7] 周鹏,丁明涛,佘涛,等.基于GIS的岷江上游聚落易损性评价数据库的设计与实现[J].西南科技大学学报,2016,31(2):44-51
[8] 赵彦荣,陈永立,陈刚.省级地理国情普查数据库矢量数据更新模式的探讨[J]. 测绘与空间地理信息,2016,39(8):153-155
P208
:B
:1672-4623(2016)11-0014-04
10.3969/j.issn.1672-4623.2016.11.006
魏雪梅,硕士,高级工程师,主要从事基础测绘与国情普查数据的生产、管理与信息化建设工作。
2016-08-31。