向红梅,郭明武
(1.长沙市规划勘测设计研究院,湖南 长沙 410007; 2.武汉市测绘研究院,湖北 武汉 430022)
城市地理时空大数据管理与应用平台建设技术方法研究
向红梅1*,郭明武2
(1.长沙市规划勘测设计研究院,湖南 长沙 410007; 2.武汉市测绘研究院,湖北 武汉 430022)
针对城市地理时空数据的专业类别多、数据格式多、数据分散等诸多特性,提出了栅格式数据、图形式数据、要素式数据、类GIS数据、ArcGIS数据5大类地理时空数据的管理方案。采用基于富客户端的地图增强技术、基于时间帧的时空数据动态表达技术和空间数据及平台功能自扩展定制技术,对城市地理时空大数据管理与应用平台进行了总体设计,开发了集管理与应用于一体的资源创建与管理系统、信息集成共享系统、数据交互应用系统,实现了城市地理时空大数据的管理与应用的高效性。本文提出的技术方法已在长沙市规划交通勘测信息集成管理与应用共享平台项目建设中得到验证,为城市地理时空大数据的集成管理和共享应用提供了技术经验。
地理时空;大数据;管理与应用平台;富客户端;时间帧;自扩展定制
由于获取城市地理空间数据的途径多,采集和管理地理信息数据的软件平台各不相同,使得城市地理信息的数据标准和数据格式多种多样,在城市规划建设管理的实际应用中,往往需要利用不同来源和类型的地理信息,致使数据转换工作量大、数据利用率低下。近年来,城市规划建设管理不断地朝精细化和纵深化发展,涉及的事物与内容快速增多,管理的难度不断加大[1],不仅需要地理空间数据,还需要不同时期的地理空间数据,即地理空间数据的时间属性。同时,城市规划设计的成果又是地理信息的衍生产品,使得地理信息的数据量成TB级增长,导致地理信息的数据格式更加多样,应用领域更加广阔,其管理与应用的难度进一步更加。
随着科技进步和信息技术的发展,原本相互独立的测绘、勘察、规划、设计等工作不再独立,而是相互联系,相互渗透的,大量设计、管理及策划工作的开展不但需要地理信息的支撑,还需要其他行业信息的交流共享。因此,综合集成现有的多源、异构和海量的地理信息数据,实现这些信息的集成共享与高效利用,开发城市地理时空大数据管理与应用平台是各行业对地理信息数据服务的迫切需要。
城市地理时空大数据除了具有空间数据的空间、时间和专题三大基本特征外,在数据采集方式、存储格式、管理模式、专业应用等方面还有更多的特殊性[2],管理城市地理时空大数据,开发数据应用共享平台时必须充分认识它们的特性。
(1)专业类别多
随着地理信息技术的发展和基础空间数据(4D产品)应用的普及,很多行业基于空间数据、采用地理信息技术,充分挖掘本行业数据和信息的应用价值,从而形成了专业门类众多的专题地理信息产品。
(2)数据格式多
由于承载信息的平台和应用领域不一样,地理时空大数据的数据格式各不相同,光4D产品就有矢量数据、栅格影像数据集以及DEM的格网点坐标数据之分,为了专业应用而基于空间数据重组的复合模式数据的格式就更加多样。
(3)数据分散
地理时空数据的采集、加工和制作由不同部门来完成,数据分散在众多的权属单位,数据集成管理和共享应用的难度大。
(4)更新频繁
随着经济社会的快速发展和人类活动的加剧,地表形态及地物要素在不停地变化,需要对基础空间数据不断地进行更新,才能让基础地理信息数据为经济建设和社会发展提供及时有效的服务。
(5)重复利用率高
地理时空数据除了承载空间信息,还承载着时间信息,反映了地理形态的历史和变迁,数据回溯和重复使用的频率非常高。
针对地理时空数据的专业类别多、数据分散、采集管理软件不同、应用领域广泛等特征,按照地理时空数据的数据质量及格式以及与标准的ArcGIS数据的接近程度,可将地理时空数据概括为5大类,分别制定管理方案[3]。充分分析每一类数据的时间特性,采用时间戳的方式实现地理时空数据时间维度的管理[1]。
(1)栅格式数据
主要包括jpg、tif等格式的航测影像、遥感影像、扫描栅格地图。需要依次进行坐标校正、坐标配准、数据质量检查等处理,制作成标准的*.img或*.tif栅格数据,形成mxd文档,并发布为栅格地图服务,进行地图切片以提高显示速度,采取影像拍摄或地图扫描时间为时间戳来管理栅格数据。
(2)图形式数据
主要是一些非GIS领域的工程图数据,如dwg格式的设计图[2],它的分层混乱,没有按对象组织数据,只能用于图形查看,采取将其栅格化处理的方式进行管理,方案如栅格式数据,采用图形绘制时间为时间戳来管理图形数据。
(3)要素式数据
主要是基于CAD平台制作,要素分层规范,基本上按对象组织数据,比图形式dwg数据更接近标准的ArcGIS数据。采取规范化处理方式,依次进行图形封闭构面、属性挂接、数据质量检查,转换为标准*.shp格式的GIS数据,进行符号化形成mxd文档,发布为地图服务,采用DateTime型字段为时间戳来管理类要素式数据。
(4)类GIS数据
主要是各种非ArcGIS标准的地理空间数据,如Emme、TransCAD以及来源于其他软件的空间数据,可以直接或间接的转换为标准的ArcGIS数据。需要根据数据的具体结构,开发相应的转换模块进行转换,转为标准*.shp格式的GIS数据,进行质量检查和符号化,形成mxd文档,发布为地图服务,采用DateTime型字段为时间戳来管理类GIS数据。
(5)ArcGIS数据
主要包括*img、*.tif、*.shp、Personal GeoDatabase等类型的数据,采取对其规范化处理,进行质量检查和符号化,形成mxd文档,发布为地图服务,采用DateTime型字段为时间戳来管理GIS数据。
4.1基于富客户端技术的地图增强显示技术
传统网络程序的开发是基于页面、服务器端数据传递的模式,网络程序的表示层建立于HTML页面之上[4],满足不了网络浏览者更高的、全方位的体验要求,新出现的丰富互联网程序(Rich Internet Applications,简称RIA,又称为丰富性网络应用服务,俗称为“富客户端技术”)解决了这一难题。
RIA 是集成最佳用户界面功能与快速互动多媒体通信于一体的新一代网络应用程序,较传统Web应用的主要优势为:
(1)表现力更丰富:RIA能基于标准浏览器的网页应用实现HTML标签无法实现的用户界面效果和交互式应用功能。
(2)C/S结构的负担平衡:可以使客户端和服务器端对资源的需求更加平衡,服务器不必一直高负荷运转,提升了服务器并行服务的客户端数量。
(3)异步通信:用户可在客户端引擎跟服务器端通信的同时,异步地进行页面浏览及交互。程序可从服务器端预取数据,免去等待时间。
(4)网络效率高:由于RIA客户端引擎比标准的网页浏览器更智能,能预先从服务器端提取数据,提升了应用程序的响应速度。
近年来RIA发展迅速,目前较有实力和特点的RIA开发技术有十多种,其中最受欢迎的是Silverlight、HTML5及Flash,客户端需要安装Silverlight或Flash Player插件。
4.2基于时间帧的地理时空数据动态可视化表达技术
地理空间数据都有时间特性,设计空间数据的时间字段,录入时间属性,可将地理空间数据提升为地理时空数据。为了直观地反映地理实体的动态变化过程,帮助用户从地理时空数据中分析出地理现象内在的演变规律,提高地理时空数据的应用价值,可采用基于时间帧的地理时空数据交互式可视化表达技术。
通过设置时间起点、时间跨度、时间终点,按时间轴正序或逆序的方式来直观地表达区域内各地理实体的变化过程。按照播放、暂停、快退、快进等方式,对某一区域感兴趣的内容进行反复、交互式的查看,从不同的角度研究地理实体的动态变化,提高对时空地理信息分析和综合的能力,从而探索新规律,发掘新认知。图1是对岳麓山西北处梅溪湖区域自2008年~2016年建设情况的分析。
4.3空间数据及平台功能自扩展定制技术
以往的GIS系统开发通常是先根据功能需求确定系统的数据内容,然后设计每类数据的标准及数据库结构,在系统中固化数据展示的内容、用程序语句写死数据查询访问的字段。一旦原有数据结构发生变化或需要增加新的空间数据,都需要对系统进行源代码升级,这不仅增加GIS系统运维成本,还会导致建立的GIS系统使用受限,由于不能做到“随需应变”,约有35%以上的GIS应用系统在使用时间不超过3年就提前“寿终正寝”[5,6]。
图1基于影像拍摄时间的动态可视化分析
“自扩展定制技术”又名“装配式开发”或“搭建式开发”,是一种利用面向服务的构件来“零代码”搭建应用程序的新型软件开发技术。“装配式开发”避免了从源代码做起的重复开发带来的低效率和低质量问题,减少软件代码开发量,提高开发质量,实现软件的重复利用。基于这种开发技术,用户只需专注专业流程分析,不必将大量的时间投入到系统的编码和调试中,根据提供的功能组件,通过配置连接接口,就可以快速搭建满足业务需要的应用系统。
应用“自扩展定制技术”来进行空间数据及平台功能的自定制,实现系统的搭建与维护,主要包括如下定制:
(1)数据源定制:定制GIS应用系统中需要管理与展示的地理空间数据服务,包括定制基础数据和专题数据、切片服务和动态服务、历史数据和现状数据等;
(2)数据展示方式定制:定制显示的字段名称、顺序等;
(3)要素操作定制:定制查询要素、查询字段、统计要素、统计字段、编辑要素、编辑字段等;
(4)界面定制:菜单、工具、布局样式、图标等定制;
(5)用户权限定制:对用户角色的数据权限和功能权限进行定制;
图2是空间数据、平台功能及用户权限自扩展定制技术应用实例。
图2长沙市规划交通勘测信息集成管理与应用共享平台的自定制界面
5.1平台总体设计
根据地理时空数据的专业类别多、数据格式多、分布散等特点,地理时空数据管理与应用平台的总体架构最理想的模式是基于SOA进行设计。
SOA(service-oriented architecture)是基于组件模型的面向服务的体系结构,它将应用程序的不同功能单元(称为服务)通过服务之间的接口和契约联系起来。SOA的主要优势有:
(1)可通过互联网服务器发布,从而突破企业内网的限制,实现与供应链上下游伙伴业务的紧密结合。
(2)与平台无关,减少了业务应用实现的限制。
(3)具有低耦合性特点,业务伙伴对整个业务系统的相互影响较低。
(4)具有可按模块分阶段实施的优势。
从平台的建设目标和应用功能出发,平台可分为3个子系统:“资源创建与管理系统”、“信息集成共享系统”以及“数据交互应用系统”。
从平台的逻辑结构考虑,平台的总体结构分为“硬件层”、“数据层”、“服务层”和“应用层”,如图3所示。
图3地理时空大数据管理与应用平台总体结构
5.2资源创建与管理系统
本系统主要实现各类常见地理空间数据的快速化处理和更新维护工作,并为“自扩展定制技术”(装配式GIS系统)提供标准的数据服务。鉴于目前地理空间数据最常用的是shp和dwg格式数据,可以针对这两类数据进行设计开发,即GIS环境和CAD环境。GIS环境主要对ArcGIS中Shp、GeoDatabase等数据进行处理;CAD环境主要实现dwg与shp的格式转换、dwg数据创建地图服务等[7]。
系统可在.Net架构下采用C/S(Client/Server)结构,采用C#,集成Visual Studio 2010、ArcGIS Engine 10.0、ArcGIS Server 、AutoCAD二次开发组件进行开发。系统主要包括质量检查、格式转换、数据编辑、数据输出、数据入库、数据归档、地图服务管理、系统管理以及GIS通用功能。
5.3信息集成共享系统
本系统是平台的核心部分,包含后台数据与功能自定制系统、前台数据展示与应用系统。后台主要从数据源、数据展示方式、要素操作方式、功能应用、用户权限等方面配置信息集成共享系统。前台提供了GIS常见功能,实现地理空间数据的集成展示、查询定位、统计分析、辅助标注、叠加浏览、数据下载等功能。系统功能结构如图4所示。
系统可在.Net架构,采用基于SOA的B/S(Browser/Server)结构搭建,采用C#开发语言和Visual Studio 2010开发环境,集成GIS技术、WebService技术、AJAX技术、Silverlight技术、OGC规范等多种技术手段进行开发。
图4 信息集成共享系统功能框架图
为了提高“信息集成共享系统”的响应速度与可交互性,提升用户的操作体验,系统基于当前的“富客户端技术”RIA,采用微软的Silverlight打造具有高响应效率和良好操作体验的富客户端程序。
5.4数据交互应用系统
由于计算机辅助设计的主流软件为AutoCAD平台,90%以上的设计人员都采用AutoCAD进行业务设计和成果编辑,为了让地理空间数据服务在业务设计与成果编制中发挥定位、查询、统计、分析等作用,需开发在AutoCAD平台下调用地图服务的功能接口,即数据交互应用系统。
ESRI公司为了能保持CAD原有工作流程的同时,更好地分享和使用AutoCAD文件中的地理信息,提供了一套开发组件AutoCAD for ArcGIS API。系统在.NET环境下,采用以MSD标准框架为核心的AutoCAD for ArcGIS API组件,使用AutoCAD.NET API对AutoCAD应用程序进行开发,将发布的地图服务无缝加载到AutoCAD制图平台[8],同时能够将地图服务提供的数据资源与dwg数据属性进行挂接,实现了AutoCAD平台下地图服务的数据浏览、要素查询及要素编辑。
本文方法已成功应用于长沙市规划勘测设计研究院的长沙市规划交通勘测信息集成管理与应用共享平台的项目建设中。本院是集测绘、勘察、规划、交通、市政、园林、建筑七大专业门类的综合性设计研究院,拥有长沙市的 1∶500、1∶1 000、1∶2 000大比例尺地形图、地下综合管网数据、正射影像图、控制测量成果等基础地理信息数据,还有长沙市的岩土勘察成果、规划编制成果、交通模型等专业数据资源。共享平台将七大专业类别、数据格式各异、分散在不同数据库和服务器且更新频繁、反复利用的城市地理时空数据有效地进行组织和管理[9,10]。平台包含资源创建与管理系统、信息集成共享系统(前台展示、后台定制)和数据交互应用系统三大部分。采用B/S和C/S相结合的架构,利用富客户端的地图增强显示技术,使用户能快速获取丰富的地图数据资源;利用地形图、管线数据和影像图的时间属性,采取基于时间帧的地理时空数据动态可视化表达技术,实现了地理信息历史数据回溯和地理实体动态演化过程;采用自扩展定制技术开发的信息集成共享定制系统,能进行空间数据和平台功能的自定义,延伸了平台的使用寿命。
本文通过对城市地理时空数据特性的分析,针对不同的地理数据制定了相适应的管理方案,结合当前计算机新技术,将富客户端技术、动态可视化技术和自扩展定制技术应用到地理时空大数据管理平台开发进行了深入研究,采用SOA设计平台的总体架构,开发了资源创建与管理系统、信息集成共享系统、数据交互应用系统三大实用的应用系统。本文的技术方法为城市地理时空大数据的集成管理和共享应用提供了的技术经验。
[1] 肖建华,王厚之,彭清山等. 地理时空大数据管理与应用云平台建设[J]. 测绘通报,2016(4):38~42.
[2] 刘小飞,关昆,于海波等. 多源多目标空间数据库的一体化集成与管理技术研究[J]. 测绘通报,2014(12):97~100.
[3] 杨春成,何列松,谢鹏等. 基于空间数据库引擎的多源地理空间数据管理[J]. 测绘科学技术学报,2010(10):366~370.
[4] 陈静,马金锋,毛锋等. 青岛地理信息资源共享平台设计与实现[J]. 地理空间信息,2009(6):87~90.
[5] 吴掠桅,孙玉婷,赵伟等. 基于服务的三维地理信息共享思考与平台设计[J]. 地理空间信息,2015(6):67~71.
[6] 刘润达,诸云强. 开源地理信息共享平台GeoNetwork及其定制应用实践[J]. 地理信息世界,2010(6):38~44.
[7] 胡冬芽. 地理信息共享平台的关键技术与发展[J]. 测绘通报,2013(6):65~67.
[8] 陈静,向隆刚,朱欣焰. 分布式异构栅格数据的集成管理研究[J]. 武汉大学学报,2011(9):1094~1096.
[9] 向红梅,向洪成,胡齐华. 生产管理“一体化”的城市综合测绘系统的设计与实现[J]. 测绘通报,2014(8):105~108.
[10] 吴燕平,田超,谢露蓉等. 建库与制图数据一体化生产与管理技术的研究与实践[J]. 测绘科学,2011(6):224~226.
[11] 张衡,成毅,王晓理等. 云GIS下智慧城市地理空间信息共享平台构建[J]. 地理信息世界,2016(6):71~76.
[12] 夏强,陶迎春,刘芳. 城市基础地理信息时空数据变化更新方法[J]. 测绘科学,2016(12):200~205.
ResearchontheTechnologyandMethodofUrbanGeographySpaceTimeBigDataManagementandApplicationPlatform
Xiang Hongmei1,Guo Mingwu2
(1.Changsha Planning & Design Survey Research Institute,Changsha 410007,China;2.Wuhan Geomatics Institute,Wuhan 430022,China)
According to the characteristic of spatial and temporal geographical data on urban,such as multi professional category,multi data format,data dispersion and so on,the management schemes of the grid format data,the data of the graph form,the data of the element type,the similar GIS data and the ArcGIS data of 5 kinds of geography space time data are put forward.Using map enhancement technology based on rich client,dynamic representation of temporal and spatial data based on time frame,spatial data and platform function self expanding custom technology,the overall design of the data management and application platform of the urban geography space time and space is carried out,and the trinity system of resource creation and management system,information integration and sharing systems,data interactive application system is developed. The high efficiency of data management and application in urban geography time and space has been realized. The technology method proposed in this paper has been verified in the project construction of Information integration management and application sharing platform for planning traffic survey in Changsha City,it provides the technical experience for the integration management and sharing application of the urban geography space time big data.
geographical space time;big data;management and application platform;rich client;time frame;self expanding custom
1672-8262(2017)05-57-05
P208.2
A
2017—07—18
向红梅(1968—),女,正高职高级工程师,主要从事GIS数据管理及应用开发研究工作。
本论文获得2017年“华正杯”城市勘测优秀论文三等奖。