地理空间大数据存储管理的地理网络地址研究

吕 雪 锋,程 承 旗,席 福 彪

(1.民政部国家减灾中心,北京100124；2.民政部灾害评估与风险防范重点实验室,北京 100124；3.北京大学工学院,北京 100871；4.北京大学遥感与地理信息系统研究所,北京 100871)



地理空间大数据存储管理的地理网络地址研究

吕 雪 锋1,2,程 承 旗3,席 福 彪4

(1.民政部国家减灾中心,北京100124；2.民政部灾害评估与风险防范重点实验室,北京 100124；3.北京大学工学院,北京 100871；4.北京大学遥感与地理信息系统研究所,北京 100871)

针对地理空间数据大数据分布式网络存储管理的地理网络位置搜索问题,从地理网络地址的域名角度,基于2n一维整型数组的全球经纬度剖分格网(GeoSOT)框架提出一种具有地理涵义的空间信息存储网络空间域名地址,即Geonet域名,以统一标识地理空间数据的空间区域位置与计算机存储网络的电子方位,实现用户访问的区域范围、地理空间数据所属地域范围与空间信息存储主机之间的一致性空间关联。

地理空间大数据；地理网络地址；地理域名；分布式网络存储

0 引言

随着对地观测系统、移动互联网、云计算及基于位置的服务的快速发展,如何依托现代网络更好地组织和管理大数据已经成为普遍关注的话题[1-4]。其中,对于地理空间大数据的网络存储组织与管理,一个逻辑上全球覆盖、物理上分散存储、信息高效共享的分布式组织体系是必然的发展趋势,而如何将地理空间大数据的空间特性和用户访问的区域性特征与现代网络信息技术相结合,以提供地理空间数据的网络位置发现与寻址框架,解决全局或全球地理网络中各种地理空间数据的空间位置与地理网络位置搜索的一致性问题,实现更高效的资源共享服务与调度,是全球地理空间大数据网络化组织与管理所需解决的重要问题之一。

本文从地理网络地址的域名角度,在基于2n一维整型数组的全球经纬度剖分格网(Geographic Coordinate Subdivision Grid with One Dimension-Integral Coding on 2n-Tree,GeoSOT)框架下[5],通过全球固定划分的格网单元(剖分面片)的地址编码与现有互联网络域名编码的结合,提出一种具有地理涵义的空间信息存储网络空间地址,即Geonet域名,以统一标识地理空间数据的空间区域位置与计算机存储网络的电子方位。在这种基于地球剖分格网编码的地理网络地址架构下,一方面从计算机网络语义角度建立了地理空间数据存储资源地址与剖分格网之间的映射关系,有利于根据用户访问的空间区域位置直接寻址定位到相应的物理存储资源,满足应急响应需求下热点区域空间数据的快速访问；另一方面从地理空间数据的空时存储角度建立了地理空间数据的空间区域位置与存储资源之间的关联关系,有利于同一地理空间区域的空间数据和存储资源的管理,满足不同区域范围内空间数据的差异化增长。

1 地理网络地址的Geonet域名结构

1.1 Geonet域名结构定义

在GeoSOT地球剖分格网框架下,每个剖分格网单元的地址编码采用度、分、秒及秒以下格网进行分段编码,编码长度最长为64 bits,其四进制1维编码形式为“Gddddddddd-mmmmmm-ssssss.uuuuuuuuuuu”；其中,d、m、s、u分别表示度级、分级、秒级及秒以下编码位,其分别取值为0、1、2、3的四进制数[5]。那么,在GeoSOT剖分格网编码下,地理网络地址的域名可通过一个顶级域名“.geonet”,按照全球经纬度格网的“度、分、秒”的剖分层级建立一个层次性的地理域名,每个域名对应一个剖分格网,其域名结构由剖分格网编码的秒级、分级、度级编码和域名后缀构成,即“ssssss.mmmmmm.ddddddddd.geonet”,如图1所示。其中,由于GeoSOT剖分格网框架的第21层剖分格网的空间范围为1″×1″,其对应赤道附近边长大约为32 m的区域范围,可以满足实际应用中地理空间数据存储组织的最小尺度需求，因此,基于GeoSOT剖分格网编码的地理网络域名结构设计到第21级的秒级编码即可。

图1 基于GeoSOT剖分格网编码的Geonet域名结构定义

Fig.1 The domain name structure of the Geonet based on the GeoSOT subdivision grid coding

1.2 Geonet域名映射方法

根据上述Geonet域名结构定义,Geonet域名寻址映射可分解用户访问的空间位置(经纬度坐标)与Geonet域名之间的映射、Geonet域名与地理空间数据存储主机IP地址之间的映射,即包括Geonet域名输入的用户层、解析层和IP映射层,如图2所示。

图2 Geonet域名映射方法

Fig.2 The domain name mapping method of Geonet

(1)用户访问的空间位置与Geonet域名之间的映射：在Geonet域名输入的用户层定义经纬度坐标输入格式,将用户访问输入的经纬度坐标(λ,φ)按照经纬度“整秒、整分、整度”格式输入,即“λsecondeφsecondn.λminuteeφminuten.λdegreeeφdegreen.geonet”(其中e、n分别标识东经、北纬)；然后将经纬度坐标的十进制经度值和纬度值分别转化为二进制值,再将经度值和纬度值的二进制1维编码按照纬向、经向顺序合成为四进制1维编码即得它所对应的Geonet域名地址。例如,北京市世纪坛中心点经纬度坐标为(39°54′37.01″N,116°18′54.82″E),Geonet域名输入的经纬度格式为http://54e37n.18e54n.116e39n.geonet,其二进制值为110110e100101n.010010e110110n.001110100e000100111n.geonet,对应的二进制1维编码为110100110110.101100101100.000001110100111010.geonet,对应的域名解析地址为310312.230230.001310322.geonet。

(2)Geonet域名与地理空间数据存储主机IP地址之间的映射：在Geonet域名的IP映射层定义Geonet域名地址与主机IP地址之间一对一或一对多的映射关系,一种方法是通过现有的域名地址与IP地址映射的关系表来实现,另一种方法是在现有计算机网络IP地址协议基础上嵌入GeoSOT剖分格网编码,构建GeoIP地址[6,7],直接形成Geonet域名与GeoIP地址之间的映射。例如,对于上文中的Geonet域名地址“310312.230230.001310322.geonet”,在IPv6网络环境中,其映射的64位十六进制GeoIP地址可为fec0:034d:acb0:1d3a:7952:1e08:cf83:1ae8(本地站点地址)。其中,fec0为IPv6本地站点的网络前缀,034d:acb0:1d3a为在IPv6本地站点的子网ID编码中嵌入的GeoSOT剖分格网编码,7952:1e08:cf83:1ae8为主机的MAC编码。

1.3 Geonet域名的特性分析

在基于GeoSOT地球剖分格网框架的Geonet域名地址定义下,Geonet域名地址的特性主要体现在以下方面：

(1)在域名地址编码上,每个Geonet域名地址编码对应一个全球唯一的GeoSOT剖分面片编码,它与计算机处理模式及经纬度语义形成一致,能够在四进制1维、二进制1维、十进制2维和二进制2维4种编码之间快速转换。

(2)在域名体系框架上,与美国斯坦福研究所SRI在数字地球概念的历史背景下设计提出的GeoWeb体系相比[8,9],Geonet域名地址采用整性经纬度四叉树剖分,具有多尺度递归性,在体系框架上可以代替它。例如，在图3中,GeoWeb域名“11e21n.3e7n.30e10n.geo”(其格式为minutes.degrees.tendegrees.geo)表示西南角为(17°21′N,33°11′E)的一个1′×1′格网,在GeoSOT格网中,经纬度(17°21′N,33°11′E)对应的二进制编码形式为(000010001°010101′,000100001°001011′),其所对应1′×1′格网的Geonet域名地址为021213.000120003.geonet,两者具有一致性；再者,例如代表整个中国、印度和

图3 Geonet域名与GeoWeb域名对比示意

Fig.3 Comparison between Geonet and GeoWeb

东南亚区域的Geonet域名地址可为“001.geonet”,其对应GeoSOT剖分格网框架中第3级64°×64°面片,代表其中南部海域的Geonet域名地址为“0011.geo”,对应第4级32°×32°面片,通过域名地址编码的多尺度递归性可直接判断其地域范围之间的归属关系。

(3)在数据存储调度上,每个Geonet域名地址对应一个全球唯一的GeoSOT剖分面片,它具有以区域数据量变化为依据的面片动态扩展性和以区域数据关注度为依据的面片动态调度性；并且由于GeoSOT剖分格网能够一致性聚合测绘、气象、海洋及世界各国主要的规格地理格网产品,所以其可管理属于该剖分面片内的各种地理空间数据。如图4所示,在Geonet域名地址定义下,可根据属于不同面片区域的数据存储增长和关注度,按照GeoSOT剖分面片的四叉分裂方式和域名地址与计算服务器IP一对多的映射方式进行地理空间数据及存储主机的区域化监测与动态扩展,有利于超大规模存储系统的区域性访问检索和系统维护。

图4 基于Geonet域名地址的区域化管理特性示意

Fig.4 The regional management based on Geonet

2 地理空间大数据的Geonet域名组织

2.1 地理空间大数据的Geonet域名组织架构

在GeoSOT地球剖分框架及Geonet域名地址定义下,地理空间大数据的存储管理可以通过建立用户业务区划范围、地理空间数据所覆盖或所属的空间区域位置、地理空间数据存储主机域名地址之间的一致性地理编码关联关系,将地理空间数据的元数据按照地理空间数据所属的Geonet域名地址进行区域化存储管理,用户可以按照各自业务区划范围直接进行地理域名解析定位到相应的数据存储主机,以形成面向地理空间大数据分布式网络存储管理的网络位置发现与寻址框架。如图5所示,地理空间大数据存储管理的Geonet域名组织架构可划分为用户视图层、域名映射层和数据存储层3个层次。

图5 地理空间大数据存储管理的Geonet域名组织架构

Fig.5 The organization architecture of geospatial big data storage management based on Geonet

(1)在用户视图层,先根据各用户业务区划范围或所管理的地理空间数据所属地域范围的尺度大小和位置判定其落在哪个或哪几个GeoSOT剖分面片内(这些剖分面片被称为Geonet域名定位面片),然后利用它们所在Geonet域名定位面片的地址编码统一标识其空间尺度、位置和范围信息,以形成各用户访问的区域范围和所管理的地理空间数据与Geonet域名地址间的一致性空间区位关联关系。

(2)在域名映射层,先将用户访问的区域范围或地理空间数据所占据的Geonet域名定位面片的地址编码按照1.2节中的Geonet域名映射方法转换为对应的Geonet域名地址编码,然后利用Geonet域名地址编码的空间包含或被包含关系定位到对应的物理存储主机,以形成用户访问的区域范围或地理空间数据所属的区域范围与物理存储资源之间的Geonet域名地址映射。

(3)在数据存储层,可在现有地理空间数据存储系统保持不变的情况,在地理空间数据的元数据管理系统中增加一层具有Geonet域名地址的元数据服务器层,通过元数据关联表方式记录同一Geonet域名地址下的多源空间数据文件信息,以形成以Geonet域名地址为检索键的面片空间化管理。

2.2 地理空间大数据的Geonet域名存储规则

在上述地理空间大数据存储管理的Geonet域名组织架构下,地理空间数据的元数据被放置在哪个或哪几个Geonet域名地址下的元数据服务器中,其存储规则是根据地理空间数据所覆盖或所属地域范围的最小外包矩形所对应的Geonet域名定位面片及其个数来确定。如图6所示,具体方法是：以经纬度弧度为单位,依据地理空间数据的最小外包矩形的范围大小选择一个空间尺度相近的GeoSOT剖分层级Lk(k∈[0,21]),然后根据数据最小外包矩形的4个角点坐标计算该地理空间数据在剖分层级Lk中所占据的剖分面片。

图6 地理空间数据的Geonet域名存储规则示意

Fig.6 The storage rule of geospatial data based on Geonet

(1)如图6a所示,若设数据最小外包矩形的长度为DL,宽度为DW,GeoSOT剖分格网的边长为Dk,当DL≥DW且Dk+1≤DL

(2)在确定用户业务区划范围或所管理地理空间数据地域范围的Geonet域名定位面片及其个数后,可结合数据管理部门用户的存储需求,按照Geonet域名地址与元数据服务器主机或虚拟机IP地址之间的一对一或一对多的映射关系来规划部署元数据服务器的Geonet域名地址。例如图6b所示,整个四川省的行政区划范围对应的Geonet域名定位面片大小为8°×8°,其面片编码分别为001122、001123、001300、001301,即部署在元数据服务器或虚拟机上Geonet域名地址分别为001122.geonet、001123.geonet、001300.geonet、001301.geonet,那么归属于四川省行政区划范围内的各种地理空间数据都可依据其Geonet定位面片编码存储到对应的Geonet域名地址下；若要存储的地理空间数据所覆盖的地域范围也恰好占据这4个Geonet域名定位面片,那么就将该地理空间数据的元数据分别在这4个Geonet域名地址下各存储一份。这种部署方式将同一地理数据文件信息复制备份到其它元数据服务器中,从而将用户区域访问的负载分摊到多个地理服务器上,提高了区域访问与检索效率。

2.3 地理空间大数据的Geonet域名寻址算法

在上述地理空间大数据的Geonet域名存储规则下,面向用户访问区域范围或地理空间数据存储操作的Geonet域名寻址算法流程如图7所示。

步骤1 先根据用户访问区域范围或地理空间数据的经纬度坐标(λi,φi)(i=1,2,…,n)计算获得它的最小外包矩形,然后按照2.2节中获得Geonet域名定位面片的方法,计算得到其对应的Geonet域名定位面片编码{Cj}(j=1,2,3，4)。

步骤2 将获得的面向用户访问区域范围或地理空间数据存储的Geonet域名定位面片编码{Cj}按照1.2节中Geonet域名映射方法计算转换为对应的Geonet域名地址编码{Dj}。

图7 地理空间数据的Geonet域名寻址算法流程

Fig.7 The domain name addressing algorithm of Geonet

3 结论

本文从全球地理空间的固定格网定位角度,在GeoSOT地理剖分格网框架下建立了一种面向地理空间大数据区域化存储管理的地理网络域名组织架构,为解决全局或全球多元地理空间数据的地理网络位置发现与寻址提供了一种解决思路。在这种Geonet域名地址编码下,可将各用户业务区划范围、地理空间数据所属的空间区域位置、地理空间数据存储主机域名地址之间形成一致性地理编码关联关系,实现以球面剖分面片为基础空间单元的地理网络地址组织管理模式,从而有利于提高地理空间大数据的区域访问与检索效率。

[1] 刘智慧,张泉灵.大数据技术研究综述[J].浙江大学学报(工学版),2014,48(1):1-16.

[2] 孟小峰,慈祥.大数据管理:概念、技术与挑战[J].计算机研究与发展,2013,50(1):146-169.

[3] 王元卓,靳小龙,程学旗.网络大数据:现状与展望[J].计算机学报,2013,36(6):1125-1137.

[4] 刘经南,方媛,郭迟,等.位置大数据的分析处理研究进展[J].武汉大学学报(信息科学版),2014,39(4):379-385.

[5] 程承旗,任伏虎,濮国梁,等.空间信息剖分组织导论[M].北京:科学出版社,2012.51-54.

[6] 关丽,吕雪锋.多级地理空间网格框架及其关键技术初探[J].地理与地理信息科学,2011,27(3):1-6.

[7] 吕雪锋,程承旗.基于地球剖分的空间信息区位标识[J].高技术通讯,2014,24(4):333-346.

[8] LECLERC Y,REDDY M,IVERSON L,et al.The GeoWeb——A New Paradigm for Finding Data on the Web[C].Proceedings of the International Cartographic Conference(ICC2001),Beijing,2001.

[9] LECLERC Y,REDDY M,ERIKSEN M,et al.SRI′s Digital Earth Project[R].Technical Report No.560,Artificial Intelligence Center,SRI International,Menlo Park,CA.1,2002.

Study on Geographic Network Address of Geospatial Big Data Storage Management

LV Xue-feng1,2,CHENG Cheng-qi3,XI Fu-biao4

(1.NationalDisasterReductionCenterofChina,Beijing100124;2.KeyLaboratoryofIntegratedDisasterAssessmentandRiskGovernanceoftheMinistryofCivilAffairs,Beijing100124;3.CollegeofEngineering,PekingUniversity,Beijing100871;4.InstituteofRemoteSensingandGeographicalInformationSystem,PekingUniversity,Beijing100871,China)

Aiming at the geographic network location search problem of the distributed network storage and management of geospatial big data,a kind of geographic domain name of spatial information storage network,namely Geonet domain name,is put forward based on the geographic coordinate subdivision grid with one dimension-integral coding on 2n-tree(GeoSOT).By means of the Geonet domain name to identify the regional location that geospatial data belong to and the electronic direction of computer storage network in a globally unified way,it can achieve the consistent spatial association among the area coverage of the user access,the geographic range of spatial data,and the storage host of spatial information.

geospatial big data;geographic network address;geographic domain name;distributed network storage

2014-05-17；

2014-06-20

国家重点基础研究发展计划(973计划)项目(61399)；国家863项目(2013AA3033)

吕雪锋(1979-)，男，博士，主要从事地理空间信息组织管理与灾害风险评估研究。E-mail:lxfndrcc@163.com

10.3969/j.issn.1672-0504.2015.01.001

P208

A

1672-0504(2015)01-0001-05