海量三维影像数据的处理、存储与发布

沈晓丽,吴美华

(1.山西长治供电分公司 ,山西长治 046011;2.黑龙江傲立信息产业有限公司,黑龙江哈尔滨 150909)

海量三维影像数据的处理、存储与发布

沈晓丽1,吴美华2

(1.山西长治供电分公司 ,山西长治 046011;2.黑龙江傲立信息产业有限公司,黑龙江哈尔滨 150909)

总结 “基于A rcGIS平台,对海量影像数据进行处理、存储与发布”的试验方法与试验结论,阐述了通过采用图形切片、地图缓存技术,在A rcGIS平台上,可实现对海量数据的快速发布,满足基于地理信息系统的电网空间信息展示需求。

切片;缓存;海量影像数据

受资助项目:山西省电力公司科技项目

0 引言

随着遥感技术和数字摄影技术的快速发展,影像数据的使用越来越多,现在已经成为重要的数据源和数据更新的手段。在山西电网空间信息服务平台长治用户供电方案辅助决策项目开发中,尝试开展地理信息影像数据的使用。然而,影像地图信息的数据量非常大,并且随分辨率的提高呈几何级递增,达到几GB甚至几十GB字节,系统规模迅速扩张,造成所获取的影像与三维数据无法满足项目实际开发与应用需求,需要对数据进行加工与处理,才能完成数据的发布工作。

为此,在A rcG IS平台所提供的一系列的数据处理与发布软件之上,针对山西长治供电分公司电网空间服务平台的原始数字正射影像数据 (DOM)与数字高程模型 (DEM),进行了一系列的数据处理与存储试验,取得了很好的效果。

1 数字正射影像图与数字高程模型简介

数字正射影像图DOM(Digital Orthophoto Map)是利用 DEM对遥感影像 (单色或彩色),经逐像元进行辐射改正、微分纠正和镶嵌,并按规定图幅范围裁剪生成的形象数据,带有公里格网、图廓 (内、外)整饰和注记的平面图。

数字高程模型DEM(Digital Elevation Model)是一定范围内规则格网点的平面坐标 (X,Y)及其高程 (Z)的数据集,它主要是描述区域地貌形态的空间分布,是通过等高线或相似立体模型进行数据采集 (包括采样和量测),然后进行数据内插而形成的。DEM是对地貌形态的虚拟表示,可派生出等高线、坡度图等信息,也可与DOM或其他专题数据叠加,用于与地形相关的分析应用,同时它本身还是制作DOM的基础数据。

2 ArcGIS平台介绍

2.1 数据处理工具简介

A rcToolBox包含了A rcGIS地理处理的大部分分析工具和数据管理工具,使用A rcToo lbox中的工具,能够在GIS数据库中建立并集成多种数据格式,进行高级GIS分析,处理GIS数据等,可以合并、剪贴、分割图幅,以及使用各种高级的空间分析工具等。

A rcG lobe设计用于海量数据展示,所以为提高显示效率而进行了数据缓存,它将数据分块并按级别建立缓存和索引,使得即使在显示海量数据时仍可以高速地展示与漫游。

2.2 数据发布工具简介

A rcGISServer用于构建集中管理、支持多用户的企业级GIS应用。开发者使用A rcGIS Server可构建 Web应用、Web服务以及其他运行在J2EEWeb服务器上的企业级应用,是一个包含多个部件的分布式系统,可被分别配置在多台计算机上。A rcGISServer系统的各个部分分别在对象管理、负载平衡等过程中发挥特定的作用。

为了提升浏览性能,采用现时比较流行的地图缓存技术 (通俗的说法为 “瓦片技术”)。所谓的地图缓存技术,就是按照一定的数学规则,把地图切成一定规格的图片保存到计算机的硬盘里,当用户通过客户端浏览器访问地图服务时,服务器直接返回当前地图坐标区域所对应的 “瓦片”,从而达到降低服务器负担,提升地图浏览速度的效果。

3 海量数据处理、存储与发布

3.1 数据处理

3.1.1 数据准备

项目开发所使用成果图涉及670幅0.5m的数字正射影像图 (DOM)、7幅0.2 m的城区内数字正射影像图和670幅数字高程模型图 (DEM),在磁盘上进行文件存储,数据文件提前经过了融合处理,处理后的数据基本接近自然色,能够充分地反映出长治地区的基本地形地貌。

3.1.2 数据检查

通过数据检查,发现影像数据中存在以下问题。

a)地理坐标系 (Geogrpahic Coordinate System)未进行设置。

b)投影坐标系 (Projected Coordinate Systems)未进行设置。

c)数据涉及篇幅太多,存储容量为90 G,如果不进行拼接处理,无法进行图形发布。

d)数据接边处存在白色的缝隙和压边。

e)中国山西地处投影坐标跨带区,合并会造成数据失真。

3.1.2 数据处理

地理坐标系使用基于经纬度的坐标系统描述地球上某一点所处的位置。某一个地理坐标系是基于一个基准面来定义的。基准面是利用特定椭球体对特定地区地球表面的逼近,因此每个国家或地区均有各自的基准面。

中国常用的三个基准面和地理坐标系:GCS_WGS1984(基于 WGS84基准面),GCS_BEIJING1954(基于北京 1954基准面),GCS_XIAN1980(基于西安1980基准面)。

针对数据情况,采用符合其标准的GCS_XIAN1980坐标系,参数设置略。

投影坐标系 (Pro jected Coordinate System s)使用基于X、Y值的坐标系统来描述地球上某个点所处的位置。这个坐标系是从地球的近似椭球体投影得到的,它对应于某个地理坐标系。

投影坐标系由以下参数确定:地理坐标系 (由基准面确定,比如北京54、西安80、WGS84),投影方法 (比如高斯-克吕格、Lam bert投影、Mercator投影)。

北京1954投影坐标系和西安1980坐标系都是应用高斯-克吕格投影,只是基准面、椭球、大地原点不同。

针对数据情况,采用了高斯-克吕格投影,参数设置略。

确定了地理坐标系和投影坐标系后,将对数据进行批量的设置,因为山西地处跨带区,针对不同带区的数据,应该选择不同的空间参考,在A rc-ToolBox中,顺序打开Sm ap le→Data Management→Projections→Batch Define Coordinate System,进行空间参考批量设置。

3.2 数据存储与发布

地图共有677幅DOM数据与670幅DEM数据,以文件的形式存储在磁盘上,占用的存储空间为90 G,以何种方式进行图形数据的存储与发布,需要经过测试进行验证。

3.2.1 数字正射影像数据处理

以下几种方法,列举了在影像数据存储与发布过程中出现的问题,比较了存储方式的优缺点。

方法一:将677幅DOM数据以文件形式直接加入到A rcMap中,制作发布文件,然后对服务进行发布,发布结果成功。但是当对数据进行浏览操作,发现数据响应速度太慢,为提升浏览性能,采用地图缓存技术,决定创建数据切片。当数据切片进行到第七级别时候,系统报错,为释放系统内存,重新启动机器后,再次对数据进行切片处理,仍然弹出系统错误对话框。

通过翻阅系统帮助与检查系统的内存与CPU的处理情况,判断得出结论,因数据篇幅过多,导致系统在内存计算的负荷加大,例如图形显示计算、图形接边计算等等,造成了服务器内存的使用率高,系统无法完成计算,试验结果失败。

方法二:新建个人的Personal Geodatabase,将数据进行导入,导入时没有进行合并,发布后,无法进行切片处理,试验结果失败。

方法三:新建File Geodatabase,将数据进行导入并合并,每张Raster Dataset的存储量最大为256TB,可以满足数据的存储需求。

目前数据的现状是篇幅过多并且分带,假如将数据合并到一个Raster Dataset中,将会造成数据存储空间过大、显示过慢和因跨带造成的数据扭曲和失真的。于是采用分片拼接。拼接原则如下:不同带区的数据分开合并,同一片区的数据必须相邻。拼接方法如下:在FileGDB,右键Im port→Raster Dataset,先导入一片,点击导入的影像,右键Load→Load data导入其他幅数据。

以上拼接方法使用了Raster Dataset默认的存储空间,支持数据的最大容量为4G。假设数据需求超过4 G时,需要采用以下方法进行拼接:在FileGDB,右键 New→Raster Dataset,然后设置属性,设置空间参考,波段设置为3,压缩方式为“None”,即无损压缩,调整存储空间为256 T,实际每片存储为10 G;点击导入的影像,右键Load->Load data导入其他幅数据。

数据导入结束后,对数据进行发布,切片处理成功。此种方法为当前案例的最优处理方法。

数据合并后,存在白色的缝隙和压边情况,对于此类数据,采用对图形数据进行二次合并,二次合并选择的图片为拼接缝隙附近或缝隙上的图片,将其覆盖到缝隙上,保证了图形的本色。

3.2.2 数据高程模型处理

数据高程模型拼接方法如下:在FileGDB,右键Import→Raster Dataset,先导入一片;点击导入的影像,右键Load→Load data导入其他幅数据。

数据高程模型拼接转换方法如下。方法一:将合并好的数据高程模型,进行转换,在A rcTool-Box中,通过3D Analyst Too ls→Coversion→Form Raster→Raster to Tin,将合并后的数据高程模型转换 Tin格式后,数据存储空间变小,但数据质量明显下降,接边处出现裂缝,而且出现脏数据,无法满足使用。方法二:数据高程模型转换Im g格式后,数据效果较好,在A rcToolBox中,通过 Data Management Tools→Projections and T ransform ations→Raster→Project Raster进行转换,失真情况得到了控制。

3.2.3 三维服务调优

对于GB级的矢量要素 (密密麻麻的等高线、水系),漫游过程中,刷新一次大约50 s,远远超过用户要求的20 s/次,甚至出现长时间无响应。

根据文字的调优经验,针对数据量非常大的特点,显示时只需要加载窗口所需数据即可,如果能够快速定位所需数据,肯定能够提高显示效率。

方法一,利用空间索引。

尝试将存储于FileGDB中的数据导入A rcSDE(本机),并建立合适的空间索引,经测试发现显示漫游速度从原来的多于50 s,提高到了18 s左右,明显减少了A rcGlobe的漫游响应时间。导入A rcSDE建立空间索引的方法基本上达到了用户的最低要求。

虽然导入A rcSDE建立空间索引的方法基本上能够满足用户的最低需求,但效果仍然不够理想。要整体提高数据浏览速度必须借助缓存机制来实现。

方法二:利用缓存。

研究A rcGlobe的缓存机制发现,打开图层后A rcG lobe会依据图层的比例来建立 “按需缓存”。“按需缓存”是在浏览的时候自动生成的缓存文件,这会影响浏览速度,因此需要在浏览前按照合适的比例及显示参数,一次性创建好缓存。

经测试,建立缓存文件后,在显示初始化完成后,导航模式下 (只能俯视三维要素的显示模式)漫游速度大约5 s,非导航模式 (可以侧视三维要素的显示模式)漫游速度10 s左右。

4 结束语

以上是在开发 《基于GIS的用户供电方案辅助决策系统》时,对高分辩率海量三维影像图的处理与发布试验经验。系统运行表明,在A rcGIS平台上,通过上述方法可实现对海量影像数据的处理、存储与发布,满足基于地理信息系统的电网空间信息展示需求。

Studies on the Processing,Storing and Issuing of Mass Three-dimensional Image Data

SHEN Xiao-li1,WU Mei-hua2
(1.ChangzhiPower Supp ly Comany,Changzhi,Shanxi 046011,China;2.HeilongjiangO live In formation Industry Co.,Ltd,Haerbin,Heilongjiang 150909,China)

This paper summarizes the testmethods and the test conclusions of the processing,storing and issuing of the ArcGIS-based mass image data.On the A rcGIS p latform,it can issuemass image data fleetly and show the Grid's spatial information(which is based on the geographic information system)bymeans of graphics slicing technology andmap caching technique.

slicing;caching;mass image data

TP274

B

1671-0320(2010)06-0058-03

2010-09-10,

2010-10-12

沈晓丽 (1966-),女,安徽长丰人,1988年毕业于山东大学无线电物理专业,高级工程师,主要从事信息化建设和管理工作,山西电力技术院专家;

吴美华 (1977-),女,黑龙江海伦人,2001年毕业于哈尔滨工业大学计算机应用与科学技术专业,工程师,主要从事软件开发工作。