基于集群的遥感影像并行绘制研究

冯志元，李朝奎,2，殷智慧，杨 武

(1.湖南科技大学 地理空间信息湖南省工程实验室，湖南 湘潭 411201; 2．湖南科技大学 地球空间信息科学研究中心，湖南 湘潭 411201)

基于集群的遥感影像并行绘制研究

冯志元1，李朝奎1,2，殷智慧1，杨 武1

(1.湖南科技大学 地理空间信息湖南省工程实验室，湖南 湘潭 411201; 2．湖南科技大学 地球空间信息科学研究中心，湖南 湘潭 411201)

基于集群并行绘制系统，采用基于WCF通信构架的Sort-first体系结构，对遥感影像建立金字塔层次模型，提高并行绘制效率。并行绘制集群系统采用基于WCF构架并发机制的分布式数据存储模式，突破传统的共享数据存储模式，减少数据在网络传输的开销。在集群系统环境下，对遥感影像建立金字塔模型和未建立金字塔模型两种情况下的影像数据进行并行绘制实验。实验结果表明:建立金字塔模型的遥感影像使得并行绘制效率显著提高。

集群；并行绘制；WCF；分布式存储；金字塔

目前，采用价格昂贵的高性能处理器来进行遥感影像数据的绘制代价太高，因而采用性价比较高的集群系统实现大范围数据的处理仍是一个合理的选择。基于WCF(Windows Communication Foundation)构架的并发机制的集群系统，对共享模式的数据进行并行计算，不仅需要考虑信息的传递，还需要考虑数据在网络传输的开销。相对于WCF构架的分布式并行绘制，采用保留模式的数据存储模式[1]，不再需要考虑数据在网络上的传输，根据有效的任务分配策略直接对本地的数据进行提取和通过对遥感影像数据建立金字塔模型进行并行计算绘制即可，提高并行绘制的效率。并行绘制效率[2]的影响因素很多，主要有以下几个方面：数据预处理、任务划分、任务调度和负载平衡。本文对遥感影像建立金字塔预处理模型，并在集群环境下进行并行绘制实验，探讨提高并行绘制效率的方法。

1 并行绘制

1.1 并行绘制体系结构

目前，经典的3种并行绘制体系结构中[2-5]，Sort-first、Sort-last是主流体系结构。Sort-first体系结构中，几何处理之前要做归属判断，显示屏中的图像空间区域被分割成多个子区域并分配给不同的绘制服务器进行处理。Sort-last则不对图像空间区域进行划分，而是只将显示屏幕中场景数据等分为若干子数据集，然后对子数据集进行划分(此划分不受空间格局限制)，因而可以保证备处理器的绘制单元数量基本相等，从而保证负载平衡。三维并行绘制体系结构自身存在一些优缺点。Sort-first的优点是各流水线之间完整且相互独立；缺点是需要进行图元归属判断,对显示屏幕划分并非空间均匀划分，容易造成各处理器负载不平衡。Sort-last的优点是把场景中空间对象划分为若干个子数据集，对划分后各数据集的显示屏幕不再进行划分，而且没有任何冗余处理；缺点是需要深度合成，由于每个像素合成速度随着空间分辨率的提高而线性增加，给网络数据传输带来巨大的压力。

为解决Sort-first体系下的图元归属判断带来的负载不平衡问题和Sort-last体系下的像素深度合成问题，相关学者采用两种并行绘制体系结构相结合的方法。R.Samantad[6]提出一种Sort-first&Sort-last混合体系结构。但是空间图像像素的深度合成问题依然是混合绘制模式的瓶颈。

各个服务处理器之间的低耦合度，是实现并行绘制计算的一个基本条件。本文中采用sort-first体系结构，对大范围的遥感影像数据进行网格分割，并存储在分布式的服务器上进行绘制。每个分布的服务器都可以独立地对图像进行处理，不需要交互操作，很大程度上满足并行绘制的条件。

1.2 集群并行构架

集群并行构架(见图1)是基于WCF的通信基础架构[7-10]，不但能提供web Service，还可以提供Remoting，Enterprise Services，MSMQ等，目的是提供统一的编程模型，将编程与通信基础结构分开。WCF构架的消息并发机制由3部分组成：集群客户端代理、集群计算节点和分布式存储。

图1 集群并行构架

集群客户端代理又称“集群控制器”[11]，是集群服务器端为客户端发送请求提供的一个访问接口。通过该接口，客户端可以向服务器建立会话和提交场景数据的绘制指令信息，使得客户端与服务器端建立可信连接。

集群计算节点又称“集群绘制节点”，是集群中呈分布式的承载数据处理服务的一些节点。每一个计算节点，都留有整个场景数据的备份，无需从客户端调用数据，通过接收客户端的绘制指令，直接从本地读取数据，并进行绘制计算。

分布式存储是对大范围的遥感数据储存的形式，分布在各个计算节点上。计算节点接收到绘制指令时，可以直接对本服务器上的相应数据进行绘制和处理，减少数据从客户端调用在网络传输上增加开销。

通过基于WCF构架的消息传递，客户端把绘制请求发送到集群中的每个计算节点，能够正确接受会话的计算节点开始对分配的任务进行绘制；当绘制完成后，返回消息响应，该任务完成。集群中的计算节点无需从客户端调用数据，直接对本地部署好的数据进行提取和绘制计算，减少数据在网络上传输的开销。

1.3 任务划分策略

对于集群的并行绘制系统，好的任务划分方法和任务分配方案是提高系统性能的重要指标。

自适应屏幕划分算法更符合任务划分，避免绘制无效图像；最佳屏幕划分数可以采用最优划分数搜索算法，该算法是基于反馈的自适应屏幕分割算法。方法具有如下特点：①划分与对象数据的空间位置无关；②划分过程简单，减小每帧绘制之前计算屏幕划分布局开销；③对无用区域剔除，无用区域包括图像绘制时间大于图像读取时间的区域和空图像区域[4]；④划分屏幕数据存在限制，不能太多也不能太少，否则都会影响性能。

一种效率高的任务分配方法，其分配策略见图2，分配步骤如下：①统计各任务的绘制时间，并对绘制时间按从大到小的顺序排列；②对各处理器的时间进行初始化；③统计当前各个进程积累时间，将任务队列中当前的任务分配给积累的最少进程；④循环第三步骤，直到所有的任务分配完毕。

如图2(a)所示，把区域2和区域3的空间对象，分配给同一个服务器端的处理器进行绘制(见图2(b)所示)，有效保证各个服务器对空间对象处理时间的平衡。

图2 高效任务分配策略

该方法的优点：可以实现系统的高效绘制，保证各个服务器端的处理器的并行绘制时间基本均衡；缺点：对于大数据量的空间数据进行处理时，需要多次对空间数据进行任务分配，增加任务分配开销。

1.4 金字塔层次模型

图像分层有利于快速读取某一层的图像信息[13]。常用的方法就是对遥感图像建立金字塔层次模型，便于图像的快速读取和显示。本文对图像建立分层方法：设置金字塔最顶层大小(47*47)，依次以2的整数倍对图像进行分层，直到动态分完为止。

采用GDAL库文件建立分层，提供对遥感影像RasterIO接口，可以对大数据量的遥感影像建立金字塔模型[14-16]。以Srtm_01.tif遥感影像为例(见图3金字塔层次模型)。

图3 金字塔层次模型

设置顶层金字塔大小：

Int iTopNum = 2209; // 47*47

建立的各个层的大小：

OverView 0: Size (1501,1501); OverView 1 : Size (751,751); OverView 2 :Size (376,376)

OverView 3 : Size (188,188); OverView 4 : Size (94,94) ; OverView 5 : Size (47,47)

2 实验

2.1 实验过程

1)实验硬件环境。3台计算节点和1台代理节点，配置：处理器Intel(R) Xeon(R) CPU E5620 @2.40GHz (2处理器)，内存8.00GB，64位操作系统。

2)实验软件环境。头节点配置环境：VS2010开发环境、HPC Server 2008 操作系统、HPC Pack 2008 R2 SDK、MPI.Net和MPI.NET Runtime。

计算节点配置环境：HPC Server Pack 2008 R2、HPC Server 2008操作系统、MPI.NET Runtime和 .net Framework 4.0。

3)实验数据。Projection:GEOGCS["WGS84",DATUM["WGS_1984",SPHEROID["WGS84",6378137,298.257223563,AUTHORITY["EPSG","7030"]]

RasterSize (6001,6001) *6

Corner Coordinates:

Upper Left (109.999583817611, 30.0004172478019)

Lower Left (109.999583817611, 14.9995836723247)

Upper Right (120.000417272016, 30.0004172478019)

Lower Right(120.000417272016，14.9995836723247)

DataType: Int16

ColorInterpretation: Gray

图4为遥感影像图，对其进行格网分割成6块。由于遥感影像图分块的最右下角影像不包含陆地信息，故在进行并行绘制时对该区域的影像进行剔除处理。为保证第一个实验与第二个实验的实验数据相等，均对遥感影像最右下角区域不做考虑。然后对每块影像图建立金字塔层次模型，并在集群环境下对未处理和处理的遥感影像分别进行并行绘制实验测试。

图4 遥感影像图

遥感影像数据见表1，分别对影像进行预处理，建立的金字塔模型数据大小如表1所示。建立金字塔模型的文件比本身图像要小许多，因而不会牺牲很多计算机空间。

表1 遥感影像数据表

2.2 实验结果

1)对5个有效(未处理)tif图像(图像最右下角的图像剔除)进行集群并行绘制，3个计算节点进行绘制的时间如表2所示。

表2 (未处理)并行绘制时间统计表

对5个有效(未处理)tif图像，进行串行的运行时间：0:02:06.407。

2)对5个有效(构造金字塔模型)tif图像(对影像构建金字塔模型，且图像最右下角的图像剔除)进行集群并行绘制，3个计算节点进行绘制的时间如表3所示。

表3 (构造金字塔模型)并行绘制时间统计表

对5个有效(构造金字塔模型，图像最右下角的图像剔除)tif图像，进行串行的运行时间：0:00:29.672。

2.3 并行加速比测试

在集群环境下，对没有处理的遥感影像和构造金字塔模型的遥感影像进行加速比测试，其加速比如表4所示。

表4 加速比测试

2.4 结果分析

从表4中可看出：①单机上对分块的遥感影像进行串行绘制时，经过建立金字塔模型的串行运行效率要优于未进行处理的影像运行效率；②集群中对分块的遥感影像进行并行绘制时，建立金字塔模型的影像的运行效率较高；③经过建立金字塔模型的影像的加速比高于未处理的影像的加速比。

3 结 论

在计算机集群环境下，基于WCF通信构架的sort-fist体系结构，对遥感图像先进行分块，然后对每块影像建立金字塔层次模型(每个图块都动态预处理分为6个图层，最顶层的数据统一设置成47*47)，能够提高集群并行绘制的效率。经过预处理的遥感影像在集群环境下并行绘制效率约是未处理影像的两倍，这对于遥感影像的并行绘制具有重要意义。

[1]金哲凡.保留模式图形并行绘制研究[D].杭州:浙江大学,2004.

[2]谭同德,王小伟,赵新灿,等.基于多核PC集群的并行绘制系统研究与实现[J].计算机应用,2010，30(7):1828-1831.

[3]王攀,刘华海,李思昆，等.无合成并行绘制算法中的自适应屏幕分割策略[J].系统仿真学报,2012,24(1):99-102.

[4]彭敏峰.并行绘制系统体系结构关键技术研究[D].长沙:国防科学技术大学,2006.

[5]冯慧玲.实时集群计算机体系结构的研究[D].西安:西安科技大学,2006.

[6]R SAMANTA,T FUNKHOUSER,KAI LI,et al.Hybrid Sort-First and Sort-Last Parallel Rendering with a Cluster of PCs.[C]//Proceedings of the ACM SIGGRAPH/EUROGR-APHICS workshop on Graphics hardware,2000.USA:ACM,2000:97-108.

[7]罗丹.基于WCF的遗留系统并行构架的设计与实现[D].杭州:浙江大学,2011.

[8]J LOWY.Programming WCF Services[M].0’ReillyMedia,Inc.,2007.

[9]S KLEIN.Professional WCF Progralnllling[M].WileyIndia,Inc.,2009.

[10]石教英. 分布并行图形绘制技术及其应用[M].北京：科学出版社,2010.

[11]RUI XIN YANG.Value range queries on earth science data via histogram clustering[M]. Lecture Notes In Computer Science,1999.

[12]许涌,万国龙.海量图像数据快速显示技术[J].计算机工程与设计,2003(6):36-38.

[13]张利.多尺度海量栅格数据组织与管理的研究[D].郑州:信息工程大学,2005.

[14]张宏伟,童恒建,左博新,等.基于GDAL大于2G 遥感图像的快速浏览[J].计算机工程与应用,2012,48(13):159-162.

[15]余粉香,王光霞,万刚.大数据量遥感影像的快速调度与显示[J].海洋测绘,2006，26(2):27-30.

[16]李东颖,唐新明,闫浩文.基于分离式金字塔模型的测绘立体影像数据检索系统设计与实现[J].测绘工程,2012，21(5):30-34.

[责任编辑：张德福]

Parallel rendering research of remote sensing image based on cluster

FENG Zhi-yuan1, LI Chao-kui1,2, YIN Zhi-hui1, YANG Wu1

(1.Hunan Provincial Engineering Laboratory of Geospatial Information, Hu’nan University of Science and Technology, Xiangtan 411201, China；2.Academic Center of Geospatial Information Science，Hu’nan University of Science and Technology，Xiangtan 411201, China)

Parallel rendering system based on cluster uses the Sort-first system structure based on WCF communication framework, through the establishment of the pyramid hierarchy model of remote sensing image in order to improve the parallel rendering efficiency. The cluster parallel rendering system based on distributed data storage mode of WCF framework, through the sharing of data storage mode, greatly reduces the time of the data in the network transmission. Based on the cluster system environment, two kinds of parallel rendering experiments with and without pyramid model are made for the remote sensing image, as a result of which the pyramid model can improve the efficiency of parallel rendering.

cluster; parallel rendering; WCF; distributed data storage mode; pyramid

2013-06-10

国家自然科学基金资助项目(41271390)；湖南省自然科学基金资助项目(12JJ9023)；湖南科技大学研究生优秀学位论文培育资助项目(S120036)

冯志元(1986-)，男，硕士研究生.

TP753

：A

：1006-7949(2014)07-0026-04