分布式并行计算技术在遥感数据处理中的应用

2017-02-23 12:01孟祥辉李浩川姚璐王少坤
电子技术与软件工程 2016年24期
关键词:电子政务

孟祥辉+李浩川+姚璐+王少坤

随着计算机信息技术的不断发展和进步,地理监测以及遥感数据处理工作也受到其相应的影响,如何依托分布式并行计算技术依托下的高分遙感处理各种电子政务受到有关部门和专家学者的重视,本文就对遥感影响数据并行处理计算模型、结构层次、同步通信等问题来对遥感影像进行线性拉伸并行处理,从而保证其有效性和实用性不受到影响。

【关键词】遥感处理 电子政务 分布式并行计算技术

1 项目背景以及要求

1.1 项目背景

高分遥感在电子政务地理空间基础信息库建设与服务中的应用示范项目,是高分重要的应用示范项目,依托“国家自然资源和地理空间基础信息库”一期工作,重点解决高分辨率遥感卫星数据与国家自然资源和地理空间基础信息库的融合,推进高分数据在电子政务地理空间基础信息库的综合应用示范,形成高分数据及其电子政务应用产品通过共享平台进行分发和共享的机制和格局,为国家宏观综合决策服务,包括资源环境综合监测评价、灾后重建规划实施效果监测、区域发展战略研究和区域规划、资源环境领域规划和重大基本建设项目跟踪及效益监测以及海洋资源开发和经济发展的监测工作等,以及为政府综合部门、业务服务和电子政务业务部门及社会公众服务。

1.2 要求

为满足海量遥感数据的需要,建设了高分遥感数据集群式生产系统,该系统具有高效、自动、智能的技术特性,遥感影像处理的基础支撑平台,提供统一的数据模型、业务模型接口,能够支撑起大规模遥感影像的集群式并行自动化处理。

2 遥感影像处理结构层次

遥感影像操作可以划分为三个不同的层次或者类别,下面就对其进行一一分析。首先为像素级操作,这是通过一副像素影像产生另外的像素影像,包括邻域、括点、几何操作等,很多数据都是有规则、几何、局部。而这种几何操作在进行遥感影像处理时表现为几何校正,因为装载在飞机、卫星的成像传感器受到飞机姿态、卫星、时间、运动、气候等不同因素的影响,其摄取的图像可能出现几何畸变的现象,因此,要能够完成旋转、重新定位、任意弯曲等操作;其次,其具有特征性操作的特征,这也是相关影像产生的特征,包括区域和线,常规性的特征包括纹理、形状、三维特征、梯度特征,一般选择一致的测度,包括方差、均值来进行处理和描述,其显示特征区域进行的可行性,而且,还具有非局部、象征意义的特性,在局部区域并行的同时,还要能够对整体加以处理;再者具有目标级操作的特征,这是由一系列特征诱发的目标,并且其信息具有复杂性、象征意义,一般都是通过相关知识来处理,从而对影像进行理解、描述、解释。

3 通信和同步

在并行计算期间,因为不同进程之间需要传输以及调度数据,因此,其具有相应的通信开销,并且这种开销表现为以下不同的方面,首先为传输等进程之间的数据,主进程从进程调度、数据传输、任务分配入手。在处理遥感影像时,需要能够划分影像,并且将其映射给进程加以处理和计算,其主要依据就是被划分部门的数据通信量,三种图像数据划分方式,如图所示,其中图1表示水平条带、图2为竖直条带、图3为矩形块,不同划分的条带边界表现为所要进行的通信数据。在处理不同影像时,要能够选择不同的划分方式,像素级的处理并行化分支较小,进行数据划分时较为简单,可以结合实际状况来选任何划分方法,特征处理如线条所示,按照竖直条带和水平条带来划分,在目标级、特征级处理期间,需要结合相应的问题、并行计算支撑环境来选择具体的划分方式。从一定角度来分析,要想能够达到并行化的要求,从而让被划分的数据通信量达到最小的要求。

在并行系统执行给定算法期间,可能会出现个别进程计算需要在其他进程完成之后才能开展,这时候同步是需要的,所谓的同步就是在这种状况下顺利使用通信协调技术不受到影响。同步也存在以下两种不同的开销,包括同步需要所有处理机能够进行相应的检验,但是,需要花费相应的时间;其次个别处理器可能为闲置,等待准许继续续需要计算相应消息。

4 结语

高分遥感在电子政务地理空间基础信息库建设与服务中的应用示范项目,是高分重要的应用示范项目,依托“国家自然资源和地理空间基础信息库”一期工作,重点解决高分辨率遥感卫星数据与国家自然资源和地理空间基础信息库的融合。通过实验不难发现,PC机群上所具有的分布式并行算法优势较为明显,但是,其通信开销依然是算法中需要解决的主要问题,在集群逐渐扩展的影响下,通信开销开始增长,这就让并行化程度遭到制约,选择直接少通信量、通信次的方法则能够降低实际的通信开销,从而为实现遥感卫星数据和国家自然资源信息库融合奠定坚实的基础。

参考文献

[1]杨海平,沈占锋,骆剑承,吴炜.海量遥感数据的高性能地学计算应用与发展分析[J].地球信息科学学报,2013(01):128-136.

[2]王竹晓,胡宏,陈立民,史忠植.动态描述逻辑推理的并行计算技术[J].计算机研究与发展,2011(12):2317-2325.

[3]马伟锋,李伟.遥感影像数据并行计算中数据分配策略研究[J].浙江工业大学学报,2016(03):270-274.

[4]潘巍,李战怀.大数据环境下并行计算模型的研究进展[J].华东师范大学学报(自然科学版),2014(05):43-54.

作者单位

1.中国电子科技集团公司第五十四研究所 河北省石家庄市 050081

2.国家信息中心 北京市 100070

3.北京金水信息技术发展有限公司 北京市 100070

猜你喜欢
电子政务
论基于云的电子政务服务平台构建
电子政务在高校行政管理中的应用探析
基于SOA的电子政务平台的设计研究
云计算在电子政务系统中的影响研究
我国电子政务系统的安全分析与防范
电子政务与政府行政管理的变革
电子政务工程项目绩效评价研究
智慧城市时代的电子政务研究
基于系统动力学的城市电子政务系统仿真分析
电子政务中安全问题的相关研究