Pixel Factory影像数据处理系统介绍与应用探讨

2012-05-31 11:11吴正鹏奚歌
城市勘测 2012年5期
关键词:射影海量数据处理

吴正鹏,奚歌

(1.天津市测绘院,天津 300381;2.国家海洋信息中心,天津 300171)

1 前言

近年来,为使数字摄影测量软件系统具有大规模并行处理能力和较大的数据处理吞吐量,采用快速无损影像压缩技术和基于松散耦合并行服务中间件的分布式并行计算,即把局域网中互联的所有工作站(包括PC机和高性能的集群计算机——刀片机)通过软件的方式进行通信和协作,以一定的任务调度策略共同完成影像数据处理工作。分布式并行处理不仅能够减轻人员的工作量,而且还能够实现影像正射纠正的高度自动化,从而提高工作效率。因此,基于高速网络的集群分布式影像数据处理技术也成为当前数字摄影测量研究和应用的热点。

随着数字成像技术、主动式遥感技术、DGPS/IMU自主定位技术、自动智能化数据处理技术的快速发展,同时,集群系统实现技术的逐步成熟,使大规模并行系统成为一种比较容易获得的计算资源。目前并行计算技术运用在商用数字摄影测量系统中已有成功的先例,如法国欧空局采用最新发展的多影像多基线匹配、多传感器匹配等新技术开发的可处理大重叠度影像的、集群式处理环境下比较成熟的高性能遥感影像数据处理软件“像素工厂”(Pixel Factory)、美国Intergraph公司的“像素管道”(Pixel Pipe)、武汉大学遥感信息工程学院的DPGrid以及中国测绘科学研究院的Pixel Grid系统。这些系统影像数据处理效率之高,远远优于现有的数字摄影测量工作站,将成为未来数字摄影测量系统的发展方向。

2 Pixel Factory(“像素工厂”)简介

Pixel Factory(“像素工厂”)是Inforterra(法国地球信息)公司在多年技术积累的基础上研制开发的一套海量遥感数据自动处理系统,与传统数字摄影测量工作站相似,Pixel Factory亦由硬件部分和软件系统共同组成。

图1 Pixel Factory结构示意图

硬件部分由5个部分组成,如图1所示。①存储设备:负责原始数据输入和成果数据保存;②服务器:包括文件服务器和数据库服务器;③处理器:包括若干个具有强大计算能力的计算节点;④控制台:负责日常项目管理、任务分发及数据处理过程中的人工交互部分;⑤数据备份系统:负责系统及项目成果备份。

软件系统则集成了空中三角测量、DSM自动提取、DTM编辑、数字微分纠正、影像融合、镶嵌线自动提取、影像匀光、影像镶嵌与裁剪等数据处理功能,通过少量的人工干预即可得到数字地表模型(DSM)、数字地形模型(DTM)、传统正射影像(GroundOrtho)、真正射影像(TrueOrtho)等系列产品。

3 Pixel Factory的特点

作为集群分布式影像数据处理系统的先驱,与Image Station SSK等传统数字摄影测量工作站相比,其特点如下:

(1)优异的并行计算和海量数据在线存储能力

通过并行计算技术,Pixel Factory能够同时运行多个涉及海量数据处理的项目,系统根据不同项目的优先级自动安排和分配系统资源,使系统资源最大限度地得到利用;项目执行过程中,系统自动将大型任务划分为多个子任务,把这些子任务交给各个计算结点去处理,结点越多,可以接收的子任务越多,整个任务需要的处理时间就越少[1]。与此同时,数据计算过程中会生成比初始数据量更加庞大的中间数据和结果数据,只有拥有海量的在线存储能力,才能保证工程连续自动的运行;像素工厂系统使用磁盘阵列实现海量的在线存储技术,并周期性地对数据进行备份,尽可能地避免意外情况造成的数据丢失,确保了数据的安全[1]。基于上述因素,Pixel Factory能够提高生产效率,大大缩短整个工程的工期,使效益达到最大化。

(2)开放式的系统构架

Pixel Factory是基于标准J2EE应用服务开发的系统,使用XML实现不同结点之间的交流和对话,在XML中嵌入数据、任务以及工作流等,支持跨平台管理,兼容 Linux、Unix、True64 和 Windows。“像素工厂”有外部访问功能,支持Internet网络连接(通过http协议、RMI等),并可以通过Internet(例如VPN)对系统进行远程操作。可以通过XML/PHP接口整合任何第三方软件,辅助系统完成不同的数据处理任务[1]。

(3)兼容多种传感器遥感数据

航天传感器方面,Pixel Factory能处理SPOT、IKONOS、QuickBird、ALOS 等卫星影像及 ERS、RADARSAT等卫星雷达数据;航空传感器方面,Pixel Factory不仅可以处理 ADS40、UCD、UCX、DMC、SWDC 等数字航空摄影相机所获取的影像数据,也能处理RC30等基于胶片的航空摄影相机经扫描得到的影像数据。同时,Pixel Factory还支持通过调整传感器参数来适应不同传感器数据的处理需求,即“像素工厂”是与传感器类型无关的遥感影像处理系统。

(4)数字表面模型(DSM)自动计算

Pixel Factory与传统数字摄影测量工作站相比,其优势之一就在于DSM的计算。首先,“像素工厂”充分利用测区内的影像数据创建了大量的立体像对(航向和旁向立体像对);其次,DSM计算任务启动后,“像素工厂”会将所有的立体像对分配到可用的计算结点上进行并行计算,通过逐点匹配获取单模型DSM,最后通过融合得到测区数字表面模型。这样的组织方式实现了DSM计算的全自动化,可以减少立体像对匹配所花费的时间,从而提高生产效率。

(5)真正射影像(TrueOrtho)生产

真正射影像是基于DSM对高重叠度的遥感影像进行数字微分纠正,改正原始影像的几何变形,对整个分区进行影像重采样,采样后的影像视角都被纠正为垂直视角。与传统正射影像相比,真正射影像呈现给人们的是一种垂直视角的观测效果,避免了高大建筑物的倾斜对其他地物的遮挡,在拼接地区能够实现平滑自然的过渡。为了保证地面上的每一个点都能获得“最垂直”的观测效果,通常采取的方法是在航空摄影阶段加大航向、旁向重叠度,多角度获取地物信息。随之带来的海量影像数据的处理便成了传统数字摄影测量工作站难以逾越的一道“鸿沟”,而Pixel Factory的高自动化程度和分布式处理方式则为真正射影像产品的商业化和大规模生产提供了可能,同时,像素工厂还提供了针对真正射影像的一系列解决方案。

图2 传统正射影像与真正射影像对比示意图

(6)缺乏立体量测环境

由于Pixel Factory没有配备立体量测环境,对于数字线划图(DLG)测绘项目、DTM生产过程中需要人工交互编辑的部分还需要借助其他数字摄影测量工作站完成。因此,从某种意义上讲,“像素工厂”尚不能完全满足4D产品的生产需要。

(7)“像素工厂”系统庞大复杂,需要管理、操作人员有较高的专业技术水平和一定的生产经验。

4 Pixel Factory数据处理案例

4.1 航天遥感影像数据处理项目案例

贵州省“十一五”电网线路走廊规划——SPOT5数字正射影像图制作项目共涉及93对SPOT5全色及多光谱数据。整个项目由一名工作人员负责,全部计算采用Pixel Factory自动完成,工作人员只需做好生产流程中各环节的控制台操作,并严格做好各环节的质量控制即可。计算过程主要包括以下内容:影像间连接点提取、控制点量测、影像正射纠正、影像融合、镶嵌线计算、影像镶嵌及整体匀色等,如图3~图6所示。

图3 连接点分布示意图

图4 控制点分布示意图

图5 连接点分布示意图

图6 影像镶嵌整体效果图

4.2 2航空遥感影像数据处理项目案例

2006年天津市滨海新区1∶2 000正射影像图制作项目采用DMC对天津市中心城区、新四区及滨海新区实施航空摄影,面积约为5 450 km2。其中,航摄比例尺 1∶12 000,航高约 1 440 m,地面分辨率约0.144 m,航向重叠 60% ~65%,旁向重叠 30% ~35%,飞行质量和影像质量良好,成图比例尺1∶2 000。该项目实施过程中,使用Image Station SSK的自动空三模块ISAT完成空中三角测量工作,其余工作由Pixel Factory完成,具体技术路线如图7所示。

5 相关问题探讨

5.1 传统正射影像(GroundOrtho)制作算法优势

镶嵌线自动提取方面,该系统在镶嵌线自动提取过程中,综合考虑了影像的灰度、影像拍摄入射角度及地形特征(利用DTM和DSM进行辅助判断)等因素对影像镶嵌质量的影响,所获取的镶嵌线能最大限度地绕开高大的建筑物(如图8所示),避免了可能出现的“错位”,保证相邻影像地物色调过渡自然,对于镶嵌线不理想的地方,还可以根据需要进行人工修改,该作业模式避免了由人工采集镶嵌线带来的大量工作。

图7 航空遥感影像数据处理技术流程

镶嵌影像色调方面,提出了利用较低分辨率参考影像的色调对镶嵌结果进行全局色调调整,从而实现海量影像数据的色彩平衡;同时,在参考影像镶嵌过程中使用全局及局部均衡算法,保证参考影像的色彩均衡。此算法为海量遥感影像数据镶嵌成果的整体色彩平衡提供了依据,解决了长期以来遥感影像数据整体色调处理的难题。

5.2 海量卫星影像数据处理

利用Pixel Factory进行海量卫星影像数据处理有如下优点:①影像分组技术确保连续获取的影像数据精度和颜色一致且影像接边误差为零;②将作业区域中的所有影像视作整体进行空中三角测量与光束法平差处理,保证得到最优解算结果并大幅度减少对地面控制点的需求;③先进的镶嵌线自动提取算法确保作业区域相邻影像接边误差最小、色差最小,重叠区使用入射角度最小的影像;④“去云”编辑确保镶嵌成果无缝且有效部分最大;⑤NASA地表光谱字典的应用保证经融合计算得到更接近现实的自然色影像;⑥影像镶嵌过程中全局、局部色彩均衡算法及参考影像的应用确保的镶嵌成果质量。

图8 镶嵌线自动提取局部成果示意图

5.3 DSM(DEM)自动计算算法仍需改进

Pixel Factory利用数字影像匹配技术按立体像对上的规则格网进行采样生成高精度的数字表面模型(DSM),然后通过应用滤波算法和人工编辑相结合的方式对树林覆盖地区和房屋密集区域进行处理,从而由DSM生成DEM。该方法与传统方法相比,人工工作量有所减轻,生产效率大幅度提高。但是,由于采用规则格网匹配方式,容易丢失特征点,不能很好的表示地形特征,而在过滤处理过程中,滤波算法也不能较全面顾及地形细部特征,所获取的DEM精度较差。在此方面,国内自主开发的Pixel Grid系统则采用了基于多基线、多重匹配特征(特征点、特征线)的自动匹配技术,解决了地形细节的表达问题,但自动滤波算法的准确性尚需提高。

5.4 增强框幅式航摄数据空中三角测量功能

Pixel Factory优异的并行计算和海量数据在线存储能力使采用线阵扫描成像方式的ADS40航空摄影相机与 SPOT、IKONOS、QuickBird、ALOS 等卫星传感器所获取的大面积、海量无缝条带影像数据的在线空中三角测量成为可能。

对于框幅式航空摄影数据,Pixel Factory需要用户提供航空摄影时记录的POS或GPS数据,方可以此作为初始值进行区域网空中三角测量;如果测区内航空影像不带有POS或GPS数据,仅有像控点,“像素工厂”则需要使用其他摄影测量软件进行空中三角测量,导入其解算结果方可进行后续的处理任务。同时,随着无人机低空遥感系统在国内各行各业的推广应用,小幅面影像数据的空中三角测量亦随之成为其数据处理过程中的难点。因此,以Pixel Factory为代表的集群分布式影像数据处理系统应增强框幅式航摄数据空中三角测量功能,从而适应实际生产需求。

6 展望

Pixel Factory作为当今世界领先的海量遥感数据自动处理系统,集自动化、并行处理、多种影像兼容性、远程管理等特点于一身,代表了当前遥感影像数据处理技术的发展方向。目前,Pixel Factory用于海量遥感影像数据生产在国内已进入成熟阶段,无论是处理卫星遥感数据、数码航空影像还是传统胶片都体现出其强大性能,必将为各行业提供更好的服务。

同时,随着地理国情监测工作的推动,遥感技术作为辅助该项目实施的重要手段,可应用于各种从宏观到微观的地理国情信息监测。而Pixel Factory强大的数据自动处理能力将为海量遥感影像数据处理提供有力保障,为我们认识国情的丰富内涵、提升测绘服务水平、拓展基础测绘业务、科学化的管理决策提供技术支撑。

[1]张祖勋.从数字摄影测量工作站(DPW)到数字摄影测量网格(DPGrid)[J].武汉大学学报(信息科学版),2007,32(7):565~571.

[2]孙明伟.正射影像全自动快速制作关键技术研究[D].武汉:武汉大学,2008,6 ~59.

[3]沈泉飞,曹敏,李观石.像素工厂空三转换及其精度控制研究[J].现代测绘,2009,32(2):10~14.

[4]答星,李琼,孟泉毅.基于DPGrid进行城市大比例尺正射影像生产的若干问题思考[J].城市勘测,2011(1),91~93.

[5]邢诚,刘冠兰.像素工厂的研究与探讨[J].计算机与数字工程,2008,36(9):132 ~134.

[6]曹敏,史照良.新一代海量影像自动处理系统“像素工厂”初探[J].测绘通报,2006,10:55~58.

猜你喜欢
射影海量数据处理
一种傅里叶域海量数据高速谱聚类方法
认知诊断缺失数据处理方法的比较:零替换、多重插补与极大似然估计法*
ILWT-EEMD数据处理的ELM滚动轴承故障诊断
海量快递垃圾正在“围城”——“绿色快递”势在必行
三参数射影平坦芬斯勒度量的构造
一个图形所蕴含的“海量”巧题
基于希尔伯特- 黄变换的去噪法在外测数据处理中的应用
基于已有控制资料的正射影像自动更新
基于改进射影控制的柔性直流输电广域阻尼控制
Matlab在密立根油滴实验数据处理中的应用