基于MPI的卫星遥感数据实时处理平台设计

刘莉

（1 航天天绘科技有限公司，北京 100073）（2 航天恒星科技有限公司，北京 100086）

1 引言

随着遥感技术的快速发展，卫星遥感图像的空间分辨率、光谱分辨率和时间分辨率大大提高。这使得卫星采集的数据量不断增大，导致卫星下传码速率提高，其中高分辨率遥感卫星的下传码速率高达450 Mbit／s，地面经过解压缩处理之后的码速率更高达4Gbit／s。高码速率的数据需要在卫星下传数据时实时接收和处理，而基于处理板卡的单机处理设备受到单设备的I／O、CPU 等处理性能的限制，已经不能满足实时处理要求［1-2］。本文提出了一种基于消息传递接口（Message Passing Interface，MPI）的卫星遥感数据实时处理平台，并采用刀片服务器搭建原型系统进行平台的系统验证，可为未来高分辨率对地观测系统地面实时处理软件架构提供参考，为实现地面系统设备的业务化、集成化、多星多体制兼容创造条件。

2 实时处理平台设计

在解决高速率卫星下传数据的实时接收和处理方面，分布式并行处理系统因其强大的计算能力、独特的灵活性和低廉的成本，具有很大的优势。因此，本平台的设计借鉴了国内外分布式并行处理系统的框架［3-6］，采用多层结构，使各层各司其职，从而保证平台对设备的开放性和对不同业务的可扩展性。

并行处理程序各部分之间，通过来回消息传递的方式通信，要使消息传递方式可移植，须要采用标准的消息传递库。MPI是被广泛应用的消息传递标准规范，自1992年产生以来，已有40多个欧美机构致力于MPI标准的研究，包括硬件厂商、大学、政府实验室和工厂，所有的并行计算机制造商都提供对MPI的支持。MPI特别适合于大规模可扩展并行算法，具有较高的通信性能、较好的程序可移植性［7-9］。本文采用MPI并行程序技术，以更好地实现分布式并行处理系统框架，保证平台的高效和稳定。

2．1 分层架构设计

为了构建通用、可扩展的卫星数据实时处理平台，对卫星下传的多星多载荷数据进行实时并行处理和记录，本文采用分层的结构设计，以满足平台的业务处理能力。卫星遥感数据实时处理平台为4层结构，如图1所示。其中：应用支持层为基础服务层提供MPI功能支持，提供平台的分布式并行处理功能；基础服务层为业务处理层和表现控制层提供一系列基础服务；业务处理层为表现与控制层提供遥感数据的业务处理模块；表现与控制层通过调用业务处理层的处理模块实现具体的业务流程。

1）表现与控制层

该层是平台的展现和控制入口，包括任务调度与节点控制端（主控）和业务视图端。业务视图端表现业务的相关信息，包括配置信息、状态信息等，同时也向外提供实时控制业务的功能。任务调度与节点控制端（主控）负责将计划和实时控制功能转化为对各业务层模块的控制令集合，并下发给业务层，从而实现计划的配置、执行与控制。

2）业务处理层

该层负责具体的数据业务处理过程，由多个处理模块组件组成，包括原始数据回放模块、原始数据记录模块、0级数据记录、实时解压缩等，可根据业务的需要扩展相应的处理模块。

3）基础服务层

该层主要是为业务处理层和任务调度与节点控制端（主控）提供一系列的服务支持，它包括日志服务、信息上报与控制中转服务、参数解析服务、信息生成服务、数据存取接口服务和业务动态加载服务。

4）应用支持层

该层为上述3个层的实现，尤其是为基础服务层提供功能支持。常用的基于MPI标准实现的有MPICH 库、MVAPICH 库和OpenMPI库等。其中：MPICH 库是MPI标准最重要且基础的实现，完全实现了MPI 1．2 标准，基于以太网应用范围最广，除包含MPI函数库外，还包含了一套程序设计及运行环境；MVAPICH 库是MPI接口在VAPI层Infiniband网络上的实现版本，在Infiniband上具有较好的性能；OpenMPI库是MPI 2（MPI的扩充和发展标准）的一个开源实现，可以运用在任何网络上，目前由一些科研机构和企业一起开发和维护。在本平台的设计中，MPICH 库在网络协议的通用性、对操作系统和硬件平台的支持力度等方面具有较大优势，因此选用它作为平台的具体实现。

图1 卫星遥感数据实时处理平台分层结构Fig．1 Layered architecture of satellite remote sensing data real-time processing platform

2．2 平台工作流程

卫星遥感数据实时处理平台的工作流程，如图2所示。

（1）首先通过业务视图端下达计划，针对不同的业务，计划类别不同，在地面接收处理系统中常用的计划类别有数据接收、数据回放等。

（2）任务调度与节点控制端（主控）接收到计划后，将计划分解成任务，并生成执行任务所需的配置信息，配置信息中包含运行的业务名称、对应的业务模块，以及业务模块运行所需的参数信息等。

（3）任务调度与节点控制端（主控）调用业务动态加载服务，业务动态加载服务解析配置信息并加载相应的业务处理模块，完成业务处理。

（4）业务处理模块在各个处理节点上运行时进行专有业务处理，程序在收到任务调度与节点控制端（主控）下达的“停止”时结束处理，上报完成结果；任务调度与节点控制端（主控）根据所有的节点完成结果生成计划的完成报告，提交给业务视图端显示，整个计划完成。

图2 卫星遥感数据实时处理平台工作流程Fig．2 Procedure of satellite remote sensing data real-time processing platform

2．3 MPI并行程序设计

卫星遥感数据实时处理平台通过MPI实现分布式并行框架，解决多节点并行处理问题。MPI并行程序运行在2组刀片服务器上，操作系统是Red-Hat 64位版本，编程语言为C＋＋。

MPI程序设计主要分为以下几部分：①初始化MPI环境；②获得MPI进程组的进程号；③获取主控指令；④加载动态库，执行处理函数；⑤退出MPI系统。通过MPI程序，卫星遥感数据实时处理平台实现了分布式的调用和业务模块的运行。

MPI程序通过动态加载不同的处理动态库来实现业务处理，在2 组刀片服务器上并行处理多种业务：①原始数据记录回放模块，实现解调器输出的遥感卫星原始码流数据的记录和回放；②分路模块进行帧同步和解扰等处理，将原始数据按照有效载荷分发给各个解压缩模块；③解压缩模块对卫星遥感数据进行实时解压缩处理；④抽点记录模块将卫星遥感数据按照标准格式进行实时记录，并进行抽点处理发给快视服务器。MPI程序在动态加载动态库之后执行动态库的处理函数，然后MPI退出，转变为业务处理程序。MPI程序流程图详见图3。

图3 MPI程序流程图Fig．3 Procedure of MPI program

3 原型系统结构及试验验证

3．1 系统结构

以遥感卫星地面检测系统为对象，建立原型系统（见图4）。该系统主要由解调器、千兆以太网交换机、分路模块、刀片服务器、光纤交换机、SAN 盘阵和快视服务器等组成；具有通道1和通道2，分别通过分路、解压缩、记录、抽点等存储到各自的SAN盘阵中；采用IB 网络交换高速率卫星数据，同时通过SAN 盘阵记录高速率卫星数据。分路和解压缩功能，由一组刀片服务器构成，实时完成2个通道的分路和解压缩功能；原始数据的记录回放、解压缩数据的解格式、记录和抽点，由另一组刀片服务器构成；2台快视服务器完成对双通道解压缩抽点数据的实时显示。

图4 原型系统平台架构Fig．4 Prototype system platform framework

3．2 试验验证

应用卫星遥感数据实时处理平台，对某遥感卫星数据进行实时采集测试。结果表明：本平台可以接收处理的遥感卫星下传码速率高达450 Mbit／s，单通道解格式处理速率高达6Gbit／s，并具备多星多载荷处理能力。表1是测试结果与已有的高速遥感卫星数据采集系统［2］对比。可见，本文所构建的基于MPI的卫星遥感数据实时处理平台，具有处理速度快、运行稳定的优点，充分发挥了IB 网络的高速传输数据能力和SAN 盘阵的高速记录能力。

表1 平台测试结果对比Table 1 Comparison of platform test results

4 结束语

为了构建通用、可扩展的卫星数据实时处理平台，对卫星下传的多星多载荷数据进行分布式实时并行处理，本文设计了一种基于MPI的卫星遥感数据实时处理平台，解决了实时处理时高速率和并行处理的难点，并为遥感卫星地面检测系统建立了原型系统，进行了系统验证。本平台现已应用于某遥感卫星地面检测系统中，能够保证数据处理的实时性，具有处理速度快、运行稳定的优点。为了使平台具有更好的灵活性，后续将侧重于动态负载均衡方面的研究。

（References）

［1］何芳，单庆晓．基于刀片式服务器的遥感数传基带处理系统设计［J］．计算机测量与控制，2011，19（3）：668-672

He Fang，Shan Qingxiao．Design of remote sensing date transmission baseband system based on blade system［J］．Computer Measurement ＆ Control，2011，19（3）：668-672（in Chinese）

［2］伍尚智，杨仁忠．高速遥感卫星数据采集系统的研究与实现［J］．微计算机信息，2005，21（31）：69-71

Wu Shangzhi，Yang Renzhong．Research and realization of high speed remote sensing satellite data acquiring system［J］．Microcomputer Information，2005，21（31）：69-71（in Chinese）

［3］项涵宇，晏磊，刘岳峰，等．基于FPGA 的遥感影像并行处理原型系统的设计与实验［J］．影像技术，2009，21（3）：48-53

Xiang Hanyu，Yan Lei，Liu Yuefeng，et al．Design and experiment of prototype system for parallel processing of remote sensing images based on FPGA ［J］．Image Technology，2009，21（3）：48-53（in Chinese）

［4］张剑清，柯涛，孙明伟．基于集群计算机的海量航空数码影像并行处理——并行计算在航空数字摄影测量中的应用［J］．计算机工程与应用，2008，44（13）：12-15

Zhang Jianqing，Ke Tao，Sun Mingwei．Parallel processing of mass aerial digital images based on cluster computer-the application of parallel computing in aerial digital photogrammetry［J］．Computer Engineering and Applications，2008，44（13）：12-15（in Chinese）

［5］卢丽君，廖明生，张路．分布式并行计算技术在遥感数据处理中的应用［J］．测绘信息与工程，2005，30（3）：1-3

Lu lijun，Liao Mingsheng，Zhang Lu．Application of parallel computing techniques of distrubuted memory multiprocessors to remote sensing image processing［J］．Journal of Geomatics，2005，30（3）：1-3（in Chinese）

［6］曹敏，史照良．新一代海量影像自动处理系统“像素工厂”初探［J］．测绘通报，2006（10）：55-58

Cao Min，Shi Zhaoliang．Primary study of massive imaging auto-processing system“pixel factory”［J］．Bulletin of Surveying and Mapping，2006（10）：55-58 （in Chinese）

［7］李宏宽，杨晓冬，邹珍军．基于MPI并行的遥感影像系统级几何校正快速处理技术研究［J］．河南工程学院学报，2011，23（1）：49-52

Li Hongkuan，Yang Xiaodong，Zou Zhenjun．Research of the system-level geometric fast correction of remote sensing image processing technology based on parallel MPI［J］．Journal of Henan Institute of Engineering，2011，23（1）：49-52（in Chinese）

［8］Hawick K A，Coddington P D，James H A．Distributed frameworks and parallel algorithms for processing largescale geographic data［J］．Parallel Computing，2003，29（10）：1297-1333

［9］沈占锋，骆剑承，陈秋晓，等．基于MPI的遥感影像高效能并行处理方法研究［J］．中国图象图形学报，2007，12（12）：2132-2136

Shen Zhanfeng，Luo Jiancheng，Chen Qiuxiao，et al．Highefficiency remotely sensed image parallel processing method study based on MPI［J］．Journal of Image and Graphics，2007，12（12）：2132-2136（in Chinese）