云环境下的航天测控信号处理平台*

闫 迪**1，王元钦1，马 宏1，刘燕都1，孙 克

(1.航天工程大学 电子与光学工程系，北京 101416；2.北京航天飞行控制中心，北京 102206)

1 引 言

航天测控站的任务是直接对航天器进行跟踪测量、遥测、遥控和通信等，并将接收到的测量、遥测信息传送给航天控制中心，根据航天控制中心的指令与航天器通信，并配合控制中心完成对航天器的控制。信号处理部件的性能直接影响到测控的精度与可靠性，是航天测控站的核心部件之一。各种测控新体制和新技术的发展更离不开先进的数字信号处理方法，并使得信号处理部件由以往专用芯片的单一化、专用化设计向通用化、标准化和模块化发展。这对数字信号处理平台的处理能力、通用性、可重构性、可扩展性提出了更高的要求。同时，随着未来航天任务的复杂化和航天应用的多样化，航天测控站将扩展成为导航、感知和遥感等能力综合化的地面站[1-2]，信号处理部件将面临前所未有的数量大、种类多、型号杂的复杂处境。由于各信号处理部件的处理平台拥有独立的硬件，其维护管理和改造升级变得越来越低效。因此，建设一个通用性强、可扩展、可重构，并具有复杂信号处理能力的测控信号处理平台是一个重要研究方向，也是本文的研究内容。

对于数字信号处理平台，通常具有以下两种设计方案：一是数字信号处理器(Digital Signal Processor,DSP)+现场可编程门阵列(Field Programmable Gate Array,FPGA)。现有的大多数数字信号处理系统主要采用FPGA+DSP的架构，软件无线电技术使得可以在一套硬件平台基础上通过软件编程改变硬件电路的配置和功能，具有良好的灵活性。但由于不同硬件平台的接口定义不同，信号处理软件不具备跨平台的通用性，可继承性较差，可扩展性也不强。二是中央处理器(Central Processing Unit,CPU)+通用计算图形处理器(General Purpose GPU,GPGPU)。随着CPU和GPGPU等处理技术的发展，采用通用处理器进行数字信号处理已经成为可能。通用处理方式可进一步减少插件，提高系统的可扩展能力，并降低后续维护成本，但仍存在可扩展性、可重构性方面的瓶颈。

当下热门的云计算技术和大数据处理技术为本文提供了新思路。云计算技术是并行计算、分布式计算和网格计算的发展及商业实现，可为应用提供增强的计算能力和存储容量，并保证安全性、可靠性和可扩展性，正在引发包括航天测控领域在内的各行业进行工作模式和思维方式的变革[3-4]。云计算技术已应用于移动通信云基站、遥感大数据处理、大规模地形数据处理等领域。除此之外，有关学者也在全球导航卫星系统(Global Navigation Satellite System,GNSS)云接收机、发射场云计算平台和测控云服务平台等领域进行了探索性研究。利用云计算技术，为航天测控站建立一个通用的信号处理平台，可将硬件资源虚拟化为资源池，实现资源统一管理调度，并具备容灾备份能力，而这都是云计算技术本身的优势所在。

随着互联网信息量的急剧膨胀，大数据处理技术应运而生，有关学者已将流数据处理技术运用于卫星的下行图像、科学数据、工程数据处理。再者，随着通用处理器性能提升和通用计算技术的发展，在通用计算设备上进行信号处理已成为可能[5-7]。航天测控站内的数字信号具有高速、多通道、实时、无限等特点，是一种特殊的流式数据，利用流计算技术在云平台上进行数字信号处理具有一定可行性。

因此，本文利用云计算技术、大数据处理技术，提出一种面向航天测控站的全站计算环境(Total Station Computing Environment，TSCE)设想，旨在为测控站内的所有信号处理和数据处理提供计算平台。使用多视图方法对TSCE的体系结构进行描述设计，然后对TSCE的关键技术进行初步研究。TSCE关键技术主要包括实时流计算技术和并行信号处理算法，本文提出一种层次化并行处理框架，对框架的实时性进行了详细分析。

2 TSCE及体系结构

从功能上讲，TSCE为全测控站的各种测控应用提供一个通用的、开放的计算、处理、通信和服务环境，支持测控站所需要的计算任务的执行。从概念上讲，TSCE以商用计算机、服务器和网络等硬件资源为基础，利用虚拟化技术将硬件资源虚拟化为统一的计算资源池，实施统一的资源分配与管理。TSCE具有以下几点优势：

(1)更低的装备成本、更高的测控精度

减少测控综合基带等专用设备的需求，大大降低装备成本。在足够的计算资源支撑下，可采用较复杂的信号处理算法和误差修正算法，突破影响精度的“瓶颈”因素。

(2)软件化、通用化、标准化

大量的数字信号处理和数据处理工作由CPU、GPU等通用处理器上的纯软件完成，大量采用标准的商用货架式产品，减少专用芯片和测控专用设备比例，提高了软件化、通用化、标准化程度。

(3)高可靠性

传统测控站使用双热机备份方法保证不间断测控任务，TSCE利用多计算资源和多软件实现更大程度的冗余备份，具有更高可靠性。

TSCE是一个复杂系统，具有开放式体系结构，从任何一个角度进行描述都不能清楚、完整地说明系统的所有内容。本文引入多视图方法对测控云平台的体系结构进行描述[8]，分别是逻辑视图、物理视图和功能视图。

2.1 逻辑视图

逻辑视图是为便于理解系统结构与组织而创建，如图1所示。

图1 逻辑视图Fig.1 Logical view

TSCE具有层次化逻辑结构，包括应用层、核心服务层、资源管理层和资源池层。

(1)资源池层

资源池层是建立在物理实体上的最底层，主要由计算处理设备、存储设备和通信设备组成，它们构成了TSCE的网络和计算基础。通过虚拟化技术将各种物理设备虚拟化为计算资源池，并提供向上层的接口，用于资源配置和资源调用。

(2)资源管理层

资源管理层建立在资源池层之上，提供资源统计监控、资源申请部署、资源变更回收、资源参数配置和资源调度等功能。

(3)核心服务层

核心服务层建立在资源管理层之上，为应用层提供必要的服务，是TSCE最重要的一层，主要由流式处理系统、任务管理、定义规范、并行计算等组成。流式处理系统是一种分布式计算系统，为测控通信信号处理等实时性要求高的应用提供支撑平台，用户的信号处理算法或数据处理算法都在流式处理系统上部署运行。任务管理提供有关任务安全管理、任务规划部署和任务状态监控等服务。定义规范由数据流格式规范、信号处理模块规范和系统接口规范等组成。并行计算库由Intel数学核心函数库、MPI、OpenMP、FFTW和IPP等组成，为信号处理算法的运行提供多种并行编程方法和高性能并行函数。

(4)应用层

应用层是逻辑结构的最顶层，由测控、数传、雷达、导航等多种应用的处理算法组成。

2.2 物理视图

物理视图描述TSCE的硬件部分，由适配处理设备、计算处理设备、网络设备和人机接口设备组成。适配处理设备是TSCE和外部设备的接口，对TSCE与全测控站的集成优化具有重要意义。计算处理设备和网络设备是TSCE的主要组成部分，是计算任务的执行单元。人机接口设备是提供给用户的显控设施，本身不承担计算任务。

图2 物理视图Fig.2 Physical view

2.3 功能视图

功能视图用来描述在TSCE上进行测控信号处理任务时内部的数据流、使用时的实际操作流程和进程运行情况，由数据流视图、流程视图和运行视图组成。

(1)数据流视图

TSCE内部存在大量的数据信息交换，将不同来源、格式的数据在逻辑上进行有机集中，实现数据的统一访问、统一描述，建立信息按需共享机制。根据实时性和非实时性分开的原则，从逻辑上建立两条数据总线：一是实时数据总线，基于infiniband和内存共享技术，用于传输具有处理需求的源数据、中间结果数据和处理结果等实时性强的数据；二是非实时数据总线，基于TCP/IP传输技术，用于传输资源配置参数、任务监控数据等实时性较弱的数据。图3所示为数据流视图。

图3 数据流视图Fig.3 Data stream view

(2)流程视图

业务流程视图描述申请任务、执行任务和销毁任务的流程，如图4所示。

图4 数据流视图Fig.4 Data stream view

(3)运行视图

TSCE为每个测控信号处理任务建立一个虚拟集群，运行视图描述虚拟集群的组成及集群运行的进程，如图5所示。

图5 运行视图Fig.5 Runtime view

一个完整的虚拟集群由用户终端、适配处理器、任务管理节点、计算节点和互联网络组成。用户终端上运行ClientUnit进程，具有向任务管理节点部署计算任务，发送计算参数等功能。任务管理节点上运行JobManager进程，是用户获得计算任务信息的唯一接口，对计算任务进行全局管理，反馈任务健康信息。计算节点上运行NodeManager进程，是计算节点的管理进程，NodeManager根据JobManager的需求，创建多个TaskExecutor进程，TaskExecutor是工作进程，执行具体的信号处理算法或数据处理算法。

3 常用实时流计算框架及不足

航天测控信号处理具有极高的实时性要求，如何将多核并行计算优势转化为信号处理能力，是一个需要研究的重点问题。随着互联网的快速发展和各类智能设备的普及，人类产生的数据量呈爆炸式增长。如何实时有效地处理这些大数据已经成为当今学界和工业界的研究热点。为此，涌现出许多分布式流处理框架，大致可以分为两大类：以Storm[9]、Yahoo!S4[10]等为代表的连续数据流处理系统和以Spark Streaming[11]、HOP为代表的离散流处理系统。离散流处理系统吞吐率大，易与批处理应用相结合，但由于是批处理模式，在面临实时性要求较高的流计算应用以及系统中大量微小任务时往往表现出负载不均衡、延迟较高等不适应性，导致流计算应用得不到及时快速的响应。航天测控站内的中频数字信号具有高速、多通道、实时、无限等特点，是一种特殊的流式数据，利用流计算技术进行数字信号处理具有一定可行性。本节对在常见连续数据流处理系统上进行数字信号处理的可行性进行分析。

Storm是由BackType开发并被Twitter于2011年开源的分布式实时计算系统。在Storm上运行的计算逻辑被称为topology，一个topology由worker、executor和task三个实体完成，如图6所示。

图6 worker、executor和task的关系Fig.6 The relationship between worker,executor and task

在Storm系统中，数据处理是以topology为基本单位由用户提交给系统计算的，topology由多个component组成。Storm通过worker、executor和task三个实体完成处理工作。worker是物理机启动的进程，所有的topology都在worker中运行。executor是由worker进程启动的单独线程，task是最终运行处理代码的单元。一个task是component的一个实例，默认情况下一个executor只运行一个task，即一个task最多由一个线程执行。Storm通过在不同物理节点上创建多个worker，在每个worker中创建多个executor，提高task的并发数。

在信号处理领域，一个信号处理任务由多个信号处理模块组成，如同一个topology由多个component组成。一个信号处理模块可能需要多个线程参与处理，但Storm的并行机制不支持一个task具有多个线程。此外，数字信号与流数据最大的不同之处是前后数据点具有相关性，不能进行独立处理。流计算最初的设计目标是用来处理网络请求、查询等独立的事务集，要求数据流中的每个数据单元都能被单独处理。但数字信号流中前后两个数据单元具有关联性，在Storm中，这两个单元会被分在不同的任务实例中，那么这两个单元均无法正常解析。可见，Storm并不适用于数字信号处理，需要研究一种适合于测控信号处理的并行处理框架。

4 层次化并行处理框架

4.1 HPPF框架

对于一般速率的信号处理算法来说，使用多核流水线方法可在不改变算法的基础上实现并行处理。常用的两种软件无线电平台GNU Radio[12]和SORA[13]就是使用此法。对于高速率的信号处理算法，多核流水线可能无法实现实时处理，需要并行化程度更高的并行方法，本文提出一种“数据级+线程级”的层次化并行处理框架(Hierarchical Parallel Processing Framework,HPPF)。

如图7所示为HPPF的结构，由信号分割、进程管理、支路进程和结果综合四部分组成。信号分割的作用是根据一定规则，分解数据流形成连续不断的信号块。进程管理是整个架构的调度中心，通过监视各支路进程的状态及时发现空闲进程，将信号块派发到空闲进程进行处理。支路进程的作用是信号处理，一个HPPF中所有支路进程的算法程序完全一样，只有处理的信号块不同。结果综合的作用是按照一定规则对各支路进程的处理结果进行再加工，合并为最终处理结果。

图7 HPPF的结构Fig.7 The structure of HPPF

HPPF具有高度并行和高可靠性两个特点。

(1)并行性

HPPF具有鲜明的“数据级+线程级”层次化并行特点，数据级并行是指同时对多信号块进行处理，线程级并行是指使用多个线程对每个信号块进行处理。这种层次化并行策略使得HPPF并行化程度更高，但是需要符合HPPF并行化策略的信号处理算法支持。

(2)可靠性

HPPF本身具有天然的可靠性，各信号块由不同支路进程处理，相关性较小，即使某个进程意外崩溃，也不影响其余信号块的处理。

4.2 HPPF的实时性分析

吞吐率和延迟是反映实时性的两个重要指标。吞吐率的物理意义是每秒能够处理的采样点数，分为理论吞吐率和实际吞吐率。实际吞吐率是指一个系统在运行中的处理速度，一定不大于系统的AD采样速率fs。若实际处理速率能达到fs，称此系统为实时处理系统；若实际处理速率小于fs，称此系统为非实时处理系统。理论吞吐率是指在没有信号采样的约束下，系统的最大处理速度。延迟是指在一个实际运行的系统中，从信号接收到得到处理结果之间的时间间隔。对HPPF的实时性进行分析，得到如表1所示结果，表中L是信号块长度，Tpro(L)是一个信号块的处理时间，Ts是采样间隔，N是信号块的序号。

表1 实时性分析结果Tab.1 Results of real-time analysis

对表1进行分析，可得到以下结论：对于一个采样周期为Ts的HPPF系统，存在一个支路进程数目的门限值

(1)

5 结 论

本文提出一种全站计算环境设想，建立了对全站计算环境体系结构的多视图描述框架；提出了一种适用于信号处理的层次化并行处理框架，通过调整信号块长度和支路进程个数可实现吞吐率和延迟的调整，使之满足实时性要求。

下一步将以本文研究成果为基础，搭建全站计算环境的试验仿真平台。

：

[1] 王彬,刘友永. 微波统一测控系统的发展趋势及建议[J].无线电工程,2017,47(4):44-48.

WANG Bin,LIU Youyong. Development trends of unified microwave TT&C systems and suggestions[J].Radio Engineering,2017,47(4):44-48.(in Chinese)

[2] 蒋罗婷. 国外小卫星测控通信网发展现状和趋势[J].电讯技术,2017,57(11):1341-1348.

JIANG Luoting. Development and trends of foreign TT&C and communication networks for small satellites[J].Telecommunication Engineering,2017,57(11):1341-1348.(in Chinese)

[3] 苏丽,张博为,谌明,等. 大数据技术在航天领域发展与应用[J].遥测遥控,2015(2):1-9.

SU Li,ZHANG Bowei,CHEN Ming,et al.Development andapplication of big data technology in aerospace field[J].Journal of Telemetry,Tracking and Command,2015(2):1-9.(in Chinese)

[4] 袁波,张明.航天测控云计算应用设想[J].科技创新导报,2010(17):13.

YUAN Bo,ZHANG Ming. Application of cloud computing in aerospace TT&C[J].Science and Technology Innovation Herald,2010(17):13.(in Chinese)

[5] 武新波.基于CUDA的GPS软件接收机研究[D].北京:北京理工大学,2015.

WU Xinbo. Research on GPS software receiver based on CUDA[D].Beijing:Beijing Institute of Technology,2015.(in Chinese)

[6] 王子潇.基于CUDA GPU平台的脉冲多普勒雷达信号模拟软件[D].北京:北京理工大学,2016.

WANG Zixiao. A PD radar simulation software based on CUDA GPU platform[D].Beijing:Beijing Institute of Technology,2016.(in Chinese)

[7] 韦顺军,蒲羚,张晓玲,等. 复杂轨迹合成孔径雷达后向投影算法图像流GPU成像[J].电讯技术,2016,56(8):879-886.

WEI Shunjun,PU Ling,ZHANG Xiaoling,et al.Image streams GPU-based back projection for complex trajectory synthetic aperture radar imaging[J].Telecommunication Engineering,2016,56(8):879-886.(in Chinese)

[8] 程贲,鲁延京,葛冰峰,等.武器装备体系能力多视图模型研究[J].国防科技大学学报,2011,33(6):163-168.

CHENG Ben,LU Yanjing,GE Bingfeng,et al.Capability views model for weapon system-of-systems[J].Journal of National University of Defense Technology,2011,33(6):163-168.(in Chinese)

[9] 李川,鄂海红,宋美娜. 基于Storm的实时计算框架的研究与应用[J].软件,2014(10):16-20.

LI Chuan,E Haihong,SONG Meina. Research & application of real-time compute framework based on Storm[J].Software,2014(10):16-20.(in Chinese)

[10] NEUMEYER L,ROBBINS B,NAIR A,et al.S4:distributed stream computing platform[C]//Proceedings of 2010 IEEE International Conference on Data Mining Workshops.Sydney,NSW,Australia:IEEE,2010:170-177.

[11] 黄文辉,冯瑞. 基于Spark Streaming的视频/图像流处理与新的性能评估方法[J].计算机工程与科学,2015,37(11):2055-2060.

HUANG Wenhui,FENG Rui. A novel performance evaluationmethod for processing video/image stream based on Spark Streaming[J].Computer Engineering & Science,2015,37(11):2055-2060.(in Chinese)

[12] 郭彬,杨育红,辛刚,等. 基于GNU Radio和USRP的切换天线方向调制物理层安全系统[J].信息工程大学学报,2017,18(1):8-13.

GUO Bin,YANG Yuhong,XIN Gang,et al.Switched antenna directional modulation physical layer security system based on GNU Radio and USRP[J].Journal of Information Engineering University,2017,18(1):8-13.(in Chinese)

[13] TAN K,LIU H,ZHANG J,et al.Sora:high-performance software radio using general-purpose multi-core processors[J].Communications of the ACM,2011,54(1):99-107.