针对集群式演示系统的轮询准实时处理策略

黄 迪 孙 伟 楼万翔

(1.杭州应用声学研究所 杭州 310023)(2.中国电子科技集团第三十六研究所 嘉兴 314033)

针对集群式演示系统的轮询准实时处理策略

黄 迪1孙 伟2楼万翔1

(1.杭州应用声学研究所 杭州 310023)(2.中国电子科技集团第三十六研究所 嘉兴 314033)

文章针对声呐集群式仿真演示系统或者处理慢速运动目标的实时处理系统的实时性问题,提出了一种并行轮询式准实时处理策略,通过将模块分配到不同的并行处理节点,并进行编号,每个模块轮询式接收数据并轮询式的将处理结果输出、整合来解决复杂处理模块的实时性问题。通过在声呐仿真演示系统的试验验证,表明该方法实现简单,对硬件资源要求不高,适合仿真演示系统和慢速运动目标的实时处理系统。

实时处理系统; 集群式处理系统; 轮询式接收

Class Number TP301

1 引言

在声呐实时处理系统中,经常会出现因为某个模块的处理时间特别长,一批数据还未处理完下批数据已经到达,造成当前处理数据被覆盖,从而影响整个系统输出结果的正确性和流畅性的问题。当前在集群式实时处理系统中,处理此问题通常采用的方法有以下几种：

一是提高硬件处理速度,减少模块的处理时间,这种方法经济成本比较高,并且处理速度提高有限,在需要成倍提高模块运行速度的情况下不合适。

二是采用基于模块拆分和整合的并行处理模式,首先将模块拆分成几个可以并行运行的子模块,然后将各子模块分配到不同的并行处理节点上运行,最后将各并行处理节点的结果整合为最终结果进行输出。这种方法可以成倍地提高模块的运行速度,与第一种方法相比降低了对硬件性能的要求,但是需要系统集成人员对模块结构非常清晰,并且模块可以拆分成多个并行处理的子模块。这就产生了以下问题：一是系统集成人员与模块的编程人员不是同一个人,对模块的内部结构并不清楚；二是模块逻辑关联密切,难以拆分；三是即使模块可以拆分,但是模块的拆分和整合操作也是一项复杂的工作,增加了系统开发的工作量。

在仿真演示系统中或者是处理慢速运动的实时处理系统(例如声呐系统)中,通常数据处理的正确性和流畅性比及时性更重要,也就是处理结果的输出比采集的数据晚比较短的时间但是处理结果是正确、连续和流畅的对系统来说也是可以接受的。

本文针对上面这种情况提出了一种并行轮询式准实时处理策略。该策略只需要将处理模块根据实际运行时间和要求运行时间的比值进行复制,然后对复制的模块进行编号并将其分配到不同的并行处理节点中,每个模块根据编号轮询式的接收数据,然后轮询式的将结果输出给结果整合模块从而得到模块的最终输出。本文的方法不需要系统集成者对模块十分了解,不需要对模块进行复杂的拆分和整合操作,实现简单方便,对硬件资源要求不高,只是每批数据处理结果的输出会有个短时间的固定延迟,但是这在仿真演示系统或处理慢速运动目标的系统中是可以接受的。

2 算法原理

基于模块拆分和整合的并行处理策略的核心思想是不改变相邻两批数据的间隔时间,缩短模块的运行时间,以此来保证数据处理的正确性和流畅性。本文策略的核心思想是不改变模块的运行时间,增加到达每个模块的相邻两批数据的间隔时间,所以称为准实时处理策略。本文策略的原理是根据模块实际的运行时间与要求运行时间的比值,对模块进行复制,并进行编号,然后将模块分配到不同的并行处理节点中,接收模块按照处理模块的编号顺序进行轮询接收,然后轮询的向整合模块输出结果。并行处理策略的原理图如图1所示类似轮盘的工作原理,其中t表示数据流的批号,SP_i表示编号为i的处理模块。

图1 并行轮询处理策略原理图

图2 数据轮询分发流程

图3 结果轮询整合流程

数据分发流程如图2所示,这里k表示第i个并行处理模块接收的数据的新的批号。结果整合流程如图3所示。从图2和图3可以看出整个数据分发和整合流程犹如一个轮盘在循环的接收数据处理完成后在循环的输出给整合模块。对于某个固定的处理模块SP_i其数据输入输出对应的原始批号如图4所示。

这里轮询分发模块可以和后面的并行处理模块整合,轮询整合模块可以和后面的结果接收模块整合,这两个模块都不需要再新开进程或者线程。

3 算法描述

该方法的具体实现步骤如下：

1) 计算模块的实际运行时间与要求运行时间的比值N;

2) 将模块复制N份,并进行编号1,2,…,N;

3) 将模块分配给系统不同的并行处理节点中;

4) 设置模块的接收数据,第m个模块接收的数据批号为N*t+m-1;

5) 设置接收模块第m个模块的结果放入N*t+m-1的轮询中进行组合。

4 试验验证

这里以声呐仿真系统中的某大孔径体积阵波束形成模块为例。在系统中每批数据的长度为10.6ms,在不进行任何处理的情况下,某大孔径体积阵波束形成模块处理一批数据的平均时间为124.3ms。这里分别使用模块拆分和整合策略以及本文轮询策略进行处理。采用模块拆分和整合策略对模块进行分解时,可以将某大孔径体积阵波束形成模块拆分为1个分解模块、13个并行分处理模块、1个整合模块,一批数据的处理时间平均为9.8ms。采用轮询处理策略,只需要将共形阵波束形成模块复制12份,分配给12个并行分处理模块,对12个分处理模块的数据接收部分进行修改,并对结果输出根据12个分处理模块进行编号,对结果接收模块进行简单改进。通过比较发现采用模块拆分和整合策略对某大孔径体积阵波束形成模块进行处理时共需要15个子模块,一批数据的处理时间为9.8ms,采用轮询处理策略共需要12个子模块,一批数据的处理时间为124.3ms。轮询处理策略与模块拆分和整合策略相比,不需要对共形阵波束形成模块十分了解,不需要对模块进行拆分和整合,不需要考虑各并行处理节点的同步性,实现简单,节省了程序编写的工作量,使用的资源更少,缺点是每批数据的处理时间与模块拆分和整合策略的相比均有113.7ms的延迟,这对于声呐系统探测的目标来说是可以接受的。

图5 实时处理系统输出界面

5 结语

本文针对集群式仿真演示系统或者处理慢速运动目标的实时处理系统提出的轮询式准实时处理策略,不需要系统集成者对模块了解,不需要对模块进行复杂的拆分和整合操作,实现简单方便,只是每批数据的处理结果输出会有个固定的延迟,但是这在仿真演示系统或处理慢速运动目标的系统中是可以接受的。

[1] G. A. Maykut. Energy exchange over young sea ice in the central Arctic[J]. J. Geophys. Res.,1978,83(7):3646-3658.

[2] H. Wakabayashi, T. Matsuoka, K. Nakamura, et al. 2004 Polarimetric characteristics of sea ice in the Sea oce Okhotsk observed by airborne L-band SAR[J]. IEEE Trans. Geosci. Remote Sensing,2014,42(11):2412-2425.

[3] K. Nakamura, H. Wakabayashi, K. Naoki, et al. Observation of sea-ice thickness in the Sea of Okhotsk by using dual-frequency and fully polarimetric airborne SAR (Pi-SAR) data[J]. IEEE Trans. Geosci. Remote Sensing,2005,43(11):2460-2469.

[4] Philip Alpatov, Greg Baker. Parallel linear algebra package design overview[C]//Proceedings of the 1997 ACM/IEEE Conference on the Supercomputing,1997:1-16

[5] W. Gropp, E. Lusk, A. Skjellum. Using MPI[M]. Massachusetls: MIT Press,1999:532-533.

[6] 何友,王国宏,等.多传感器信息融合及应用[M].北京:电子工业出版社,2000:51-53.

[7] 杨致怡,陆俊,江晓燕.跨平台航迹管理互操作技术研究[J].雷达对抗,2013,31(1):11-15.

[8] 梅文化,蔡善发.JTIDS/Link16数据链[M].北京:国防工业出版社,2007:82-87.

[9] Peter S. Pacheco.并行程序设计导论[M].邓倩妮,等译.北京:机械工业出版社,2015,8:11-30.

[10] Timothy G. Mattson, Beverly A. Sanders, Berna L. Massingill.并行编程模式[M].张云泉,等译.北京:机械工业出版社,2015:7-29.

Roulette-cycle Quasi-Real-time Strategy for the Cluster Demo System

HUANG Di1SUN Wei2LOU Wanxiang1

(1. Hangzhou Applied Acoustics Research Institute, Hangzhou 310023) (2. No.36 Research Institute of CECT, Jiaxing 314033)

This paper proposes a parallel roulette-cycle quasi- real-time strategy to solve the real-time problem of the cluster demo sonar systems or the real-time sonar systems which deal with the low speed targets. The strategy copys the processing module, allocates them to different parallel processing nodes and numbers them. Every module deals with the data in order like roulette, finally integrates the results of all the modules. This method solves the problem of complex processing modules in the real-time system. Through the sonar demo system experiment, it is proved that this method is simple and does not require the high performance equipments, can be applied to the demo systems or the real-time systems dealing with the low speed targets.

real-time system, cluster processing system, cycle receive like a roulette

2016年7月17日,

2016年8月20日

黄迪,男,硕士,工程师,研究方向:声呐总体设计及信号处理。孙伟,男,硕士,工程师,研究方向:声呐总体设计及信号处理。楼万翔,男,硕士,助理工程师,研究方向:声呐总体设计及信号处理。

TP301

10.3969/j.issn.1672-9730.2017.01.031