东南大学AMS-02实验数据传输

文/苏琪 龚俭 史济源

根据丁肇中教授的安排，东南大学主要为阿尔法磁谱仪AMS进行蒙特卡洛仿真、原始数据备份及重建工作。

AMS实验简介

AMS(Alpha Magnetic Spectrometer，阿尔法磁谱仪)是由著名物理学家、诺贝尔物理学奖获得者丁肇中教授领导的一个大型空间物理实验，也是国际空间站上惟一的大型物理实验仪器。AMS实验是人类第一次在太空中精密地测量高能量带电原子和粒子的实验，其目的是为了寻找由反物质所组成的宇宙和暗物质的来源以及测量宇宙线的来源。暗物质一直是摆在科学家面前的一个重要研究课题。通过精确测量负质子和正负电子以及r光子的特征谱，可获得有关暗物质的重要信息。

美国宇航局于1998年6月用“发现号”航天飞机将AMS(AMS-01)带入太空运行10天，获得了He核、质子和正反电子的空间和高能量分布规律。观测分析得到的新结果发表在Physics Letters B等国际著名刊物上。

继AMS-01计划成功完成后，丁肇中教授又领导了AMS-02计划。这是由美、俄、德、法、中等16个国家和地区共600多名科学家参与的大型国际合作项目，集中了一批世界著名的高校和专家学者，包括美国麻省理工学院，瑞士日内瓦大学和意大利佩鲁贾大学等知名大学，得到了各参加国和地区的积极支持。AMS-02是安装在国际空间站上的一个粒子物理探测器，于2011年5月16日从肯尼迪航天中心由奋进号航天飞机送至太空，计划将在国际空间站上运行10~18年。

东南大学(SEU)是中国大陆第一个被丁肇中教授邀请参加AMS研制的大学，其中的一项合作任务就是在东南大学建立一个一级数据处理中心SOC。AMS-02在太空中采集到的大量观测数据通过NASA的卫星网和地面的互联网传输到位于瑞士日内瓦的欧洲粒子研究中心CERN，然后分派到分别位于北美洲、欧洲和亚洲的多个数据处理中心进行整理，再汇聚回CERN供物理学家做后续的分析处理。AMS实验要求跨越数万公里信道的长时间周期的持续稳定网络传输支持，是一个典型的基于学术网的大数据处理应用。

AMS-02数据流及SOC介绍

AMS-02探测器自升空三年多以来已经收集到近540亿个宇宙线数据，多于过去100年全球科学家收集到宇宙线总数。按照这种速度计算，AMS-02每年将接收到150亿个数据，在未来20年内将搜集到近3000亿个数据。对于物理学家而言，基于这些数据可获得前所未有的分析精度，以寻找新的物质。

图1是AMS-02实验的数据流示意图。AMS-02在国际空间站上搜集到的数据首先由数据中继卫星（TDRS）传输至AMS-02的GSC(Ground Support Computers)，它位于美国马歇尔空间飞行中心（MSFC）的亨茨维尔操作支持 中 心（HOSC）。GSC负责通过 NASA 的载荷操作与集成中心（POIC）接收并存储 AMS-02 监控数据和科学数据，以及 NASA提供的辅助数据，同时负责将这些数据通过网络传送到AMS-02位于CERN的负荷操作与控制中心POCC（Payload Operation Control Center），后者负责实现地面系统对远程AMS-02探测器的操作、控制和监测等，并负责将海量的AMS科学数据近实时地发送至分布在全球的AMS-02 SOC（Science Operations Center）。SOC是整个 AMS-02 海量数据处理环境中与实验数据的处理和分析关系最为密切的部分，它直接处理AMS-02 实验中的科学数据，负责进行科学数据的重建和蒙特卡洛仿真工作，此外SOC还会对 AMS-02 实验中的各种数据进行存档，并提供对AMS-02 海量数据的访问、分发和物理分析等。AMS-02 SOC是一个跨越欧洲、北美洲、亚洲等多个大洲的大型分布式海量数据处理系统，整体上主要由3个一级处理中心组成，它们分别位于瑞士的CERN、美国的MIT和中国的东南大学。

东南大学SOC简介

图1 AMS-02实验数据流示意

应丁肇中教授的邀请，东南大学从2002年开始参加AMS-02实验，参与了AMS-02探测器的研制和SOC的建设，投资近1600万元人民币，建成了拥有3500核（峰值计算能力达37万亿次）和500TB存储的高性能计算平台。作为AMS-02实验亚洲地区最主要的SOC，东南大学AMS-02数据处理与分析中心为AMS-02实验提供支持数据高速传输、分布存储和分析计算的高性能海量数据处理环境，并承担了AMS-02数据重建、数据仿真、数据分发以及物理分析等多项重要任务，它们主要是：

1. 获取并存储完整的AMS-02原始数据；

2.根据AMS-02原始数据并结合校正数据进行真实数据重建；

3.进行蒙特卡洛仿真和探测器模拟；

4.根据重建数据进行物理分析，并实现分析结果的可视化；

5.完成AMS-02数据分发和传输。

目前东南大学SOC已经取得了如下的重要进展：

图2 SEU与CERN之间的网络

图3 SEU至CERN的数据传输

1.近实时地通过高速网络链路从CERN获取并存储了自AMS升空以来所有的AMS原始数据约91TB ；

2.完成了两轮针对AMS原始数据的完整重建并产生了约189TB 的重建数据，为AMS数据分析提供了宝贵的数据资源；

3. 完成了大规模的AMS

数据仿真并产生了约147TB的仿真数据；

4.实现了南京到日内瓦之间1Gbps传输通路，其中在CERNET的支持下，在CERNET主干网实现了千兆网络带宽预留，整个传输通路的峰值速率达到近千兆，并可长时间维持在数百兆的速率，满足了AMS-02观测数据的分析处理需要。

东南大学SOC的数据传输需求

东南大学目前为AMS-02实验提供2016个Intel(R)Xeon(R)CPU E5607@2.27GHz的计算能力进行数据处理，以及逐年扩展的存储能力（每年200TB）。根据丁肇中教授的安排，东南大学主要为AMS进行蒙特卡洛仿真、原始数据备份及重建工作。根据东南大学提供的硬件条件，结合AMS-02对蒙特卡洛仿真数据以及数据重建的需求，对SEU（东南大学）与CERN（欧洲核子中心）的数据传输需求为：

1.蒙特卡洛仿真（200TB/年，SEU至CERN）：东南大学SOC每年必须完成约200TB的数据生产任务，从SEU至CERN的网络传输速率应该保证在2×109/(π×107)≈ 60Mbit/s，才能使生产的蒙特卡洛数据完全传回CERN；

2.原始数据（50TB/年，

CERN至SEU）：参照目前为止AMS一年所采集的35TB的原始数据，以后每年的原始数据估计为40~50TB，需要逐步通过网络从CERN传输至SEU；

3.重建数据（800Mbit/s，SEU至CERN）：AMS-02数据重建是阶段性的、非连续性任务，数据生产和传输会在某一段时期内进行，重建生成的数据需尽快回传至CERN。东南大学2016个核同时运行重建计算，数据生成速度约800Mbit/s，网络传输速率需要匹配数据生成速度800Mbit/s。因此，重建数据的传输是这个传输系统的最大挑战。

东南大学SOC的数据传输

目前，SEU与CERN之间通过CERNET主干网和欧洲学术网GEANT主干网进行数据传输，大致的路由走向为南京-北京-伦敦-巴黎-日内瓦。两个主干网的互联带宽为2.5Gb/s，主干网带宽为10Gb/s。传输通路中CERNET主干网的部分如图2所示，它们之间的网络专线主要包括两个部分。第一部分是从SEU到CERNET中心（北京）的1Gbit/s IPv4专用通路，第二部分为从北京国际出口到CERN的2.5Gbps IPv4互联通路。

1. SEU至CERN的数据传输

该方向用于及时向AMS位于CERN的存储中心回传在SEU集群中完成的生产作业数据。具体模式如图3所示：利用位于CERN的一台专用传输服务器“phams01”从SEU的三台FTP服务器轮流下载数据。其中下载工具为LFTP，服务器端FTP服务器为VSFTP软件。传输时使用的LFTP命令为“pget”，通过pget的参数设置，能使LFTP使用多条TCP连接来传输同一个文件，具体地，在SEU至CERN的传输中，设置并发连接数为50。

2.CERN至SEU的数据传输

该方向用于每天定时从CERN向SEU集群备份AMS原始数据。具体模式如图4所示：利用位于CERN的一台专用传输服务器向SEU的一台FTP服务器上传需要备份的AMS原始数据。其中上传工具为LFTP，所使用命令为“put”，服务器端FTP软件仍然为VSFTP软件。

图4 CERN至SEU的数据传输

图5 SEU与CERN之间一周内的带宽占用(流入表示SEU至CERN方向，流出表示CERN至SEU方向)

图6 不同并发连接数的传输带宽

图7 不同并发连接数的传输时间和丢包率

3.SEU与CERN之间的传输性能

MRTG是一个监控网络链路流量负载的工具软件，它通过SNMP协议监测网络设备的相关信息，展示网络设备各个接口的流量状态。图5所示的是MRTG显示的SEU与CERN之间在某一周的流量情况，主要包括带宽占用和吞吐率(PPS, packet per second)，图中每个点显示30分钟内的平均值。

从图中可以发现，虽然一些时间的短暂的暂停和传输数据的开始和结束阶段使得SEU至CERN的平均传输带宽较小，但是最大的带宽达到646.54Mbit/s；由于CERN至SEU的传输需求不大，因此图中显示的这个方向的带宽不大，但是最大也达到了146.70Mbit/s。基本满足了东南大学的SOC的数据传输需求。

东南大学SOC数据传输参数优化

影响传输的有三个部分参数：发送端的参数，接收端的参数、中间网络的参数。中间的网络在短时间内不易更改，同样的，发送端和接受端的操作系统、TCP版本和FTP客软件同样不易修改，因此我们主要关注两个参数——发送端和接收端的套接字缓冲区大小以及并发连接数。对于TCP，发送端的套接字

缓冲区大小表示了发送端在没有收到任何ACK报文的情况下，能发送的最多的报文。因此在传输时应尽可能地提高发送端的套接字缓冲区大小，显然，为了不影响传输，接收端的套接字缓冲区大小也应随之提高。

图6显示了三种不同的并发连接数下，从SEU到CERN发送相同一个文件时，传输带宽的变化情况，可以发现50个并发连接时，传输时间最短，传输带宽最大。因此提高并发连接数并不能总是提高传输速率，缩短传输时间。

为了更为具体地研究并发连接数对于传输的影响，我们在相同环境下将并发连接数分别设置为10,20,100来传输同一个文件，传输的总时间和丢包率如图7所示。从图中可以发现，在并发连接数50以下，随着并发连接数增加，有效地缩短了传输时间，同时丢包率没有明显的提升，这是因为此时发送端与接收端之间的网络资源并没有充分地利用；而在并发连接数50以上，传输时间变化比较平稳，甚至有轻微的上升，与此同时，丢包率显著地增加，这是因为报文发送的速率超过了网络资源的承受范围，从而出现大量的丢包。因此在这10个不同的并发连接数当中，50个并发连接数是比较理想的，既能保证传输时间最短又能保证充分地利用网络资源，因此在第1节中，我们设置并发连接数为50。

AMS-02是一项符合国家目标、原创性的基础研究工作，参与AMS-02项目将有助于我国空间科学与技术水平的提高，并有可能取得划时代的原创性科研成果。

由于AMS-02的观测数据分析需要全世界多个国家、地区、机构的参与，是一项分布的且长期的工作。AMS-02产生的海量科学数据传输需要全球学术网的支持，依托商业互联网是不可能实现的。这是学术网的一个典型应用，反映了现代科学研究要求全球合作的特点和信息基础设施的作用。AMS-02的数据传输具有大BDP（带宽延迟乘积）值的特点，单一TCP连接的传输速率受时延的限制，而平行连接数受系统性能的限制。我们通过对TCP传输参数的优化，取得了较好的效果，保障了AMS-02实验的顺利进行。