高能物理网格环境网络性能监测与优化技术研究

孙智慧，齐法制

中国科学院高能物理研究所，北京 100049

定速率的传输[1]。如何使用IPv6 网络服务于高能物理实验数据的共享，如何实现面向高能物理合作单位之间高能物理数据在IPv4 及IPv6 网络链路的灵活切换是本文的一项重点工作。本文提出一种面向高能物理网格环境网络监测及优化的方案，采用面向服务的网络性能监控框架（perfSONAR），部署于高能物理网格环境的各个站点中，监测网络性能状况，并基于虚拟网络技术构建面向高能物理数据传输的IPv4 及IPv6 虚拟专用网络，通过监测高能物理网格环境中各节点的网络性能，优化高能物理数据传输路径的选择，提升广域网数据传输效率，保证高能物理传输的可靠性，为高能物理数据分析和处理提供良好的网络支撑环境。

1 面向高能物理网格环境的网络测量

网格技术是将全球地理上分散的计算、存储资源通过网络有机的整合起来，协同工作，为大型科学实验研究提供计算支持，以便完成单个集群无法实现的大规模计算任务[2]。高能物理网格环境是利用网格技术把面向高能物理实验分散的计算、存储资源有机的整合起来，支持面向高能物理大型实验的数据处理、数据存储、数据共享等服务。目前，全球最大的网格系统是有欧洲核子中心（CERN）主导的全球高能物理网格WLCG (Worldwide LHC Computing Grid)系统[3]，WLCG 将全球超过40 个国家和地区的 150 多个研究机构联合起来，整合超过50 万颗 CPU 的计算资源和超过500PB 的存储资源。高能物理研究所计算中心于2001年加入WLCG，并建成国内最大的高能物理计算网格平台。当前高能

引 言

近年来随着科研活动网络化的趋势越来越明显，高速、高性能科研计算网络成为科研项目必须的基础设施，基于网络进行科研项目或科学实验的协同研究已成为一种必要的科研手段。尤其在高能物理领域，高能物理实验的开展依赖于大型科学实验装置，如北京正负电子对撞机（BEPCII）、中国散裂中子源（CSNS）、欧洲核子中心大型强子对撞机（LHC）、美国散裂中子源（SNS）、德国电子同步加速器（DESY）、日本质子同步加速器（J-PARC）等，这些大型科学实验装置分布于不同的国家或区域，并且实验的参与者也来自不同的国家或区域，因此跨地区、跨区域的高能物理科研活动成为一种趋势，需要与之相匹配的网络环境的支撑；另一方面这些大型科学实验装置产生大量的实验数据，如LHC 每年将产生30PB 的实验数据，BEPCII 累计将产生5PB 原始数据，中国散裂中子源每年约产生数百TB的原始数据，这些高能物理实验数据需要传输、共享到各个高能物理合作单位之间，以实现最终物理分析的目标，大批量高能物理实验数据的高速、稳定传输是高能物理实验开展的前提，并直接影响到高能物理实验数据分析工作的进程和最终结果，因此对高能物理合作单位之间高能物理实验数据共享网络的网络性能实时监测与分析的研究是必要的。

在现有的网络基础环境中，国内高能物理网格环境都已支持IPv4 及IPv6 网络，在IPv4 网络链路资源出现不足的情况下，跨域的网络传输无法实现网络流量的快速、动态调整，无法满足高能物理数据对网络带宽的需求，难以保证关键实验数据以恒所计算中心正在主导面向国内高能物理合作单位之间建立国内高能物理网格平台计划，目前已有山东大学、上海交通大学、华中师范大学、中国科学与技术大学等单位加入，因此对国内高能物理网格环境中各个合作单位之间的网络性能测量及评估是必要的。

1.1 网络测量技术

网络测量（Network Measurement）是通过一定的技术和方法，并使用软件和硬件工具对网络中的节点、链路、指标参数进行测量，分析与整理测量数据，得到网络结构、性能指标及运行状态的一系列活动总和。网络测量为网络行为学的研究提供重要的理论依据和准确的验证平台，是对理论模型进行验证与修正的重要基准；是检测网络拥塞状况、定位网络性能瓶颈的关键途径；是建立网络安全防范机制，保证网络安全、稳定地运行的前 提[4]。网络测量按测量的对象不同，可分为网络拓扑测量、网络性能测量和网络流量测量。其中对网络性能的研究最为集中也最为广泛，网络性能测量按获取测量报文方式的不同，又分为主动网络性能测量（Active Measurement）和被动网络性能测量（Passive Measurement）[5]。

主动网络性能测量是通过主动构造各种结构的探测报文序列，发送到被测目标网络中，通过被测目标网络的反馈信息或者探测报文传输经过目标网络后携带的目标网络信息来推测网络性能[6]。主动网络性能测量常用的工具有Ping、Traceroute、Pathload、netperf、iperf 等。文献[7]提出了一种基于蒙特卡洛随机抽样的思想探测理论，该方法采用随机发送单个小探测报文计算整条路径的可用带宽、链路容量及空闲率，进而分析得到各路由节点上的流量变化。 文献[8]提出了一种易于部署的用户空间主动测量框架（FlowTrace），该框架利用应用程序TCP 流进行网络带宽测量从而定位带宽瓶颈，并且测量开销较小。文献[9-11]提出一种基于软件定义网络的主动发送探测包的方式来测量网络链路延迟，且文献[11]的方法及其设计的软件OpenNetMon 也支持对可用带宽及丢包率的测量。

被动网络性能测量技术是通过抽取或复制网络真实流量数据，并按照不同粒度水平记录和处理，获取网络性能数据。被动网络性能测量技术可以记录测量节点最完整的信息，包括从物理层一直到应用层的协议数据,可以快速地检测到网络错误和网络失效，了解网络的运行状况。被动网络性能测量工具和技术主要有Sniffer（嗅探器）、Wireshark、WinCap、Network General、SNOR 等。文 献[12]提出了一种基于对象和应用的流量特征统计描述的方法，周期性地导出该信息来描述链路流量特征，减少了传输和存储的数据量并拥有更高效的存储组织查询分析。文献[13]提出了一种基于支持向量机的流量分类方法，利用非线性变换和结构风险最小化原则将流量分类问题转化为二次寻优问题，具有良好的分类准确率和稳定性。文献[14]提出了一种提取大流的算法FEFS，通过在线识别和淘汰小流，把大流信息保存在有限的高速存储空间中，从而快速提取大流。文献[15]提出一种基于自适应流抽样的测量方法,通过一个简单、分组开销较小的数据结构来获取网络性能。文献[16]提出了 Smart Selection Sampling(S3 )方法,通过利用流长分布信息选择合适的抽样函数,能够调整抽样函数，获得更高的测量精度。文献[17-18]提出了基于SDN 网络架构的网络可用带宽被动测量方法，但这种方法测量结果的准确性受时间估计的影响较大。

采用主动网络性测量方式能够快速地理解端到端的路径，并且不需要部署到互联网的核心设备，无需涉及用户隐私数据，部署方便、成本较小，但主动测量需要向网络中注入流量，增加了被测网络负担。采用被动网络性能测量方式可以不需要向网络发送探测数据包，不增加和修改通过网络的数据负载，因此对网络的行为没有影响，但被动网络性能测量难以获得对网络的整体理解。文献[19-20]采用主被动结合的方式进行网络性能的测量，这种方式综合被动测量和主动测量技术的优缺点，可用合理控制减少对网络的影响，提高测量的准确性。跨广域网的网络准确测量一直是网络测量的难点问题，广域网上的网络设备可能分属不同的运营商和机构，其网络状况也在不断的发生变化，测量结果常常受到时钟偏差、路径是否一致等方面因素影响。本研究的目标是通过对高能物理网格环境的网络性能测量，建立一个全局的网络性能视图，从而更改的优化和调整高能物理网格环境数据共享路径，以期提升网络共享效率。采用被动网络测量方式难以得到对高能物理网格环境整体性能的理解，因此本研究采用主动网络性能测量方式，通过在高能物理合作单位之间部署网络测量探针，获取高能物理合作单位之间网络性能参数，记录数据传输网络的网络路由。

1.2 基于perfSONAR 的网络测量

perfSONAR(performance service-oriented network monitoring architecture)，是一个面向服务的网络性能监控框架，它是由美国能源科学网络（ESnet），GÉANT，Internet2 和巴西国家教育与研究网络（RNP）共同发起的，旨在解决跨多域网络的路径上的端到端性能问题[21]，主要面向欧洲核子中心大型强子对撞机实验（LHC）网格环境提供网络测量和监控工具包。perfSONAR 架构中集成ping、traceroute、tracepath、iperf、iperf3、nuttcp 等网络测量工具，并对这些测量工具进行封装，实现对被测网络的网络端到端的可用带宽、端到端延迟、端到端的丢包率以及连接稳定性及转发路径等测量，并将其测量结果存档，提供查询界面以方便检索测量结果。截止2020年2月全球300 多个顶级域和1000 多个组织的2000 多个注册主机上部署了perfSONAR。

基于perfSONAR 对网络可用带宽、延迟及丢包率测量的良好集成，本文采用perfSONAR 架构进行面向高能物理网格环境的网络性能测量，通过在高能物理合作单位之间部署perfSONAR 测量探针，主动发送探测包的方式获取高能物理网格环境网络性能参数，如延迟、丢包、可用带宽等。为方便说明，如图1 所示，在中国科学院高能物理研究所（IHEP）、山东大学（SDU）、上海交通大学（SJTU）、华中师范大学（CCNU）四个点部署perfSONAR 网络测量探针，通过端到端的网络配置，建立Full-Mesh 的IPv4 及IPv6 网络测量环境，并通过网络测量可视化平台来展示四点之间的网络测量结果。

图1 网络测量架构Fig.1 Network measurement architecture

1.3 网络测量可视化平台

在面向高能物理网格环境中，每个站点都存在高能物理实验数据交换的可能，因此在部署网络测量探针时不仅仅是只考虑某一点到其他节点的网络性能状况，而是要考虑高能物理网格环境中任意两个站点之间的网络性能。同时在部署网络测量探针时，理论上任意两点之间的网络探针都会有网络测量数据的产生，这些数据的展示其实是一个二维矩阵的图。本文采用开源的MaDDash（Monitoring and Debugging Dashboard，监控和调试仪表板）软件构建了网络性能可视化展示平台，可以对多个测量点之间网络性能构建一个可视化的展示矩阵，矩阵的每一点代表横向与纵向测量点之间网络性能状况，同时用不同颜色标记出网络性能的状况，支持对网络可用带宽、网络丢包与延迟以及网络路径的可视化展示，可视化矩阵图展示方式可以更直观的反映出多个测量点之间的网络性能状况。

为更好的说明本文搭建的网络性能可视化平台的效果， 以中国科学院高能物理研究所（IHEP）、山东大学（SDU）、上海交通大学（SJTU）、华中师范大学（CCNU）四个点可用带宽测量为例，在以上四个节点部署网络测量探针， 其测试结果如图2 所示，为一个4×4 的矩阵图，颜色反映可用带宽的区间值，通过此矩阵式可视化展示可以比较直观的反映出测量点之间的网络性能状况。

图2 网络性能测量数据矩阵图Fig.2 Network performance measurement data matrix

2 面向高能物理网格环境的网络测量

广域网优化技术可以显著提升用户网络体验，一直是研究人员和各大网络设备厂商关注的热点。广域网优化的途径主要包括基于数据优化的广域网优化技术、基于协议优化的广域网优化技术以及基于链路优化的广域网优化技术。本研究面向高能物理实验数据网格环境，在不改变物理学家获取的物理实验数据以及数据传输系统的前提下，本文采用链路优化技术来优化面向高能物理合作单位之间网络性能，通过构建基于SDN 技术的高能物理合作单位虚拟专用网络，调节高能物理数据传输路径来提升数据传输效率。

2.1 面向高能物理虚拟专用网构建

本文面向高能物理合作单位之间大批量高能物理实验数据的传输需求，同时需要满足数据传输的高可靠性和高效率性，能够最大限度的利用高能物理合作单位之间现有网络链路资源。为了更好的利用IPv4、IPv6 链路资源，本文的一项工作重点是采用SDN 技术及虚拟专用网技术在高能物理合作单位之间构建IPv4 及IPv6 虚拟专用网络，利用SDN 架构统一视图管理、灵活路径调整、自定义网络需求等优势，在高能物理合作单位之间部署SDN 架构网络，并有统一的控制器进行管理。当前SDN 技术在设备端支持已经比较广泛，大多数网络设备厂商的网络交互设备基本都支持SDN技术，尤其是OpenFlow 协议，且当前虚拟专用网（VPN）技术也有广泛的应用。目前常用的虚拟专用网技术有二层的隧道协议PPTP( Point to Point Tunneling Protocol, 点对点隧道协议)、L2F( Layer 2 Forwarding, 二层前向转发协议)、 L2TP ( Layer 2 Tunneling Protocol, 二层隧道协议)，三层的隧道协议IPSec(Internet Protocol Security)、GRE（General Routing Encapsulation）以及应用层的SSL（SSH，HTTPS）。本文采用三层GRE 隧道技术，利用支持GRE 隧道技术的SDN 交换机部署于高能物理合作单位之间，通过GRE 隧道技术构建高能物理合作单位之间IPv4 及IPv6 虚拟专用网络，如图2 所示。通过IPv4overIPv6 技术充分利用IPv6 链路资源解析基于IPv4 数据传输系统的IPv4 实验数据，充分利用高能物理合作单位之间IPv4 及IPv6 链路资源。

为了更好地说明本方案建立的面向高能物理数据传输的虚拟专用网络，本文在高能物理研究所、山东大学、上海交通大学以及华中师范大学部署支持GRE 协议的SDN 交换机，任意两点之间分别建立IPv4 GRE 隧道及IPv6 GRE 隧道，如图3 所示，每一点都有6 条路径与其他三点相连，因此本方案所建立的虚拟专用网络是一个Full-Mesh 的网络。在n 个站点的IPv4 及IPv6 融合的Full-Mesh网络中，任意两点经过k 个节点的路径条数其实是一个从n-2 个元素中取k 个点的排列问题，路径条数为又因每段路径上都IPv4 网络及IPv6 网络，故n 个节点中任意两点经过k 个点的路径条数为故得到n 个节点的Full-Mesh 网络中任意一个节点a 到任意一个节点b 的全部路径的计算公式为：

图3 虚拟专用网架构 Fig.3 Virtual private network architecture

对于Full-Mesh 的网络，随着网络中节点数目的增加，网络中的路径将以指数倍数增加，全网路径的计算和管理对控制器来说有一定的压力，但在实际环境中很难做到对全网做到Full-Mesh 的连接，通常情况是对关键节点进行Full-Mesh 连接，面向高能物理网格环境的链路连接核心在高能物理研究所，其实际节点数也是有限的，所以本文的方案在这样的场景下是适合的。

2.2 基于SDN 的路径优化技术

SDN（软件定义网络）因其实现了网络控制平面与数据转发平面的分离，实现逻辑上的集中控制和开放 API 的协作，在网络标准性、开放性、透明性等方面有巨大优势，能够为目标网络建立全局统一的网络视图，方便目标网络全局的网络策略管理以及灵活的路径调整等。本文面向高能物理合作单位之间的高能物理实验数据的传输性能，在基于SDN 架构的网络中构建高能物理合作单位之间的虚拟专用网，通过SDN 控制器对整个虚拟专用网络路径及路径性能状态的管理，并下发相应的路由流来完成对高能物理合作单位之间路径的切换过程。本文假定合作单位之间每个节点的网络交换设备不对数据转发性能做限制的情况下，理论上任意相邻的两段路径网络性能较好，其路径叠加以后，网络性能也会较好。本文的方法基于此理论，利用部署在高能物理合作单位之间的网络测量探针测量的丢包、延迟及可用带宽等网络性能参数，然后利用提出的路径选择算法来计算当前高能物理合作单位之间的最优路径，并由控制器下发相应的路由流信息，完成高能物理数据传输的路由切换。本文的路径选择算法是利用对网络测量参数丢包率、延迟及可用带宽的加权值来计算，值得注意的是加权参数值为一个可以配置的数值，可通过配置界面来由网络管理人员修改和配置。

本文的路径选择算法如下：

（1）定义两点间可用带宽为ab（available bandwidth），延迟为rtt（round trip time），丢包率为plr（packet loss rate）；

（2）计算出两点之间可用带宽的成本值cost（ab），通过对测量的可用带宽数据按从大到小的顺序排列，其排序值为当前链路可用带宽的成本值，记作：例如site A 到site B 的可用带宽为（3）计算出两点之间延迟的成本值cost（rtt），通过对测量的延迟数据按从小到大的顺序排列，其排序值为当前链路延迟的成本值，记作

（4）计算出两点之间丢包率的成本值cost（plr），通过对测量的丢包率数据按从小到大的顺序排列，其排序值为当前链路丢包率的成本值，记作

（5）计算两点之间路径的最终成本值cost，cost为可用带宽、延迟及丢包率的加权值，记作：例如site A 到site B 的路径得分为：

（6）最后对两点之间可能的所有链路的最终成本值进行排序，选择得分最低的为当前最优路径。

为了更好的说明本文提出的算法，如下图4 所示，三点site A（记作A）、site B（记作B）、site C（记作C）之间路径选择为例，A 到B 之间的路径有六条，即A-＞B(IPv4 路 径)、A-＞B(IPv6 路 径)、A-＞C-＞B(纯IPv4 路径)、A-＞C-＞B(纯IPv6 路径)、A-＞C-＞B(先IPv4 后IPv6 路 径) 和A-＞C-＞B( 先IPv6 后IPv4路径)。其中A-＞C-＞B 的成本值为：

图4 路径选择示意图Fig.4 Path selection diagram

3 测试结果

为了说明本方案提出的面向高能物理网格环境中网络性能监测与优化技术，分别对中国科学院高能物理研究所（IHEP）、上海交通大学（SJTU）和山东大学（SDU）的IPv4 及IPv6 网络性能测量数据进行分析。其中表 1 为高能物理研究所、上海交通大学以及山东大学之间的IPv4 及IPv6 可用带宽测试结果，并对IPv4 及IPv6 可用带宽进行排序，计算出的值；表 2 为高能物理研究所、上海交通大学以及山东大学之间的IPv4 及IPv6延迟测试结果，并对IPv4 及IPv6 延迟进行排序，计算出的值；表 3 为高能物理研究所、上海交通大学以及山东大学之间的IPv4及IPv6 丢包率测试结果，并对IPv4 及IPv6 丢包率进行排序，计算出的值。需要说明的是由于广域网网络性能是随时段动态变化，因此对广域网网络性能的测试也只是在一段时间内反映广域网网络的性能。本文中表 1、表 2、表 3 给出的数据是在同一时段进行测试的结果，并取 10 次测试结果的平均值，这样能很好地降低测试结果的误差，比较真实地反映测试时间段广域网网络性能；同时表 1、表 2、表3 给出数据的目的是对比 IPv4、IPv6 以及本文提出网络方案的性能，因此在同一时段做的测试数据完全能够对本文方案网络性能进行评估和说明，因此本文给出某一时段的测试数据对本方案的评测是有效的且有意义的。

表1 IHEP、SJTU、SDU 之间可用带宽测量结果（Mb.s-1）Table 1 the measurement result of Available bandwidth between IHEP, SJTU and SDU （Mb.s-1）

表2 IHEP、SJTU、SDU 之间延迟测试结果（ms）Table 2 The measurement result of latency between IHEP, SJTU and SDU（ms）

表3 IHEP、SJTU、SDU 直接丢包率测试结果(10-5)Table 3 The measurement result of packet loss rate between IHEP, SJTU and SDU （10-5）

基于对网络业务场景的不同，所关注网络性参数也不同的原则，本文面向高能物理网格环境中高能物理实验数据的共享需求，在对网络性能方面比较关注，较多关注丢包及可用带宽，因此丢包率及可用带宽的权值会大一些，在及的前提下，只能取0.1 或别为可用带宽、延迟及丢包率的权值，并取保留一位小数）。由于网络延迟测量结果较恒定且高能物理合作单位之间网络延迟差别并不大，因此本文选择同理本文更关注可用带宽来提升面向高能物理合作单位之间网络传输性能，因此本文取

表4 为以高能物理研究所到山东大学为例，基于本文提出的方法按照路径cost值叠加原理得到高能物理研究所到山东大学所有路径的cost值，其中cost1的为可用带宽的权值为延迟的权值为丢包率的权值为的计算结果为可用带宽的权值为延迟的权值为丢包率的权值为的计算结果；cost3为可用带宽的权值为延迟的权值为丢包率的权值为的计算结果。从计算结果来看，任意两点之间的IPv6 路径基本好于IPv4 路径。基于对cost1、cost2、cost3的结果对比，算法的结果都显示高能物理研究所到山东大学的网络最优路径为高能所到山东大学的IPv6 链路，其次为高能所到山东大学的IPv4 链路。而且在算法结果中，高能所到山东大学途径上海交通大学的链路中，纯IPv6 链路要好于混合链路以及纯IPv4 链路，另外混合链路，不论是先IPv4 后IPv6 还是先IPv6 后IPv4 都好于纯IPv4链路。实际环境中也是IPv6 链路的网络性能好于IPv4 链路，本文的实验结果表明本项目提出的基于权值的网络性能参数优化的最优路径选择算法与实际网络环境想接近，能够选择高能物理网格环境中任意两点的最优路径，从而提升网络传输效率。

表4 IHEP 到SDU 所有路径cost 值Table 4 Cost value of all paths from IHEP to SDU

4 结束语

随着国家级大科学工程项目的不断增多，尤其以高能物理为代表的大科学工程海量实验数据的跨地域传输及共享，对现有IPv4 为主的科学数据共享网络链路资源造成极大的挑战。如何协同已有的IPv4 及IPv6 链路资源来服务于科研数据的共享是一个值得思考的问题。本文面向高能物理网格环境提出一种网络监测及优化的方案，基于对高能物理网格环境的网络性能监测数据，优化高能物理数据传输路径的选择，提升面向高能物理网格环境的高能物理实验数据的传输效率，本文的方法也具有普适性，可以应用到其他领域。在与基于数据优化的网络优化技术以及基于协议优化的网络优化技术相比，本文提出的网络优化技术的优势是不需要设备特殊功能支持（如数据压缩、数据去重等），不需要对传输协议及传输系统做修改。本文的另一个重要工作是基于SDN 技术架构，提出了一种网络路径优化及选择算法，本文的算法是基于节点间交换设备不做任何转发限制的前提下，基于本文提出的权值的路径叠加优化算法在一定程度上提升了路径的传输效率，后续还将对基于流的网络性能测量以及对路径选择算法进行非线性优化来获取更优的网络性能测量结果及路径优化与选择方案。

诚然，在当前国内高能物理网格环境中，本文实现对IPv4 和IPv6 网络链路测量数据进行数据共享路径的选择和优化，但如何开展基于IPv4 及IPv6 路径并行数据共享是本文下一步工作内容，届时还需要添加更多的节点及优化本文的路径选择及优化算法来实现高能物理网格环境中任意节点之间的高可靠、高效率高能物理科学实验数据的传输。

利益冲突声明

所有作者声明不存在利益冲突关系。