基于地面分布式数据中心的天地一体化网络

郭嘉宁李长德石云吴斌

(1天津大学软件学院,天津300072) (2航天恒星科技有限公司,北京100086) (3天津大学计算机学院,天津300072)

基于地面分布式数据中心的天地一体化网络

郭嘉宁1李长德2石云2吴斌3

(1天津大学软件学院,天津300072) (2航天恒星科技有限公司,北京100086) (3天津大学计算机学院,天津300072)

天地一体化网络通常具有覆盖范围广、数据传输量大等特点。现有的一体化网络研究侧重于网络间传输协议,以及如何有效管理网络资源等。但考虑到当前卫星网络数据处理能力相对较差,而地面网络发展已非常成熟,因此将一体化网络与数据中心网络融合,把数据中心网分布式地接入骨干光网络中,卫星作为网络的传输节点与地面分布式数据中心网络构成统一整体;以中国电信骨干网为基础,针对一体化网络的内部传输代价和外部请求代价等多种因素,进行折中,使用整数线性规划得到网络的最优化部署。所提出的网络架构能很好地满足一体化网络的要求,提供了一种具有竞争力的信息平台设计架构。

天地一体化网络;网络优化;光交换;数据中心;分布式;组件部署;航天工程

1 引言

自20世纪80年代互联网兴起以来,信息技术的应用正逐步深入地对人类社会发展的方向产生影响,传统的计算机网络正在从固定走向移动,从地面和空间的相互分割走向天地一体化。天地一体化网络是一个大容量、多层次的异构网络[1],可以承载多元信息;空基中航天器的覆盖范围极其广泛,网络规模也非常庞大;各种资源形成统一整体,信息共享率高。一系列特点使得天地一体化网络无论在经济、安全方面还是科学研究领域,都有极其重要的应用价值。

现阶段天基与空基系统尚处于探索时期[2],天基与空基网络受到生存环境、建设成本等因素制约,网络处理能力有限,且信道状态复杂、可扩展性较差,但网络中待处理的数据量却急剧增长;地基系统发展十分迅速,大规模数据中心的应用使得数据规模与处理速度都达到了较高水准,尤其将数据中心融入主干光网络后,利用光纤具有高带宽、高传输速率的特点,作为数据中心网络的底层支撑,大大提高了网络的运算处理能力[3]。结合这些特点,将天基网络与地面数据中心网络融合,进行联合优化设计,实现优势互补。既天基系统利用地面数据中心的超强处理能力,将空中数据传输至地面数据中心处理,地面网络利用天基系统具有广阔覆盖范围的特点,为特殊环境,如沙漠、深海、丛林等普通网络无法覆盖的区域,提供服务。

本文在天地一体化网络的背景下,构建出一体化网络模型:地基系统运用基于光传输和光交换的数据中心网络,处理整个网络中的海量数据,天基与空基系统作为转发节点,以网络开销为主要衡量指标。考虑整个网络的传输时延、链路损耗等多重影响因素,进行网络开销的最优化设计,最终通过整数线性规划(ILP)求解出网络的最优化模型。

2 一体化网络模型

天地一体化网络分为空基、天基和地基三个子系统,地基子系统主要包括各种用途的虚拟专用网络(Virtual Private Network,VPN)、覆盖全球的Internet网络、大型存储设备、各式收发雷达天线以及众多用户等;天基与空基系统主要由空间站、卫星(包括气象卫星、中继卫星和探测卫星)等各种移动通信设备构成[4-5]。

图1 光交换数据中心内部结构Fig.1 Internal structure in optical switching data center

2.1 地基子系统

由于卫星的处理能力受限,故一体化网络的数据处理主要是由地网完成。基于光交换的分布式数据中心网络的应用[6],进一步加强了地面网络的数据处理能力,图1为光交换分布式数据中心的网络架构。椭圆虚线内的组件均可被放置在单独的节点上,通过合理的拆分交换器与机架,数据中心可满足不同种类的需求。矩形虚线框内表示数据中心网络的逻辑功能,内容交换器主要用于向外部请求提供服务接口,核心交换器用于数据中心内部节点的数据交换。网络中的每个节点都有一定量的服务需求,内容交换器按照就近原则,向距其最近的节点提供服务。

分布式数据中心通过内容交换器的分散放置向地面用户提供了广泛的接入端口,减小了外部业务的传输代价,很好地提升了数据中心的可扩展性,同时适应航天器星覆盖范围的区域性特性,为地面数据中心提供了数据传输的接口,减少了天基、空基系统的数据处理量,但是随之带来的传输开销的增长是不可避免的。要使两者达到平衡,需要找到适当的网络节点,将数据中心网络的传输开销与时延降至最低。另外,由于网络拓扑结构的约束,找到合适的节点部署机群与其他网络组件也十分重要。结合已知的限定条件,数据中心的部署约束以及系统开销最小化问题可以归结为:①确定内容交换器和光核心交换器的数量;②交换器与机架应该怎样组合;③网络组件应当如何部署才可令网络的开销最低;④网络节点的服务请求开销。

地基系统网络的开销主要体现在数据交换处理、时延和服务请求上(由于硬件资源的开销为一个固定常量,故暂时不计算在网络的开销内)。假设数据中心的扩展代价如图2所示,该扩展代价对应数据中心机房的基础建设费用(如电力系统、土地租金等)[7]。它是一个阶梯函数,每当组件的数目超出分界点,针对该组件的基础建设费用就会上升。简单起见,将顶层交换器、光汇聚交换器和光纤的代价包含在基础建设费用中,它们均随着机架数目的扩大而上升。

将此问题转移数学公式构建模型,可得地面数据中心的总开销。

图2 扩展代价函数Fig.2 Extended cost function

式中 V为一体化网络中的所有地面节点;Ps为一对核心交换器和内容交换器的开销;P0为当一对核心交换器和内容交换器与服务器机架部署在同一节点时,网络建设节省的开销;Puv为数据中心网络从节点u到节点v的传输开销;Δk为图2纵轴所标识的步进量;θ为数据中心网络内部传输时延的开销影响因子,θ＞1,θPuv表示节点u和v之间传输的时延代价与传输代价之和;Su为二进制变量,如果为1表示有一对核心交换器和内容交换器位于节点u∈V,反之则为0;Yu为二进制变量,如果为1则表示节点u∈V既有一对核心交换器和内容交换器,又包含机架,反之则为0;为二进制变量,如果为1则表示在节点m∈V的机架数量超过了Nk(k≤K),反之则为0;为非整数变量,表示节点v请求的从节点u的核心交换器和内容交换获取的服务量;为非负整数变量,表示节点m和节点n通过节点u的核心交换器交换的总信息量。

式(1)等号右边第一部分表示所有内容交换器与核心交换器产生的开销;第二部分表示部署在节点m的所有机架的基础开销总和,如果没有机架布置在m节点,则=0;第三部分代表所有外部服务请求接入的总开销;第四部分表示数据中心节点内部传输的总开销;第五部分表示扣除核心交换器与机架部署在同一节点时所节省的建设费用。

地基子系统的时延主要包含数据传输时延和处理时延[8]。处理时延主要是在数据中心节点处理数据的时间,数据中心强大的计算能力使得处理时延相对较小;基于光传输的数据网络,数据传递速率可达上百千米每毫秒,故节点间的距离对传输时延影响权重不大。因此,地面数据中心的网络时延与天基、空基子系统相比不是主要影响因素,时延因子θ取值较小。

2.2 空基与天基子系统

对于由卫星等移动设备构成的天基与空基网络,节点移动造成网络拓扑结构频繁变化及卫星节点能量资源受限等特点决定了在天基网络中资源十分紧张,若将数据中心部署在卫星上,代价十分高昂[9]。因此在一体化网络中,天基与空基网络主要进行数据传输,其建设开销体现在带宽开销、时延开销和传输开销上。

天基和空基网络结构的动态变化,使得在不同时间可用的网络带宽与服务质量也在不断变化,不同节点对带宽的需求也不尽相同。随着网络接入用户数量的不断增多以及用户种类的不断丰富,带宽的开销在网络建设过程中所占的比重越来越大。又因为卫星节点之间进行无线通信,空间中无线环境复杂,存在众多干扰信号,卫星之间传输距离远,这些不利因素导致卫星网络对时延开销十分敏感。但带宽与时延的开销均可以叠加在数据传输的开销上,故设定传输因子μ(μ＞θ),统一表示带宽、时延与传输的影响。

数据传输是天基与空基网络的主要工作,卫星间的数据传输开销与服务请求开销可近似认为与地面开销构成相同,可简化为

式中 S为所有卫星节点集合;Zef为卫星e向卫星f的传输开销;μ为卫星网络的传输影响因子, μ＞1;Nef为非负整型变量,表示卫星e向卫星f的传输信息量,e,f∈S。

至此,一体化网络的数学模型构建完毕。可以看到,两个公式将地基、天基和空基系统的网络建设代价数值化,式(1)与式(2)的总和就是一体化网络的建设开销。

3 一体化网络优化与ILP设计

建设实际可用的一体化网络,需要将网络建设开销最小化,即求解目标函数的最小值:

为到得式(3)的最小值,可以通过构建ILP方程对各个变量加以约束条件,利用数学工具进行求解。本文构建的ILP约束条件有:

每个机架都可以放置在单独的节点上,如果机架i部署在节点m,同时机架j部署在节点n,根据约束(5)应取值为1;约束(6)、约束(7)和约束(8)定义节点u是否部署了一对内容交换器和核心交换器,如果在节点u上有任意内部数据交换或者有外部的需求响应,则内容交换器与核心交换器应该部署在这一节点上;约束(9)表示卫星s无法从覆盖范围外的节点获取服务;约束(10)可以识别在节点m上的机架数量;约束(11)说明所有内部节点的通信总量等于所有核心交换器交换的信息量;约束(12)限制核心交换器内部和外部的负载总量;约束(13)计算外部需求总和;约束(14)与约束(15)进行联合判断,以检测是否在节点u上同时部署了核心交换器、内容交换器与机架,同时用于计算公式(1);约束(16)表示卫星s获取的服务量应该与其提供的服务量相等。

4 网络仿真

本文的地面数据传输网络以中国电信骨干网为基础[10],进行了适当扩展。在原有的8个节点上再增加两个节点用以向中国西部地区提供服务,包含12条传输链路、9个机架;空基采用3颗同步卫星覆盖中国地区所有10个节点,每颗卫星的覆盖区域在图中用虚线圆圈表示,相互之间有重叠区域。仿真中的一些参数(定义见前文,均无量纲),如扩展代价函数、核心交换器容量和交换器交换单价等,通过表1给出。一体化网络中各个节点的业务请求量在表2中给出,这些请求量都是以波长为基本单位。

表1 仿真参数配置Tab.1 Configuration of simulation parameters

表2 网络各节点请求量Tab.2 Requesting quantity of each network node

数据中心任意两个机架之间的交换量通过表3反映。根据对数据中心网络流量的监测分析[11],发现流量的典型特征是内部流量的高度发散和迅速变化,并且这些变化是不可预测的,但是有一个特征——数据中心内部服务器之间的数据交换量与出入数据中心的总流量的比值约4∶1。为满足这种流量特性,这里使机架之间的交换量总和(196)约等于外部业务请求总量(48)的4倍。表4给出了节点间传输代价,该代价与两个节点之间的距离成正比例关系。

表3 机架间传输量Tab.3 Transmission quantity between frames

表4 各链路传输代价Tab.4 Transmission cost of each link

使用Cplex数学工具进行仿真试验,最终设计出基于地面分布式数据中心的天地一体化网络结构,如图3所示,其中箭头指向表示卫星节点接入位置。可以看出,网络中的9个机架最终被划分成了3组,分别放置在地基系统的3、5、6等3个节点上;网络核心交换器被分配在节点1、3、5、6处;最终计算得到的网络最小开销为498 169。卫星0通过节点5接入地面数据中心网络,卫星1和卫星2均通过节点1接入。

图3 ILP求出的天地一体化网络架构Fig.3 Network architecture in ILP solution

表5给出了网络中各个节点业务请求的接入路由,箭头左端的数字表示服务请求发出的节点,箭头右端的数字表示为其提供服务的节点,箭头上方的数字表示业务的接入量。可以看出,大多数节点都是向其距离最近的核心交换器发出服务请求,但是也有例外发生。例如节点4(表5中椭圆虚线框部分),该请求被分为了5+1,这是因为节点1的交换容量已经饱和,因此节点4只能从较远处的交换器请求服务。这也体现出通过ILP求解出的网络架构可以实现一定程度的负载均衡。表6表示放置在不同节点的组件之间的交换路由方案。可以看出组件之间的交换,一般都是由双方的核心交换器共同承担。

表5 ILP求出的外部请求接入路由表Tab.5 Service route of external demand in ILP solution

表6 路由交换策略Tab.6 Strategy of routing switch

5 结束语

天地一体化网络是人类空间活动的信息基础设施,然而随着航空航天事业的不断发展,天地一体化网络的数据传输和处理的能力将日益不足。为了提高网络的系统容量,改善其可扩展性能,本文提出在天地一体化网络中引入分布式数据中心,并借助地面光纤骨干网络实现大量数据传输。为了实现全网的优化设计,本文构建了相应的ILP模型,在实现网络总建造代价最小的同时,保证全网的服务需求。最后,通过数值仿真对所提出网络架构和ILP模型进行了试验验证。构建的一体化网络模型可以利用地面数据中心的超大处理能力,有效地处理一体化网络中的海量信息,通过收发雷达与卫星等其他无线网络形成统一的整体,具备高扩展性。

[1] 沈荣骏.我国天地一体化航天互联网构想[J].中国工程科学,2006,8(10):19-30.

SHEN RONGJUN.Some thoughts of Chinese integrated space-ground network system[J].Engineering Science,2006,8(10):19-30.

[2] 徐正全,毛腾跃,朱容波,等.下一代卫星网络关键技术研究进展[J].武汉大学学报,2012,37(9): 1009-1013.

XU ZHENGQUAN,MAO TENGYUE,ZHU RONGBO,et al.Researching review on key technology of next generation satellite networks[J].Geomatics and Information Science of Wuhan University,2012,37(9): 1009-1013.

[3] KACHRIS C,TOMKOS I.A survey on optical interconnects for data centers[J].IEEE Commun. Surv.Tutorials,2012,14(4):1021-1036.

[4] 杨春秀.多层卫星网络路由协议研究与仿真[D].哈尔滨:哈尔滨工程大学,2012.

YANG CHUNXIU.The rearch and simulation of multilayered satellite routing algorithms[D].Harbin: Harbin Engineering University,2012.

[5] 黄飞江,杨俊,卢晓春,等.基于三层卫星网络的星间链路性能分析[J].计算机工程与科学,2012,34(4): 1-6.

HUANG FEIJIANG,YANG JUN,LU XIAOCHUN,et al.Performance analysis of the intersatellite links based on 3-layer satellite networks[J].Computer Engineering and Science,2012,34(4):1-6.

[6] PROIETTI R,YE X,YIN Y,et al.40 Gb/s 8x8 Low-latency optical switch for data centers[C]∥Proc.Optical Fiber Communication Conference,Los Angeles,CA,2011:1-3.

[7] XIAO J,WEN H,WU B,et al.Joint design on DCN placement and survivable cloud service provision over all-optical mesh networks[J].IEEE Trans.on Communications,2014,62(1):235-245.

[8] BITAR N,GRINGERI S,XIA T J.Technologies and protocols for data center and cloud networking[J]. IEEE Communication Magazine,2013,51(9):24-31.

[9] 罗阳.宽带卫星通信系统多址接入与带宽分配策略研究[D].重庆:重庆大学,2014.

LUO YANG.Multiple access and bandwidth allocation strategy in broadband satellite communication system[D]. Chongqing:Chongqing University,2014.

[10] JANK RONG.An introduction of eight Chinese telecom backbone network nodes[EB/OL].[2014-10-18]. http:∥blog.csdn.net/jankrong/article/details/2936905.

[11] BENSON T,AKELLA A,MALTZ D A.Network traffic characteristics of data centers in the wild[C]∥Proc.of the 10th ACM SIGCOMM conference on Internet measurement,New York,2010:267-280.

作者简介

郭嘉宁 1990年生,2013年毕业于南开大学滨海学院通信工程专业,现为天津大学软件工程专业硕士研究生。研究方向为宽带无线通信系统、数据中心及资源虚拟化。

Satellite-ground Integrated Communication Network Based on Distributed Data Center

GUO Jianing1LI Changde2SHI Yun2WU Bin3
(1 School of Computer Software,Tianjin University,Tianjin 300072)
(2 Space Star Technology Co.,Ltd.,Beijing 100086)
(3 School of Computer Science and Technology,Tianjin University,Tianjin 300072)

The satellite-ground integrated communication network usually has the characteristics of wide coverage and large amount of data transmission.Current studies concentrate on transmission protocols and resource management.Due to the weak computing power of the satellite network,an integrated satellite-ground communication network with a distributed data center merged with the backbone optical network was proposed which can realize logic link and optical transmission for different component sets in the data center.The satellites were taken as special nodes in the integrated network.And multiple factors were taken into account,such as the cost of internal transfer and external request,to optimize the network architecture by using the integer linear programming(ILP)based on Chinese telecom network.Simulation results show that the proposed network architecture and the optimization technique can solve network design and resource optimization problems well in the integrated network.It also provides a competitive platform for large-scale data transmission and processing.

Satellite-ground network;Network optimization;Optical switching;Data center; Distributed;Component placement;Space engineering

10.3780/j.issn.1000-758X.2015.05.011

(编辑:高珍)

2015-02-25。收修改稿日期:2015-03-27