天空地一体化网络多中继链路自适应调度技术

杨灿，陈始茂，邱宏燕

（中国电子科技集团公司第七研究所，广东 广州 510310）

0 引言

为保障通信的高可靠性，在天空地一体化网络特别是特殊专用的天空地一体化网络中，用于网络节点组网互联的中继链路往往不止一条，而且每一条链路的类型都可能不一样，如有光纤、被覆线、卫星、短波、超短波、微波等[1-3]，如图1所示。在这些中继链路中，有的作为组网互联的主用链路，有的作为备份链路，一旦主用链路因各种原因（如发生故障、受到严重干扰、距离过远而导致无法连接时）不可继续使用时，立即将信息切换至可用的备份链路上继续进行传输，保证节点间的通信畅通。在天空地一体化网络的实际建设应用中，可根据具体的应用需求，集成选用合适的通信手段作为中继链路，包括主用链路和备用链路；同时也可以将应用信息同时在多条中继链路上协作传输，实现多中继链路的负载均衡甚至带宽聚合使用[4-5]。

图1 网络节点间通过多种中继链路互联示意图

对于多中继链路的调度应用，目前业界的通常做法是基于路由的调度方式，即网络节点把每一条链路都作为一条路由进行路由发现、建立和维护，并汇总生成路由表；同时，以链路类型（有线、无线）、传输带宽、传输时延、链路质量、链路负荷等参数为度量，依据度量计算公式进行路由计算，对各路由进行优选排序选用。这种调度方式的主要缺点是：一是每条链路上都有路由发现、建立和维护的开销，降低了链路的有效承载能力，尤其是对窄带链路不利；二是网络路由表中路由数量比较多，变化更新比较频繁，网络节点间的路由表频繁更新同步会带来较大的链路开销；三是某些链路的故障（如中断）发现时间比较长，一旦作为主用链路发生故障（如中断），会引起网络节点间较长时间的通信中断。因此，这种调度技术对各传输链路的有效利用率不高，而且难以保证通信网络的可靠性和业务传输QoS。

1 多中继链路自适应调度装置

本文针对网络节点间有多条中继链路时如何提高多条链路的综合调度效率以提升网络的可靠性及链路的有效利用率问题，提出一种面向全IP的、支持网络节点间多条中继链路自适应调度的技术。为实现对网络节点间多中继链路的高效调度，在网络节点的承载层中嵌入多中继链路自适应调度模块（功能实体），如图2所示。

图2 网络节点嵌入多中继链路自适应调度模块

图2中的多中继链路自适应调度模块的内部架构如图3所示。

图3 多中继链路自适应调度模块内部架构

多中继链路调度策略管理器（简称“调度策略管理器”），用于对系统的调度策略管理，并通过策略控制多中继链路自适应调度控制器和多中继链路负载均衡控制器的操作。调度策略管理器根据用户设定的链路选用策略（选用优先级、优选排序规则等）、访问控制列表以及获得的各链路特性参数和状态等信息，计算形成网络节点间可用链路列表及优选排序，并分发给多中继链路自适应调度控制器和多中继链路负载均衡控制器。同时，用户在调度策略管理器设定链路调度模式：自适应调度模式还是负载均衡模式；负载均衡模式是采用带宽比重方式还是轮询方式，参加负载均衡承载的链路有哪几条等。调度策略管理器根据用户设定的策略生成自适应调度策略和负载均衡策略，根据生成的自适应调度策略控制多中继链路自适应调度控制器的调度行为，根据生成的负载均衡策略控制多中继链路负载均衡控制器的调度控制行为。

多中继链路自适应调度控制器（简称“自适应调度控制器”），用于根据既定策略在多中继链路之间选定当前最优链路作为网络节点间信息传输的主用链路，保证信息在当前最优的链路上传输，为上层提供最优的传输服务。当当前主用链路因各种原因（如发生故障、受到严重干扰、距离过远而导致连接不上等）不可用时，自适应调度控制器启动链路切换程序，将需要传输的信息快速切换到当前可用的最优备用链路上继续传输，保证通信继续进行；当可用链路列表出现更优的链路（包括故障排除的链路和新增的链路）时，自适应调度控制器启动链路切换程序，将需要传输的信息快速切换到更优的链路上继续传输，保证信息在当前最优的链路上传输，为上层提供最优的传输服务。

多中继链路自适应负载均衡控制器（简称“负载均衡控制器”），用于在多条链路间自适应实现数据负载均衡传输。根据调度策略管理器提供的负载均衡策略，启动相应的负载均衡方式和调度算法，调度数据在多条链路上传输，实现多中继链路的流量负载均衡。当参加负载均衡承载的某一链路发生故障（如链路中断）而不可用时，负载均衡控制器停止往该链路发送数据，并重新计算剩余可用链路的传输资源，再按新的传输资源情况往各剩余可用链路发送数据；当之前出现故障的参加负载均衡传输的某一链路恢复可用或者增加新的参加负载均衡传输链路时，负载均衡控制器重新计算参加负载均衡承载的各链路的传输资源，并按新的传输资源情况往各链路发送数据，包括重新向恢复可用的故障链路发送数据。

多中继链路适配器（简称“链路适配器”），用于对接入的各种链路进行适配管理和维护，具体包括链路建立与维护、数据承载控制、链路特性参数管理。链路适配器对应具体的物理接口建立链路，并建立该链路对应的软件接口和链路特性参数表。链路特性参数包含链路带宽、传输时延、误码率、拥塞度等，链路带宽由用户规划设定，其它参数通过与光纤/被覆线链路的接入层（链路层&物理层）以及无线链路设备（卫星站、微波接力机、电台等）定期交互获得。在链路建立后，链路适配器启动链路维护机制，定期在每一条链路上发送握手消息，对链路状态进行探测判断。链路状态发生变化时，链路适配器将链路状态实时上报给调度策略管理器。调度策略管理器按策略重新计算并更新可用链路列表及优选排序，之后再将更新信息分发给自适应调度控制器和负载均衡控制器。

2 多中继链路自适应调度机制

基于上述多中继链路自适应调度模块的设计，两个网络节点间只需要运行及维护一条路由，路由与具体的链路无关；网络节点间具体互联链路的建立、维护和选用均由自适应调度模块决定，如图4所示。

图4 网络路由与传输链路的无关性

而在具体实施中，根据应用定位和使用规划，首先设定天空地一体化网络的相关策略和参数初始值。网络开通之后，运行链路维护机制进行链路维护，并根据调度策略管理器生成的相关策略进行链路自适应调度或负载均衡操作。

2.1 多中继链路适配建立和维护

在系统开通前，先对系统进行网络规划和工作参数设置，包括在调度策略管理器中设定链路选用策略（选用优先级、优选排序规则等）、访问控制列表等参数；设定链路调度模式：自适应调度模式还是负载均衡模式，负载均衡是采用带宽比重方式还是轮询方式，参加负载均衡承载的链路有哪几条等。同时在链路适配器设定各链路的传输带宽等链路参数。

链路适配器首先对应具体的物理接口建立链路，并建立该链路对应的软件接口和链路特性参数表；然后设定该链路特性参数中的链路带宽参数，例如该链路是通过以太网接口连接卫星车载站，形成一条卫星链路，链路带宽设定为1 Mbit/s（指的是整条链路的带宽，而不是连接物理接口的带宽）。对于链路特性参数中的其它参数包括传输时延、误码率、拥塞度等，链路适配器通过与光纤/被覆线链路的接入层（链路层&物理层）以及无线链路设备（卫星站、微波接力机、电台等）定期交互获得，把这些参数记录在该链路特性参数对应的数据结构中，并上报调度策略管理器。

在链路建立后，链路适配器启动链路维护机制，定期（如T=2 s）在每一条链路上发送握手消息，对端收到后回复应答消息。若在某一条链路上连续n次（如3次）发送握手消息均没有收到对端的应答消息，则判定该链路发生了故障（链路中断、收到严重干扰等）而不可再使用，并标识该链路的状态为故障。若在之前出现故障的某一条链路上连续n次（如8次）发送握手消息均收到对端的应答消息，则判定该链路恢复正常可用，并标识该链路的状态为可用。链路状态发生变化时，链路适配器将链路状态实时上报给调度策略管理器。调度策略管理器按策略重新计算并更新可用链路列表及优选排序，之后再将更新信息分发给自适应调度控制器和负载均衡控制器。

2.2 多中继链路自适应切换

多中继链路自适应切换的具体方法如下：

（1）自适应调度控制器根据调度策略管理器分发的可用链路列表及优选排序，选择当前可用的最优链路作为主用链路并标识为当前主用链路。

（2）当应用层有数据需要发送时，发送驱动程序就会触发调度策略管理器，调度策略管理器根据设定策略判断是否启用负载均衡，如果是则触发负载均衡控制器则在多中继链路上负载均衡传输；否则就触发自适应调度控制器，把需发送的数据发送到主用链路上进行传输。

（3）当链路适配器探测到当前主用链路发生故障（如链路中断）而不可用时：

1）链路适配器更新该链路特性参数，设置该链路状态为故障，并上报自适应调度控制器和调度策略管理器。

2）自适应调度控制器收到故障报告后，启动链路切换程序：将当前主用链路状态设置为故障，并清除作为当前主用链路的标识；根据可用链路列表及优选排序，选择最优备用链路作为新的主用链路并标识；将需要发送的数据切换到该链路上继续传输。

3）调度策略管理器收到故障报告后，按策略重新计算并更新可用链路列表及优选排序，之后再将更新信息分发给自适应调度控制器和负载均衡控制器。

4）自适应调度控制器收到可用链路列表更新消息后，同步更新本地保存的可用链路列表及优选排序。

5）自适应调度控制器查询更新后的可用链路列表及优选排序，如果当前主用链路已是最优链路，则不做进一步操作。如果当前主用链路不是最优链路，则再启动链路切换程序：清除当前主用链路的主用链路标识；根据最新的可用链路列表及优选排序，选择最优链路作为新的主用链路并标识；停止往原主用链路发送数据，将需要发送的数据切换到新的主用链路上传输。

（4）当链路适配器探测到之前出现故障的链路重新恢复可用或新增可用链路：

1）链路适配器更新该链路特性参数，设置该链路状态为可用并上报调度策略管理器。

2）调度策略管理器收到报告后，按策略重新计算并更新可用链路列表及优选排序，之后再将更新信息分发给自适应调度控制器和负载均衡控制器。

3）自适应调度控制器收到可用链路列表更新消息后，同步更新本地保存的可用链路列表及优选排序。

4）自适应调度控制器查询更新后的可用链路列表及优选排序，如果当前主用链路已是最优链路，则不做进一步操作。如果当前主用链路不是最优链路，则启动链路切换程序：清除当前主用链路的主用链路标识；根据最新的可用链路列表及优选排序，选择最优链路作为新的主用链路并标识；停止往原主用链路发送数据，将需要发送的数据切换到新的主用链路上传输。

2.3 多中继链路自适应负载均衡

多中继链路自适应负载均衡的具体方法如下：

（1）在调度策略管理器中设置启动负载均衡策略，包括负载均衡方式、参加负载均衡的链路等；调度策略管理器将相应的负载均衡策略发给负载均衡控制器。

（2）当应用层有数据需要发送时，发送驱动程序就会触发调度策略管理器，调度策略管理器根据设定的负载均衡策略，触发负载均衡控制器，实现在多中继链路上负载均衡传输数据。

（3）当链路适配器探测到参加负载均衡承载的某一链路发生故障（如链路中断）而不可用时：

1）链路适配器更新该链路特性参数，设置该链路状态为故障，并上报负载均衡控制器和调度策略管理器。

2）负载均衡控制器收到故障报告后，将故障链路状态设置为故障，并停止往该链路发送数据；负载均衡控制器重新计算剩余可用链路的链路带宽比，并按新的链路带宽比往各剩余可用链路发送数据。

3）调度策略管理器收到故障报告后，按策略重新计算并更新可用链路列表及优选排序，之后再将更新信息分发给自适应调度控制器和负载均衡控制器。

4）负载均衡控制器收到可用链路列表更新消息后，同步更新本地保存的可用链路列表及优选排序。

（4）当链路适配器探测到之前出现故障的链路重新恢复可用或新增可用链路：

1）链路适配器更新该链路特性参数，设置该链路状态为可用并上报调度策略管理器。

2）调度策略管理器收到报告后，按策略重新计算并更新可用链路列表及优选排序，之后再将更新信息分发给自适应调度控制器和负载均衡控制器。

3）负载均衡控制器收到可用链路列表更新消息后，同步更新本地保存的可用链路列表及优选排序。

4）负载均衡控制器从更新后的可用链路列表查询参加负载均衡承载的故障链路是否恢复可用，如果还没有恢复则不做进一步操作；如果已经恢复可用，则负载均衡控制器重新计算参加负载均衡承载的各链路的链路带宽比，并按新的链路带宽比往各链路发送数据，包括重新向恢复可用的故障链路发送数据。

3 应用实例

下面将以具体的实例对本技术进行进一步阐述。

3.1 多中继链路自适应切换实例

如图1所示，假设两个网络节点之间采用了光纤、微波和卫星三种链路进行组网互联。在调度策略管理器中设定链路选用优先级：光纤最高，微波次之，卫星最低，启动自适应调度模式。在链路适配器设定各链路的传输带宽参数：光纤为155.52 Mbit/s，微波为8.448 Mbit/s，卫星为1.024 Mbit/s。

（1）网络节点的链路适配器启动后建立光纤、微波和卫星三条链路，并启动链路维护机制，同时在三条链路进行握手维护。

（2）自适应调度控制器根据调度策略管理器分发的可用链路列表及优选排序（可用链路为3种，光纤链路的选用优先级最高，微波链路次之，卫星链路最低），选择当前可用的最优链路光纤链路作为主用链路并标识为当前主用链路。

（3）当应用层有数据需要发送时，发送驱动程序就会触发调度策略管理器，调度策略管理器根据设定判断为自适应调度模式，就触发自适应调度控制器；自适应调度控制器把需发送的数据发送到光纤链路上进行传输。

（4）当探测到光纤链路出现故障不可用时，按照2.2节中的步骤进行操作，微波链路成为新的主用链路并标识使用；可用链路列表中的可用链路也变为2种，微波链路的选用优先级最高，卫星链路次之。

（5）当探测到光纤链路重新恢复可用时，按照2.2节中的步骤进行操作，光纤链路重新成为主用链路并标识使用；可用链路列表中的可用链路也恢复为3种，光纤链路的选用优先级最高，微波链路次之，卫星链路最低。

3.2 多中继链路自适应负载均衡实例

如图1所示，假设两个网络节点之间采用了微波、超短波和卫星三条链路进行组网互联。在调度策略管理器中设定启动负载均衡模式，采用按带宽比重均衡方式，三种链路参加负载均衡传输。调度策略管理器将相应的负载均衡策略发给负载均衡控制器。假设微波、超短波和卫星三种链路的带宽比例为5:2:1。

（1）网络节点的链路适配器启动后建立微波、超短波和卫星三条链路，并启动链路维护机制，同时在三条链路进行握手维护。

（2）当应用层有数据需要发送时，发送驱动程序就会触发调度策略管理器，调度策略管理器根据设定的负载均衡策略，触发负载均衡控制器，在三条链路上负载均衡传输数据：根据三条链路的带宽比例分别向三条链路分发数据进行传输。

（3）当探测到微波链路发生故障而不可用时，按照2.3节中的步骤进行操作，设置微波链路状态为故障，并按新的链路带宽比2:1往超短波链路和卫星链路发送数据进行传输。

（4）当探测到微波链路重新恢复可用时，按照2.3节中的步骤进行操作，设置微波链路状态为可用，并恢复正常的三条链路上负载均衡传输数据。

4 验证效果

本技术在某指挥通信系统、应急保障通信系统等多个天空地一体化项目应用并进行了测试验证，取得了良好的应用效果。相对于基于路由的中继链路调度方法，本技术的主要优势体现在：

（1）中继链路维护机制可以探测到网络节点间所有中继链路的可用状态，传输开销非常小，每链路不大于0.4 kbit/s。

（2）对中继链路故障的探测判断非常迅速，只需三个链路握手周期，最短为3 s；对中继链路的故障操作反应敏捷，从不可用中继链路切换至可用中继链路的操作仅需约60 ms，进一步提升业务传输的QoS。

（3）网络节点间只需要建立及维护一条路由，路由带来的处理资源开销及传输开销小，比如节点间有n条中继链路，则路由的开销只有基于路由调度法的n分之一。

（4）可以自适应实现多条中继链路的流量负载均衡，并支持多条中继链路的带宽聚合以为高带宽用户提供服务。

5 结束语

本技术通过对天空地一体化网络的各种中继链路进行统一管理与综合调度，实现多中继链路之间自适应快速切换和负载均衡，提高了对天空地一体化网络多中继链路的调度效率，并进一步提高了各中继链路的有效利用率和业务传输QoS，可以给用户带来更好的应用体验。