星地融合边云协同网络下的资源调度研究*

戴翠琴，卞梦玥，杜涛，廖明霞

（重庆邮电大学通信与信息工程学院，重庆 400065）

0 引言

随着信息技术的飞速发展，面向6G 的星地融合边云协同网络作为一种新型的通信架构，正在逐渐引起广泛关注。星地融合边云协同网络，通过将卫星通信、地面网络、边云协同有机融合在一起，形成了一个高效、灵活、智能化的通信体系。其中：边云协同是指通过将边缘计算节点和云端数据中心的通信、计算以及存储等资源整合，以及任务在边缘设备和云端之间的合理分配，实现星地融合网络中的边缘计算和云计算的优势互补[1]。然而，实时任务和资源分配的失衡将导致系统时延和能耗增大，因此如何在边缘计算节点和云计算中心之间调度网络资源成为当前亟需解决的难题[2]。

针对以上问题，目前主流的解决方案是通过“边云多层次协同”的方式将边缘计算和云计算进行弹性扩展以优化资源配置。如图1 所示，边云多层次协同指的是将边缘计算和云计算均划分为基础设施即服务（IaaS,Infrastructure as a Service）、平台即服务（PaaS,Platform as a Service）和软件即服务（SaaS,Software as a Service）的多层次结构，通过对等层之间通信实现基础设施资源、数据、服务等多方面的协同。即，将边缘IaaS 层与云端IaaS 层对接实现基础设施资源协同；边缘PaaS 层与云端PaaS 层对接实现数据协同、智能协同、应用管理协同和业务管理协同；边缘SaaS 层与云端SaaS层对接实现服务协同[3]。

具体而言，IaaS 层实现计算、存储、网络等虚拟化基础设施资源的协同。边缘节点具备本地资源管理能力，并与云端协同接受并执行中心云节点的资源调度管理策略，主要涉及网络连接管理、设备管理、基础资源管理等方面的策略。目前在基础资源协同方面已经有了成熟的解决方案，即在宏观层面实现按需部署、调度基础设施资源，在微观层面配置边云之间资源协同的具体策略。

PaaS 层主要实现边云之间的数据协同，使数据在边缘和云中心之间有序、可控地流动。通过建立完整的数据流转路径，对数据进行全生命周期的管理与挖掘。数据层面的协同主要通过数据处理机制实现。在边云协同系统中，边缘端负责数据的采集、存储，同时对隐私数据进行加密处理，再将结果上传到云端，通过云端实现海量数据的分析、决策。

SaaS 层实现服务协同。边缘端按照云端策略完成边缘SaaS 服务，并与云端SaaS 服务一起向用户提供完整服务。其中，云端主要负责提供SaaS 服务在边云之间的部署策略以及承载边缘SaaS 的服务能力[4-5]。

表1 为边云多层次协同架构中的关键技术。

表1 边云多层次协同架构中的关键技术

目前，边云协同领域主要面临如下几个方面的挑战：1）在资源协同方面，存在着设备异构、资源受限、边-云通信复杂等问题；2）在应用协同方面，存在着边缘物理节点分散导致的部署困难、计算场景复杂导致的应用分发困难、边云计算场景下的应用管理困难等问题；3）在服务协同方面，存在着数据存储困难、实时性难以保证、应用接入不规范导致的统一管理困难、服务协同下的运维困难[6]等问题。为了解决这些问题，“算力网络”被引入到传统边云协同方案中，即利用云网融合、软件定义网络（SDN,Software Defined Network）以及网络功能虚拟化（NFV,Network Functions Virtualization）等新型网络技术，将边缘计算节点、云计算节点以及含广域网在内的各类网络资源深度融合在一起，组成新一代信息基础设施。通过集中控制或者分布式调度方法在云、网、边之间按需分配和灵活调度计算资源、存储资源以及网络资源，能够为客户提供适应不同业务特性的包含计算、存储和连接在内的完整算力服务[3]。

本文首先提出了基于边云协同的星地融合网络架构，然后，阐述了边-端（边）、边-云、端-边-云三种不同边云协同方式下的资源调度方案，并从时延、能耗和多目标优化的角度分析了不同场景下的资源调度策略。接着，对比了目前星地融合边云协同网络架构下资源调度求解模型和算法的优势和局限性。最后，总结全文并指出了星地融合边云协同网络下的资源调度的发展方向。

1 星地融合边云协同网络架构

随着新业务的不断涌现，卫星网络仅作为远程地面数据中心的中继，无法继续提供高效的数据处理响应[7-9]。因此，面向6G 的星地融合网络需要将边缘计算功能上星，并通过边云协同实现星地之间计算功能的柔性分割以及资源的优化配置。针对多样化的业务需求，把全局性、复杂度高、时延要求低的业务放在地面中心网络平台上处理；把实时性要求高、计算复杂度低的业务放在卫星网络平台上处理[10-11]。

星地融合边云协同网络架构如图2 所示，主要包括终端设备、地面网络和卫星网络。终端设备主要是各式传感器、手机等，具备数据采集功能、任务产生功能，还具有一定的缓存能力和任务处理能力。当任务超过终端设备自身的处理能力时，其通过算力网络发出请求将任务卸载至星地融合网络中的边缘计算或者云计算中心。地面网络主要包括地面移动通信网、地面本地数据网络（即边缘计算网络）以及地面中心数据网络（即云计算中心网络），主要负责任务的处理以及实现用户和卫星的双向通信。卫星网络主要包括高中低轨多种卫星、卫星移动通信网以及卫星本地数据网络（即星上的边缘计算网络），主要负责和地面的通信、任务的处理以及数据的传输。

图2 星地融合边云协同网络架构

为了实现星地融合网络的边云协同，引入了一个新的网络功能，即边云协同功能（ECCF,Edge-Cloud Collaboration Function），用于管理星地融合网络的全局资源，维护地面和卫星的所有资源信息并生成边云协同的调度策略，实现边缘计算资源、云计算资源与移动通信网络资源的全面感知和协调。星上ECCF用于维护星上资源并同步给地面；同时，星上ECCF接收地面ECCF对星上资源的调度策略[11]。

2 基于边云协同的资源调度方案

资源调度是指对系统资源进行分配和管理以实现任务的高效执行和资源的优化利用的过程。资源调度方案对时延、带宽、能耗、负载均衡、安全性以及灵活性等方面有严格的要求，单一的终端、边缘计算以及云计算无法满足需求，所以多方协同的资源调度方案应运而生。本节主要分析对比地面网络和星地融合网络中在终端计算、边缘计算与云计算间不同协同方式下的资源调度方案。

2.1 基于边-端（边）协同的资源调度方案

为了减轻网络负载和降低网络延迟，边缘计算将部分计算任务从中心化的云服务器转移到用户终端设备以及靠近用户的边缘节点上进行处理。此外，在资源调度方案中引入边-端（边）协同计算，能够解决终端设备计算、存储、能量等资源受限以及终端设备间干扰的问题，从而提升系统整体的处理能力。

在传统地面移动通信网络中，边-端（边）协同是指信息、数据或任务在车辆、基站等具备计算能力的边缘集群和终端设备之间进行协同处理和传输，而无需经过中心服务器的一种计算模式，如图3 所示。为实现边-端（边）计算的有效协同，文献[12]提出了一种新的边缘资源池框架，利用网络边缘节点之间的协同来存储和共享计算资源；文献[13]提出了一种基于分层深度强化学习（DRL）的联合优化算法，该算法能够显著降低排队延迟；文献[14]一种基于优先级的任务调度算法，该算法能够更好地测量车联网数据传输和计算时延。

图3 边-端（边）协同模式

随着物联网的快速发展，越来越多的用户终端被布置在地面蜂窝网络无法覆盖的偏远地区。此外，在战争、自然灾害等应急场景中，地面基础通信设施遭到破坏，蜂窝网络难以提供可靠的通信保障和业务支持。而卫星具备广覆盖、大容量、高灵活的特点，能够满足用户终端在偏远地区或应急场景中的计算需求。因此，通过地面网络和卫星网络的优势互补、紧密融合，将提高数据处理能力和资源利用率，有效支撑各类用户业务的计算需求。

在星地融合网络边-端（边）协同的资源调度方案中，针对卫星高速移动导致的通信中断问题，文献[15-16]以最小化时延和能耗成本为目标，提出了基于博弈论的任务卸载方法以优化卫星边缘计算场景中地面终端的卸载策略。针对多接入边缘计算，文献[17-18]分别提出了基于离散粒子群的内容分发策略选择算法和星地协作网络中的联合任务卸载和资源联合优化算法。针对多层异构的卫星网络场景，文献[19]在考虑卫星远程物联网的实际信道条件和太阳能摄取转换的前提下，依靠强化学习方法，解决了高、低轨卫星协同资源划分和感知数据规划问题；文献[20]提出了一种基于深度强化学习的数据压缩与加密回传决策方法，实现任务卫星在多层卫星网络架构中的边缘决策。

综上所述，基于边-端（边）协同的资源调度旨在有效地管理和调度边缘节点和终端设备之间的计算、存储和网络资源，以提供高效、可靠和低延迟的服务。在传统地面网络中，相关研究聚焦于计算框架的构建和调度算法的设计。但由于地面网络在覆盖范围和应用场景的局限性，将边缘计算功能集成到卫星通信中成为当前亟需解决的问题。在星地融合网络中，则主要考虑卫星高速移动导致的通信中断、多接入以及多层异构卫星网络场景中的计算卸载和资源分配等问题。未来的研究方向将聚焦于如何在终端设备和卫星等边缘节点之间建立有效的协同决策和异构资源管理机制。

2.2 基于边-云协同的资源调度方案

基于边-云协同的资源调度方案是将边缘计算和云计算相结合，通过智能的资源调度算法和机制，实现边缘节点和云计算中心之间资源的合理分配和协同工作，以满足不同应用的需求。

边-云协同的资源调度架构如图4 所示：

图4 边-云协同的资源调度架构

在传统地面移动通信网络中，边-云协同的资源调度方案主要涵盖计算服务、存储服务以及数据处理和安全服务三个方面的研究。在提供计算服务方面，文献[21]针对任务划分提出了一种并行组合并行进化算法，以减少计算时间和能耗。在提供存储服务方面，文献[22]提出了一种新的边缘云大数据统一存储架构，该架构能够动态存储数据，以减轻网络负载压力，提高边缘服务效率。在提供数据处理和安全服务方面，文献[23]提出了一种考虑多权重因素的调度方法，该算法对节点和边缘节点统一评分排序，然后将任务数据传输到得分最高的节点执行任务。

为了提高边-云协同计算的容灾能力，实现更广泛的计算覆盖和服务扩展，通过部署星上边缘计算服务器，将计算任务分发到卫星上进行处理成为当前研究的重点。在星地融合网络边-云协同资源调度的研究中，主要关注组网架构、多接入场景以及无人机辅助卸载等方面。在组网架构方面，文献[24]提出了一种用于边云协同计算卸载的星地融合架构，该架构能够有效地降低能耗。在多接入场景方面，文献[25]针对大规模任务接入场景，提出了一种基于优先级感知的深度确定性策略梯度的任务卸载和资源分配方案，该方案可以有效地提高随机时变环境下系统的平均利用率。在无人机辅助卸载方面，文献[26]考虑了一个卫星和无人机辅助的边云混合计算框架，通过关联控制、计算任务分配、传输功率和带宽分配、无人机计算资源和部署位置优化的联合调度，最小化物联网设备之间的最大计算延迟。

综上所述，基于边-云协同的资源调度可以灵活地将任务分配到边缘设备和云服务器中执行，充分利用边缘计算和云计算的优势，提高任务的响应时间和用户体验。在传统地面网络中，边-云协同方案对于提高系统计算能力、数据处理速度、数据安全性以及增强存储功能等方面具有明显的优势。在星地融合网络中，边-云协同的资源调度方案更关注组网架构、多接入场景以及无人机辅助卸载等方面。未来的研究方向包括边缘计算与云计算协同优化、动态资源分配与任务调度、星载设备能源管理与节能优化等。

2.3 基于端-边-云协同的资源调度方案

基于端-边-云协同的资源调度方案是指将终端设备、边缘计算和云计算资源进行协同调度和优化，以满足多样化的应用需求。端-边-云协同架构分为集中式（如图5 所示）和分布式（如图6 所示）。集中式架构将计算和处理任务集中于云端，数据的采集和传输集中于边缘节点和终端，该架构具有易管理、易于扩展以及易实施等优点；而分布式架构将计算任务分配给云计算、边缘计算以及终端，以满足对低延迟、高吞吐量和实时响应的需求。

图5 端-边-云协同集中式架构

图6 端-边-云协同分布式架构

在传统地面移动通信网络中，集中式的端-边-云协同资源调度系统寻求从负责调度任务的控制中心优化系统效用。文献[27]提出了一种基于联邦强化学习的动态调度任务协同策略学习框架，通过在云服务器上为每个任务构建一个中心策略，减少了执行任务的边缘节点学习策略的时间；文献[28]提出了一种集中式的启发式深度神经网络任务卸载算法，降低了深度学习神经网络推理延迟。而分布式系统的不同组成部分分布在不同的计算机或网络节点上，并通过网络进行通信和协同。文献[29]提出了在分布式计算系统中引入边缘子云，利用来自不同层的计算资源，形成一个由云、边缘和终端设备组成的分布式计算系统。

目前，对于星地融合端-边-云协同网络场景中的资源调度方案理论研究相对较少。文献[30]针对多维资源异构和网络动态，提出了一种基于人工智能的端-边-云协作架构，该架构能够有效降低能耗和端到端排队延迟；文献[31]考虑了海上车辆在网络资源管理中的移动性，包括集成传输优化、卸载和具有资源共享海上边缘集群的主动缓存,提出了一种集成的卫星-海上架构。

综上所述，在地面网络端-边-云协同的资源调度方案中，其系统架构主要采用集中式[27-28]和分布式[29]。在集中式架构中一般采用聚合或者任务卸载的方式[27]，将部分任务交给云计算中心进行处理；分布式架构中一般是对云计算进行划分成子云[29]进行处理。而在星地融合网络端-边-云协同的资源调度方案中，多考虑分布式构架。同时还可以引入无人机布局优化技术来辅助通信与卸载，但存在多无人机布局和轨迹规划不协调导致的通信中断问题。未来星地融合网络端-边-云协同的资源调度研究将聚焦于时延和能源效率的优化、自适应调度策略、跨层跨域资源调度协同等。

3 资源调度策略

资源调度策略，是指在计算机系统、分布式系统、云计算环境或其他资源管理系统上，用于有效地分配、管理和调度可用资源的方法和规则。这些资源可以包括CPU、内存、存储、网络带宽、虚拟机、容器、任务等。资源调度策略的目标是根据系统的需求、性能指标和策略目标来合理地分配资源，以提高系统的资源利用率、性能、可用性和效率。本节主要从时延、能耗和多目标优化的角度来分析现有不同场景下的资源调度策略。

3.1 以减小时延为目标的资源调度策略

时延对于资源调度方案具有重要的影响，特别是在视频流处理、在线游戏、实时通信以及大规模数据处理等时延敏感性场景中，时延直接关系到系统的性能和用户体验。时延根据形成原因不同可分为传输时延、排队时延等。

传输时延主要是指数据从发送端到接收端的传输所需的时间。为了减小传输时延，文献[32]提出了一种考虑跳数、冲突延迟和争用延迟的最优最小权重路由方法，该方法通过在连续时隙中分配信道来最大化活动链路的数量，利用逐次凸逼近技术解决了每个时隙的信道分配问题。文献[33]提出了一种基于联邦学习的信息时代和宏基站辅助通信方法，该方法通过预测差异化时敏感服务的通信链路，以缓解路边单元的通信压力。排队时延是指于网络拥塞或资源繁忙，在网络节点或系统中等待处理的数据包在队列中等待的时间。为了减小排队时延，文献[34]提出一种基于深度强化学习的动态资源调度算法，在适应设备异构性和网络动态性的同时做出最优的资源调度决策。文献[35]提出了一种在线请求调度和资源供应算法。

目前，在减小传输时延和排队时延的研究中仍存在许多难题，例如：资源调度算法在面对高负载和拥塞情况时，是否能够准确检测和处理网络拥塞，并采取相应的措施；资源调度算法是否能够有效地分配和调整资源，均衡地分摊工作负载等。

3.2 以降低能耗为目标的资源调度策略

能耗是资源调度策略优化的重要指标之一。在星地融合网络中，卫星以及大部分终端设备的计算、存储和通信资源是有限的，因此如何利用一定的资源处理更多的任务尤为重要。在资源调度策略中，调整任务调度策略、提高资源利用率以及选择合适的资源调度算法对降低能耗均有一定的作用。

在如何通过调整资源调度策略来减少能耗的研究中，文献[36-37]通过共同优化任务的卸载比例、智能移动设备的CPU 速度、可用信道的分配带宽和每个智能移动设备在每个时隙的传输功率，最大限度地降低智能移动设备和边缘服务器的总能耗。文献[38]提出了一种多智能体辅助深度确定性策略梯度算法，减轻多边缘场景下的干扰，以降低能耗。文献[39]主要通过交换计算负载，以降低总体能耗。

以上文献均对降低星地融合网络的能耗做出了巨大的贡献。目前，大部分的研究基本都是通过调整任务调度策略来降低能耗，例如：优化任务的卸载分割比、交换计算负载等。目前，通过调整资源调度策略来减小能耗这一研究方向朝着考虑多因素、智能化的方向发展。

3.3 多目标资源调度策略

多目标资源调度策略是一种考虑系统中多个目标或指标并在它们之间进行权衡的调度方法。多目标资源调度策略可以有效平衡系统性能、资源利用效率、能源消耗、成本以及用户体验等方面的需求，使系统能够在复杂多变的环境中保持高效稳定的运行。

目前，多目标资源调度策略研究主要针对能耗、时延、资源利用率、成本以及任务完成截至时间等因素进行联合优化。由于资源利用率的提高必然会带来能耗的降低，所以两者常常会一起优化。文献[40]通过优化任务卸载的分割比，以提高资源的利用率和降低能耗。文献[41]提出了一种动态、多工作流卸载和调度、自适应异构的基于最早完成时间的算法，对任务完成时间和成本这两个因素进行优化。文献[42]提出了多目标布谷鸟搜索算法，利用外部档案记录非支配解，其更新策略通过快速非支配排序和拥挤距离排序来提高解的质量，以降低用户的执行延迟和能耗。文献[43]采用多目标多秩调度算法完成任务完成时间、能耗、成本、可靠性以及效率五个指标的优化。

尽管多目标资源调度策略可以完成系统多个方面的优化，但是在研究过程中也会面临许多问题，例如：多目标优化往往会涉及比较复杂的算法和决策过程以及多个目标在系统中的权衡问题。

4 资源调度求解

随着网络中任务和资源规模的增加，资源问题的复杂度将会呈指数性增长。在此驱动下，研究包括调度模型和算法在内的高效任务调度求解技术的重要性也日益凸显。具体的研究进展在表2 中列出。

表2 资源调度求解技术分类总结

4.1 资源调度模型

资源调度模型是资源调度的重要基础，其模型关系到问题的描述和算法的设计。本节主要从不同场景下的模型架构和数学模型来阐述资源调度模型。

（1）资源调度模型架构

目前，其模型架构主要分为集中式[27-28,44]和分布式[29,45-46]。集中式架构通常由一个中央控制点或中央服务器来管理和调度资源，从而使得整个系统的资源调度过程集中在一个地方进行。如果中央控制点发生故障，整个系统可能崩溃或无法正常工作。而分布式架构其资源调度的决策通常是分散的，每个节点或子系统可能独立做出本地的调度决策。所以某个节点或者子系统发生故障并不会对整个系统造成太大的影响。在实际的应用场景中，需要针对各个网络场景特点及面对的问题，选择使用集中式或分布式资源调度模型架构。例如，边-端（边）协同场景中一般采用分布式架构；边-云和端-边-云场景中两种架构都可以采用。

（2）资源调度数学模型

资源调度的数学模型将资源的管理和分配问题转换成数学问题，以求满足特定情况的最优或者次优解，进而选取最优的资源调度方案。资源调度中常见的数学模型一般有：马尔可夫决策过程[13,34,47-48]、数学规划模型[41,49-50]、图论模型[39,51-52]。

4.2 资源调度算法

算法在资源管理中起着关键的作用，其主要目的是通过有效的算法设计和优化，能够合理、高效地分配和利用有限的资源。常用的资源调度算法：机器学习算法[12-13,19-20,22,24,51,53-55]、博弈论算法[15-16,57-58]以及启发式算法，其中启发式算法[17,28,36,59-63]又包括贪婪式算法[60-61]和粒子群算法[17,36,62-63]。

资源调度模型和算法的选取应跟问题的复杂性、规模以及性质（如：线性问题、非线性问题以整数规划问题；静态还是动态、是否存在紧急性要求）、约束条件、优化目标、实时性要求等因素有关。

5 结束语

为了满足6G 在智能城市、工业自动化和远程医疗等应用场景中对低时延、大容量和海量连接的需求，展开对基于边云协同的星地融合网络研究具有重要意义。本文首先提出了基于边云协同的星地融合网络架构，然后，探讨了星地融合边云协同下的资源调度方案，以及从单一的云计算、边缘计算逐渐向边-端（边）、边-云以及端-边-云等多方协同计算发展的趋势。接着，从时延、能耗和多目标优化的角度分析了当前星地融合边云协同网络中的资源调度策略，并对比了现有资源调度求解模型和算法的优势和局限性。从已有研究进展可以看到，未来星地融合边云协同网络下的资源调度将主要聚焦于资源协同分配与任务调度、多目标决策与约束处理、自适应任务调度策略，以及终端设备和卫星等边缘节点间协同决策与异构资源管理机制等方面。此外，随着人工智能的快速发展，应积极寻求智能化技术在星地融合边云协同网络中的应用，以提供精准的决策支持和智能的优化能力。