智能电网中两阶段网络切片资源分配技术

尚芳剑，李 信，翟 迪，陆 阳，张东磊，钱玉文

（1.国网冀北电力有限公司信息通信分公司，北京 100044；2.全球能源互联网研究院有限公司，北京 102209；3.南京理工大学电子工程与光电技术学院，南京 210094）

0 引言

近年来，许多国家、企业都致力于建设智能电网，并提升了智能电网安全水平。特别地，我国通过实施“互联网+”战略，全面提升智能电网信息化、智能化水平，充分利用现代信息通信技术、控制技术实现智能电网安全、清洁、协调和智能发展，为经济社会发展提供可靠电力保障［1-2］。另外，随着通信业务规模不断扩大，用户需求的差异性越来越大，有限的频谱资源也变得越来越紧缺。因此，利用网络虚拟化技术实现资源共享的网络切片技术应时而生［3］。网络切片是5G 网络中的一项关键技术，利用该技术可实现灵活配置相互独立虚拟网络的功能［4］。目前，网络切片资源分配已成为电力线系统的研究热点。

目前，网络切片分配主要针对不同业务类型对网络的速率、时延等需求，为用户分配虚拟网络资源［5］。典型地，文献［6］中为了使网络切片中基础设施供应商、服务提供商和用户都获得较高的收益，提出了一种基于乘法器的分布式资源分配算法；但这种方法没有考虑各切片业务不同的时延需求。为此，文献［7］中考虑了网络切片中业务到达和无线信道的动态变化，在此基础上提出了基于正交频分多地址（Orthogonal Frequency Division Multiple Access，OFDMA）的无线虚拟网络中吞吐量最大化的资源分配方案；但这种方法只考虑了时频资源，未充分利用频谱资源。类似地，文献［8］中基于每个网络切片的统计时延服务质量（Quality of Service，QoS）需求，并利用非正交多址接入技术提高了系统的有效容量，提出了利用每个网络切片的最小预留速率来保证各网络切片间的隔离性，解决了在虚拟无线网络中最小化传输功率的资源分配问题。然而，这些研究工作均没有考虑到用户公平共享网络切片的情况。为此，文献［9］中提出了一种基于比例公平算法的半静态网络切片资源分配方案；该方法虽然考虑了不同类型的网络切片，但同种类型切片的业务需求是固定的，不能满足用户的差异化需求。而为了优化网络切片分配，文献［10］中将网络切片的资源分配问题建模为双凸优化问题，实现网络负载均衡的同时最小化链路成本。

近年来，在智能电网中应用网络切片技术，并进行切片分配也引起了国内研究者的关注。例如，刘明月等［11］在阐述了电力业务分类及其特点的基础上，分别从核心网与接入网入手对资源分配算法的研究现状进行了综述；特别地，该文献针对智能电网业务种类繁多，从合理分配资源、适应多类业务的各项需求出发，提出了资源最优分配的方案，从而可以获得用户满意的服务质量。为了对资源进行动态分配，文献［12］中提出了一种基于人工智能的5G 网络切片资源分配策略。综合以上工作后，甄岩等［13］针对电力通信网络的特点，总结了电力通信网络中实现网络切片的技术挑战，并提出了一种适用于电力异构无线通信网络的切片方案。

然而，现有的网络切片虚拟资源分配算法主要侧重于频谱资源共享的研究，较少考虑不同业务类型的差异化需求。例如，文献［14］与文献［15］提出了一种资源共享比例受限的分配机制，该机制能够提升网络切片的资源共享能力，但没有研究定制化资源分配问题。文献［16］中提出了一种基于破产博弈的资源分配算法，实现了对云接入网络切片的频谱资源分配；该算法能够有效提升频谱资源利用率，但没有考虑不同业务的差异化需求。不同业务类型对网络速率、时延、可靠性等的需求不同，如何根据异构化的业务需求只为用户分配其所需的虚拟网络资源，是网络切片资源分配算法研究中需解决的关键问题［17-18］。此外，实际应用中，用户是依次在线到达的，因此，需要一种在线的切片资源分配方法，能够及时、高效地在用户提交业务请求后为其分配所需资源，提供定制化的切片服务。

为此，本文提出基于云-边协同的网络切片分配模型。为了在本地边缘网络中将网络切片分配给用户，本文使用拉格朗日乘子法来优化网络切片资源的分配方法；为了有效地将核心云中的切片资源分配给不同的边缘代理，本文还引入了增强学习的方法来优化网络切片的分配。

1 系统模型

1.1 智能电网的切片划分

智能电网存在业务多样性以及对网络的要求也不尽相同，如电力生产大区业务与管理信息大区业务。其中：电力生产大区业务包括配电自动化和毫秒级精准负荷控制；而在管理信息大区业务中包含了大量的用电采集类业务，因此需要根据业务需求对用户进行隔离。一般地，智能电网业务需要毫秒级超低时延和超高可靠的网络。基于以上需求，针对智能电网类业务，利用5G 网络切片技术提供按需部署、高隔离性、端到端服务类保障的电力切片，才能满足电力业务的需求。

智能电网中网络切片系统的结构如图1 所示。在该结构中，智能电网的切片系统由电力维护系统、切片管理系统和多个电力子站组成。电力子站通过不同的需求，由不同的电力切片来支撑。一般地，电力切片管理系统可以动态创建与回收电力切片。电力维护系统可以动态地监控各种硬件资源，为切片管理系统提供实时监控数据。

图1 智能电网中网络切片系统结构Fig.1 Structure of network slicing system in smart grid

根据电力需求，一般可将用户业务分为三种：增强移动宽带（enhanced Mobile Broad Band，eMBB）、超高可靠超低时延通信（ultra-Reliable Low Latency Communications，uRLLC）和海量机器类通信（massive Machine-Type Communications，mMTC）。每个网络切片由一系列虚拟网络功能（Virtual Network Function，VNF）、运行这些网络功能的资源以及连接这些功能的定向链路组成。

在实际电力系统中，针对不同电力业务的需求，使用的切片也不同。针对配电自动化业务、毫秒级精准负荷控制、分布式馈线自动化等业务，一般采用uRLLC 切片，因为这些业务具有超低时延，且具有超高的可靠性需求；针对分布式电源以及未来的海量通信类业务，一般采用mMTC切片，因为这些通信类业务具有较高的连接密度；对于增强带宽类业务，一般采用eMBB切片，因为增强带宽类业务有超大带宽业务。

1.2 切片分配模型

网络切片资源分配系统的模型如图2 所示。在该模型中，网络切片资源的分配过程两个阶段：第一阶段，在边缘网络中，边缘服务代理将不同的切片分配给所需的用户；在第二阶段，云服务器根据第一阶段分配的结果将计算资源、存储资源以及VNF 等分配给不同的边缘网络。这些边缘网络包括不同的物联网、移动网络以及各种电力业务网络［19］。

图2 智能电网中网络切片资源分配分配模型Fig.2 Resource allocation model for network slices in smart grid

本文假定不同的切片部署在不同区域，且部署在不同区域的同种VNF 在时延、效率上表现出不同的性能。共有个n电力生产大区，每个区域的云资源可以共享。每个网络切片中，同一区域同种类型的VNF 最多拥有一个，但可拥有多个部署于不同区域的同一类型VNF 实例。为保证切片性能，部署于某个区域的VNF只能在该区域内共享。

在第一阶段中，边缘服务提供商根据用户的不同需求分配不同的资源。服务提供商可提供多种虚拟资源，如虚拟频谱资源、虚拟计算资源、虚拟存储资源等。需要说明的是，第一阶段用户的资源请求被存储在队列系统中。该系统根据资源的类别分成不同类型的资源队列，而针对同一类型的资源，也会根据任务的紧急程度、延迟敏感程度等生成不同优先级的队列。然后，在第二阶段中，本文采用智能的资源调度算法，根据资源的数量、任务数量、队列优先级等进行资源分配。

2 边缘网络资源分配优化

为了将频谱资源最优地分配给用户，本文引入体验质量（Quality of Experience，QoE）作为衡量用户传输速率的依据。由于频率选择效应，可将通信信道转换为多个并行平坦的衰落信道，不同的网络切片使用不同的信道与频率［20］。设un为第n种网络切片，则使用这种网络切片的吞吐量为：

其中：I是LM×LN阶指示矩阵；为接收器的平均信噪比（Signal-to-Noise Ratio，SNR）；Rss是传输数据的相关矩阵；f是该切片的通信频率；H是边缘服务代理与终端用户的信道矩阵。

由于边缘服务代理（Agent Unit，AU）上执行的服务程序是由终端发送的申请决定的，因此，定义wi∈{0，1}作为切片是否被访问状态。第i个终端用户（Terminal User，TU）的信道速率为：

其中：pn和pI为其他蜂窝网络的噪声功率和干扰功率；pi是接收信号的功率；h是信道增益；T是信道的带宽。

本文采用比例公平调度（Proportional Fair Scheduling，PFS）算法将资源分配给具有最高信道质量的用户［21］。然后，可以将第m个物理资源块（Physical Resource Block，PRB）中的第k个TU分配子频率f，则

其中：Tk(f)表示第k个TU 相对于f的平均吞吐量；ρk(m，f)是第k个TU的SNR，它与第m个PRB以及频率相关。

另外，每个边缘代理的总能耗为：

其中：η＞1是一个常数；Pcir为总电路功耗；an是第n个切片的优先级；Pi，k是第i个TU 从第k个服务代理处接收到的功率；Pbh是回程的能耗。

这样，云服务器可获取每个服务需求的反馈值，如延迟、数据速率、功率、优先级和切片类型等。基于这些参数，以QoE 最优来分配网络切片资源。则第n类网络切片的QoE 表示为：

其中：Dn为n类网络切片的总延迟；Cn为n类网络切片的通信速率；Pn为n类网络切片的传输速率；an是第n个切片的优先级。

为了将问题简单化，本文假定核心云可提供足够多切片分配给边缘用户，则网络切片中资源优化问题可形式化为：

其中：τ是一个常数，用于判断应用程序是否对延迟敏感；l是延迟的要求；I{l＜τ}是一个指标函数，如果l＜τ则I=0，否则I=1；Rth是每个UE 的数据速率的阈值；Nn是相邻网络数；PI是相邻AU 引起的总干扰；Pj和hj是TU 和第j个相邻AU 之间的信道的发射功率和信道增益；Imax是总干扰阈值。

在式（6）给出的干扰条件中：第一个约束条件表示UE 正常工作的最小数据速率；第二个约束条件表示所有UE的整体数据速率小于某一个指定的值；第三个约束反映了分配给一个服务片的AU的能力限制；随着5G的广泛采用，微基站的数量急剧增加，为此，第四个约束用来形式化每个UE 的宏小区之间的干扰。在此基础上，将式（6）转换为：

由于式（6）是一个混合整数非线性规划问题，其目标函数中存在连续变量。此时，很难用凸优化方法解决。为此，将式（6）中目标函数转换为：

其中：r是惩罚系数；p是由AU 的发射功率组成的向量；B(p)如式（9）。

为了解决以上优化问题，本文设计了迭代算法求解最优解，描述如下：

算法1 迭代求解算法。

3 云网络切片优化分配

3.1 切片分配的MDP建模

本文引入系统评估参数ξ，考虑资源利用率和QoE 满意度，则ξ可表示为：

其中：η和ϑ分别表示资源利用率和QoE；ηth和ϑth分别是η和ϑ的阈值。ξ可以基于动作充分地表示一个状态。以电力服务为例，它需要满足严格的延迟和优先级要求。在这种情况下，延迟Dn和an比传输能力和传输速率更重要。基于ξ，本文对云资源分配系统进行建模。

状态 观测数据可以通过神经网络被转发到后续批次，同时状态矢量可以作为特征矢量输出。然后，定义状态集为：

其中fNN表示神经元网络。

动作 远程无线电头（Remote Radio Head，RRH）将被聚在一起创建一个AU 以减少小区间干扰和降低切换过程的成本。

根据小区服务中TU 的地理分布，将AU 划分为M个集群，每个集群应仅分配给一项服务。因此，可以定义动作：

其中：n表示第n类网络切片；M是动作集a的维数；ai具有两个值1和0，指示第i个资源是否分配给第n个切片。

回报函数 在神经元网络中训练数据，根据其特征可以获取动作集上的概率分布矢量。这一步可以最大化分布矢量的概率，使系统达到最佳性能。回报函数可以定义为：

其中，s表示状态，详见式（11）。通过分配切片，可以依据转移概率从一个状态转移到任何时隙的其他状态。此时，可以将系统建模为马尔可夫决策过程（Markov Decision Process，MDP）。

3.2 基于增强学习的分配算法

图3 基于增强学习的网络切片资源分配算法示意图Fig.3 Schematic diagram of resource allocation algorithm for network slices with reinforcement learning

在该框架中，Q是收益函数。资源分配的结果存放在分配结果数据库中。通过使用目标神经元网络训练资源分配数据中的样本数据，从而取得最优收益。其中，第t个时隙的状态-动作对的Q函数为：

其中：rt是第t个时隙的回报；ρ是学习率；γ∈(0，1)是确定将来回报值的贴现因子；st是第t个时隙的状态；at是第t个时隙中选择的动作。

在每个时隙中，代理可以依据当前状态和回报来计算最佳Q值再选择动作。根据当前状态和所选动作，系统将在下一个时隙切换到新状态。通过这种方法，可为每个时隙更新Q函数。环境通常是动态变化的，例如，系统可以根据信道容量来调整传输数据速率、调制方案和信道编码率，因此，采用QoE 作为环境的主要参数。通过上行链路上载的信道质量指标表示数据速率，该速率由信号与干扰加噪声比和接收机的特性确定。为此，给出基于增强学习的网络切片分配算法，如算法2所示。

算法2 基于增强学习的切片分配算法。

4 实验及结果分析

本文通过仿真评估系统性能。首先，考虑在一个单独切片中进行本地层中的资源分配，将字载波带宽设为15 kHz，时隙设置为1 000 ms。在这种配置中，一个帧仅由一个时隙组成，因此，无线帧总共包含了10 个时隙。在异构网络中，基站的最大功率为4 W，PRB的最大功率为0.8 W。

当小型基站与宏基站共享同一频谱时，系统可以通过时间、频谱、功率等资源的自适应分配来减少干扰［16］。本文假设不同的服务对数据速率有不同的要求，并且对总吞吐量也有要求。对于广域级别，假设最大输出功率低于46 dBm，以提供可接受的性能，并确保不受辐射影响。假定，5G 蜂窝系统假定在30～300 GHz 的毫米波频带内工作。噪声功率的频谱密度为174 dBm/Hz。

为了比较本文方案与其他方案的优缺点，实现了如下三种方案：

1）固定资源分配（FRA）：根据租户及其优先级，将AU 划分为不同的等级。这些用户设备根据其状态被接收，然后根据宽带信道质量以及回程容量与远程无线电前端相关联。根据经验来分配每个租户的比率。

2）动态资源分配（DRA）：考虑租户及用户设备的不同的优先级。首先，基于QOE 要求及接入单元性能进行准入控制；然后，将所接入的用户设备与远程无线电前端相关联，该前端根据其性能、功率及其他约束提供了高质量的信道。

3）基于环境的资源分配（RRA）：考虑到了动态资源分配及环境变化的优点，使用了本文3.2 节中机器学习方法来动态执行。

本文的仿真中，利用50 台终端用户设备来进行分配，分配结果如图4 所示，其中，ξ是用户的满意度度量。该实验考虑到用户设备的数据速率、功率、无线电资源，以及每个服务中每个参数的优先级权重，RRA 的总体性能是最佳的。由图4可知，本文提出的RRA性能略优于DRA，这是因为该图显示的是一个服务的性能，而并非系统性能。其次，随着信噪比的增加，FRA 的性能越来越差，其资源利用率也越来越低。第三，当服务对延迟敏感时，RRA 在公平性及延迟性上优于其他算法。在延迟敏感切片中，高信噪比环境下的体验质量要低于需求阈值，所以ξ的值逐渐减小。

图4 不同网络切片的资源分配方案性能分析Fig.4 Performance analysis of different resource allocation schemes for network slices

图5 中，给出了解决了云系统的优化问题。本文利用包含语音、视频及超可靠低延迟通信的三种场景，评估了采用强化学习来解决问题的性能。另外，用户延迟分别为15 ms，5 ms 以及0.5 ms。通过图5 可知，通过优化系统资源利用率和切片QoE的加权求和，提出的RRA可达到了最佳性能。

图5 不同方案的分配效能分析Fig.5 Allocation efficiency of different schemes

5 结语

本文基于网络切片提出了一种智能电网中基于云-边协同的网络切片分配模型。为了配合这种云边协同系统以及提高网络切片的分配效率，提出一种基于两阶段的切片分配算法。在第一阶段中，结合用户的实际效益，优化了本地网络切片分配方法。在第二阶段，通过把系统建模成马尔可夫决策过程，然后利用增强学习的方法实现网络切片的有效分配。仿真结果验证了本文提出的两阶段优化的网络资源分配方法可以有效地为网络切片分配所需资源。。