基于增强学习的5G 通信频段自适应选择方法

倪旭明，郭瑜

（国网金华供电公司，浙江金华 321001）

D2D 是5G 中一种非常重要的通信技术，在5G通信频段中D2D 包含3 种通信模式：专用模式、蜂窝模式和复用模式[1-2]。

在专用模式下，为了更好地进行自适应选择，D2D 设备通过专用通道进行通信；在蜂窝模式下，D2D 用户与5G 用户共用同一网络服务器进行通信；在复用模式下，D2D 用户通过5G 用户使用的上行链路与外界进行通信。在5G 移动网络中，5G 移动网络用户与D2D 用户相比，具有更高的优先级，在复用或专用模式下，一个5G 移动网络用户仅需要一个专用的上行链路即可进行通信。

在之前的研究中，相关技术人员都关注全缓冲流量模型与通信模式，忽视了对5G 通信频段自适应选择的研究，导致5G 移动网络用户不能在5G 通信频段中选择专用的通信信道进行通信，降低了资源的利用效率，在不同模式下产生的信噪比具有不稳定性，且频谱利用率低[3]。

基于以上出现的问题，提出了基于增强学习的5G 通信频段自适应选择方法。

1 5G通信频段发送功率优化

为了保持通信，需要从传统基站转入方式更改为D2D 通信方式来进行通信，5G 用户根据通信频段的通信状态优化发送功率，假设第m个5G 用户在第n个资源块上的信噪比的计算公式为：

式中，Gm,n与Pm,n分别代表干扰路径增益和信号路径增益，其中包括有效信道增益、干扰信道增益、天线增益，可以在专用模式下进行同步，或者通过路由查找获得，σ2代表高斯白噪声功率。

在基于增强学习的5G 通信频段自适应选择方法中，5G 移动网络用户向网络控制中心上报干扰路径增益与信号路径增益，网络控制中心根据5G用户上报的内容将增益干扰考虑到资源块的分配利用上，然而在专用模式、蜂窝模式以及复用模式下，缺少重要的中心控制节点，导致传统通信频段自适应选择方法无法应用在D2D 特殊的应用场景中，致使B不能快速适应路径干扰和增益干扰，因此可使用模糊逻辑对通信频段的发送功率进行优化[4-5]。

在模糊逻辑理论中，5G 通信频段的发送功率是一个语言变量，其形成的语言值可分为低、中、高3个等级，可由模糊控制器中的控制经验来表示。模糊控制器主要包括3 部分：将估计值转换为观察变量的模糊器、推理规则库、根据测量结果产生模糊变量的解模糊器，其他种类的控制器包含时间延迟补偿，模糊器负责联系观察值和测量值，每一个测量值产生的结果需要被变换成相应的模糊规则，以提升模糊器的预测能力[6-8]。规则库负责指示由控制器下发的控制行动，在处理完规则后，模糊器将通过控制器下发的控制行动产生一个新的控制命令。该文为了优化5G 通信频段的发送功率采用了模糊逻辑推理，模糊推理结构如图1 所示。

图1 模糊推理结构

图1 中推理规则库包括资源块分配功率变化、资源块功率效率变化、模糊器、推理引擎、解模糊器和代价系数C。其中，前两个为输入变量，两个变量具有降低、不变、增加3 个等级，同样，输出变量也被分成3 个不同的等级，在该文提出的基于增强学习的5G 通信频段自适应选择方法中，推理规则库包含的控制规则如表1 所示。

表1 推理规则库

通过模糊逻辑推理系统获得5G 通信频段发送功率以及数据传输速率，使用集中式注水算法得到最优的系数，进而得到5G 用户在当前通信模式下的最佳发送功率[9-12]。

2 5G通信频段自适应选择

在模糊逻辑推理系统中，假设5G 用户使用上行链路进行通信，由网络基站负责分配和控制D2D 用户与5G 用户资源，选择D2D 用户的通信模式，发送节点i至网络接收端，在这一过程中会受到节点j的干扰，因此，采用增强学习技术构建当前节点i的突发流量模型可表示为：

其中，hi,j为节点i的传输功率，Pi为加性高斯白噪声。为了减小端到端的时延，需要提升通信频段的传输速率，并降低发送功率中的通信时延，在时间为Tj时，5G 用户n中的上行链路通信信道状态为Xk,n，当通信信道为空，即Xk,n=0 时，选择D2D 用户的通信频段，移动网络基站在计算D2D 用户k的第n个端到端延迟时，通信模式选择复用模式或者蜂窝模式，此时移动网络基站选择Xk,n模式对端到端的延迟进行优化，Xk,n可表示为：

其中，Tj为在j的通信频段下5G 用户n的端到端的延迟。当专用通信频段被D2D 用户j占用选择通信频段时，在蜂窝模式下5G 用户n将受到来自D2D 用户j的干扰，因此当前5G 用户n在端到端的延迟比较高。为了减小5G 用户n的端到端延迟，需要增加D2D 用户j的端到端的延迟，即D2D 用户j受到5G 用户n干扰所增加的延时，假设此时处于k模式的情况，当前5G 用户n增加的端到端的延时可以表示为γn。在这样的情况下，D2D 用户j可以使用专用模式进行通信，此时，移动网络基站会得到5G用户n端到端的时延，同时也减少了D2D 用户j的端到端的时延，这时移动网络基站可以对5G 用户n模式进行自适应选择[13-14]。5G 通信频段自适应选择的流程如图2 所示。

图2 5G通信频段自适应选择的流程

在复用模式下，当上行链路通道为空时，5G 用户n可以直接采用上行链路进行通信，假设在复用模式下，5G 用户n在进行通信时没有受到来自D2D用户的干扰，此时在复用模式下，端到端的时延由通信持续时间和通信频段被占用时间共同决定，通信持续时间可由qn来表示，通信频段被占用时间由ΔTwait来表示，可得出：

在专用模式下，5G 用户n的端到端的时延只由通信频段被占用时间来决定，因为蜂窝模式下，通信频段被占用的时间与通信持续时间相同，在蜂窝模式下，上行链路与专用通信频段占用的时间可以通过γt得到，队列的延时ζT可根据通信频段的拥塞状态而得到。在上行链路信道中，包的传输方式有两种，一种是包已经传输到了队列中，另一种是包处于传输中，即将到达目标路径[15-16]。当采用第二种传输方式进行通信时，为了减少等待的时间，移动网络基站需要在时间节点m-1 处进行传输，设定5G 用户n在时间节点m处的传输链路为ΔTwait，D2D 用户j在时间节点m处的传输链路为TSk,B，则5G 用户n在上行链路中的资源函数可表示为：

3 实验研究

该文基于增强学习，提出了5G 通信频段自适应选择方法，为了验证该文方法具有一定的应用价值，通过实验进行验证。

在其他通信频段选择方法中，不同模式下的信噪比具有一定的不稳定性，该文对此进行了相关的实验研究，在不同模式下产生的信噪比与5G 用户间距离有关，为了减少和控制5G 用户和D2D 用户间产生的干扰，需要选择距离最短的5G 用户进行复用，实验参数如表2 所示。

表2 实验参数

根据上述实验参数，进行实验验证。

复用模式下每两个5G 用户通过多次实验得到的平均信噪比实验结果如图3 所示。

图3 平均信噪比实验结果

5G 移动网络用户采用复用模式与蜂窝模式进行通信时，信噪比不同。在蜂窝模式下，当5G 通信频段的发送功率比较稳定时，影响信噪比大小的主要因素是5G 用户与D2D 用户之间的距离，5G 用户与D2D 用户间的距离保持在5～20 m，信噪比波动范围较小，基本保持不变，比较稳定，而且在复用模式下只需要一个通信频段资源，与其他模式相比，通信频段资源被少部分利用。系统的专用模式和蜂窝模式吞吐量对比如图4 所示。

图4 专用模式和蜂窝模式吞吐量对比

图4 给出了专用模式和蜂窝模式下的吞吐量对比，这是两个5G 移动网络用户多次模拟操作得到的。由图可知，专用模式与蜂窝模式相比吞吐量更大，并且复用蜂窝模式的吞吐量比传统蜂窝通信的吞吐量高，这是因为5G 移动网络用户采用专用模式，5G 用户和D2D 用户间产生了高斯白噪声，直接影响了吞吐量，这种情况在图中基本可以省略不计，因此，专用模式下的吞吐量与复用蜂窝模式相比更优。除此之外，在专用模式下进行通信，蜂窝用户不需要占用额外的通信频段资源，直接提升了通信频段的利用率。

由以上针对吞吐量的实验可知，D2D 专用和复用模式下的吞吐量均比传统蜂窝模式好，传统蜂窝模式下的吞吐量较低，这是因为吞吐量受到了5G 用户与D2D 用户间距离的影响，需要占用部分信道资源，而专用蜂窝模式不需要分配通信频段资源，提高了资源的利用效率，通过吞吐量实验结果可知，该文给出了两种5G 通信频段的选择策略，根据频谱资源、通信频段资源以及5G 移动网络用户间的距离，选择D2D 下最优的模式进行通信，并使吞吐量实现最大化。

由前两种通信模式可知，产生的吞吐量均比传统蜂窝模式高，当采用复用模式时，可能产生高斯白噪声，与专用模式相比，复用模式吞吐量更大，专用模式的吞吐量与复用模式的吞吐量相差无几，在频谱资源和通信频段资源有限的条件下，专用模式具有很高的利用率，可以节省有限资源，属于最优的通信模式[17]。

4 结束语

该文提出的基于增强学习的5G 通信频段自适应选择方法优于其他方法，专用蜂窝模式下产生的吞吐量更高，提高了资源的利用效率，具有一定的有效性。