5G 微蜂窝网络中面向传输能效的分布式中继选择优化

荆建军 童晓兵 俞星月

（中国人民解放军陆军工程大学通信工程学院，南京，210007）

引 言

随着5G时代的到来，蜂窝网络基站的微型化、密集化和异构化趋势愈加明显。异构微蜂窝网络优化问题已经不仅仅是一个学术问题，而且是迫在眉睫的工程问题。伴随着频谱的拥挤、用户业务量的激增和业务异构性的增强，微蜂窝网络的接入优化问题相比于传统蜂窝网络变得更加复杂和更具挑战性，传输中继问题也是重要研究内容之一[1-5]，得到了学术界和工业界的广泛关注。在传统蜂窝网络中，无线中继问题并不明显，因为用户终端通过空中接口直接接入了骨干网，传输中继实际上是骨干网中的路由问题，通过无线的方式进行中继仅仅在无线Mesh网络等少数场景中得到了应用。但是，在5G时代的微蜂窝网络中，无线传输中继是一个重要而普遍存在的问题，是网络优化的重要内容。主要原因在于，微蜂窝用户数量的大规模化，必然伴随着单个微蜂窝传输功率的降低，通信质量无法保证。与此同时，骨干光纤网络一般并不完全覆盖所有的微蜂窝，更不能以有限的方式覆盖个人随身、随车热点等移动微蜂窝。所以受传输功率的限制，微蜂窝与骨干网络之间需要进行中继转发，并且往往是通过无线方式。

对于通过无线方式进行中继转发的网络优化，明显不同于有线骨干网络中的路由优化问题。首先一个重要的问题在于无线中继转发中的能量效率问题。这在有线网络中并不引人关注，而在无线中继转发所需耗费的能量不容忽视。传统上，中继或者路由研究多关注于可靠性、时延和吞吐量等指标，但是在无线中继中，尤其是对于一些移动的微蜂窝来说，其能源供给方式多样，很多依赖于电池供电，其能量瓶颈问题是重点关注的热点问题之一。所以微蜂窝网络中的无线中继优化研究，需要综合考虑无线传输环境、用户业务传输需求以及能量效率等因素。

从系统优化途径的角度来说，该问题可分为集中式优化和分布式优化两种。集中式优化就是由网络中心控制器统一收集信息、分配中继节点，这在密集、动态微蜂窝网络中并不适用，原因在于其计算复杂度高，收集信息、处理信息以及下发信道分配指令执行等操作较为困难。

本文研究的主要目标是微蜂窝用户如何根据自身业务传输需求，结合自身所处无线电环境，综合考虑其他用户的中继选择决策，动态调整自身的转发中继节点，以达到系统各用户决策稳定，系统业务传输能量效率性能提升的目的，在满足业务传输性能和节省无线传输能量消耗两者之间取得综合优化。

1 微蜂窝能效优化中继选择系统模型

1.1 模型构建

考虑如图1所示的微蜂窝无线中继网络。网络由M个微蜂窝用户和N个无线中继组成。微蜂窝用户的数据业务以无线传输的方式发送到中继节点。中继节点为微蜂窝用户提供数据转发服务，也通过无线方式发送到骨干网。虽然微蜂窝并不是都要通过中继转发进入骨干网，很多微蜂窝直接以有线的方式连入骨干网，但是本文主要研究通过无线中继转发的网络优化问题，所以在系统模型中仅仅考虑无线中继转发的情况，没有考虑不需要无线中继的微蜂窝场景。

图1 微蜂窝无线中继转发模型图Fig.1 Relay transmission model in small cell networks

不同的中继节点与骨干网络之间的传输带宽不同。这取决于中继节点的数据传输模式、协议和无线环境等因素。图1中所示数值只是表示中继带宽的差异性，实际数值由实际系统决定，比如，移动中继车与固定中继节点之间相比，其中继转发能力肯定是不同的。本文为了简化数学描述，用中继带宽来衡量中继转发能力。

无线传输过程中微蜂窝必然要考虑能量消耗问题，尤其是对于随身携带的、由电池供电的微蜂窝用户而言，能量问题尤为重要。中继节点与骨干网之间的无线传输同样涉及到能量消耗问题，但考虑到专门提供无线中继转发服务的中继节点往往属于固定设置，具有固定供电设备，或者是专门的无线中继移动站，供电能力相对较强，所以本文重点关注由电池供电的微蜂窝用户的能量消耗问题。而微蜂窝用户的数据传输能量消耗与其中继节点的选择密切相关。

根据香农公式，微蜂窝与中继节点之间的业务传输数据速率为

式中：B为微蜂窝与中继节点之间数据传输信道所占用的频谱带宽，Pr为数据接收功率，N0为噪声功率谱密度。

具体到本场景而言，其微蜂窝与中继节点之间数据传输信道所占用的频谱带宽B并非固定值，不仅取决于中继节点与骨干网络之间的传输带宽，即中继节点本身的传输能力，还取决于有多少个微蜂窝用户共享同一个中继节点，以及它们之间的资源分配模式。

假定连接到同一个中继节点的微蜂窝用户之间，以均分的模式共享中继带宽资源，即

式中：Bm,n表示微蜂窝用户m连接到中继节点n时所分得的数据传输带宽资源；Bn表示中继节点n能提供的总的传输带宽资源；Jn表示所有连接到中继节点n的微蜂窝用户集合，|Jn|为所有连接到中继节点n的微蜂窝用户个数。当然，本文采用平均分配资源的方式是出于简化问题的目的，也可以采用更为复杂的资源分配模式，比如采用类似于文献[6]之类的竞争资源分配模式。但分配模式本身对本文接下来的研究并无影响，只是相应的数学表达式更为复杂化，所以本文选择简单的平均分配模式。

同时，由于无线传输环境，在分布式系统中，不同微蜂窝用户与不同中继节点之间的传输距离、传播模型和信道状况等都不相同，造成其数据传输速率不同，综合考虑这些因素，得出微蜂窝用户m连接到中继节点n时的数据传输速率为

式中：Rm,n表示微蜂窝用户m连接到中继节点n时所获得的数据传输速率；Pm,n表示微蜂窝用户m连接到中继节点n时进行数据传输所消耗的传输功率代价；dm,n为微蜂窝用户m到中继节点n之间的传输距离；α为微蜂窝用户m与中继节点n之间路径损耗指数；χm,n为微蜂窝用户m与中继节点n之间路径损耗瞬时随机变量。χm,ndm,n-αPm,n则表示在接收端中继节点处所获得的数据传输接收功率。综上分析，为了达到微蜂窝用户的数据传输速率Rm,n，则微蜂窝用户所需要消耗的数据发送功率为

由此可见，不同的数据发送速率需求，将导致不同的数据传输能量消耗；而不同的中继节点选择，将直接影响获得的传输带宽，以及微蜂窝与中继节点之间的信道质量状况。更为重要和复杂的是，不同的中继节点选择将直接影响共享传输资源的微蜂窝所获的传输资源，进而影响所需消耗的传输能量。为便于叙述，作如下符号定义：记N={1,2,…,N}为中继节点集合，记ℳ={1,2,…,M}为微蜂窝用户集合，记ℬ=[B1,B2,…,BN]为中继节点带宽向量。

1.2 优化问题

如上述系统模型所述，微蜂窝用户进行中继转发的传输能量消耗取决于传输需求、无线环境、中继选择以及其他用户的中继选择决策所导致的中继资源分配结果，系统中继选择优化问题可分两个角度来看。

从微蜂窝用户的角度来说，中继决策就是要选择合适的中继节点，在满足业务传输需求的同时，尽可能降低数据发送功率，以节省能量，提高传输能量效率。数学表述为：对于用户m，就是要最小化传输功率开销,则

式中δm,n为指示函数。δm,n=1代表微蜂窝用户m选择了中继节点n，否则δm,n=0。

从整个微蜂窝网络系统来看，中继选择优化就是要实现微蜂窝用户与中继节点之间的转发关系的稳定，且使得整个网络在实现传输需求的同时，能量消耗降低，数学表述为

2 面向能效优化的中继选择博弈模型

针对所述系统模型和优化问题，构建面向能量效率的分布式中继选择优化博弈模型，以解决优化问题分析中的计算复杂度问题以及个体决策与系统优化之间的冲突问题。

2.1 博弈模型

本文将上述微蜂窝系统中各用户分布式自主选择中继节点问题构建为一个分布式博弈模型，表示为G={ℳ,N,Ψ,um,am∈Am⊂A}，其中，Ψ表示微蜂窝中继网络的拓扑连接情况，包括各个微蜂窝的位置、各个中继节点的位置，以及相互之间的距离、邻居关系等信息。定义λm,n=1表示微蜂窝用户m与中继节点n之间可以进行数据传输，而λm,n=0表示微蜂窝用户m与中继节点n之间由于距离太远等原因无法进行数据传输，即不是通信邻居关系。A=A1A2…AM表示网络中各个微蜂窝用户的动作空间，及选择哪个中继节点的可能决策，其中，符号是笛卡尔积，Am表示微蜂窝用户m的决策空间。定义微蜂窝用户m的具体中继选择决策为am∈Am。记微蜂窝用户m选择某个中继节点的决策后，将会消耗的传输功率为该决策的回报um。微蜂窝用户m的某个决策的回报不仅和自身因素有关，还取决于系统中其他用户的中继选择决策，记a-m为网络中除去微蜂窝用户m之外的其他用户的决策，记um(am,a-m)为微蜂窝用户m在其他用户决策为a-m时所获得的回报。记ℐm为微蜂窝用户m的中继选择邻居集合，即对微蜂窝用户m的传输能量消耗有影响作用的其他微蜂窝用户，数学定义为

在所构建的博弈模型中，用户的决策驱动来自于效用函数的定义。受文献[7-12]关于决策用户之间决策动作协同设计的启发，定义微蜂窝用户中继选择的效用函数为

该效用函数定义的意义是，微蜂窝用户不仅仅以自身的能量消耗优化为决策回报标准，而且以其邻居集合的整体能量消耗优化为决策回报标准。从用户自私性的角度来说，该效用函数的设计不完全符合自私理性标准，但这是由该优化问题的个体利益与整体优化之间的冲突解决需要决定的。如果完全固守用户纯粹自私假设，则必将导致系统的不稳定和系统优化的波动，相关文献已对此问题进行了充分的研究[13]。

2.2 博弈性质分析

定理1所提出的面向能效优化的中继选择博弈模型存在能使得微蜂窝网络数据传输能量消耗最小化的纳什均衡解。

证明首先通过证明本文所提出的面向能效优化的中继选择博弈模型，是一个精确势能博弈[7]，然后根据精确势能博弈的相关性质得出结论。

定义面向能效优化的中继选择博弈模型的势能函数（Potential function）[7]为

假设中继选择博弈过程中的微蜂窝中继选择发生变动，即微蜂窝用户m原来的中继选择决策为am，现在的中继选择策略为a^m，同时假设其他微蜂窝用户的中继选择决策在此刻保持不变，微蜂窝用户m的决策改变导致的势能函数值的变化为

其中微蜂窝用户在中继竞争过程中采用载波侦听(Carrier sense multiple access，CSMA)机制进行信道接入，以避免相互的决策冲突。假设时间被划分为等长度的小时隙，微蜂窝用户以概率接入中继节点更新选择策略。当多个用户同时竞争一个中继时，最多将有一个微蜂窝用户成功更新策略成功。

对于具有不同中继选择的微蜂窝用户，该假设的主要目的是为了对系统状态转移进行更清晰的数学描述，关注于微蜂窝用户m的决策改变对系统状态的影响，以及对系统势能函数值造成的影响。由于博弈模型中假定决策个体的中继选择决策是独立进行，互不干扰，系统状态转移可类似看做马尔科夫过程。如果系统其他用户的决策发生变化，从数学分析的角度来说，可以看成是多个独立决策变化的叠加，也可以看做是多次状态转移的合成。与此博弈模型配合的博弈学习算法中，每次决策更新时，每个相邻用户集合内只有一个微蜂窝用户的决策发生改变，而系统中的其他发生决策更新的用户将不会对其产生影响，基于此做出了该假设。

式（10）说明，系统中任意一个微蜂窝用户决策的改变，所引起的势能函数值的变化，等于该用户效用函数的变化。根据文献[7]，该博弈为一个精确势能博弈。精确势能博弈的一个重要性质，就是使得其势能函数最优化的博弈系统状态必定是一个纯策略均衡状态，且该状态必定存在。

而根据面向能效优化的中继选择博弈模型的势能函数的定义，Φ(am,a-m)=-Psystem，其物理含义正是微蜂窝系统传输能量消耗的相反数。则势能函数最优化就对应了微蜂窝系统传输能量消耗的最小化，同时又满足了系统传输要求，意味着整个系统达到了数据传输的最优能量效率，即实现了优化问题的最优解，且该解是一个系统稳定状态。

3 能效优化中继选择分布式决策算法

通过构建博弈模型并分析其性质，说明了在该博弈模型下微蜂窝中继转发系统存在稳定的、传输能量效率最优状态。但是，并没有找到该状态。存在稳定且最优状态和找到该状态之间还有不小的差距。本节研究用机器学习的方式，通过迭代更新策略来寻找该状态。虽然有不少研究使用机器学习算法来进行组合优化问题的求解，比如采用遗传算法、蚁群算法和粒子群算法等，但是其算法收敛后的系统状态性能并不能得到理论保证。而本节用分布式学习的方式找到该最优稳定状态，提出能效优化中继选择分布式决策算法（Distributed energy oriented relay choosing algorithm,DEORCA）并对算法的相关性质进行理论分析，达到基于理论保证的学习算法实现的目的。

3.1 算法流程

所提出的能效优化中继选择分布式决策算法流程如下。

(1)初始化

设置学习迭代步数为k；

网络中的各个微蜂窝用户随机选择一个中继节点，构成微蜂窝网络结构中继分配的初始状态。

(2)循环

步骤1状态信息获取。

①环境信息获取：各个微蜂窝用户检测自身所处无线电环境，包括与各个中继节点之间的距离，传输信道质量等。

②用户信息交互：各个微蜂窝用户与自身邻居进行状态交互，包括选择的中继节点，获得的传输资源、业务传输需求和能量消耗等信息。

步骤2用户效用计算。

①传输需求确定：各个微蜂窝用户首先要确定自身的业务传输需求，比如，用户m需确定自身需要的传输速率Rm。

②资源获取结果：根据选择的中继节点的传输能力，以及选择该中继的用户数量，计算本用户获得的中继转发带宽资源。

③计算能量消耗：根据式（4）所述数量关系，计算在选择当前中继节点时，满足自身传输需求所需要消耗的功率。

④计算决策效用：根据式（8）所设计的博弈模型效用函数，计算在选择当前中继节点时，所获得的效用值。

步骤3中继策略更新。

①更新用户确定：从选择同一个中继节点的微蜂窝用户中随机产生一个本次迭代策略更新用户，该用户进行中继选择策略的重新确定，而其他用户的中继选择在本次迭代中保持不变。具体方法概述为：每个用户设置随机计数器，计数器倒计时首先到0的用户为中继选择更新用户。

②决策空间生成：根据被选中进行中继选择策略更新的用户的传输需求和所处无线环境，结合信息交互得到的其邻居用户的决策和效用，综合比较可选择的各个中继，计算选择各个中继的期望效用，形成本次迭代中继选择决策空间状态信息。

③中继选择更新：从决策空间中，按如下规则，随机产生本次迭代的新的中继选择结果为

式中：β为学习参数，控制中继选择更新迭代过程中选择新中继的概率，进而进行学习速度的控制和调整优化；am为本用户原本的中继选择；a^m是本用户中继选择决策空间中的一个随机产生的候选决策；um和u^m分别为am和a^m对应的该中继选择决策时的效用函数计算值。

步骤4数据传输。

根据中继选择的结果，进行数据转发，并重新获取网络状态等相关信息，回到步骤1。

(3)循环结束

为了更好地探索更优的组合，避免过早地陷入局部最优，本算法也采用了概率决策机制，以增大跳出当前局部最优陷阱的机会，获得更好的收敛结果。同时，本算法为了加快学习速度，采用了多个非邻居用户同步更新中继选择策略的方式，以随机选择更新用户的方式进行分布式更新控制。

3.2 算法分析

面向能效优化的中继选择博弈是一个精确势能博弈，意味着博弈存在能使得微蜂窝网络数据传输能量消耗最小化的纳什均衡解，该均衡解使得势能函数值最优。根据所提出的学习迭代算法，微蜂窝系统的中继分配状态随着各个用户的中继选择策略更新而进行状态转移。

式中Φ(a)表示面向能效优化的中继选择博弈的势能函数。A=A1⊗A2⊗…⊗AM表示网络中各个微蜂窝用户的动作空间，及选择哪个中继节点的可能决策，其中，符号“⊗”是笛卡尔积，Am表示微蜂窝用户m的决策空间。

记微蜂窝系统中继选择状态转移概率为TS()k,S()k+1，表示中继选择状态由于用户m的决策更新，从状态S(k)转移到S(k+1)。同样地，记TS()k+1,S()k，表示中继选择状态由于用户m的决策更新，从状态S(k+1)转移到S(k)。S(k+1)和S(k)只是表示一种网络状态，虽然带有迭代步数k的标记，但是状态本身并没有必然的先后关系，S(k+1)和S(k)这两种状态之间可以相互随着中继选择的改变而转换。假定网络中继选择状态从S(k)转换到S(k+1)的动力来源于用户m的中继选择动作从am(k)=Dm(k)更新为记此时的网络状态从S(k)=(D1(k),D2(k),…,Dm(k),…,DM(k))转换，即仅有am(k)=Dm(k)发生了改变。根据DEORCA算法，更新决策的用户产生是均匀随机的，用户m被选中成为中继选择策略更新节点的概率为N/M。则产生以上从S(k)转换到S(k+1)系统状态转换的概率为

则有

根据同样的分析过程，有类似的对称结果

精确势能博弈意味着势能函数值随着决策动作的改变量对应用户效用函数的改变量，即

所以

综上，则有

由于以上讨论过程中用户状态和决策动作的任意性，则有

根据文献[9],该微蜂窝系统中继选择状态转移马尔科夫过程具有平稳分布。

记aopt是微蜂窝网络达到最优传输能量效率时的各用户中继决策，则根据势能博弈的性质，必然导致势能函数的最大化，即

又根据马尔科夫状态转移平稳分布的分析结果，系统中继选择状态将收敛于平稳分布，则若 DEORCA 算法中学习参数增大则算法收敛于网络最优传输能量效率状态对应的各用户中继决策的概率为

综上分析，DEORCA算法将使得微蜂窝系统中继选择策略收敛于平稳状态，且当学习参数增大时，将以极大的概率收敛于系统最优能量效率状态。

4 仿真结果和分析

4.1 仿真场景与参数设置

为检验所提出中继选择方法的正确性和有效性，在Matlab环境对所提出方法进行仿真。设置仿真环境如下：微蜂窝系统的组成为6个中继节点，25个微蜂窝用户。假定6个中继节点能提供的中继转发带宽为[6,10,15,20,25,32]MHz。噪声功率设置为-130dB，路径损失指数设为2，相关参数设置类似于文献[14]。网络拓扑结构随机生成，如图2所示。

4.2 仿真结果及分析

仿真主要从算法的收敛性、个体用户的能量消耗情况以及网络整体能量消耗情况几个角度进行验证和比较。首先随机选择了一个中继节点和两个微蜂窝用户在系统更新过程中的状态变化情况，然后给出了网络整体能量消耗的变化情况。

图3显示了3号中继节点在用户中继选择学习迭代过程中，被要求提供中继服务的用户数量变化情况。由图3可知，通过中继选择更新，连接到3号中继节点的用户数量趋于稳定，说明系统中再也没有其他用户会选择3号中继节点提供中继转发服务，从一个侧面说明了系统用户中继选择决策的稳定。

图2 仿真网络拓扑结构Fig.2 Network topology of simulation

图3 3号中继服务微蜂窝用户数的迭代更新过程Fig.3 Iterative process of number of users served by No.3relay

图4 显示了1号微蜂窝用户的传输能量在学习迭代过程中的变化情况。由图4可知，1号微蜂窝用户的能量消耗也趋于稳定，说明1号微蜂窝用户本身及其影响1号微蜂窝用户的邻居其他用户的中继选择策略将趋于稳定，也说明了算法的收敛性和系统中继分配趋于稳定状态。同时，微蜂窝用户的能量消耗总体趋势明显下降，说明所提算法能降低其传输能量，提高其满足传输需求时的能量效率。

图4 1号微蜂窝传输能量消耗的迭代更新过程Fig.4 Iterative process of energy consumption of the No.1user

图5 全网传输能量消耗的迭代更新过程Fig.5 Iterative process of transmission energy consumption of whole network

图5 显示了网络整体传输功率消耗在学习迭代过程中的变化情况。由图5可知，在学习更新过程中，网络整体传输能量消耗趋于下降，并最终收敛稳定。由于传输能量消耗取决于网络中继选择状态，则能量消耗稳定意味着中继选择结构状态的收敛稳定。该结果验证了所提出博弈模型和学习算法的理论分析结果。同时，与文献[15]中的最优响应决策学习算法进行了性能对比。结果表明，所提出的DEORCA算法能使的微蜂窝系统中继转发能量消耗达到更低的状态，获得更优的收敛性能。而最优响应决策学习算法收敛性能相对较差，主要原因在于其没有采用概率决策，容易陷入局部最优。但是DEORCA算法的收敛速度相对较慢，但是在中继选择这一问题上，由于中继切换开销大，对网络状态的影响较大，不宜频繁切换，所以，牺牲一定的收敛速度来获得更好的收敛性能是值得的。

为了更好地验证该算法的正确性和有效性，另增加了一个网络拓扑结构场景，改变了中继服务节点位置和用户位置，相应的，各个节点和中继节点所处的无线电环境随着位置和邻居的变化也发生了变化，如图6所示。考虑到用户业务需求的不同对传输效用和中继选择的影响，加入了如下7级用户业务传输需求数值向量：R=[256k,284k,512k,768k,1024k,1536k,2048k]bit/s，以WMV,Flash,H264和AVI/RM等业务为例，尽可能涵盖典型的移动互联网业务传输需求。系统中用户的业务传输需求从向量中随机取值仿真结果表明，所提出的方法在仿真场景变动的情况下，仍然能够实现收敛，并具有较好的网络能量消耗优化性能，仿真结果如图7—9所示。

图6 用户业务传输需求和节点位置变化后网络拓扑Fig.6 Network topology after change of transmission requirements and node locations

图7 拓扑变化后3号中继服务微蜂窝用户数的迭代更新过程Fig.7 Iterative process of number of users served by No.3relay after topology change

图8 拓扑变化后1号微蜂窝传输能量消耗的迭代更新过程Fig.8 Iterative process of energy consumption of No.1user after topology change

图9 拓扑变化后全网传输能量消耗的迭代更新过程Fig.9 Iterative process of transmission energy consumption ofwhole network aftertopology change

5 结束语

本文针对微蜂窝网络中继选择中的能量效率优化问题，提出了一种面向业务传输能效的分布式中继选择优化方法。以用户传输能量效率为优化目标，综合分析了用户业务传输需求、所处无线环境、中继服务节点的位置以及其他用户选择中继的情况，建立了业务传输中继选择分布式优化模型，构建了微蜂窝网络能效优化中继选择博弈模型，设计了效用函数并证明了该博弈为精确势能博弈。本文设计了能效优化中继选择分布式优化决策算法，证明并分析了算法的收敛性。仿真结果验证了所提出博弈模型和学习算法的理论分析结论，表明了所提出算法能以分布式决策的方式有效优化微蜂窝网络的中继选择结果，提高网络业务传输的能量效率。