Femtocell双层网络中基于Q-learning的子信道分配方案

杨秀清 陈 禹 李正富



Femtocell双层网络中基于Q-learning的子信道分配方案

杨秀清*①陈 禹①李正富②

①(北京电子科技职业学院电信工程学院 北京 100176)②(北京邮电大学信息与通信工程学院 北京 100876)

在Femtocell家庭基站(Femtocell Base Station, FBS)组成的异构网络中，为提升网络的频谱效率，FBS与Macrocell宏基站(Macrocell Base Station, MBS)一般要求是同频部署，然而同频部署会产生同信道干扰。为了实现FBS的大规模部署，降低网络同信道干扰影响变得尤为重要。该文提出一种基于Q-learning的子信道分配方案，既保证大量部署的FBS不会对MBS带来过高的跨层干扰，同时也降低了FBS之间的同层干扰。同时针对FBS稀疏部署和密集部署的场景，分别进行了算法的仿真验证，其仿真结果表明该算法降低了干扰，验证了理论的正确性。

Femtocell；双层网络；Q-learning；子信道分配

1 引言

由于FBS与MBS形成的异构网络遭受的干扰复杂多变，用户对网络的QoS(Quality of Service)要求也越来越高，因此，抑制FBS网络带来的干扰，保证用户时延、最低数据速率要求等QoS指标是亟需解决的重要问题。目前在Femtocell异构双层网络中的干扰管理和抑制的具体策略可以分为干扰消除、干扰避免以及小区间干扰协调3大类。

干扰消除是一种基于物理层的处理技术，通过接收机的处理增益从而消除干扰[1]。文献[2]设计FBS之间的频率复用机制来降低FBS之间的同层同频干扰。文献[3]考虑引入叠加编码技术，并设计合理的功率控制方式实现干扰消除。由于干扰消除技术要求小区间严格同步、信令开销大、算法复杂，因此在目前FBS网络中并没有得到广泛采用。

Vikram等人[4]提出了异构双层网络中的频谱分割，不同类型的用户接入不同的频段以实现干扰避免。文献[5]分析了基于CDMA的FBS网络中的网络容量与干扰避免问题。杜晓玉等人[6]提出了一种动态调整异构双层网络中频率划分的方式。文献[7]提出了一种基于图论聚合的干扰避免策略。文献[8]提出一种基于干扰余量的干扰避免策略。文献[9]提出了一种基于混合频率指定的干扰避免策略。文献[10]中提出了基于信道分配的干扰避免方式。考虑到未来具大移动数据流量需求，在FBS中引入多天线技术将成为必然，因此，对具有多天线FBS通过波束选择与波束赋形进行干扰避免也得到了广泛的关注，但频率利用率相对较低的缺陷成为干扰避免不得不解决的问题。

在FBS异构双层网络中，FBS可以将小区间干扰协调与自组织技术结合，自适应地调整其对信道的使用和发射功率，优化室内覆盖，降低同层和跨层干扰，提升网络容量和频谱效率。文献[14]提出了基于斯塔克伯格博弈的分布式功率控制算法，减小了双层网络中的跨层干扰问题。文献[15]引入了超模博弈模型，并考虑了Femtocell的公平性，设计了Femtocell网络的干扰抑制算法。文献[16-19]研究了软频率复用技术在FBS异构双层网络中的应用，虽然复用度有所提高，但是由于在密集部署的FBS执行软频率复用而进行频率规划、基站间的大量协调或者集中式的节点等，与FBS自组织的特征不符。

为保障FBS与MBS形成的异构双层网络中不同基站的和谐共存和正常运行，本文对降低网络同信道干扰进行了研究，提出了在优先保证宏用户的效用，不对其造成干扰的情况下来进行FBS的最优子信道分配方案。考虑到不同业务对网络性能参数的要求不同，及针对抑制业务的需求不同，在子信道充足的情况下应分配相应数量的子信道，以满足业务的吞吐量需求。因此，本文将把有效容量引入到效用函数中，保证用户对多媒体业务的时延QoS要求，并提出根据抑制用户的吞吐量需求自适应分配子信道的算法。

同时，考虑到FBS是由用户随机部署，FBS会随时接入或离开网络， FBS需要有自组织能力，而Q-learning强化学习算法可以根据环境状态的变化优化自身的参数、性能指标等，因此，本文将采用Q-learning机制设计分布式的子信道分配算法，其中，各个FBS都被设计成智能体，通过学习选择最优的子信道分配方案。采用Q算法的优越性主要有：(1)收敛速度快；(2)把有效容量用Q学习实现；(3)考虑了同层跨层干扰。因此基于该学习理论可以大大增强FBS基站的自组织，自我学习的能力。

本文所提出的一种基于Q-learning的子信道分配方案，既保证大量部署的FBS不会对MBS带来过高的跨层干扰，同时也降低了FBS之间的同层干扰。在仿真中，本文针对FBS稀疏部署和密集部署的场景分别进行了算法的仿真验证。

2 Femtocell双层网络建模

2.1 建立Femtocell双层网络模型

本节提出FBS异构双层网络下行链路场景，如图1所示。一个代表性的MBS下面覆盖了若干个FBS，每个FBS服务于它的家庭用户(Femtocell User, FUE)，并且一个FUE只受控于一个FBS。FBS与MBS采用共信道的方式公用所有频谱。

为了方便理解，现做下述定义：设所有基站(包括MBS和FBS)集合为,,表示MBS,表示FBS。设表示全部用户集合，表示基站中的用户集合，由于每个用户仅由其中一个基站服务，因此，有如下等式成立,;。设所有子信道集合为,表示子信道，若表示基站分配给用户的子信道集合，为了避免小区内部用户间的干扰，同一时刻每个小区中的某个子信道只能分配给其中一个用户，即，,。用表示在子信道上基站到用户的增益，用表示信道的高斯白噪声，用表示在子信道上基站向用户发射的功率，基站向用户发射的功率的集合应满足：

图1 Femtocell双层网络场景图

由于无线网络的时变特性，保障时延敏感业务(如视频电话，视频会议，在线视频，游戏等)的QoS要求是当前无线网络面临的非常重要且具有很大挑战的问题，尤其是为移动业务提供确定的时延保障。为了解决这个问题，一些学者提出了有效容量的概念，文献[20]引入了超模博弈模型，并考虑了Femtocell的公平性，设计了Femtocell网络的干扰抑制算法。有效容量被定义为在时变信道中有统计时延QoS指数约束下能达到的最大持续到达率。有效容量可以表示为

(4)

2.3 问题建模

除了不同业务对时延QoS要求不同外，有些用户的业务对网络最低吞吐量也有一定的要求，例如视频会议、在线游戏、视频直播等。因此，保证用户最低吞吐量的要求是实现视频会议、在线游戏、视频直播等业务的前提。本文中基于Q-learning的子信道分配的目标即为

(7)

3 基于Q-learning的子信道分配算法

由于无线频谱资源的有限性，Femtocell异构网络可分配的子信道数量是有限的，这和Q-learning强化学习算法中有限的可执行动作非常匹配，因此，将Q-learning理论应用于Femtocell异构网络中实现FBS的子信道分配具有先天优势。

(10)

下面分析非确定环境下Q-learning算法学习规则。在非确定性环境下，Q值和值可以定义为折算累积回报的期望值，则可定义Q值的表达式为

(12)

为了消除FBS对MBS造成的跨层干扰，宏蜂窝用户MUE和MBS以及FBS和MBS之间存在如下信息交互，MUE将检测的FBS信息周期性的传递给MBS，然后MBS向FBS发送自组织信号，即MUE周围的干扰基站信息，MBS分配给MUE子信道信息(可以通过X2接口，或空中接口实现)，如图1所示，一个MBS覆盖3个FBS，每个FBS采用封闭式接入，MBS控制其覆盖下的FBS不对MUE产生干扰。

3.1 基于Q-learning的子信道分配架构

为了利用Q-learning理论实现Femtocell异构网络中的子信道分配，需首先设计智能体，环境状态，动作，以及立即回报：

环境状态：由于MBS已将MUE的位置信息以及已占用的子信道信息发送给各个FBS，时刻的状态为，其中表示时刻FBS是否将对MUE产生干扰，若对MUE产生干扰，则表示为1，否则为0;表示时刻FBS将会干扰到的MUE数目，，MBS用户所占用的子信道集合用表示；表示时刻在当前Femtocell中FBS分配给其他用户的子信道集合。前两个参量和可通过MUE上传给MBS的检测信息得到。

(15)

Q-learning相对于其他强化学习算法的一个明显优势就是在状态转移概率未知的情况下更新Q值，具体迭代更新公式如式(16)：

另外，FBS在更新策略时根据玻尔兹曼探索的方式更新策略空间，具体地，时刻的策略根据式(17)更新：

3.2 基于Q-learning的子信道分配算法

考虑不同业务对网络吞吐量的需求差异，不同用户需要的最低数据速率差异很大，基于以上Q-learning框架，本节提出具有数据速率QoS保障的基于Q-learning的子信道分配算法，具体算法步骤为：

4.3.2 物镜头污染 解决办法：（1）标本加样不可太多，否则堆积在一起厚度较大，可以摊开平铺，扩大面积，也易于寻找，避免目标重叠；（2）在不违反规则的情况下用低倍镜观察，因为使用低倍镜时，物镜头距离观察目标尚有一段安全距离，可以避免标本接触物镜头；（3）加盖盖玻片，并且保持盖玻片上方面的干燥；（4）油浸镜头使用后应用擦镜纸蘸二甲苯及时擦拭，如果干结，清洁难度较大，应用擦镜纸沾湿清洁液浸润，擦拭时要用力。

开始学习

学习结束。

4 仿真配置与分析

在仿真中，本文基于Matlab建立Femtocell异构双层网络静态仿真系统，为了验证本文所提保证用户数据速率的基于Q-learning的子信道分配算法(QSA)的可行性，本文对FBS稀疏部署场景与FBS密集部署场景分别进行了仿真验证。

(1)FBS稀疏部署场景如图2所示，MBS基站位于网络中心，覆盖半径为500 m, 3个(以3个为例进行说明)FBS部署距离大于100 m，信道是符合独立同分布的瑞利衰落信道，宏用户MUE和家庭用户FUE的路径损耗分别是和，其中，是收发信机之间的距离，，其他仿真参数如表1所示，仿真结果以FBS 1为例进行说明，FBS周围有两个MUE，在FBS 1中有两个FUE, FUE1的最低数据速率要求是100 kbit/s, FUE2的最低数据速率要求是300 kbit/s。根据所提算法进行子信道分配后的情况如表2所示。其中“0”表示该子信道未分配给该用户，“1”表示子信道已经分配给该用户。MUE的子信道是已经分配好的，基于Q-learning的子信道分配算法完成后，FBS 1将第7个子信道分配给FUE 1，将第2,3,6个子信道分配给FUE 2。该算法将除了分配给宏用户以外的其他信道{2,3,6,7}都分配给了FBS1，这是因为在FBS稀疏部署场景中，例如在偏远乡村中，FBS之间距离远，并且其发射功率较小，因此FBS之间的干扰可以忽略；即，FBS在进行子信道分配时，不需要考虑其他FBS的影响，只需考虑是否对周围宏用户造成干扰。FBS1将1个子信道分配给了FUE1，3个子信道分配给FUE2，是由于两个用户的最低数据速率要求不同，FUE2要求的最低数据速率较高因此分配的子信道数较多。

(2)FBS密集部署场景如图3所示，与FBS稀疏部署不同之处在于FBS彼此相邻部署，FBS之间的相互干扰不可忽略。在仿真中以FBS1和FBS2为例，FBS1和FBS2周边有1个宏用户受到干扰，即MUE2，另外，FBS1中有两个家庭用户(FUE 1和FUE 2)，它们的最低数据速率要求分别是和, FBS2中也有两个家庭用户，分别是FUE A和FUE B，它们的最低数据速率要求分别是和，其他仿真参数同样参见表1。经过子信道分配得出结果如表3所示。分配给FBS1中两用户的子信道分别是,；分配给FBS2中两用户的子信道分别是，。两个FBS在进行子信道分配时不仅要考虑是否对宏用户产生干扰，同时也需要考虑FBS之间的相互干扰，所以FBS2没有将分配给FUE2的子信道分配给他所控制的家庭用户。仿真结果与理论分析相一致，证实了所提算法的可行性。

图2 FBS稀疏部署场景图

表1 仿真相关参数

表2 FBS稀疏部署场景下子信道分配结果

图3 Femtocell密集部署场景

图4显示的是宏用户单个子信道上的平均有效容量随家庭小区数的变化趋势。从图中可以看出所提算法有效地保障了宏用户的吞吐量，随着家庭小区数目的增加，宏用户单个子信道上的平均有效容量略有减少，但宏用户的吞吐量不低于250 kbit/s，这是因为FBS在分配子信道时与MBS有信息交互，可以保障家庭基站不对附近宏用户产生干扰，宏用户有效容量略微下降是因为，随着家庭基站数目的增多，家庭基站有可能会对远处宏用户产生轻微干扰。另外，从图4中也可以看到所提算法(QSA)的宏用户有效容量远远大于随机分配子信道(RSA)宏用户的有效容量，因为所提算法有效地避免了家庭基站对附近宏用户的干扰。

表3 FBS密集部署子信道分配结果

图5显示了家庭用户单个子信道的平均有效容量随统计时延指数的变化趋势，从图5中可以看出，家庭用户单个子信道的平均有效容量随统计时延指数的增加而降低，但是当时延指数较小时，即, FUE有效容量变化不大，这是由于当时延指数很小时，对有效容量的影响很小，用户可获得的有效容量接近于香农容量，时，FUE有效容量变化明显，因此，时延指数的有效设定可以保证不同用户对时延QoS指标的要求。另外，可以发现所提算法获得的平均有效容量远远大于随机分配子信道获得的有效容量，并且随着家庭小区数的增多，所提算法家庭用户单个子信道上的平均有效容量略有下降，而随机分配子信道算法的家庭用户单个子信道上的平均有效容量迅速下降，这是由于所提子信道分配算法有效地降低了家庭用户之间的同层干扰，从而获得更大的有效容量。

5 结束语

本文研究了在保障用户时延QoS和抑制用户对网络吞吐量不同要求指标的基础上研究了Femtocell异构双层网络中基于Q-learning的子信道分配策略。为了保障用户时延QoS，本文首先基于有效容量的概念建立了Femtocell异构双层网络模型。再者考虑到家庭基站是随机接入网络，需要有自配置网络参数，自我优化的能力，因此，本文基于Q-learning理论建立Q-学习框架，设计了基于Q-learning的子信道分配算法，在该算法中，每个家庭基站都是一个智能体，在分配子信道时既避免了FBS与MBS之间的跨层干扰，又降低了FBS之间的同层干扰，并且各家庭基站可根据用户对网络吞吐量不同需求自适应地分配子信道数目。最后，本文分别针对FBS稀疏部署与密集部署场景对所提算法进行了仿真验证，并与随机分配子信道算法进行对比，证实了所提算法的有效性、优越性。但本研究还有待完善的地方，例如子信道分配证明收敛性的问题，这也是下一步的研究方向。

图4 宏用户单个子信道的平均有效容量与家庭小区数的关系

图5 家庭用户单个子信道的平均有效容量与统计时延指数的关系

[1] CHEN W T. Analytic estimation for uplink capacity reduction due to co-channel interference in LTE networks[J]., 2014, 21(6): 1775-1782. doi:10.1007/s11276-014-0883-y.

[2] ALADE T, ZHU H, and WANG J. Uplink co-channel interference analysis and cancellation in femtocell based distributed antenna system[C]. IEEE International Conference on Communication (ICC) 2010, Cape Town, South Africa, 2010: 1-5.doi:10.1109/ICC.2010.5501848.

[3] MOHSEN M and MAJID G. Uplink scheduling in wireless networks with successive interference cancellation[J]., 2014, 13(5): 1132-1144. doi:10.1109/TMC.2013.56.

[4] VIKRAM C and JEFFREY J A. Spectrum allocation in tiered cellular networks[J]., 2009, 57(10): 3059-3068. doi:10.1109/TCOMM.2009.10.080529.

[5] TSIROPOU E E, VAMVAKAS P, PAPAVASSILIOU S,Combined power and rate allocation in self-optimized multi-service two-tier femtocell networks[J]., 2015, 72(12): 38-48. doi:10.1016/j.comcom.2015.05.012.

[6] 杜晓玉, 孙力娟, 郭剑,等. 异构无线传感器网络覆盖优化算法[J]. 电子与信息学报, 2014, 36(3): 696-702. doi:10.3724/SP.J.1146.2013.00730.

DU Xiaoyu, SUN Lijuan,GUO Jian,. Coverage optimization algorithm for heterogeneous WSNs[J].&, 2014, 36(3): 696-702. doi:10.3724/SP.J.1146.2013.00730.

[7] LI Hongjia, XU Xiaodong, HU Dan,. Clustering strategy based on graph method and power control for frequency resource management in femtocell and MBS overlaid system[J]., 2011, 13(6): 664-677. doi:10.1109/JCN.2011.6157483.

[8] HAN Bin, WANG Wenbo,LI Yong,. Investigation of interference margin for the co-existence of MBS and femtocell in orthogonal frequency division multiple access systems[J]., 2013, 7(1):59-67. doi:10.1109/JSYST.2012.2223536.

[9] GUVENC I, JEONG M R, WATANABE F J,A hybrid frequency assignment for femtocells and coverage area analysis for co-channel operation[J]., 2008, 12(12): 880-882. doi:10.1109/LCOMM.2008.081273.

[10] ZHENG K, WANG Y, LIN C,.Graph-based interference coordination scheme in orthogonal frequency-division multiplexing access femtocell networks[J]., 2011, 5(17): 2533-2541. doi:10.1049/iet-com.2011.0134.

[11] PARK S S, SEO W H, KIM Y J,. Beam subset selection strategy for interference reduction in two-tier femtocell networks[J]., 2010, 9(11): 3440-3449. doi:10.1109/TWC.2010.092410.091171.

[12] 张海波, 穆立雄, 陈善学, 等. OFDMA毫微微小区双层网络中基于分组的资源分配[J]. 电子与信息学报，2016，38(2): 262-268. doi:10.11999/JEIT150699.

ZHANG Haibo, MU Lixiong, CHEN Shanxue,. A cluster-based resource allocation in a two-tier OFDMA femtocell networks[J].&, 2016, 38(2): 262-268. doi:10.11999/JEIT150699.

[13] CHANG Chihwen. An interference-avoidance code assignment strategy for the hierarchical two-dimensional-spread MC-DS-CDMA system: aprototype of cognitive radio femtocell system[J]., 2012, 61(1): 166-184. doi:10.1109/TVT.2011.2173808.

[14] KANG Xin, LIANG Yingchang, and GARG H K. Distributed power control for spectrum-sharing femtocell networks using stackelberg game[C]. 2011 IEEE International Conference on Communications (ICC), Kyoto, Japan, 2011: 1-5. doi:10.1109/icc.2011.5962650.

[15] AHMED M and YOON S G. Dynamic access and power control scheme for interference mitigation in femtocell networks[J].(TIIS), 2015, 9(11): 4331-4346. dio: 10.3837/tiis. 2015.11.004.

[16] JIN Fan, ZHANG Rong, and HANZO L. Fractional frequency reuse aided twin-layer femtocell networks: Analysis, aesign and optimization[J]., 2013, 61(5): 2074-2085. doi:10.1109/TCOMM.2013.022713.120340.

[17] JIN Fan, ZHANG Rong, and HANZO L. Frequency-swapping aided femtocells in twin-layer cellular networks relying on fractional frequency reuse[C]. 2012 IEEE Wireless Communications and Networking Conference (WCNC), Paris, France, 2012: 3097-3101. doi:10.1109/WCNC.2012.6214337.

[18] SALATI A H, NASIRI-KENARI M, and SADEGHI P. Distributed subband, rate and power allocation in OFDMA based two-tier femtocell networks using fractional frequency reuse[C]. 2012 IEEE Wireless Communications and Networking Conference (WCNC), Paris, France, 2012: 2626-2630. doi:10.1109/WCNC.2012.6214243.

[19] VALCARCE A, LUCAS M, and LOPEZ-PEREZ D. In-cabin downlink cell planning with fractional frequency reuse[C]. 18th European Wireless Conference European Wireless, Poznan, Poland, 2012: 1-5.

[20] WU Dapeng and NEGI R. Effective capacity: A wireless link model for support of quality of service[J]., 2003, 2(4): 630-643. doi: 11.1109/TWC.2003.814353.

[21] WATKINS C and DAYANP. Technical note: Q-Learning[J]., 1992, 8(3/4): 279-292. dio: 10.1023/A:1022676722315.

Subchannel Allocation Scheme for Two-tire Femtocell Networks Based on Q-learning

YANG Xiuqing①CHEN Yu①LI Zhengfu②

①(,,100176,)②(,,100876,)

In order to improve the spectrum efficiency in the Femtocell home Base Station (FBS) heterogeneous network, FBS and Macrocell Base Station (MBS) are usually deployed with the same frequency. However, the same frequency deployment will inevitably lead to larger co-channel interference. In order to achieve the large-scale deployment of FBS, reducing the interference of the network with the channel is particularly important.In this paper, a sub channel allocation scheme is propsed based on Q-learning. It can ensure that FBS will not bring high cross-layer interference of MBS, while it reduces the same layer interference between two FBS. The simulation of the algorithm of FBS sparse deployment and dense deployment situation are performed, respectively. Simulation results show that this algorithm reduces the same layer interference and verifies the correctness of the theory.

Femtocell; Two-tire networks; Q-learning; Subchannel allocation

TN929.5

A

1009-5896(2017)03-0598-07

10.11999/JEIT160453

2016-05-03；改回日期：2016-11-15；

2016-12-29

杨秀清 yangxql@163.com

北京市教育委员会科技计划一般项目(KM201710858003)

The Science and Technology Projects of Beijing Municipal Education Commission(KM201710858003)

杨秀清： 女，1967年生，副教授，研究方向为无线通信技术.

陈 禹： 男，1977年生，讲师，研究方向为移动通信技术与理论.

李正富： 男，1991年生，硕士生，研究方向为未来移动通信网络.