基于Q学习异构网络干扰协调算法

钱进++郭士增++王孝

摘 要： 在LTE?A中采用异构网络能提高用户的性能，但是由于小区间使用相同的频谱资源，产生了小区间干扰，影响了用户性能，从而需要采用小区间干扰协调技术来控制小区间干扰（ICI）。虽然现有的小区间干扰协调技术可以降低小区间干扰，但是存在Macro用户性能影响较大的问题。为此，提出了基于Q学习的ETPS算法，在不影响Macro用户性能的前提下，降低小区间干扰。仿真结果表明，QL?ETPS算法较传统固定ABS/RP?ABS子帧配置方案性能更优，可以在尽量不影响Macro基站用户的前提下，提高Pico基站边缘用户的吞吐量。

关键词： 干扰协调； 异构网络； Q学习算法； Macro?Pico； 吞吐量

中图分类号： TN913?34 文献标识码： A 文章编号： 1004?373X（2016）23?0013?04

Q?learning based interference coordination algorithm for heterogeneous network

QIAN Jin1， GUO Shizeng2， WANG Xiao2

（1. Navy Military Representative Office in the 3rd Institute of CASIC， Beijing 100074， China；

2. Communication Research Center， Harbin Institute of Technology， Harbin 150080， China）

Abstract： The heterogeneous network adopted by long?term evolution?advance （LTE?A） system can improve the user performance. The inter?cell interference （ICI） is generated and the user performance is influenced due to the shared frequency spectrum among the inter?cells， so it is necessary to adopt the inter?cell interference coordination （IC） technology to control the ICI. Although the existing inter?cell interference coordination technology can reduce the ICI efficiently， but influence the Macro user performance greatly. To solve this problem， a Q?learning based enhance transmission power subframe （QL?ETPS） algorithm is proposed， which can reduce the ICI on the premise of ensuring the Macro user performance. The simulation results show that the performance of the proposed QL?ETPS algorithm is better than that of the conventional fixed ABS/RP?ABS configuration scheme， and can improve the throughput of the Pico base station edge user while ensuring the performance of Macro base station user.

Keywords： interference coordination； heterogeneous network； Q?learning algorithm； Macro?Pico； throughput

0 引 言

LTE?A定义的异构网络是在发射功率较大的Macro基站下，在信号范围的死角或者用户稠密的地方架设发射功率较小的低功率基站如Pico基站等，来提高用户的性能。异构网络不仅缩短了网络与用户之间的距离，而且能提升单位面积的频谱效率。由于频谱资源的缺乏，同时也为了提高频谱效率，LTE?A系统采用频率复用的方案同频组网，但是由于Macro基站和Pico基站使用相同的频谱资源，小区间复用的频谱越多，带来的小区间干扰越严重，进而影响小区边缘用户的数据速率，因此必须采取有效的方法对小区间干扰进行控制。

3GPP Release 10/11提出了解决异构网络中干扰问题的增强型小区间干扰协调技术（enhanced Inter?Cell Interference Coordination，eICIC）。eICIC可以分为功率控制、频域干扰协调和时域干扰协调三类技术方法。功率控制技术[1?3]是在Macro基站与低功率基站组成的异构网络中，通过调整Macro基站的发射功率大小来减轻对低功率基站用户的干扰以提高这些用户的性能。频域干扰协调技术[4?6]将不同的资源块分配给相邻小区，让这些资源相互正交，可以减轻小区间干扰。频域上也可以使用载波聚合方法进行干扰协调，载波聚合方法通过将多个连续或者非连续的成分载波聚合起来，用来实现更大的传输带宽，最大可达100 MHz，能有效提高用户的上下行传输速率并最大限度地利用频谱资源。时域干扰协调技术[7?9]的基本思想是干扰源基站（如Macro基站）在某些子帧上保持静默，不发送数据信号，以减小对被干扰基站用户的跨层干扰，这些子帧就叫做几乎空白子帧（Almost Blank Subframe，ABS）。以上小区间干扰协调技术可以有效降低小区间干扰，但是对Macro用户性能的影响比较大。因此，本文提出了基于Q学习的ETPS（Q Learning based Enhance Transmission Power Subframe，QL?ETPS）算法，在尽量不影响Macro基站用户性能的前提下，降低小区间干扰，同时提高Pico基站边缘用户的吞吐量。

4 结 论

本文基于ABS子帧的思想，首先设计了一种面向Pico基站的ETPS帧，Pico基站可以根据自身情况灵活地改变增加的功率大小和ETPS帧的密度。针对Macro?Pico网络的干扰问题，提出了一种基于Q学习的干扰协调算法QL?ETPS，将ETPS帧的配置作为Q学习的动作，Pico基站边缘用户的SINR作为Q学习的状态，通过迭代获得Q值表，选取最优值作为ETPS帧的配置。仿真结果表明，本文提出的QL?ETPS算法较传统固定的ABS/RP?ABS子帧配置方案性能更优，可以在尽量不影响Macro基站用户的前提下，提高Pico基站边缘用户的吞吐量。

参考文献

[1] KOLEVA P， ASENOV O， ILIEV G， et al. Interference limited uplink power control based on a cognitive approach [C]// Proceedings of 2012 35th International Conference on Telecommunications and Signal Processing. [S.l.]： IEEE， 2012： 242?246.

[2] TABASSUM H， YILMAZ F， DAWY Z， et al. A statistical model of uplink inter?cell interference with slow and fast power control mechanisms [J]. IEEE transactions on communications， 2013， 61（9）： 3953?3966.

[3] BITON E， COHEN A， REINA G， et al. Distributed inter?cell interference mitigation via joint scheduling and power control under noise rise constraints [J]. IEEE transactions on wireless communications， 2014， 13（6）： 3464?3477.

[4] LOPEZ?PEREZ D， CHU X， ZHANG J. Dynamic downlink frequency and power allocation in OFDMA cellular networks [J]. IEEE transactions on communications， 2012， 60（10）： 2904?2914.

[5] HUANG C H， LIAO C Y. An interference management scheme for heterogeneous network with cell range extension [C]// Proceedings of 2011 13th Asia?Pacific Network Operations and Management Symposium. Taoyuan， China： IEEE， 2011： 1?5.

[6] MAO X， MAAREF A， TEO K H. Adaptive soft frequency reuse for inter?cell interference coordination in SC?FDMA based 3GPP LTE uplinks [C]// Proceedings of 2008 IEEE Global Telecommunications Conference. Salt Lake City： IEEE， 2008： 1?6.

[7] DEB S， MONOGIOUDIS P， MIERNIK J， et al. Algorithms for enhanced inter?cell interference coordination （eICIC） in LTE HetNets [J]. IEEE/ACM transactions on networking， 2014， 22（1）： 137?150.

[8] L?PEZ?P?REZ D， CLAUSSEN H. Duty cycles and load ba?lancing in HetNets with eICIC almost blank subframes [C]// Proceedings of 2013 IEEE 24th International Symposium on Personal， Indoor and Mobile Radio Communications. [S.l.]： IEEE， 2013： 173?178.

[9] JIANG L， LEI M. Resource allocation for eICIC scheme in he?terogeneous networks [C]// Proceedings of 2012 IEEE 23rd International Symposium on Personal Indoor and Mobile Radio Communications. [S.l.]： IEEE， 2012： 448?453.