基于情景感知的自组织网络SON的协同优化管理

雷肖剑，刘二平，张 晶

(1.海装天津局,天津 300000；2.海军驻保定地区航空军事代表室，河北 保定 071000；3.中国电子科技集团公司第五十四研究所，河北 石家庄 050081)

基于情景感知的自组织网络SON的协同优化管理

雷肖剑1，刘二平2，张 晶3

(1.海装天津局,天津 300000；2.海军驻保定地区航空军事代表室，河北 保定 071000；3.中国电子科技集团公司第五十四研究所，河北 石家庄 050081)

针对LTE网络中的SON功能用例的协同管理问题，基于网络状态信息、关键技术指标(Key Performance Indicators,KPI)等情景信息，设计了一种LTE网络中的多个自组织网络(Self-Organized Network，SON)协同管理机制。结合强化学习理论，提出了一种SON用例间协同优化管理算法。以移动负载均衡用例(Mobility Load Balancing，SON1)和移动鲁棒性优化用例(Mobility Robustness Optimization，SON2)为例，进行移动负载均衡和移动鲁棒性优化和两SON用例间的协同优化，从而在已知情景信息的前提下，实现网络性能稳定提升。仿真结果表明，该算法可以有效地实现负载均衡并提升网络稳定性，同时提升网络吞吐量。

情景感知；自组织网络；强化学习；移动负载均衡；移动鲁棒性

0 引言

随着多种无线接入技术的异构融合，未来无线网络更加复杂，系统架构更加动态灵活，移动终端用户所需的服务质量(Quality of Service，QoS)需求更加苛刻[1-2]。因此，未来网络须自适应地满足用户需求，确保用户高质量的业务体验，同时保证未来网络高效的运维管理[3-4]。然而，传统的网络优化和运维管理方法使得未来网络运营开销呈指数增长[5]。为确保无线网络的自主配置和智能优化，部署快速动态调整、高运维效率的异构无线网络(Self-Organized Network，SON)概念被引入LTE无线接入网中[6]。然而，不同的SON功能之间存在关联，当根据不同的优化目标进行优化时，不同的SON功能之间可能冲突，从而影响网络性能[7]。因此，合理协调各个SON功能，进行冲突避免，从而实现多个SON功能一致性和协同管理，有效改善网络性能是当前重要的研究内容。

文献[8]对SON自优化相关的场景用例如负载均衡(Mobility Load Balancing,MLB)、覆盖和容量自优化(Capacity and Coverage Optimazation,CCO)和移动鲁棒性(Mobility Robustness Optimization,MRO)等研究实例进行了详细阐述。文献[9-10]对SON功能的CCO用例进行了探讨，结合网络负载、覆盖质量等网络信息，通过动态改变电子下倾角的方式改变网络覆盖，提高网络容量和优化网络覆盖。文献[11]研究了自动邻区配置关系用例，实现网络参数的自动配置，减少人工运维成本，节省网络开销。文献[12-17]针对网络资源分配不均和网络过载等问题，通过移动负载均衡用例的优化，从而均衡网络资源并提升网络性能。然而，在现有的文献中，只是研究独立的SON功能用例，优化独立的网络目标，对网络性能的提升有限。但是面对复杂的异构网络，需要优化多个关键性技术指标，同时从多层次、多维度对多个网络目标进行联合优化，即对多个SON功能用例实现有效的协同优化管理。

本文基于关键技术指标、网络状态等情景感知信息，结合强化学习算法，设计了一种LTE自组织网络SON协同管理机制，并提出了一种有效的SON之间协同管理算法，以移动负载均衡(MLB，SON1)和移动鲁棒性优化(MRO，SON2)为例，进行移动负载均衡SON1和移动鲁棒性优化SON2之间的协同管理，从而在保证网络负载均衡的前提下，实现无线网络性能提升。

1 系统模型和问题描述

LTE网络场景系统模型如图1所示。在LTE异构网络场景中，将无线网络管理优化问题分解为多SON功能用例的决策行为，独立的SON功能用例都看作一个控制环SONuc。因此，为实现整体无线网络优化目标，通过运行相应的SON功能机制SONm，调整相关的无线参数，从而保证网络的关键技术指标(KeyParameterIndicators,KPI)维持在给定的网络目标值。其中，根据掉话率、阻塞率和网络能耗等情景感知信息，通过运行SON功能用例计算并调整相应的无线参数，运行相应的SONm功能，进行异构网络优化，并且确定触发的SONm功能及其类型，从而实现网络的优化管理。

图1 LTE网络场景系统模型

1.1 网络系统模型

在本文中，整个异构无线网络的自主优化过程，看作是自动控制系统中的独立控制环问题。假设本文中的SON功能用例运行在相同的时间尺度上。在无线网络运维优化过程中，根据控制系统的输出参数(如网络负载)以及可测量到的网络参数(如掉话率、阻塞率等KPI指标)，动态调整控制系统输入参数，因此当无线网络进行同一时间尺度下的多个SON功能优化决策时，将SON用例间的目标冲突问题可以转化为多目标优化问题[7]。

1.2 情景感知信息

情景感知信息：随着异构无线网络中的“数据风暴”的来临，无线网络更易感知获取网络用户位置(室内、室外等)、网络状态(好、中、差等)、网络性能指标(如掉话率、阻塞率等)等信息，即情景感知信息。

因此，在异构无线网络的网络管理优化过程中，把多个SONm之间的协同管理，转化为在相同的网络环境下的多个优化目标问题；每个单独SON优化的过程可看作一个马尔科夫过程，即无线网络节点单独的优化控制环SONuc。异构网络SON协同管理模型如图2所示。

图2 异构网络SON协同管理模型

假设网络中运行着N个SONm机制，根据情景感知信息(如掉话率、阻塞率和网络能耗等)，无线网络对不同的SONm机制有着不同的要求，从而在网络优化过程中，多个SONm协同管理问题转化为多目标问题为：

s.t.fi(SONmi)>0,

wi>0。

(1)

式中，fi(SONmi)为第i个SONm的目标收益；wi为SONmi的权重，代表着无线对不同SON功能的运维管理需求。通过检测多个SON调整的无线优化参数或目标优化值，判定SON之间是否存在冲突：如果无冲突，则每个SON智能体单独进行优化；如果检测到冲突存在，根据网络状态(好、中、差等)、网络性能指标(如掉话率、阻塞率等)等情景感知信息，在不同的网络情境下，调整不同SON的权重，从而实现网络的整体性能优化。

2 SON协同管理机制

2.1 SON智能体模型

在本文中，结合强化学习理论，单个SON智能体模型包括4个部分：

① 网络环境感知状态集合S；

②SON智能体的操作行为集合A；

③ 状态转移函数：T:S×A→(S)；

④ 回报函数：R:S×A→R。在异构无线网络优化过程中，智能体通过与周围环境的交互过程，获得网络的情景信息。此外，在时间t时刻，智能体对无线网络环境状态st进行感知，并根据状态st，选择行为at。随着无线网络环境的改变，网络环境从状态st转移到新状态st+1，并且把产生的回报值rt+1反馈给智能体代理。在整个优化过程中，SON智能体代理把搜索最优的策略：π*:S→A，作为网络优化的目标。其中，本文选择最大化预期折扣值作为回报值：

(2)

(3)

选择优化策略，即动作a∈A。然后网络节点智能体回报值(即网络效用)根据回报值和已有的Q值，终端更新Q值表中状态s和所选动作对应的值：

(4)

(5)

式中，R(x,α)=E{r|s,a};π为所选的策略；α为学习因子。

2.2SON协同问题描述

以移动负载均衡SON1和移动鲁棒性优化SON2为例，提出了一种基于强化学习的SON协同优化算法，旨在解决在LTE异构无线网络中，移动负载均衡和移动鲁棒性优化SON用例间协同管理问题。为了保障网络覆盖，假设宏基站不能调整参考功率。主要原因是：如果宏基站改变其参考功率，可能出现网络中的宏基站和家庭基站同时减少自身覆盖的情况，从而导致部分区域无网络覆盖的问题；此外，网络负载均衡的优化问题主要面向小区边缘的用户，主要对家庭基站进行调整，因此不需要调整宏基站的参考功率。

在强化学习理论中，通过与周围环境的交互过程，SON智能体获得网络状态信息，并通过反馈信息，进行策略学习，最终获得最优的策略，因此非常贴合SON功能应用场景。本文给出以下假设：无线网络中的家庭基站(PICO基站)看作是自主决策的智能体。SON智能体运行相应的强化学习机制，并做出最优的参考信号功率控制策略。与此同时，本文考虑网络中的KPI指标，例如阻塞率、掉话率以及吞吐量等指标。因此，把最优化上述的KPI指标作为无线网络的最优化控制策略。假设以下情景感知信息(KPI指标)：呼叫阻塞率和网络掉话率。对于LTE异构网络中网络负载，无线网络中的物理资源块，作为分配给用户UE的最小物理资源单元，则物理资源块利用率作为基站i的负载，表示为：

(6)

(7)

在网络优化过程中，由于移动负载均衡SON1与移动鲁棒性优化SON2优化目标不同，然而调整的无线参数是相同的(但调整方向相反)，从而使得这种移动负载均衡机制很可能引起切换参数优化调整的冲突[7]。因此，在时间t时刻，定义家庭基站i的效用函数为：

(8)

此外，在t时刻，宏基站的效用函数表示为：

(9)

θj,femto+θj,macro=1,

li,femto<σth,i, ∀i∈π,

lmacro<σth。

(10)

式中，Ωi为接入基站i的用户集合；θj,femto和θj,macro为用户接入家庭基站和宏基站的指示因子;σth,i和σth分别分家庭基站i的负载门限值和宏基站的负载门限值。

2.3 算法流程

在求解上述问题时，结合情景信息，不同无线网络状态下确定无线网络的性能优化目标，从而确定SON之间的权重，进行求解优化，具体过程为：

② 定义随机值x,其中0

⑥ 对宏基站中用户测量报告等感知信息，进行收集；

⑧ 结合上述中的计算Q值的公式，更新Q值的列表。

3 仿真结果

本文采用Matlab仿真软件，针对所述问题及设计的的算法，进行了仿真验证。主要仿真参数：ε=1，α=0.95，γ=1，10个家庭基站，60个资源块，宏基站发射功率为46dBm，参考导频功率范围为[-140,-44]dBm。

在本文设计的算法中同时考虑了多个KPI指标，主要包括：网络阻塞率、网络吞吐量和网络掉话率。仿真假定基于情景感知的强化学习算法满足：如果家庭基站感知到主小区的宏基站发生过载问题，则自动调整参考信号功率，减少参考信号功率减少覆盖区域，并且向邻近家庭基站发送请求，增大邻近基站的参考信号功率。结合设计相应的网络效用函数，把移动鲁棒性优化MRO和移动负载均衡MLB的冲突问题转化为网络多目标优化问题。

结合情景感知信息，图3描述了本文算法机制下，LTE网络中掉话率和阻塞率的变化情况，并与随机分配的机制进行了对比。从仿真中可以验证，设计的SON协同算法有效地降低了LTE网络中的掉话率和阻塞率，提升了网络性能。图4描绘了强化学习优化过程中的平均吞吐量的变化情况，本算法有效提升了网络吞吐量。通过上述仿真可以得出，结合情景感知信息，所设计的算法可以有效解决的多个SON用例之间的协同优化管理问题。

图3 无线网络的掉话率/阻塞率变化

图4 无线网络的平均吞吐量

4 结束语

针对日益复杂的异构无线网络，随着家庭基站的密集部署，SON用例更加至关重要。因此，结合网络状态、关键性技术指标等信息，设计了一种LTE网络中的多个自组织网络SON用例协同管理机制，结合强化学习理论，提出了一种SON用例之间协同优化管理算法。并且通过对SON功能用例进行了实例仿真验证，实现了网络性能稳定提升。仿真结果表明了该算法的优越性和有效性。

[1] 王 磊.绿色无线通信技术概述[J].无线通信技术,2013,22(3):34-38.

[2] 王军选,王 蕾.基于主客观权重的异构网络选择算法[J].无线通信技术,2014,27(3):1-4.

[3] 周 健.基于终端实时状态的异构无线网络选择[J].无线电工程,2014(7):7-10.

[4] 颜薇芳.TD-LTE与LTEFDD融合组网可行性研究[J].无线电工程,2015(6):92-95.

[5] 房 耿.LTE-A系统中自组织网络技术研究[D].南京：东南大学,2015.

[6] 许明元.5G自组网(SON)技术需求和架构的研究[J].广东通信技术,2016(1):64-67.

[7] 孙菲菲.LTESON自优化网络原理及应用[J].中国新通信,2015(23):25-27.

[8] 3GPPTR36.902,Self-configuringandSelf-optimizingNetwork(SON)UseCasesandSolutions,Rel-9[S],2009.

[9]SIOMINAI,VARBRANDP.AutomatedOptimizationofServiceCoverageandBaseStationAntennaConfigurationinUMTSNetworks[J].WirelessCommunicationsIEEE,2006,13(6):16-25.

[10] 夏永康,梁晓雯.LTE网络天线下倾角自优化算法[J].无线电工程,2014(3):11-14.

[11]KIMD,SHINB,HONGD,etal.Self-configurationofNeighborCellListUtilizingE-UTRANNodeBScanninginLTESystems[C]∥ConsumerCommunicationsandNetworkingConference,2010 7thIEEE,2010:1-5.

[12]KWANR,ARNOTTR,PATERSONR,etal.OnMobilityLoadBalancingforLTESystems[C]∥IEEEVehicularTechnologyConferenceFall,2010,1:1-5.

[13] 余建涛,胡宏林,金圣峣，等.移动负载均衡与移动鲁棒性优化的冲突协调[J].计算机工程,2012,38(1):37-41.

[14] 黄妙娜,冯穗力,陈 军,等.LTE自优化网络中MRO与MLB间冲突避免策略[J].华南理工大学学报 (自然科学版),2013(11):36-42.

[15]SHENGM.Zone-basedLoadBalancinginLTESelf-optimizingNetworks:AGame-theoreticApproach[J].IEEETransactionsonVehicularTechnology,2014,63(63):2 916- 2925.

[16]HEH,WENX.GameTheoryBasedLoadBalancinginSelf-optimizingWirelessNetworks[C]∥ComputerandAutomationEngineering(ICCAE),2010The2ndInternationalConferenceon.IEEE,2010:415-418.

[17]ZIAN.APolicyBasedConflictResolutionMechanismforMLBandMROinLTESelf-optimizingNetworks[C]∥IEEEComputerSociety,2014:1-6.

雷肖剑 男，(1987—)，硕士，助理工程师。主要研究方向：航空电子、测控工程。

刘二平 男，(1977—)，工程师。主要研究方向：自动化技术、信号与信息处理。

Cooperative Optimization Management Scheme of Self-organized Network (SON) Based on Context-aware

LEI Xiao-jian1,LIU Er-ping2,ZHANG Jing3

(1.TianjinMarineShippingOffice,Tianjin300000; 2.MilitaryAviationRepresentativeOfficeofPLANavyStationedinBaodingRegion,BaodingHebei071000,China； 3.The54thResearchInstituteofCECT,ShijiazhuangHebei050081,China)

In view of the coordination management problem in SON,this paper designs a cooperative optimization mechanism of SON in LTE network based on such context information as network state,key performance indicators,etc.A novel algorithm is designed to realize the cooperative optimization management between the SON cases with the aid of reinforcement learning theory.Taking the Mobility Load Balancing (MLB,used as SON1) and Mobility Robustness Optimization (MRO,used as SON2) as two cases,the cooperative optimization is realized between two SON1 and SON2 in LTE networks in order to promote the stability of network performance based on known information.The simulation results show this algorithm can effectively implement load balancing and promote network stability,and improve the throughput of network.

context-aware；self-organized network；reinforcement learning；mobility load balancing；mobility robustness

10.3969/j.issn.1003-3106.2017.04.03

雷肖剑，刘二平，张 晶.基于情景感知的自组织网络SON的协同优化管理[J].无线电工程,2017,47(4):12-16.

2017-01-05

国家高技术研究发展计划(“863”计划)基金资助项目(2013AA122101)。

TN911.22

A

1003-3106(2017)04-0012-05