干扰环境下基于博弈论的无人机群部署与组网方法

韩 晨 刘爱军 安 康 童新海 梁小虎③

①(国防科技大学第六十三研究所 南京 210007)

②(陆军工程大学通信工程学院 南京 210007)

③(东南大学信息科学与工程学院 南京 210018)

1 引言

空天地互联网络是6G通信的重要研究内容，其中，无人机群是空中接入网络的重要组成部分[1]。由于部署灵活、成本低廉等优势，无人机群在紧急救援、环境监测、数据采集、D2D(Device-to-Device)通信等多方面发挥着重要作用，其应用研究引起了学者广泛的关注[2–6]。但是，无人机通信的视距传输特点和无线广播特性使其容易受到干扰攻击[7,8]。文献[9]针对频率域的恶意干扰，提出一种基于差分博弈的无人机抗干扰算法。文献[10,11]应用强化学习和博弈理论研究了无人机通信网络的抗干扰问题，通过优化发射功率提高抗干扰性能。文献[12]应用斯坦伯格博弈和多臂赌博机模型提出一种针对无人机通信网络的联合抗干扰算法，实现功率和频率的联合优化。文献[13]研究了无人机在干扰场景下的中继问题，通过抗干扰博弈分析，得到其稳定的纳什均衡策略。文献[14]研究了面向无人机辅助的蜂窝通信网络的抗干扰框架，应用强化学习为受扰的移动用户选择中继节点。文献[15]研究了干扰环境中的无人机轨迹规划问题，以增强无人机传感器网络的传输可靠性。文献[16]研究了无人机与干扰机之间的对抗博弈，通过合理的对抗策略增强无人机飞行控制的可靠性。干扰环境下无人机网络的高动态、强对抗等特点加剧了无人机群抗干扰的技术难度。因而，在干扰威胁下执行数据采集任务的无人机群需要具备灵活自主的部署方法和组网策略，以提高数据采集量，并增强抗干扰能力。

现有文献中，已有许多工作对无人机的位置部署问题展开研究。通过高效的部署优化，无人机群可以对目标区域提供无线覆盖并执行数据采集任务。文献[17]通过优化多架无人机的位置部署，提高了对物联网设备的数据采集量。文献[18]提出一种无人机快速部署方案，应用动态规划理论提高对地覆盖性能。文献[19]综合考虑了无人机的飞行距离和高度，提出一种启发式算法以优化无人机群的位置部署。文献[20]考虑了地面终端的密度变化，研究了多架无人机的最优部署和运动问题。文献[21]提出一种基于连续凸近似的算法，以优化无人机群的位置部署。文献[22]应用Circle packing理论研究无人机基站的无线覆盖及部署问题。文献[23]基于K均值聚类算法，研究了NOMA(Non-Orthogonal Multiple Access)系统中的无人机位置部署和数据中继问题。然而上述工作主要关注集中式的优化方案，需要一定的先验信息和全局信息。同时，恶意干扰威胁以及敌对环境的高动态性要求无人机群具备灵活自主的部署方式，并加强抗干扰能力[24]。

作为一种新型的无人智能系统，无人机通常以集群的形式执行任务，并通过合适的组网策略，提高通信效率[5,25]。文献[26]研究了面向无人机自组织网的编队控制策略，及其对通信组网技术的不同需求。文献[27]针对灾害救援场景，提出一种基于5G和无人机智能组网的应急通信系统。文献[28]研究了改进贪婪算法在无人机组网路由技术中的应用。文献[29]应用网络动力学知识，研究了无人机组网中的同步问题。文献[30]依照雁群行为机制研究了无人机群的仿生飞行控制方法，实现多无人机编队的保持及控制。文献[31]应用平均场理论将无人机集群对抗问题，建模为单机与集群平均效果之间的交互过程，以建模无人机群的网络动态。现有文献中对于无人机群在干扰环境中的组网技术研究相对较少。但是恶意干扰环境下的强对抗和高动态特性对无人机组网技术提出了更高的要求。因此，研究无人机群自主智能的组网策略，对于增强无人机通信网络的鲁棒性和可靠性具有重要意义。

本文研究干扰环境下基于博弈论的无人机群部署与组网方法。在地面干扰机的影响下，针对无人机群执行对地的数据采集问题，无人机群通过优化部署策略在躲避干扰区域的基础上最大化覆盖范围，并提高数据采集量。其次，针对无人机群上传数据到升空平台编队时受空中干扰机影响的问题，采用将无人机群形成联盟分组实现协作传输的方案。同一联盟分组内的无人机将各自采集得到的数据传输给簇头无人机，簇头无人机将汇总的数据上传给邻近的升空平台。在选择簇头无人机时，本文同时考虑空中干扰机的影响以及本地的数据采集量和传输能力之间的相对关系。

2 系统模型与问题建模

本文考虑的系统模型如图1所示，M架无人机以编队形式执行对地的数据采集及上传任务，通过协同位置部署实现数据采集，并将采集数据上传给升空平台编队。敌对环境中同时存在地面干扰机和空中干扰机。地面干扰机会影响无人机对目标区域的覆盖部署和信息采集，空中干扰机会影响无人机之间的协作组网，以及无人机群与升空平台编队之间的视距传输。因此，考虑到地面干扰机的影响，无人机群通过协同位置部署以提高数据采集量，并有效规避干扰区域。同时，为了抵御空中干扰机的影响，各无人机形成联盟分组，同一联盟内的无人机将各自采集数据传输给簇头无人机。簇头无人机将汇总数据上传给邻近的升空平台。如图1所示，无人机群的数据采集任务可分为3个阶段：数据采集阶段、组网阶段、数据上传阶段。在数据采集阶段，无人机群通过位置部署优化，规避干扰区域，并提高数据采集量。在组网阶段，无人机群形成联盟子网，各无人机将采集数据传输给子网内的簇头无人机。最后，在数据上传阶段，簇头无人机将汇总数据上传给升空平台。

图1 干扰威胁下的无人机集群部署及组网问题

2.1 干扰环境下无人机群部署优化问题

2.2 无人机群抗干扰组网问题

3 博弈建模

如图1所示，本文研究干扰威胁下无人机集群部署及组网问题，并在第2节将其建模为以下两个问题：(P1)干扰环境下无人机群部署优化问题；(P2)无人机群抗干扰组网问题。本节应用博弈理论，从分布式优化的角度分析无人机群的部署及组网问题。3.1节将问题P1建模为无人机覆盖拥塞博弈。3.2节将问题P2建模为联盟形成博弈。

3.1 无人机覆盖拥塞博弈

3.2 无人机联盟形成博弈

根据2.2节构建的系统模型，本节将无人机群的动态子网形成问题建模为联盟形成博弈[36]。定义如下。

定理2 所提联盟形成博弈可以得到稳定的联盟形成结果，该结果为纳什均衡解。

证明 按照双赢准则的定义，无人机每次改变联盟选择，都会进一步增加新旧联盟的总的上传数据量，从而进一步增加整个无人机群总的上传数据量。由于无人机数量和可上传的数据量都是有限的。因此最终所有无人机的实际上传数据量会收敛到极大值，并得到稳定的联盟形成策略。

接下来，借助精确势能博弈理论证明所得到的稳定联盟形成策略是纳什均衡解。定义势能函数为所有联盟总的上传数据量

4 干扰环境下无人机群部署与组网方案

4.1 无人机群分布式位置部署算法

按照3.1节的分析结果，无人机群的部署问题可建模为拥塞博弈。各无人机通过分布式的优化方式最大化己方的数据采集量。最终，无人机群可以得到稳定的位置部署。按照前述的问题建模及博弈分析，本文提出一种基于随机优化的无人机群分布式部署算法，如表1所示。根据当前无人机群的位置，各个网格更新可采集数据量，重复覆盖的网格可采集数据量降低。随机选择1架无人机，根据其动作空间(上、下、左、右、左前、左后、右前、右后)，随机选择1个运动方向，如果变更后的位置可以采集更多数据，则变更该无人机位置，否则维持现状。在有限的步骤内，该算法能以迭代优化的方式得到稳定的收敛结果。

T个时隙内，无人机u应用表1进行位置部署的计算复杂度主要集中于u在每个时隙的运动方向的选择。每个时隙，各无人机有8个可选方向。因此，T个时隙内无人机u应用表1的标量乘法开销为O(8T)。

表1 基于拥塞博弈的无人机群部署算法(Congestion-game based UAV swarm Deployment algorithm, CUD)

4.2 无人机群联盟形成算法

经过部署优化之后，无人机群可以实现高效的对地覆盖和数据采集。此时，各无人机采集的数据量各不相同。同时考虑到空中干扰机的影响，每架无人机与升空平台之间的传输速率也不尽相同。因此，无人机群之间形成联盟分组，组内无人机将各自采集的数据传给簇头无人机，并通过簇头无人机实现数据上传。本文提出一种无人机群抗干扰联盟形成算法，各无人机根据3.2节定义的联盟效用和双赢准则进行联盟选择。具体算法流程如表2所示。

无人机u应用表2形成联盟分组的计算复杂度主要在于无人机u的联盟选择过程，其标量乘法开销为O(|Au|)，其中|Au|为无人机u邻近的其他无人机数量。

表2 无人机群联盟形成算法(UAV Swarm Anti-jamming Coalition Formation algorithm, USACF)

5 仿真实验

本节通过仿真验证所提算法的有效性，仿真参数如表3所示。

表3 仿真参数

5.1 无人机对地覆盖性能

无人机群以分布式的方式执行对地的数据采集任务，干扰机随机分布在目标区域。各无人机需要通过邻近无人机之间的信息交互，优化各自的位置部署，提升整个无人机群的数据采集性能。

图2(a)所示为无人机群的初始位置。由图可知，当前位置部署下，部分无人机(例如U5, U8,U10, U11以及U4、U6)的数据采集范围存在重叠，因而重叠区域内，各无人机可采集的数据量将随着重叠无人机数量的增加而减少，造成数据采集效率降低。同时，无人机U4, U6的采集范围内存在干扰机，存在干扰机的网格内的数据无法被采集，且此时无人机U4, U6面临严重的干扰威胁。

各无人机按照所提CUD算法对各自的位置进行优化，所得结果如图2(b)所示。经过无人机群的拥塞博弈，各无人机会避开存在干扰机的网格，并趋向数据量更多的热点区域。同时，各无人机之间会尽量避免重叠的采集区域，从而提升整个集群的数据采集效率。

图2 无人机群部署位置

在无人机群的拥塞博弈过程中，整个集群的采集数据总量的变化如图3所示。可见随着迭代的进行，无人机群的采集数据总量逐渐增加，并最终趋于稳定值。所得结果与3.1节的博弈分析吻合。

图3 拥塞博弈过程中无人机群采集数据总量变化情况

图4展示了所提算法与随机位置部署算法和均匀部署算法的性能比较。如果无人机的采集范围内存在干扰机，则该无人机将面临严重的干扰或者致毁威胁，此时该无人机无法完成数据采集。由图4(a)可知，所提算法相比随机部署方案有明显的性能提升。当无人机数量不足以完成对地完全部署时(即无人机数量少于25架)，所提算法的性能明显优于均匀部署算法。当无人机数量大于25架次时，均匀部署有可能获得略高的数据采集总量。但是此时的均匀部署方案会面临严重的干扰威胁。因为必然存在部分无人机位于干扰机的攻击范围之内，从而对无人机群的安全性造成严重威胁。然而，对抗环境中的数据采集任务以无人机群的安全性为首要前提，在该前提下，无人机群通过位置部署以提高集群的数据采集量。如图4(b)所示，随着无人机数量的增加，各无人机平均可采集的数据量逐渐降低，所提算法相比于对比算法有较为明显的性能优势。

图4 拥塞博弈算法性能对比

5.2 无人机联盟形成性能

各无人机收集的数据需要上传给升空平台编队。如图5所示，各无人机的采集数据量各不相同，同时由于空中干扰机的影响，无人机群上传数据的传输能力也有较大差别。

图5 各无人机采集数据量及数据上传能力

为了最大化无人机群采集数据的总上传量，各无人机之间通过联盟分组实现协作传输。形成联盟分组的无人机将各自的采集数据传输给簇头无人机，簇头无人机将数据统一上传给邻近的升空平台。簇头无人机的选择不仅需要考虑空中干扰机位置分布的影响，还需要综合考虑该无人机的数据上传能力和本地数据量的相对关系。当无人机的数据上传能力大于本地的采集数据量时，其他无人机的数据可以通过该无人机实现协作数据上传。无人机群(U)、空中干扰机(J)、升空平台(A)等各个节点，以及联盟分组及簇头无人机的选择结果如图6所示(黑色实心点为簇头无人机，同一颜色连线为同一个联盟分组，图6(b)为俯视平面图)。无人机群的联盟形成对比如图7所示。相比于基于帕累托准则的联盟形成算法，所提算法可以实现更高的数据上传量。

图6 无人机群联盟分组结果

图7 联盟形成算法对比

由于所提基于联盟分组的协作传输由联盟组网形成和簇头无人机数据上传两个阶段组成。因而，两个阶段传输时隙的分配，也会影响系统总的数据上传性能。如图8所示，当联盟组网阶段的分配时隙较少时(总时隙T=10)，由于联盟内各无人机的数据没有完全传输给簇头无人机，因而数据上传量较低。同时，如果联盟分组阶段的分配时隙过多，则会因为簇头无人机的数据上传时间不够，导致传输性能降低。因而，合适的时隙分配同样会影响所提方案的传输性能。

图8 组网阶段与数据上传阶段分配时间的影响

6 结束语

本文研究了干扰威胁下，基于博弈理论的无人机群部署与组网问题。无人机群采用基于拥塞博弈的部署算法，可以实现对目标区域高效的数据采集，并以分布式优化的方式实现干扰躲避，提高数据采集量。各无人机采集完数据后，应用基于联盟形成博弈的抗干扰子网形成算法实现协作传输。联盟内无人机将采集数据传输给簇头无人机，簇头无人机将数据上传给升空平台编队，以增强无人机网络的鲁棒性和可靠性。最后，仿真结果表明，所提算法相较于传统算法有明显的性能提升。