复杂任务场景无人机集群自组织侦察建模与仿真

张睿文，宋笔锋，裴扬，王冠坤

(1.西北工业大学 航空学院， 西安 710072)(2.上海机电工程研究所 科研处， 上海 201109)

0 引 言

无人机集群可扩展性强，效费比高，部署灵活，可用于侦察、打击、搜救等多种任务，其中，区域覆盖侦察是一类重要的任务，任务效能评估是无人机集群设计与使用的重要问题，而采用基于agent(即智能体)的建模与仿真(agent-based modeling and simulation，简称ABMS)方法进行作战建模与仿真是效能评估的主要方式之一[1]。

目前，国内外已开展了基于agent的无人机集群作战建模与仿真研究，分析了无人机飞行性能、传感器性能和网络结构等因素对任务效能的影响[2-4]。无人机集群的任务效能不仅取决于无人机系统，还受集群指挥控制策略的影响。区域覆盖侦察任务中，航路规划方法是指挥控制策略的重要要素。典型的航路规划方法有扫描法、随机法和自组织法等。扫描法将任务区域分割成若干分区，无人机在各分区内沿扫描式航路运动[5-6]；随机法按一定的随机分布律生成航路点[7]；自组织法则通过无人机对环境的感知和无人机间基于规则的协调，自主、动态、协同规划航路，自底向上实现集群侦察[8-11]。

现有文献在效能评估中考虑了航路规划方法这一要素[2,4,12]，但较少有人研究复杂任务场景下采用自组织航路的侦察任务效能。研究自组织航路规划方法的文献主要关注算法设计与航迹仿真，简化了任务想定和系统模型，故大多采用基于过程、自顶向下的建模与仿真方法，难以适用于复杂任务场景。复杂任务场景主要体现在复杂的任务逻辑和系统动作，从而形成作战单元的复杂行为。复杂任务场景的建模与仿真需要采用ABMS方法，但研究基于agent的作战建模与仿真的文献大多仅考虑了扫描航路等预设航路侦察的建模与仿真，较少考虑自组织侦察。造成这一不足的主要原因是目前的ABMS方法缺少适合集群自组织侦察的agent行为机制与模型结构。

行为机制方面，Tian Y等[2]、B.Schumann等[4]和H.T.Tran等[12]分别采用条件-动作(“IF-THEN”)规则、有限状态机等单一行为机制描述无人机侦察中的agent行为，但仅考虑了预设航路点的侦察方法。对于自组织侦察，单一行为机制难以描述环境建模、动态航路计算、航路信息共享等复杂规划过程，需要采用复合行为机制。A.Yang等[13]提出了基于因果网络的多层行为机制，将推理决策与动作实施分离；Li X等[14]将agent的行为划分为物理信息域和认知域并分别建模；美国空军研究实验室也采用类似方法开发了AFSIM作战仿真软件[15]。上述方法将认知决策与动作执行分离，将简单行为按任务组合，从而较好地构建复杂行为，但大多针对面向目标、事件驱动的行为，难以描述航路规划与飞行控制的过程。

实际上，作战建模与仿真中，航路规划与飞行控制行为的描述可以参考无人机任务管理与飞行控制软件的运行机制。K.Giles等[16]提出一种可组合控制结构，将简单指令按不同任务的组合形成复杂指令，但缺少针对航路侦察的控制设计；E.Pastor等[17]设计了一种三层飞行控制结构，实现了多种场景下的自主动态航路规划与飞行控制；P.Doherty等[18]进一步考虑了目标追踪等任务，设计了一种混合机制无人机任务管理系统；Y.Jiang等[19]设计了一种互动型机器人控制结构，进一步区分了基于规则的决策和基于规划的决策。上述机制可以较好地描述自主动态航路规划的过程，但大多针对单个无人机，难以描述无人机之间共享信息、协调航路的过程。

模型结构方面，ABMS采用面向对象建模，用类描述agent模型。Li X等[14]针对复合行为机制提出一种可组合模型结构，用于武器装备体系的网络化作战建模与仿真；AFSIM作战仿真软件也采用了类似的组件化模型结构[15]。但上述模型结构缺少支持无人机之间共享信息、协调航路的模块与结构，难以用于自组织侦察的建模与仿真。

针对以上问题，本文以反海盗侦察任务为例，提出一种面向集群自组织侦察的作战建模与仿真方法。以多agent分层复合行为机制和可组合模块化agent模型结构为核心，在综合以往方法的基础上，针对自组织航路规划的特点，设计实现agent环境信息建模和航路信息共享的行为机制和模型结构；根据上述方法开发相应的仿真平台，通过仿真算例验证方法的有效性，并对比不同航路规划方法的侦察任务效能。

1 问题描述与模型假设

以一个反海盗侦察任务为例进行作战建模与仿真方法的研究。无人机集群部署在一个沿海区域，如图1所示，侦察该区域出现的海盗，保护商船通航。商船和海盗数目不定，随机进入任务区域。商船出现后航行穿过任务区域。海盗出现后随机拦截并袭击一艘商船，然后离开。商船航线、海盗进入位置和两者的到达率服从一定的概率分布。无人机搭载光电成像传感器，且具备理想通信条件，即通信距离足够远、无时延，传输成功率为100%。无人机从基地出发入场后，沿航路飞行侦察。发现海盗后，盘旋飞行追踪海盗；当海盗发现被追踪后，放弃袭击并离开；若无人机在追踪途中返回基地，则海盗重新选择商船袭击。无人机燃油不足或发生故障时返回基地，完成检修和加油后等待派出。为了保证空中始终有无人机侦察，无人机以一定间隔依次派出。其余场景和假设的细节同文献[11]。

图1 反海盗侦察任务场景示意图

侦察任务的目标是在海盗袭击商船之前发现并驱逐海盗。因此，以海盗袭击成功率rattack为效能指标，定义为

(1)

式中：npirate为任务期间出现的海盗数；nattack为海盗在被发现之前成功袭击商船的次数。

2 无人机集群侦察航路规划方法

本文主要研究侦察过程的建模与仿真，因此选用以往文献中的航路规划方法。以自组织法的建模与仿真为主，同时考虑扫描法和随机法用作对比分析。

传感器视场在地面的投影为梯形，如图2所示。定义传感器视轴与地面的交点为视场投影中心。当目标进入视场时即认为探测到目标。

图2 传感器视场

扫描法的基本原理如图3所示。首先，将任务区域按无人机数目分割成分区；然后，在各分区内计算生成平行、直线的扫描航路。典型的区域分割方法见文献[6]，扫描航路的生成方法见文献[5]。本文中，各分区均为矩形且面积相同，以视场投影后缘宽度为扫描宽度。

图3 扫描法的基本原理

随机法中，无人机每次按一定的随机分布律计算一个航路点，到达后再计算新的航路点，以此循环。随机法有多种形式，本文采用Lèvy游走法(Lèvy Walk)。新航路点相对于当前航路点的方向在0°～360°之间均匀分布，距离l服从幂律分布，概率密度函数为[21]

f(l)=cx-α

(2)

式中：c为归一化常数，用于将概率密度函数的积分值归一化；指数α取2。其他细节详见文献[21]。

自组织是一种无需集中控制，通过简单个体之间的交互自底向上形成复杂群体行为的机制[22]。基于环境感知的自主规划和基于规则的相互协调是自组织航路规划的两个基本要素。扫描法和随机法缺少对环境的感知和agent间的协调，当航路侦察被燃油不足、系统故障、目标追踪等动态事件中断时，一些位置会长时间空置，而自组织法则可以及时响应，调整航路，适应性更强。

本文采用信息素法[11]，信息素法模拟蚁群觅食行为，用二维网格化的信息素图作为“虚拟环境”，无人机根据网格中的信息素值动态规划航路，通过在信息素图上标记信息相互协调。

以视场投影后缘宽度为网格单元宽度，沿地面坐标系x、y方向等距划分正方形网格。当视场投影中心落入网格单元内时，认为该网格单元被访问。在理想通信假设下，可进一步假设无人机之间共享同步的、完整的统一信息素图，忽略信息素图共享的具体实现方式。信息素图周期性更新，由此产生的离散时间步(简称时步)记为τ。网格中有两种信息素。访问信息素φvst用于标记已访问的网格单元以防止重复访问。当无人机访问网格单元c后，访问信息素置为基准值φ0。随后，访问信息素随时步衰减，直至等于0，规律为

φvst(c,τ)=(1-evst)·φvst(c,τ-1)

(3)

式中：evst为访问衰减因子。

召集信息素φcnv用于标记长期未访问的网格单元以吸引更快访问。当网格单元c在超过一定时步后仍未有新的访问，则召集信息素置为一极小值，而后随时步增强，直至等于φ0，规律为

φcnv(c,τ)=(1+ecnv)·φcnv(c,τ-1)

(4)

式中：ecnv为召集增强因子。

当网格再次被访问后，召集信息素置为0。网格的总信息素等于召集信息素减去访问信息素，即

φsum(c,τ)=φcnv(c,τ)-φvst(c,τ)

(5)

无人机在规划访问的网格单元上标记预约信息Irsv=，其中ID为无人机的身份信息，τr为预测访问的时步。根据预约信息，无人机可预知其他无人机将于何时访问何网格单元，以预测未来的信息素值。按照贪婪算法选择下一步访问的网格单元：首先预测访问当前网格单元周围8个邻单元的时步，再根据信息素的更新规律与预约信息预测未来该时步的信息素值，选择总信息素最大的网格单元；然后，沿基于Dubins曲线的轨迹飞行，访问网格单元，进而规划新的航路。其他细节详见文献[9,11]。信息素法的基本原理如图4所示，图中网格内的数字是信息素值的示例，“+”为召集信息素，“-”为访问信息素。

图4 信息素法的基本原理

目标分配采用简单的“先到先得”规则，一艘海盗船仅用一架无人机追踪，由指挥控制中心分配。追踪过程中，无人机绕海盗船盘旋飞行，并假设传感器锁定于海盗船，无法探测其他区域。采用基于距离/距离变化率的盘旋导引律，指令过载是无人机与目标之间距离和距离变化率的函数，具体细节见文献[23]。

3 面向集群自组织侦察的作战建模与仿真方法

AMBS方法将作战单元视为有自主决策与行为能力的agent，通过描述agent的属性与行为、agent之间的交互以及agent与环境的交互，自底向上构建整个群体的行为。agent的行为机制与相应的模型结构是AMBS方法的核心。复杂任务场景下无人机集群侦察的建模与仿真需要考虑单个agent的复杂任务逻辑、系统动作以及多agent的信息共享、协同规划两个方面建模仿真的需求。本文提出多agent分层复合行为机制和可组合模块化agent模型结构，以实现上述两方面的建模与仿真。

3.1 多agent分层复合行为机制

本文的任务场景中，无人机、海盗、商船可视为agent。多agent分层复合行为机制如图5所示。对于单个agent，综合agent行为分解原理[14,16]和分层任务管理与飞行控制系统原理[17-19]，构建分层行为机制，如图5右侧所示。将任务分解为若干任务状态，将系统动作分解为若干基本动作，通过行为机制的控制，在不同任务状态下，按不同规则将基本动作组合为复杂的系统动作。agent行为自顶向下依次分为任务逻辑、任务规划、系统控制和系统功能4层。在任务逻辑层，采用有限状态机模型，根据激励事件转移任务状态，在不同任务状态下启动和关闭下层的不同功能。任务规划层根据指定规划方法进行航路规划和目标分配，更新航路侦察和目标追踪过程的信息与系统控制指令。系统控制层采用条件-动作规则生成系统动作指令，并向上层报告航路点状态和目标信息。系统功能层按照系统功能原理，根据系统动作指令完成运动、探测跟踪等系统动作。海盗和商船的行为简单，因此无任务规划层和系统控制层，而是由任务逻辑层直接控制系统功能层。

图5 多agent分层复合行为机制

以无人机为例简要说明复杂任务逻辑和系统动作的实现过程。无人机的任务逻辑如图6所示。运动分为平飞、转弯、盘旋等基本动作，感知分为探测、锁定等基本动作。航路侦察状态下，运动动作的执行过程将在3.3节作详细说明；感知环节执行探测动作，发现目标后生成目标航迹，航迹管理环节处理目标航迹，目标管理环节确认需要追踪后，转入目标追踪状态。然后感知环节执行锁定动作，目标管理环节向运动控制环节提供目标航迹，运动环节执行盘旋动作，追踪目标。海盗的任务逻辑如图7所示，原理同无人机。运动、探测模型的具体细节详见文献[24-25]。

图6 无人机任务逻辑状态机

图7 海盗任务逻辑状态机

在综合以往文献与前期研究构建的单个agent行为机制的基础上，在单个agent的行为层次之外，设置任务协调层，实现全局性的协调与控制动作，如图5左侧所示。在理想通信和统一信息素图假设下，设置一个独立于agent的、单一的信息素图管理环节，一方面记录和更新信息素图，是航路规划所依据的“虚拟环境”；另一方面作为通信“黑板”，共享航路协调信息。无人机agent一方面通过信息素图管理环节获取网格单元信息并用于航路规划，另一方面将航路规划与飞行过程中的预约信息和访问信息交予信息素图管理环节，标记于网格单元。指挥控制环节处理无人机调度、目标分配等需要中心节点协调的动作，发出相应的控制指令。图5中示例了agent 1与任务协调环节的关系，agent 2、agent 3、…同理。

3.2 可组合模块化agent模型结构

为了实现多agent分层复合行为机制，采用模块化的方法，将行为机制中各环节相应的行为和属性分解为不同类，再通过类的对象(即模块)的组合构建不同agent模型。参考文献[14]的模块化建模方法，设计作战模型结构如图8所示。模型单元类是模型的共性基类，派生出功能模组类、Agent类、指挥控制类和信息素图类。agent按不同作战单元派生不同子类。功能模组类派生描述行为机制中各环节模型的子类。针对不同agent，任务逻辑类进一步派生相应子类。agent对象由各功能模组子类的对象组合而成，不同agent包含不同对象。无人机的复杂行为使其需要包含四个层次全部环节的对象；海盗和商船的行为简单，只包含任务逻辑和系统功能层的对象。agent子类对象、指挥控制类对象和信息素图类对象最终组合为仿真模型。

图8 可组合模块化agent模型结构

在以往文献研究的基础上，根据自组织侦察的特点，设计信息图模块和航路规划模块，通过两者的交互实现自组织航路规划。信息素图模块独立于agent，其信息为各agent的航路规划模块所共享。3.3节详细说明两者的属性、操作和工作原理。

3.3 自组织航路规划与飞行控制过程

航路管理模块和信息素图模块的主要属性与操作如图9所示。信息素图模块保存网格单元信息矩阵(cells[][])。每个网格单元cell的信息表示为

cell=

(6)

式中：position为网格单元中心的坐标；index为网格单元在x、y方向上的序号；pheromones为当前的信息素值；Ivst为访问信息；Irsv为预约信息。

访问信息Ivst可表示为Ivst=，其中ID为无人机的身份信息；τv为访问的时步。

信息素图的操作包括更新网格单元信息(update())。计算指定时步、指定序号的网格单元信息素值(getCellValue(timestep,indexCell))，具体计算方法根据式(3)～式(5)。在网格单元上标记访问信息(visit(indexCell,infoVisit))和标记预约信息(reserve(indexCell,infoReservation))，即将航路规划模块发出的访问和预约信息写入相应的网格单元。信息素图按固定的周期执行update()操作，更新网格单元的信息素值。航路管理模块保存航路点集合(waypoints[])，主要操作包括开始航路飞行(startPath())、终止航路飞行(endPath())和更新航路飞行(updatePath())。

图9 信息素图模块与航路管理模块

无人机自组织航路规划和飞行过程如图10所示。首先，无人机逻辑模块进入航路侦察状态，向航路管理模块发出指令；完成初始化后，循环执行loop中的航路规划和飞行过程；每一个循环由到达上一个航路点触发，航路管理模块计算航路点，向运动控制模块发出指令，并将预约信息交予信息素图模块标记；运动控制模块根据航路点、按照Dubins曲线计算运动轨迹，生成运动指令；运动平台模块根据运动指令，执行平飞、转弯等动作，设置不同的过载，按照三自由度方程更新运动状态，向航路点运动；到达航路点后，航路管理模块从传感器模块获取当前视场投影中心位置，确定访问的网格单元，将访问信息交予信息素图标记；然后开始下一个循环，计算新的航路点并向航路点飞行。其中，初始化(消息1.1)由startPath()操作完成，航路点的计算以及相关指令的响应与发出(消息2、3、4、5、6)由updatePath()操作完成。信息素图中访问信息和预约信息的标记分别由visit()和reserve()操作完成。

图10 航路侦察过程模型

航路点的计算(消息2)过程按照第2节中描述的航路规划方法完成，具体如图11所示，其中，网格单元总信息素的预测(步骤4)通过调用信息素图模块的getCellValue()操作完成。

图11 航路点计算过程

除自组织航路外，上述模型也能描述其他航路规划与飞行的过程。采用扫描航路时，航路管理模块在初始化时完成全部航路点计算，每个循环开始直接执行步骤4。采用Lèvy游走航路时，步骤2根据相应随机分布律计算航路点。同时，采用扫描航路和Lèvy游走航路时无需与信息素图交互。

4 仿真算例与分析

采用上述方法进行反海盗侦察任务的仿真算例分析。仿真平台基于Anylogic软件开发，Anylogic提供了基础的开发环境、可视化组件和仿真引擎，具体仿真模型由用户自行建立。仿真平台界面如图12所示。

图12 仿真平台界面

任务时间为7天，商船和海盗到达率服从泊松分布，平均到达间隔分别为10 min和12 h。无人机航时为6 h，加油时间1 h，故障检修时间3 h，其余仿真参数见文献[11]。为了辅助分析，除海盗袭击成功率外，还应考察无人机对各网格的访问间隔。通常访问间隔越小，发现海盗几率就越高。扫描法和Lèvy游走法的网格与信息素法相同。定义最大访问间隔μtm为

(7)

(8)

定义平均访问间隔μta为

(9)

(10)

式中：Tm为任务持续时间；c为任一网格；C为任务区域网格的集合；nc为任务区域的网格总数；μ(c,t)为t时刻网格c的访问间隔，即t时刻与该网格上一次被访问时刻的时间差；μmax(t)为t时刻所有网格的最大访问间隔；μave(t)为t时刻所有网格的平均访问间隔。访问间隔的统计采样周期等于信息素图的更新周期。

效能指标随无人机数目的变化如图13所示。无人机数目是指不考虑故障时预定在空中执行任务的无人机数目。每个参数点运行多次仿真，统计均值和置信区间。仿真重复的次数取决于预期的置信区间，详见文献[25]。

(a) 平均访问间隔

(b) 最大访问间隔

(c) 海盗袭击成功率

从图13可以看出：随着无人机数目的增大，效能指标值逐步降低，即任务效能逐步提高，但效能指标降低的幅度逐渐减小；三种航路中，Lèvy游走航路的最大访问间隔和平均访问间隔都是最大的；不同无人机数目下，信息素航路的平均访问间隔都低于扫描航路，但随着无人机数目的增大，差值从3.1 h逐渐减小至0.2 h；随着无人机数目的增大，开始时信息素航路的最大访问间隔高于扫描航路，1架无人机时的差值达16 h，当无人机数目大于10架时，信息素航路的最大访问间隔开始低于扫描航路，直至30架无人机时差值为0.95 h。访问间隔的差异表明，自组织航路对中断航路侦察的动态事件的适应性更强，自组织航路下动态事件造成的空置时间更短。当无人机数目少于10架时，3种航路下的袭击成功率差异不大；随着无人机数目的增大，Lèvy游走航路下的袭击成功率逐渐大于另外两种航路，而信息素航路仅在10架无人机时显著低于扫描航路，大约低5.1%，随后差异又不再显著。

部署8架无人机时，三种航路的航路点轨迹与访问间隔分布如图14所示，图中左侧为航路点轨迹，8架无人机的轨迹用8种不同颜色标示，以示区分；右侧各网格单元的颜色表示访问间隔的大小，偏向绿色则访问间隔越大，偏向红色则越小。

(a) 扫描法

(b) Lèvy游走法

(c) 信息素法

从图14可以看出：扫描法访问间隔分布较为均衡；信息素法大多数网格的访问间隔处于较低水平，少部分网格较大；Lèvy游走法的访问间隔分布跨度非常大，且少数点极大。因此Lèvy游走法的平均访问间隔和最大访问间隔都最高。信息素法的平均访问间隔最低，但当无人机数目较少时，受少部分网格的影响，最大访问间隔较高；随着无人机数目的增加，少数网格大访问间隔的影响减弱，最大访问间隔逐渐低于扫描法。

然而，三种航路访问间隔的较大差异并没有使海盗袭击成功率产生同等程度的差异。这是因为不同方法访问间隔的差异与海盗出现的间隔时间相比很小，不足以显著改变海盗袭击成功率。因此，对于反海盗侦察这一大区域、长时间、低目标密度的区域覆盖侦察任务，在相同无人机数目下，仅通过改进航路规划方法来降低访问间隔，是难以显著提高目标发现概率的。

5 结 论

(1) 针对复杂任务场景下无人机集群自组织侦察的特点，以一个反海盗侦察的任务场景为例，提出了一种面向集群自组织侦察的作战建模与仿真方法，并通过仿真算例验证了该方法是可行的。

(2) Lèvy游走航路侦察的平均和最大访问间隔都高于另外两种航路侦察；信息素航路侦察的平均访问间隔最小；当无人机数目较少时，扫描航路侦察的最大访问间隔最小，反之则信息素航路的最大访问间隔最小。自组织航路对中断航路侦察的动态事件的适应性更强。

(3) 当无人机数目较少时，三种航路侦察的海盗袭击成功率差异不大，反之则Lèvy游走航路劣于另外两种航路。仅当无人机数目在10架左右时，信息素航路才比扫描航路有明显优势。对于大区域、长时间、低目标密度的区域覆盖侦察任务，在相同无人机数目下，仅通过改进航路规划方法来降低访问间隔，难以显著提高目标的发现概率。