无人水下航行器编队控制研究现状及技术综述∗

杨 洋 王 征 胡致远 尹 洋

（海军工程大学电气工程学院 武汉 430033）

1 引言

无人水下航行器（UUV）是一种小体积，具有良好操纵性，能搭载各种传感器和强续航力的水下移动载体，无人乘坐、成本低的特点使其可以服务于海洋科技、海洋军事和海洋经济等不同领域［1］。随着对UUV的技术研究逐渐成熟，多智能体协同执行任务已经成为UUV发展的必由之路。相较于单体UUV，集群运动控制的优势显而易见，比如更高的可拓展性与稳定性、更强的鲁棒性等［2］。

UUV集群系统在作业时常以编队形式移动，这对其编队控制提出了较高要求。多UUV的编队控制是指在多艘航行器抵达目的地的过程中受到环境中多种约束条件的限制基础上保持某种特定的队形行进的控制技术，其必要性主要由目标搜索、地形勘探等覆盖性的任务要求以及队形中UUV之间信息交互的便捷性所体现。

在集群系统中，编队航行相较于随机分散航行又具有以下优势：

1）更高的资源利用率；

2）有效抵御多个方向的威胁，增强安全性；

3）大大降低集群成本；

4）具有较高的可靠性和生存能力［3］；

5）增强集群的搜索力，提高搜索任务的发现概率［4］。

目前，受阻于特殊的海流、近水面海浪等水下干扰和恶劣的水下通信条件，前期发展较为完备的空中无人机编队控制理论无法直接运用于UUV集群系统，这一方面限制了UUV编队控制的迅速发展，另一方面也激发了国内外学者的科研热情，改善已有成果或者探索全新理论，用于解决水下无人系统的特殊难题［5］。

本文将从编队的国内外应用成果、任务类型、关键技术和研究展望等方面，在理解UUV集群研究现状的基础上，系统总结UUV集群编队控制的研究进展，以期为日后UUV集群技术的发展提供参考与思路。

2 国内外应用成果

2.1 国外应用成果

自20世纪60年代第一台UUV诞生以来，其控制技术已经过了明显的发展，集群编队控制领域也在近几年大放异彩［6～7］。国外UUV编队控制现有研究成果由美国领军，葡萄牙、英国等紧随其后，均已取得了长足的发展。

自主海洋采样网络（Autonomous Ocean Sam⁃pling Network，AOSN）由美国海洋研究局资助，多水下滑翔机系统运转实现，其搭载的多种传感器可同时完成多深度层次的海洋参数采集任务［8］。该项目下AOSN-II子项目采用了一组五种类型的水下滑翔机构成自适应采样网络编队行进，采用利于结构调整的队形控制策略，系统中每个成员机器人各得其所，利用适配传感器在蒙特利尔海湾进行了约30天的海洋数据采集试验，任务中涉及的参数包括温度、深度、盐度、叶绿素等数据，并将这些数据在编队成员之间，下位机与上位机之间进行传输处理。

英国由Nekton研究机构牵头开发了一种水下多智能体平台（Underwater Multi-agent Platform，UMAP），它由四台低成本、可操纵性强的小型AUV及其配套软件构成。日渐成熟的UMAP现可以开展分布式搜索算法、海洋学调查、编队控制等相关研究，并已被用于美国Sandia国家实验室开发的多智能体合作热流柱定位算法，以及用以绘制北卡罗莱纳州海岸线上纽波特河口湾一带的盐度移动情况［9～10］。UMAP已成为UUV编队系统可完成多种类型使命任务的典型案例。

图1 三台水下滑翔机编队示意图

美国国防高级研究计划局（DARPA）自2009年开始就已在着手部署网络协同无人水下航行器（CNAV）系统，它通过一定数量的UUV在共享水声网络中互相发送数据，进行水下目标的探测、定位、跟踪任务，同时能减弱因目标位置、战斗因素和环境条件的变化引起的干扰，如图2所示。结合使用具有固定的被动声纳节点后，该系统将应用在分布式敏捷猎潜系统（DASH）中，用于广阔海域搜寻检测作战对象。通过该技术，水下无人系统的自主控制等级将向7级（多机编队控制、航路重规划、指挥、执行重规划战术）发展［11］。

图2 CNAV项目示意图

为了协调处理多无人水下航行器系统，法国、意大利等五国多家科研机构在欧盟第六框架计划（6th framework programme of the European Union，FP6）的资助下创建了GREX研究项目［12］。该项目开发的技术较为通用，可通过接口连接到已存在的异构系统，同时其足够的鲁棒性可用以解决故障通信等引起的问题。GREX项目核心研究包括了“异构多水下无人系统在未知环境中的协调控制研究”在内的多项成果。最后阶段的一系列海上试验于2019年底完成，最终目的是验证异构AUV集群系统的操纵理论，其第二步便测试了编队机动任务，该过程与带有时变形成模式的协调路径跟随任务相同。AUV在部署后四散成编队队形，并在无冲突的前提下计算出抵达终点的路径，顺利完成了多AUV系统的编队行进试验。

图3 四台AUV协调转弯的GPS轨迹

观测系统仿真实验（Observing System Simula⁃tion Experiment，OSSE）项目作为由美国国家科学基金会资助的海洋观测站计划（Ocean Observatories Initiative，OOI）的先期启动项目，主要的研究内容共涉及到四个方面，其中三项是关于多UUV使命规划与编队协调控制的研究［13］。截止2009年底，针对多UUV仿真平台的调试工作已然完成，并且在2010年中大西洋海湾进行的多滑翔式水下机器人试验取得了令人瞩目的成绩。

在欧盟第七框架计划（7th framework pro⁃gramme of the European Union，FP7）的资助下，由德国、意大利、法国、葡萄牙及西班牙的相关科研机构在2016年联合完成了名为“海洋机器人系统的自组织与基于逻辑的节点连接”（Marine robotic sys⁃tem of self-organizing，logically linked physical nodes）的研究项目，简称MORPH。该项目旨在为严苛海洋环境下的海底探测与标图提供有效的方法和工具，并在2012年～2015年间完成了多次海上试验。MORPH项目集成现有的多个AUV并设计了适用于协同作业的体系结构和通信系统，在此基础上研究了多AUV系统的协调编队控制［14～15］、协同定位与协同导航问题。图4为MORPH海试场景。

图4 MORPH海上试验

2.2 国内应用成果

国内在UUV集群编队控制研究方面虽然起步较晚，且以仿真研究为主，但在哈尔滨工程大学、北京航空航天大学机器人研究所、中国科学院沈阳自动化研究所等组织的带领下正在迎头赶上，近些年已取得了丰硕成果，较为典型的成果包含UUV编队反水雷、监视敌对潜艇、水下目标搜索等任务。

哈尔滨工程大学的学者们早年已初步开发了多智能体系统协调路径规划的仿真环境以及多UUV系统的实物［16］。而后在这一套平台系统的基础上进行了双UUV编队航行试验，但由于前期研究的不完备性，该试验未能深入探讨可实际应用的体系结构和控制策略［17］。从结果上来看，这次实验完成的UUV设计和多UUV系统搭建工作为以后更为完善的集群研究打下了坚实的基础。

2014年～2015年，哈尔滨工程大学的水下机器人技术重点实验室综合考虑海洋环境与可用设备因素，合理选取了威海老港和荣成西霞口附近海域，利用三台AUV完成了一系列异构多AUV系统的协调控制海试［18］。该系列试验分别验证了水声通信设备的通信性能、制导-控制系统的设计可行性，以及协调路径跟随、目标跟踪、基于行为的编队控制算法的有效性。试验过程中虽未考虑和处理领航者失效的极端情况，但妥善解决了水声组网通信系统出现的故障，转而采用无线电开展水面编队航行以模拟水声通信［19］。图5为基于路径跟随的多AUV编队控制海试场景。

图5 基于路径跟随的多AUV编队控制海试

鉴于UUV编队在水下网络中心战（UWNCW）中的运用已经有相当的局限性，王圣洁等将人工智能引入UUV编队控制，设计了一种潜艇与AUV相结合的协同编队系统，并详细分析了系统的优点及其复杂性，针对系统控制体系结构及决策问题等关键技术进行了研究探讨，对系统在突发威胁情况下的航迹规划过程进行了仿真，仿真结果表明潜艇与智能UUV协同系统能够有效地实现避障并能躲避突发威胁，显著提升了整个系统的应急能力［20］。

2014年中国科学院沈阳自动化研究所的机器人学国家重点实验室研究团队在基于无线通信的多AUV编队湖上试验的基础上，接续开展了基于水声通信的AUV编队试验［21］。试验采用了研究所研制的便携式AUV——“探索100”，可搭载温盐深仪、侧扫声呐、DVL等传感器，并加装了水声通信机模块，以便编队成员交换信息。试验任务设计为两台AUV成“一”字型，按照预定轨迹编队行进，编队过程中通过水声通信机交互信息，实现队形保持。最终编队成员在动态平衡中完成了试验任务。图6为队形生成过程中的AUV成员。

图6 队形生成中的AUV

综合比较国内外应用成果可以得出结论：多UUV集群系统的研究越来越受到众多专家学者的重视，而编队控制作为集群运动控制的重要一环，在主要项目成果中从未缺席。近二十年以来美国众多相关机构已将UUV编队控制应用于各大集群项目中，在世界各地均有部署其水下勘测与数据采集系统设施。欧盟国家借助其框架计划，在多UUV编队控制领域也有了长足的发展。而国内的UUV编队控制研究起步晚于国外，从理论仿真转入海上试验阶段的时间也并不长，但目前正在已构建好的试验系统基础上加速发展。

3 技术研究现状

多UUV系统编队控制的研究受到单体UUV自身结构与软件设计、UUV成员之间通信质量、系统体系机构等多方面影响，控制架构层次较多。在实际研究过程中，通常将UUV编队控制问题解耦为单体UUV路径跟踪控制子问题和多UUV队形控制子问题。编队任务的解耦分层为理解控制架构和将编队控制用于完成水下实际任务提供了极大便利，同时大大简化了研究流程，降低了科研难度。

3.1 路径跟踪控制

UUV的路径跟踪控制是指单体UUV从给定初始状态开始运动，在某一光滑路径上运行其路径跟踪控制器，并在其持续激励下完成跟踪任务。系统中每台UUV均包含一个独立的路径跟踪控制器，以实现UUV实时位置与期望路径位置误差为零的目标。路径跟踪任务的提出是基于单体UUV角度的，在集群领域属于微观层面。路径跟踪控制随着UUV控制技术的发展已经有了相当丰硕的研究成果。

2000年文献［22］首次证明了UUV实现路径跟踪控制的等价条件为控制UUV的艏向角速度，使得UUV的速度向量与路径曲线的切线方向相一致且向量大小相等。侯恕萍等［23］研究了海流干扰下多UUV的空间曲线路径跟踪控制问题，针对单个UUV的路径跟踪控制，基于Lyapunov稳定性理论设计了一种海流观测器来估计未知恒定的海流速度，并利用LaSalle不变集原理对路径跟踪子系统的收敛性进行了分析。文献［24］基于Lyapunov直接法和反步法设计了编队成员的位置和航向跟踪控制器，并考虑了质量矩阵中非零非对角线项和未知流体动力阻尼项的影响。边信黔等［25］在单个UUV的路径跟踪控制中引入视距导航（Line of sight guidance）算法设计路径跟踪控制器，使得跟踪误差渐近收敛到零。

单体UUV路径跟踪控制器的设计大多基于级联系统理论，在以速度和姿态角为虚拟控制变量设计UUV运动学控制器的基础上，使用backstepping的递推方法结合UUV动力学模型设计动力学控制器［26～27］。但由于UUV路径跟踪控制处于单体研究层面，且仿真设计思路较为单一，本文不再赘述。

3.2 队形控制

多UUV队形控制是指编队系统内UUV根据其他成员的状态，调整自身速度、航向、位姿以达到多UUV协调编队航行的控制技术。队形控制任务是在多个UUV协同进行任务的情况下提出的，在集群领域属于宏观层面。由于UUV的集群编队概念提出较晚，该任务目前也是一众学者攻克研究的主要方向，如何实现智能化是其重点，融合多种已知算法或开发新算法已成为主要解决途径。

边信黔等通过引入代数图论知识，得到多个UUV复杂网络通信拓扑的数学表达，根据通信得到相邻UUV的状态来调整自身的航速，设计协调控制器，使得多UUV沿期望路径的位置和速度在规定队形下达到一致，实现多UUV间的协调，而不影响空间域上的路径跟踪性能［28］。文献［29］将队形控制器设计过程分解为运动学控制和动力学控制：运动学控制部分实现动目标跟踪、UUV间避碰及UUV偏航角误差为零的控制目标；动力学控制部分应用反步法设计实际的控制输入。队形控制器的控制目标是在多UUV编队跟踪并围捕动态目标过程中，避免UUV成员之间，UUV与障碍物以及UUV与目标之间的碰撞并以稳定的编队结构围捕动态目标。

在已有的UUV集群控制技术中，队形控制算法一直是国内外学者研究的重点、焦点。主流的UUV队形控制算法涵盖了人工势场法、领航者-跟随者法、虚拟结构法、基于行为法、强化学习等方法。多UUV队形控制中的关键技术包含队形生成、队形保持、队形重构与协同避障［30］。

人工势场法最早由Khatib在1985年提出［31］，其指导思想是将智能体在外界环境中的运动拟作在一种虚拟势场中的运动，该势场中的目标点对智能体施加引力作用，障碍物和其他威胁施加斥力作用，智能体在两种虚拟势场力的合力中产生加速度而运动。文献［32］在主从式编队形式下，将自组织神经网络（SOM）和人工势场法结合起来进行队形控制设计，综合互补了SOM的自适应性和人工势场法的避障可行性优势。文献［33］在二维空间中使用人工势场法用于路径规划和协同避障，同时考虑了机器人移动空间的边界斥力。同时有研究将人工势场法与虚拟领航者法结合，设计人工势场用于编队控制，虚拟领航者作为编队领导者用于队形生成。二者结合使编队控制在保证简单结构的前提下增强了系统的可靠性［34］。人工势场法易于实现，能有效解决队形重构与协同避障问题，但也存在势场函数较难设计和易陷入局部极值的缺点。

领航者-跟随者法是UUV集群编队控制中最常用的算法之一，其思想是将UUV编队中的某一成员定义为领航者，其他成员作为跟随者，领航者运行其路径跟踪控制器，跟随者根据相对于领航者的位置误差与速度误差进行编队控制［35］。为了使跟随者能够更好地跟踪上领航者，李娟等利用领航者的位置与速度信息进行编队控制器设计，增加系统的鲁棒性的同时，分别对跟随者的纵向速度误差和横向速度误差进行了积分滑模面的设计［36］。李娟等还提出了一种AUV路径控制和编队协调控制相结合的新型编队控制器，在路径跟踪控制基础上，编队协调控制器将领航者与跟随者的位置误差控制转化为跟随者的速度误差控制，使跟随者能快速达到期望位置，从而使所有AUV实现期望的队形并保持［37］。薛多锐基于虚拟领航者的编队控制策略，在有向通信拓扑下，结合欧拉一拉格朗日误差系统无源性提出了一种基于领航者-跟随者的制导-控制结构多AUV编队轨迹跟踪控制方法［38］。但是领航者-跟随者法的缺陷也显而易见：领航者较难得到跟随者的速度、位姿等信息；领航者与跟随者相对独立，一旦领航者出现故障或与跟随者失去联系，UUV编队系统将无法正常运行——故其鲁棒性与系统可靠性往往不强。针对该缺点，有研究提出了建立虚拟领航者的观点，即领航者作为一虚拟参考点参与编队控制。其优势在于，领航者是虚拟的，因而不会影响整个系统的性能，明显提高系统的可靠性，且更容易实现分布式的控制结构［39～40］。

基于行为的控制方法即将UUV的协调编队控制器分解为若干简单的子行为，包括但不限于向目的地移动、保持队形、协同避障。通过对各个UUV子行为的控制即可完成对UUV集群的编队控制。文献［41］探讨了基于行为的方法在未知环境中执行编队控制任务的多个移动机器人的路径规划中的应用。根据任务和环境，采用五种原始行为，设计了一系列的生成函数来生成行为组合的控制参数。由于可以根据当前情况调整这些功能的输出，因此机器人可以通过合理地组合行为来实现运动策略，从而提高了对环境的适应性。而对于各个子行为的处理，可采用两种方法：一是Brooks的行为抑制法，即同一时间点UUV的子行为仅进行一种，不同子行为无法同时运行；二是Arkin控制变量的矢量累加方法，即同一时刻多种子行为可通过自定义的权重进行矢量相加，UUV进行复合行为的运转。显然，前者每一时刻的控制行为较为精确，但控制任务并不平滑且任务完成时间较长；后者在各个子行为之间容易出现干扰，但完成任务速度较快，且平滑衔接。

虚拟结构法的主要思想是将UUV的编队模拟为一个虚拟的刚性结构，移动时该结构中每台UUV成员的相对位置固定，并参照虚拟结构的几何中心设计路径跟踪控制器，该方法由Lewis等最早提出［42］。袁健等［43］基于虚拟结构思想采用坐标变换将各AUV相对于虚拟领航者的相对位置转换为各自的期望位置，并设计了一种有限时间跟踪控制律以确保各AUV能在有限时间内跟踪上其期望轨迹，从而实现了多AUV的小尺度有限时间编队控制。文献［44］提出了虚拟结构和虚拟领航者相结合的队形控制方法，利用队形向量实现UUV编队的队形保持和队形变换。虚拟结构法优点在于仅通过虚拟结构的中心点就可以进行编队控制的路径设计，便于完成队形生成，但由于其刚性的结构，算法的灵活性并不高，不适合用于解决协同避障与队形重构。

强化学习的概念最早由Minsky在20世纪60年代提出的［45］。随着UUV集群产业的快速发展，如何将强化学习应用在UUV编队系统中得到了各路学者越来越多的重视。强化学习是在环境激励中不断强化或弱化使用某种行为策略的可能性，无教师信号。虽然针对编队控制的强化学习研究还未完全将目光转移至UUV控制领域，但强化学习方法仍然将是UUV编队控制的重要发展方向。徐健等［46］设计了一个用于UUV集群的强化学习算法研究平台，其强化学习模块读取环境仿真模块参数后进行强化学习的训练，输出集群系统的行为策略，并将得到的策略结果传输给每一个UUV成员的任务处理模块，完成集群动作，包含了编队控制。文献［47］设计了一种基于代价函数的新型强化学习方法，可以集中式端到端方式训练分散策略，其采用了一种将每个智能体联合行为值估算为仅基于本地观测条件值的非线性组合的网络，联合行为值在各智能体中均单调，这保证了离线学习中联合行为值的易处理性最大化。李波等［48］提出了一种基于分层强化学习及CMAC神经网络的多agent动态编队方法，在多agent动态编队中引入“抽象机制”把任务分为三个层次，其次利用CMAC神经网络可以作为状态泛化方法和分层强化学习中的Q-学习方法相结合，加快算法的学习速率。强化学习作为当今热门的领域之一，其迅猛的发展将改变UUV编队控制研究的现状。在有足够的环境交互数据的前提下，强化学习可以提供十分完善的UUV编队解决方案，适用于解决所有的编队控制关键技术。

4 结语

本文从UUV编队控制的国内外应用成果、技术研究现状和研究展望等方面，在理解UUV集群研究现状的基础上，系统总结了UUV集群编队的研究进展，为日后UUV集群技术的发展提供了参考思路。

近些年来UUV的编队控制研究虽已经过多年研究，目前却也存在多处可以展望的前进方向。

1）前人的研究，特别在国内，大多基于理论层面，各类文献中记载海上试验过程较少，仅有仿真验证，而无实物考察。而在实际任务中，海洋环境复杂多变、测距和测向传感器的精度通常较低、水声通信也有可能出现误码甚至中断，这些非理想因素均可使常规编队控制算法失效。对于UUV编队的研究，最终目的都应是实现其实用性，这是编队控制的必经之路。

2）在实用性的思想前提下，UUV编队结构必将是异构的，以便编队系统完成更为复杂的任务。而现有文献大部分停留在对同构系统的解析，异构系统编队控制仍有空缺。有必要针对异构UUV集群系统设计其编队控制算法。

3）本文所引用的文献大多在编队任务解耦之后将几种算法改进或结合，而对于新兴算法的研究尚少。目前UUV编队控制算法的使用主要集中于使用飞行器编队控制算法的移植或者将传统编队控制算法进行改进，鲜有提出UUV编队控制的全新算法。新颖算法的空缺，势必将激起各学者的研究热情［49～50］。