水下羽流追踪方法研究进展

徐雪寒, 孟庆浩, 刘科显, 井 涛

水下羽流追踪方法研究进展

徐雪寒, 孟庆浩, 刘科显, 井 涛

(天津大学电气自动化与信息工程学院 机器人与自主系统研究所, 天津, 300072)

水下羽流相关研究在海洋资源开采及环境保护等方面有着重要意义。文中围绕水下羽流扩散建模与追踪方法研究, 对现有相关研究成果进行归纳, 从基础、方法以及应用等角度, 总结了水下羽流追踪的研究进展和发展趋势。全文包括4部分: 1) 介绍水下羽流分类和羽流追踪的应用背景; 2) 从扩散模型和仿真平台2个方面梳理羽流扩散建模的研究现状; 3) 将现有水下羽流追踪方法分为反应类方法、概率估计类方法和强化学习类方法3类, 对各类方法的研究进展进行归纳; 4) 讨论了水下羽流追踪研究未来的发展趋势。通过对已有研究成果进行总结, 为水下羽流追踪的进一步研究提供参考。

水下羽流; 扩散建模; 羽流追踪

0 引言

近年来海洋科技突飞猛进, 取得了日新月异的进展。在海洋资源开发及环境保护等方面, 以更有效的方式探测和追踪水下羽流具有重要意义。水下羽流种类繁多, 各种羽流都具有特定的物理、化学和生物学特性, 以及变化显著的特征时空尺度。

深海热液、冷泉、海上石油泄漏以及污染废水都是典型的水下羽流。热液和冷泉是孤立而独特的生态系统, 是研究地质过程的关键元素, 也是深海潜在的矿产资源[1-5]。石油泄漏和污染废水则对人类和海洋生物有直接的致命影响[6-7]。水下羽流追踪指水下机器人根据传感器检测到的羽流信息, 进行羽流源追踪(羽流溯源)和羽流分布构建(羽流建图)的相关研究。在广阔海洋环境中, 扩散源释放物质形成的水下羽流是进行目标资源和污染物搜索的重要依据。追踪羽流定位源头, 确定羽流的分布及边界, 有助于人类开发深海资源和应对海洋污染物扩散。

由于水下环境复杂、实验成本较高等原因, 羽流追踪研究最早在空气中展开[8], 基于移动机器人对空气中的气味源进行定位, 即“主动嗅觉”研究[9]。文献[10]～[13]围绕空气环境主动嗅觉研究, 从算法实现角度对主动嗅觉进行总结, 反映了气体羽流追踪研究的发展趋势。

现有关于水下羽流追踪方面的综述文章主要针对某种特定的羽流展开, 如石油泄漏、冷泉热液等。Ji等[14]总结了针对侵入层中水下石油的形成、检测和建模方法, 为了解水下石油形成机理及在溢油响应过程中更好地跟踪水下石油羽流提供了理论支撑。韩同刚等[15]介绍了冷泉和热液2种常见的海底羽流, 系统分析了不同的海底羽流探测方法及其适用性, 对海底冷泉和热液羽流探测方法选择具有指导意义。马媛媛等[16]统计了全球多个热液喷口流体样品中的硫化氢浓度数据, 分析了其浓度的影响因素, 并综述了采样及探测技术的研究进展, 指出海底原位探测具有广阔的发展空间。

由于气体羽流追踪与水下羽流追踪在扩散环境、追踪平台、传感器以及目标物等方面的不同, 二者羽流追踪算法的侧重点也不同。已有的羽流综述文章主要围绕气体羽流追踪及源定位进行总结, 关于水下羽流追踪的文献综述研究仅针对特定羽流对象开展, 缺少对水下羽流追踪算法的全面总结与分析。近些年学界在深海热液追踪、冷泉探测、石油泄漏等方面开展了丰富的应用研究, 因此对水下羽流追踪算法的整体研究进展和现有成果进行整理分析, 对未来研究方向和趋势进行讨论是十分必要的。

随着水下羽流研究的多样化以及追踪算法的多样性, 需要对其进行较为全面的归纳和总结。文中立足于水下羽流追踪方面的研究成果, 对常见的水下羽流目标物及其对应的传感器进行总结, 并对水下羽流追踪的建模方法和仿真环境进行归纳, 从算法原理的角度对水下羽流追踪算法进行分类与总结, 可为进一步的研究提供参考。

1 水下羽流追踪基础

1.1 概念介绍

羽流主要指从孔口流入比孔口尺度更大的流体空间的一股流体, 其全部周界都是流体[17], 因此可被理解为“一种流体在另一种流体中移动”。羽流具有随空间和时间演变的动态特征。羽流的起始惯性力与浮力相比较小, 进入层流环境后, 主要靠浓度梯度使其进一步运动扩散; 进入湍流环境后, 在水流的作用下主要以湍流扩散为主。其扩散物形似羽毛漂浮在水中, 故得名羽流。

1.2 水下羽流分类及探测技术

水下羽流种类繁多, 针对不同的水下羽流类型, 概括了其特点和相应的探测技术如下。

1) 深海热液

深海热液指由海床裂缝喷出的地热热液, 表现为携带化学物质的上升流体, 与周围环境发生反应后冷却、混合, 并在海底上方一定距离处水平扩散, 形成热液喷口羽流[18]。深海热液喷口蕴藏着丰富的矿产资源, 寻找活动热液喷口是勘探多金属硫化物矿床最直接的方法[15, 19]。常用的热液探测技术如表1所示。

表1 常用热液探测技术

2) 海底冷泉

海底冷泉是由于地层压力或构造活动造成的海底液体渗漏现象, 气体羽流是冷泉的重要指示标志。气体通过断层、裂隙等运移通道进入海水后, 会以气泡的形式向上运动, 形成海底冷泉羽状流[20]。海底冷泉羽流是海底活动冷泉最直接、最确切的表现形式[21]。海底渗漏的冷泉气体改变了海底沉积层的物理性质, 除了利用可视化方法进行直观观测, 还可以基于声呐和地震探测等声学方法根据不同的声学响应特征来探测海底冷泉羽状流[15]。常用的冷泉探测技术如表2所示。

表2 常用冷泉探测技术

3) 石油泄漏

发生石油泄漏时需要快速确定石油羽流的扩散范围, 以评估和降低对环境、植物、动物、海洋食物供应和沿海人口的损害[22]。溢油事件会对生态环境构成严重威胁, 如果不及时采取有效措施将造成不可估量的损失。常用的溢油检测技术如表3所示。

表3 常用溢油检测技术

4) 污染废水

排放进水域中的污染废水包括酸性/碱性废水、含氰/铬/镉/汞废水和放射性废水等[23]。根据废水羽流搜索污染源头对监测水体污染、评价水质状况等环保工作具有重要意义。常规的水质监测方法为取样后进行理化技术检测, 包括原子吸收分光光度法、离子选择电极法、离子色谱法、气相色谱法及等离子体发射光谱法等[24]。传统的自然示踪剂(盐度、后向散射)无法在离排水口较远的情况下保持羽流特征, 通常只在近场进行研究。Rogowski等[25]通过实验证实了自然羽流示踪剂——色溶性有机物绘制羽流特征的可行性。

1.3 水下羽流追踪应用

水下羽流追踪不仅在环境监测与保护、事故应急方面有重要应用, 而且在羽流建模、资源搜索等方面也具有广阔的应用前景。从20世纪90年代开始, 水下羽流追踪成为一个热点课题, 其核心研究内容是机器人自主追踪羽流的策略和相关算法。通过分析国内外的相关研究, 追踪水下时变羽流的主要应用有2个方面: 一是绘制目标物的二维边界[26-27]或三维结构[28], 即水下机器人利用获得的羽流示踪物检测信息和流速流向信息, 自主进行羽流探测任务以高效地获取其时空分布信息; 二是搜索源位置[29-30], 即水下机器人利用自身携带的传感器检测环境信息, 如海流流速、流向以及羽流示踪物强度等信息, 自主进行在线决策、路径规划, 自主搜索环境中的羽流信息, 找到羽流后根据追踪策略到达羽流源头位置并对源头进行精确定位。

1) 羽流分布建图

由于水流的时变特点, 导致水下羽流扩散呈现一定程度的间歇、蜿蜒特点。羽流分布建图指的是通过对环境羽流示踪物浓度的离散采样, 获得示踪物的稀疏分布信息, 进一步利用重建算法构建对应区域的示踪物浓度分布图。羽流分布建图是一个时空变化分布估计的问题[31], 主要应用于海洋污染评估方面, 如评估石油泄漏、赤潮藻华以及核污染的污染程度等。通过分布建图可以确定目标物的污染范围及程度, 有助于海洋环境治理任务的开展。

Cannell等[26]基于传感器信息在线规划策略, 采用梳状路径对羽流的剖面和边界进行在线测绘。通过自主水下航行器(autonomous undersea vehicle, AUV)自适应地沿羽流边界曲折前进, 可绘制核电站冷却水羽流分布图, 并跟踪羽流边界。

2010年美国墨西哥湾原油泄漏之后, Camilli等[32]采用Z字形羽流跟踪方法, 利用Sentry AUV探测和跟踪了墨西哥湾马孔多油井泄漏的水下石油羽流路径。质谱仪收集了沿途的碳氢化合物浓度数据, AUV利用Z字形跟踪法在水下1 120 m检测到了碳氢化合物峰值。通过多次动态任务分配, AUV绘制了三维天然气(甲烷)羽流图。

Gildner等[33]提出了一种自主采样策略, 采用自适应样带、传感器融合和在线估计等手段, 自动绘制喷流场和羽流的边界和范围。该研究还通过任务主导操作系统(mission oriented operations suite, MOOS)建立的仿真环境对该策略进行了验证。

Kukulya等[34]开发了一种用于“寻找最大值”的自适应羽流映射算法。该算法将AUV的深度设置为上下浮动, 并定义最小和最大搜索深度, 以便发现羽流所在的“层”。每当AUV检测到一个新的最大值时, 它会保存位置和深度。该算法通过现场试验验证, 可以应用到石油羽流和环境异常检测与建图方面。

2) 羽流溯源

羽流溯源指水下机器人根据获得的环境羽流信息, 通过追踪环境羽流最终确定羽流源的位置。如1.2节所述, 水下羽流一般来自某种释放源/泄漏源, 通过追踪水下羽流, 可以实现对其源位置的实时定位。具体的羽流溯源追踪方法及成果在第3章进行介绍。

2 水下羽流扩散建模方法

扩散建模是关于构建扩散源释放的扩散物质在环境中扩散过程模型的研究。扩散模型描述了扩散物质在目标环境中随时间变化的分布状态。基于扩散模型, 可以实现对扩散过程的计算机仿真, 为扩散源定位等应用提供信息。

2.1 羽流扩散模型

气体羽流扩散和水下羽流扩散在扩散建模上并没有显著差异[35]。尚未有相关研究针对特定羽流类型进行扩散建模, 并将之用于溯源算法中。目前, 关于水下羽流溯源的应用研究, 暂时是使用通用的气体/液体羽流扩散模型进行溯源算法设计。以下对几种空气和水下常用的羽流扩散模型进行介绍。

1) 高斯羽流模型

高斯羽流模型是最常用的扩散模型, 也是一个高度简化的模型。高斯模型中羽流浓度从源位置所在轴线向外递减, 浓度呈现高斯分布, 从而可得出羽流的时均浓度分布。但该模型仅能表征羽流的静态特征, 无法体现羽流的蜿蜒性等瞬时结构, 仅适用于湍流程度较小的流体环境, 与实际动态羽流差别较大[36]。

2) 细丝模型

细丝模型由Farrell等[37]提出, 其假设羽流由许多细丝组成, 将细丝作为羽状流的基本单位, 通过羽流细丝的运动来描述羽流的扩散分布。为了提高模型的计算效率, 将时均纳维-斯托克斯(Navier-Stokes, N-S)方程进行简化, 用于计算细丝位置的平流速度, 将细丝运动视为流体内扩散运动和随流体平流运动的叠加, 以反映羽流的瞬时结构。通过将得到的仿真数据与真实数据进行对比, 证明了该仿真模型的有效性。但由于细丝模型对N-S模型进行了过多简化, 导致该模型对流场模型的描述不够准确, 不适用于对复杂场景的扩散建模。

3) 格构羽流模型

Balkovsky等[38]提出的格构模型利用气味包作为羽流的基本单位。格构模型中搜索区域被离散化为边长为1的正方形网格, 单位时间内气味源释放1个气味包, 其在流场中的速度与风速相同, 风速只能取(-1, 1)、(0, 1)和(1, 1)3个离散值。在单位时间内, 气味包选择1个风速值, 并分别在和方向移动相应的距离。该模型虽然能够模拟羽状流内部浓度的间歇特性, 但是流场和羽流运动模型都过于理想化, 与实际情况存在较大差距[39]。

4) 计算流体力学模型

随着计算机计算能力的不断提高, 计算流体力学(computational fluid dynamics, CFD)方法成为研究各种复杂环境下流体动力学的可行工具[40]。CFD方法通过数值求解某一形式的三维N-S方程实现。根据计算的尺度范围, CFD模型可分为三大类, 即雷诺时均化求解N-S方程模型[41]、大涡模拟模型[41]和直接数值仿真模型[42]。CFD模型在流场求解方面更加准确, 但目前都是使用连续相模拟羽流, 不能体现出羽流的间歇性, 且计算量大, 难以应用到实时的羽流跟踪中。

2.2 羽流追踪仿真平台

水下实验成本较高, 而且水域流场时变不可控, 不易复现, 难以进行大量重复性研究。得益于仿真技术的发展, 仿真平台可以为水下羽流追踪研究提供可重复的羽流扩散环境, 具有较好的适应性, 可以对不同算法进行对比验证, 减少追踪算法的开发周期, 降低实验成本。用于羽流扩散建模的常用商业软件有ANSYS FLUENT[43]、MATLAB[44]、Delft3D和MIKE 21[45]等。随着羽流追踪研究的不断发展, 部分研究团队设计并开发了面向水下羽流追踪的仿真平台, 用于算法验证。根据这些仿真平台所模拟环境的特点, 可以将其分为二维仿真平台和三维仿真平台。

1) 二维仿真平台

二维仿真主要是针对非浮力羽流(如石油泄漏形成的羽流), 不考虑垂直方向流场对羽流的影响, 简化了羽流垂直方向运动的建模。

Gildner等[33]为了实现水下机器人对射流羽流的采样, 基于MOOS建立了一个二维模型, 该模型包含了由量纲、长度尺度分析和经验研究得出的扩散规律、中心线衰减规律和轨迹规律。其采用模拟退火参数估计方法将模型与历史数据进行拟合。模型能准确地复现羽流的输运方向、强度和扩散形态。该模型以C++库形式实现, 可以与各种MOOS应用程序集成。

纠海峰等[46]通过流体方程对湍流环境下的输运速度进行求解, 利用细丝模型建立了羽流的浓度模型。利用VC++编程工具, 建立了100 m× 100 m范围的二维羽流动态仿真平台。通过将仿真得到的羽流与文献[47]在实际条件下测得的羽流进行比对, 结果显示两者在扩散范围和蜿蜒形态上都具有相同的特征。

Soares等[48]基于ANSYS FLUENT软件离线仿真生成了盐水流体中的淡水羽流。该研究基于MATLAB/Simulink中的机器人仿真, 使用MEDUSA车辆模型模拟水下机器人, 实现了水下机器人对淡水羽流追踪的仿真。

Branch等[49]开发了一个大尺度热液追踪仿真平台, 用于对AUV热流追踪的仿真研究。该平台利用海洋环流模式有限体积法对热液羽流扩散进行数值仿真。该仿真平台实现了对相关传感器的仿真, 以固定间隔测量环境温度、盐度、被动示踪剂强度、AUV深度和到海底的距离, 但并未对化学传感器(如氧化还原电位)和AUV的能源与数据容量等进行建模。

除了上述根据羽流扩散模型建立的仿真平台外, 部分仿真平台是依据试验数据进行建模的。Hwang等[50]根据之前2次传感器测试获得的结果, 设计了一个虚拟的油羽模型, 虚拟油羽由无数的小油滴组成, 在水中混合, 形成一个密度不同的不连续羽流。该仿真平台同时建立了AUV的运动模型与声呐成像传感器模型, 通过仿真研究对比了不同的搜索模式, 进而对其搜索能力进行了评估。

2) 三维仿真平台

三维羽流追踪仿真平台同时考虑了水平非浮力羽流与垂直方向的浮力羽流, 可实现对羽流三维追踪的仿真。密度较小的流体羽流从喷口喷出后, 在初始喷溢动量和其与周界流体的密度差作用下迅速上升, 并在上升过程中通过湍流夹带卷吸周界流体使其被稀释, 稀释后与周界流体密度相当, 其上升动量减小为零后停止上升, 这一阶段的羽流即为浮力羽流[51]。

Han等[52]基于细丝扩散模型, 提出了一个简化的三维热液羽流仿真模型。该模型建立在简化的三维N-S方程基础上。这种简化不能满足非浮力热液羽流的物理特征, 但可以用较少的计算资源计算并显示羽流形状特征。

Sutton等[53]基于细丝模型和平流流体流模型, 通过将细丝模型扩散到三维空间, 同时集成了仿生化学羽流追踪(chemical plume tracking, CPT)算法, 设计并开发了名为CPT_M3D的羽流追踪仿真环境。CPT_M3D仿真环境同时实现了机器人模型仿真, 以及相应传感器的仿真, 同时支持对多机器人跟踪多羽流的仿真研究。

Tian等[54]开发了一个包含AUV动力学仿真、流场仿真和化学羽流仿真等模块的深海热液羽流追踪仿真平台。该平台通过龙格-库塔法求解AUV的运动方程, 采用简化的湍流平均N-S方程求解流场, 使用拉格朗日粒子随机游走法求解羽流扩散方程, 运用光滑粒子动力学法计算空间任意位置的热液羽流示踪物强度。该平台能较好地仿真羽流的结构特性、分布尺度以及扩散浓度等, 可以用于设计、优化和验证关于AUV水下羽流探测和源定位策略的研究。

3 水下羽流追踪方法

追踪水下羽流并对其源头定位的主要思路可以分为以下2种:

1) 基于当前获得的羽流信息做出动作反应, 研究和设计用于自主机器人羽流追踪的策略和算法, 即反应式方法;

2) 从水下羽流扩散模型出发, 利用信息学和概率论等相关领域理论, 研究和设计用于自主机器人探测羽流, 估计羽流源头位置并同时向羽流源方向运动的策略和算法, 即基于概率估计的方法。

近年来得益于强化学习和深度强化学习在机器人领域的发展, 基于强化学习的水下羽流追踪方法也成为了一个新的研究热点。文中按照反应式方法、概率估计方法和强化学习方法3类对水下羽流追踪相关研究进行分类总结。

3.1 反应式方法

反应式方法将机器人当前时刻的感知信息和系统状态作为输入, 直接得到对应的输出(下一时刻机器人的动作指令), 建立一种“感知—反应”的简单控制策略[55]。反应式羽流追踪方法的输入包括羽流浓度梯度和环境流向等信息, 通过梯度上升搜索策略或仿生策略构建从输入到动作的连接。

根据羽流所处流体环境湍流程度的不同, 可以分为低雷诺数的层流环境和高雷诺数的湍流环境。层流环境流动相对稳定, 主要由分子扩散运动形成较稳定的示踪物浓度梯度; 湍流环境下各种涡流运动导致示踪物浓度分布不连续, 呈现出间歇性的特征, 单纯依靠浓度梯度难以有效进行溯源[29]。受相应环境下的生物搜索行为的启发, 对应这2种环境的反应式算法相继被提出。文中根据算法输入信息的不同, 将反应式羽流追踪方法分为趋化算法(只输入羽流浓度梯度信息)和趋流算法(同时输入羽流浓度梯度和环境流向信息)两类。

1) 趋化算法

趋化也称化学趋向性, 是指生物趋向环境中特定化学物质的运动。趋化算法是受某些生物(如细菌)的趋化行为启发设计的算法, 根据检测到的信息素浓度梯度进行运动控制, 使机器人保持趋向浓度增大的方向(正梯度方向)。最直接的趋化方法即驱动机器人沿着羽流浓度梯度的正方向移动, 因此可以将此问题建模为化学浓度场的极大值搜索问题, 并通过梯度上升法或其他非线性规划方法求解。

羽流浓度随着羽流源的远离而逐渐衰减, 较为简单的寻源方法是沿梯度上升方向搜索。可以利用多AUV进行分布式感知估计场梯度, 以此来获取局部梯度。但部署多个AUV成本较高, 也增加了作业风险。对单个AUV来说, 难以同时得到分布的测量信息, 如Burian等[56]主要通过设计局部运动模式来获取局部梯度信息; Li等[57]则是通过在AUV上安装多个传感器来获取局部梯度信息。

细菌的搜索行为和运动适用于低雷诺数流动, 而水生生物或昆虫的行为和运动则适合中高雷诺数[58]。随着羽流的形成, 流体流动的湍流性质将羽流分成比周围流体浓度相对更高的小斑块(patches)[59]。通常细菌使用信号梯度来定位食物来源。趋化过程主要是2种行为模式的组合, 即前进和转向[60]。前进指沿固定朝向向前运动一定距离, 转向指以一定角速度转动一定角度。

Grasso等[60]受龙虾溯源行为的启发, 设计了一种基于双传感器的趋化算法, 并在水下机器人Robolobster上进行了验证。机器人头部带有1对传感器, 仿照龙虾的嗅觉感知器官, 可以追踪水箱里的盐水羽流。当2个传感器的浓度测量值有显著差异时, 转向浓度较高的一侧; 当2个传感器浓度相近时, 机器人保持向前移动以更接近羽流源。当2个传感器都检测不到羽流时, 机器人向后移动, 以保证不与羽流失去联系。这种方法具有较低的功耗和数据存储要求。

割草机算法即在搜索区域内执行往复的平行线运动, 来探测羽流信息, 可以通过改变线间距来改变测量的分辨率, 适用于较大范围内的羽流追踪, 但其存在耗时和依赖导航系统精度等局限性[62]。Burian等[56]提出了一种圆搜索算法, 即AUV首先执行一个圆搜索来估计梯度, 然后沿直线运动, 直到检测到拐点后再执行另一个圆搜索。通过改变搜索圆的半径, 可以指定AUV对梯度进行不同距离的采样。

Mason等[63]通过仿真分别对比分析了梯度上升策略、贪婪断面策略和嵌套搜索策略在热液探测方面的效果。其中, 嵌套策略下的源位置预测结果最接近真实位置, 但搜索耗时最长; 贪婪断面策略在寻找源头方面表现良好, 源定位搜索相对较快; 梯度上升策略表现不佳, 源定位精度较差, 但是搜索速度最快。

Ferri等[64]提出了一种触发螺旋勘探的机器人移动策略, 适用于羽流源定位的第一阶段勘测, 其将预设轨迹线的鲁棒性与数据驱动算法相结合, 不依赖于水流方向和强度等易产生误导和难以分析的信息。

Wang等[65]提出了一种用于AUV在水下环境中寻找热液喷口的三维化学羽流追踪算法。在追踪热液羽流的过程中, 定义了2种搜索模式。在水平搜索模式下, AUV采用由飞蛾启发的方法在水平面上跟踪羽流; 当垂直搜索模式被激活时, AUV遵循三维螺旋轨迹来检测深水区域的羽流。这2种搜索模式交替进行, 直到找到热液喷口。仿真结果验证了该算法在三维水下环境中定位热液喷口的有效性。

Ai等[66]为了避免现有方法在获取局部梯度过程中造成的多余行程, 提出了一种基于在线场估计的策略, 即利用搜索路径上采集的测量数据来更新估计的场模型, 该场模型为高斯过程的平均函数。仿真表明, AUV按照梯度法规划路径点, 并选择合适的步长, 最终会到达指示源的局部最大点。

Li等[57]提出了基于估计梯度的AUV羽流寻源策略。其在AUV上安装呈半圆形排列的传感器阵列, 以估计局部羽流的浓度梯度。基于估计梯度设计控制器, 驱动AUV向源头逼近。由于缺乏浓度场的先验信息, AUV只能在保证定位误差的情况下到达源头附近。同时还给出了定位误差的上界, 该上界取决于浓度场的分布、安放传感器半圆的半径以及传感器的个数。

当水下环境中的化学浓度梯度场相对稳定且可以被准确描述时, 基于梯度方法的效果较好[56]。然而在受湍流支配的实际深海环境中, 流体介质的湍动造成羽流细丝不断地伸展和扭曲。由于湍流的时变特点, 羽流中心线呈现出蜿蜒性和间歇性, 因此羽流浓度梯度场表现为不连续分布, 搜索到的峰值信息有可能是局部浓度最大值, 基于梯度下降法的搜索方法效果较差。

2) 趋流算法

趋流算法也是受某些生物(如飞蛾, 龙虾等)行为启发而设计的算法, 它不仅利用浓度测量信息, 同时还使用环境流向信息, 故称趋流算法。

受飞蛾等昆虫启发的趋流算法由“逆流前进”(surge)和“局部搜索”(cast)2种模式组成[67]。当检测到羽流信息时, 飞蛾逆流前进, 即surge; 当丢失羽流信息时, 飞蛾飞到没有烟羽的位置折返, 直到再次接触到羽流, 即cast。在水下湍流环境中, 检测到的羽流来源一般位于逆流方向, 而在湍流作用下羽流具有蜿蜒不连续的特性, 当发生丢失羽流信息的情况时, 需要采用局部搜索来重新获取羽流信息。

Farrell等[68-69]提出了一种基于行为的规划方法来跟踪羽流并确定其来源的位置。该方法采用了6种不同的行为, 即运动至起始点、搜索羽流、跟踪羽流、丢失羽流、重新获取羽流和确认源头, 这些行为是受到雄蛾追随信息素羽流寻找雌蛾这一行为的启发而得出的。当探测到羽流信号或在一段特定时间内探测不到羽流信号时, 就会触发丢失羽流和重新获取羽流这2种行为之间的切换。通过近海环境水下试验, 验证了该方法可以有效追踪羽流完成羽流源确认。

Li等[70]提出了一种基于行为的自适应任务规划器。当在短时间内没有探测到羽流信息时, 水下机器人以固定的偏置角逆流航行。该研究使用REMUS AUV进行了化学羽流追踪实验, 实验结果表明该算法可以获得准确度较高的羽流源位置。

Grasso等[71]用仿生机器人对不同趋流算法进行了验证, 通过实验对比了3种传感器部署策略, 即单传感器、双传感器以及结合历史刺激记忆的双传感器, 量化分析了每个策略的相对优势。结果表明, 使用结合历史刺激记忆的双传感器策略具有显著优势, 它能够判断并朝向接受羽流信息较多的方向运动, 具有更好的溯源性能。

反应式方法的本质为行为状态机器人对不同状态与信息做出对应的行为响应。该方法不引入复杂计算和历史信息, 算法简单, 容易实现, 对机器人计算性能要求较低, 在某些特定环境下可以获得较好的溯源效果; 但其对场景的依赖性较强, 趋化算法仅适用于扩散主导的层流环境, 趋流算法则需依赖稳定的、可检测的流向信息。

反应式方法具有明显的仿生特点, 即以生物行为为启发设计溯源策略, 但是由于机器人的机动性和感知能力与现实中的生物存在明显的差距, 所以此类方法难以获得与生物体相当的溯源能力。

3.2 概率估计方法

概率估计方法通过生成羽流源似然图来估计源位置, 并利用路径规划算法将机器人导向估计的位置, 即概率最高的羽流源所在区域。构建羽流源似然图的常见方法包括贝叶斯推理[29]、隐式马尔可夫模型(hidden Markov model, HMM)方法[72]和部分可观测马尔可夫决策过程(partially observable markov decision process, POMDP)方法[73]。

1) 贝叶斯推理

Pang等[29]提出了一种基于高斯羽流模型的源位置概率估计算法, 基于贝叶斯方法对不同事件概率进行融合, 以迭代更新源似然图, 并在其博士论文中对该算法进行了详细介绍[74]。

Jakuba[2]提出了一种近似递归算法, 相对于标准贝叶斯递归算法性能有所提高, 而两者计算成本相等。其后Jakuba等[75]采用了不同于经典贝叶斯的地图更新规则, 将占据栅格图中的网格单元定位为二元状态, 以网格占用或者空缺来表示羽流源是否存在, 并将羽流探测的可能性建模为羽流源与探测器之间的相对位置的函数。结果表明, 该算法能够在未知羽流源数量的环境下进行羽流源定位, 在多源场景中的表现优于经典规则。

Pang[76]提出了一种基于贝叶斯推理的羽流建图算法和基于人工势场法的搜索算法, 用于水下热液喷口的定位。该方法采用羽流细丝模型, 通过实时预测喷口位置, 不断优化水下机器人的运动轨迹, 在热液羽流中导航并定位热液喷口。

邓薇等[77]通过贝叶斯方法对羽状物源头的概率分布进行估计, 同时利用人工势场法进行羽流追踪。通过真实的水域实验验证了贝叶斯方法实时在线更新源头概率分布图的可靠性和人工势场法用于追踪的有效性。

2) 马尔可夫方法

HMM方法可以对状态的转移进行建模。羽流追踪任务可以将搜索区域划分成网格, 所有网格的状态集合(是否包含羽流)就构成了羽流当前时刻的状态, 马尔可夫性表明状态转移只与当前状态相关, 而与之前时刻的历史状态无关。

Farrell等[72]提出了一种基于HMM方法的羽流建图方法, 并通过仿真验证了此方法估计羽流扩散路径和羽流源概率分布的有效性。基于HMM方法构建羽流扩散路径并估计源位置可分别解决下列5个子问题: ①基于流场信息和假设的源概率向量, 确定哪些单元可能包含可检测的羽流; ②基于测量的流场信息确定哪些单元在检测到(或未检测到)羽流时可能产生羽流; ③估计羽流源概率向量; ④确定羽流从假定源位置到感兴趣单元的最可能路径; ⑤确定最有可能检测到羽流的2个位置之间的路径。最后, 综合上述估计结果生成羽流概率分布图。此方法只给出了羽流在湍流环境中的概率分布图, 而没有指出如何利用羽流概率分布图来指导机器人定位羽流源。

Jiu等[73]提出了一种基于POMDP算法和人工势场算法的路径规划策略。利用POMDP算法构造羽流源似然图, 并根据AUV传感器检测的环境信息实时更新源似然图。根据获得的羽流源似然图, 基于人工势场算法精确规划跟踪路径, 引导AUV沿路径跟踪, 直到检测到羽流源。通过仿真验证, 此方法与仿生方法相比成功率更高, 稳定性更好。

Wang等[78]提出了一种结合了基于POMDP的羽流源建图和A*路径规划算法的CPT策略, 可以用于AUV在有障碍物的水下环境中定位羽流源。通过基于POMDP生成的羽流源似然图获得羽流源的估算位置。在确定羽流源的估算位置后, 利用A*路径规划算法生成避开障碍物的最短路径。仿真结果验证了该方法的有效性。与基于HMM的羽流源建图算法相比, 此算法能够更快地收敛到正确的羽流源位置。此外, A*路径规划算法使AUV能够避开路径规划算法中的障碍物和局部极小问题。

概率估计方法是基于测量结果推断后验概率, 从而规划水下机器人运动追踪羽流。基于概率估计方法的研究成果主要体现在计算机仿真和实验室环境人工模拟的小时空尺度羽流。该方法在选择适合应用场景的羽流分布模型上更加灵活, 但依赖于采样点的精确定位, 需要较高的计算成本。在复杂的自然环境中, 流场是非均匀且时变的, 而推断概率都是基于一些假设条件, 与实际情况存在一定的偏差。随着对扩散模型研究的深入, 概率估计方法将成为羽流追踪研究的一个重要方向。

3.3 强化学习方法

强化学习的主要思想是: 智能体在环境中进行感知, 并采取一系列行动, 使累计得到的奖励最大[79]。强化学习算法的框架可以用于水下机器人羽流源定位, 其目标是在未知环境中寻找羽流源。通过适当地定义奖励机制, 水下机器人可以选择有利于定位羽流来源的行动, 从而到达最大的奖励位置。水下机器人通过与环境的交互, 根据环境信息与当前状态做出动作决策, 以执行动作的奖惩作为反馈, 学习最优动作策略, 完成溯源任务[80]。顺序型强化学习问题可以抽象为马尔科夫决策过程(Markov decision process, MDP), 但很多情况下机器人所得到的观察值可能是不确定的, 因此可以建模为POMDP[81]。

Niu等[82]提出了一种有连续状态和动作域的强化学习羽流跟踪策略。其将跟踪问题建模为转移矩阵未知的MDP, 采用连续时间差分和确定性策略梯度(deterministic policy gradient, DPG)方法进行估计值函数和改进逼近策略。同时提出了监督初始化、奖励塑造和改进的贪心搜索算法来加速学习。这种基于学习的方法可以平滑搜索轨迹并降低丢失羽流的风险, 该策略的有效性和高效性也在仿真中得到了验证。

在现实的深海环境中, 由于感知能力和噪声的限制, AUV无法获得足够精确的观测信息来制定最佳策略以追踪羽流并溯源。因此羽流跟踪问题可以被建模为具有连续状态空间和动作空间的POMDP问题, AUV通过传感器收集环境信息(观测值)来更新对当前所处状态的可信度。Hu等[83]提出了一个基于长短时记忆网络的DPG框架来优化目标, 并用由动态规划方法衍生的监督策略提高训练速度和性能; 同时还建立了时变湍流流场和交互信息的水下羽流追踪寻源仿真环境, 并在仿真环境下验证了羽流跟踪策略的有效性。

Wang等[84]提出了一种基于模型的强化学习方法。其通过构建POMDP和HMM模型估计羽流分布图和源位置分布图。采用模糊推理的决策方法, 动态融合2幅地图的信息, 将融合信息分配给奖励函数, 并采用值迭代的路径规划算法来求解最优策略。通过仿真验证了该方法在湍流环境下的有效性。

水下机器人通过与环境交互学习, 完成未知环境下的溯源, 这是一个典型的强化学习问题。由于水下湍流环境的时变特点, 传统强化学习的策略设计方法难以获得较好的溯源效果。深度强化学习方法基于深度网络设计动作策略、奖励函数, 可以更好地应对复杂时变的水下环境, 获得较好的溯源效果。强化学习需要通过和环境交互进行策略学习, 受限于水下实验的复杂性, 难以在实际环境中开展学习实验, 因此更加依赖仿真平台的支持。随着仿真技术的不断提高, 强化学习方法在水下羽流追踪研究上具有广阔的前景。

4 水下羽流追踪发展趋势

水下羽流追踪研究需要从二维向三维过渡, 但面临着水域庞大广阔, 流场复杂多变, 实验成本高昂, 经验积累不足(浮升羽流追踪成果罕见)等挑战。

随着海洋观测设备种类的增加及相关软硬件技术的快速发展, 水下羽流追踪技术近些年得到了广泛的研究。就目前而言, 羽流追踪技术实际应用并不成熟, 多集中于仿真和实验研究。现阶段水下羽流追踪的发展趋势包括以下几个方面。

4.1 借鉴气体羽流追踪方法

气体羽流追踪研究起步较早, 有较好的技术积累, 并涌现了大量的研究成果。气体羽流研究从层流到湍流、从二维到三维的逐步过渡, 可以为水下羽流追踪提供参考和思路。

针对水下羽流溯源应用, 尚未出现针对特定羽流类型进行扩散建模, 并将模型用于溯源算法中的研究, 更多地是使用通用的气体/液体羽流扩散模型进行溯源算法设计。因此, 水下羽流追踪可以借鉴空气中的追踪方法, 如基于优化的方法(粒子群优化算法等)、基于多机器人的方法等。

目前针对溯源问题的扩散建模并没有体现出气体羽流扩散和水下羽流扩散的区别, 但不能说明这两者之间完全一样。仍需立足于分析气体羽流扩散和水下羽流扩散的区别, 进而通过仿真、实验等方法验证将气体羽流追踪方法应用于水下羽流追踪任务的可行性。

4.2 完善羽流模型及仿真环境

现有羽流扩散建模体系仍有待完善。对于气泡或液滴产生的湍流没有公认的模型, CFD模型可以在这些情况下进行预测, 但缺乏验证数据[40]。在实际的水下环境中, 存在许多参数难以确定的风、浪、流、涡等复杂情况, 湍流模型的计算复杂度较高, 难以满足实时性要求, 而简化后的湍流模型与实际环境差异较大, 难以复现追踪的实际过程。研究与实际环境一致性较高且可以满足实时计算要求的羽流扩散模型, 对羽流追踪研究十分重要。完善羽流模型时要充分考虑不同类型水下羽流的扩散特点, 如: 石油羽流的浮力较大, 而热液羽流呈中性浮力等。随着水下羽流溯源研究的进一步深入, 针对不同类型的水下羽流特点进行扩散建模, 通过仿真、实验等方法进行验证, 并将模型应用于羽流溯源研究中, 是提高水下羽流溯源实时性、准确性的必然要求, 也是未来的水下羽流追踪研究的重要方向。除了进一步改进羽流扩散模型之外, 还可以考虑改进流场的变化周期和组成成份, 使模拟环境更接近真实环境。

现有的面向水下环境的三维羽流仿真平台较少, 且功能较单一, 目前缺少集合各种水下羽流特点的仿真平台。随着计算能力的提高, 仿真环境应向大尺度(较大尺度三维环境仿真)、集成化(集成流场计算、羽流分布计算等过程)、多功能(对不同类型羽流追踪任务的仿真)的方向发展。

4.3 融合多模态信息

Tian等[30]提出了一种通过集成化学和视觉传感器信息识别近岸和海洋环境中羽流源的策略。虽然生物追踪羽流主要依赖于嗅觉器官对目标信息素的感知, 但羽流源位置的确认可以利用多种传感器数据, 包括视觉、触觉甚至听觉线索[85]。空气中气味源定位已经有融合其他模态, 尤其是视觉模态的研究案例, 水下羽流追踪也可以尝试融合其他模态信息。结合深度学习方法, 基于视觉的目标分类、分割研究已经有了飞跃式的发展, 也可能为水下羽流追踪提供新的信息。羽流追踪应将部分基于嗅觉的定向行为与基于多传感器的局部搜索相结合, 利用多模态信息融合技术实现水下羽流的追踪与定位。

4.4 优化搜索平台及传感器技术

水下机器人是羽流溯源最常见的平台。无论是对水下羽流追踪进行仿真研究还是试验验证, 一般多采用单刚体滑翔机或AUV, 但其机动性都较差, 比如REMUSAUV需要5～10 m的转弯半径来改变方向[70], 较大的转弯半径在复杂的湍流环境下易导致羽流丢失, 难以实现对羽流的实时追踪。深海热液、冷泉等羽流的源头多位于海底, 从二维平面到三维空间追踪水下羽流, 对AUV提出了更高的要求, 需要设计开发灵活性更好的AUV, 更需要考验其耐压能力、续航能力及通信能力等。羽流探测传感器也需要面向深海应用发展, 小型化、轻型化、精确度高、灵敏度高且耐压能力强的传感器设备也是今后的发展趋势。

5 结束语

水下羽流追踪涉及机器人技术、流体力学、人工智能和海洋科学等多个学科或领域, 具有较高的学术研究价值和广阔的应用前景, 可为人类探索海洋、保护海洋及开采海洋资源等方面提供新的方法与手段。截至目前, 有关水下羽流追踪方面的研究还不是很多。文章从已有的相关研究成果出发, 总结了常见羽流及其检测技术, 根据算法原理将水下羽流的追踪方法梳理为反应类、概率估计类和强化学习类3种。反应类方法较简单, 容易实现, 但仅针对特定的环境条件; 概率估计方法依赖有数学理论基础的扩散模型, 随着研究的深入, 可能成为羽流追踪研究的一个重要方向; 强化学习方法可以更好地应对时变的水下环境, 但需要通过和环境交互进行学习, 受限于水下实验的复杂性, 更依赖于仿真平台的支持。

文章最后总结了水下羽流追踪技术未来的发展趋势, 包括借鉴气体羽流追踪的研究成果, 不断优化水下羽流扩散模型及仿真平台, 利用多模态信息融合方法对水下羽流进行追踪定位, 以及优化面向深海试验的羽流搜索平台和传感技术。

[1] Dover C L V.Impacts of Anthropogenic Disturbances at Deep-Sea Hydrothermal Vent Ecosystems: A Review[J].Marine Environmental Research, 2014, 102: 59-72.

[2] Jakuba M V.Stochastic Mapping for Chemical Plume Source Localization with Application to Autonomous Hydrothermal Vent Discovery[D].USA: Massachusetts Institute of Technology, 2007.

[3] Aryadi Y, Rizal I S, Fadhli M N.Electricity Generation from Hydrothermal vents[C]//IOP Conference Series: Earth and Environmental Science.Indonesia: IOP Publishing, 2016.

[4] Talukder A R.Review of Submarine Cold Seep Plumbing Systems: Leakage to Seepage and Venting[J].Terra Nova, 2012, 24(4): 255-272.

[5] Leifer I.A Synthesis Review of Emissions and Fates for the Coal Oil Point Marine Hydrocarbon Seep Field and California Marine Seepage[J].Geofluids, 2019(5): 1-48.

[6] Hwang J, Bose N, Nguyen H D, et al.Acoustic Search and Detection of Oil Plumes Using an Autonomous Underwater Vehicle[J].Journal of Marine Science and Engineering, 2020, 8(8): 618.

[7] Wang Q, Yang Z.Industrial Water Pollution, Water Environment Treatment, and Health Risks in China[J].Environmental Pollution, 2016, 218(11): 358-365.

[8] Russell R A, Bab-Hadiashar A, Shepherd R L, et al.A Comparison of Reactive Robot Chemotaxis Algorithms[J].Robotics and Autonomous Systems, 2003, 45(2): 83-97.

[9] 孟庆浩, 李飞.主动嗅觉研究现状[J].机器人, 2006, 28(1): 89-96.

Meng Qing-hao, Li Fei.Review of Active Olfaction[J].Robot, 2006, 28(1): 89-96.

[10] Kowadlo G, Russell R A.Robot Odor Localization: a Taxonomy and Survey[J].The International Journal of Robotics Research, 2008, 27(8): 869-894.

[11] Ishida H, Wada Y, Matsukura H.Chemical Sensing in Robotic Applications: A Review[J].IEEE Sensors Journal, 2012, 12(11): 3163-3173.

[12] Chen X X, Huang J.Odor Source Localization Algorithms on Mobile Robots: A Review and Future Outlook[J].Robotics and Autonomous Systems, 2019, 112: 123-136.

[13] Jing T, Meng Q H, Ishida H.Recent Progress and Trend of Robot Odor Source Localization[J].IEEJ Transactions on Electrical and Electronic Engineering, 2021, 16(7): 938-953.

[14] Ji C, Beegle-Krause C J, Englehardt J D.Formation, Detection, and Modeling of Submerged Oil: A Review[J].Journal of Marine Science and Engineering, 2020, 8(9): 642.

[15] 韩同刚, 童思友, 陈江欣, 等.海底羽状流探测方法分析[J].地球物理学进展, 2018, 33(5): 2113-2125.

Han Tong-gang, Tong Si-you, Chen Jiang-xin, et al.Analysis of Detection Methods for Submarine Plume[J].Progress in Geophysics, 2018, 33(5): 2113-2125.

[16] 马媛媛, 辛洋, 蒋磊.海底热液喷口流体中H2S浓度数据统计及其探测技术进展[J].海洋科学, 2020, 44(2): 146-160.

Ma Yuan-yuan, Xin Yang, Jiang Lei.Concentration Statistics and Detection Technology of Hydrogen Sulfide in Submarine Hydrothermal Vent Fluids[J].Marine Science, 2020, 44(2): 146-160.

[17] 刘国栋, 王焱.环境水力学[M].北京: 中国水利水电出版社, 2018.

[18] Petillo S M, Schmidt H.Autonomous and Adaptive Underwater Plume Detection and Tracking with AUVs: Concepts, Methods, and Available Technology[J].IFAC Proceedings Volumes, 2012, 45(27): 232-237.

[19] 曾志刚, 陈祖兴, 张玉祥, 等.海底热液活动的环境与产物[J].海洋科学, 2020, 44(7): 143-155.Zeng Zhi-gang, Chen Zu-xing, Zhang Yu-xiang, et al.Seafloor Hydrothermal Activities and Their Geological Environments and Products[J].Marine Science, 2020, 44(7): 143-155.

[20] 李灿苹, 尤加春, 朱文娟.气泡羽状流的识别及其与资源环境相关性分析[J].地球物理学进展, 2016, 31(6): 2747-2755.

Li Can-ping, You Jia-chun, Zhu Wen-juan.Identification of Bubble Plumes and Analysis of Its Correlation with Resource Environment[J].Progress in Geophysics, 2016, 31(6): 2747-2755.

[21] Leifer I, Patro R K.The Bubble Mechanism for Methane Transport from the Shallow Sea Bed to the Surface: A Review and Sensitivity Study[J].Continental Shelf Research, 2002, 22(16): 2409-2428.

[22] Petillo S M, Schmidt H.Autonomous and Adaptive Underwater Plume Detection and Tracking with AUVs: Concepts, Methods, and Available Technology[J].IFAC Proceedings Volumes, 2012, 45(27): 232-237.

[23] 黄远奕.我国工业废水重金属灰水足迹的分布特征及驱动因子研究[D].北京: 北京科技大学, 2020.

[24] 中华人民共和国生态环境部.地表水环境质量标准: GB 3838-2002[S].北京: 中国标准出版社, 2002.

[25] Rogowski P, Terrill E, Otero M, et al.Mapping Ocean Outfall Plumes and Their Mixing Using Autonomous Underwater Vehicles[J].Journal of Geophysical Research Atmospheres, 2012, 117(C7): 1-12.

[26] Cannell C J, Gadre A S, Stilwell D J.Boundary Tracking and Rapid Mapping of a Thermal Plume Using an Autonomous Vehicle[C]//OCEANS 2006.Boston, MA, USA: IEEE, 2006: 1-6.

[27] Fahad M, Saul N, Yi G, et al.Robotic Simulation of Dynamic Plume Tracking by Unmanned Surface Vessels[C]//2015 IEEE International Conference on Robotics and Automation (ICRA).Seattle, WA, USA: IEEE, 2015.

[28] Petillo S M.Autonomous & Adaptive Oceanographic Feature Tracking on Board Autonomous Underwater Vehicles[C]//OCEANS 2015.Genova: IEEE, 2015: 1-10.

[29] Pang S, Farrell J A.Chemical Plume Source Localization [J].IEEE Transactions on Systems, Man, and Cybernetics, Part B(Cybernetics), 2006, 36(5): 1068-1080.

[30] Tian Y, Kang X, Li Y, et al.Identifying Rhodamine Dye Plume Sources in Near-shore Oceanic Environments by Integration of Chemical and Visual Sensors[J].Sensors, 2013, 13(3): 3776-3798.

[31] Mysorewala M F, Cheded L, Popa D O.A Distributed Multi-robot Adaptive Sampling Scheme for the Estimation of the Spatial Distribution in Widespread Fields[J].EURASIP Journal on Wireless Communications and Networking, 2012, 2012(1): 1-19.

[32] Camilli R, Reddy C M, Yoerger D R, et al.Tracking Hydrocarbon Plume Transport and Biodegradation at Deepwater Horizon[J].Science, 2010, 330(6001): 201-204.

[33] Gildner M L.Framework for Multi-vehicle Adaptive Sampling of Jets and Plumes in Coastal Zones[D].USA: Massachusetts Institute of Technology, 2013.

[34] Kukulya A L, Bellingham J G, Stokey R P, et al.Autonomous Chemical Plume Detection and Mapping Demonstration Results with a COTS AUV and Sensor Package[C]//MTS/IEEE Charleston OCEANS Conference.Charleston, USA: IEEE, 2018: 1-6.

[35] Soares D A R, Miguel J.Formation-based Odour Source Localisation Using Distributed Terrestrial and Marine Robotic Systems[R].Lausanne: EPFL, 2016.

[36] 纠海峰.基于水下机器人的热液羽状流自主搜寻定位方法研究[D].哈尔滨: 哈尔滨工程大学, 2016.

[37] Farrell J A, Murlis J, Long X, et al.Filament-based Atmospheric Dispersion Model to Achieve Short Time-scale Structure of Odor Plumes[J].Environmental Fluid Mechanics, 2002, 2(1): 143-169.

[38] Balkovsky E, Shraiman B I.Olfactory Search at High Reynolds Number[J].Proceedings of the National Academy of Sciences of the United States of America, 2002, 99(20): 12589-12593.

[39] 王阳.动态气流环境下气味烟羽仿真与气味源定位[D].天津: 天津大学, 2013.

[40] Boufadel M C, Socolofsky S, Katz J, et al.A Review on Multiphase Underwater Jets and Plumes: Droplets, Hydrodynamics, and Chemistry[J].Reviews of Geophysics, 2020, 58(3).

[41] Lesieur M, Metais O.New Trends in Large-eddy Simulations of Turbulence[J].Annual Review of Fluid Mechanics, 1996, 28(1): 45-82.

[42] Meneveau C, Katz J.Scale-invariance and Turbulence Models for Large-eddy Simulation[J].Annual Review of Fluid Mechanics, 2000, 32(1): 1-32.

[43] 温竹青.基于FLUENT的深海热液羽状流流动模拟[D].北京: 中央民族大学, 2011.

[44] Liu Z, Lu T F.A Simulation Framework for Plume-tracing Research[C]//Proceedings of the 2008 Australasian Conference on Robotics and Automation.Canberra, Australia: ARAA, 2008: 3-5.

[45] Garg S, Afzulpurkar S, Kumar A.Adaptive Biased Random Walk Algorithm for Ocean Chemical Feature Tracking Using an Autonomous Underwater Vehicle[C]// MTS/IEEE Charleston OCEANS Conference.Charleston, USA: IEEE, 2019: 1-8.

[46] 纠海峰, 庞硕, 韩冰.热液羽状流模型的建立与仿真[J].计算机仿真, 2015, 32(9): 404-408.

Jiu Hai-feng, Pang Shuo, Han Bing.Modeling and Simulation of Hydrothermal Plume Model[J].Computer Simulation, 2015, 32(9): 404-408.

[47] Fisher M, Dock M.Trace Chemical Sensing of Explosives[M].New Jersey: John Wiley & Sons, 2006.

[48] Soares D A R, Miguel J.Formation-based Odour Source Localisation Using Distributed Terrestrial and Marine Robotic Systems[D].Lausanne: EPFL, 2016.

[49] Branch A, Guangyu X, Jakuba M V, et al.Autonomous Nested Search for Hydrothermal Venting[C]//International Conference on Automated Planning and Scheduling (ICAPS) 2018, Delft, The Netherlands: AAAI Press, 2018.

[50] Hwang J, Bose N, Nguyen H D, et al.Oil Plume Mapping: Adaptive Tracking and Adaptive Sampling from an Autonomous Underwater Vehicle[J].IEEE Access, 2020, 8: 198021-198034.

[51] 田宇, 王昊, 张进, 等.深海热液探测水下机器人技术:感知、规划与控制[M]．北京: 科学出版社, 2020．

[52] Han B, Jiu H, Pang S, et al.Hydrothermal Plume Simulation for Autonomous Hydrothermal Vent Discovery[C]//2012 Oceans-Yeosu.Yeosu, Korea(south): IEEE, 2012: 1-7.

[53] Sutton J, Li W.Development of CPT_M3D for Multiple Chemical Plume Tracing and Source Identification[C]// 2008 Seventh International Conference on Machine Learning and Applications.San Diego, CA, USA: IEEE, 2008: 470-475.

[54] Tian Y, Zhang A.Simulation Environment and Guidance System for AUV Tracing Chemical Plume in 3-dimensions[C]//2010 2nd International Asia Conference on Informatics in Control, Automation and Robotics (CAR 2010).Wuhan: IEEE, 2010: 407-411.

[55] Arkin R C.Behavior-based Robotics[M].Cambridge, MA: MIT Press, 1998.

[56] Burian E, Yoerger D, Bradley A, et al.Gradient Search with Autonomous Underwater Vehicles Using Scalar Measurements[C]//Proceedings of Symposium on Autonomous Underwater Vehicle Technology.Monterey, CA, USA: IEEE, 1996: 86-98.

[57] Li Z, You K, Song S.AUV Based Source Seeking with Estimated Gradients[J].Journal of Systems Science and Complexity, 2018, 31(1): 262-275.

[58] Naeem W, Sutton R, Chudley J.Chemical Plume Tracing and Odour Source Localisation by Autonomous Vehicles[J].Journal of Navigation, 2007, 60(2): 173-190.

[59] Hill J, Szewczyk R, Woo A, et al.System Architecture Directions for Network Sensors[J].ACM SIGOPS Operating Systems Review, 2000, 35(5): 93-104.

[60] Dhariwal A, Sukhatme G S, Requicha A A G.Bacterium- inspired Robots for Environmental Monitoring[C]//IEEE International Conference on Robotics and Automation, 2004.New Orleans, LA, USA: IEEE, 2004: 1436-1443.

[61] Grasso F W, Basil J A, Atema J.Toward the Convergence: Robot and Lobster Perspectives of Tracking Odors to Their Source in the Turbulent Marine Environment[C]// Proceedings of the 1998 IEEE International Symposium on Intelligent Control(ISIC) Held Jointly with IEEE International Symposium on Computational Intelligence in Robotics and Automation(CIRA) Intell.Gaithersburg, MD, USA: IEEE, 1998: 259-264.

[62] Jakuba M, Yoerger D, Bradley A, et al.Multiscale, Multimodal AUV Surveys for Hydrothermal Vent Localization[C]//Proceedings of the Fourteenth International Symposium on Unmanned Untethered Submersible Technology (UUST05).2005.

[63] Mason J C, Branch A, Xu G Y, et al.Evaluation of AUV Search Strategies for the Localization of Hydrothermal Venting.[EB/OL].(2020-10-16)[2021-07-07].https://ica ps20subpages.icaps-conference.org/wp-content/uploads/2020/10/16-PlanRob_2020_paper_13.pdf

[64] Ferri G, Jakuba M V, Yoerger D R.A Novel Method for Hydrothermal Vents Prospecting Using an Autonomous Underwater Robot[C]//2008 IEEE International Conference on Robotics and Automation.Pasadena, California: IEEE, 2008: 1055-1060.

[65] Wang L, Pang S, Xu G.3-Dimensional Hydrothermal Vent Localization Based on Chemical Plume Tracing[C]//Global Oceans 2020: Singapore-US Gulf Coast.Online: IEEE, 2020: 1-7.

[66] Ai X, You K, Song S.A Source-seeking Strategy for an Autonomous Underwater Vehicle via On-line Field Estimation[C]//2016 14th International Conference on Control, Automation, Robotics and Vision(ICCARV).Phuket, Thailand: IEEE, 2016: 1-6.

[67] Kramer E.A Tentative Intercausal Nexus and Its Computer Model on Insect Orientation in Windborne Pheromone Plumes[M]//Insect Pheromone Research.Boston, MA: Springer, 1997: 232-247.

[68] Farrell J A, Pang S, Li W, et al.Chemical Plume Tracing Experimental Results with a REMUS AUV[C]//Oceans 2003.Celebrating the Past Teaming Toward the Future.San Diego, CA, USA: IEEE, 2003: 962-968.

[69] Farrell J A, Pang S, Wei L.Chemical Plume Tracing via an Autonomous Underwater Vehicle[J].IEEE Journal of Oceanic Engineering, 2005, 30(2): 428-442.

[70] Li W, Farrell J A, Pang S, et al.Moth-inspired Chemical Plume Tracing on an Autonomous Underwater Vehicle[J].IEEE Transactions on Robotics, 2006, 22(2): 292-307.

[71] Grasso F W, Atema J.Integration of Flow and Chemical Sensing for Guidance of Autonomous Marine Robots in Turbulent Flows[J].Environmental Fluid Mechanics, 2002, 2(1): 95-114.

[72] Farrell J A, Pang S, Li W.Plume Mapping via Hidden Markov Methods[J].IEEE Transactions on Systems Man & Cybernetics Part B Cybernetics, 2003, 33(6): 850-863.

[73] Jiu H, Chen Y, Deng W, et al.Underwater Chemical Plume Tracing Based on Partially Observable Markov Decision Process[J].International Journal of Advanced Robotic Systems, 2019, 16(2): 1-12.

[74] Pang S.Reactive Planning and on-line Mapping for Chemical Plume Tracing[D].CA, USA: University of California, Riverside, 2004.

[75] Jakuba M, Yoerger D R.Autonomous Search for Hydrothermal Vent Fields with Occupancy Grid Maps[C]//Proc.of ACRA.2008, 8: 2008.

[76] Pang S.Plume Source Localization for AUV Based Autonomous Hydrothermal Vent Discovery[C]//OCEANS 2010 MTS/IEEE SEATTLE.Seattle: IEEE, 2010: 1-8.

[77] 邓薇, 韩端锋, 纠海峰.基于嗅觉的水下机器人化学羽状物追踪定位方法[J].电机与控制学报, 2016(1): 110-118.Deng Wei, Han Duan-feng, Jiu Hai-feng.Chemical Plume Tracing and Localization Method Based on Olfaction for

Underwater[J].Journal of Electric Machines and Control, 2016(1): 110-118.

[78] Wang L, Pang S.Chemical Plume Tracing Using an AUV Based on POMDP Source Mapping and A-star Path Planning[C]//OCEANS 2019 MTS/IEEE SEATTLE.Seattle: IEEE, 2019: 1-7.

[79] Sutton R, Barto A.Reinforcement Learning: An Introduction[M].Cambridge, MA: MIT Press, 1998.

[80] 李金龙.部分观测马尔可夫决策过程下的深海热液自主探测研究[D].哈尔滨: 哈尔滨工程大学, 2013.

[81] 白双.基于强化学习蚁群算法的主动嗅觉[D].天津: 天津大学, 2009.

[82] Niu L, Song S, You K.A Plume-tracing Strategy via Continuous State-action Reinforcement Learning[C]//2017 Chinese Automation Congress.Jinan, China: IEEE, 2017: 759-764.

[83] Hu H, Song S, Chen C L P.Plume Tracing via Model-free Reinforcement Learning Method[J].IEEE Transactions on Neural Networks and Learning Systems, 2019, 30(8): 2515-2527.

[84] Wang L, Pang S, Li J.Olfactory-based Navigation via Model-based Reinforcement Learning and Fuzzy Inference Methods[J].IEEE Transactions on Fuzzy Systems, 2021, 29(10): 3014-3027.

[85] Tang S, Guo A.Choice Behavior of Drosophila Facing Contradictory Visual Cues[J].Science, 2001, 294(5546): 1543-1547.

Progress of Underwater Plume Tracking Methods

XU Xue-han, MENG Qing-hao, LIU Ke-xian, JING Tao

(Institute of Robotics and Autonomous Systems, School of Electrical Automation and Information Engineering, Tianjin University, Tianjin 300072, China)

There has been significant research on underwater plume for marine resource exploitation and environmental protection.Based on underwater plume dispersion modeling and tracking methods, the existing relevant research results, research progress, and development trend of underwater plume tracking were summarized.Firstly, the classification of underwater plumes and application background of plume tracking were presented.Subsequently, the research status of underwater plume dispersion modeling was reviewed from two aspects: The dispersion model and simulation platform.Thirdly, the current underwater plume tracking methods were divided into three categories, namely the reactive, probability estimation, and reinforcement learning methods, and the representative research were reviewed.Finally, the development trend of underwater plume tracking research was discussed.This review could provide a reference for further research on underwater plume tracking.

underwater plume; dispersion modeling; plume tracking

徐雪寒, 孟庆浩, 刘科显, 等.水下羽流追踪方法研究进展[J].水下无人系统学报, 2022, 30(1): 1-14.

TP29; TP242.6

R

2096-3920(2022)02-0001-14

10.11993/j.issn.2096-3920.2022.01.001

2021-07-07;

2021-08-26.

国家重点研发计划项目资助(2017YFC0306200).

徐雪寒(1993-), 女, 在读博士, 主要研究方向为水下羽流追踪.

(责任编辑: 吴 攀)