面向UUV回收过程的单目视觉导引灯阵跟踪方法

张 伟,潘 珺,宫 鹏,李子轩,郭帅克,高赛博

面向UUV回收过程的单目视觉导引灯阵跟踪方法

张 伟,潘 珺*,宫 鹏,李子轩,郭帅克,高赛博

(哈尔滨工程大学 智能科学与工程学院,黑龙江 哈尔滨,150001)

无人水下航行器(UUV)在进行水下作业过程中,受到自身可携带载荷和环境的制约,导致其作业时间不能过长和作业距离不能过远,需要在一定时间内回收以供给能量、获得数据并布置新任务。深入研究UUV视觉跟踪问题,对实现UUV快速、准确、安全的回收有着重要意义。基于此,文中对UUV回收的单目视觉多目标跟踪问题进行了研究。以非线性卡尔曼滤波器为基础,提出基于非对称光阵列的UUV回收跟踪方法。首先,对单目摄像机采集的水下图像进行预处理,提取光源阵列的特征信息。其次,初始化目标轨迹,提出了基于非对称L型光源阵列的轨迹确定方法。再次,权衡观测器与滤波器设计了寻优代价矩阵,应用改进的匈牙利算法将检测与目标轨迹相匹配,并根据匹配结果对卡尔曼滤波器的先验结果进行修正。最后,通过水下目标跟踪实验,验证了所提方法的工程有效性。

无人水下航行器; 回收; 多目标跟踪; 单目视觉; 非线性卡尔曼滤波器

0 引言

近年来,随着无人水下航行器(unmanned un- dersea vehicle,UUV)技术[1]的飞速发展,声光导引相结合的回收策略在UUV回收过程中逐渐成为主流。其中,远距离声学导引定位技术已相对成熟[2],而近距离光学导引跟踪的准确性和鲁棒性是当前需要攻克的难题。因此,对水下引导光源目标进行快速稳定的跟踪,具有十分重要的意义。

目前,国内外学者提出许多基于视觉传感器的跟踪方法,如核相关滤波(kernel correlation filter,KCF)[3]、三维形状识别[4]、时空上下文(spatio- temporal context,STC)[5]等。其中Henriques等[3]提出采用核函数的跟踪方法,通过非线性变化将原始空间中的输入信息反馈到高维特征空间的标量函数上,减小了计算量,但在目标光源处于遮挡或信息丢失情况下,局部信息难以维持跟踪精度,导致跟踪框漂移,需要进行再检测、再跟踪。Zhang等[5]提出的跟踪方法基于贝叶斯框架,使用统计学建立跟踪目标与周围区域的时空关系,计算置信图求得似然概率最大的位置,将其作为下一帧目标最有可能出现的位置,但UUV进行动基座回坞时,引导灯阵附近背景发生较大变化,导致跟踪效果不够理想,可能引起跟踪失败。

文中提出一种非对称光源阵列导引回收策略,将整体光源阵列分离为若干个子光源,同时结合阵列刚体信息,利用非线性卡尔曼滤波器,仅通过单目视觉相机,在部分前景光源发生遮挡,背景帧发生较大变化时仍能得到较好的跟踪效果,并通过水池UUV跟踪实验,验证了其合理性和有效性。

1 UUV回收装置设计

1.1 叉柱式回收装置

UUV的叉柱式回收装置由待回收UUV腹部前端的回收柱和母船背部上的回收叉组成,如图1所示。当回收柱靠近回收叉时,锁紧装置会自动锁死,完成回收。其中,回收柱长度为50 cm; 回收叉由2个长度为80 cm、开角为90°的叉子组成,材质为空心的铝合金,锁紧装置安装在回收叉交叉处。

图1 UUV回收装置示意图

1.2 非对称光列阵

非对称光源阵列位于回收叉下端的L型轨道上。由4个同一型号D550的光源组成。确保目标光源形状、发光面积等在硬件层面相同。其中,纵向共有3个光源,分别记为A、B、C; 以C为中心沿横向设置光源D(如图2和图3所示)。

图2 非对称光阵列俯视图

图3 UUV回收叉底座示意图

2 导引灯阵跟踪方法

2.1 目标导引光源探测与识别

2.1.1 方法介绍

在UUV近距离对接过程中,摄像机持续对目标光源进行探测,当部分目标光源首次进入摄像机视野时(识别出目标光源个数大于0时),通过计算光源质心与采集图像中心的像素误差,控制UUV执行机构调整自身位置,直至摄像机视野中首次捕捉到完整的4个目标光源时,初始化目标光源轨迹,执行跟踪过程。

由于目标光源到达摄像机感光元件路途中受到散射、吸收及各种噪声的影响,使得摄像机光能发生改变,原始图像常常难以满足目标跟踪的精度要求,所以要对原始图像进行预处理[6]。处理方法如下: 应用改进的阈值分割方法及二值区域(binary large object,BLOB)分析[7]提取出其突出特征,然后利用数学形态学操作对目标光源轮廓进行修正,从而识别出目标引导光源[8-9]。

2.1.2 改进自适应阈值分割方法

1) 利用传统自适应阈值分割方法,进行预分割,结合BLOB分析[7],生成前景连通区域;

3) 根据相应阈值分割对应区域;

4) 最后,应用数学形态学闭操作、开操作及补洞操作平滑边缘轮廓,填补空洞,即可获得目标光源较为理想的分割图像。

2.1.3 目标光源提取对比实验

图4为单目摄像机采集到的水下原始图像,图5为利用传统自适应阈值分割处理后的图像,可见目标光源附近的背景信息被过多地划分到前景区域,导致B、C两灯产生区域连通。因此,传统自适应阈值分割方法不能有效地分离目标光源与背景,从而导致跟踪失败。

图4 摄像机采集原始图像

图5 传统自适应阈值分割处理后的图像

采用改进的自适应阈值分割方法对原始图像进行处理,得到效果图如图6所示。交并比(inter- section over union,IOU)比例图像如图7所示,其中,黄色标线为标记的正确结果(ground-truth),红色标线是预测的结果(predicted)。IOU是2个区域重叠部分除以2个区域集合部分得到的结果,IOU比例越接近于1代表光源识别性能越好。引导光源IOU识别性能定量对比见表1,可见利用文中改进后自适应阈值分割方法的识别性能优于传统自适应阈值分割方法及典型直接阈值分割方法,可以有效分离出目标光源,降低了特征提取过程中存在的误差,达到了较好的识别效果。

2.2 导引灯阵跟踪方法

2.2.1 方法介绍

在近距离接驳阶段,UUV常常受到各种噪声的干扰,卡尔曼滤波能够从一系列存在测量噪声的数据中估计动态系统的状态。文中对回收平台导引灯阵的跟踪主要是利用扩展卡尔曼滤波算法,该算法是将观测器摄像头采集到的灯阵像素位置信息(如表2所示)作为状态输入卡尔曼滤波器,计算并得到每个轨迹在下一帧位置的最优估计,然后根据预测的结果和每个新检测到的灯阵目标计算欧几里得距离(如表3所示),再将度量结果联合灯阵的刚体信息生成代价函数矩阵,最后使用匈牙利匹配算法根据阈值将目标与轨迹相匹配,最终实现目标跟踪。

图6 文中算法处理后的图像

图7 文中算法处理后IOU图像

表1 引导光源IOU识别性能定量对比

表2 检测到的目标位置

2.2.2 目标灯阵轨迹初始化

表3 检测目标中心欧几里得距离

图8 首次检测到的4个目标光源

至此,即可确定检测到的目标与回收引导灯阵的对应关系,如图9所示。最后,生成ABCD目标光源轨迹,并记录轨迹信息。可以看到,将光源阵列设计为非对称的L型,可以仅通过简单边的关系确定目标光源轨迹的初始位置,相较于其他已有的线性阵列、方形阵列、圆形阵列等,从根本上简化了轨迹确定的开销,大大减少了其他阵列出现误判、错判的可能性,提高了目标跟踪的稳定性。

图9 初始化检测目标轨迹

2.2.3 目标灯阵轨迹预测与匹配

1) 结合BLOB特征分析[10]改进的扩展卡尔曼滤波算法

在UUV水下回收近距离视觉跟踪过程中,往往由于水中悬浮物,抑或是引导光源超出摄像机视域范围,从而发生遮挡情况,导致跟踪失败。而扩展卡尔曼滤波算法[11-12]能够从含有不确定信息的动态系统中,对系统下一步的走向做出有根据的预测,有一定的抗遮挡能力,在水下目标跟踪中具有良好的性能。基于此,文中利用BLOB特征分析对已初始化的目标光源轨迹进行特征描述,将得到的面积、质心及外接矩形长宽作为状态向量代入卡尔曼滤波状态方程,得到轨迹预测位置。

2) 加入寻优代价函数改进匈牙利匹配算法

1) 利用BLOB分析得到目标光源的特征信息(运动质心、面积及外接矩形);

2) 将得到的特征信息代入卡尔曼滤波器;

3) 用卡尔曼滤波器对下一帧对应的目标区域进行预测,当下一帧到来时,在预测区域附近作轨迹匹配;

4) 根据匹配结果,对卡尔曼滤波器进行修正,继续重复1)～4)步骤。

2.2.4 目标导引等阵跟踪实验

实验使用的测试样本是在实验室中录制的约 300 帧目标光源移位的图像序列。实验环境如下: Windows10 64位操作系统、64位 MATLAB 2018a、英特尔 i7 4720HQ 处理器及8 GB 内存。实验跟踪过程中任取4帧图像如图10所示。

如图10所示,其中图10(a)、(c)识别出4个目标光源,并进行了正确的轨迹匹配实现跟踪; 对于图10(b),识别出3个目标光源,目标光源A超出摄像机视域,仍然完成了正确的轨迹匹配实现跟踪,并标记出了目标光源A的预测位置; 对于图10(d),识别出2个目标光源,目标光源A、B超出摄像机视域,仍正确匹配轨迹完成跟踪,因为预测位置超出图像范围,所以未进行标记。

图10 任意提取的4帧图像

3 实验结果比较与分析

为了验证文中算法的稳定性,实验所用的跟踪视频序列中加入了部分目标光源超出摄像机视域的情况,导致目标光源信息丢失,可看作目标光源被遮挡,遮挡概率为33.06%。通过对实验结果的主观分析和客观评价指标分析,证明所提算法的有效性。

3.1 实验结果

为了衡量实验的跟踪精度,更直观地展示跟踪性能,以人工标定的4个目标光源位置为标准,绘制了4个目标光源的Benchmark精确度曲线[8]、跟踪误差曲线及跟踪坐标曲线(以目标光源A为例)。

由图11可知,在跟踪误差阈值为13时,Ben- chmark精确度达到90%以上,具有良好的跟踪效果,对光源A的跟踪误差曲线和跟踪横纵坐标曲线分析可知,即使目标光源发生遮挡,使得连续跟踪轨迹发生断裂,文中算法仍能对目标光源轨迹做出较为准确的预测,整体预测趋势符合人工标定位置坐标变化趋势,证明了算法的有效性。

3.2 客观评价指标

选择较为主流的CLEAR MOT跟踪评价体系[13]来判别跟踪算法对目标光源的跟踪性能。判别过程主要是利用上文提出的目标识别算法提取目标光源区域,之后利用改进的目标跟踪方法进行实验。对于评价指标,主要利用CLEAR MOT跟踪评价体系中的召回率(RCLL)、检测正确率(PRCN)、漏检数(FP)、误判数(FN)、误配数(IDs)、连续轨迹断裂数(FM)、多目标跟踪准确度(MOTA)及多目标跟踪精确度(MOTP)评价指标,如表4所示。

图11 跟踪精度曲线

表4 CLEAR MOT评价指标

通过评价指标可以看出,添加遮挡后,文中算法在检测到目标、对位置的跟踪预测以及轨迹的匹配仍非常精准。其中: PRCN达到99.76%; MOTA达到84.65%; MOTP为13.24像素级别; 视觉跟踪的FPS为13.1; 满足UUV每秒2拍的采集速度,符合实验要求。

3.3 实验结果比较

传统的KCF算法跟踪目标光源时,跟踪框的大小是固定不变的。但由于摄像机是固定在运动的UUV上,其采集的水下图像中目标光源的尺寸和姿态处于不断变化中,导致跟踪精度下降甚至跟踪失败,不适用于尺度变化的目标跟踪。因此,将采集到的水下图像序列分别同改进后尺度变化的KCF算法[14]和文中算法进行比较,如图12所示。

图12 跟踪结果对比图

图中: (a)、(b)、(c)为改进后尺度变化KCF算法跟踪结果; (d)、(e)、(f)为文中算法跟踪结果。可以看到,当摄像机视野中出现完整4个目标光源(15帧)及部分目标光源超出视域(30帧)时,2种方法均有不错的表现。但当目标光源重新返回UUV视域(62帧)时,KCF算法错将部分光源信息划分为正样本,跟踪框产生漂移,导致跟踪精度下降; 而文中算法仍有较好的跟踪表现,平均跟踪精度如表5所示。因此,文中提出方法具有较大的场景适用范围。

表5 跟踪精度对比表

4 结束语

文中针对UUV回收过程中的视觉导引跟踪问题,设计了一种简单可行的导引回收机械方案,提出了有效、稳定的 UUV视觉导引灯阵跟踪方法,并对所提方法进行了水池跟踪实验验证,实验表明,文中算法具有工程有效性。文中算法建立在忽略背景光和伪光源干扰的基础上,后续研究若能对背景光进行有效抑制以及消除伪光源干扰,则可以更好地实现跟踪问题,增强算法的普适性。

[1] 钟宏伟. 国外无人水下航行器装备与技术现状及展望[J]. 水下无人系统学报,2017,25(3): 215-225.

Zhong Hong-wei. Review and Prospect of Equipment and Techniques for Unmanned Undersea Vehicle in Foreign Countries[J]. Journal of Unmanned Undersea Systems,2017,25(3): 215-225.

[2] 孙大军,郑翠娥,张居成,等. 水声定位导航技术的发展与展望[J]. 中国科学院院刊. 2019,34(3): 331-338.

Sun Da-jun,Zheng Cui-e,Zhang Ju-cheng,et al. Development and Prospect for Underwater Acoustic Positioning and Navigation Technology[J]. Bulletin of Chinese Academy of Sciences,2019,34(3): 331-338.

[3] Henriques J F,Caseiro R,Martins P,et al. High-Speed Tracking with Kernelized Correlation Filters[C]//IEEE Conference on Industrial Electronics and Applications. Wollongong,NSW,Australia: IEEE,2016.

[4] Wirtz M,Hildebrandt M,Gaudig C. Design and Test of a Robust Docking System for Hovering AUVs[C]//Oceans 2012. Yeosu,South Korea: IEEE,2012.

[5] Zhang K,Zhang L,Yang M H,et al. Fast Tracking via Spatio-Temporal Context Learning[EB/OL]. arXiv: 1311. 1939,2013. (2013-11-08)[2020-03-05]. https://www. re- searchgate.net/publication/258345794.

[6] 边信黔,王晓娟．基于散射模型的水下图像复原[J]．机器人,2010,32(6): 721-725．

BianXin-qian,WangXiao-juan. Underwater Image Restoration Based on Scattering Model[J]. Robot,2010,32(6): 721-725.

[7] 马永华,耿瑞芳,张罡. 基于Blob算法的机器视觉图像识别方法的研究[J]. 仪器仪表用户,2008,15(4): 1-2.

Ma Yong-hua,Geng Rui-fang,Zhang Gang. Research on Machine Vision Image Recognition Method Based on Blob Algorithm[J]. Instrument Users,2008,15(4): 1-2.

[8] Wu Y,Lim J,Yang M H. Object Tracking Benchmark[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence,2015,37(9): 1834-1848.

[9] Otsu N. A Threshold Selection Method from Gray-Level Histograms[J]. IEEE Transactions on Systems,Man,and Cybernetics,2007,9(1): 62-66.

[10] Zhang W,Wang X,Chen T,et al. Fast Target Extraction Based on Bayesian BLOB Analysis and Simulated Annealing for Underwater Images[J]. IEEE Journal on Robotics and Automation,2017,32(2): 101-108.

[11] Einicke G A,White L B. Robust Extended Kalman Filtering[J]. IEEE Transactions on Signal Processing,1999,47(9): 2596-2599.

[12] Garcia-Fernandez F,Morelande R,Grajal J,et al. Truncated Unscented Kalman Filtering[J]. IEEE Transactions on Signal Processing,2012,60(7): 3372-3386.

[13] Bernardin K,Stiefelhagen R. Evaluating Multiple Object Tracking Performance: The CLEAR MOT Metrics[J/OL]. EURASIP Journal on Image and Video Processing,2008(1). [2020-03-05]. http://citeseerx.ist.psu.edu/my- citeseer/login.

[14] 张伟,李子轩,宫鹏,等. UUV接驳单目视觉导引灯阵定位方法[J]. 水下无人系统学报,2019,27(3): 313-318.

Zhang Wei,Li Zi-xuan,Gong Peng,et al. Positioning Method of Monocular Vision Guided Lamp Array with UUV Connection[J]. Journal of Underwater Unmanned Systems,2019,27(3): 313-318.

Monocular Vision Guided Lamp Array Tracking Method for the UUV Recovery Process

,*,,,,

(College of Automation,Harbin Engineering University,Harbin 150001,China)

An unmanned undersea vehicle(UUV) is restricted by its carrying load and environment during underwater operation,reducing the maximum operation time and distance. As a result,periodical UUV recovery is necessary to supply it with energy,obtain data,and arrange new tasks. Further study on UUV vision tracking is important to realize a rapid,accurate,and safe UUV recovery. In this study,problems caused by the monocular visual multi-target tracking for UUV recovery are investigated. A recovery tracking method of UUVs based on the nonlinear Kalman filter and asymmetric light array is proposed. First,underwater images collected by the monocular camera are preprocessed to extract characteristic information of the light source array. Afterward,the target trajectory is determined through a method based on the asymmetric L-shaped light source array. The optimal cost matrix is thereafter established by weighing the observer and the filter,and the detection is matched to the target trajectory using the improved Hungarian algorithm. Prior results of the Kalman filter are modified according to these results. Finally,the engineering effectiveness of the proposed method is verified through underwater target tracking experiments.

unmanned undersea vehicle; recovery; multi-target tracking; monocular vision; nonlinear Kalman filter

TJ630.33; TP242.62

A

2096-3920(2021)04-0435-07

10.11993/j.issn.2096-3920.2021.04.010

张伟,潘珺,宫鹏,等. 面向UUV回收过程的单目视觉导引灯阵跟踪方法[J]. 水下无人系统学报,2021,29(4): 435-441.

2020-09-04;

2020-11-21.

国家自然科学基金(5207110590).

通信作者简介:潘 珺(1993-),男,在读硕士,主要研究方向为控制科学与工程.

(责任编辑: 许 妍)