基于声呐图像序列SIFT特征的多目标跟踪方法研究

张丽红，周天，徐超，韩婷婷

基于声呐图像序列SIFT特征的多目标跟踪方法研究

张丽红1,2,3，周天1,2,3，徐超1,2,3，韩婷婷1,2,3

(1. 哈尔滨工程大学水声技术重点实验室，黑龙江哈尔滨 150001；2. 海洋信息获取与安全工信部重点实验室(哈尔滨工程大学)，工业和信息化部，黑龙江哈尔滨 150001；3. 哈尔滨工程大学水声工程学院，黑龙江哈尔滨 150001)

针对高频成像声呐多目标跟踪中声成像的不稳定问题，在基于检测前跟踪的声呐图像序列尺度不变特征变换(Scale Invariant Feature Transform, SIFT)的基础上，提出了一种结合对数变换的声呐图像序列SIFT特征跟踪方法。该方法利用对数变换进行图像预处理，进而利用声呐图像序列SIFT特征进行多目标跟踪。水池试验数据的处理结果表明：与中值滤波和动态亮度分配的方法相比，结合对数变换的声呐图像序列SIFT特征跟踪方法具有更好的多目标跟踪效果。

声呐图像序列；检测前跟踪；尺度不变特征变换；图像预处理；对数变换；多目标跟踪

0 引言

近年来，随着水下小目标探测需求的迫切，利用中、高频成像声呐进行水下目标、特别是水下运动目标的探测和跟踪研究得到了广泛关注。水下多目标跟踪问题可归结为由漏检和杂波的量测来估计每一时刻的目标数目和目标状态，并且每个目标形成时间上连续的轨迹。常规的检测后跟踪方法要在每一帧图像内做出检测，而由于单幅图像信息局限，面临分割阈值选择的问题，增加了目标检测和后续跟踪的难度。检测前跟踪(Track Before Detect, TBD)[1-2]是对单帧图像中有无目标先不做出判决，而在图像序列中对所有潜在的目标进行特征跟踪，依据航迹的连续性筛选出真实目标。基于TBD在多波束声呐图像序列中进行特征跟踪，是实现水下多目标跟踪的一种新技术。

2004年，LOWE[3]提出了尺度不变特征变换(Scale Invariant Feature Transform, SIFT)算法，SIFT特征对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性。相比常用特征[4-5]跟踪方法更适用于表征成像质量相对较差的声呐图像中的潜在目标。

SIFT已经在光学领域得到成功应用[6-7]，但利用声呐图像序列SIFT特征进行水下目标跟踪的应用非常少。文献[8]利用基于检测前跟踪的声呐图像序列SIFT特征跟踪方法进行单个动态目标的跟踪以及静态目标与动态目标的区分。该方法的不足之处在于声呐图像的不稳定性会影响目标跟踪效果。因此，本文针对上述问题提出一种结合对数变换的SIFT多目标跟踪方法，利用对数变换压缩高像素值，来提高声呐图像的稳定性。高频成像声呐的水池试验结果表明，本文方法具有更好的目标跟踪效果。

1 结合对数变换的SIFT目标跟踪算法

1.1 声呐图像的生成和预处理

为利用声呐图像序列SIFT特征进行水下多目标跟踪，首先要对声呐所采集的数据进行处理，生成声呐图像，并对图像进行必要的预处理。图1(a)给出了声呐图像生成和预处理的流程图。

在声呐图像生成处理中，考虑到多波束声呐图像普遍存在旁瓣干扰严重[9]的特点，因此需要对波束形成输出进行旁瓣抑制，继而进行声呐图像插值。插值原理示意图如图1(b)所示，可以看到，扇形的交叉点表示插值前的像素，这些像素是波束形成获得的波束值，呈现等角分布，尤其在远距离时波束非常稀疏；矩形网格的交叉点表示插值后的像素，表现为直角坐标系下的均匀分布，使图像更为细腻并利于后续处理。

(a) 声呐图像生成和预处理流程图

(b) 声呐图像插值示意图

图1 声呐图像的预处理

Fig.1 Sonar image preprocessing

接着进行必要的图像预处理。为验证本文所提预处理方法的有效性，用文献[8]中的方法和本文方法分别处理，进行对比。具体算法和理论依据如下。

本文所提预处理方法为对声呐图像进行对数变换，再线性映射至灰度值[0, 255]。采用的对数变换公式为

值得注意的是，常规的对数变换形式为[10]

本文利用该变换来扩展图像中的暗像素值，同时压缩高灰度级的像素值。暗像素的扩展意味着放大背景噪声的动态范围。类似地，高灰度级像素的压缩意味着减小目标像素灰度的动态范围。如此可提高目标在声呐图像序列中的稳定性，进而改善SIFT特征的提取和跟踪效果。从对数变换原理可见，虽然其用于图像处理具有降低动态范围的优点，但由于该运算为非线性处理，对图像信噪比有较高要求，不适合低信噪比应用场景。

1.2 声呐图像生成SIFT特征向量

SIFT特征检测是在高斯差分算子(Difference of Gaussian, DOG)尺度空间提取声呐图像中不随尺度变化的“稳定”特征点，也即“关键点”。主要包括以下3个基本步骤：

步骤1：尺度空间构造

步骤2：关键点位置和方向确定

DOG尺度空间中的每个点需要跟同一尺度的周围邻域8个点和相邻尺度对应位置的周围邻域18个点进行比较，如图2所示。当该点为局部极值时，判定为候选特征点。

图2 尺度空间极值检测[3]

候选特征点最终成为关键点须经两步判定：与邻域像素的对比度足够大，且不是边缘特征点，具体如下：

步骤3：关键点特征向量描述

图3 关键点特征向量描述

1.3 声呐图像序列中的SIFT特征跟踪

通过对声呐图像序列连续地进行SIFT特征的帧间匹配来实现多目标跟踪。以关键点特征向量的欧氏距离作为相似性度量，寻找待匹配关键点的最近邻和次近邻，如果最近邻距离与次近邻距离的比值小于某阈值，则判定最近邻点与这个关键点为匹配对，否则视为匹配失败。考虑声呐图像易受环境干扰、分辨力低、噪声强、稳定性低等局限，仅当某SIFT特征连续3帧匹配失败时，终止对该特征的跟踪，并判定为杂波，这可以在一定程度上提高算法的容错能力。SIFT特征跟踪的算法流程如图4所示。

图4 SIFT多目标跟踪算法流程

2 水池实验数据处理

为验证结合对数变换的SIFT目标跟踪算法对声呐图像稳定性的改善效果以及在水下多目标跟踪中的应用效果，利用高频成像声呐在某消声水池中进行试验，并对试验数据进行处理。

高频成像声呐工作频率为500 kHz，接收阵阵元间距为半波长，阵元数目为32。声呐位置固定，信号形式为单频脉冲信号，脉冲宽度为0.1 ms，发射周期1/15 s，带通采样频率为220 kHz。所跟踪目标为两个直径15 cm的塑料材质球，两个目标在水中相向运动。多波束声呐和实验水池如图5所示。

2.1 声呐图像的生成和预处理

首先依次通过波束形成、旁瓣抑制[10]和图像插值(插值网格区域为方向[-3,3]，方向[0,6]，单位m，网格节点间距为0.005 m)处理生成声呐图像。

继而进行声呐图像的预处理：为验证本文方法的有效性，采用文献[8]的方法和本文方法分别处理，进行对比。

以一帧声呐图像为例，其生成和预处理过程在图6中显示，其中图6(a)为波束形成并抑制旁瓣后生成的图像，图6(b)为图像插值后的结果，图6(c)为文献[8]方法的结果，图6(d)是本文方法的结果。

图5 多波束声呐和实验水池

由图6可以看出，本文方法较好地抑制了图6(a)旁瓣影响。图6(b)与图6(a)相比只保留插值区域且提高图像细腻程度。与图6(b)相比，经中值滤波和动态亮度分配预处理的图6(c)图像对比度显著提高，高灰度级像素区域扩大。相较图6(c)，采用对数变换预处理的图6(d)图像对比度大幅减小，图像细节得以增强，目标像素更加柔和，正是这一点使得图像序列中的目标特征更加稳定。

(a) 抑制旁瓣后的声呐图像 (b) 插值后的声呐图像

(c) 中值滤波与动态亮度分配 (d) 对数变换预处理

图6 不同预处理生成的声呐图像

Fig.6 Sonar images from different preprocessing

2.2 声呐图像序列SIFT特征跟踪

为验证本文方法在多目标跟踪中的应用效果，利用文献[8]方法和本文方法的处理结果进行对比。在2.1节，经过文献[8]方法和本文方法分别预处理，各得到一组声呐图像序列。根据图4的SIFT算法流程对这两组图像序列进行SIFT特征跟踪，采用文献[8]方法的跟踪结果如图7所示，采用本文方法的跟踪结果如图8所示。

图7中，图7(a)表征了每帧图像生成SIFT特征的数目；图7(b)是第一帧图像生成的SIFT特征作为特征集模板，跟踪到第三帧图像时会舍弃连续三帧匹配失败的特征，特征数目开始减少，之后跟踪的每一帧都舍弃连续三帧匹配失败的特征，特征数目递减；图7(c)是跟踪结果，在跟踪的最后一帧图像上用青色点迹显示跟踪的目标航迹。

图8中，由图8(a)可以看出：对于同一帧图像，经文献[8]方法预处理之后和经本文方法预处理之后，所得图像生成的SIFT特征数目不同，但总体上两组图像序列的SIFT特征数目都在100～200的区间。

(a) 特征提取数目

(b) 特征跟踪数目

(c) 跟踪轨迹

(a) 特征提取数目

(b) 特征跟踪数目

(c) 跟踪轨迹

由图8(b)可以看出：与文献[8]方法预处理的图像序列相比，本文方法预处理的图像序列，起始帧图像生成的特征数目更少，跟踪过程中的特征数目也更少，计算量更小。

对比图7(c)、8(c)可以看出：文献[8]方法预处理的图像序列经SIFT特征跟踪方法只实现了对其中一个目标的跟踪，并伴随虚假的目标。本文方法预处理的SIFT特征跟踪方法获得两个目标的运动轨迹，跟踪效果显著改善。

分析原因，文献[8]方法进行图像预处理的目的是平滑噪声并提高对比度，存在两点缺陷：一是由于目标材质不完全相同以及两个目标与声呐距离不同，两目标回波一强一弱，较弱目标的强度被动态亮度分配算法再次削弱；二是对比度增强使得亮区形状不稳定性更加显著。而本文图像预处理的方法可以减小高灰度级的像素的动态范围，从而大幅缩小目标之间的灰度差，提高声呐图像序列目标特征的稳定性。所以，本文方法预处理的声呐图像序列更有利于后续的SIFT特征跟踪。

3 结论

声呐图像序列的SIFT特征跟踪是一种立足于检测前跟踪技术的多目标跟踪方法。本文提出一种利用对数变换进行图像预处理，进而采用SIFT算法进行声呐图像序列的多目标跟踪的方法。与文献[8]方法相比，本文方法可以减小高灰度级的像素的动态范围，不仅可以提高声呐图像的稳定性，而且在回波强弱不同的多目标探测应用中能够改善对较弱目标的探测能力。水池试验验证了该方法较现有方法能获得更好的目标跟踪效果，基本消除了野点，目标轨迹更完整，对高频成像声呐多目标跟踪的研究和工程应用具有一定实用价值和推广意义。

一直以来，水下多目标跟踪中的轨迹交叉问题比较棘手，尤其是非线性非高斯的情况。以后的研究工作将考虑本文所提方法结合基于贝叶斯理论的粒子滤波或基于随机有限集的概率假设密度滤波，以此来提高发生轨迹交叉时的多目标跟踪性能。

[1] DAVEY S J，RUTTEN M G，CHEUNG B．Using phase to improve track-before-detect[J]. IEEE transactions on aerospace and electronic systems, 2012, 48(1): 832-849.

[2] LIU S L, CHEN X L, ZENG T, et al．New analytical approach to detection threshold of a dynamic programming track-before-detect algorithm[J]. IET Radar, Sonar & Navigation, 2013, 7(7): 773-779.

[3] LOWE D G．Distinctive image features from scale-invariant key-points [J]. International journal of computer vision, 2004, 60(2): 91-110.

[4] NEGAHDARIPOUR S．On 3-D motion estimation from feature tracks in 2-D FS sonar video[J]. IEEE Transactions on Robotics, 2013, 29(4): 1016-1030.

[5] WANG S G, ZENG X Y. Robust underwater noise targets classification using auditory inspired time-frequency analysis[J]. Applied Acoustics, 2014, 78: 68-76.

[6] LIU Y, LIU S P, WANG Z F. Multi-focus image fusion with dense SIFT[J]. Information Fusion, 2015, 23: 139-155.

[7] LENC L, KRL P. Automatic face recognition system based on the SIFT features[J]. Computers & Electrical Engineering, 2015, 46: 256-272.

[8] 李海森, 高珏, 徐超, 等. 应用TBD的多波束声呐图像序列SIFT特征追踪[J]. 哈尔滨工程大学学报, 2016, 37(8): 1009-1014.

LI Haisen, GAO Jue, XU Chao, et al．SIFT feature tracking in multi-beam sonar image sequences using the track-before-detect technique[J]. Journal of Harbin Engineering University, 2016, 37(8): 1009-1014.

[9] SCHETTINI R, CORCHS S. Underwater image processing: state of the art of restoration and image enhancement methods [J]. EURASIP Journal on Advances in Signal Processing, 2010: 746052.

[10] GONZALEZ R C, WOODS R E. 数字图像处理[M]. 阮秋琦, 阮宇智, 等, 译. 北京: 电子工业出版社, 2017: 64-71.

GONZALEZ R C, WOODS R E. Digital image processing [M]. RUAN Qiuqi, RUAN Yuzhi, et al., Trans. Beijing: Publishing House of Electronics Industry, 2017: 64-71.

[11] LI H S, GAO J, DU W D, et al. Object representation for multi-beam sonar image using local higher-order statistics[J]. Eurasip Journal on Advances in Signal Processing, 2017(1): 1-9.

[12] 赵海旭, 聂良春, 邓红超. 一种基于时域处理的图像声呐技术[C]//水声对抗技术学术交流会, 2014.

ZHAO Haixu, NIE Liangchun, DENG Hongchao. An image sonar technology based on time domain processing[C]//Academic Conference on Underwater Acoustic Warfare, 2014.

Research on multi-target tracking method withSIFT featuresof sonar image sequences

ZHANG Li-hong1,2,3, ZHOU Tian1,2,3, XU Chao1,2,3, HAN Ting-ting1,2,3

(1. Acoustic Science and Technology Laboratory, Harbin Engineering University, Harbin 150001, Heilongjiang, China; 2. Key Laboratory of Marine Information Acquisition and Security(Harbin Engineering University), Ministry of Industry and Information Technology, Harbin 150001, Heilongjiang, China; 3. College of Underwater Acoustic Engineering, Harbin Engineering University, Harbin 150001, Heilongjiang, China)

The instability of acoustic imaging is still a challenge in multi-target tracking of high-frequency imaging sonar. Based on the SIFT (scale-invariant feature transform) feature tracking method using TBD (track-before-detect) technique, a SIFT feature tracking method with logarithm transformation for sonar image sequences is proposed. This method uses logarithmic transformation to preprocess images, and then uses the SIFT features of sonar image sequence to perform multi-target tracking. Logarithmic transformation can compress high gray-scale pixel values to improve the detection ability of weak targets and the stability of sonar imaging. The results of pool experiment showthat the SIFT feature tracking method with logarithm transformation performs better in multi-target tracking of sonar image sequences,compared with the median filtering and dynamic brightness allocation method.

sonar image sequences; track-before-detect; scale-invariant feature transform; image preprocessing; logarithmic transformation; multi-target tracking

TN911.7

A

1000-3630(2019)-05-0514-06

10.16300/j.cnki.1000-3630.2019.05.006

2018-05-09;

2018-06-28

国家自然科学基金 (U1709203、41376103)资助项目。

张丽红(1996－), 女, 河北武安人, 硕士研究生, 研究方向为水声信号处理。

周天,E-mail: zhoutian@hrbeu.edu.cn