海天背景下红外舰船目标实时跟踪算法研究*

王悦行，陈晓冬，赵克军，黄　庆，汪　毅，郁道银（1　天津大学精密仪器与光电子工程学院，天津　00072；2　天津大学光电信息技术教育部重点实验室，天津　00072；　洛阳电光设备研究所，河南洛阳　471000）

海天背景下红外舰船目标实时跟踪算法研究*

王悦行1，2，陈晓冬1，2，赵克军3，黄庆3，汪毅1，2，郁道银1，2
（1天津大学精密仪器与光电子工程学院，天津300072；2天津大学光电信息技术教育部重点实验室，天津300072；3洛阳电光设备研究所，河南洛阳471000）

针对海天背景下的红外舰船图像对比度低、船载摄像机上下抖动剧烈的特点，文中提出了均值移位（mean-shift）和海天线检测相结合的红外目标实时跟踪算法。首先通过水平投影方法提取每帧图像的海天线，然后由相邻帧海天线的高度差设定每帧图像跟踪起始点，将目标的灰度和梯度信息进行加权来描述目标特征，利用mean-shift算法进行目标跟踪。实验结果表明，文中算法能够准确跟踪上下运动剧烈的红外舰船目标，跟踪速度达到12 fps。

均值移位；红外舰船目标；实时跟踪；海天线；水平投影；加权直方图

0　引言

海天背景下红外目标的检测与跟踪系统具有被动探测、抗干扰能力强和全天候工作等特点，是当前侦察、检测等领域研究的重点。由于红外检测系统固有的成像特点，红外图像通常存在着噪声大、目标和背景之间对比度小、边缘模糊等特点［1］。而且由于安装在海面运动载体上的摄像机随波浪上下起伏，导致拍摄到的画面很不稳定，画面中的目标运动随机性较大，在很大程度上增加了目标跟踪的难度［2］。

在海面远距离平视状态下，舰船红外图像一般分为3个区域：天空区域、海面区域和海天线区域。由于舰船目标远离成像平台，且处于平视成像状态，故目标在运动中是不会脱离海天线的［3］。因此，通过确定海天线的位置，可以缩小目标的搜索区域［4-5］，提高目标跟踪速度和准确性。关于海天背景下目标实时跟踪算法研究起步较晚，而且相关文献都是在提取目标的基础上采用传统跟踪算法进行跟踪［6-7］，并未改进算法本身。针对低对比度、高噪声条件下远距离海面上下起伏剧烈的红外舰船目标，文中提出了一种利用海天线信息的加权mean-shift算法。

1　改进mean-shift算法实现

1.1mean-shift算法概述

mean-shift算法是一种基于密度梯度的无参数估计方法［8］。在跟踪图像起始帧中，通过手动确定搜索窗口来选择运动目标；利用式（1）计算初始帧搜索窗口经过核函数加权的直方图分布qu，并用同样的方法得到第N帧对应窗口的直方图分布pu；

式中：xo、xi分别是初始帧搜索窗口（包含n个像素）的中心像素坐标和第i个像素的坐标；k（‖x‖2）是Epanechnikov型核函数，h为核半径。u为描述目标的特征值，取值为1-m；函数δ的作用是判断xi处的特征值b（xi）是否属于u；C是一个标准化的常量系数，使得所有特征值的概率和为1。

设y为第N帧目标的最优位置，计算初始帧目标模型和第N帧模型的相似性度量ρ（y），定义为：

其中，ρ（y）称为巴氏系数。

为使ρ（y）最大，在当前帧中，以前一帧搜索窗口的位置作为当前帧搜索窗口的位置，设窗口中心为y0，在y0邻域内寻找局部最优目标位置y1。对式（2）在ρ（y0）处进行泰勒展开，然后通过对相似性函数求最大值，可以推导出mean-shift向量：

其中ωi称为权值，其计算公式为：

mean-shift沿Mh，G（y）反复迭代，最后得到当前帧图像目标的最优位置y。

1.2由海天线高度估计起始点

在mean-shift跟踪过程中，如果目标的运动速度过快，当前帧目标点与跟踪起始点的距离较大，meanshift算法的跟踪效果变差［9-10］。由于舰船目标在海天线附近运动，海天线的高度变化能够很好地反映目标的上下运动情况，因此可以利用海天线的高度变化获得每帧图像mean-shift的跟踪起始点。第一帧图像的跟踪起始点通过手动确定，在以后每帧图像跟踪前，先得到当前帧图像的海天线高度，然后通过下列公式确定当前帧起始点坐标：

hk-1、hk分别为上一帧和当前帧的海天线高度，（xk-1，yk-1）是第k-1帧目标中心的坐标，（xk0，yk0）表示第k帧搜索窗口的起始点坐标，N为图像总帧数。确定当前帧起始点的坐标后，mean-shift会在起始点的邻域找到目标最优的位置。

2　水平投影法提取海天线

由于海天线通常位于海天背景图像的中间区域，而且图像边缘区域的噪声较大，易对海天线的检测造成影响。因此，在检测海天线前，对海天背景图像进行区域化处理，去除图像的上下边缘。然后，对保留的区域用水平边缘提取算子进行水平边缘处理，得到二值化边缘图像，如图1（b）所示。通过实验发现，边缘化图像的亮点集中分布在海天线区域，而海天线所在行一般是亮点出现最多的行。因此，利用水平投影法，对图像中每行进行求和处理，求和数值最大的行即认为是海天线位置，得到的结果如图1（c）所示。

由于红外探测系统安装在稳定跟踪平台上，能够隔离舰船载体的角运动，海天线的倾角不会超过5°［11］，因此，用水平投影法提取海天线的误差很小。水平投影法的算法简单，计算速度较Hough变换方法提高约2.6倍，且提取海天线的准确性在92%以上。

对于误取海天线的情况，由于真实的海天线在不同帧之间连续变化，而误取的海天线与上一帧真实的海天线相比，位置一般会发生较大的改变，所以对于误取海天线的情况，采取近似处理：把上一帧正确识别的海天线近似作为当前帧的海天线。判断海天线是否误取的方法是：根据不同天气条件下的舰船起伏情况设定阈值T，如果连续两帧图像中海天线的高度差绝对值大于T，则确定为海天线误取。提取海天线的过程如图1所示（区域化处理前后图像宽度不同）。

3　目标模型描述

3.1灰度和梯度概率密度直方图计算

在红外图像序列中，只有灰度信息可以作为红外目标的特征空间。与颜色空间相比，单一的灰度空间信息量少，而且由于海天背景的噪声大，目标特征易受噪声影响。张旭光等［12］利用梯度方向信息描述目标特征，Fouad Bousetouane等［13］将颜色特征和空间结构性质相结合描述目标特征。文中采用图像灰度和梯度方向信息加权的方法构造特征空间，形成概率密度的多特征描述。

首先，将灰度值0～255等分为16份，分别标记为｛1，2，…，16｝，记作特征值u，将搜索窗口像素的灰度值按照上述规则进行统计，得到对应元素的灰度特征值b（xi），根据式（1）对搜索窗口中像素的灰度值进行核函数加权处理，得到灰度特征概率密度分布直方图pu1。

图1　海天线提取过程

然后，定义搜索窗口中像素的梯度方向角为：

式中：∂f/∂x和∂f/∂y分别是该像素处沿X和Y方向的梯度，可以通过sobel算子得到，计算得到θ的取值为（-π，π］。

得到像素的梯度方向角后，为了获得方向编码，需要对方向角进行量化处理，具体计算公式如下：

式中：方向编码的间距取π/8对θ进行量化，为避免灰度和梯度加权后相互干扰，在式（9）中将梯度量化值加上25，从而使灰度和梯度的取值不同，因此c的取值范围为｛17，18，…，33｝。为避免式（8）中由于X方向的局部小梯度引起梯度噪声，根据目标边缘的梯度大小设定Th=10。由式（1）得到梯度特征概率密度分布直方图pu2。

3.2加权特征描述

将灰度和梯度特征直方图按照式（10）进行加权，得到加权特征概率密度分布直方图pu。pu的取值范围为｛1，2，…，33｝，其中，目标的灰度直方图pu1取值为｛1，2，…，16｝，目标的梯度直方图pu2取值为｛17，18，…，33｝。

式中：τ为灰度权重因子，τ的取值由跟踪框中目标和背景的灰度对比度决定，灰度对比度大时τ相应增大。由于目标的灰度值较大且相对稳定，而背景的灰度值较小且变化剧烈，因此，灰度值对比度主要由背景的灰度值大小决定。选择最大类间方差法（OTSU）计算每一帧图像搜索框中目标和背景的灰度阈值M（取值为0～1），M越大说明背景灰度值大，背景与目标的对比度小，因此应设置较小的灰度权重因子。通过实验发现，取τ=1-0.6 M，梯度直方图的权重因子为1-τ，得到的加权直方图pu对目标描述准确，跟踪效果最好，因此，选择灰度权重因子τ=1-0.6 M。

4　算法实验

4.1算法具体步骤

1）在初始帧建立目标模型，初始位置为u0，搜索框大小为L×W，读取第一帧的海天线高度h1。

2）分别计算目标模型的梯度和灰度直方图，根据式（10）求出目标模型的加权概率密度函数qu。

3）读取当前第k帧的海天线高度hk，利用式（5）～式（7）求出当前帧跟踪起始点位置（xk0，yk0），然后在当前帧该位置按照步骤2）方法求出候选目标区域的加权概率密度函数pu；根据式（1）计算目标模型和当前候选目标的相似度ρ1。

4）将qu和pu代入式（3）、式（4）计算加权偏移量Y，然后将起始点位置偏移Y后计算新候选位置的加权概率密度函数p'u，然后计算其与目标模型的相似度ρ2；如果ρ2＜ρ1，则Y=Y/2。

5）判断‖Y‖2＜ε或者大于预定的最大迭代次数N，如果满足条件则停止本步骤，否则以起始点位置（xk0，yk0）加上偏移量Y为新的起始点，在当前帧继续按照步骤3）、4）搜索。算法设定ε=0.5，N=20。

6）转到下一帧，重复3）～5）步骤，直至跟踪结束。

4.2实验结果与分析

为了验证文中红外图像目标跟踪算法，文中分别选取红外小舰船和红外大舰船目标序列进行目标跟踪实验，两段视频的具体指标参见表1。在Intel Core i3 3.3 GHz的PC机上应用MATLAB R2014a软件平台，分别对图像序列采用基于灰度的mean-shift方法、基于梯度的mean-shift方法和文中算法进行实验。在图像序列的第一帧，采用手动方式确定待跟踪红外目标的位置和大小。

表1　实验视频指标统计

图2　三种算法对小目标图像跟踪效果

图2是三种算法对小目标图像的跟踪效果，图2 （a1）～图2（c1）、图2（a2）～图2（c2）、图2（a3）～图2（c3）分别为灰度mean-shift算法、梯度mean-shift算法和文中算法在第183、210和234帧的跟踪效果。可以看到，在第183帧3个算法都有较好的跟踪效果，但是在第210帧，由于目标下降过快，目标周围背景灰度变亮，背景与目标的灰度对比度减小，此时，灰度mean-shift不能准确的跟踪到目标，但因为meanshift方法具有在跟踪失败后恢复的能力，在第234帧又重新跟踪到目标。由于目标和背景的梯度对比度较大而且保持相对稳定，因此，梯度mean-shift能准确的跟踪到目标。图3是三种算法对大目标图像的跟踪效果，图3（a1）～图3（c1）、图3（a2）～图3（c2）、图3（a3）～图3（c3）分别为灰度mean-shift算法、梯度mean-shift算法和文中算法在第6、133和327帧的跟踪效果。由于目标与背景的梯度对比度较小，因此，梯度mean-shift较快的偏离目标中心。而由于大目标图像的灰度对比度较大，灰度mean-shift能准确的跟踪到目标。通过实验表明，灰度mean-shift和梯度mean-shift方法在不同目标条件下跟踪效果不稳定，而文中算法由于对灰度和梯度特征进行了加权处理，对小目标和大目标图像都实现了准确的跟踪。

图3　三种算法对大目标图像跟踪效果

为验证文中算法对图像中上下起伏剧烈舰船目标的跟踪效果，将红外大舰船目标序列每间隔10帧取一帧图像，使得相邻帧图像的目标上下起伏更加剧烈，经过处理后的图像序列共40帧。图4是舰船目标在X、Y方向的真实运动轨迹，目标的真实位置由手动标定。选取原图像左上角为坐标原点，x增加表示目标右移，y增加表示目标下移。由图4可以看出，目标在Y轴比X轴运动明显剧烈，这是由船载摄像机随波浪上下起伏造成的。分别用文中算法与灰度和梯度加权mean-shift方法（加权方法）对该图像序列进行跟踪实验，图5是两种算法的目标跟踪误差曲线。可以看到，由于目标上下起伏过快，加权方法在跟踪开始后就丢失了目标，之后一直存在较大的跟踪误差。文中算法由于能够通过相邻帧图像海天线的高度变化有效预测目标的上下起伏情况，因此在目标上下起伏剧烈的情况下仍能对图像中的目标实现准确的跟踪。

图4　舰船目标在X、Y方向运动轨迹

表2是灰度mean-shift、加权mean-shift和文中算法分别对大目标图像序列进行实验得到的平均迭代次数和跟踪速度的比较。文中算法由于加入了海天线信息，使得海天背景下的目标跟踪起始点更接近真实目标点，因此，每帧图像的算法平均迭代次数不到2次，较加权mean-shift和灰度mean-shift方法分别减少约18%和75%。文中算法由于加入了海天线提取算法，算法复杂度稍有增加，但跟踪速度仍达到12.5 fps，对于工作帧频小于12 fps的红外摄像机而言满足实时跟踪的要求。

图5　两种算法跟踪误差比较

表2　不同算法平均迭代次数和跟踪速度比较

5　结论

针对复杂海天背景下红外舰船目标的信噪比低、船载摄像机上下抖动剧烈的特点，文中提出了一种基于加权mean-shift和海天线检测相结合的红外目标实时跟踪算法。文中算法由于对灰度和梯度特征进行了加权处理，因此在不同目标条件下对目标的跟踪都具有较好的鲁棒性。在跟踪过程中，文中算法能够通过相邻帧图像海天线的高度变化有效预测目标的上下起伏情况，因此仍能准确的跟踪图像中上下起伏剧烈的目标。文中算法跟踪速度可达12 fps，满足实时跟踪的要求。下一步研究重点是在跟踪前对初始帧目标的大小和位置实现快速检测，以及在目标存在明显尺寸变化时，实现模板尺寸的自适应。

［1］ 杨威，李俊山，史德琴.时空联合的红外运动目标提取算法［J］.光电工程，2008，35（5）：50-54.

［2］曾文静，万磊，张铁栋，等.复杂海空背景下弱小目标的快速自动检测［J］.光学精密工程，2012，20（2）：403-412.

［3］黄英东，范宁军，李杰.一种基于海天线检测的舰船定位方法［J］.弹箭与制导学报，2008，28（5）：286 -288.

［4］黄文韵，马惠敏，王生进.海面背景红外目标的识别算法［J］.清华大学学报（自然科学版），2009，49（10）：1609-1613.

［5］KANG W J，DING X M，CUI J W，et al.Research on extraction of ship target in complex sea-sky background［C］∥The International Symposium on Instrumentation Science and Technology，Journal of Physics：Conference Series，2006，48（1）：354-358.

［6］FEFILATYEV S，GOLDGOF D，SHREVE M，et al.Detection and tracking of ships in open sea with rapidly moving buoy-mounted camera system［J］.Ocean Engineering，2012，54：1-12.

［7］WU Jiawei，MAO Shiyi，WANG Xiaoping，et al.Ship target detection and tracking in cluttered infrared imagery ［J］.Optical Engineering，2011，50（5）：（057207）.

［8］CHENG Yizong.Mean Shift，Mode Seeking，and Clustering［J］.IEEE Transactions on Pattern Analysis and Mahine Intelligence，1995，17（8）：790-799.

［9］朱胜利，朱善安，李旭超.快速运动目标的Mean shift跟踪算法［J］.光电工程，2006，33（5）：66-70.

［10］HUANG S，HONG J.Moving object tracking system based on camshift and kalman filter［C］∥Proceedings of the International Conference on Consumer Electronics，CommunicationsandNet-works.Piscataway：IEEE，2011：1423-1426.

［11］刘士建，吴滢跃，蔡能斌.低SNR海天线提取算法［J］.红外与激光工程，2013，42（12）：3491-3495.

［12］张旭光，赵恩良，王延杰.基于Mean-shift的灰度目标跟踪新算法［J］.光学技术，2007，33（2）：226-229.

［13］FOUAD Bousetouane，LYNDA Dib，HICHEM Snoussi. Improved mean shift integrating texture and color features for robust real time object tracking［J］.The Visual Computer-Springer，2013，29（3）：155-170.

Infrared Ship Target Real-time Tracking Algorithm Under Sea-sky Background

WANG Yuexing1，2，CHEN Xiaodong1，2，ZHAO Kejun3，HUANG Qing3，WANG Yi1，2，YU Daoyin1，2
（1School of Precision Instrument and Opto-electronics Engineering，Tianjin University，Tianjin 300072，China；2Key Laboratory of Opto-electronics Information Technology（Tianjin University），Ministry of Education，Tianjin 300072，China；3Luoyang Institute of Electro-optical Equipment，Henan Luoyang 471000，China）

A real-time algorithm under various complicated sea-sky background，which corresponded to the feature of low contrast around infrared ship and sharp up-and-down motion of camera on boat，was proposed by combining mean-shift and sea-sky-line detection.Firstly，the height of sea-sky-line was extracted by the horizontal projection method，and then the height difference of sea-sky-line in adjacent frames was used to set starting position at current frame，furthermore，the target’s feature was described by creating weighted histogram which combined gray-level and gradients orientation information，and finally，mean-shift was used to track the position of target.Experimental results show that this algorithm can track infrared up-and-down motion ship target accurately，and the tracking speed can reach 12 fps.

mean-shift；infrared ship target；real-time tracking；sea-sky-line；horizontal projection；weighted histogram

TP391.4

A

10.15892/j.cnki.djzdxb.2016.01.041

2015-04-16

王悦行（1990-），男，山东德州人，硕士研究生，研究方向：目标识别与跟踪。