Mean-shift跟踪算法及其在光电跟踪系统中的应用

王铭明，陈 涛，王建立，阴玉梅

(1.中国科学院长春光学精密机械与物理研究所，吉林长春130033;2.中国科学院大学，北京100049)

1 引言

光电跟踪系统是典型的光、机、电、控制和信号处理一体化的集成装置，广泛应用于实时监控、导弹导引、激光通信、武器火控系统等领域［1-2］。

光电跟踪系统的光学传感器捕捉到运动目标后，将图像信号传送至图像处理系统，图像处理系统利用图像跟踪算法跟踪运动目标，得到运动目标相对视场中心的脱靶量，并将脱靶量发送至伺服控制系统，伺服控制系统控制电机驱动负载，使光学传感器光轴始终对准目标，对运动目标完成自动跟踪。由此可见，图像处理系统对于脱靶量的准确提取是光电跟踪系统能否稳定跟踪运动目标的关键。

为提取运动目标脱靶量，需要利用图像跟踪算法实时稳定地跟踪运动目标。光电跟踪系统中图像跟踪算法有质心迭代法、相关跟踪法、波门跟踪算法、光流法和Mean-Shift跟踪算法等。

质心迭代法通过计算初始候选区域的质心并反复迭代，最终获得被跟踪目标的位置信息。质心迭代法的计算复杂度低，实时性好，但跟踪稳定度较低，要求被跟踪目标的像素权值较大，背景像素对目标跟踪的影响也相对较大［3］;相关跟踪算法主要是基准图像的匹配过程，是应用较广的一种跟踪算法，可用来跟踪较小、对比度较差或背景较复杂的运动目标，但是相关跟踪算法的运算量较大，而且目标运动、图像噪声干扰等因素会影响跟踪算法的可靠性;波门跟踪算法可分为矩心跟踪算法、边缘跟踪算法、双边缘跟踪算法和区域平衡跟踪算法，其中矩心跟踪算法是以阈值分割图像预处理为基础确定目标中心位置的算法，矩心跟踪算法计算简便、精度较高，适合背景单一的目标稳定跟踪，另外几种波门跟踪算法稳定度较差，在光电跟踪系统中应用较少;光流法给图像的每一个像素点赋予一个速度矢量，根据各个像素点的速度矢量特征，可以对图像进行动态分析。但光流法计算量非常大、实时性很差，对于光电跟踪系统的硬件处理能力具有很高的要求［4］。

本文采用基于灰度直方图的Mean-shift图像跟踪算法。Mean-shift算法是一种基于密度梯度的无参数估计方法［5-6］，在目标跟踪方面，Meanshift算法具有很高的稳定性，其迭代次数少、计算量小，能够保证目标跟踪系统的实时性和稳定性，已经广泛应用在目标实时跟踪系统中［7-16］。本文针对光电跟踪系统跟踪运动目标的实际效果，对Mean-shift算法的目标模型与候选模型的建立进行改进，引入了背景加权系数，抑制了目标模型与候选模型中背景像素对目标跟踪产生的影响，实验结果证明了本文介绍的图像跟踪算法在光电跟踪系统中具有较高的工程应用价值。

2 Mean-shift算法原理

Mean-shift跟踪算法是一个迭代过程，即先算出当前点的偏移值，移动该点到偏移值，计算目标模型与候选模型的相似性函数系数，相似性函数系数越大，表示目标模型与候选模型越匹配，然后以此点为新起点，继续移动，直到寻找到相似性函数系数取得最大值的点，这个点就是Mean-shift跟踪算法得到的被跟踪目标的中心位置。由于被跟踪目标的灰度特征便于描述，且稳定性较好，所以本算法选择灰度空间作为特征统计空间。

Mean-shift跟踪算法主要包括3个步骤:目标模型和候选模型的建立，相似性度量，目标定位。

2.1 目标模型和候选模型的建立

为了完成对运动目标地稳定跟踪，首先需要对目标模型进行描述，确定被跟踪目标模型的特征空间并计算该区域的加权灰度直方图，通过n级核加权直方图来表示目标模型的灰度分布，如式(1)所示。

目标模型建立后，运动目标在第二帧和以后每帧中可能包含目标的区域称为候选目标区域。令yi(i=1，…，n)表示像素在候选目标区域中的位置，其中心位置设为y0，与式(1)相似，以y0为中心的候选模型可表示成pu(y)，如式(3)所示。

2.2 相似性度量

在利用Mean-shift跟踪算法跟踪运动目标时，需要相似性函数度量目标模型与候选模型的匹配程度，即pu(y)与qu的相似程度。

本文使用Bhattacharyya系数作为相似性函数，如式(4)所示。

Bhattacharyya系数的值在0～1之间。ρ^(y)越大，表示候选目标与模板目标越匹配，那么对应的中心y越有可能是被跟踪目标在当前帧图像中的位置。

目标跟踪的过程即是寻找最优的y，使得Bhattacharyya系数最大。

2.3 目标定位

Mean-shift图像跟踪算法目标定位的过程是利用计算得到的均值向量反复迭代，更新核函数窗口的中心位置，直到满足判断条件，算法主要分为以下几个步骤:

(3)判断是否需要继续计算

首先判断是否‖y1-y0‖＜ε，如不等式成立，则停止计算，得到被跟踪目标的位置信息，否则将y1替y0返回到目标定位过程的第一步，继续寻找满足判断条件的候选目标位置。由于光电跟踪系统对实时性具有较高的要求，所以实际应用中设定迭代次数最多是30次。

3 Mean-shift跟踪算法的改进

利用传统的Mean-shift图像跟踪算法，在建立目标模型区域的加权灰度直方图时，被跟踪目标图像像素与背景图像像素都会对目标灰度直方图的分布产生影响。当目标模型区域中包含的背景区域像素较少时，传统的Mean-shift跟踪算法可以得到较好的跟踪效果，但在目标模型区域中包含背景图像像素较多或者背景不断变化的情况下，容易造成候选区域直方图与目标模型区域直方图的最佳匹配位置有所偏差，尤其对于快速运动目标的跟踪，容易导致目标丢失［17-19］。

为减少背景像素对目标跟踪产生的影响，本文对目标模型和候选模型均采用背景加权的方法。如果某灰度特征值在背景灰度直方图中所占权值较大，在建立目标模型和候选模型时对此灰度特征值赋予较小权重;相反如果某灰度特征值在背景灰度直方图中所占权值较小，则在建立目标模型和候选模型时对此灰度特征值赋予较大权重。利用此方法可以有效抑制背景像素对目标跟踪产生的影响，实现了对Mean-shift算法跟踪准确性的有效改进。具体实现方法如下:

3.1 计算背景区域灰度直方图

首先计算目标模板以外一定区域的背景灰度直方图，如式(7)所示。

3.2 计算背景加权系数

通过Ou可以计算得到背景加权系数λu(u=1，…，m)，如式(9)所示。

式中:Omin是Ou中最小的非零值。

3.3 计算背景加权后的目标模型和候选模型

在得到背景加权系数λu后，即可计算背景加权后重新定义的目标模型和候选模型，如式(10)和式(11)所示。

式中:x'i(i=1，…，n)表示像素在背景区域中的位置，其中心位置为x0，令b(x'i)表示位置x'i处的像素灰度，k2(x)是核函数，此时的核函数如式(8)所示。

4 实验结果与分析

为验证改进后的Mean-shift图像跟踪算法在光电跟踪系统中的应用效果，利用光电跟踪系统跟踪民航飞机。光电跟踪平台实物图如图1所示。

图1 光电跟踪平台实物图Fig.1 Optoelectronic tracking platform picture

当飞机飞进光电跟踪系统附近空域时，开启大视场捕获相机，转动单杆控制光电跟踪平台，使飞机进入大视场捕获相机的视场中心，这时目标飞机也将出现在小视场跟踪相机的视场中，手动选取初始跟踪框在跟踪相机视场中锁定跟踪目标，进入自动跟踪模式，录像并记录数据。

图2 跟踪图像Fig.2 Tracking image

进入自动跟踪模式后，每隔25 frame记录存储一张跟踪图像，由于跟踪相机的帧频是25 frame/s，所以每两张存储图像的间隔约为1 s。进入自动跟踪模式后的跟踪存储图像如图2所示，被跟踪的飞机一直比较稳定地处于跟踪相机视场中心附近，由此可知，基于目标灰度直方图的改进Mean-shift图像跟踪算法可以准确地跟踪飞机目标，并将飞机距离相机视场中心的脱靶量实时发送至光电跟踪系统的伺服控制系统，使飞机始终位于图像的中心区域附近，完成对运动目标的实时稳定跟踪。通过脱靶量换算得到的俯仰轴角偏差量如图3所示，方位轴角偏差量如图4所示。

图3 俯仰轴角偏差量Fig.3 Angle deviation of pitch axis

图4 方位轴角偏差量Fig.4 Angle deviation of azimuth axis

通过图3和图4记录的角偏差量波形可以发现，由于飞机基本做水平飞行，因而在跟踪过程中光电跟踪平台的俯仰轴转动范围很小，导致俯仰轴方向脱靶量在较小的范围内浮动，进入稳态后，俯仰轴角偏差量能控制在15″之内，光电跟踪平台的方位轴要跟随飞机水平飞行而不断转动，加上脱靶量延迟等因素，导致方位轴方向的脱靶量相对俯仰轴较大，在进入稳定后，方位轴的角偏差量可控制在30″之内。

改进的Mean-shift图像跟踪算法是在上位机Microsoft Windows XP的Visual C++6.0软件平台下实现的。上位机的配置是Intel Celeron G550双处理器，2.6 GHz主频，4 G内存和500 G硬盘。图像大小为720 pixel×576 pixel，每帧图像的跟踪处理时间在25 ms以内，跟踪相机的帧频是25 frame/s，可以保证光电跟踪系统对于图像处理的实时性要求。

实验证明了改进的Mean-shift图像跟踪算法的有效性，满足了光电跟踪系统中实时提取运动目标脱靶量的实际需求，实验结果达到了预期效果。

5 结论

本文针对光电跟踪系统中实时提取运动目标脱靶量的应用需求，设计了一种基于灰度直方图的Mean-shift跟踪算法，并在传统算法的基础上，改进了目标特征选取机制，重新定义了背景加权后的目标模型和候选模型。实验证明:所设计的图像跟踪算法可以实时有效地跟踪运动目标，使稳定后运动目标脱靶量换算得到的角偏差量控制在30″之内，保证了光电跟踪系统对运动目标的实时准确跟踪。

［1］ 侯志强，韩崇昭.视觉跟踪技术综述［J］.自动化学报，2006，32(4):603-617.

HOU ZH Q，HANG CH ZH.A survey of visual tracking［J］.Acta Automatica Sin.，2006，32(4):603-617.(in Chinese)

［2］ 张秉华，张守辉.光电成像跟踪系统［M］.成都:电子科技大学出版社，2003.

ZHANG B H，ZHANG SH H.Optical Imaging Tracking System［M］.Chengdu:University of Electronic Science and Technology of China Press，2003.(in Chinese)

［3］ 吕娜，冯祖仁.质心迭代图像跟踪算法［J］.西安交通大学学报，2007，41(12):1387-1391.

LÜ N，FENG Z R.Centroid iteration image tracking algorithm［J］.J.Xi'an Jiaotong University，2007，41(12):1387-1391.(in Chinese)

［4］ 孙承志，熊天忠，吉顺平，等.基于差分的光流法在目标检测跟踪中的应用［J］.机床与液压，2010，38(14):59-62.

SUN CH ZH，XIONG T ZH，JI SH P，et al..Application of optical flow algorithms based on difference in target detection and tracking［J］.Machine Tool Hydraulics，2010，38(14):59-62.(in Chinese)

［5］ CHEN Y Z.Mean shift，mode seeking，and clustering［J］.IEEE Transactions on Pattern Analysis Machine Intelligence，1995，17(8):790-799.

［6］ 冯伟兴，唐墨，贺波，等.Visual C++数字图像模式识别技术详解［M］.北京:机械工业出版社，2010.

FENG W X，TANG M，HE B，et al..Digital Image Pattern Recognition Programming Using Visual C++［M］.Beijing:China Machine Press，2010.(in Chinese)

［7］ 毛建国，柏方超，沈峘，等.复杂场景下动态目标视觉跟踪方法［J］.传感器与微系统，2010，29(3):23-28.

MAO J G，BAI F CH，SHEN H，et al..Vision based dynamic target tracking under complicated scenes［J］.Transducer and Microsystem Technologies，2010，29(3):23-28.(in Chinese)

［8］ 颜佳，吴敏渊，陈淑珍，等.应用Mean Shift和分块的抗遮挡跟踪［J］.光学 精密工程，2010，25(6):890-895.

YAN J，WU M Y，CHEN SH ZH，et al..Anti-occlusion tracking algorithm based on Mean Shift and fragments［J］.Opt.Precision Eng.，2010，25(6):890-895.(in Chinese)

［9］ 胡明昊，任明武，杨靖宇.一种基于直方图模式的运动目标实时跟踪算法［J］.计算机工程与应用，2004(3):71-74.

HU M H，REN M W，YANG J Y.A real-time moving object tracking algorithm based on histogram model［J］.Computer Eng.Appl.，2004(3):71-74.(in Chinese)

［10］ 黄永梅，马佳光，付承毓.目标速度预测在光电跟踪控制系统中的应用［J］.红外与激光工程，2004，33(5):477-481.

HUANG Y M，MA J G，FU CH Y.Application of forecast of moving target velocity in electro-optical tracking control system［J］.Infrared and Laser Eng.，2004，33(5):477-481.(in Chinese)

［11］ 薛陈，朱明，刘春香.遮挡情况下目标跟踪算法综述［J］.中国光学，2009，2(5):388-394.

XUE CH，ZHU M，LIU CH X.Review of tracking algorithms under occlusions［J］.Chinese Optics，2009，2(5):388-394.(in Chinese)

［12］ 张玲，蒋大永，何伟，等.基于Mean-shift的改进目标跟踪算法［J］.计算机应用，2008，28(12):3120-3122.

ZHANG L，JIANG D Y，HE W，et al..Improved target tracking algorithm based on Mean-shift［J］.Computer Appl.，2008，28(12):3120-3122.(in Chinese)

［13］ 彭宁嵩，杨杰.Mean-Shift跟踪算法中核函数窗宽的自动选取［J］.软件学报，2005，16(9):1542-1550.

PENG N S，YANG J.Automatic selection of kernel-bandwidth for Mean-Shift object tracking［J］.J.Software，2005，16(9):1542-1550.(in Chinese)

［14］ 彭宁嵩，杨杰.Mean-Shift跟踪算法中目标模型的自适应更新［J］.数据采集与处理，2005，20(2):125-129.

PENG N S，YANG J.Mean-shift tracking with adaptive model update mechanism［J］.J.Data Acquisition Processing，2005，20(2):125-129.(in Chinese)

［15］ 颜佳，吴敏渊，陈淑珍，等.跟踪窗口自适应的Mean Shift跟踪［J］.光学 精密工程，2009，17(10):2606-2611.

YAN J，WU M Y，CHEN SH ZH，et al..Mean Shift tracking with adaptive tracking window［J］.Opt.Precision Eng.，2009，17(10):2606-2611.(in Chinese)

［16］ COMANICIU D，RAMESH V，MEER P.Real-time tracking of non-rigid objects using mean shift［J］.IEEE，2000，2:142-149.

［17］ 王田，刘伟宁，韩广良，等.基于改进Mean-Shift的目标跟踪算法［J］.液晶与显示，2012，27(3):396-400.

WANG T，LIU W N，HANG G L，et al..Target tracking algorithm based on improved Mean-Shift［J］.Chinese J.Liquid Crystals and Displays，2012，27(3):396-400.(in Chinese)

［18］ 杜超，刘伟宁，刘恋.一种基于卡尔曼滤波及粒子滤波的目标跟踪算法［J］.液晶与显示，2011，26(3):384-389.

DU CH，LIU W N，LIU L.Target tracking algorithm based on kalman filter and particle filter［J］.Chinese J.Liquid Crystals and Displays，2011，26(3):384-389.(in Chinese)

［19］ 刘扬，张云峰，董月芳.复杂背景下抗遮挡的运动目标跟踪算法［J］.液晶与显示，2010，25(6):890-895.

LIU Y，ZHANG Y F，DONG Y F.Anti-occlusion algorithm of tracking moving object in clutter background［J］.Chinese J.Liquid Crystals and Displays，2010，25(6):890-895.(in Chinese)