复杂背景灰度图像下的多特征融合运动目标跟踪

江　山，张　锐，韩广良，孙海江

(中国科学院 长春光学精密机械与物理研究所，吉林 长春 130033)



复杂背景灰度图像下的多特征融合运动目标跟踪

江山*，张锐，韩广良，孙海江

(中国科学院 长春光学精密机械与物理研究所，吉林 长春 130033)

为解决低对比度、低信噪比、目标旋转、缩放等非理想状态给跟踪算法的研究带来的诸多困难,本文提出灰度图像多特征融合目标跟踪算法，保证在满足工程实践需要的条件下，能够对目标进行稳定的跟踪。算法首先对灰度图像利用Sobel算子求出梯度特征，将X、Y双方向的梯度特征与灰度特征相融合得到新特征，新特征在核密度函数下对低对比度，目标轮廓形状变化较大的情况有较高的适应性和稳定性，再利用背景建模的方法对提取的运动目标区域进行加权，降低非跟踪目标的权值，最后对融合后的加权特征目标利用改进MeanShift算法进行跟踪。通过大量的实验表明，该算法适应目标和背景的复杂变化,并且具有较强的鲁棒性，基本满足在复杂背景灰度图像下目标跟踪的工程实际需求。

目标跟踪；边缘检测；Sobel算子；MeanShift跟踪

1　引　言

目前，复杂背景灰度图像视频监控是一个热点并且难点问题，尤其在军事战场，夜间安防监控更为重要。如何有效地在复杂，低照度，低对比度视频序列中对感兴趣的目标跟踪，是很多学者都在研究的挑战性课题[1-4]。2003年，Comaniciu[5]将MeanShift均值算法用于目标跟踪算法，成为目前主流的跟踪方法，MeanShift[6-9]算法能够有效的对彩色图像，背景场景单一环境进行稳定跟踪，但其存在着鲁棒性较差[10]，不适应复杂背景，并且当跟踪目标出现姿态变换，遮挡等问题时，该算法基本无法正常跟踪[11]。而这些问题在灰度图像视频中，更加突出，所以常规的基于颜色直方图统计的MeanShift算法已经不适应灰度图像。很多学者对此提出改进方法，例如引入Kalman滤波器，首先对运动目标的位置进行预测范围，然后利用MeanShift算法对预测的范围进行匹配，求得运动目标的位置[12]，该方法能够对遮挡或者背景的部分干扰，提高跟踪效果。文献[13]提出对巴斯系数进行改进，减少匹配误差，文献[14-18]中对MeanShift引入空间信息，各个部分对整体贡献不同，解决部分遮挡问题。但这些新算法基本基于彩色图像，对灰度图像适应性不强。

本文基于MeanShit算法思想，针对灰度图像，提出多特征融合运动目标跟踪算法。首先对图像进行Sobel算子的卷积运算，求得其图像X、Y双方向的纹理特征。然后将图像的灰度信息与纹理信息进行快速融合得到新特征，本文算法核心思想是针对灰度图像对比彩色图像缺少色度和饱和度信息，导致特征不足跟踪不稳的情况，引入图像的纹理信息，该特征包含图像纹理信息和灰度信息。新特征在核密度函数下对低对比度，目标形状变化较大的情况有较高的适应性和稳定性，并对MeanShift的权重进行重新加权分配，针对复杂背景情况，对前景目标权重提升，而背景图像权重利用高斯函数中小概率随机数进行赋值，保证其能够具有一定的更新，将得到的融合加权特征，利用改进 MeanShift算法求出运动目标位置。本文算法的意义在于对跟踪目标特征的构造不仅局限于颜色特征，而融合新的特征点，对在颜色特征无法有效进行判断时，通过新的特征点进行计算，针对灰度图像，得到更有效的跟踪效果，并且对尺度变换和复杂背景条件下，有效的进行跟踪。

2　目标模型建立

2.1运动目标提取

运动目标检测是视频跟踪的前提和基础，本文为了达到实时性，采用了滑动平均作为运动目标提取方法，该方法相对于高斯背景建模，码本建模的优势在于可以快速求出前景图像，适应实时性，其核心思想是首先选取第一帧图像做为背景图Ib，然后利用当前图像Ic，实时更新背景图像Ib：

(1)

式中，α为更新率，一般的方法是根据经验和实验效果设定一个α值，并按照上述公式进行更新。前景目标提利用当前图像和背景图像做差分，提取出视频中的运动目标，即为前景目标。

2.2目标纹理特征提取

本文采用Sobel[19]算子提取图像的纹理特征。Sobel算子是离散一阶差分算子，根据像素点邻域灰度加权差，即每一个邻域块与卷积核作卷积运算得到梯度信息，该算法对噪声有平滑作用，可以提供较为精确的梯度方向信息。算子包含两组3×3矩阵，分别与图像作平面卷积，可分别得到横向及纵向亮度差分近似值，公式如下：

(2)

式中，A为当前帧图像，Px和Py分别代表水平X及纵向Y的一阶梯度图像，*表示卷积运算。图像纹理特征即根据Sobel算子对图像进行卷积运算，将式(2)得到的Px和Py进行融合，即图像中每个像素点Aij包含其两个方向的梯度信息{Px(i,j),Py(i,j)}，该特征即为当前像素点的纹理特征。由像素点的纹理特征组成的纹理图像能够有效的提取图像中目标的边缘信息，为后续跟踪提供更多的有效特征信息。

3　MeanShift方法简介

(3)

式中，C为标准化常量，一般用于归一化，XI代表图像在I处的特征值，H为欧式距离向量，K(XI,H)为加权核密度函数，其具有非负，非增，分段连续特性，且∫K(x)dx≤∞。δ为选通函数，即为：

(4)

一般MeanShift采用Epanechnikov核函数：

(5)

式中，C为归一化参数，H为欧式距离向量。

令k(x)的负导数为g(x)，即g(x)=-k′(x)，则；

(6)

对式(3)进行求导，得到概率密度估计的梯度：

(7)

将式(6)带入式(7)中，得：

(8)

定义M(x)为MeanShift偏移向量，即特征直方图的梯度大小及方向。

(9)

(10)

如图1所示，MeanShift算法的对特征收敛过程，最终样本集中在局部特征密度最大值中，即和目标模板最相似的地方。

图1　MeanShift迭代收敛过程 Fig.1　Iterative convergence process of MeanShift algorithm

4　多特征融合目标跟踪算法

由上面公式推导可以看出，如何选取特征值直方图是目标跟踪的关键，但在灰度图像中，丢失了彩色信息，其特征信息仅为彩色图像的1/3，因此如果单纯的利用灰度值作为特征，在复杂背景下，MeanShift算法很容易丢失目标，无法对目标进行定位，甚至跟踪到灰度值较接近的复杂背景中，无法对目标识别。因此，本文提出利用图像的X和Y方向的梯度特征和灰度特征进行融合，形成多特征直方图，进而对目标进行稳定跟踪。

4.1特征模型建立

针对待匹配模板图像建立特征模型，特征模型分为两个部分，灰度特征，梯度特征。对待匹配模板图像IM(x,y)，利用Sobel算子，求得其X方向的纹理特征Px和其Y方向的纹理特征Py，即图像IM(x,y)中每个像素点有3个特征，IM(x,y)={Px,Py,L}，其中L为灰度值。

4.2加权特征提取

本文算法利用背景建模方法，提取主要前景目标，对其前景部分特征作为其主要采样特征值，减少背景特征值对其产生的干扰信息，即：

(11)

pMask为加权特征图像，其为二值化图像，当待匹配图像IM(x,y)的像素位置(x,y)属于前景图像时，统计当前概率密度，当(x,y)属于背景图像时，不进行核函数计算，对其概率密度图像取高斯概率分布函数中小概率随机数，保证其具有一定随机更新意义，将式(11)代入式(3)中得：

(12)

4.3多特征融合MeanShift

令待匹配图像其像素点Zx,y由3个特征组成，其分别为Zx,y={Px,Py,L}，对Zx,y进行直方图统计，为了减小目标由于形变，光照，旋转等外界因素变化导致目标匹配度降低，本文对特征的进行尺度变换，令变换尺度为λ、μ、ν，即其特征融合后的特征值:

(13)

式中，λ、μ、ν变换尺度取线性叠加，即λ=26/32，μ=22/32，ν=1/32。

将式(13)带入式(8)中，得MeanShift特征值向量:

(14)

再利用迭代方法，最终得到x←x+M(x)，此时x即为目标最终位置。

图2　Epanechnikov核函数曲面 Fig.2　Epanechnikov kernel surface

为了进一步说明多特征融合算法在背景复杂的灰度图像上的优越性，本文对比采用多特征融合核函数曲面和单灰度特征核函数曲面，其中Epanechnikov核函数曲面图如图2所示。

待测模板图像如图3所示。

图3　待测模板图像 Fig.3　Image of template to be measured

将其待测模板图像(此图像原图为图6中第216帧)的灰度特征和多特征融合集合代入核密度函数后，分别得到密度函数概率曲面图如图4所示。

图4　灰度特征图像核密度特征曲面 Fig.4　Gray image kernel surface

图5　多特征融合图像核密度特征曲面 Fig.5　Multi-feature fusion kernel surface

图3中待跟踪目标为绿色框，可以看出，在该灰度图像中，该男子灰度特征与周围复杂背景特征很相似，如果单纯利用灰度特征进行统计核密度，得到的图4，背景和前景图像的核密度均匀散布在整个空间中，无法突出目标特征，在跟踪过程中，很容易丢失目标，而图5为多特征融合后统计核密度，可以看出，在目标位置附近，该区域核密度明显产生了峰值，有效的和背景目标进行了区分，因此能够对目标进行稳定的跟踪。

5　实验与分析

在本文算法中，前景图像通过背景建模的方法自动提取，实现完全脱离人工选定，实现全自动跟踪运动目标跟踪，测试视频大小为320×240，视频源为微软通用视频集和自制录像视频集。

微软视频源具有通用性，包含各种影响因素，例如光照变换，复杂、简单背景，人车等不同运动目标，因此该测试视频集能够验证算法说明对环境的适应性和通用性。自制视频集贴近真实的生活场景，具有复杂背景，光照变换等不确定因素，更加贴近真实使用场景，测试其实际工程能力和应用能力。因此本文算法分别在以下两种视频集中进行测试，并且选取低对比度，目标柔性变化大和复杂场景这三种情况作出对比实验并给出相关分析结果。

图6中测试视频为微软通用视频集，给出在背景图像与目标图像灰度值较为接近时，本文算法与传统灰度特征MeanShift算法的对比效果图。

在图6中，针对图中左侧的人可以看出本文研究的算法在背景和目标灰度值较为接近的条件下，能够稳定的跟踪目标，而传统MeanShift算法在复杂背景条件下，产生丢失目标的现象。

为了更好的说明本文算法的通用性和工程实际价值，在录制实际场景视频进行测试。

图6　微软通用视频集本文跟踪算法和传统算法对比分析 Fig.6　Comparison analysis between our algorithms and traditional one in Microsoft video set

图7测试视频是实际应用场景，运动目标较大，柔性变化较多的对比效果。

图7　自制视频集本文跟踪算法和传统算法对比分析 Fig.7　Comparison analysis between our algorithms and traditional one in self-made video set

在图7中，本视频源和微软通用视频源相比，运动目标更大，人体的柔性变化更多，因此跟踪难度更大，但从图7可以看出，本文算法对这种情况有很好的适应性。而传统MeanShift算法对该视频的适应性则很差，很难有效地连续跟踪，但本文算法在实际测试效果中，依然具有很好的跟踪稳定性和鲁棒性，尤其在低对比度图像中，仍然可以得到较好的跟踪效果。

图8为给出在复杂场景下，本文算法和传统算法跟踪效果图。

图8　微软通用视频集本文跟踪算法和传统算法对比分析(在复杂场景下) Fig.8　Comparison analysis between our algorithms and traditional one in self-made video set(in a complex background)

由图8可以看出，在图像左上角的复杂场景下，本文算法能够取得良好的跟踪效果，在人体弯腰，转身等各种形变下，均能有效的跟踪，不被背景图像干扰，而传统算法则在提取目标后将背景复杂图像作为目标，随后无法跟踪上物体。在图像的左下角进入的行人中，由于阴影原因导致目标与背景颜色接近，对比度低，本文算法依然能够对图像进行稳定跟踪，而传统算法在目标逐步走进阴影区后，丢失目标。

由于本文采用的是自动捕获目标跟踪，相对于其他人工干预选定目标的方法比，前景目标提取具有不确定性和噪音较多等缺点，但本文算法依然能够稳定的跟踪，证明其具有较好的鲁棒性和实用价值，为工程实际应用奠定了基础。

6　结　论

在低对比度，复杂场景的情况下的灰度图像中，传统基于颜色的MeanShift跟踪算法无法连续正常跟踪。而本文针对此这种情况， 提出复杂背景下灰度图像多特征增强目标跟踪算法，通过大量的实验数据表明，该算法能够有效的解决此类问题，并且本文实验采用自动提取跟踪目标，因此该算法具有重要的实用价值和工程价值。

[1]高文,朱明,贺柏根,等.目标跟踪技术综述[J].中国光学，2014,7(3)：365-375.

GAO W,ZHU M,HE B G,etal.. Overview of target tracking technology[J].ChineseOptics,2014,7(3):365-375.(in Chinese)

[2]刘扬,张云峰,董月芳.复杂背景下抗遮挡的运动目标跟踪算法[J].液晶与显示,2010,25(6):890-895.

LIU Y,ZHANG Y F,DONG Y F. Anti-occlusion algorithm of tracking moving object in clutter background[J].ChineseJ.LiquidCrystalsandDisplays,2010,25(6):890-895.(in Chinese)

[3]宋策,张葆,尹传历.适于机载环境对地目标跟踪的粒子滤波设计[J].光学 精密工程，2014,4(22)：1037-1047.

SONG C,ZHANG B,YIN CH L. Particle filter design for tracking ground targets in airborne environment[J].Opt.PrecisionEng.,2014,4(22):1037-1047.(in Chinese)

[4]李静宇,王延杰.基于子空间的目标跟踪算法研究[J].液晶与显示，2014,4(29)：617-622.

LI J Y,WANG Y J. Subspace based target tracking algorithm[J].ChineseJ.LiquidCrystalsandDisplays,2014,4(29):617-622.(in Chinese)

[5]NING J F,ZHANG L,ZHANG D,etal.. Scale and orientation adaptive meanshift tracking[J].IETComputerVision,2012,6(1):52-61.

[6]王铭明,陈涛,王建立,等.Mean-shift跟踪算法及其在光电跟踪系统中的应用[J].中国光学，2014,7(2)：332-338.

WANG M M,CHEN T,WANG J L,etal.. Mean-shift tracking algorithm and its application in optoelectronic tracking system[J].ChineseOptics,2014,7(2): 332-338.(in Chinese)

[7]王田,刘伟宁,韩广良,等.基于改进MeanShift的目标跟踪算法[J].液晶与显示,2012(3):396-400.

WANG T,LIU W N,HAN G L,etal.. Target tracking algorithm based on improved meanshift[J].ChineseJ.LiquidCrystalsandDisplays,2012(3):396-400.(in Chinese)

[8]闫辉,许廷发,吴青青,等.多特征融合匹配的多目标跟踪[J].中国光学，2013,6(2)：163-170.

YAN H,XU T F,WU Q Q,etal.. Multi-object tracking based on multi-feature joint matching[J].ChineseOptics,2013,6(2):163-170.(in Chinese)

[9]郭敬明,何昕,魏仲慧.基于在线支持向量机的Meanshift彩色图像跟踪[J].液晶与显示，2014,1(29)：120-128.

GUO J M,HE X,WEI ZH H. New mean shift tracking for color image based on online support vector machine[J].ChineseJ.LiquidCrystalsandDisplays,2014,1(29):120-128.(in Chinese)

[10]COMANICIU D,RAMESH V,MEER P. Kernel-Based object tracking[J].IEEETrans.onPatternAnalysisandMachineIntelligence,2003,25(2):564-577.

[11]DECARLO D,METAXAS D. Optical flow constraints on deformable models with applications to face tracking[J].InternationalJ.ComputerVision,2000,38(2):99-127

[12]LI X H,ZHANG T Y,SHEN X D,etal.. Object tracking using an adaptive Kalman filter combined with mean shift[J].SPIEJ.OpticalEngineering,2010,49(2):020503-3.

[13]文志强,蔡自兴.目标跟踪中巴氏系数误差的分析及其消除方法[J].计算机学报,2008,31(7):1165-1173.

WEN ZH Q,CAI Z X. Errors of bhattacharyya coefficient and its reduction in object tracking[J].ChineseJ.Computers,2008,31(7):1165-1173.(in Chinese)

[14]AHMAD S,KHATTAK,GULLISTAN T,etal.. Integration of mean-shift and particle filter:a survey[C]. 12th International Conference on Frontiers of Information Technology. Islamic:FIT,2014:286-291.

[15]郭巳秋,许廷发,王洪庆,等.改进的粒子群优化目标跟踪方法[J].中国光学，2014,7(5):759-767.

GUO S Q,XU T F,WANG H Q,etal.. Object tracking method based on improved particle swarm optimization[J].ChineseOptics,2014,7(5):759-767.(in Chinese)

[16]JIA W H,YING Y Y. Multi-iterative tracking method using meanshift based on kalman filter[C]. International Conference on Signal Processing,Communications and Computing. China:ICSPCC,2014:22-27.

[17]RASHID M,RAB N,NAVEED I R. Occlusion handling in meanshift tracking using adaptive window normalized cross correlation[C]. International Bhurban Conference on Applied Sciences and Technology. Islamic:IBCAST,2014:126-129.

[18]VEZZANI R,GRANA C,CUCCHIARA R. Probabilistic people tracking with appearance models and occlusion[J].PatternRecognitionLetters,2011,32(6):867-877.

[19]袁春兰,熊宗龙,周雪花,等.基于Sobel算子的图像边缘检测研究[J].激光与红外,2009,39(1):85-87.

YUAN CH L,XIONG Z L,ZHOU X H,etal.. Study of infrared image edge detection based on sobel operator[J].LaserandInfrared,2009,39(1):85-87.(in Chinese)

Moving object tracking based on multi-feature fusion in the complex background gray image

JIANG Shan*, Zhang Rui, HAN Guang-liang, SUN Hai-jiang

(Changchun Institute of Optics,Fine Mechanics and Physics,ChineseAcademyofSciences,Changchun130033 ,China)*Correspondingauthor,E-mail:617798169 @qq.com

In order to solve the problem of current moving object tracking algorithm which can not apply in some non-ideal conditions such as low contrast, low signal to noise ratio, target rotation and scaling, this paper presents a method based on multi-feature fusion in the complex background by improving the meanshift algorithm to realize the complex gray image tracking. The algorithm needs to not only meet the conditions required for engineering practice but also satisfy precise in object tracking stabilization. Firstly, using the algorithm we calculate gradient characteristics in gray image, the gradient characteristics including gradient features inX,Ytwo directions. Secondly, the algorithm integrates the two directions gradient and gray features to get new fusion features. The new fusion features provide more distinguishable measurements than the traditional ones, and they have high adaptability and stability in some conditions such as low contrast, large flexible changes of targets by using the kernel density function. Thirdly, the foreground objects results can be extracted by background modeling object detection algorithm, which takes moving target feature information as a weight value. Finally, the fusion features object is tracked by improved meanshift algorithm in this paper. A series of experiments results show that the multi-feature fusion moving object tracking method can stably track low contrast target in complex gray image. The algorithm can adapt to the complex changes of object and background. And it also has strong robustness to meet the actual needs of the engineering practice.

target tracking;edge detection;sobel operator;MeanShift

2015-11-23；

2016-01-18

国家自然科学基金资助项目(No.61172111)

2095-1531(2016)03-0320-09

TP391

A

10.3788/CO.20160903.0320

江山(1986—)，男，吉林长春人，硕士，助理研究员，2010年、2013年于吉林大学分别获得学士、硕士学位，主要从事高速目标跟踪处理方面的研究。E-mail: 617798169@qq.com

Supported by National Natural Science Foundation of China(No.61172111)