边界约束的核密度估计红外人体目标跟踪方法

郭永彩，王 琨，高 潮

边界约束的核密度估计红外人体目标跟踪方法

郭永彩，王 琨，高 潮

（重庆大学光电工程学院光电技术及系统教育部重点实验室，重庆400030）

基于核密度估计的均值漂移算法因其良好的实时性而被广泛地应用于目标跟踪，但传统的均值漂移算法极易因颜色等信息的缺乏而使跟踪不稳定，且目标尺度的变化也不利于目标位置的准确估计，为此，提出了一种具有边界约束的均值漂移红外人体目标跟踪新方法。该方法通过各向异性扩散，并联合红外图像的梯度与亮度信息来获取目标边界，自适应调整核窗宽，从而利用均值漂移策略进行红外人体目标跟踪。实验结果表明，该方法在红外人体目标尺度改变时仍能实现良好的跟踪。

红外目标跟踪；人体；边界约束；均值漂移；核窗宽

1 引 言

基于红外图像的目标跟踪技术在红外制导、侦察等军事领域及视频监控、辅助驾驶等民用领域都发挥着重要作用［1－2］。而人体目标作为环境中的主要因素，一直以来都是目标跟踪领域的研究热点和难点。

目前存在的目标跟踪方法有很多，比如卡尔曼滤波［3］跟踪，其前提是假设目标运动模型满足线性高斯分布的动态系统，但人体的运动往往具有随意性、不确定性，这使得卡尔曼滤波在人体目标跟踪中有着一定的局限性；粒子滤波［4］克服了卡尔曼滤波局限于高斯线性分布的不足，可以用于人体目标的跟踪，但是该算法的实时性较差且会面临粒子退化问题；均值漂移算法是一种核密度估计算法，由Fukunaga［5］首次提出，然后Comaniciu和Meer等人［6－7］将其成功运用于人体等非刚性目标的跟踪，该算法计算量小，收敛速度快，特别适合视频监控等实时性要求较高的目标跟踪场合。但传统的均值漂移算法目标定位精度不高，且固定的核窗宽不能适应目标尺度的变化。为此，文中提出了一种红外人体目标跟踪的新方法，充分利用红外图像最直接也是最有效的梯度与亮度信息来获取目标边界，通过边界约束进而在均值漂移跟踪框架下实现变尺度人体目标的良好跟踪。

2 均值漂移算法原理

均值漂移算法是一种基于核密度估计的有效无参数统计迭代算法。假设X是d维空间Rd的采样点集合，X＝｛xi，1≤i≤n｝，K（·）是带宽为H的核函数，则在点x处的核密度估计为：

其中，H∈Rd×d，为了简化算法，取H＝h2I，则上式可改写为：

其中，k（·）是K（·）的轮廓函数，且是非负非增和分段连续的；ck为归一化系数。令g（x）＝－k′（x），则有：

定义：

为Mean Shift向量。将样本集中的点按照：

反复迭代，通常认为｜Mg（x）｜小于一定的阈值ε时完成迭代过程，即x收敛到概率密度局部最大值。

3 边界约束的均值漂移红外人体目标跟踪方法

文中提出的红外人体目标跟踪方法主要包含两个步骤：①目标边界获取；②目标定位与核窗宽调整。

3.1 目标边界获取

通过均值漂移跟踪算法得到当前帧的目标定位区域，但该区域可能存在一定的定位偏差。为此，将该区域进行一定的扩大（通常认为扩大了的区域会包含完整的目标），从扩大的区域中获取目标边界，这样就避免了整幅图像上的操作，减少了不必要的计算量。

为便于获取人体目标边界，文中首先对扩大区域图像进行各向异性扩散［8］，在梯度小的地方以较大的扩散速率平滑图像，而在梯度较大的地方扩散速率较小，以此来保留边缘信息。图1给出了红外人体目标边界的获取过程。首先，对扩大区域图像进行各向异性扩散，扩大区域图像如图1（a）所示；经过各向异性扩散得到图像1（b），显然，在平滑图像1（a）的同时，人体目标的边缘信息也得到很好的保留，这有利于之后的目标边界获取；然后，根据红外图像的梯度与亮度信息来获取人体目标边界，从图1（c）所示的梯度图像可以观察到，人体目标边界信息较为突出，为此可以进一步利用亮度信息来准确获取人体目标边界，得到如图1（d）所示的人体目标轮廓。通过以上步骤最终可获得如图1（e）所示的人体目标区域。

图1 红外人体目标边界获取过程

3.2 目标定位与核窗宽调整

红外图像中，人体目标受衣物等表面覆盖物影响会造成目标亮度分布不均匀，进而影响目标边界的完整性获取。为了减少这种影响，提出以下策略以实现目标的准确定位和核窗宽的实时调整。首先，在当前帧的红外图像中，通过上文方法获取目标区域，其顶点分别标记为1，2，3，4，如图2所示。

图2 当前帧目标区域标记

然后，将通过均值漂移算法得到的跟踪窗口进行4次平移，分别使其左上、左下、右上和右下顶点与图2中的对应顶点重合，将4次平移得到的矩形区域作为当前帧的候选目标区域，并依次标记为Ω1，Ω2，Ω3，Ω4。为了进一步约束以获得最佳候选目标区域，增加了2个区域Ω5和Ω6，分别代表均值漂移算法获得的目标区域和前一帧的目标定位区域，则最佳候选目标区域可用下式来确定：

其中，Ω为最佳候选目标区域；n为目标区域的像素个数；T为目标模板，通常将初始帧手动获取的人体目标作为目标模板；Ii为候选目标图像。这里，需要定义为候选区域图像与目标模板的粗略匹配误差，匹配误差最小的区域即为最佳候选目标区域。

通常认为序列图像中相邻帧的目标尺度变化是比较小的，据此，设置一个尺度变化阈值t（t值可设定在5～8个像素），当且仅当获得的当前帧的人体目标区域与前一帧的窗宽变化小于阈值t时，按照由人体目标边界确定的区域大小来调整核窗宽。

4 实验结果与分析

文中算法在Matlab上实现，对多组红外人体目标序列图像进行跟踪实验，均获得了良好的跟踪效果。在这里，选取了三组具有代表性的红外序列图像，均由红外热像仪（THERMOVISION A40）所拍摄，分辨率为320×240，以下便是这三组序列图像的跟踪实验结果与分析。

序列Ⅰ是一组人体目标尺度变化不大，但存在高亮背景像素干扰的图像。图3给出了序列Ⅰ在传统均值漂移跟踪算法和文中算法下其中6帧的跟踪结果，可以看出文中方法目标定位准确，跟踪效果良好；而传统均值漂移算法的跟踪窗口出现一定的定位偏差，在第30帧左右跟踪窗口下移。

传统的均值漂移跟踪算法核窗宽是固定的，故不能应对目标尺度发生变化的情况，文献［7］对核窗宽进行正负10%的修正，选择Bhattacharyya系数最大的带宽作为最佳核窗宽。以下通过文中方法与文献［7］方法跟踪结果的对比来验证文中方法的有效性。

图3 序列Ⅰ跟踪结果（从左至右依次为第10，20，30，40，50，60帧。第一行：传统均值漂移算法；第二行：文中算法）

序列Ⅱ是一组人体目标逐渐变小的图像，从图4的跟踪结果可以看出文献［7］方法基本可以应对目标变小的跟踪，但文中方法在核窗宽调整和目标定位的准确性上具有更好的效果。图5是该序列图像在两种方法下核窗宽变化的对比，文中方法在50到90帧之间窗宽明显变小，是由于人体目标在这段时间内侧身导致目标宽度明显变窄，这体现了人体目标边界信息对于核窗宽调整的重要意义，相对文献［7］方法具有更好的自适应性。

图4 序列Ⅱ跟踪结果（从左至右依次为第5，40，80，100，145，175帧。第一行：文献7方法；第二行：本文方法）

图5 序列Ⅱ核窗宽变化比较

序列Ⅲ是一组红外人体目标逐渐增大的图像，图6给出了序列Ⅲ在文献［7］方法和文中方法下其中6帧的跟踪结果。文中方法实现了核窗宽的自适应调整，且跟踪准确，明显优于文献［7］方法。从图7所示的两种方法下核窗宽变化比较图可以看出，文中方法的核窗宽呈增大趋势且变化平缓；文献［7］方法在130帧左右，核窗宽没有随目标尺度的增大而做出增大调整，反而急剧减小，如第155帧的跟踪结果图所示，只定位到人体目标手部这一小区域。这充分说明核窗宽正负10%修正的方法不能应对目标逐渐增大的跟踪问题；Bhattacharyya系数往往在较小的跟踪窗口达到最大，利用Bhattacharyya系数来度量候选目标模型与目标模板的相似性在一定程度上是不可靠的。另外，该序列图像还存在着目标灰度分布不均匀以及较明显的伪影问题，一定程度上影响到人体目标边界的完整获取，但文中方法的良好跟踪效果表明文中提出的具有边界约束的跟踪策略发挥了重要作用。

图6 序列Ⅲ跟踪结果（从左至右依次为第2，30，70，100，130，155帧。第一行：文献7方法；第二行：本文方法）

图7 序列Ⅲ核窗宽变化比较

5 结 论

提出了一种具有边界约束的均值漂移红外人体目标跟踪新方法。该方法首先通过均值漂移策略获得目标初步估计区域，将目标初步估计区域进行一定的扩大，在扩大的区域中利用红外图像的梯度与亮度信息来获取人体目标边界，最后采取一种约束性策略来实现人体目标的定位以及核窗宽的自适应调整。实验结果表明，该方法在人体目标尺度发生改变时仍能够实现良好跟踪。

［1］ SONG Xin，WANG Luping，WANG Ping，et al.IR target tracking based on improved Mean Shiftmethod［J］.J.Infrared Millim.Waves，2007，26（6）：429－432.（in Chinese）

宋新，王鲁平，王平，等.基于改进均值位移的红外目标跟踪方法［J］.红外与毫米波学报，2007，26（6）：429－432.

［2］ LIJianfu，GONG Weiguo，YANG Jinfei.Co-occurrence matrix locality preserving projections for pedestrian tracking in infrared image sequences［J］.Infrared and Laser Engineering，2010，39（6）：1012－1017.（in Chinese）

李建福，龚卫国，杨金妃.共生矩阵保局投影红外人体目标实时跟踪方法［J］.红外与激光工程，2010，39（6）：1012－1017.

［3］ LUO Huan，YU Lei，CHEN Zhongqi，et al.Research on infrared target tracking based on IMM［J］.Laser＆Infrared，2009，39（7）：776－779.（in Chinese）

罗寰，于雷，陈中起，等.基于过模型交互的红外目标跟踪方法研究［J］.激光与红外，2009，39（7）：776－779.

［4］ FANGWentao，WANG Xiangjun，TANG Qijian，et al.Object tracking system for MUAV based on particle filter［J］.Laser＆Infrared，2012，42（7）：841－844.（in Chinese）

房文涛，王向军，汤其剑，等.基于粒子滤波的机载目标跟踪系统设计［J］.激光与红外，2012，42（7）：841－844.

［5］ Fukanaga K，Hostetler L D.The estimation of the gradient of a density function，with application in pattern recognition［J］.IEEE Trans.Information Theory，1975，21（1）：32－40.

［6］ Comaniciu D，Ramesh V，Meer P.Real-time tracking of non-rigid objects using mean shift［C］.Proc.IEEE Conference on Computer Vision and Pattern Recognition，2000：142－149.

［7］ Comaniciu D，Ramesh V，Meer P.Kernel-based object tracking［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25（5）：564－577.

［8］ BAIJunqi，CHEN Qian.Algorithm for infrared image noise filtering based on anisotropic diffusion［J］.Acta Optica Sinica，2008，28（5）：866－869.（in Chinese）

白俊奇，陈钱.基于各向异性扩散的红外图像噪声滤波算法［J］.光学学报，2008，28（5）：866－869.

Infrared pedestrian target tracking based on KDE w ith boundary constraint

GUO Yong-cai，WANG Kun，GAO Chao
（Key Laboratory of Optoelectronic Technology and Systems of Education Ministry，College of Optoelectronic Engineering，Chongqing University，Chongqing 400030，China）

Asmean shiftalgorithm based on KDE has good performance of real-time，ithas been widely used in target tracking.However，the tracking robustof traditionalmean shiftalgorithm is often depended on such features like color，etc.Moreover，the tracked position is usually affected by the scale change of target during tracking procedures.To overcome these disadvantages，a new infrared pedestrian target tracking approach based on mean shift with boundary constraint is proposed.Thismethod uses the gradientof infrared image processed by anisotropic diffusion.Particularly，the target boundary is obtained by its gradient aswell as brightness information，kernel bandwidth is adaptively adjusted.At last，the infrared pedestrian target tracking is carried outby the strategy ofmean shiftalgorithm，and the experimental results show that the proposed approach can achieve efficient tracking when the scale of the target changes.

infrared target tracking；pedestrian；boundary constraint；mean shift；kernel bandwidth

TP391.4

A

10.3969／j.issn.1001-5078.2014.10.021

1001-5078（2014）10-1169-05

教育部博士点基金（No.20130191110021）项目资助。

郭永彩（1963－），女，教授，博士生导师，博士，主要从事光电测控技术与智能仪器、数字信号处理方面的研究工作。

E-mail：ycguo＠cqu.edu.cn

2014-02-18；

2014-02-28