基于多模板回归加权均值漂移的人体目标跟踪

贾松敏，文林风*，王丽佳，3

(1.北京工业大学 信息学部， 北京 100124；2.计算智能与智能系统北京市重点实验室， 北京 100124；3.河北工业职业技术学院 信息工程与自动化系， 河北 石家庄 050091)



基于多模板回归加权均值漂移的人体目标跟踪

贾松敏1，2，文林风1，2*，王丽佳1，2，3

(1.北京工业大学 信息学部， 北京 100124；2.计算智能与智能系统北京市重点实验室， 北京 100124；3.河北工业职业技术学院 信息工程与自动化系， 河北 石家庄 050091)

针对移动机器人跟踪人体目标时目标因角度大幅变化引起外观改变造成的跟踪无效，提出了多模板回归加权均值漂移跟踪方法。该方法通过建立目标的多模板模型，应用均值漂移算法实现目标跟踪。首先，根据前一帧均值漂移结果和当前帧头肩粗定位结果确定目标模板集，使其包含目标人体的位姿和角度改变。然后，采用多模板回归加权均值漂移实现目标的精确定位。在多模板均值漂移中引入回归模型实现颜色纹理特征与目标模型相似度之间的映射，从而控制模板数量，保证目标检测的实时性。最后，分别在视频图像和机器人目标跟踪平台上对所提方法进行实验验证。结果显示，图像处理平均时间为86.4 s/frame，满足机器人跟踪的实时性要求。该方法解决了目标特征在跟踪过程中发生变化的问题，提高了机器人跟踪时对目标人体特征变化的鲁棒性。

机器人目标跟踪；行人跟踪；多模板均值漂移；回归模型；视频图像

1　引　言

目标跟踪在科学技术研究和工程应用中具有重要价值。作为一种确定性非参数化概率密度估计方法[1-2]，均值漂移(Mean Shift)算法已广泛应用于行人跟踪技术中。经典的均值漂移算法是以颜色直方图为基础，通过迭代得到与模板匹配度最高的区域[3]。在实际的复杂场景下，由于受到光照变化、目标形变、姿态改变以及障碍物遮挡等问题的影响，经典的均值漂移算法往往不能较稳定地对目标进行跟踪[4-6]。

现有的许多研究都是在跟踪过程中目标外观变化较小的前提下进行的，然而受光照、位姿等的影响，目标的外观在跟踪过程中不断变化且变化较大。尤其对于服务型机器人而言，人体在室内的姿态多变，每个角度对应的目标外观不同，同时行人行走过程中极易受光照变化和障碍物遮挡的影响。因此固定的目标模型难以满足室内复杂环境下的跟踪要求。为解决该问题，一些研究引入了模型实时更新策略。李琦等[7]利用目标凸包拟合椭圆并结合卡尔曼滤波模型，来调整算法核函数的方向，通过联合目标形状和颜色信息建立了一种目标更新机制。胡良梅等[8]依据像素点的深度特征以及前一帧的定位结果，提出一种结合深度与颜色信息的目标检测方法，以自定义的更新速率对模型进行加权更新。乔立勇等[9]提出一种多特征融合和带宽自适应均值偏移跟踪算法，根据目标与模板的巴氏距离获取权值，对模型进行更新。王丽佳等[10]提出一种分块多特征描述子的方法，该方法将候选样本进行分块，跟踪过程中结合深度特征及图像片外观相似度进行检测并处理遮挡。上述方法都是在同一目标模板的基础上更新模型，解决了目标外观缓慢变化情况下的跟踪问题。然而，当目标外观改变较大时这些方法会发生模型更新不及时，发生“欠更新”从而跟丢目标。

为了解决上述问题，本文提出了一种多模板回归加权均值漂移跟踪方法，并将其应用于室内移动机器人的目标跟踪系统中。首先通过双目视觉系统提取场景中的深度信息，并利用头肩模板进行匹配[11]确定备选人体头肩区域，再应用均值漂移算法确定最终模板集。头肩模板匹配失败时，在最终模板集中应用均值漂移算法，根据漂移结果与模板的相似度确定候选模板集，并更新最终模板集。为了有效地描述目标，采用颜色纹理描述子。为了保证系统的实时性，本文提出根据最终模板集训练回归模型得到颜色纹理相似度估计值。最后在视频和机器人平台上对所提方法进行验证。

2　总体设计

跟踪系统由粗定位模块和精确定位模块组成。粗定位模块主要由双目立体视觉系统和头肩匹配算法组成，利用深度信息进行头肩匹配，初步确定前景中是否出现目标人体以及人体粗略位置。精确定位模块主要由多模板均值漂移算法和目标回归模型组成，其作用是在粗定位模块的基础上确定所跟踪目标人体的具体位置。总体设计图如图1所示。

图1　总体设计

3　基于颜色纹理特征的均值漂移

颜色是图像的一种重要的视觉性质，颜色特征的优点是提取相对比较容易，受旋转、平移和尺度变化等的影响较小，然而其也存在无法反映颜色的空间信息、不同的量化方法造成的误差对检索结果可能具有很大的影响等缺点[12]。纹理特征可反映图像区域中像素灰度级的空间分布属性[13-14]，可以弥补颜色描述的不足。其中常用的纹理特征是LBP特征，具有计算复杂度低、尺度和旋转不变性、算子仅与样本自身有关等优点[15-16]。为更全面地表示目标，本文采用颜色纹理描述子。其中，颜色特征c(x)采用HSV(Hue，Saturation，Value)颜色空间中的色度(hue)分量表示。纹理特征采用均匀LBP(Local Binary Patterns)模式表示[14]。

将特征离散成(m=[mc，mt])个区间，mc为颜色特征的量化等级，mt为纹理特征的量化等级。假设目标区域有n个像素点{xi}，i=1，2，…，n，所表示的区域中心点为x0，则目标的颜色纹理特征表示为：

(1)

(2)

跟踪过程中，采用颜色纹理联合相似度函数来量化候选区域与目标模板之间的相似度[12]。颜色纹理联合相似度函数为：

(3)

跟踪过程中，假设y0作为当前帧的起始漂移窗口中心，通过计算均值漂移向量，迭代寻找目标与候选区域相似度最大的位置：

(4)

4　多模板回归加权均值漂移算法

4.1多模板漂移算法

传统的均值漂移算法假设跟踪目标的特征变化较小，因此在目标跟踪时目标模型通常固定不变或者变化不大。然而在移动机器人目标跟踪系统中，所跟踪的人体目标会因转身、光照等变化造成目标外观改变，从而导致跟踪失败。为解决以上问题，本文通过引入多模板漂移算法对均值漂移过程进行管理。

4.1.1多模板漂移算法的模板集

多模板均值漂移算法的模板集分为两个子集，最终模板集{Gi}i=1，2，…，m和候选模板集{Cj}j=1，2，…，n，每一个模板都用颜色纹理特征描述子表示。两个模板子集既过滤了一些不稳定特征对最终模板的影响，也合理利用了不准确的特征信息。

4.1.2多模板漂移算法初始化

跟踪系统启动后，头肩模型[11]首次匹配成功时，根据其位置确定最终模板集Gi。候选模板集在跟踪过程中头肩模型匹配失败后根据均值漂移结果确定。

4.1.3候选模板集的生成

受光照等影响，会使提取的视差图像不清楚，造成头肩模型匹配失败，从而不能提供较为有效的目标位置信息。此时，根据均值漂移结果生成候选模板集。其生成过程为：

(1)以前一帧目标位置为起点，分别在最终模板集中的m个模板上应用均值漂移算法，得到m个候选位置区域；

(2)提取候选位置区域的颜色纹理特征描述子，并计算它们与最终模板的相似度；

此时，利用EKF(Extended Kalman Filter)对当前帧的目标位置进行预测[12]。

4.1.4最终模板集的筛选

头肩模型匹配成功的结果能够为均值漂移算法提供有效的初始位置，从而提高均值漂移跟踪结果的可靠性。最终模板集的筛选过程如下：

(1)以头肩匹配确定的位置为起点，在最终模板集和候选模板集中的所有n+m个模板上分别进行均值漂移，得到n+m个跟踪位置；

(2)计算漂移结果与相应模板之间的相似度；

(3)将相似度最大的m组漂移结果所对应的模板存储到最终模板集中代替旧的模板，其余n组模板存储到候选模板集。

将由相似度最大的m组漂移结果所确定位置的几何中心作为当前帧的目标位置。

4.2多模板回归加权均值漂移算法

多模板均值漂移算法有利于克服光照、位姿变化等造成的目标外观改变问题。当目标人体姿态多变或者衣着较为复杂时，需采用较多的模板，而模板数量的提高会增加均值漂移次数，从而影响目标跟踪的实时性。为解决这一问题，提出多模板回归加权漂移算法。

4.2.1回归模型的构成

建立回归模型的目标是实现目标模板的颜色纹理特征描述子与相似度的一个映射[17]。假设目标颜色纹理的特征空间被划分为m个量化等级，线性回归模型表示为：

(5)

4.2.2回归模型的训练

线性回归模型采用在线训练机制来训练，在跟踪过程中收集多模板漂移算法中的所有最终模板，作为训练样本以训练回归模型。在最终模板集发生改变时进行模型更新。相较于传统的单模板均值漂移方法，这种更新方式更有针对性。

训练的目标是估计一组参数β，使得损失函数L(β)取得最小值[18]。平方损失函数是基于数据分布存在高斯噪声的假设而提出的，通过求取数据分布的极大似然估计推导得出的，在许多领域具有广泛应用[19-20]。由于其有闭式解，便于计算机的快速计算，因此采用平方损失函数来衡量公式(3)计算得出的相似度与回归模型估计值之间的偏差程度。平方损失函数定义如下：

(6)

用代数方法可以推导出其闭式解如下：

(7)

(8)

(9)

4.2.3结合回归模型改进的多模板均值漂移算法

在回归模型建立之前，跟踪系统按照4.1节多模板均值漂移算法运行，在此期间逐步更新得到的最终模板被收集到训练样本中。当训练样本达到特征维数时开始训练生成线性回归模型。在后续跟踪中，若最终模板集被更新，则将新的模板加入训练样本集更新回归模型。

在建立回归模型之后，用回归模型估计值代替颜色纹理联合相似度(公式(3))以量化漂移结果区域与目标的相似度，并在头肩模型匹配成功的情况下用回归预测值来对数量较少的漂移结果区域的位置进行加权，从而最终确定一个较为精确的目标预测位置，达到用较少数量的模板进行均值漂移得到较准确的预测位置的目的。

多模板漂移算法与回归模型的结合方式如图2所示。

图2多模板均值漂移算法与回归模型的结合方式

Fig.2Multi-template Mean Shift combining with regression model

5　实验结果

实验硬件平台主要由双目立体视觉系统和Pioneer3-DX机器人组成。Pioneer3-DX机器人为内嵌工控机的移动机器人平台，不具备目标跟踪功能。双目立体视觉系统由两台Point Gray公司的FLEA2相机搭建而成，该相机的最大分辨率为1 024×768，焦距为3.5 mm，两台相机采用平行光轴的方式安装。视觉跟踪程序在一台笔记本电脑上运行，并通过无线局域网实现与Pioneer3-DX机器人的通讯。采用基于模糊规则的智能控制策略[11]。当机器人通过视觉系统获得目标准确位置后，基于模糊规则的智能控制策略实时调整机器人左右轮转速，从而实现目标跟踪。实验场景为室内场景，有桌椅、书柜等障碍物，区域大小约为8.5 m×7 m。

5.1多模板回归均值漂移算法实验

实验在相机静止的条件下进行，用双目立体视觉系统对目标人体进行视频跟踪。共采集210帧图像，每一帧图像的大小为800 pixel×600 pixel。实验过程中目标人体在检测区域内进行前后左右移动及旋转，运用所提算法与传统的均值漂移算法对其进行视觉跟踪，通过比较实验效果，分析所提出算法的有效性。实验中，多模板回归加权均值漂移算法的模板集设置为3个最终模板与2个候选模板，回归模型设置为48个维度的颜色特征和36个维度的纹理特征样本。

(b)传统均值漂移算法

图3为部分实验结果。在第一次成功匹配头肩模型时进行模板的提取。图中第35、53、82帧目标人体分别做了解开部分外套、转身到侧面、转身到背面动作，其颜色纹理特征在初始提取特征的基础上发生了一定变化。从实验结果可以看出，两种方法的跟踪位置离目标中心均有所偏差。第126、144、177帧分别为目标人体第二次转身到侧面、第二次转身到正面出现外套解开状态和第二次转身到背面3种情况。从跟踪结果可以看出，传统均值漂移的结果依然与第一次的效果接近，而所提算法的目标跟踪效果有较大的提升。这是由于多模板回归加权均值漂移算法在实验过程中对模板集进行了更新并获取了训练样本，且在收集足够数量训练样本后训练出回归模型，在后续帧确定目标位置时对漂移结果进行了加权，因此跟踪的目标位置更加准确。

经过多次重复以上实验，对两种方法的检测准确率与检测时间进行了统计，如表1所示。

表1两种均值漂移算法的检测成功率与处理时间的比较

Tab.1Comparison of detection accuracies and running time of two mean shift algorithms

统计项多模板回归加权均值漂移算法传统均值漂移算法准确率视差图不清晰/%88.685.0视差图清晰/%93.786.4目标首次转身/%76.277.4目标二次转身/%94.378.7总体/%90.385.8处理时间/(ms·frame-1)68.286.4

从表1的数据中可以看出，相较于传统均值漂移算法所提的多模板回归加权均值漂移算法，由于对多个模板进行了更新，且训练了回归模型，所以在视差图清晰时与再次出现近似特征时，准确率有明显优势。而在处理时间上由于所提算法要进行多次漂移，故比传统均值漂移算法长一些。但由于均值漂移过程仅是实际应用系统处理过程的一部分，所以对于整个系统的运行的影响是有限的。

5.2移动机器人跟踪实验

实验在装载有双目视觉系统和笔记本电脑的Pioneer3-DX移动机器人平台上进行。采用所提算法与传统的均值漂移算法对目标进行动态跟踪，用以检验所提算法在机器人跟踪应用中的效果。实验过程为移动机器人跟随目标行人在场地内行进，路线包括两个90°弯道。目标行人在进入第一个弯道时平缓转身，渐进地通过90°弯道，而在第二个90°弯道时目标行人径直走到尽头，然后迅速转身并继续前进，使其面对机器人的角度变化增大。跟踪过程中伴随有光照变化及人体姿态改变。

图4为部分实验结果。在目标行人缓慢通过第一个弯道时，两种方法均能够较好地确定行人位置，而在第二个弯道，由于目标行人转身比较快，对于机器人的跟踪造成一定困难。但通过运行所提算法，机器人在目标经过第二个弯道时能够较准确地将其定位出来，使得机器人的跟踪过程能够顺利完成，而传统的跟踪方法由于人体目标的角度突然发生较大改变，引起外观特征变化使得均值漂移位置产生偏差，加之目标衣着与背景近似而且横向位移速度较第一个弯道快，致使目标很快移出相机视野，造成机器人跟随失败。此实验证明了所提算法在实际机器人应用时能够在目标行人发生大幅角度态变化时为机器人提供更准确的定位信息。

(a)多模板回归加权均值漂移算法

(b)传统均值漂移算法

6　结　论

本文提出了一种多模板回归加权均值漂移算法，以解决机器人目标跟踪过程中由于目标出现大幅度变化而导致目标外观改变，从而造成跟踪失效的问题。通过多模板策略对传统均值漂移算法进行改进，对目标建立多姿态的模型，提高了对目标的描述能力。当头肩模型匹配失败时更新候选模板集，头肩模型匹配成功时更新最终模板集，实现了模板的逐步更新，有效解决了目标特征在跟踪过程中产生变化的问题。在多模板均值漂移中应用回归模型对均值漂移结果进行加权，使漂移结果在不影响实时性的情况得到进一步优化，减少了系统对模板数量的需求。最后视频跟踪实验与移动机器人跟踪实验的结果表明，本文提出的方法能在目标行人快速转身等变化的情况下准确定位人体，提高了机器人跟踪时对目标人体特征变化的鲁棒性。

[1]初红霞，谢忠玉，王君祥，等. 空间相关背景加权直方图均值漂移目标跟踪[J].控制与决策，2014，29(3): 528-532.

CHU H X， XIE ZH Y， WANG J X，etal.. Mean shift target tracking with spatiogram corrected background-weighted histogram [J].ControlandDecision， 2014， 29(3): 528-532. (in Chinese)

[2]修春波，魏世安.显著性直方图模型的Camshift跟踪方法[J]. 光学 精密工程，2015，23(6): 1749-1757.

XIU CH B， WEI SH A. Camshift tracking with saliency histogram [J].Opt.PrecisionEng.， 2015， 23(6): 1749-1757. (in Chinese)

[3]周芳芳，樊晓平，叶榛. 均值漂移算法的研究与应用[J]. 控制与决策，2007，22(8): 841-847.

ZHOU F F， FAN X P， Y ZH. Mean shift research and applications [J].ControlandDecision， 2007， 22(8): 841-847. (in Chinese)

[4]郑超，陈杰，陶会峰，等. 基于改进亮度变化函数实现红外图像中行人跟踪[J]. 光学 精密工程，2015，23(10): 2980-2988.

ZHENG CH， CHEN J， TAO H F，etal.. Pedestrian tracking in FLIR imagery based on modified intensity variation function [J].Opt.PrecisionEng.， 2015， 23(10): 2980-2988. (in Chinese)

[5]陈东成，朱明，高文，等. 在线加权多示例学习实时目标跟踪[J]. 光学 精密工程，2014，22(6): 1661-1667.

CHEN D CH， ZHU M， GAO W，etal.. Real-time object tracking via online weighted multiple instance learning [J].Opt.PrecisionEng.， 2014， 22(6): 1661-1667. (in Chinese)

[6]苏娟，杨小冈，卢俊. 鲁棒的前视红外目标多核跟踪算法[J].红外与激光工程，2013，42(2)：543-548.SU J， YANG X G， LU J. Robust multi-kernel tracking algorithm for FLIR target [J].InfraredandLaserEngineering， 2013，42(2)：543-548. (in Chinese)

[7]李琦，邵春福，岳昊. 核窗口尺寸和目标模型自适应的均值漂移跟踪[J]. 华南理工大学学报(自然科学版)，2013，41(2): 74-81.

LI Q， SHAO CH F， YUE H. Mean shift tracking with adaptive kernel window size and target model [J].JournalofSouthChinaUniversityofTechnology(NaturalScienceEdition)， 2013， 41(2): 74-81. (in Chinese)

[8]胡良梅，段琳琳，张旭东，等. 融合颜色信息与深度信息的运动目标检测方法[J].电子与信息学报，2014，36(9)：2047-2052.

HU L M， DUAN L L， ZHANG X D，etal.. Moving object detection based on the fusion of color and depth information [J].JournalofElectronics&InformationTechnology， 2014，36(9)：2047-2052. (in Chinese)

[9]QIAO L Y， XU L X， GAO M. Infrared target tracking using bandwidth adaptive mean shift [J].InfraredandLaserEngineering， 2015，44(1): 354-362.

[10]王丽佳，贾松敏，李秀智，等. 分块多特征目标描述子的移动机器人目标跟踪[J]. 控制与决策，2016，31(2): 337-342.

WANG L J， JIA S M， LI X ZH，etal.. Person tracking for robot using patches-based-multi-cues representation [J].ControlandDecision， 2016，31(2): 337-342. (in Chinese)

[11]贾松敏，王爽，王丽佳，等. CTF定位策略下基于多特征的智能机器人目标跟踪[J]. 上海交通大学学报，2014，48(7): 1039-1052.

JIA S M， WANG SH， WANG L J，etal.. Human tracking based on multi-feature for intelligent robot under the CTF location strategy [J].JournalofShanghaiJiaotongUniversity， 2014， 48(7): 1039-1052. (in Chinese)

[12]宋潇毅. 基于纹理和颜色特征的图像检索[D].成都：电子科技大学，2009.

SONG X Y.Imageretrievalbasedontextureandcolor[D].Chengchu：University of Electronic Science and Technology of China，2009.(in Chinese)

[13]张红颖，胡正. 融合局部三值数量和色度信息的均值漂移跟踪[J]. 电子与信息学报，2014，36(3): 624-630. ZHANG H Y， HU ZH. Mean shift tracking method combining local ternary number with hue information [J].JournalofElectronics&InformationTechnology， 2014， 36(3): 624-630. (in Chinese)

[14]TURHAN M M， HANBAY D. Mean shift based object tracking supported with adaptive Kalman filter [C]. 23rdSignalProcessingandCommunicationsApplicationsConference， 2015.

[15]李冠彬，吴贺丰. 基于颜色纹理直方图的带权分块均值漂移目标跟踪算法[J]. 计算机辅助设计与图形学学报，2011，23(11): 2059-2066.LI G B， WU H F. Weighted fragments-based meanshift tracking using color-texture histogram [J].JournalofComputer-AidedDesign&ComputerGraphics， 2011， 23(11): 2059-2066. (in Chinese)

[16]杨军，高志升，袁红照，等. 基于LBP特征和贝叶斯模型的单样本人脸识别[J]. 光电子.激光，2011，22(5)：763-765.YANG J，GAO ZH SH， YUAN H ZH，etal.. Single sample face recognition based on LBP feature and Bayes model [J].JournalofOptoelectronics·Laser， 2011，22(5)：763-765. (in Chinese)

[17]刘桂雄，张晓平，周松斌. 基于最小二乘支持向量回归机的无线传感器网络目标定位法[J]. 光学 精密工程，2009，17(7): 1766-1773.

LIU G X， ZHANG X P， ZHOU S B. Target localization in wireless sensor networks based on LSSVR [J].Opt.PrecisionEng.， 2009， 17(7): 1766-1773. (in Chinese)

[18]汪奇生. 线性回归模型的总体最小二乘平差算法及其应用研究[D].昆明：昆明理工大学，2014.

WANG Q SH.Researchoftotalleastsquaresadjustmentalgorithmbasedonlinearregressionmodelanditsapplication[D].Kunming：Kunming University of Science and Technology，2014.(in Chinese)

[19]汪方斌，洪津，孙晓兵，等. 基于支持向量机预测偏振模式[J]. 光学 精密工程，2014，22(11): 2914-2922.WANG F B， HONG J， SUN X B，etal.. Prediction of polarization pattern by SVM [J].Opt.PrecisionEng.， 2014， 22(11): 2914-2922. (in Chinese)

[20]ZHANG T J， BAI X F， HAN Q. Contour detection based on support vector regression in natural images [J].InternationalJournalofDigitalContentTechnologyanditsApplications， 2012，6(22):713-721.

文林风(1990-)，男，湖南衡山人，硕士研究生，2013年于北京工业大学获得学士学位，主要从事智能系统与模式识别等方面的研究。E-mail:wlwind@emails.bjut.edu.cn

导师简介：

贾松敏(1964-)，女，北京人，教授，博士生导师，2002年于日本国立电气通信大学获得博士学位，主要从事智能服务机器人及其关键性技术、机器人分散控制、计算机视觉等方面的研究。E-mail:jsm@bjut.edu.cn

(本栏目编辑：李自乐)

(版权所有未经许可不得转载)

Person tracking based on multi-template regression weighted mean shift

JIA Song-min1，2， WEN Lin-feng1，2*， WANG Li-jia1，2，3

(1.FacultyofInformationTechnology，BeijingUniversityofTechnology，Beijing100124，China；2.BeijingKeyLaboratoryofComputationalIntelligenceandIntelligentSystem，Beijing100124，China；3.DepartmentofInformationEngineeringandAutomation，HebeiCollegeofIndustryandTechnology，Shijiazhuang050091，China)*Correspondingauthor，E-mail：wlwind@emails.bjut.edu.cn

To solve the invalid tracking of a human target caused by appearance variations due to large angle change of the target in a robot mobile tracking， a multi-template regression weighted mean-shift algorithm was proposed. The algorithm could implement the target tracking by building a multi-template model of the target and applying mean shift. Firstly， the template set was obtained according to the results from mean shift procedure of the last frame and the coarse location information of head-shoulder model of a current frame， by which the position and angle variation of the target person were included. Then， the multi-template regression weighted mean-shift algorithm was used to determine the precise location of the target person. The regression model was introduced to multi-template mean shift to implement a map from color-texture feature to the similarity of target model to limit the number of templates and to ensure the real-time performance of the target detection. Finally， the proposed algorithm was verified by videos and robot tracking tests. The results show that the image average treatment time is 86.4 ms/frame， which satisfies the requirement of person tracking for a mobile robot. The method solves the appearance variation problem of targets in tracking processing and improves the robustness of human targets to its feature variations.

person tracking; mean shift; multi-template; regression model; video image

TP391.4

A

10.3788/OPE.20162409.2339