改进Camshift算法的多行人目标跟踪方法

陈 艺

改进Camshift算法的多行人目标跟踪方法

陈 艺

（四川文理学院，四川 达州 635000）

针对基于颜色特征的目标跟踪方法在跟踪多个行人目标时，易受衣服颜色相近的行人影响，造成行人目标跟踪发生错误的问题，提出一种改进Camshift算法的多行人目标跟踪方法：为克服单一颜色特征作为目标模型易造成目标丢失的不足，按一定的权值系数融合目标的颜色特征和HOG特征来建立目标模型；并分别对多个行人目标建立目标模型，将传统的Camshift算法的单目标跟踪扩展成多目标跟踪。实验结果表明，该方法相比于传统Camshift算法更具鲁棒性，跟踪准确率可提升5.3 %，相比于粒子滤波算法，实时性能够提升30.23 %。

Camshift算法；颜色特征；多目标跟踪：融合系数

0 引言

随着社会的不断发展和科技的不断进步，视频帧序列中目标的跟踪问题[1-2]已经成为计算机视觉研究领域的热点之一。在智能交通、电子监控系统、流量监控等领域有着重要的实用价值与广阔的应用前景。

目标跟踪[3]指的是在视频帧序列的每一帧图像中找到感兴趣目标的位置。实用的目标跟踪算法不仅要求能够准确实时地跟踪目标，而且要求在光照变化、目标相似等复杂的背景下也能有较强的抗干扰能力。

目标跟踪算法一般分确定性和随机性目标跟踪算法2种[4-6]。前者是通过重复反馈来逼近所需的目标，此目标作为下一帧的初始值，如连续的自适应均值漂移（continuously adaptive mean-shift, Camshift）算法[7]具有跟踪速度快、自适应目标旋转和尺寸的变化等优势；后者是通过计算离散样本的状态与目标数学模型的相似度来找到候选目标，如粒子滤波[8-10]（partice filter, PF）算法，其利用高斯分布的粒子群对图像中每一个粒子所处区域计算概率密度函数进行近似，再计算与目标数学模型的匹配度，最终确定候选目标。文献[11]采用Camshift算法进行目标跟踪，对跟踪目标的旋转与形状变化有着较强的鲁棒性。但由于单一颜色特征易受到环境的影响，因此在光照变化及相似目标的复杂背景中容易发生目标丢失的情况，跟踪效果不理想。文献[12]提出基于混合高斯和稀疏光流的多目标跟踪算法，实时性好，对光照和噪声有较强的鲁棒性；但目标个数过多和目标较为相似的情况下，跟踪效果不理想。文献[13]提出将目标的颜色直方图作为粒子滤波的状态量，实现了复杂背景下的彩色图像的单目标跟踪，鲁棒性较强；但由于粒子数多，计算量大，实时性较差，且无法跟踪多个目标。文献[14]基于卡尔曼（Kalman）滤波的行人跟踪可通过状态方程预测行人目标下一刻大概率所处的位置，加快对行人目标的定位；但是卡尔曼滤波适用于线性系统，局限性较大。

针对上述问题，尤其是背景中出现衣服颜色相近的行人干扰以及光照强度变化等问题，本文提出一种改进Camshift算法的多行人目标跟踪方法。首先，按一定的权值系数融合目标的颜色特征和方向梯度直方图（histogram of oriented gradient, HOG）特征来建立目标模型，以保障算法实时性同时提高算法的鲁棒性；其次，分别对多个行人目标建立目标模型，将传统的Camshift算法的单目标跟踪扩展成多目标跟踪，实现对多行人目标的有效跟踪。

1 传统Camshift算法

Camshift利用目标的颜色直方图模型将图像转换为颜色概率分布图，初始化一个搜索窗的大小和位置，并根据上一帧得到的结果自适应调整搜索窗口的位置和大小，从而定位出当前图像中目标的中心位置。算法主要分为3部分：

1）色彩投影图。将红（red, R）、绿（green, G）及蓝（blue, B）颜色空间变换到色调（hue, H）、饱和度（saturation, S）及明度（value, V）颜色空间，减少光照度对跟踪效果的影响；对目标区域作H分量的颜色直方图；将每个像素的值用颜色出现的概率表示，得到颜色概率分布图。

2）漂移（Menshift）算法。对一帧图像进行迭代寻找到最优的概率分布来寻找目标的位置信息，其位置信息通过计算目标区域的零阶矩阵和一阶矩阵得到质心坐标并确定搜索窗的大小。

3）Camshift算法。将Meanshift算法扩展到整个视频帧序列则为Camshift算法。其将上一帧的迭代结果作为下一帧的初始值，如此反复迭代实现对目标的跟踪。

2 改进多行人目标跟踪算法

由于基于颜色特征的Camshift算法在跟踪衣服颜色相近的行人时会发生行人目标跟踪发生错误的问题，且传统Camshit算法只能跟踪一个目标，无法满足复杂的场景需求。针对以上问题，提出改进的Camshift的多行人目标跟踪算法，优势表现在能够实现多行人目标的跟踪，并在出现衣服颜色相似的行人干扰时，通过融合行人的颜色特征和方向梯度直方图（histogram of oriented gradient, HOG）特征的目标跟踪算法来准确跟踪行人目标。图像处理流程如图1所示。

图1 图像处理流程

2.1 行人目标模型

由于行人一般会穿着带有颜色的服装，颜色信息对于图片的旋转、尺寸的变化不敏感；HOG特征是局部区域描述符，能够很好地描述行人特征；因此，本算法通过融合行人衣着的颜色特征和HOG特征来建立行人目标模型。

1）颜色特征提取。RGB颜色空间[15]相较于HSV颜色空间对光照的变化较更为敏感，因此使用HSV颜色空间来建立目标的数学模型。HSV颜色空间中，色度、亮度、饱和度相互独立，其中亮度容易受到光照变化的影响；所以只根据行人目标的色度（H）和饱和度（S）建立数学模型，并生成反向投影图，利用Bhattacharyya系数[16]衡量目标与候选目标的相似性。

将H-S子空间量化成16和16个相等的空间，构成空间特征值的个数=16×16的直方图空间。行人H-S空间的概率密度为

式中：为目标区域各像素到区域中心的长度；像素的权重与的大小成负相关，所以中心区域附近的像素对模型影响更大。

候选行人目标位于的概率密度为

3）HOG特征提取。行人特征可用边缘[17]、SIFT特征[18]、Haar特征[19]来描述。因为HOG特征是对目标的局部区域描述符，对光照变化、小角度旋转有较强的抗干扰能力，本文利用HOG特征[20]来描述行人。对输入图像的各像素求梯度大小及方向为

视频帧大小为64×128，并将其均分为8×8个像素的单元（cell），计算单元内每个像素的梯度幅值和方向，把[-90°, 90°]的梯度方向平均划分为9个区间（bin）。将2×2个cell作为一个块（block），扫描步长为单个cell，遍历整个图像，共有105块（block），每个block有36个特征描述子，整张图片共有3780个HOG特征描述子。

根据式（9）对HOG特征描述子进行归一化作为行人特征描述子为

式中：为未进行归一化的描述子；为常数。

4）行人模型建立。上述的颜色特征提取与HOG特征提取分别建立了行人的颜色特征模型和HOG特征模型，再分别计算它们的反向投影，按照一定的权值融合颜色特征模型和HOG特征模型，建立行人目标[21]的模型为

2.2 行人图像坐标计算

传统的Camshift[21-22]单目标跟踪算法只提取目标的颜色特征作为目标的模型，易受颜色相似目标的影响，造成目标的丢失。本文针对此问题，融合行人的衣着颜色和HOG特征分别对每个行人目标建立目标模型，实现多行人目标的跟踪；优势在于能够提高算法的鲁棒性，且能保持Camshift算法自适应目标尺寸和旋转的变化。改进的Camshift多行人目标跟踪算法主要分为3个部分：颜色特征和HOG特征的反向投影计算、Meanshift算法、Camshift算法，算法流程如图2所示。

图2 改进Camshift的多行人目标跟踪算法（注：虚线框为Meanshift算法）

Meanshift算法（图1虚线框部分）是Camshift算法的核心环节，提取了行人目标的颜色特征和HOG特征，并计算其反向投影，按一定的权值融合颜色特征和HOG特征的反向投影。Meanshift算法利用其反向投影和初始化坐标，通过重复反馈的方式计算行人目标的质心，一旦搜索窗中心到目标质心的距离小于给定的阈值，就将搜索窗作为目标区域。

分别计算每个行人目标搜索窗口的零阶矩阵为

的一阶矩为

的一阶矩为

式中()为反向投影的图中()处的像素值。

由零阶矩以及在、方向的一阶矩计算出待搜索区域的质心为

通过零阶矩来确定跟踪窗口的尺度因子S为

式中为第个行人目标。

3 实验与结果分析

为了验证改进Camshift的多行人目标跟踪算法的鲁棒性与实时性，利用改进Camshift的多行人跟踪算法与传统的Camshift算法进行多行人目标的跟踪实验，测试本文算法的鲁棒性；利用改进Camshift的多行人跟踪算法与粒子滤波算法进行多行人目标的跟踪实验，测试本文算法的实时性。

3.1 鲁棒性验证实验

本实验主要验证融合颜色特征和HOG特征的Camshift多行人目标跟踪算法的鲁棒性。实验分析对比了传统Camshift算法与改进Camshit算法在行人目标颜色相似以及光照强度变化的复杂场景中行人目标的跟踪效果。其中行人衣服颜色相似的跟踪结果对比实验如图3和图4所示。

从图3可以看出，传统的Camshift算法对多行人目标进行跟踪，由于背景中存在与目标行人相似衣服颜色的行人，出现了行人目标跟踪发生错误的情况。由图3中间那幅图可以看出，编号为2的行人目标旁边出现与其衣服颜色相似的行人，当编号为2的行人目标经过此行人时，传统的Camshift跟踪算法发生了跟踪错误，跟踪到了错误目标。由图4可以看出，由融合颜色特征和HOG特征的Camshift算法行进多行人目标跟踪时，编号为2的行人目标经过与其衣服颜色形式的行人，仍能进行准确的跟踪行人目标。由表1可以看出，改进的Camshift算法相比于传统的Camshift算法的跟踪准确率提升了5.3 %。由表2可以看出，2种算法的实时性几乎相当。

表1 跟踪准确率对比

图4是篮球运动员篮球比赛的复杂场景，利用传统Camshift算法对多个篮球运动员进行跟踪时，当2个穿着白色衣服的运动员出现部分交叉时，跟踪发生错误；而使用融合HOG特征和衣服颜色特征的改进Camshit算法仍可以进行准确跟踪。

图3 衣服颜色相似的跟踪结果1

图4 衣服颜色相似的跟踪结果2

图5是在光照强度变化的场景中进行的实验。

图5 光照强度变化的跟踪结果

首先，在初始帧选定目标，之后应用本文方法和传统的Camshift对目标进行跟踪。从图中可以看出：只利用颜色信息描述目标的传统Camshift方法在光照很弱的场景下，搜索框将会产生漂移，无法准确跟踪目标，如图中的2号框所示；而本文方法能够实时准确地跟踪目标，如图中的1号矩形框所示。

表2 3种跟踪算法的时间对比

3.2 实时性验证实验

本实验主要验证融合颜色特征和HOG特征的Camshift多行人目标跟踪算法在鲁棒性良好的情况下算法的实时性。实验分析对比了在行人目标颜色相似的复杂场景中粒子滤波算法与改进Camshift算法的跟踪效果。对比实验如图6所示。

图6 粒子滤波算法与改进Camshift算法多行人跟踪的比较结果

从图6可以看出，粒子滤波算法和改进的Camshift算法对于背景中存在与目标行人具有相似颜色衣服的行人，都能够准确地跟踪多行人目标；由此可以看出粒子滤波算法与改进的Camshift都具有较好的鲁棒性。由表2可以看出，相对于粒子滤波算法，本文算法的实时性提高了30.23％。

4 结束语

本文针对复杂背景环境下视频帧序列中多行人目标跟踪易出现目标丢失的问题，提出一种改进的Camshift多行人目标跟踪算法。本方法通过融合目标的颜色特征和HOG特征建立行人目标的数学模型：相对于传统的Camshift算法，在实时性几乎相当的情况下，多行人目标跟踪的准确率提升了5.3 %；相对于粒子滤波算法，本文算法能够准确跟踪多行人目标的情况下，算法的实时性提高了30.23％。实验结果表明，本文提出的改进Camshift的多行人目标跟踪算法能够在提升了鲁棒性的同时，准确实时地跟踪多个行人目标。

目前该算法还需要手动选定多个行人目标；加入检测算法实现自动选定行人目标是下一步研究的重点。

[1] 刘锦涛, 高丽, 吴文海, 等. 垂直起降无人机基于图像的目标跟踪控制[J]. 控制理论与应用, 2017, 34(6):723-731.

[2] 燕必希, 朱立夫, 董明利, 等. 卡尔曼滤波单目相机运动目标定位研究[J]. 仪器仪表学报, 2018, 39(8): 220-229.

[3] 王耀南, 罗琼华, 陈彦杰, 等. 旋翼飞行机器人多机视觉跟踪定位系统及方法[J]. 仪器仪表学报, 2018, 39(2): 1-10.

[4] 田丹, 张国山, 谢英红. 具有融合罚约束的低秩结构化稀疏表示目标跟踪算法[J/OL]. [EB/OL]. (2018-09-25)[2019-01-28].http://kns.cnki.net/kcms/detail/21.1124.TP.20180925.0709.001.html.

[5] 苑晶, 李阳, 董星亮, 等. 基于运动模式在线分类的移动机器人目标跟踪[J]. 仪器仪表学报, 2017, 38(3): 568-577.

[6] AIAZZI B, ALPARONEl L, BARONTI S, et al. Nonparametric change detection in multitemporal SAR images based on mean-shift clustering[J]. IEEE Transactions on Geoscience & Remote Sensing, 2013, 51(4): 2022-2031.

[7] UBEDA-MEDINA L, GARCÍA-FERNÁNDEZ Á F, GRAJAL J. Adaptive auxiliary particle filter for track-before-detect with multiple targets[J]. IEEE Transactions on Aerospace & Electronic Systems, 2017, 53(5): 2317-2330.

[8] 陈龙, 郭宝龙, 孙伟. 基于FCM聚类的粒子滤波多目标跟踪算法[J]. 仪器仪表学报, 2011, 32(11) : 2536-2542.

[9] 董春利, 董育宁, 刘杰. 基于粒子滤波和GVF-Snake的目标跟踪算法[J]. 仪器仪表报, 2009, 30(4): 828-833.

[10] EXNER D, BRUNS E, KURZ D, et al. Fast and robust CAMShift tracking[C]//The Institute of Electrical and Electronic Engineers（IEEE）. Proceedings of 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Francisco: IEEE, 2010: 916-920. DOI: 10. 1109/CVPRW. 2010. 5543787.

[11] 隋修武, 田松, 余保付, 等. 交通场景中的实时多目标自动跟踪算法[J]. 电子技术应用, 2015, 41(10): 139-142, 146.

[12] 王健, 张桂林. 复杂背景下运动目标的实时跟踪[J]. 计算机与数字工程, 2005, 33( 11): 18-21.

[13] 李娟, 邵春福, 杨励雅, 等. 基于Kalman滤波的行人跟踪方法研究[J]. 交通运输系统工程与信息, 2009, 9(6): 148-153.

[14] 胡敏, 陈红波, 许良凤, 等. 基于颜色和纹理特征的黄瓜病害识别算法[J]. 电子测量与仪器学报, 2015, 29(7): 970-977.

[15] 金铭, 汪友生, 边航. 一种多特征融合的图像检索新方法[J]. 电子测量技术, 2016, 39(8): 85-89.

[16] 陈肖蒙, 王瑜, 肖洪兵. 基于可变局部边缘模式的绿色植物物种识别[J]. 智能系统学报, 2018, 13(4): 571-576.

[17] 苏丽颖, 李小鹏, 么立双. 一种改进的SIFT特征提取新算法[J]. 华中科技大学学报(自然科学版), 2013, 41(增刊1): 396-398.

[18] 宁纪锋, 赵耀博, 石武祯. 多通道Haar-like特征多示例学习目标跟踪[J]. 中国图象图形学报, 2014, 19(7): 1038-1045.

[19] 孙炜, 薛敏, 孙天宇, 等. 基于支持向量机优化的行人跟踪学习检测方法[J]. 湖南大学学报(自然科学版), 2016, 43(10): 102-109.

[20] 李永波, 李柏林, 熊鹰. 基于HOG特征的铁路扣件状态检测[J]. 传感器与微系统, 2013, 32(10): 110-113.

[21] 曲巨宝. 利用自适应组合模型实现车辆跟踪[J]. 华东交通大学学报, 2010, 27(4): 39-43.

[22] 公衍宇. OpenCV在人脸门禁系统的研究与应用[D]. 天津: 河北工业大学, 2012.

Multi-pedestrian target tracking method based on improved Camshift algorithm

CHENYi

（Sichuan University of Arts and Sciences, DaZhou, SiChuan 635000, China）

Aiming at the problem that it is susceptible to multi-pedestrian targets with similar clothing colors for the color-based target tracking method, which results in the error in tracking targets, the paper proposed a multi-pedestrian target tracking method with the improved Camshift algorithm: in order to overcome the shortcoming that the target is easily lost with single color feature as target model, the target model was established by integrating a certain weight coefficients with the color and HOG features of the target; and the models for multiple pedestrian targets were built for extending the single target tracking of traditional Camshift algorithm to multi-target tracking. Experimental result showed that the proposed method would be more robust, and the tracking accuracy could be improved by 5.3 % compared with traditional Camshift algorithm; meawhile, the real-time performance could be improved by 30.23 % compared with particle filter algorithm.

Camshift algorithm; color features; multi-target tracking; fusion coefficient

P228

A

2095-4999(2019)04-0030-07

陈艺.改进Camshift算法的多行人目标跟踪方法[J].导航定位学报,2019,7(4):30-36.（CHEN Yi.Multi-pedestrian target tracking method based on improved Camshift algorithm[J].Journal of Navigation and Positioning,2019,7(4): 30-36.）

10.16547/j.cnki.10-1096.20190406.

2019-03-17

四川省教育厅科研项目（17ZB0376）。

陈艺（1980—），女，四川平昌人，硕士，副教授，研究方向为网络数据库、计算机应用技术。