基于前景判别超像素分割的目标检测跟踪算法*

李忠海，杨 超，梁书浩

（沈阳航空航天大学自动化学院，沈阳 110136）

0 引言

视频信息技术涵盖了很宽的领域。从常见网络视频到神秘的宇宙飞船，从公共安全到军事领域，从智能监控到视频压缩，从步态识别到人体分析，无论视频应用千差万别，视频技术大多遵循类似的框架：信息预处理、运动目标检测以及目标跟踪。考虑到场景的复杂性，如时变的光照，目标形变以及遮挡等问题，这些因素使在目标检测与跟踪过程中任具有挑战性。文献［1］将超像素理论用于目标跟踪，利用超像素把视频帧的前景与背景进行分割，并利用条件随机场和Delanunay三角化对图片进行区间匹配。但此方法无法改进在目标遮挡情况下跟踪问题。文献［2］使用分类的AdaBoost目标跟踪算法，判别像素属于目标的前景还是背景，结合Mean-Shift搜索过程，采用超像素分割计算出置信图，确定跟踪目标，但该算法在复杂背景下，跟踪效果不理想。文献［3］利用像素的特征信息对目标上下文区域进行聚类，形成像素块区域，通过时间上下文中像素块特征的相似性，对空间上下文进行加权处理。但当运动目标发生视觉尺度变化，跟踪效果显著下降。文献［4］提出SL算法寻找最优路径的方式，在水平和垂直两个方向将图像分割成较小的图块，计算超像素。该算法分割结果过多依赖于输入的边界图质量。文献［6］采用SLIC算法分割图像提取特征进行外观模型建模，结合SIFT特征形成词汇本，最后利用金字塔LK追踪器进行预测运动目标下一帧位置。但该方法在目标遮挡情况下，跟踪效果明显下降。

针对于目标跟踪过程中目标外部几何形状变化与遮挡问题，在文献［2］基础上，提出结合AdaBoost算法对目标前景进行判别，在训练阶段，利用SLIC算法对目标搜索区域进行超像素分割，提取目标特征，采用Mean-Shift聚类［7］构造目标判别外观模型；结合目标模板与候选样本直方图建立运动目标外观模型；在跟踪阶段，对更新的图像帧进行区域搜索，利用K-mean聚类第一帧图像得到特征群，计算运动目标直方图相似度和重构误差，采用联合外观模型解决目标外观变化和遮挡问题，实现较好的运动目标跟踪效果。

1 基于HOG特征和AdaBoost算法分类检测

在文献［2］基础上，本文提出HOG特征和Sobel算子计算边缘梯度信息，用式（1）计算每帧图像的梯度值 G（x，y）：

Gx（x，y）是横向亮度差分值，Gy（x，y）纵向亮度差分值，由式（2）计算像素梯度的方向：

式（3）中mi为第k个HOG特征所属样本空间的中位值，hik为HOG提取后在第k个样本空间上第i特征的特征值，N是样本空间大小。弱分类器gi由式（4）表示：

其中，d（hi，mi）为hi与mi的巴氏距离，θi是分类器gi的阈值。目标特征提取后，采用AdaBoost算法进行特征训练，设定运动目标样本空间X，样本训练S与样本类别Y。

利用允许误差εi调节弱分类器hi（xi）的权重αi：

更新训练样本权重，Di+1（xi）式（9）新的样本分布：

Zi为归一化因子，使，经过T轮调节，得到T个最佳弱分类器，根据式（10）将hi（x）与对应权重级联起来，得到强分类器H：

对测试目标序列帧进行判别，利用AdaBoost强分类器进行目标检测，提取前景，确定搜索区域。

2 超像素分割

在文献［5］基础上，先采用前m帧目标序列作为训练图像进行超像素区域分割，提取运动目标特征，生成目标特征向量，利用Mean-Shift聚类生成特征群，计算置信值构造基于超像素分割的判别型外观模型。在跟踪阶段，结合超像素特征池，生成模板直方图与置信图，候选样本采样，生成候选样本置信值，建立生成型外观模型。

2.1 基于超像素分割的判别型外观模型

在训练阶段，采用SLIC分割算法将搜索区域分割为 Ki个超像素块，s（t，q）（t=1，2，…，m，q=1，2，…，K）t为第t帧中第q个超像素，并将其量化为ftq特征向量，构建目标超像素特征群F，利用Mean-Shift方法将特征群F聚成N类。由式（11）计算每个聚类置信值，根据置信值确定每个聚类N（i）属于目标或背景的概率：

式（11）中，A（+i）是第i个聚类所有超像素块与训练目标超像素块的重合面积；A（-i）是第i个聚类所有超像素块域与训练目标超像素块的未重合面积；归一化处理，得到最终聚类置信值是判别聚类N（i）超像素属于前景与背景的概率，ε为常量。由超像素聚类中心fc（i），聚类半径rc（i），特征池F与最终聚类置信值Dfi，构造超像素判别的外观模型。

在跟踪过程中，新的一帧图像进行像素分割聚类，聚类N（i）根据前景与背景的置信值Dfi判别该超像素属于目标与背景的可能性。由式（12）和式（13）计算每类超像素的置信值：

Cq是分割后超像素 s（t，q）的置信值，w（q，i）是距离权重项，表示第t帧的第q个超像素的聚类中心fc（i）和其所属的特征向量的距离权重，H是ftq与fc（i）的协方差矩阵。将Cq赋给超像素s（t，q）所包含的像素，在检测目标邻域以外的像素赋值为0，得到当前跟新目标图像置信图。

2.2 基于超像素分割的生成型外观模型

在得到N个候选样本的目标置信图后，采用粒子滤波采样获得相同大小图像 Wl，l=1，2，…，N，由式（14）计算样本置信值：

式（14）中，vl（i，j）是Wl中位置（i，j）的像素值。引入目标尺度适应参数，用式（15）计算目标尺度因子El：

其中，Dl是候选样本置信值，A（Xtl）为第t帧第l个候选样本区域面积，A（Xt-1）为第t-1帧跟踪区域面积，利用进行归一化处理到［0，1］，最终候选样本置信值为Efl。

在训练结束后，采用粒子滤波对上一帧图像采样，获得候选样本Xtl（l=1，2，…，N），利用重叠流动窗口获得大小一样的Q图块，提取图像特征和向量，h为区域维度。对输入第一帧手动标记目标区域K-mean聚类形成词汇本B。在跟踪过程中，用词汇本B表示生成的目标模板［10］采样，通过式（16）求解分割后每个子区域块系数向量αk：

式中，β为αk的集合构成候选样本直方图。

通过式（18），式（19）对样本直方图进行修正：

式（18）中，yk表示第k个超像素块特征向量，δk为超像素块向量yk的重构误差。

2.3 贝叶斯框架下目标跟踪定位

在贝叶斯框架下，第一帧目标在图像的位置采用手动标记，在训练中依据式（20）进行跟踪，式（21）得到跟踪目标最大后验估计值。

式（20）中，Xi代表第 i帧的目标状态，，其中，是目标中心位置，Xix，Xiy是目标区域尺度的x轴和y轴，Y1∶i表示到i帧为止所有观测值，η为归一化常数，Yi为第i帧状态Xi的观测值，p（Yi|Xi）是第i帧目标观测估计，p（Xi|Xi-1）是预测下一帧目标状态的运动特征。

ζ为对角协方差矩阵，元素包括尺度标准差σs和目标位置标准差σc，根据其标准差判别目标尺度和位置变换情况，利用式（23）计算第l个候选样本Xil的运动状态：

将计算得到运动模型和观测模型代入到式（20）和式（21）即可获得第t帧运动目标状态和候选样本最大估计，锁定目标。

3 模型更新与遮挡处理

采用在线学习运动目标更新，在跟踪过程中对成功匹配运动目标图像序列，每隔R帧当前图像序列添加训练目标序列中，同时删去最早图像帧，保证在长时间训练运动目标有最新更新信息。如图1所示。式（25）判别目标是否被遮挡：

4 本文算法描述

本文基于前景判别的超像素图像分割的目标跟踪检测方法，首先根据AdaBoost分类器将运动目标前景进行判别，确定搜索区域。选取M帧图像作为训练图像集，采用SLIC超像素分割算法与Mean-Shift聚类，建立运动目标外观判别模型；对样本采用重叠滑动方法得到局部图块，利用K-Mean聚类，计算置信值与置信图，采用目标模板直方图相似性与候选样本直方图，建立生成型外观模型，在贝叶斯理论框架下，实现运动目标检测与跟踪。具体基于超像素建立判别型与生成型目标跟踪算法如图2所示：

4.1 初始化

1）手动标记第一帧跟踪目标位置，利用AdaBoost算法确定目标搜索区域；

2）利用贝叶斯后验估计到M（M=5）帧，将前M帧图像作为训练图集。

4.2 基于超像素判别型外观模型

1）从训练图像提取一组样本X；

2）利用SLIC算法分割目标区域，形成特征池；

3）采用Mean-Shift算法聚类，计算聚类置信值，判别所属目标或背景可能性；

4）生成置信图，计算候选样本的置信值；

5）建立判别型外观模型。

4.3 基于超像素生成型外观模型

1）利用粒子滤波对前一帧采样，生成N个候选样本；

2）利用重叠滑动窗口法获得Q个图块，并转为向量；

3）对第一帧图像，运用K-means算法计算词汇本；

4）计算候选样本直方图与目标模板直方图相似度；

5）建立生成型外观模型。

4.4 运动目标跟踪过程（从第M+1帧图像到最后一帧）

1）在贝叶斯框架下，计算观测与运动模型；

2）目标状态的最大后验估计；

3）每间隔R帧，将新的一帧跟踪图像添加训练图像序列；

4）联合判别型与生成型外观模型，每隔T帧判别；

5）利用式（25）判别遮挡情况；

6）循环执行1）～5）步骤，直到最后一帧。

5 实验结果分析

为表明本文方法对处理目标形变与遮挡问题有效性，采用http：//www.visual tracking.net常用数据库中3个视频“小瓶”“人脸”“行人”进行分析比较。利用检测目标位置窗口度量跟踪效果，选取IVT［5］、MIT［6］、TLD［8］算法与本文算法对比分析，下页图 3中，A视频有较多相似目标小瓶，增加了辨别难度，同时人为方式不断改变目标小瓶的位置，使小瓶发生遮挡与移动。从370帧中可以看出IVT和TLD算法出现检测失误且有较大漂移出现，但本文算法依然能够准确锁定目标小瓶，进行检测跟踪。在B视频中，使用书本进行人脸遮挡且头部发生转动，增加了遮挡幅度，从检测效果看出几种算法都能检测出人脸位置，但本文算法能更加精确锁定人脸位置。在视频C中，行人出现车辆局部遮挡与完全遮挡情况，且行人发生外观形状改变，检测过程中，IVT、MIT和TLD算法均出现不同程度漂移，TLD几乎完全丢失行人目标。

所选视频中包含了运动目标跟踪过程，发生了视觉外观尺寸变化、目标长时间遮挡、运动姿态改变以及光照变化等因素，具有所研究问题的特点。图4给出了IVT、MIT、TLD和本文的行人跟踪误差平均值以及每种算法每一帧跟踪误差曲线，从图中可以看出：本文提出前景判别超像素检测方法明显优于以上3种算法的跟踪精度。

结合表1比较，针对复杂情况下，不同光线、目标外形尺度改变和遮挡问题，IVT算法虽然能实现在进行检测与跟踪，但是检测准确率较低，MIT算法对处理跟踪目标尺度变化时，其检测准确率明显下降，TLD算法虽然有较高准确率，可是当跟踪目标发生长时间局部或完全遮挡时，其跟踪准确率显著下降，而本文提出基于前景判别超像素分割算法，能较好处理此类问题，检测率达到90.22%，在本文研究的复杂背景情况下，其跟踪效果优其他3种算法。

表1 算法性能分析

6 结论

基于前景判别的超像素分割的目标检测跟踪算法，通过HOG特征与AdaBoost分类器进行目标前景提取，采用超像素分割方法建立判别型与生成型目标观测模型，计算图像置信值与置信图，结合目标模板与运动目标直方图相似度，在贝叶斯跟踪框架下，根据最大后验估计确定最终目标位置。从仿真的结果看，本文方法能有效改善复杂背景下多目标干扰、遮挡与目标形变问题，且该算法有较好的目标跟踪准确性和鲁棒性。

［1］REN X，MALIK J.Tracking as repeated figure ground segmentation［C］//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Chicago：IEEE，2007：17-22.

［2］AVIDAN S.Ensemble tracking［J］.IEEE Transation on Pattern Analysisand MachineIntelligence，2007，29 （2）：261-27.

［3］王淑敏，宫宁生，陈逸韬.加权的超像素级时空上下文目标跟踪［J］.计算机应用研究，2016，33（1）：1-7.

［4］LIU B，HUANG J，YANG L，et al.Robust tracking using local sparse appearance model and k-selection［J］IEEE Transactions on Pattern Analysis and Machine Intelligence（S0162-8828），2013，35（12）：2968-2981.

［5］罗会兰，钟睿，孔繁胜.基于超像素的点追踪方法［J］.中国图象图形学报，2014，19（3）：428-438.

［6］YANG F，LU H，YANG MH.Robustsuperpixeltracking［C］//IEEE Transactions on Image Processing：IEEE，2014：1057-7149.

［7］WANG S，LU H C，YANG M H.Superpixel tracking［C］//2011 International Conference on Computer Vision：ICCV，2011，6126385：1550-5499.

［8］ZHOU X，LI X，HU W.Learning a super pixel-driven speed function for level set tracking［C］//IEEE Transactions on Cybernetics：TCYB.2015：2168-2267.

［9］JING L，YING C，CHENG Z.Tracking using super pixel features［C］//2016 Eighth International Conference on Measuring Technology and Mechatronics Automation：ICMTMA.2016.

［10］HUANG G，PUN C M，LIN C.Video object tracking using interactive segmentation and super pixel based gaussian kernel［C］//2015 19th International Conference on Information，Visualisation：IV，2015：1550-6037.