对光照变化鲁棒的多特征动态提取跟踪算法

李 琳，余胜生

(1.武汉理工大学 计算机科学与技术学院，湖北 武汉430070;2.华中科技大学 计算机学院，湖北 武汉430070)

视觉跟踪问题是计算机视觉领域中的一个重要问题。目前，理想环境下的视觉跟踪算法取得了较好的研究成果［1］。但如何克服实际跟踪过程中各种客观因素(如光照变化)的影响，如何准确提取视觉特征，实现复杂环境下的鲁棒视觉跟踪已成为现阶段研究的难点［2］。针对视觉跟踪算法光照自适应能力差的问题，文献［3 -5］采用多特征表征目标，或将两种跟踪算法结合，使跟踪更鲁棒。文献［6］将观测模型分解为由SPCA 构建的基本特征模型来提高光照场景下的跟踪性能。文献［7］通过改变颜色子模型的建立空间，保证光照变化下的稳定跟踪。笔者从视觉特征的提取方法和多特征融合建模两方面进行研究，有效克服了光照变化对目标跟踪的影响，提出了一种基于多特征动态提取的鲁棒视觉跟踪算法。

1 观测子模型

跟踪技术的难点在于如何准确地描述目标特征并适应复杂多变的跟踪环境。良好的图像特征应具有以下特点：①好的区分性;②高可靠性;③强独立性;④适度的简约性。笔者依据上述应具有的特点，选取颜色、边缘和运动3 种特征子模型，彼此独立互补。各特征子模型的建立既克服了光照影响，又有效降低了计算复杂性。

1.1 颜色子模型

由于颜色信息具有旋转和尺度不变性，是视觉跟踪中广泛采用的一个重要特征。一般颜色特征子模型采用核密度估计方法建立，但为了减少光照因素对颜色特征的影响，笔者采用模糊颜色直方图方法。将RGB 颜色空间分成m个域(取m =16)。图像颜色特征记为Ic ={xi，yi，Ci}，i =1，2，…，N，其中N为目标像素总数，Ci为像素点(x，y)对应的颜色向量。颜色直方图表示为H(Ic)={}，j =1，，其中，Pi为选择像素点i的概率，Pj|i为像素点i属于第j个颜色域的后验概率，Pj|i∈［0，1］，Cji为像素点i在颜色域j的模糊隶属度，某个像素点的隶属度是根据其颜色与各颜色区间的距离来计算的。

1.2 边缘子模型

为使同一对象在不同光照条件下的差异减小，以便获取真实的边缘信息，提高该特征的稳定性，可先使用同态滤波消除或者减弱光照的影响，再提取边缘特征。由于光照成分的频谱主要位于低频段，而反射成分的频谱集中在相对高频段，可以利用同态滤波来消除图像中的光照不均匀现象［8］。由于在建立边缘特征子模型之前，增加了预处理步骤，为减小计算复杂度，边缘检测算子采用梯度算子。

1.3 运动子模型

当跟踪目标较小、分辨率较低时，颜色或纹理不能有效表征目标，运动特征则可作为理想的辅助特征。运动特征的提取一般采取帧差法，但当目标运动过慢或过快时，存在空洞或双影问题，影响提取效果，因此采用改进的三帧差分法进行运动特征提取。

因为目标的边缘运动较剧烈，为了准确捕捉到运动信息，在选取运动特征的时候将目标的高和宽各延伸若干个像素X=［x，y，α(w+η)，α(h+η)］，笔者将η 设置为8。

考虑到对视觉信号的处理过程中人眼有一个近视对数算子的环节，首先利用图像增强技术对每帧图像的灰度进行调整，扩大目标灰度值，采用G(x，y)=clg(1 +I(x，y))，再采用三帧差分法［9］进行特征提取。

1.4 特征子模型的光照鲁棒性分析

从公共视频集中选取存在不同光照变化的视频作为分析测试数据，用单特征(如颜色，边缘或者运动单个特征)进行跟踪，比较笔者特征模型与其他特征提取方法在复杂光照环境下视觉跟踪的目标特征表征能力。为叙述方便，定义基于颜色的粒子滤波为颜色跟踪，类似定义边缘跟踪和运动跟踪。图1(a)是在颜色跟踪情况下，采用核方法提取颜色特征值与笔者模糊直方图建立颜色子模型进行比较的情况。在相同数量的相同光照视频中，仅依赖颜色特征跟踪，笔者建立的特征子模型使跟踪结果平均准确率有2%以上的提高，能更好地克服光照的影响。图1(b)为边缘跟踪情况，可以看出笔者加了同态滤波的边缘特征特取方法，使不同光照条件下的边缘特征置信度得到提高，明显提高了跟踪准确度。图1(c)为运动跟踪情况，笔者的运动子模型在没有增加计算复杂度的同时，能使跟踪准确率提高近2%。

图1 各特征子模型光照鲁棒性分析

2 融合建模

提取的多个观测子模型虽然能有效表示目标模型，但在实际应用中，没有一种特征是保持不变的，有的特征在某些情况下还会失效，需要自适应动态融合。在大多数算法中，假设各种特征之间独立，将多个特征进行乘性融合提高鉴别能力，但这样会放大噪声。加性融合虽然不能提高后验概率的置信度，但对噪声不敏感。笔者提出一个全新的融合模型，将上述两种融合策略进行互补，并将其统一到一个融合模型中，通过添加融合指数εk来自适应地调整各个特征的权重。笔者的算法是基于粒子滤波框架的，第i个粒子的特征融合可表达如下：

式中：k为特征索引，当k=1 时，表示颜色特征是颜色特征观测似然函数。当k=2 时，表示纹理特征，依次类推；和分别为所有粒子在第k个特征上相似度的最小值和最大值;α 为随机概率，其取值在0.2 ～0.8 之间。

为使观测概率值仅集中在少数优秀的粒子上，引入εk来提高具有较高表现力特征的鉴别能力。通过实验证明，某个特征的均值可以取粒子总数量的15%来近似逼近，表示为则多特征总体均值为假设某个特征鉴别能力较强，那么该特征的均值应该与整体分布的均值较近，εk的值应该较大，因此可定义=然后将ε'k进行归一化，得到融合指数表达式为：

图2 将一般加性融合、一般乘性融合与笔者的融合模型进行对比。从图2 中可以看出乘性融合使概率密度变得更加尖锐，提高了后验概率的鉴别能力，但乘性融合抑制了分布的多峰性;在加性融合中，多峰虽然没有被抑制，但概率密度的峰值提高不明显，没有突显真正置信度高的有效特征。笔者的融合方法既提高了特征鉴别能力，对噪声也不太敏感，在乘性融合和加性融合中取得一种有效折衷，使粒子权值分布更符合实际情况，融合后的特征更有助于提高复杂环境下(如光照变化)的跟踪效果。

图2 特征融合模型比较

3 算法实现

跟踪算法的步骤如下：

(1)在视频第一帧中手动选取目标区域，建立初始模型X=［x，y，w，h］，提取目标模板的初始特征(颜色、边缘和运动特征信息)，产生N个随机粒子每个粒子的初始权重为ωi=1/N。

(2)根据二阶自回归系统动态模型预测当前帧中粒子的新状态，提取每个粒子的特征观测值，计算每个粒子的特征似然(如颜色似然pcolor(zc|xi)等)，同时计算每个特征的均值。

(3)根据式(3)计算特征融合指数εk。

(4)根据式(1)和式(2)求出每个粒子的权重。当前帧目标状态的后验概率可以用粒子的加权和近似计算，即最终确定目标位置的估计值。

4 实验结果及分析

笔者所有实验在CPU Intel Celeron 1.6 GHz(双核)，内存1.37 GB 的条件下进行，实验视频可以从网址http：//www. cs. toronto. edu/ ～dross/ivt 下载。实验1 的视频内容是一辆轿车开始在阳光下行驶，然后从一座桥下经过。视频中存在一个显著的光照突变情况。图3 选取的是视频中的第92、95、126 和133 帧。图中方框表示目标，框中浅色和深色的点分别表示预测和重采样的粒子。图3 第一行是基于颜色的粒子滤波跟踪算法效果，当车辆进入阴影时，颜色特征可靠性降低，在第126 帧时直接导致跟踪目标丢失。图3 第二行是基于颜色+边缘的跟踪算法效果，多特征采用乘性融合。在目标走出阴影的时候出现漂移情形，跟踪总体效果不太理想。图3 第三行是笔者提出的算法效果，明显看出笔者的特征融合模型在跟踪过程中可根据外界环境变化调整特征鉴别能力，获得较鲁棒的跟踪结果。图4 给出了上述几种算法的跟踪误差比较。由于跟踪目标车辆的大小为105 ×142，因此跟踪误差超过80 像素，一般跟踪失败。基于颜色的跟踪算法中，出现跟踪误差超过80 像素，目标丢失。在基于颜色+边缘的跟踪算法中，某些帧跟踪误差到达55 ～65 像素，跟丢目标的可能性较大。而笔者提出的算法的跟踪误差保持在30 像素以下，在存在光照突变的情况下也能得到稳定的跟踪结果。

图3 实验1 的跟踪效果

图4 3 种不同算法跟踪误差比较

实验2 中的视频场景复杂，存在持续的光照变化情况，跟踪目标特征不是很明显。图5 第一行是基于颜色+运动的粒子滤波算法效果图，第二行为笔者算法的效果图。对比效果可以看出笔者的多特征提取方法合理，动态组合后能准确地表示观测模型，并对光照不敏感，在复杂的场景下仍然能够较好地跟踪到目标。

图5 实验2 跟踪效果

5 结论

笔者采用高效的、能有效克服光照变化的特征提取方法，提出了一种新的特征融合模型，合理量化特征可靠性，提高目标特征表征的自适应性，给出了一个基于多特征动态提取的视觉跟踪算法。实验数据分析表明，笔者的算法在有光照变化的跟踪环境中具有更好的鲁棒性。

［1］侯志强，韩崇昭.视觉跟踪技术综述［J］. 自动化学报，2006，32(4)：603 -617.

［2］李谷全，陈忠泽. 视觉跟踪技术研究现状及其展望［J］.计算机应用研究，2010，27(8)：2815 -2821.

［3］EMILIO M，FABRIZIO S，ANDREA C. Adaptive multifeature tracking in a particle filtering framework［J］.IEEE Trans on Circuits and System for Video Technology，2007，17(10)：1348-1359.

［4］李锴，冯瑞.基于粒子滤波的多特征融合视频行人跟踪算法［J］.计算机工程，2012，38(24)：141-145.

［5］BARDET F，CHATEAU T，RAMADASAN D. Illumination aware MCMC particle filter for long -term outdoor multi -object simultaneous tracking and classification［J］. Computer Vision，2009(6)：1623 -1630.

［6］JUNSEOK K，KYOUNG M L. Visual tracking decomposition［C］∥Computer Vision and Pattern Recognition(CVPR). ［S.l.］：［s.n.］，2010：1269 -1276.

［7］GONCALVE T，COMPORT A I. Real - time direct tracking of color images in the presence of illumination variation［C］∥Robotics and Automation (ICRA).［S.l.］：［s.n.］，2011：4417 -4422.

［8］RAFAEL C G，RICHARD E W. 数字图像处理［M］.阮秋琦，译.北京：电子工业出版社，2002：65-132.

［9］甘明刚，陈杰，刘劲，等.一种基于三帧差分和边缘信息的运动目标检测方法［J］. 电子与信息学报，2010，32(4)：189 -194.