基于加速鲁棒特征的非特定目标跟踪算法研究

王招娣，邓记才

（郑州大学 信息工程学院，河南 郑州 450001）

运动目标的识别与跟踪[1]是机器视觉中研究的热点问题之一，目标匹配是目标跟踪的关键技术，目前广泛采用的图像特征匹配法主要有诸如边缘特征、颜色特征[2]、骨架特征、区域特征和特征点等。其中，特征点检测法作为图像的局部特征提取法，其特征匹配算法计算量小，鲁棒性好，且对图像旋转平移、光照及分辨率等变化有较好的适应性，逐渐成为特征匹配领域的研究热点。常用的特征点检测方法有 Harris角点检测[3]、SUSAN、Hessian-Laplace等，但这些特征点在图像尺度空间发生变化时，易导致匹配失败。

2004年，LOWE D G等人提出 SIFT（Scale-Invariant Feature Transform）特征检测法，解决了尺度变化的问题，但该算法由于检测的特征点太多，使得计算时间开销大。随后BAY H等人于2006年对SIFT算法作了改进，提出了加速鲁棒特征 SURF （Speeded UP Roubust Features）[4]算法。该算法不仅保持了SIFT算法对图像旋转、尺度缩放、亮度变化的不变性，同时由于引入了积分图、箱式滤波器和近似Hessian矩阵等概念，使算法的执行效率得到大大提高。目前，该算法主要用于人脸识别[5]、掌纹识别、医学遥感影像配准和全景拼接[6]等领域。因此，本文选用SURF特征匹配的方法来实现视频图像中运动目标的跟踪。

1 SURF算法

SURF算法作为图像局部特征的提取算法，它对图像尺度变换、视角变化、仿射变换及噪声保持一定程度的稳定性，可完成两幅图像特征点的匹配。该算法的实现过程分为特征点检测和特征向量的生成。

1.1 特征点检测

尺度空间的建立是图像SURF特征点检测的首要步骤，将一幅二维图像 I（x，y）与高斯核函数 G（x，y，σ）作卷积运算，即得到不同的尺度空间[7]：

再采用Hessian矩阵在尺度空间的每一层上采集图像的极值点，对二维图像 I（x，y）上的任意一点 X（x，y），在不同空间尺度σ上，Hessian矩阵的定义为：

其中，Lxx（X，σ）、Lyy（X，σ）和 Lxy（X，σ）分别表示图像上的X（x，y）点与二阶偏导在 x、y和 xy方向的卷积。

为了减少计算的复杂度，SURF算法采用箱式滤波器模型中矩形波来代替二阶高斯滤波，同时引入积分图像的概念加速了卷积的运算过程。因此，用图像I（x，y）上的任一点X（x，y）分别与箱式滤波模版的二阶偏导作卷积的结果 Dxx、Dxy和 Dyy来代替 Lxx（X，σ）、Lyy（X，σ）和Lxy（X，σ）。为了保持计算的精度，选取矩形核函数与高斯核函数的近似比例因子ω，一般记作0.9，故Hessian的行列式可近似记作：

根据Hessian矩阵求出各个尺度空间上的极值之后，采用非极大值抑制NMS（Non-Maxima Suppression）将这些极值点与它立体邻域内的点进行比较，以3×3的滤波器为例，如图1所示，将该极值点与同尺度层中其余8个点及上下两个尺度层9个点进行比较，只有当该极值点都大于或都小于其余26个相邻的点，才能将该极值点作为候选区的SURF特征点。

图1 不同尺度空间的特征点检测

1.2 特征向量的生成

SURF特征描述子的生成分为主方向的确定和描述子向量的生成两个步骤。首先，在以特征点为中心、半径为6σ（σ为特征点所在的尺度值）的圆形域邻域内，计算像素点在x、y方向上的Haar[3]小波响应值并对它们进行加权统计，再从x轴开始将圆形区域60°范围内的Haar小波响应值叠加，从而得到一个新的矢量记作矢量L1，如图2所示。以同样的方式每隔 5°遍历整个圆域，计算=72个不同矢量 L1、L2，…，再从这 72个矢量中选择最长的矢量方向作为该特征点的主方向。

图2 特征点主方向确定

然后，以特征点为中心将坐标轴旋转到主方向，取边长为20σ的正方形区域，将该区域划分为 4×4的子区域，如图3所示，统计每个子区域内像素点在x轴方向和 y轴方向的 Haar小波响应值，并分别记作 dx和 dy，再对这些值进行加权、求和操作，即得到Σdx、Σ|dx|、Σdy和Σ|dy|，于是在子区域中就生成特征点描述符的特征向量V，如式（4）所示。若将 16个区域的向量都加入特征向量中，就变成16×4=64维特征向量。

图3 特征点描述子的生成

2 基于SURF特征的目标匹配算法

本文选用SURF算法对视频序列中非特定运动目标进行跟踪研究，具体步骤如下。

（1）特征点提取。指定目标模板作为视频图像的跟踪对象，提取目标模板和视频图像的SURF特征点并生成特征向量。

（2）特征匹配与跟踪。将目标图像与视频图像之间的SURF特征点进行相似度匹配，确定目标在视频序列中的位置并进行跟踪。

（3）目标模板更新。在视频图像发生改变或运动目标消失时，可随机切换跟踪目标实时更新目标模板，做到实时有效的跟踪效果。

2.1 特征点匹配方法

根据快速最近邻逼近搜索法FLANN（Fast Approximate Nearest Neighbor Search）获得目标图像与视频序列图像中特征点匹配对，并选用欧氏距离和Hessian矩阵的迹相结合的相似度计算法找到相应的特征点匹配对。

首先根据Hessian矩阵的迹实现特征点初步匹配。因为图像对比度相同的特征点对应的Hessian矩阵的迹（即矩阵对角元素之和）互为同号，而图像对比度不同的特征点对应的Hessian矩阵迹互为异号，因此可将目标图像与视频图像特征点进行比较，选择出Hessian矩阵迹互为同号的特征对，放弃互为异号的特征对。然后，在上一步初匹配的基础上，再采用欧氏距离匹配法进行相似度判断，最终找到两幅图像中特征点的一一对应关系。欧氏距离计算公式为：

其中，Xim表示目标图中第i个特征描述子的第m个元素，Xjk表示源图像中第j个特征描述子的第k个元素，n表示特征向量的维数64。通过计算得出最小欧氏距离Da1、次最小欧氏距离Da2及两者的比值，将该比值与设定阈值0.7作比较。若小于阈值则证明目标图像上的该特征点与源图像上最小欧氏距离对应点是匹配的；否则，不匹配。

本文算法的流程图如图4所示。

图4 非特定目标跟踪算法的流程图

2.2 算法的具体实现步骤

本文算法的具体实现步骤如下。

（1）读取待检测视频图像，采用中值滤波的方式对视频进行预处理操作，滤除视频中的噪声点和干扰点，并将RGB彩色视频进行灰度化处理转换成灰度视频以备用。

（2）既可读取固定的目标图像作为跟踪对象，亦可在视频序列中随意指定要跟踪的运动目标，并将该目标从视频序列中分割出来单独作为跟踪对象。

（3）利用Hessian矩阵分别检测并提取目标模板和视频图像每一帧图像的SURF特征点。

（4）将目标模板的特征点与视频帧的特征点进行相似度匹配，保留匹配正确的特征对，剔除不能匹配的特征点。

（5）对匹配成功的特征对，计算其特征点在视频图像中的分布情况并计算其重心位置，从而确定目标图像在视频图像中出现的4个顶点坐标。

（6）根据顶点坐标画出目标图像在视频序列中的位置，并实时更新跟踪结果。

（7）在视频序列中若发生运动目标改变或跟踪目标丢失的情况，可随机切换跟踪目标实现目标模板的实时更新，从而做到实时有效的跟踪效果。

3 实验结果及分析

为验证SURF算法对视频序列中的运动目标动态跟踪的有效性，本文选用VS 2008作为实验平台,结合OpenCV 2.3视觉函数库[8]进行仿真实验。实验中的目标模板为JPEG格式的图像，视频序列为352像素×240像素，帧速率为25 f/s，XVID压缩编码的24位 AVI格式的vedio1和vedio2视频源，其中vedio1为单个运动目标的视频，vedio2为两个运动目标的视频。

3.1 特定目标跟踪过程

以特定的目标图像为匹配模板进行仿真实验，并提取该模板的SURF特征点如图5所示，共提取20个特征点。

将该目标模板的SURF特征点分别与视频序列帧图像的特征点进行对比匹配，找到确定的SURF特征匹配对从而确定目标出现的位置，以视频第50帧、100帧和150帧为例的仿真结果如图6所示。

图5 固定目标模板特征点提取图

图6 特定目标的跟踪效果图

将提取到的特征点数目及特征匹配对数进行统计，结果如表1所示。其中目标模板的SURF特征点数为20个，对应不同视频帧的SURF特征点数分别为44、45和42个。在特定目标跟踪的情况下特征点匹配率是比较低的。

表1 特定目标跟踪过程的特征点统计表

3.2 非特定目标跟踪过程

本文算法采用将SURF特征与跟踪目标的可控性原理相结合，实现对非特定运动目标的跟踪，即在跟踪过程中可进行目标实时切换。将目标模板特征点与视频序列帧图像的特征点进行对比匹配，找到正确的SURF特征对，从而确定目标出现的位置。以vedio1和vedio2分别为跟踪视频进行算法仿真，图7所示为vedio1的非特定目标跟踪结果，图8所示为vedio2的非特定目标跟踪结果。其中黑色线段表示匹配正确的SURF特征点对应关系，白色方框即为标定的目标跟踪区域。

对于vedio1和vedio2视频源，将提取到特征点数目及特征匹配对数进行统计，如表2所示，其中vedio1的特征点匹配率在57.3%左右，vedio2的特征点匹配率在58%左右。

图7 vedio1中运动目标的跟踪效果图

图8 vedio2中运动目标的跟踪效果图

表2 非特定目标跟踪过程的特征点统计表

将本文所采用的SURF的非特定目标跟踪算法与一般特定目标跟踪算法进行比较，特征点匹配率的对比情况如图9所示。

图9 两种算法特征点匹配率对比图

实验表明，本文算法的特征点匹配率在57%～58%范围内波动，而特定目标跟踪算法特征点匹配率在15%～30%范围内，前者特征匹配率要比后者提高30%～40%。

本文采用一种SURF算法对视频序列中非特定运动目标进行跟踪研究，并通过实验对该算法进行仿真验证。结果表明，该过程既可指定特定目标作为跟踪对象，亦可在跟踪过程中实时进行目标切换，体现跟踪过程的灵活性；在运动目标发生尺度变化、旋转、缩放的情况下，仍能实现目标的正确检测且不使目标跟踪丢失，体现了算法的准确性和一定的环境适应性；同时由于本文算法结合了目标的可控性切换原理，使SURF特征点匹配率较特定目标跟踪算法提高了30%～40%，增强了特征点匹配的准确性。因此，本文算法是一种有效且灵活的非特定目标跟踪法。如何进一步解决多运动目标的遮挡问题，使它能够更好地适应较为复杂环境下的目标检测与跟踪，是下一步工作中要研究的重点。

[1]Zhang Jianming， Zhang Lingzeng， Liu Zhiqiang.Approach to front vehicle detection and tracking based on multiple features[J].Computer Engineering and Applications， 2011，47（5）：220-223.

[2]Song Linlin， Wang Xianghai.Image retrievalalgorithm using both color and texture features[J].Computer Engineering and Applications， 2011，47（34）：203-207.

[3]张永，纪东升.一种改进的 Harris特征点检测算法[J].计算机工程，2011，37（13）：196-198，201.

[4]BAY H， TUYTEPLAARS T， VAN GOOL L.SURF： Speeded Up RobustFeatures[C].Processings ofthe European Conference on Computer Vision， 2006：404-417.

[5]明悦.基于不变性特征的三维人脸识别研究[D].北京：北京交通大学，2013.

[6]宋延爽，耿楠.基于SURF算法的全景图拼接技术研究与实现[J].计算机工程与设计，2012，33（12）：4647-4651.

[7]林建粦，平西建，马德宝.基于二阶方向导数尺度空间的小目标检测[J]. 电子与信息学报，2012，34（12）：2992-2998.

[8]方玫.OpenCV技术在数字图像处理中的应用[J].北京教育学院学报（自然科学版），2011，6（1）：7-11.