视频中目标运动轨迹提取算法

刘 松 杨洪臣 蔡能斌

（1 四川警察学院侦查系 四川 泸州 646000；2 中国刑事警察学院声像资料检验技术系 辽宁 沈阳 110035；3 上海市现场物证重点实验室 上海 200000）

1 引言

视频侦查已经成为公安案件侦查中最直接也是最常用的侦查手段，但在侦查过程中监控视频庞大的信息量及参差不齐的质量也给侦查人员工作带来了巨大的考验。在海量监控视频中有针对性的进行视频的分析研判是解决上述侦查难题的有力途径。通过提取视频中目标的运动轨迹，自动调取一系列与目标相关视频，并分析其中高质量视频片段以达到案件的高效侦破。

本文利用摄影中的透视规律对视频目标在空间中的位置进行估计，实现了视频中目标运动轨迹提取，算法效果较传统方法有了较大的提升。

2 算法介绍

目标运动轨迹提取算法首先通过背景自适应算法实现视频背景重构，并运用背景帧差法实现前景运动目标的提取，然后利用摄影中的透视原理对视频目标在空间中的位置进行估计并重构。算法实现流程如图1。

图1 算法流程图

2.1 目标定位算法

实现视频中运动目标的定位需要实时的将视频中的运动目标提取出来。本文在文献[1]中提到一种基于灰度归类的背景自适应重构算法，首先通过该算法重构出视频实时背景，其次通过背景差值法实现视频中运动目标的提取，最后进一步将前景图像进行二值化处理，并通过计算二值图像最小外接矩来定位目标。目标定位算法具体步骤如下：

步骤1：前景提取

前景提取算法是通过将视频当前帧frame（x，y）同视频自适应重构背景bg（x，y）进行差值运算，得到前景目标diff（x，y），有公式（1）：

步骤2：目标二值化

选定恰当阈值threshold，当像素灰度值大于等于阈值threshold时令该点像素值为1，当像素灰度值小于阈值时令该点像素值为0，可以得到二值化图像binary（x，y），有公式（2）：

步骤3： 目标定位

通过遍历前景图像的二值化矩阵binary（x，y），得到图像最小外接矩[x1 y1 x2 y2]，实现目标定位[2]。定位最小外接矩上下水平边界首先计算每一行元素和，有公式（3）:

然后确定上下边界x1，x2，有公式（4）：

最小外接矩左右垂直边界的定位方法同上下水平边界定位。目标定位算法效果如图2。

图2 目标定位效果图

2.2 运动轨迹提取算法

在孙鹏、周纯冰等人文献[3]中提到了一种基于目标质心位置计算的目标运动轨迹提取算法，该方法在提取目标运动轨迹上具有一定的效果。本文在前人研究的基础上，进一步对目标运动轨迹提取算法加以研究，并结合摄影学中的透视原理，提出一种根据视频中运动目标大小变化及质心位置变化，来实现对运动目标轨迹提取的算法。该算法通过设立三维坐标系并计算出运动目标在X轴、Y轴、Z轴的坐标值，进而重构出目标在三维空间的运动轨迹。

运动目标在X轴的坐标：取运动目标的质心在X轴的坐标值x作为运动目标，有公式（5）：

运动目标在Y轴的坐标：设视频第1帧中运动目标在Y轴的坐标为y1，运动目标高度为h1；视频第k帧中运动目标在Y轴坐标为yk，运动目标高度为hk。根据摄影透视原理如图3，发现真实场景中视频第1帧同视频第k帧之间图像大小存在y1：yk的比例关系，而在成像场景中图像的大小比例为1:1。设第1帧中图像的大小为单位大小，第k帧在成像时大小与第1帧相同，即真实场景中第k帧图像需要按比例缩小为成像场景图像，在成像场景中相同目标（忽略走路时姿态影响）第k帧中的高度hk较第1帧中目标高度h1缩小了 倍。第1帧和第k帧真实场景中，目标Y轴坐标同成像时目标的高度在摄影透视原理下有公式（6）关系:

图3 摄影透视原理

运动目标在Z轴的坐标：运动目标在Z轴的坐标即为运动目标质心离水平面高度，通过目标外接矩[x1y1x2y2]计算运动目标纵向质心高度，有公式（7）：

通过公式（5）（6）（7）可以重构出视频中运动目标在三维空间的运动轨迹，从而实现视频中运动目标运动轨迹提取。

3 算法实现及分析

本文分别实现文献[3]及第2部分算法介绍中的目标运动轨迹提取算法，并对同一运动目标0°、45°、90°拍摄的运动视频进行运动轨迹提取。

图4是0°拍摄视频中目标运动轨迹提取效果图，可以看到文献[3]和本文算法在0°拍摄视频中目标运动轨迹提取效果相近。

图4 目标0°轨迹图

图5是45°拍摄视频中目标运动轨迹提取效果图，可以看到文献[3]和本文算法在45°拍摄视频中目标运动轨迹提取效果差距较大。本文算法提取的目标运动轨迹更符合视频中目标的真实运动轨迹，效果更为理想。

图5 目标45°轨迹图

图6是90°拍摄视频中目标运动轨迹提取效果图，可以看到文献[3]和本文算法在90°拍摄视频中目标运动轨迹提取效果有明显区别。本文算法提取的目标运动轨迹更符合视频中目标的真实运动轨迹，效果更为理想。

图6 目标90°轨迹图

综上，本文算法对不同角度拍摄的目标运动视频都能较好的提取出目标的运动轨迹图；同时本文算法可以较好的将视频中目标运动轨迹在三维空间进行重构，能更真实的还原目标的运动轨迹。公式（5）（6）（7）计算出视频中运动目标在三维空间X轴、Y轴、Z轴的坐标值（X轴、Y轴、Z轴分别对应真实场景中目标的左右、前后、上下）。经本文算法重构出目标三维运动轨迹如图7所示。

图7 三维轨迹图

将传统算法与本文算法对不同角度拍摄视频中目标运动轨迹提取效果进行了对比实验，并将实验录制成视频，可通过扫描图8中的二维码观看实验效果。

图8 获取实验视频

4 总结

本文介绍了一种视频中目标运动轨迹提取算法，算法结合摄影透视原理还原了目标三维运动轨迹，效果较传统方法有所提升。

算法为实现多视频中对目标运动轨迹追踪提供了基础。在下一步的研究中可融入视频目标的自动识别，通过多视频联动实现目标的自动追踪锁定；同时，该算法也可应用在目标运动轨迹异常分析上，进而实现视频中异常行为报警。