视频监控中潜在长期停留物体的检测算法

于亚楠 苏远歧

（1.濮阳职业技术学院数学与信息工程学院 河南省濮阳市 457000）

（2.西安交通大学计算机科学与技术系 陕西省西安市 710000）

近年来，由于人工智能的飞速发展，计算机视觉技术也得到了迅速发展，视频中长期停留物体检测技术[1]在检测超时停车得到了广泛应用。传统的检测方法有：BoXin[2]等人在低秩稀疏的前背景提取法的基础上提出广义融合Lasso 法对视频进行前景提取，该算法是一次性读入数据集，对内存造成很大负担。利用相邻帧的质心距离差[3]判断物体是否为静止物体，该方法受视频场景光照的变化而产生误差。拉普拉斯[4]分布模型的静止物体检测方法在有遮挡的情况下准确率会下降。本文提出组合长短两个时间尺度下的前景掩膜，得到只包含潜在长期停留物体的耦合前景掩膜；首先，短时间尺度下的前背景模型采用基于混合高斯背景模型[5]的方法，它能描述像素点在不同场景下表现出的多峰状态，并实时对短时间尺度下的背景模型进行实时更新判断出视频中运动物体的前背景分布[6]；然后，用长时间尺度下的前背景模型法检测出运动的物体，并对长时间尺度下的背景模型进行学习[7]；最后，将长短背景模型进行耦合，剔除视频中快速通过的物体，得到视频中潜在的长期停留物体。

1 构建短时间尺度下的前背景模型

在摄像机固定的情况下，视频中运动物体的检测常用的方法主要有背景差分法、帧间差分法[8]和光流法[9]。帧间差分法是利用相邻两帧或多帧之间像素的变化来判断目标是否发生了移动变化。光流法计算耗时、实时性差，在实时监控场景中并不适用。

短时间尺度下的前背景模型是基于混合高斯的背景模型法，其基本思想是：对监控视频中的像素点，定义K 个状态，K 的每个状态都由一个单峰的高斯模型来表示，本文中K 取3，像素点颜色取值的概率密度函数可用如下函数表示：

上式中，f(Xt)代表t 时刻像素值的概率值，Xt代表像素值，ωi,t为t 时刻像素点的第i 个高斯分布的权重，其值越大该高斯模型出现的概率越大，表示高斯概率密度函数，μi,t表示t 时刻像素点的第i 个高斯分布的均值，∑i,t表示t 时刻像素点的第i 个高斯分布的方差。设定阈值为τ，如果前B 个高斯模型的权值和大于τ，则前B 个高斯模型为背景分布，其余为前景分布，前B 个高斯模型的确定可用如下公式来确定：

图1：Light 视频集检测结果图

当新获得的像素点Xt与前b 个高斯分布中存在匹配，那么这个像素点为背景像素点，否则为前景像素点。混合高斯模型法在处理像素点的波动方面有较强的能力，也能保证实际应用中实时性的要求，由于长期停留车辆区域的像素点长时间保持一种像素值，其对应的高斯模型的权值增大，但在检测视频中长期停留物体时，容易将其判定为背景物体。

2 构建长时间尺度下的前背景模型

针对短时间尺度下前背景模型法在检测视频中长期停留车辆时存在的问题，引入长时间尺度下的前背景模型法，长时间尺度下的前背景模型法主要根据背景差分法获得前背景像素点的基础上，利用像素级时间序列上的变化对背景像素点进行学习，得到长期停留物体在当前时刻图像上的一个背景估计。长时间尺度下的前背景模型构建分为两个步骤：前背景像素点的判断、背景模型的学习。

2.1 前背景像素点判断

根据背景差分法，设定一个判断前背景像素点的阈值T，判定当前像素点属于前景像素点还是背景像素点，判断公式如下：

表1：运动物体检测算法性能比较

其中，Dt(x,y)为t 时刻的差分图像，ft(x,y)为t 时刻当前帧图像，Bt-1(x,y)为t-1 时刻的背景图像。将获得的像素差值Dt(x,y)与阈值T 进行比较，如果差值大于T，则判定t 时刻视频帧中该像素点属于前景像素否则为背景像素点。

2.2 背景模型的学习

选取视频序列的前N 帧作为背景模型的初始学习帧，根据得到的背景像素点进行学习更新[10]，更新公式如下：

其中，Bt是t 时刻该像素点的背景估计，Xt是t 时刻该像素点的像素值，Bt-1是t-1 时刻该像素点的背景估计，β 为背景学习率，取β=0.05，在背景学习过程中设定较小的学习率，这样背景的更新速率虽然比较慢但是提高了背景模型建立的准确性与稳定性。

3 构建耦合的前背景模型

根据短时间尺度下的前景掩膜Fs构建与之相对应的短状态矩阵Ms，Ms中记录短时间尺度下前景掩膜上像素点的像素值用表示、持续时间为丢失时间为用一个状态向量表示像素点的状态；同样，构造与长前景掩膜Fl相对应的长状态矩阵Ml，用状态向量表示像素点在长时间尺度下前景掩膜上的状态。假设潜在长期停留物体区域的像素点用集合C 表示，设置像素点的持续时间阈值为Td，最大丢失帧阈值为Tm。

4 实验结果及分析

为了验证算法的鲁棒性，对现实中“Light.avi”的视频场景进行测试，实验中的视频集分辨率为568×320 像素，帧率为25Fps，实验结果如图1所示。

图 1 为视频集“Light.avi”中有潜在长期停留状态物体与快速运动的物体同时出现时前景检测的结果图。图 1(a)为视频集的第1299 帧图像，视频场景中存在一辆潜在长期停留状态的车辆和一辆正在快速行驶的车辆。图1(b)为短时间尺度下前背景检测的结果，从得到的短前景掩膜中可以看到，只检测到了快速行驶的车辆，潜在长期停留状态车辆被吸收为背景；图 1(c)为长时间尺度下前背景检测的结果，可以将快速行驶的车辆和潜在长期停留状态的车辆同时检测出来；图 1(d)为耦合前背景检测得到的耦合前景掩膜，耦合前景检测将快速行驶的物体剔除掉，保留了潜在长期停留状态的物体。对实验数据集中潜在长期停留状态物体检测结果采用精确率P和召回率R 和检测时间对本文的算法进行定量分析，耦合前背景模型法检测结果如表1。

由表1 可知，短时间尺度下的前背景检测可以检测到快速行驶的物体，检测不出潜在长期停留状态物体；而长时间尺度下的前背景检测可以检测到快速行驶的物体和潜在长期停留状态的物体。耦合的前背景模型剔除了快速行驶物体，保留了潜在长期停留状态的物体。检测算法的准确率高、召回率高，能有效检测出视频中潜在长期停留状态的物体。

5 结语

本文提出对视频监控中长期停留车辆进行检测的算法。组合使用不同时间尺度下的前景掩膜得到耦合的前景掩膜，构建与长短时间尺度下前景掩膜相对应的长短状态矩阵，根据不同时间尺度下的状态矩阵上像素点的状态向量，找到潜在长期停留状态物体区域的像素点集合；最后，根据潜在长期停留状态物体区域像素点集合对短时间尺度下的前景掩膜上获得的前景物体的连通区域进行二值化操作，得到只包含有潜在长期停留状态物体的耦合前景掩膜实验证明，本算法能在现实的视频场景下检测出潜在的长期停留的物体，为道路畅通提供了技术支持。