基于帧间差分自适应法的车辆抛洒物检测

李清瑶，邹皓，赵群，王建颖，刘智超，杨进华

（长春理工大学 光电工程学院，长春 130022）

高速公路交通事件指高速公路上的偶发异常事件，包括停驻车辆、货物散落、交通事故等，具有偶发性和随机性，不易及时发现和排除。而且高速公路是全封闭的，车辆运行速度快，车流量大，一旦发生事故，会造成拥挤和交通延误，影响高速公路正常的通行能力。高速公路抛洒物事件包括大型货车的货物散落以及其他车辆的随机抛物等，大型抛洒物容易引发交通事故的发生。因此，对高速公路的抛洒物检测研究具有重要意义[1，2]。

由于在高速公路上物品掉落具有随机性和不确定性，并且高速公路上光线变化比较复杂，增加了抛洒物检测的难度。针对这一事件，在摄像头静止的条件下，对传统运动目标检测方法加以改进，并进行实验验证，更好地实现对高速公路抛洒物这一事件的检测。

传统的运动目标检测算法包括帧间差分法[3]、背景减除法和光流法[4，5]。帧间差分法是对时间上连续的两帧或三帧图像进行差分运算，阈值化后提取出运动目标。帧间差分法的优点是原理简单，计算量小，能够快速检测出运动目标。但当目标运动缓慢时，会出现目标不完整，内部含有“空洞”等缺点。背景减除法是利用当前图像与背景图像的差分来检测运动目标的，检测速度快，并能够提供最完整的运动区域信息，存在的问题是对背景中的干扰比较敏感，背景构建和背景更新是一个难点。光流法是利用运动目标随时间变化的光流特性，通过计算位移向量光流场来初始化基于轮廓的跟踪算法，可以适用于摄像机静止和运动两种场合。但是光流场的计算复杂，而且在实际情况中，由于光线等因素的影响，目标在运动时，其表面的亮度并不是保持不变的，这就不满足光流基本约束方程的假设前提，导致计算出现很大误差。

帧间差分自适应法是基于帧间差分法和背景减除法的改进，可以在一定程度上克服帧间差分法在检测运动目标时易出现的“空洞”问题。本文所提到的监控视频场景是高速公路，一般公路等公共场所，考虑到监控视频中摄像头大多为静止的，因此将本文算法与传统的帧间差分法、均值背景减除法以及混合高斯背景减除法[6]（Gaussian Mixture Model，GMM）进行了比较。

1 视频图像预处理

对视频序列分析的第一步是图像预处理[7，8]。图像预处理的主要目的是消除图像中的无关信息，恢复有用信息，增强相关信息的可检测性以及简化图像数据，从而提高图像序列运动目标检测的可靠性。对于采集到的高速公路视频图像，本文主要进行灰度转换，图像降噪以及图像增强等处理。

灰度图像通常显示为从最暗黑色到最亮白色的灰度，用于显示的灰度图像通常用每个采样像素位的非线性尺度来保存，能够避免可见的条带失真，并且易于编程。图像降噪处理不但可以有效消除噪声，而且有利于图像的压缩编码，从而节约带宽。主要的图像降噪技术包括均值滤波和中值滤波等。均值滤波[9]去噪的效果较好，但为了便于准确提取运动目标的特征，应该更多的考虑保护图像的细节信息。因此，本文选择窗口尺寸为5*5的中值滤波对视频图像序列进行噪声消除处理。视频图像序列经过降噪处理后，可能会引起图像质量退化[10]，增强处理用以改善图像的视觉效果，突出我们感兴趣的图像部分，便于计算机的分析、处理。本文采用直方图均衡化的思想对图像序列进行增强处理，通过增加像素灰度值的动态范围，达到增强图像整体对比度的效果。

2 连续帧间差分法

帧间差分法一种是利用视频序列图像中当前帧与相邻帧之间的差异来检测运动目标的方法。在监控视频得到的视频图像序列中，相邻两帧的背景差别不大，只有当视频出现运动物体时，相邻帧之间的运动目标区域灰度值才会发生变化。帧间差分法正是利用这一特点，将相邻两帧之间做差分运算，从而检测出运动目标。但是它提取的运动目标往往比实际的目标要大，通常会出现“鬼影”现象。另外，由于检测出来的目标是前后两帧相对变化的部分，无法检测到重叠部分导致检测到的目标发生“空洞”现象[11]。连续帧间差分法在两帧差分的基础上进行改进，取多幅连续序列图像进行差分。

连续帧间差分法是通过求取连续多幅序列图像中前后帧所共有的部分来得到运动目标的区域，避免了因目标运动速度慢或者运动目标过大而检测效果不好的情况。

连续帧间差分法的原理如下，以连续5帧序列图像为例：

设n帧图像序列表示为其中，表示视频序列的第k帧图像，读取连续5帧序列图像，分别计算相邻两帧图像之间的差值，即：

对于所得到的差值图像进行求和运算：

对所得到的图像求平均：

对得到的图像通过选择合适的阈值T进行二值化，本文采用最大类间方差法计算阈值：

连续帧间差分法在运动目标检测中充分利用了累积差分法的优势，采用多帧累积的方法对运动区域进行了检测和目标增强，进一步累积图像求平均，减弱了环境因素和噪音对检测目标的影响。由于连续多张图像帧差求和与求平均都是加减运算，因此基本不占用CPU运算时间。与传统帧间差分法相比，连续帧差分法在基本不增加计算量的基础上，检测效果更好。

3 基于均值法的背景减除

背景减除法的核心是背景图像的建模与更新，背景图像的准确性直接影响到前景运动目标检测的结果。目前常用的背景图像估计方法包括均值法、中值法、混合高斯背景模型以及核密度估计法等方法。混合高斯背景建模算法的缺点是计算量相对较大，速度偏慢，对光照敏感[11]的背景建模方法提高了前景检测的准确性和完整性，但随着算法复杂度的提升，算法的快速性则受到了影响。为了能够快速地检测出监控视频中的运动目标，本文考虑选用简单且快速的背景建模方法—均值法背景建模。

均值法是一种比较简单的背景建模方法，它是通过计算某一段时间内连续N帧视频图像序列中，用某一点像素值的平均值来代替背景图像中该点的像素值。均值法的具体计算公式如式（5）：

其中，Bk为采集到第k帧图像时系统建立的背景模型；N为平均的帧数；fi( )x,y为包含当前帧在内的连续N帧图像。

本文算法的应用场景为高速公路的监控视频的背景，认为视频中的背景不会发生突变，因此本文在应用均值法对视频第k帧进行背景建模时不事先给定平均的帧数N，而是采用视频的前k帧进行求平均，如式（6）所示：

其中，Bk为第k帧视频图像背景模型；k为所取的前k帧图像；fi( )x,y为视频序列中连续的前k帧图像。

当背景建模完成后，可按式（7）和式（8）进行背景差分，得到背景差分后的二值图像zk( )x,y：

若帧间差分图像中的某点的像素值小于阈值T，则认为该点是静止的，该点被判为背景点；若大于阈值T，则认为该点是运动的，该点被判为目标点。

4 帧间差分自适应法

高速公路上物品掉落具有不确定性和随机性，并且物品的大小、形状以及性质等无法提前预知，这就对运动目标检测算法提出了更高的要求，传统的运动目标检测算法无法实现对高速公路抛洒物的检测，因此提出了结合两种传统方法的连续帧间差分法，实现对高速公路车辆抛洒物的检测。

连续帧间差分法在传统帧间差分法的基础上，取多幅连续序列图像进行差分运算，实现对运动目标的检测，在一定程度上克服了传统帧间差分法分割精度低、通常无法得到运动目标完整的边界信息的缺点。但是单一的连续帧间差分法在背景较复杂或是灰度化后背景与前景像素相近的情况下容易出现漏检或是误检。基于均值法的背景减除在检测运动目标时也存在一些缺点，例如在检测过程中背景图像中可能会存在前景的虚影而导致的前景检测中出现误检以及“空洞”问题。本文提出了基于连续帧间差分法和均值法背景减除的帧间差分自适应运动目标检测算法，通过求取连续多张序列图像中前后帧差所共有的部分来得到运动目标的区域，避免了背景像素点对前景检测的影响。采用一种简单快速的背景建模方法使得算法能够在满足准确性和完整性的同时算法的快速性不会受到影响，能够实现对监控视频中运动目标的快速提取。

帧间差分自适应法的基本思想为：对连续的序列图像进行预处理以及累计差分，对于所得到的差值图像进行求和运算并求平均，然后对得到的图像通过选择合适的阈值T进行二值化；使用均值法进行背景建模，将当前帧与所得的背景模型进行差分运算并且进行二值化处理，最后将用连续帧间差分法得到的二值图像与基于均值法的背景减除得到的二值图像进行逻辑“与”运算，最后对逻辑运算后的结果进行数学形态学膨胀处理得到最终的运动目标检测结果。

算法的步骤如下：

Step1，读入视频段中的所有帧并进行保存，记为f1，f2，f3，...，fM∈Nm*n，其中M为视频段中的总帧数，m，n为每帧图片的大小；

Step2，对于视频第k帧的运动目标检测，本文选取f1，f2，f3，...，fk+1帧的图像(k+1≤M) ，并对其进行灰度化处理；

Step3，对前k帧图像根据式（9）-（12）进行连续帧间差分运算，并进行二值化处理得到二值图像

图1 摄像头静止1上的抛洒物检测效果图

Step4，通过均值背景建模提取视频第k帧的背景，用当前帧与得到的背景模型进行差运算，并且二值化处理得到二值图像zk( )

x,y；

Step5，对阈值化后的二值图像进行逻辑“与”运算；

Step6，对最终所得到的二值图像Ak( )x,y利用数学形态学进行膨胀处理得到最终的运动目标检测结果。

5 实验结果及分析

实验在室外公路上进行，以行车记录仪为摄像头，在摄像头静止条件下拍摄公路抛洒物视频。本文采集了两组实验视频，摄像头静止1视频共有28帧，摄像头静止2视频共有122帧，视频的帧速率均为20帧/秒，每帧图片的大小为300*534。图像处理实验在普通笔记本电脑上通过MATLAB2016a仿真软件完成。

在对所得差分图像进行阈值化处理时其阈值通过实验得到。在仿真过程中发现阈值T大于0.18时，运动前景检测结果不完整；当所取阈值T小于0.18时，大部分背景像素被误检为运动前景。因此本文将阈值T取为0.18。

在仿真过程中本文在两组视频上对传统帧间差分法、均值背景减除法、混合高斯背景减除法（GMM）以及本文算法进行了比较，四种检测方法在两组视频中的检测前景效果图如图1、2所示。

通过对比四种运动目标检测算法在两组监控视频中的前景检测效果图可以发现，传统帧间差分法在两组视频上的前景检测过程中都出现了大量“空洞”而导致检测结果不完整，并且由图2中的（e）（f）可以发现，在摄像头静止2视频中当运动目标距离镜头较远时还会存在检测不到的情况；由于室外有风、光照不均等因素的影响，均值背景减除法会因为这些因素的影响而在出现误检测的情况，如图1中的（g）、（h）；混合高斯背景减除法在背景比较复杂或是光照强度较强的环境中会出现大量背景点被误检为前景点的情况，如图1中的（l）。本文算法在准确性和完整性方面略优于其他算法，但有时也会出现少量背景像素被误检为前景的情况，如图1中的（n）（o）。

6 结论

通过将连续帧间差分法与均值背景减除法相结合，避免了背景像素点对于前景检测的影响，消除了传统的帧间差分法在检测过程中存在的“空洞”问题，能够准确完整的提取运动目标。由于连续多张图像帧差求和与求平均都是加减运算，因此基本不占用CPU运算时间，不增加计算量。本文算法的不足在于当运动目标处于光照较强的环境中时会出现误检，因此后续的工作将对算法进行改进使得算法具有更优的性能。