改进ViBe的运动目标检测算法

尹芳，孟迪，李骜

摘要：针对ViBe算法对光照突变不敏感以及由于背景存在大量高频扰动对象而被误检为前景的问题，在经典ViBe算法的基础上提出了改进方法。采用分离视频帧HSV空间中V分量均值作为判断光照突变的方法，由实验得到判断光照突变的阈值Δω=01作为判别条件，若光照发生突变则采用突变平稳后的视频帧作为初始帧重新建模，以此解决光照突变问题，由于算法初始建模时存在运动目标会产生“鬼影”的情况，采用连续两帧差分背景模型的方法去除“鬼影”，并提出判断扰动强弱情况的扰动强度因子概念，根据扰动强度因子强弱程度，动态的改变背景建模时匹配半径的大小。实验表明，改进ViBe算法在光照突变和背景高频扰动情况下比原算法的误检率平均降低6%左右，且能够达到实时检测的效果。

关键词：运动目标检测;背景建模;ViBe;光照突变;高频扰动

DOI：10.15938/j.jhust.2022.01.004

中图分类号： TP3914      文献标志码： A         文章编号： 1007-2683（2022）01-0023-08

Improvement Algorithm of ViBe in Moving Target Detection

YIN Fang，MENG Di，LI Ao

（School of Computer Science and Technology， Harbin University of Science and Technology， Harbin 150080， China）

Abstract：

Aiming at the problem that Visual Background Extractor（ViBe） algorithm is not sensitive to light mutation and is mistakenly detected as foreground due to a large number of highfrequency disturbed objects in the background， an improved method is proposed based on the classical ViBe algorithm. The mean value of V component in HSV space of separated video frames is used as the method to judge the light mutation， and the threshold to judge the light mutation is obtained by experiment Δω=0.1 as the discrimination condition， if the illumination changes suddenly， the video frame with stable mutation is used as the initial frame for re modeling， so as to solve the problem of illumination change. Because the moving target will produce "ghost" during the initial modeling of the algorithm， the method of two consecutive frames of differential background model is used to remove the "ghost". And， come up with a concept that can judge the degree of perturbation， so that the matching radius of background modeling is dynamically changed with it. Experiments show that the percentage of wrong classifications of the improved ViBe algorithm is about 6% lower than that of the original algorithm and can achieve the effect of realtime detection.

Keywords：moving target detection; background modeling; visual background extractor; light mutation; high frequency disturbance criterion

0引言

運动目标检测是一种将可视化信息中的兴趣运动目标检测出来的算法，用于后续的运动目标识别和跟踪。实时的目标检测常应用于特殊场景的视频监控，如行驶中车辆的检测，工厂内员工安全活动区域的检测，特殊群体异常活动的检测。与人工检测相比，弥补了人为监控要考虑的休息问题和一人无法同时监控多个视频的问题，极大地提高了异常问题被发现的可能性且减少了监控人员的工作量。传统的检测方法主要分为3种：光流法[1]，帧差法[2]和背景减法[3]。光流法是利用物体运动产生的瞬时变化而得到运动信息的方法，一般表示为物体的瞬时速度，算法检测的准确性较高，但是计算量大，不适用于实时视频的处理，且变化的光线会被误判为光流从而影响检测结果。帧差法是由于视频序列的连续性，将相邻两帧图像差分得到运动目标的方法，算法计算简单，但是只能提取目标的轮廓且检测效果依赖于选取时间间隔和阈值。背景减法主要操作是利用序列初始帧建立不包括检测目标的背景模型，用当前帧与其进行比较得到运动目标的方法[4]。相对于光流法该算法运算方便，实时性高，相对于帧差法该算法解决了目标空洞的问题。典型的背景减法算法包括：W4方法[5-6]、码本方法（codebook model）[7-8]、混合高斯法（mixture gauss）[9]、视觉背景提取[10-11]。W4方法的计算量较大，实时性差且无法消除目标阴影，文[12]结合传统W4方法和LBP模型提出了一种有效消除阴影的运动目标检测算法。码本方法则不能适应复杂的场景，文[13]提出了基于码本模型的背景差法同五帧差法相结合的运动目标检测提取算法，解决复杂背景下抗干扰能力差以及传统帧差法易出现目标空洞的问题。混合高斯法计算复杂度较大且对处理变化剧烈的场景时效果不佳。文[9]为每个像素建立多个高斯分布，每个高斯模型按权重排序，通过学习背景环境实时更新的模型，提高混合高斯分布在背景提取的有效性。针对以上目标检测中存在的问题，Barnich等于2009年在文[14]中提出视觉背景提取（visual background extractor， ViBe）方法，它是一种像素级别的基于背景模型更新的目标检测算法。主要的创新之处在于：在背景提取领域中首次使用随机策略去构建基于样本的背景估计，引入相邻像素之间的空间信息传播关系，同时提供了一种即时初始化的技术，使得算法在视频序列的第二帧开始就可以生效。2011年Barnich等又在文[15]中将ViBe方法与一些经典的运动目标检测算法进行总结与比较，最后证明了ViBe高效率的特点。由于算法不考虑视频的帧率或颜色空间等信息，也不考虑场景内容、背景本身或背景环境随时间的变化情况，这使其对光照的突变不敏感，当光照突变时无法在严重曝光情况下快速重新区分开运动目标及背景，且当背景存在高频扰动时，会将扰动划分为运动目标造成误检。

本文针对ViBe算法中因光照突变产生的无法重新快速检测到运动目标问题，提出连续帧内平均亮度变化趋势值判别方法;针对背景存在高频扰动产生的误检问题，提出扰动强度因子概念判断背景的扰动程度。首先分析连续帧的平均亮度变化趋势得到光照突变的判别条件，输入的视频流在连续帧内满足判别条件则判断为光照突变，抛弃已有的背景模型，重新获取当前像素帧进行模型的初始化，模型初始化时产生“鬼影”的问题，采用连续两帧差分背景模型的方法去除“鬼影”，同时判别是否有背景的高频扰动从而修改背景模型的匹配半径。经过实验表明改进后的方法得到了较好的检测效果。

1ViBe检测算法原理分析

ViBe算法在传统的背景减法的基础上提出了3个创新点：背景模型初始化阶段，提出一种即时初始化的技术，实现从第二帧就开始有效的背景估计;背景模型更新过程，首次引入随机选择策略，保证构成背景模型的样本值具有平滑的指数衰减周期;在后处理方面，使用快速简单的空间信息传播方法将像素值随机的分散到相邻像素之间，产生空间一致的结果。算法原理如下：

1.1背景建模和像素的分类

v（x）表示在欧式颜色空间中位置为x的像素值，背景建模时为x建立一个含有N个样本的样本集，其中用vi表示第i个背景像素值。每个背景像素x都由前一帧的N个背景样本值的集合建模：

M（x）={v1，v2，…，vn-1，vn}（1）

原算法中N的取值固定为20。

为了根据M（x）对v（x）进行分类，定义一个以v（x）为中心点半径为R的圆形区域SR（v（x）），比较M（x）集合与SR（v（x））交集的个数：

#{SR（v（x））∩{v1，v2，…，vn-1，vn}}（2）

式（2）描述了像素v（x）与集合M（x）的相似程度。对于给定的阈值min，如果结果小于阈值，则像素v（x）分类为前景，如果结果大于或等于阈值，则像素v（x）分类为背景。原算法中R的取值固定为20，min的取值固定为2。

1.2背景模型初始化

对于模型初始化使用的序列多于视频原本序列的情况，ViBe算法提出了使用视频序列的第一帧进行模型的初始化。由于单个帧中不存在时间信息，算法利用每个像素和其邻域像素具有相似的时间分布这一假设，使用像素x的空间邻域值去填充该像素的背景模型样本集合。算法实验中，在每一像素的8个相关邻域NG（x）中随机选取20个像素组成该像素的背景模型M0（x）。

M0（x）={v0（y|y∈NG（x））}（3）

1.3背景模型更新

为了使背景模型更新的过程能够适应光照的改变，并且能够处理一个场景中新目标出现的情况。算法采用一种保守的更新方法，包含3个重要的组成部分：无记忆更新策略，随机抽样方法，以及依赖空间一致性的调整机制。

无记忆更新策略主张一个像素的模型应该取自该像素近期的样本，并且允许像素模型中保留少量的旧样本来提高估计的时间相关性。在样本模型集合中，新判定为背景的像素点会随机的替代集合中的一个样本，像素模型更新后，模型中的样本在t时刻被保留的概率为（N-1）/N，那么在（t，t+dt）内被保留的的概率为

P（t，t+dt）=（（N-1）/N）（t+dt）-t（4）

P（t，t+dt）=e-ln（N/（N-1））dt（5）

该表达式与t无关，说明过去对未来没有影响，这一性质为无记忆性。

随机抽样方法延长了背景样本的预期寿命。当像素值被划分为背景时，该像素有1/φ的概率会被选中去更新自己的背景模型，通过这样减少背景更新的频率，人为地延长了背景样本的预期寿命，算法中φ的取值固定为16。

统计出像素被连续划分为前景的次数，如果达到给定的阈值，则将该像素值插入到背景模型中，由于相邻的背景像素具有相似的时间分布，像素的新背景样本同时会更新相邻像素的模型。隐藏在前景中的的背景模型将会随着邻近像素位置的背景样本不断更新，背景演变的信息在空间上得以扩散，而背景的演变仅依赖于归类为背景的样本。

2改进的ViBe算法

本文分别针对ViBe算法的光照突变不敏感及背景高频扰动问题进行了改进，以下为改进后算法的流程图。

1.2光线突变问题

ViBe算法是一种通用的前景检测方法。对于环境中光线突变的问题，算法没有相应的解决方法。图像的明亮程度是图像的颜色空间信息，该算法只讨论了随机概率下像素之间的时空关系，所以对于光线的突然改变，算法表现出性能的不足。

图像的HSV颜色空间，能够表示图像的色调、饱和度和亮度，在HSV圆锥体表示中，明度被表示为从圆锥的横截面的圆心到顶点的距离[16]，分离颜色空间中的亮度分量，求得当前帧的平均亮度作为图像中光线突变的判断依据。

图3是两组同一位置不同光照条件下的图像。图4中分别对应着图3中图像亮度直方图。当光照条件改变时，图4中图像亮度分布特征区分明显。同一位置處在较暗环境的图像，亮度分布集中于较暗的区域;同一位置处在较亮环境的图像，亮度分布

集中于较亮的区域。

改进后的算法选择用平均亮度ωi来表示第i帧图像亮度的整体分布情况。ωi计算式（6）表示如下：

ωi=∑mj=1∑nk=1vim×n×255，0≤ωi≤1（6）

归一化处理后，ω取值范围在0至1之间，取值越接近0则表示光线越暗的光照条件，越接近1则表示光线越亮的光照条件。

本算法提出当图像平均亮度突然产生变化且变化范围达到一定值时，判定为光线突变，此时抛弃突变时的背景模型，重新建模进行运动目标的捕获。图5为光线稳定时的平均亮度变化趋势，图6分别为明亮环境中突然关灯和黑暗环境下突然开灯的平均亮度变化趋势。对比可得，当光线稳定时图像平均亮度趋于稳定，波动范围不会超过01，当光线突变时图像平均亮度大幅波动，波动范围远大于01。图7是在实际环境中，在光照突然改变时，连续选取的10帧图像的平均亮度，图中显示光照的突变从开始到趋于稳定只需要经历3帧的变化。由以上数据得出，本改进算法选取连续3帧内Δω波动范围为01作为判别环境光照条件突变的判定条件。

改进后的算法过程如下：

Step1：读取第一帧temp=ω1;

Step2：不断读取视频序列计算第k帧Δωk=fabs（ωk-temp），如果k为最后一帧则结束;

Step3：如果（Δωk>01）&&（Δωk+1>01）&&（Δωk+2>01）更新temp=ωk+2，用第k+2帧重新初始化模型，回到Step2。

2.2“鬼影”的抑制

ViBe算法的背景模型由视频序列的第一帧初始化产生，如果第一帧存在运动的目标，首先会被错误分类为背景，在视频序列的后续帧中，随着运动目标的移动，原来被判别为背景的像素重新被判别为前景，从而产生“鬼影”，另一种情况就是原本静止的对象突然运动也会产生“鬼影”。基于像素的空间一致性，随着背景模型的更新，模型逐渐扩散填充空洞。但是需要一定的时间最终才能够去除“鬼影”，在缓慢的更新过程中，如果有运动目标经过“鬼影”位置，会影响后续的目标检测。

为了处理以上情况及21部分重新建模产生的“鬼影”问题，本算法采用连续两帧差分背景模型的方法加速消除“鬼影”，即：

Fk=Bk（x，y）-Mk（x，y）（7）

Fk+1=Bk+1（x，y）-Mk+1（x，y）（8）

Gk=Fk XOR Fk+1（9）

式中：B为当前帧像素;M为背景模型，第k帧与第k+1帧中对应像素值相减分别得到判断为前景的前景目标F，即前景像素值为255，背景则为0，式（9）两帧异或得到同时被判别为前景的区域，将其分类为“鬼影”，将像素更新到背景模型集合中，后续视频序列帧会不断地更新“鬼影”区域将其置为背景。该方法利用连续两帧检测到的前景像素异或结果将像素点归类为背景并更新背景模型，这样有效的加速了“鬼影”的去除。

2.3背景的高频扰动

ViBe算法能够很好地处理连续的运动，但是当背景存在如树叶抖动这种高频扰动的情况时处理效果不佳。这是由于算法采用固定的像素分类半径，并未将扰动部分与非扰动部分视频帧的更新策略区分开，所以无法很好的去除因高频扰动产生的噪声，从而造成误检。在实际应用中，如果要去除因扰动产生的大量噪声，需要增大像素与更远的周边像素的关联程度，即增大匹配半径R的值，使得像素的背景样本集合中更多的包含了被分类为背景的像素点，增加了扰动部分被分类为背景的可能性，解决了因背景扰动产生的噪声问题。但是如果仅考虑增大匹配半径，从视频的第一帧开始就固定匹配半径为更大的值，则会导致运动目标完整性缺失产生空洞[17]。

针对上述问题，要考虑如何利用像素值来判别当前环境为高频扰动。本文在原算法的基础上引入了扰动强度因子概念，由扰动强度因子来判断当前环境是否为高频扰动环境，并根据扰动强度因子来动态改变当前帧背景模型的匹配半径大小。根据高频扰动的特点，即当背景有大量的像素，频繁的在前景与背景之间切换，被认为是高频扰动，本文采用当前像素值与背景模型的差值的均值作为扰动强度因子，即：

ξi=∑|vi（x，y）-vi（Mi（x，y））|mn（10）

扰动强度因子表示了背景的闪动干扰情况。扰动强度因子ξi越大则表明背景的闪动干扰越多，此时增加背景模型的匹配半径Ri，扰动强度因子ξi越小则表明背景的闪动干扰越少，此时保持背景模型的匹配半径Ri-1，如式（11）：

Ri=Ri-1，|l|≤02

Ri-1*（1+l），|l|>02（11）

式中：k为比例因子;l为扰动强度因子变化率。

在原算法指标情况下匹配半径的选择对正确分类比（percentage of correct classification， PCC）的影響如图8所示。为保证检测结果的PCC值稳定且有实验意义。本文选择Rmax=30，Rmin=20作为R的有效浮动区间。

3实验结果与分析

本文算法利用C++和OpenCV410_2配置编程实现，测试环境为macOS 10133，CPU频率25GHz，内存为16GB 2133MHz LPDDR3。实验中初始化匹配半径R0=20，样本个数N=20，随机因子φ=16，匹配半径上限Rmax=30，下限Rmin=20，阈值min=2，光照阈值Δω=01。

31实验效果

本文选用了CDnet2014数据集[18]中的highway视频序列和overpass视频序列，highway序列在初始帧中存在运动的车辆，即后续帧中有“鬼影”产生，overpass序列背景中存在由风吹动造成的树枝摇摆，即有高频扰动现象存在。在室内拍摄一组灯光环境中，突然关灯后开灯的视频序列作为光照突变的测试内容。实验结果如图9～12所示。

由图9可见，在highway序列中分别截取了有“鬼影”存在的第340帧和第385帧进行对比，ViBe算法仍有“鬼影”存在，本改进算法已经在385帧完全去除“鬼影”。

由图10可见，在overpass序列分别截取了有高频扰动存在的第70帧、第117帧和第200帧进行对比，ViBe算法仍有高频扰动存在，本改进算法已经在第70帧扰动噪声去除效果明显，至第200帧已经几乎没有噪声存在。

由图11，在室内光照条件下拍摄的视频序列，实验所用帧数为第770帧至第950帧，其中第815帧至第842帧为关灯状态其余为正常照明状态，图10为第810帧至第850帧的光照改变过程的平均亮度趋势。ViBe算法在光照改变过程中由于曝光严重，没能快速找到运动目标进行前景与背景的区分，较原算法基础上，本改进算法在突然改变光照条件时，能够识别到运动目标，且在光照稳定之后快速去除由于曝光造成的干扰。

32性能评估

为了定量比较改进算法与原算法的性能，本文采用了正确率 （precision， P），召回率（recall， R）、错误分类比（percentage of wrong classifications， PWC）作为评价指标[19-20]，定义如下：

P=TPTP+FP，

R=TPTP+FN，

PWC=FP+FNTP+TN+FP+FN×100%（12）

式中：TP（true positive， TP）为正确检测为前景像素的个数;FP（false positive， FP）为错误检测为前景像素的个数，即原为背景被误检为前景的像素个数;TN（true negative， TN）为正确检测为背景像素的个数，FN（false negative， FN）为错误检测为背景像素的个数，即原为前景被误检为背景的像素个数;正确率P为正确判定为前景像素的个数占判定为前景像素总数的百分比;召回率R为正确判定为前景像素的个数占真正前景像素总数的百分比。式（12）说明P与R的值越高，PWC的值越低则代表算法的性能越好。

图13为在3个视频序列中ViBe算法及改进算法的P、R性能评估直方图，从图中可看出于改进算法指标较原ViBe算法更高。在图13（a）中highway序列的正确率比ViBe算法提高了一倍，其他两个序列中也分别有很明显的提高，在图13（b）中overpass序列的召回率相对于ViBe算法提高的不是很多，但其他两个序列的提高量也很明显。总体来看正确率提高的更为明显。

表1为ViBe算法及本文改进算法的PWC对比结果，PWC表示所有错误分类像素的比例，在overpass序列中PWC降低并不明显，但在highway序列中PWC明显低了近10个百分点，my_video序列中降低了12个百分点，也就是说相对于ViBe算法，本文算法有更高的抗干扰能力。

4结语

为了解决ViBe算法在光照突变和背景频繁扰动情况下对检测产生影响的问题，本文提出了一种基于ViBe算法的改进算法。通过监测视频序列中图像亮度的改变情况和程度，若判断为光照突变情况，随即抛弃现有模型重新建立背景模型，继续检测运动目标，同时加入扰动强度因子概念，判断背景扰动情况，自适应的改变匹配半径，消除背景扰动情况。测试结果表明，本文算法在适应光照突变和背景扰动情况优于原算法，检测速度保持在25±2frames/s可以满足实时监测的需求。算法在适应光照突变情况时仍有噪声存在，对于光照突变时的抗干扰能力有待提高。

参 考 文 献：

[1]ZOHRA M， MEROUANI H F， BOUCHRIKA I， et al. Investigating the Use of Motionbased Features from Optical Flow for Gait Recognition[J]. Neurocomputing， 2017， 283（2018）： 140.

[2]ZHU M， WANG H. Fast Detection of Moving Object Based on Improved FrameDifference Method[C]//2017 6th International Conference on Computer Science and Network Technology （ICCSNT）， 2017： 299.

[3]GARGI S， RAJEEV S. Salient Object Detection using Background subtraction， Gabor Filters， Objectness and Minimum Directional Backgroundness[J]. Journal of Visual Communication and Image Representation， 2019， 62： 10.

[4]PICCARDI M. Background Subtraction Techniques： a Review[C]// 2004 IEEE International Conference on Systems， Man and Cybernetics （IEEE Cat. No. 04CH37583）， 2004： 3099.

[5]HARITAOGLU I， HARWOOD D， DAVIS L S. W4： RealTime Surveillance of People and Their Activities[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2000， 22（8）： 806.

[6]SENGAR SS， MUKHOPADHYAY S. Moving Object Detection Based on Frame Difference and W4[J]. Signal Image and Video Processing， 2017， 11（7）： 1357.

[7]KIM K， CHALIDABHONGSE T H， HARWOOD D， et al. Realtime ForegroundBackground Segmentation using Codebook Model[J]. Real Time Imaging， 2005，11（3）： 167.

[8]阿依夏木·力提甫，鄢煜塵，肖进胜，等.基于混合码本与因子分析的文本独立笔迹鉴别[J].自动化学报，2021，47（9）：2276.

AYIXIAMU Litifu， YAN Yuchen， XIAO Jinsheng， et al. Textindependent Writer Identification Based on Hybrid Codebook and Factor Analysis[J]. Acta Automatica Sinica Acta Automatica Sinica， 2021，47（9）：2276.

[9]常曉夫，张文生，董维山.基于多种类视觉特征的混合高斯背景模型[J].中国图象图形学报，2011，16（5）：829.

CHANG Xiaofu， ZHANG Wensheng， DONG Weishan. Mixture of Gaussian Background Modeling Method Based on Multicategory Visual Features[J]. Journal of Image and Graphics， 2011， 16（5）： 829.

[10]刘牮，史美浩，钱闯，等.基于改进Vibe的车辆目标检测算法[J].电子测量技术，2019，42（22）：150.

LIU Jian， SHI Meihao， QIAN Chuang， et al. Vehicle Target Detetion Algorithm Based on Improved Vibe Development[J]. Electronic Measurement Technology. 2019， 42（22）： 150.

[11]BAI E， ZHAO J， WU Y. An Improved ViBeAlgorithm for Quickly Suppressing Ghosts[C]// 2020 IEEE International Conference on Advances in Electrical Engineering and Computer Applications（AEECA）， 2020： 621.

[12]孙凯，谢林柏.结合W4算法和LBP模型的运动目标检测方法[J].计算机工程与应用，2017，53（5）：187.

SUN Kai， XIE Linbo. Moving Objects Detection Method Based on Combination of Improved Local Binary Pattern and W4 Algorithm[J]. Computer Engineering and Applications， 2017， 53（5）： 187.

[13]李春敏，邬春学，熊乃学.融合五帧差分和codebook模型的运动目标检测[J].电子科技，2018，31（11）：51.

LI Chunmin， WU Chunxue， XIONG Naixue. Moving Target Detection Combining Five Frame Difference and Codebook Model[J]. Electronic Science and Technology， 2018， 31（11）： 51.

[14]OLIVIER B， MARC V D. ViBe： A Powerful Random Technique to Estimate the Background in Video Sequences[C]// 2009 IEEE International Conference on Acoustics， Speech and Signal Processing， Taipei， Taiwan， 2009： 945.

[15]OLIVIER B， MARC V D. ViBe： A Universal Background Subtraction Algorithm for Video Sequences[J].IEEE Transactions on Image Processing， 2011， 20（6）： 1709.

[16]马玲，张晓辉.HSV颜色空间的饱和度与明度关系模型[J].计算机辅助设计与图形学学报，2014，26（8）：1272.

MA Ling， ZHANG Xiaohui. Relationship Between Saturation and Brightness Value in HSV Color Space[J]. Journal of ComputerAided Design & Computer Graphics， 2014， 26（8）： 1272.

[17]刘志豪，黄俊，刘武启，等.基于改进视觉背景提取算法的前景检测[J].小型微型计算机系统，2020，41（4）：758.

LIU Zhihao， HUANG Jun， LIU Wuqi， et al. Prospect Detection Based on Improved Visual Background Extraction Algorithm [J]. Journal of Chinese Computer Systems， 2020， 41（4）： 758.

[18]WANG Y， JODOIN P M， PORIKLI F， et al. CDnet 2014： An Expanded Change Detection Benchmark Dataset[C]// 2014 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Columbus， OH， USA： IEEE， 2014： 397.

[19]朱文杰，王广龙，田杰，等.基于多特征的复杂场景运动目标检测[J].光学学报，2018，38（6）：187.

ZHU W J， WANG G L， TIAN J， et al. Detection of Moving Targets in Complex Scenes based on Multiple Features[J]. Acta Optica Sinica， 2018， 38（6）： 187.

[20]GOYETTE N， JODOIN P M， PORIKLI F， et al. Changedetection.net： A New Change Detection Benchmark Dataset[C]// 2012 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. Providence， RI， USA： IEEE， 2012： 5.

（编辑：温泽宇）