改进的ViBe算法及在复杂背景下的应用

肖义涵，赵群飞

改进的ViBe算法及在复杂背景下的应用

肖义涵，赵群飞

前景分割取作为运动检测和对象识别的预处理程序，在基于视频序列的应用中起到重要的作用。基于视觉背景提取子提出了一种在彩色空间下的改进型前景分割算法。视觉背景提取子在当前背景提取算法中具有最高的处理效率，但在复杂背景和人物前景面积较大等情况下提取效果会明显下降。提出了一种新的彩色空间下的像素距离模型，并改进了像素信息的传播更新机制。实验表明在并未牺牲计算效率的前提下，算法在复杂背景的环境中获得了很好的效果，对光照干扰和动态背景纹理都具有良好的鲁棒性。

ViBe；前景分割；背景提取；视频处理

0 引言

作为视频处理中的重要组成部分，前景检测一直是计算机视觉的研究热点。在现在的前景检测算法中，背景差分型方法有着相对较好的噪声抑制能力和较低的计算复杂度，因此成为实际应用中前景检测的首选，但如何提高背景模型的有效更新效率是该法的难点，因而围绕背景差分法的研究主要集中于背景模型的选择和更新机制的设计上。

混合高斯模型Gaussian Mixture Model (GMM)[1]是应用最广泛的背景模型，GMM通过对每个像素建立多个高斯模型（一般3到5个）来计算当前像素和背景的隶属概率。但是混合高斯模型的计算复杂度较高，而且并未考虑前景和背景的区分程度，对于每个像素的更新速度是一样的，导致在很多情况下，如光照变化，前景停留或背景移出等都会出现持续的大量误分割。Kyungnam Kim等人提出了码本算法(Codebook)[2]，通过长时间的采样对每个像素不同值的出现频率进行统计，以此区分背景和前景，同时对于一些动态的环境干扰具有一定的抑制能力，但是其计算开销较大，实现复杂。Hanzi Wang等人提出了样本一致性建模算法(SACON)[3]，通过保存一段时间内的图像序列为样本，计算当前帧每个像素与样本集的差异大小来判断是否属于背景，计算效率有了较大地提高。Lucia Maddalena等人在基于自组织人工神经网络的基础上提出一种新的背景建模算法SOBS[4]，将背景中的一个像素映射到模型的多个位置，并采用了像素邻域空间相关的更新方式。该算法利用了像素的空间信息，对之后的算法设计具有很好的启发性。

视觉背景提取子Visual Background Extractor (ViBe)[5]由Oliver Barnich等人于2009年提出，和SOBS一样利用了周围领域像素的信息，并建立了像素信息的传播机制。其结构简洁，计算效率非常高，不需要进行先验视频帧训练，并能快速有效地抑制虚影(ghost)、照相机晃动对前景检测造成的影响，因此具有较好的检测性能[6]。在原作的框架中作者并未讨论如何进行颜色距离的计算，仅采样了简单的欧式距离。目前大多数文献的实现均使用像素的灰度特征，虽然计算方便快速但对于复杂背景的检测结果较差，当运动前景的面积较大时，背景的纹理容易“渗透”到前景中造成前景内部出现大量误分割区域。

如图1所示：

图1 背景纹理渗透

灰度下的前景分割中出现了大量的来自背景的纹理，形成了破坏前景连通域的空洞。当背景较为复杂时，这种问题会变得非常明显。

1 背景模型结构

在进行前景分割之前，我们对每个像素用 N个样本描述该像素的背景模型，表示该像素的 N个状态。算法的主要部分包括模型初始化、前景检测以及模型更新。

在第一帧中，从当前像素的 8邻域中随机多次选取 N个像素值，存放到对应背景模型的 N个样本中，即仅用第一帧对模型进行初始化，因此从第二帧开始即可以进行前景提取，图2展示了输入像素和模型样本的比较过程，如图2所示：

图2 模型像素值比较[5]

v(x)为输入帧的的像素信息，点vi表示了背景模型的相同位置所中储存的像素样本信息，若样本和v(x)的距离小于半径 R则认为其匹配，通过计算匹配总数来判断输入像素是否属于背景。

2 像素距离计算

灰度值为常用的比较像素之间差异的变量，一般像素的灰度距离为公式（1）：

如前文所述，灰度距离只使用了单一的色彩信息，在背景较为复杂的情况下并不适用，因此一种较好的方法为采用RGB三颜色通道的欧式距离为公式（2）：

上式中3个通道对于颜色距离的区分贡献是一样的，即认为RGB空间是一个均匀的颜色空间，但显然RGB空间并不满足这一条件。在此基础上，文献[7-8]等采用了带权重的距离为公式（3）：

实验证明这种方法并不具有普适性，权重的选择和输入视频有很大的关系，而且RGB的颜色分量并不是完全独立的，因此我们采用了基于颜色特征向量的计算方法为公式（4）：

投影 P为特征向量夹角和输入向量模值的乘积为公式（6）：

最后像素的距离为公式（7）：

然后我们就可以通过像素距离建立输入像素和背景样本之间的比较标准。由于人眼对于亮度的差异是较为敏感的，当对象和背景的亮度有较大的差异时，很容易能够将其从背景中分离开，所以我们从像素的亮度差异和颜色差异两个方面综合考量为公式（8）（9）：

公式(8)为像素的亮度差值。公式(9)给出了像素匹配判断的条件，即当亮度差值小于阈值且颜色距离也小于阈值时，认为两个像素匹配。当背景模型与输入像素匹配的个数Nm(xi)超过设定的阈值Tm时即认为该像素是背景，否则为前景，如公式（10）：

3 模型更新

背景中的每个像素会按照一定的概率向领域传播，这样可以保持背景模型充分利用像素的空间信息，每个像素点的背景模型都由其周围像素和其本身共同构成。当输入的像素点被判断为背景后，有一定的概率φ更新当前的背景模型，同时也有概率ρ更新周围的领域模型，更新时从输入像素对应位置的模型样本中随机选择一个替换为输入像素。假设每个背景像素点有N个样本，这样在经过dt次更新后，一个样本值继续保留在模型中的可能性以指数形式衰减，保证了整个模型能随时间抛弃无效陈旧的样本[5]为公式（11）：

同时对于前景我们也要对其进行处理，这样才能把长时间停留的前景逐步融入背景，或者消除由于背景移出导致的虚影。一些算法通过对前景进行形态学操作或者连通性分析来保证前景的完整[3][9]，在这里我们使用了累积权重 w(xi)和近似边缘检测的方法来达到前景到背景的溶解和前景完整性的提高。

若一个像素点被判断为前景，并且在上一次判断中也为前景，则其对应的累积权重 w(xi)增大，当超过设定的门限Tcon后认为其可以用于更新背景模型为公式（12）：

然后我们还需要计算其当前领域像素有多少也被判断为前景为公式（13）：

一个像素点四周共有8个领域像素，当M(xi)＜5时开始以概率φ更新背景模型。这样就能保证前景不会太快地融解到背景中，同时融解过程从边缘部分开始，避免在前景实体内部产生过多的融解空洞。

4 实验结果及分析

实验中每个像素点的背景样本数为20，Tm取3，Tcon取 50，亮度距离阈值 Tbright取 30，颜色距离阈值 Tcolor取15，模型更新概率φ为1/16，领域更新概率ρ也取1/16。实验在VS2010，IntelCore X920 2.0GHz，8G内存平台上进行，这里给出三组实验结果。

4.1 实验一

如图3所示：

图3 实验一前景分割结果

测试视频为室内环境，无明显的光照变化，人物从右侧进入短暂停留后由左侧离开，视频分辨率为320*240，带权重的RGB距离计算采用文献[8]的参数。

如表1所示：

表1.实验一统计表

从实验结果可以看到本文算法对于环境的噪点干扰有很好的抑制性，再不经过任何后处理的情况下人物分割较为准确完整，错误分割率低。由于需要进行RGB-YCrCb空间的转换，计算耗时略高于对照组，但仍然满足了实时要求。

4.2 实验二

视频本身背景无变化，人物从门外走进房间后光照开始变化。实验结果展示了从第195帧起光照出现较大变换的分割结果，视频分辨率为336*224，如图4所示：

图4 实验二前景分割结果

如表2所示：

表2.实验二统计表

当环境光照出现较大变化时，可以明显看到本文算法很好地抑制了光照变化带来的影响，背景部分仍然十分稳定，而原始的ViBe算法出现了大量的误分割。

4.3 实验三

仍然使用实验二中的视频进行测试，人物停留了 200帧左右的时间，主要考察当前景中的人物停留较长时间对背景模型更新和分割效果的影响，如图5所示：

图5 实验二前景分割结果

可以看到随着模型的不断更新，原始的ViBe算法把人物前景融解到了背景当中，虽然画面上的其他噪点也被更新抑制，但是人物的轮廓破损，不利于接来下其他算法的处理。而本文算法不仅很好地把光照等造成的噪点更新滤除，也很好地保留了前景区域的完整。

5 总结

本文在ViBe的的算法基础之上上，采用了YCrCb空间下的颜色色距离模型，提出出了结合亮度和和颜色两种信息的颜色距离计算算方法。实验表明明本文算法取得得了很好的分割效果，有效解决决了灰度模型中容易产生的背景景纹理渗透问题，同时对于光照照变化等动态干扰有较好的抑制制效果。通过结合累积权重和近近似的边缘判断方法，使得前景景的区域连通性得到了保留，为后后续处理提供了很好的条件。

本文算法的实时性较好，如果能预先得到YCrCb下的视频频则不需要进行转换处理，时间可以进一步提高。在今后的研研究当中，将重点点解决如何使得因为融解到背景中的丢失前景景被迅速检测出来，即抑制当前景由长时间静止变为运动后造造成的影响。

参考考文献

[1]Stauffer C, Grrimson W E L.Adaptive backkground mixture models for real-time traacking[C]//Compputer Vision and Pattern RRecognition, 19999. IEEE Compputer Society Conference onn. IEEE, 1999, 22.

[2]Kim K, Chaalidabhongse T H, Harwood D, et al.Real-time forreground–backgground segmentation using codebook moodel[J]. Real-timme imaging, 22005, 11(3):172-185.

[3]Wang H, Suterr D. A consensuus-based methodd for tracking:Modelling backgroundd scenario andforeground apppearance[J]]. Pattern Recoggnition, 2007, 400(3): 1091-1105.

[4] Maddaalena L, Petrosinno A. A self-orgganizing approacch to backgrround subtractioon for visual surveillance appplications[JJ]. Image Processsing, IEEE Traansactions on, 22008,17(7):1168-1177.

[5] Barnich O, Van Drooogenbroeck M.ViBe: A univversal backgrround subtractioon algorithm forvideo sequencees[J].ImageProcessing, IEEEE Transactionns on, 2011, 20(6):1709-11724.

[6] Brutzeer S, HoferlinB, Heidemannn G. Evaluationn of backgrround subtraction techniquesfor video surrveillance[CC]//ComputerVision and PPattern Recognnition(CVPRR), 2011 IEEEE Conferenceon. IEEE, 22011:1937-11944.

[7] Van DDroogenbroeck MM, Paquot O. BBackground subbtraction:experimentsand immprovementsfor ViBe[CC]//Computer VVision and PPattern Recognnition Workshhops (CVPRWW), 2012 IEEEComputer Society Conferrence on. IEEE,2012: 32-37.

[8] 杨振亚亚, 王勇, 杨振东东, 等. RGB 颜颜色空间的矢量量-角度距离离色差公式[J].. 计算机工程与应用, 2010(6):154-1556.

[9] 李贵俊俊, 刘正熙, 游志志胜, 等. 一种种基于色差和彩色归一化的的车身颜色识别算法[J]. 计算机机应用, 2004, 24(9):47-49.

(收稿稿日期：2014.022.20)

Improved ViBe and the Application for Segmentation of Complex Background

Xiao Yihan1,Zhao Qunfei2
（1. School of Electronic Information and Electrical Engineering, Shanghai Jiaotong University, Shanghai200240, China;2. School of Electronic Information and Electrical Engineering, Shanghai Jiaotong University, Shanghai200240,China）

As a pre-process of motion detection and object recognition, foreground segmentation is crucial for applications with video sequences. An advanced foreground-segmentation algorithm is put forward as a modification of visual background extractor. The original algorithm enjoys high-level of efficiency but suffers from miss segmentation under the circumstance of complex background and relatively large area of foreground. We improve the background model of visual background extractor from single gray-scale to color space and modify the pixel propagation process. The experiment results show that the proposed algorithm works well in environment of mazy background with large foreground at shallow angle, and has robust resistance to dynamic background texture and variation of brightness.

ViBe; Foreground Segmentation; Background Subtraction; Video Processing

TP311

：A

1007-757X(2014)02-0053-03

肖义涵（1988-），男，上海交通大学自动化系，硕士研究生，研究方向：人机交互，模式识别和图像处理，上海，200240

赵群飞（1960-），男，上海交通大学自动化系，教授，博士生导师，研究方向：智能机电控制系统设计理论与方法、视觉伺服与工业测控系统、数码图像处理技术，上海，200240