双背景模型的快速鲁棒前景检测算法

谢维波， 刘文， 夏远祥， 李雪芬

(1. 华侨大学 计算机科学与技术学院， 福建 厦门 361021;2. 华侨大学 科学技术研究处， 福建 厦门 361021)

双背景模型的快速鲁棒前景检测算法

谢维波1， 刘文1， 夏远祥1， 李雪芬2

(1. 华侨大学 计算机科学与技术学院， 福建 厦门 361021;2. 华侨大学 科学技术研究处， 福建 厦门 361021)

针对前景检测中的光照变化问题，提出一种基于双背景模型的快速鲁棒前景检测算法.通过建立简单的快慢双背景模型，提高前景检测的效率.结合视频时间感知信息和光照补偿措施，增强算法对光照变化的鲁棒性，提高前景检测精度.在具有光照变化的公开数据集上进行测试，实验结果表明:所提出的算法不仅对光照变化有较强的鲁棒性，同时,具有极快的处理速度. 关键词： 光照鲁棒； 前景检测； 双背景模型； 视频信息； 时间感知信息

前景检测是计算机视觉中一个重要分支，其性能高度依赖于有效背景模型的建立；而背景模型受多种因素的影响，包括光照、时间、遮挡、抖动和突然静止的前景等因素[1].为了解决这些问题，研究者们近年来提出了大量的背景建模方法[2].文献[3-6]提出的混合高斯模型(GMM)、核密度估计模型、码本模型和VIBE等经典背景模型，虽然大都能够应对缓慢的光照变化，但是无法处理如开关灯、百叶窗的打开和关闭等带来的光照突变问题.文献[7-8]提出的ESI模型和MB2S模型虽然可以在一定程度上处理光照突变的影响，但是复杂度太高，需要较大的硬件资源才能达到实时应用的可能.背景模型涵盖了视频序列中很长一段时间的状态，通过一定的更新率去适应一个新的环境.快慢双背景模型是利用更新率的一快一慢两种模型建立稳定背景的方法[9]，既可以利用慢速背景模型应付临时的变化和噪音，又可以利用快速背景模型快速发现最新变化.文献[10-11]证实了双背景模型可以有效提高前景目标的检测精度.为了解决光照突变的影响达到实时应用的要求，本文建立一种简单的快慢双背景模型，并使用一定的光照补偿措施，提出一种新的前景检测算法.

1 基于双背景模型的前景检测算法

1.1 双背景模型的建立

(1)

快速背景模型采用相同的更新策略，但是控制更新率αf=kαs，其中，k为常数，取经验值10.背景模型的更新率由当前帧的视频时间感知信息决定.

(2)

1.2 视频时间感知信息

时间感知信息(timeperceptioninformation,TI)表征视频序列在时域上的复杂度，是表示视频片段时间变化次数的测量法[12].它通常高于高速运动的片段,视频序列变化越剧烈,TI值越高.视频序列中某一帧的TI值表达式为

(3)

式(3)中:Ft(x，y)表示时间上第t帧中第x行第y列的像素；STDspace表示两帧在空间上的标准差.

由于TI值能够很好地描述视频信息的变化，而背景的更新率也只有和视频信息的变化一致趋势时才能更好地描述背景.因此，取慢速背景模型的更新率αs由式(4)决定，即

(4)

式(4)中:TImax表示TI可能出现的最大值，由TI的定义式可知，对于8bit像素的图像，TImax为255.

1.3 光照补偿模型

光照突变将导致前景检测算法不同程度地把背景误测为前景或者前景误判为背景.因此，针对光照突变，需要一个合适光照补偿模型对背景进行补偿，从而让背景尽快适应当前的光照条件，减少误检.假设只考虑视频场景中光照突变的影响，不考虑相机抖动、伪装、图像丢失等情况，为了应对光照变化带来的影响，需要采用不同的背景模型更新策略.

1.3.1 光照突变的判定 快速前景可以最快反映当前帧中出现的变化，即通过快速前景中前景点与背景点的比例r判定是否发生光照突变.当r>Tr时，可以认定发生光照突变，Tr为光照突变的阈值，建议取Tr≥0.3.

当前帧与快速背景的平均亮度差定义为

当前帧与慢速背景的平均亮度差定义为

1.3.3 光照补偿策略 1) 当|It(i)-BGt-1(i)|

图1 补偿系数δ的变化曲线示例Fig.1 Example of change curve about compensation factor δ

(5)

2) 当|It(i)-BGt-1(i)|>SAIC时，可以认定为发生了较大的光照突变，此时,需要对该像素进行较大值的补偿.可以采用下式的补偿方案，即

(6)

式(6)中:DTIt表示为

(7)

式(7)中:maxt表示在发生光照突变时间序列上的最大值函数;ξ为常系数，取经验值0.4.

1.4 稳定前景提取

经过上述算法流程之后，稳定的前景图像就可以经过下式运算，获得通过快速前景图像和慢速前景图像.即

(8)

整个过程当中，用户可以不设定任何参数，全部采用提供的经验值即可，也可对极少数参数进行自定义设置，如前景阈值Ts和光照突变阈值Tr.

2 实验结果与分析

2.1 评价指标

前景检测算法的评价指标多样化，常用的指标有精确度(RP)、查全率(R)、F1评价值(F1)和帧率(SFP).SFP为算法每秒能够处理的帧数，用于评价算法的处理速度和复杂度,其他指标分别定义为

(9)

式(9)中:TP表示检测正确的前景点数；FP表示背景被误检为前景的点数；FN表示前景被误检成背景的像素点数；F1综合了精确度和查全率两种指标，具有较为全面的评价[13].

2.2 数据集与对比算法

为证明算法的有效性，将文中提出的算法分别在公开的标准前景检测数据集Wallflower和实际的监控视频数据上进行测试，并选取当前应用较为广泛和效果较好的混合高斯模型(GMM)[3]，通用视频背景提取算法(VIBE)[6]、多层背景模型(MLBGS)[14]、自适应自组织网络(LBASOM)[15]进行对比.文中算法是基于VS2013+Opencv2.4.10实现的，对比算法采用文献[2]中提供的算法库或原文作者提供的算法库实现.硬件配置为Intel i5-4590处理器，主频3.3 GHz，8 GB内存.

2.3 5种前景检测算法的对比分析

文中算法与其他4种算法在标准数据集Wallflower(分辨率为160 px×120 px)上的前景检测结果，如表1所示.表1中的视频序列可以分为4类：Bootstrap代表前景驻留的场景；Camouflag，ForegroundAperture代表存在伪装情况的视频场景；LightSwitch和TimeOfDay代表存在光照突变的场景，其中,LightSwitch是灯光突然打开的场景;TimeOfDay是一天中光照均匀变化；WavingTrees代表存在抖动背景的场景.

由表1可知：文中提出的算法在所有的视频序列上都有较好的表现，特别是在发生较大光照突变的LightSwitch序列上，其余方法模型基本失效，而文中方法仍能较好地还原前景.在TimeOfDay序列上，GMM和VIBE模型存在空洞较为严重的情况，而LBASOM则将背景中的光源检测为前景，文中算法仅次于MLBGS模型，在引入少量前景的情况下，较好地还原了前景.从这两个视频序列可以看出文中算法对光照突变有一定的抑制能力.从WavingTrees序列可以看出，文中算法只将极少的抖动背景检测成前景，说明文中算法有一定处理背景抖动的能力；不过，从Camouflag序列上看到文中算法还存在一定的不足，不能很好地处理伪装，导致前景检测的空洞.

表1 不同算法在标准数据集Wallflower上的前景检测结果Tab.1 Foreground detection results of different algorithms on Wallflower dataset

为了更好地量化文中算法的检测性能，分别给出5种算法在Wallflower数据集上的精确度RP、查全率(R)和F1评价值的对比结果，如表2所示.由于该数据集的分辨率较低，处理速度SFP对算法实际应用不具有参考价值，所以表2未给出5种算法在该数据集上的SFP值.此外，5种算法在真实视频数据的效果图和用SFP表示的处理速度结果，如表3所示.表2，3中：针对各项指标，获得最大值的用粗体表示，次大值用斜体表示.

由表2,3可知：MLBGS算法在所有算法中综合各项指标取得最好的结果.文中算法在性能指标不占很大优势，但是可以看到算法在所有序列上都有较高的精度值，说明算法误检率较低.

结合表3的数据可知：MLBGS算法和LBASOM算法的复杂度都较高，特别是MLBGS算法无法达到实时应用的条件；文中所提出的算法在分辨率为352 px×288 px的视频上处理速度(SFP)达到510.558，仅次于VIBE算法的590.303，这样的处理速度足够应对实时应用.

相对VIBE算法，文中算法在多个视频序列上取得更高的精度值.在LightSwitch序列上，结合表1的检测效果和表2的各项指标，文中算法都取得较优的表现，可以说明文中算法可以有效地处理光照突变场景.综合所有情况考虑，所提出的算法不仅可以实现快速处理，同时还能够针对各种情况特别是在光照突变情况下达到鲁棒的效果，具有一定的优势.

表2 不同算法在标准数据集Wallflower上的检测性能评价值Tab.2 Evaluation performance of different algorithms on Wallflower dataset

表3 不同算法的真实监控视频测试结果Tab.3 Test results of different algorithms on real surveillance videos

3 结束语

基于双背景模型的思想，采用简单的双背景模型建立方法，结合视频时间感知信息(TI)对视频变化有较好描述的特点，实现了背景更新率自动更新的特点.通过随机采样像素点和平均亮度差的方式，建立针对局部光照突变和全局光照突变的光照补偿模型，对发生光照突变的视频序列有较好的检测效率.由于对前景提取采用简单的阈值化导致存在无法应对前景伪装的情况，使得前景容易出现空洞和低召回率的情形，因此，解决前景伪装将是下一步需要研究的主要问题.

[1] BOUWMANS T，PORIKLI F,HOFERLIN B,etal.Background modeling and foreground detection for video surveillance[M].Boca Raton:CRC Press，2014:3-8.

[2] SOBRAL A，VACAVANT A.A comprehensive review of background subtraction algorithms evaluated with synthetic and real videos[J].Computer Vision and Image Understanding，2014，122:4-21.

[3] STAUFFER C，GRIMSON W E L.Adaptive background mixture models for real-time tracking[C]∥IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Fort Collins:IEEE Press,1999:246-252.

[4] ELGAMMAL A，HARWOOD D，DAVIS L.Non-parametric model for background subtraction[C]∥European Conference on Computer Vision.Dublin:Springer Berlin Heidelberg，2000:751-767.

[5] KIM K，CHALIDABHONGSE T H，HARWOOD D，etal.Real-time foreground-background segmentation using codebook model[J].Real-Time Imaging，2005，11(3):172-185.

[6] BARNICH O，VAN DROOGENBROECK M.ViBe: A universal background subtraction algorithm for video sequences[J].IEEE Transactions on Image Processing，2011，20(6):1709-1724.

[7] VOSTERS L，SHAN Caifeng，GRITTI T.Real-time robust background subtraction under rapidly changing illumination conditions[J].Image and Vision Computing，2012，30(12):1004-1015.

[8] SAJID H，CHEUNG S C S.Background subtraction under sudden illumination change[C]∥2014 IEEE 16th International Workshop on Multimedia Signal Processing.Jakarta:IEEE Press,2014:1-6.

[9] LI Xuli，ZHANG Chao，ZHANG Duo.Abandoned objects detection using double illumination invariant foreground masks[J].IEEE Journal of Selected Topics in Signal Processing,2010,2(4):582-596.

[10] GRUENWEDEL S，PETROVIC N I，JOVANOV L，etal.Efficient foreground detection for real-time surveillance applications[J].Electronics Letters，2013，49(18):1143-1145.

[11] MAHMOUDPOUR S，KIM M.Robust foreground detection in sudden illumination change[J].Electronics Letters，2016，52(6):441-443.

[12] 国际电联无线电通信全会.ITU-R BT.1788 建议书: 对多媒体应用中视频质量的主观评估方法[S].ITU:ITU-R 102/6 号研究课题，2007:1-13.

[13] 杨涛，李静，潘泉，等.一种基于多层背景模型的前景检测算法[J].中国图象图形学报，2008，13(7):1303-1308.

[14] YAO Jian，ODOBEZ J M.Multi-layer background subtraction based on color and texture[C]∥IEEE Conference on Computer Vision and Pattern Recognition.Minneapolis:IEEE Press，2007:1-8.

[15] MADDALENA L，PETROSINO A.A self-organizing approach to background subtraction for visual surveillance applications[J].IEEE Transactions on Image Processing，2008，17(7):1168-1177.

(责任编辑： 黄晓楠 英文审校： 吴逢铁)

Fast and Robust Foreground Detection Algorithm Based on Double Background Model

XIE Weibo1， LIU Wen1， XIA Yuanxiang1， LI Xuefen2

(1. College of Computer Science and Technology， Huaqiao University， Xiamen 361021， China；2. Science and Technology Research Department， Huaqiao University， Xiamen 361021， China)

In order to solve the problem of illumination changes in foreground detection， a fast and robust foreground detection algorithm based on double background model was proposed in this paper. The efficiency can be improved by establishing a simple double background model with fast and slow update rate； the robustness with illumination variations can be enhanced by combining with video time perception information and illumination compensation measures， and hence improving the precision of the foreground detection. Experiments were performed on several challenging sequences with illumination variations in the benchmark evaluation， and the results show that the proposed algorithm not only owns good robustness with changing of illumination， but also has very fast process speed.

illumination robust； foreground detection； double background model； video information; time perception information

10.11830/ISSN.1000-5013.201704020

2016-05-26

谢维波(1964-)，男，教授，博士，主要从事信号处理、视频分析和嵌入式系统的研究.E-mail:xwblxf@hqu.edu.cn.

国家自然科学基金资助项目(61271383)； 华侨大学研究生科研创新能力培育计划项目(1400214010)

TP 391

A

1000-5013(2017)04-0550-06