基于背景光流分析的视频场景变动检测方法

罗东华，区炳煜

（广东方纬科技有限公司，广州 510006）

基于背景光流分析的视频场景变动检测方法

罗东华，区炳煜

（广东方纬科技有限公司，广州 510006）

视频场景变动检测是监控视频智能分析的基础，光流法是常用方法之一，但现有方法容易由于前景目标的运动而误检。针对该问题，提出一种基于背景光流分析的视频场景变动检测方法。该方法首先将图像划分为背景和前景目标两部分，然后通过计算背景部分光流的像素占比以及分析其分布的均匀性来判断视频场景是否发生变动。实验结果表明，该方法简单实用，在实现对视频场景变动检测的同时能够避免前景运动目标导致的误检。

视频场景变动；背景建模；光流法

0 引言

当今，城市不断快速发展，交通道路基础设施不断发展和完善，我国安装了大量监控摄像机，为治安和交通管理提供了大量的监控视频资源，但是目前公安和交通管理部门通常采用的监控方式是人工巡检和监视，需要耗费大量的人力，还会由于人会的视觉疲劳而降低工作效率，同时监控视频资源也得不到有效的利用。随着科技的发展，视频智能分析技术广泛应用于各个领域中，例如平安城市、智能交通、工业自动化等。然而，视频智能分析技术的应用对象通常是专用视频，即视频的场景必须是固定的；监控视频经常会由于人工操作而发生视频场景变动，无法满足要求。因此，如果要将智能视频分析技术应用于监控视频，提高监控视频的资源利用率，必须首先解决视频场景的变动检测问题。

对视频图像光流场进行分析是检测摄像机运动即视频场景变动的常用方法，包括：①利用支持向量机对摄像机运动分类[1]；②基于运动矢量的摄像机运动定性分类[2]；③利用运动模型估计方法[3-4]；④迭代最小二乘法检测摄像机运动[5]。⑤基于光流方向统计检测摄像机运动[6]；但是以上方法都具有一个局限性：当视频场景中存在前景运动物体时，对视频场景变动的检测容易产生误检。因此，本文对该问题进行了研究，提出了一种基于背景光流分析的视频场景变动检测方法。

1 算法分析

1.1 基本思想

当视频场景发生变动时，图像背景区域会产生一定数量的有效光流，而且这些有效光流在背景区域中是均匀分布的。因此，本算法的基本思想就是判断当前视频图像是否满足这两个特征，如果同时满足则认为视频场景发生了变动，否则认为视频场景没有发生变动。算法的主要流程图如图1所示。

1.2 光流检测

光流是指图像亮度模式的表观运动，是实际运动场的一种近似，通过光流计算，可以获取对象的运动信息。目前图像处理中常用的光流计算方法有Horn、Lucas和Nagel等。由于本文处理的是实时监控视频，因此选择实时性和精度均较高的Lucas-Kanade金字塔算法对图像光流进行计算和检测。该算法可以分为两步：第一，将视频序列中待插值的前后两帧图像I，J分别表示成具有LM层的金字塔结构{IL}L=0，1，…，LM及{JL}L=0，1，…，LM；第二，在I，J的金字塔各个对应层上依次进行LK光流迭代计算，最终在最底层I0，J0上得到运动矢量，即光流。

图1 算法流程图

1.3 背景标记

为了对背景区域的光流进行分析，首先必须标记背景：对连续的250帧视频图像进行光流检测，把光流强度大于设定阈值的光流视为前景目标产生的光流，并对光流位置进行标记和累计，250帧之后对图像进行取反操作，就可得到标记后的背景，如图2a中的白色区域所示。图2b为标记后的背景在原图像中的位置。背景标记的流程如图3所示。

图3 背景标记流程图

1.4 背景有效光流占比计算

当视频场景不变的时候，图像背景部分产生的光流很少，见图4a；相反，当视频场景发生变动时，图像背景部分就会产生较多的光流，见图4b。因此，可以统计图像背景部分的有效光流数量，并计算其占背景部分总像素数量的比例p，根据该比例是否超过设定阈值T1来判断当前视频场景是否可能发生了变动。

图4 视频场景不变与变动时的光流场对比

1.5 背景有效光流分布均匀性判断

图5 场景不变与变动时的光流平均质心对比

图6 部分实验过程截图

当视频场景不变的时候，图像背景部分产生的光流通常只集中在一两个地方，分布很不均匀，见图4a；相反，当视频场景发生变动时，图像背景部分产生的光流是比较均匀地分布在背景区域中的，见图4b。因此，可以根据背景区域光流的分布是否均匀来判断当前视频场景是否可能发生了变动。具体做法如下：首先，计算得到背景区域所有像素的平均质心A（x0，y0）（如图5a中的绿色点所示）；然后，计算得到背景区域所有具有有效光流像素的平均质心B（x1，y1）（如图5b和图5c中的蓝色点所示）；最后，计算A和B两点之间的距离d，若d小于阈值T2则认为光流是均匀分布的，视频场景可能发生了变动，反之，则认为光流分布不均匀，视频场景没有发生变动。

2 实验结果

为了证明该方法的有效性，选取了一段26分钟的道路监控视频进行实验，部分实验过程截图如图6所示。其中，图6a、图6a、图6a为三次场景不变时的视频截图，图6d、图6e、图6f为三次场景变动时的视频截图；截图中的绿色点为背景平均质心点，蓝色点为光流平均质心点。

图6对应的实验结果如表1所示。

表1中，p为背景中光流数量与背景部分总像素数量的比值，d为背景光流平均质心与背景平均质心之间的距离，T1和T2为设定的经验阈值。

表1 图6对应的实验结果

从表中可以看出，图片a、b、c的背景光流数量与背景总像素数量比值p均小于阈值T1（5%），而背景光流平均质心与背景平均质心之间的距离d均大于阈值T2（200），因而判别结果均为视频场景不变，与图片实际情况一致；图片d、e、f的背景光流数量与背景总像素数量比值p均大于阈值T1（5%），而背景光流平均质心与背景平均质心之间的距离d均小于阈值T2（200），因而判别结果均为视频场景变动，也与图片实际情况一致。

3 结语

视频场景变动检测是监控视频智能分析的基础。本文提出了一种基于背景建模及光流特征分析的视频场景变动检测方法，实验结果证明，该方法简单有效，同时可以避免由于存在前景运动目标而导致的漏检或误检问题。

[1]耿玉亮，须德.一种鲁棒的摄像机运动分类算法[J].电子学报，2006，34（7）：1342-1376.

[2]朱兴全，罗迒哉，薛向阳，吴立德.基于运动矢量的摄像机运动定性分类方法[J].计算机研究与发展，2001，8（4）：495-501.

[3]赵亚湘，刘少强，樊晓平.结合运动矢量和像素递归的全局运动估计方法[J].中国图象图形学报，2012，17（2）：191-196.

[4]Nikitidis S，Zafeiriou S，Pitas I.Camera Motion Estimation Using a Novel Online Vector Field Model in Particle Filters[J].IEEE Transactions on Circuits and Systems for Video Technology，2008，18（8）：1028-1039.

[5]许淑平.视像中的摄像机运动检测[J].计算机技术与发展，2007，17（7）：1-3.

[6]赵力萱，罗东华，赵建华，彭金伟，何骥.基于光流信息的监控视频场景变动检测与判别[J].广东公安科技，2013，21（4）：38-41.

[7]M.Hu.Visual Pattern Recognition by Moment Invariants.IRE Transactions on Information Theory 8（1962）：179-187.

Video Scene Change Detection Based on Background Optical Flow Analysis

LUO Dong-hua，OU Bing-yu

（Guangdong Fundway Technology Co.，Ltd.，Guangzhou510006）

Optical flow method is one of the commonly used methods for video scene change detection，which is the basis of intelligent analysis of surveillance video.However，the existing optical flow methods are easy to cause false detection due to the movement of foreground objects.Aiming at this problem，proposes a method of video scene change detection based on background optical flow analysis.Firstly,the image is divided into two parts:background and foreground,and then the video scene change is judged by calculating the proportion of the pixels with optical flows in the background and analyzing the distribution uniformity of the background optical flows.The experimental results show that the method is simple and practical,and it can detect video scene change without false detection caused by the moving of foreground objects.

Video Scene Change;Background Modeling;Optical Flow Method

1007-1423（2017）11-0070-04

10.3969/j.issn.1007-1423.2017.11.014

罗东华（1979-），男，广东湛江人，博士，研究方向为视频交通流信息采集

2017-02-09

2017-04-06

广东省科技计划项目（No.2013B090200020）、广东省科技计划项目（No.2015B010110005）

区炳煜（1990-），男，广东广州人，硕士，工程师，研究方向为视频交通流信息采集