一种运动目标局部阴影抑制补偿算法研究

戴璐平 熊俊俏 刘海英 周洪波

摘 要： 提出一种将背景减除法与滑窗内像素对相结合对运动目标进行阴影抑制的改进方法。由背景减除法得到当前视频帧序列的运动前景掩模，再设定一个滑窗对滑窗内具有相同纹理值的像素对数目与一定的阈值进行比较，分割出目标和阴影像素。实验结果表明该方法能够有效地检测出运动目标和抑制阴影。分析补偿算法的实时性，由补偿算法增加的计算量与阴影区域的大小成比例。当阴影区域面积较小时，计算机对数据处理的复杂度增加10%左右；当阴影区域面积较大时，增加量不超过1倍。实验结果表明，虽然改进后的算法增加了一定的运算量，但仍能够满足实时处理的需要。

关键词： 背景减除法； 局部阴影抑制； 滑动窗口； 二值化； 数据处理复杂度； 补偿算法

中图分类号： TN911.73?34； TP391 文献标识码： A 文章编号： 1004?373X（2018）15?0043?04

Study on partial shadow suppression compensation algorithm for moving target

DAI Luping1， XIONG Junqiao1， LIU Haiying1， 2， ZHOU Hongbo1， 2

（1. School of Electrical and Information Engineering， Wuhan Institute of Technology， Wuhan 430205， China；

2. State Key Laboratory of Information Engineering in Surveying， Mapping and Remote Sensing， Wuhan University， Wuhan 430079， China）

Abstract： An improved shadow suppression method for moving target is proposed， in which the background subtraction method and pixel pair within sliding window are combined. The background subtraction method is used to obtain the moving foreground mask of the current video frame sequence. A sliding window is set， in which the number of the pixel pairs with same texture value and a certain threshold are compared to segment the target and shadow pixels. The experimental results show that the method can effectively detect the moving targets and suppression shadow. The real?time performance of the compensation algorithm is analyzed to obtain that the calculation amount increased by the compensation algorithm is proportional to the size of the shadow area. When the shadow area becomes small， the data processing complexity treated by computer is increased by about 10%. When the size of the shadow area becomes large， the calculation amount is increased by less than 100%. The experimental result indicates that although the improved algorithm adds a certain amount of computation， but still can meet the needs of real?time processing.

Keywords： background subtraction method； partial shadow suppression； sliding window； binarization； data processing complexity； compensation algorithm

0 引 言

运动目标阴影检测是视频流物体精确检测中的关键技术。视频流中运动目标的检测效果直接影响运动跟踪、运动特征分析、运动目标分类等后续操作的精度。比较常见的检测方法有帧间差分法、光流法、背景减除法。帧间差分法的基本工作原理是在图像序列相邻两帧或三帧间采用基于像素的时间差分，通过闭值化提取出图像中的运动区域，其优点是计算相对简单，但目标获取时机的随机性太强，并且对运动目标的速度有较高要求；光流法的主要任务就是计算光流场，通过计算相对运动便可以估计出目标的运动状态，但运算繁琐、耗时较大，因此实时性不强；背景减除法是现在运动目标阴影检测的最常用方法[1]。

目前已有很多文献对用背景减除法分割时背景重建进行研究[2?3]。本文算法基于当环境变化造成运动阴影的灰度值增加，使得抑制结果出现误判的现象提出的一种结合图像边缘信息的阴影抑制补偿方法，以进一步提高阴影抑制的性能。其他阴影抑制方法也存在类似问题[4?5]，因此，本文所提出的改进思路对于改进其他运动阴影抑制算法也具有借鉴意义。

1 基于背景减除法的阴影抑制算法

1.1 基于背景减除法的阴影抑制

混合高斯模型的背景减除法的基本思想是利用背景的参数模型来近似背景图像的像素值，将当前帧与背景图像进行差分比较，实现对运动区域的检测。其中区别较大的像素区域被认为是运动区域，而区别较小的像素区域被认为是背景区域，经过阈值分割处理以及二值化后得到的运动前景掩模给出运动目标的位置、大小、形状等信息。背景减除法的优点是操作简单、计算量较小；缺点就是环境的噪声、相似的运动行为、场景自身的复杂性等易对检测过程造成干扰。实验发现，当由于阴影的出现使得背景亮度的改变过大且超过一定阈值时，阴影抑制结果中包含有明显的阴影边框，如图1所示。

由图1d）可以看出，阴影抑制结果中包含有明显的边框[6?8]。

1.2 阴影边框产生的原因

采用局部二值模式（Local Binary Patterns，LBP）描述纹理。LBP可以对灰度图像中局部邻近区域的纹理进行度量和提取，并且具有参数少、运算效率高、占用资源少等特点，这使得它可以对图像进行实时分析[9?10]。

考虑图像阴影区域内以某个像素为中心像素[gsc]及其等距离的[N]个邻域像素[gs0，gs1，gs2，…，gsN-1]，如图2所示。背景区域中对应位置的像素分别记为[gbc，gb0，gb1，…，gbN-1]。像素[gsc]的局部二元图值为[LBPsN，R=][n=0N-1sM（gsn-gsc）2n]，背景区域中对应像素[gbc]的局部二元图值为[LBPbN，R=][n=0N-1s（gbn-gbc）2n]。考虑背景区域中的像素[gbc]和某个邻域像素[gbr，r=0，1，2，…，N-1]及其在阴影区域中的对应像素[gsc]和[gsr]，不妨设：

图2中深色圆角矩形为阴影区域，[gsc]为位于阴影区域边缘上的一个像素，[gs0，gs1，gs2，…，gsN-1]为位于以[gsc]为中心的虚线圆圈上的N个邻域像素。对于中心像素及其邻域像素均在阴影区域范围内的情形，由于像素的灰度级同步发生变化，阴影覆盖后两像素灰度改变量的差值接近于零，式（6）很容易满足，因而一般不会发生误判。当中心像素处于阴影区域边缘或者附近时，由于部分邻域像素在阴影区域外，其灰度级没有同步变化，如果阴影较浅，阴影覆盖后两像素灰度改变量的差值仍在式（6）控制的范围内，仍能检测出阴影像素，即浅阴影边缘不会被误判为目标像素；但是当阴影暗到一定程度，使得阴影边缘像素与处于阴影区域外的对应邻域像素灰度改变值的差值超出式（6）控制的范围时，则对应的阴影像素就会被误判为前景像素，不可避免地导致运动目标检测结果中出现如图1所示的阴影边框，因此需要对此进行抑制。

2 结合边缘信息的阴影抑制补偿算法

补偿算法主要体现在对图像中边缘像素的判断上。先设置一个滑动窗口，由于运动目标的阴影是其遮挡光线投射的结果，在局部范围内具有连续分布特征，所以需要先判断滑窗内像素是否在边缘，若不在边缘，用原算法进行像素比对，相等则为阴影，不相等则为运动目标。假如滑窗内像素判断为边缘像素，则统计滑窗内前景像素和背景像素相等的像素数目是否大于设定阈值，大于则判定滑窗内像素为阴影；否则，为目标。

滑窗的大小也必须取一个合适值。滑窗太大，容易将运动目标的棱角处误判为阴影；滑窗太小则容易导致阴影边缘像素被漏判。以5×5滑窗为例，由于滑窗中心是阴影点，因此暗阴影在滑窗内占据最少像素的可能分布就是仅有一个阴影像素位于滑窗中心。此种情况下，一般来说，阴影像素本身及其周边8个像素的前景像素与背景像素的二元值一般都不相等。因此，当滑窗中心滑动到阴影边缘时，滑窗内二元值不等的像素数量一般不会少于9。由此可见，滑窗尺寸不宜小于或等于3×3；滑窗尺寸也不宜取得太大，否则容易将目标的尖角部分误判成阴影，并且滑窗越大，计算量也越大。综合各方面因素考虑，滑窗的大小一般取5×5或7×7。

3 实验结果及实时性分析

3.1 实验结果

实验数据处理在一台配置为P4 3.0 GHz处理器，内存768 MB，Windows XP SP3操作系统的PC机上进行。算法则基于OpenCV计算机视觉库1.0版，在VC++ 6.0集成开发环境下用C语言编程实现。针对摄像机固定的情况，首先采用混合高斯分布进行背景建模，基于背景消除算法分割出运动目标，然后分别利用改进前后的算法对分割结果中的阴影进行抑制。采用LBP8，1计算局部二元纹理值，通过Sobel算子提取算法中用到的图像边缘。消除噪声影响的阈值[tp=8]；滑窗大小为7×7，与像素对数目比较的阈值设定为20。对常用的4个用于阴影检测的视频序列[1]：highwayI，highwayII，campus，laboratory分别进行运动目标分割和阴影抑制，对改进前后的算法性能进行分析。阴影抑制补偿算法的抑制效果见图3。

将图3与图1相比较可以看出，经过结合边缘信息的补偿算法，运动目标阴影边框得到了有效的抑制。

3.2 实时性分析

表1列出了改進前和改进后的算法对4个标准视频进行阴影抑制的平均每帧处理时间。时间的测量使用OpenCV提供的cvGetTickCount（）和cvGetTickFrequency（）两个库函数。前一个函数返回依赖于平台时间开始的处理器ticks的数目，后一个函数则返回每个微秒的ticks数目。通过在一段代码执行前后各执行一次cvGetTickCount（）函数，并用后一次的返回值减去前一次的，再除以每微秒的ticks数目就能得到该段代码的实际执行时间。对于特定的处理器，每微秒的ticks数目总是固定的，在本实验中，每微秒的ticks数目为3 051。虽然精确的帧处理时间除了依赖于算法本身（本实验中所用的算法并未做专业优化），还依赖于计算机硬件、操作系统软件等因素，但表1中的数据能够在一定程度上验证基于局部二元图的阴影抑制算法的实时性能。文献[10]中给出的基于Gabor纹理的阴影抑制算法虽然误判点比较少，但是在特定硬件上处理1帧的平均时间大约是几百毫秒，是表1中平均帧处理时间的若干倍。由此可见，改进前和改进后的算法相对于其他算法而言，具有较好的实时性能。

为了便于将改进前和改进后的算法平均帧处理时间做对比，表1给出了改进后的算法平均每帧的处理时间相对于改进前增加的百分比。从表1中可以看出，改进后的算法平均帧处理时间比改进前的算法普遍有增加，说明改进后的算法比改进前要费时，这是因为改进后的算法需要对很多滑窗进行统计。一般说来，图像的纹理越复杂，阴影覆盖的区域越大，提取的图像边缘信息就越丰富，导致改进后算法增加的计算量就会越多。这种情况正是阴影抑制最困难的情形。从这个意义上看，这种计算量的增加保持了较高的效率，是值得的。同时，Sobel算子运算简单、规则，容易通过并行处理进行加速，所以经过优化实现后，实际增加的计算时间不会很多，不会影响系统的实时性。

4 结 论

本文针对摄像机固定情形，基于混合高斯背景减除法的运动前景分割结果，给出一个结合图像边缘信息的阴影抑制补偿方法。该方法克服了改进前的算法不能有效抑制暗阴影的缺陷，同时改进后算法增加的计算量与阴影范围的大小成比例，计算效率高，保持了原算法实时性强的优点。

参考文献

[1] CHALIDABHONGSE T H， KIM K， HARWOOD D， et al. A perturbation method for evaluating background subtraction algorithms [C]// 2003 Joint IEEE International Workshop on Visual Surveillance and Performance Evaluation of Tracking and Surveillance. France： IEEE， 2003： 11?12.

[2] ZHAO Mingying， ZHAO Jun. A novel method for moving object detection in intelligence video surveillance system [C]// Proceedings of 2016 IEEE International Conference on Computational Intelligence and Security. Guangzhou， China： IEEE， 2016： 1797?1800.

[3] STAUFFER C， GRIMSON W. Learning patterns of activity using real?time tracking [J]. IEEE transactions on pattern analysis and machine intelligence， 2000， 22（8）： 747?757.

[4] 路红，费树岷，郑建勇，等.基于背景重构和阴影消除的运动目标分割[J].中国图象图形学报，2009，14（10）：2023?2028.

LU Hong， FEI Shumin， ZHENG Jianyong， et al. Moving object segmentation based on background reconstruction and shadow elimination [J]. China image and graphics， 2009， 14（10）： 2023?2028.

[5] ELGUEBALY T， BOUGUILA N. Background subtraction using finite mixtures of asymmetric Gaussian distributions and shadow detection [J]. Machine vision and applications， 2014， 25（5）： 1145?1162

[6] HEIKKILA M P M. A texture?based method for modeling the background and detecting moving objects [J]. IEEE transactions on pattern analysis and machine intelligence， 2006， 28（4）： 657?662.

[7] 张玲，程义民，葛仕明.基于纹理的运动阴影检测方法[J].光电工程，2008，35（1）：80?84.

ZHANG Ling， CHENG Yimin， GE Shiming. Shadow detection method based on texture [J]. Optical engineering， 2008， 35（1）： 80?84.

[8] OJALA T， PIETIK P， INEN M. Multiresolution gray?scale and rotation invariant texture classification with local binary patterns [J]. IEEE transactions on pattern analysis and machine intelligence， 2002， 24（7）： 971?987.

[9] BOYKOV Y， KOLMOGOROV V. An experimental comparison of mim?cut/max?flow algorithms for energy minimization in vision [J]. IEEE transactions on pattern analysis and machine intelligence， 2004， 26（9）： 1124?1137.

[10] 孙海鹏，毕笃彦.基于局部二元模式Gabor小波变换的人脸识别[J].计算机应用与软件，2011，28（5）：247?248.

SUN Haipeng， BI Duyan. Based on local binary pattern recognition Gabor wavelet transform [J]. Computer applications and software， 2011， 28（5）： 247?248.