一种基于帧差法与背景减法的运动目标检测新方法✴

高凯亮，覃团发，王逸之，常侃

一种基于帧差法与背景减法的运动目标检测新方法✴

高凯亮1，覃团发1，王逸之2，常侃1

（1.广西大学计算机与电子信息学院，南宁530004；2.西南科技大学信息工程学院，四川绵阳621010）

为改进单独利用帧差法或背景减法进行运动目标检测时存在的不足，提高运动目标检测的准确率和鲁棒性，提出了一种利用边缘信息的帧间差分法和背景减法相结合的运动目标检测方法。该方法首先通过基于边缘信息的三帧差法获得一幅前景图像，然后利用改进的mode算法进行背景差分获得另外一幅前景图像，最后将得到的两幅前景图像进行布尔或运算，得到前景目标。实验仿真结果表明，利用该方法，目标检测的准确率可以提高4.96%～36.01%，且算法具有较好的鲁棒性。

运动目标检测；边缘提取；帧间差分；背景差分；mode算法

1 引言

运动目标检测是计算机视觉研究领域中的一个重要课题，是进行目标分类、跟踪及行为理解的基础，在智能视频监控、机器人导航和医学图像处理等诸多领域有着广泛应用。在智能视频监控中，传统的运动目标检测方法主要有光流法、帧间差分法和背景减法等［1-4］。光流法利用运动目标随时间变化的光流特性来建立光流约束方程进行目标检测，但由于计算复杂、抗噪性差及对硬件的特殊要求，很难应用于实时监控系统中。帧间差分法通过视频序列中两个或三个相邻帧进行时间差分阈值化来提取目标，该算法运算量小，易于实现，且对于动态环境具有较强的适应性。但帧差法检测到的目标容易出现空洞现象，而且当目标运动过快或者过慢时，不能够准确检测出目标。背景减法由于计算简单而得到了较广泛的应用，利用背景减法可以获取目标的完整信息，但对背景建模要求非常高，当光照突变时容易产生将背景像素误判为前景目标的现象，引起较大的检测误差［5，6］。因此，近年来将帧差法和背景减法相结合进行目标检测得到了研究人员的广泛关注。

针对帧差法和背景减法单独应用时存在的缺陷，本文利用边缘信息抗噪性强、不易受环境突变影响的特点进行三帧间差分，并与改进型mode算法［7］下的背景减法相结合进行运动目标提取。综合利用了帧差法对动态环境的适应性和背景减法能够获取目标完整信息的优点，提高了算法的检测率和鲁棒性，能够适用于复杂的交通监控环境中。

2 帧间差分法和背景减法基本原理

2.1 帧间差分法基本原理

帧间差分法中，首先将视频序列中相邻两帧进行差分，得到差分图像，用公式描述如下：

式中，Dk（x，y）、Ik+1（x，y）、Ik（x，y）分别为差分图像、第k+1帧和第k帧原始图像。

然后，利用公式（2）对差分图像进行阈值化分割，得到二值化的前景图像：

式中，Tk（x，y）和T分别为前景图像和分割阈值。

2.2 背景减法基本原理

背景减法的关键是背景建模，常用的背景建模方法有时间平均法、像素估计法、mode算法和混合高斯模型法［8］等。

通过背景建模及更新得到背景图像后，将视频的当前帧与背景图像进行差分，得到差分图像，可用公式（3）描述：

式中，Dk（x，y）、Ik+1（x，y）和Bk（x，y）分别为差分图像、视频当前帧和背景图像。利用式（2）对Dk（x，y）进行阈值化分割即可得到二值化前景图像。

3 基于帧差法和背景减法的运动目标检测算法

3.1 算法基本步骤

本文提出的运动目标检测算法主要分为3个步骤，一是利用边缘信息进行三帧差分得到一幅前景目标图像，二是利用改进的mode算法进行背景差分得到一幅前景目标图像，三是将上两步中得到的前景目标图像通过或运算，并进行形态学处理后得到去噪平滑的最终前景图像。算法流程如图1所示。

3.2 边缘提取和三帧差运算

图像的边缘为图像中灰度发生急剧变化的区域，蕴含着丰富的内在信息（如方向、阶跃性质、形状等），且不易受噪声和光线突变的影响［9，10］。综合计算复杂度和提取效果考虑，本文选用Sobel算子进行编程实现边缘信息提取。对于一帧图像，其边缘图像可由下式获得：

其中：

式中，*为卷积运算，Hx和Hy为Sobel算子，Ek（x，y）为提取的边缘图像。

传统的相邻二帧差分法，当运动目标速度过快时会产生双影现象。而交通监控视频中的运动目标为快速运动的车辆，因此，为克服传统帧差法存在的双影问题，我们采用三帧差分法进行检测。

我们首先对连续三帧图像Ik-1（x，y）、Ik（x，y）和Ik+1（x，y）进行边缘提取，分别得到Ek-1（x，y）、Ek（x，y）和Ek+1（x，y）三帧边缘图像；然后利用公式（1）对得到的三帧边缘图像进行帧差运算，得到差分图像Dk-1（x，y）和Dk（x，y）；最后，对得到的差分图像利用公式（2）分别进行阈值化分割，得到二值化前景图像Rk-1（x，y）和Rk（x，y）。

对Rk-1（x，y）和Rk（x，y）进行布尔与运算，得到二值化前景目标FRk（x，y），用如下公式描述：

这样，通过三帧差分法得到的前景图像FRk（x，y）有效避免了由于目标运动过快而带来的双影现象。同时，由于噪声具有在时间域难重复的特点，当进行了与运算操作后，部分孤立噪声也会得到消除。

3.3 背景建模与背景差分

文献［7］提出了一种改进的mode算法用于交通背景的提取，对于车流量较大的道路交通场景具有较好的提取效果，并且时间复杂度低。本文采用此算法进行交通背景提取。

mode算法的基本思想是：前景灰度值随机分布在整个灰度范围内，而背景灰度值集中分布在某一值附近。沿时间轴计算每个像素点的灰度直方图分布，取分布值最大的点即mode值点为背景点。

由于像素灰度取值的连续性，上面固定取最大值为背景值的方法存在一定的不确定性。因此，文献［7］对此进行了改进：把灰度值分成若干小区间，取落在该区间内所有像素的平均值作为背景。

对于每个像素点（x，y），前N帧图像对应点的取值序列为It-N（x，y），It-N+1（x，y），…，It-1（x，

y），将序列的mode值作为该像素点的当前背景灰度值，用公式描述如下：

通过上述改进的mode算法进行背景建模，得到背景图像Bk（x，y），然后利用公式（3）对当前帧Ik（x，y）与背景图像进行差分得到差分图像BDk（x，y）。对BDk（x，y）利用公式（2）进行阈值化分割，得到二值化前景图像BRk（x，y）。

3.4 布尔或运算和形态学处理

将利用边缘信息进行三帧差法得到的前景图像FRk（x，y）与由背景差分法得到的前景图像BRk（x，y）进行布尔或运算，用公式表示如下：

式中，Rk（x，y）为进行或运算后得到的二值化前景图像。通过或运算，既能发挥帧差法对动态背景变化适应性强的特点，又利用了背景减法的优点，有效避免了单独利用帧差法带来的空洞现象。

检测出来的二值化前景图像往往含有程度不同的噪声，如小的孤立点和空隙，本文采用形态学方法对前景图像进行处理。先利用腐蚀运算消除孤立点和小的独立区域，然后进行膨胀以填充图像中的小间隙。经过腐蚀和膨胀处理后，前景图像的噪声得到去除，图像得到平滑，完成了整个运动目标的检测过程。

4 实验结果与分析

为了验证算法的检测效果和鲁棒性，实验选用三段不同场景下的交通监控视频作为测试视频。为表示方便，将3个视频分别简称为V1、V2、V3。

图2为3组测试视频中的一帧，分别为V1视频的第62帧、V2视频的第228帧和V3视频的第243帧。图3、图4和图5分别为视频V1、V2、V3的当前帧在不同算法下的检测效果。从实验结果可以看出，基于帧差法检测得到的前景图像存在空洞现象，而利用背景减法进行检测在检测率上不是很高。本文基于边缘信息的帧差法和背景减法相结合的运动目标检测方法较好地解决了这些问题，取得了较好的效果。

利用检出率（DR）和误检率（FAR）两个指标，对算法进行定量比较，用公式描述如下［11］：

式中，TP为检测出来的属于运动目标区域的像素数，FP为检测出来的不属于运动目标区域的像素数，FN为未被检测出来的运动目标区域的像素数。

表1的数据为对视频的320帧都进行检测后得到的平均值，从中可以看到本文提出的运动目标检测算法在检出率方面提高了约5%～36%，而且误检率降低了0.61%～2.84%。

本文算法融合了利用边缘信息的帧差法和基于改进型mode算法的减背景法，在时间复杂度上有所提高，具体数据见表2所示。由表2可以看出，对于帧差法和基于mode算法的背景减法，本文算法时间复杂度提高了19.98%～36.52%，但检测率提高了约5%～36%。同基于混合高斯背景模型的背景减法相比，本文算法时间复杂度降低了约40%。

由以上数据分析可以看出，在综合考虑复杂度和检测率之间的平衡后，本文算法有着较大的优势。

5 结束语

本文通过引入边缘信息和改进的mode背景建模法，将三帧差分法和背景减法相结合对车辆运动目标进行了检测。大量实验证明，该方法具有帧差法的优点，对动态环境具有较强的稳定性。同时，由于与背景减法进行了结合，检测出的运动目标具有较完整的信息，避免了运动目标空洞现象。在大流量交通环境中，该方法使目标检测率有了较大提高，并具有较强的鲁棒性。由于改进的mode背景建模算法自身的特点，使得该算法在小流量交通环境中优势不能得到发挥。因此，下一步的研究重点将是对背景建模方法进行改进，使算法对各种流量的交通监控环境都有较强的适应性。

［1］Serdar Ince，Janusz Konrad.Occlusion-Aware Optical Flow Estimation［J］.IEEE Transactions on Image Processing，2008，17（8）：1443-1451.

［2］Yi-Min Tsai，Chih-Chung Tsai，Keng-Yen Huang，et al.An Intelligent Vision-based Vehicle Detection and Tracking System for Automotive Applications［C］／／Proceedings of 2011 IEEE International Conference on Consumer Electronics.Seoul，Korea：IEEE，2011：113-114.

［3］Du-Ming Tsai，Shia-Chih Lai.Independent Component Analysis-Based Background Subtraction for Indoor Surveillance［J］.IEEE Transactions on Image Processing，2009，18（1）：158-160.

［4］陈玲，陈德煌.多站无源定位系统中的机动目标跟踪算法［J］.电讯技术，2010，50（11）：10-14.

CHEN Ling，CHENDe-huang.Tracking Algorithm forManeuvering Target in Multiple Passive Sensor System［J］.Telecommunication Engineering，2010，50（11）：10-14.（in Chinese）

［5］Shih-Chia Huang.An Advanced Motion Detection Algorithm with Video Quality Analysis for Video Surveillance Systems［J］.IEEE Transactions on Circuits and Systems for Video Technology，2011，21（1）：1-14.

［6］高凯亮，覃团发，陈跃波，等.一种混合高斯背景模型下的像素分类运动目标检测方法［J］.南京大学学报（自然科学），2011，47（2）：195-200.

GAOKai-liang，QIN Tuan-fa，CHEN Yue-bo，et al. Detection ofmoving objects using pixel classification based on Gaussian mixture model［J］.Journal of Nanjing University（Natural Sciences），2011，47（2）：195-200.（in Chinese）

［7］曾艳，于濂.一种新的道路交通背景提取算法及研究［J］.中国图象图形学报，2008，13（3）：593-599.

ZENG Yan，YU Lian.A new background subtractionmethod for on-road traffic［J］.Journal of Image and Graphics，2008，13（3）：593-599.（in Chinese）

［8］Stauffer C，GrimsonW.Adaptive backgroundmixturemodels for real-time tracking［C］／／Proceedings of1999 IEEE International Conference on Computer Vision and Pattern Recognition.Colorado，USA：IEEE，1999：246-252.

［9］张宏.数字图像处理与分析［M］.北京：机械工业出版社，2007.

ZHANG Hong.Image processing and analysis［M］.Beijing：China Machine Press，2007.（in Chinese）

［10］甘明刚，陈杰，刘劲，等.一种基于三帧差分和边缘信息的运动目标检测方法［J］.电子与信息学报，2010，32（4）：894-897.

GAN Ming-gang，CHEN Jie，LIU Jin，etal.Moving object detection algorithm based on Three-Frame-Differencing and Edge Information［J］.Journal of Electronics and Information Technology，2010，32（4）：894-897.（in Chinese）

［11］Antoine Monnet，Anurag Mittal，Nikos Paragios，et al.Backgroundmodeling and subtraction of dynamic scenes［C］／／Proceedings of2003 IEEE International Conference on Computer Vision.Boston，USA：IEEE，2003：1305-1312.

GAOKai-liangwasborn in Xingtai，HebeiProvince，in 1985. He received the B.S.degree from Guangxi University in 2007.He is now a graduate student.His research interests include intelligent video surveillance，moving objects detection and tracking.

Email：gkl19851111＠126.com

覃团发（1966—），男，广西宾阳人，1997年于南京大学获博士学位，现为教授、计算机与电子信息学院副院长、中国电子学会高级会员、中国通信学会高级会员，主要研究方向为无线多媒体通信、网络编码、视频编码和图像检索；

QIN Tuan-fa was born in Binyang，Guangxi Zhuang Autonomous Region，in 1966.He received the Ph.D.degree from Nanjing University in 1997.He is now a professor and vice Dean of School of Computer and Electronic Information，GuangxiUniversity. He is also the senior member of China Institute of Electronics and China Communications Institute.His research interests includewirelessmultimedia communications，network coding，video encoding and image retrieval.

Email：tfqin＠gxu.edu.cn

王逸之，男，广西南宁人，西南科技大学信息工程学院学生；

WANG Yi-zhi was born in Nanning，Guangxi Zhuang Autonomous Region.He is now an undergraduate at Southwest University of Science and Technology.

常侃（1983—），男，广西南宁人，2010年于北京邮电大学获博士学位，主要研究方向为图像处理、视频编码与传输。

CHANGKan was born in Nanning，Guangxi Zhuang Autonomous Region，in 1983.He received the Ph.D.degree from Beijing University of Posts and Telecommunication in 2010.His research interests include image processing，video coding and transmission.Email：pandack＠163.com

A Novel Approach for Moving Objects Detection Based on Frames Subtraction and Background Subtraction

GAO Kai-liang1，QIN Tuan-fa1，WANG Yi-zhi2，CHANGKan1
（1.School of Computer and Electronic Information，Guangxi University，Nanning 530004，China；2.School of Information Engineering，Southwest University of Science and Technology，Mianyang 621010，China）

In order to overcome the drawbacks of frames subtraction or background subtraction thatare used separately inmoving objects detection，and to achieve both accurate and robust detection result，a novel approach for moving objects detection based on frames subtraction using edge information and background subtraction is proposed.Firstly，a foreground image is obtained by three-frame-differencing based on edge information.Then，background subtraction is used to obtain another foreground image，in which background image is created by improved modemethod.Finally，the foreground object is extracted by applying Boolean OR operation on the two previous obtained foreground images.The simulation results show that the proposedmethod can increase the detection rates by 4.96%～36.01%，and ismore robust than other algorithms.

moving objects detection；edge extraction；frames subtraction；background subtraction；mode algorithm

The Natural Science Foundation of Guangxi（2011GXNSFD018024）；Program to Sponsor Teams for Innovation in the Construction of Talent Highlands in Guangxi Institutions of Higher Learning（GUIJIAO-REN［2007］71）

TN911；TP391.41

A

10.3969／j.issn.1001-893x.2011.10.018

高凯亮（1985—），男，河北邢台人，2007年于广西大学获工学学士学位，现为硕士研究生，主要研究方向为智能视频监控、运动目标检测与跟踪；

1001-893X（2011）10-0086-06

2011-05-09；

2011-08-08

广西自然科学基金资助项目（2011GXNSFD018024）；广西高校人才小高地建设创新团队资助计划项目（桂教人［2007］71号）