视频监控中遗留物与遗失物辨别方法的研究

严余龙，孟朝晖

（河海大学计算机与信息学院，江苏南京211100）



视频监控中遗留物与遗失物辨别方法的研究

严余龙，孟朝晖

（河海大学计算机与信息学院，江苏南京211100）

摘要：为解决视频监控中遗留物与遗失物的辨别问题，提出一种基于静止前景区域轮廓色彩对比度的辨别方法。该方法通过分析静止前景区域中物体轮廓与当前帧、背景帧的两种颜色对比，分别计算出静止前景物体轮廓与当前帧、背景帧的颜色对比度，再结合两者进行遗留物与遗失物的辨别，解决了现有方法易受复杂环境干扰与时间复杂度大的问题。实验结果表明本方法相对于现有文献提出的方法具有较高的鲁棒性和较小的时间复杂度。

关键词：视频监控；遗留物；遗失物；轮廓辨别

当今社会人们利用各种终端设备对生活中的一些场所进行安全监测，视频监控设备作为安保人员的“眼睛”在生活中使用广泛。从CCTV（C1ose Cjrcujt Te1evjsjon）到DVR（Djgjta1 Vjdeo Recorder）发展至如今常见的NVR（Net Vjdeo Recorder），监控设备在不断升级，安保人员需要处理的信息量也随之剧增。视频监控中的遗留物是指在初始场景中不存在而被人为带入的物体；遗失物是指初始场景中存在但被带出的物体。遗留物与遗失物检测作为视频监控中与人身和财产安全密切相关的问题备受人们关注。如何智能、自动的辨别视频监控中的遗留与遗失物并发出警报受到研究人员的广泛关注［1-8］。

1　相关工作

在视频监控研究领域，研究人员做了大量的工作来研究如何自动、实时的检测复杂场景中的遗留物与遗失物［1，4-8］。遗留物与遗失物检测通常分为如下几个步奏：背景建模，前景分割，静止前景区域检测，静止前景块分类，遗留物与遗失物辨别［1］，其中最后一步决定了遗留物与遗失物辨别的能力，通常做法是研究从视频序列中提取出来的静止物体与当前帧和背景帧的相似性。国内的一些研究［2-3］通常是提取出静止前景物体，按照其与物主的位置关系和保持静止的时间直接判定其为遗留物，而并不辨别其为遗留物或遗失物。对于辨别遗留物与遗失物的相关文献，根据采用的特征可分为如下几类：边缘，颜色，动态轮廓，或者它们的混合。基于边缘的方法［4］计算物体边缘在像素级别上的累积梯度，如果得到的累积梯度值较小则判定为遗失物，相反则为遗留物；基于颜色的方法［5-6］认为静止前景物体边缘区域应该与背景非常相似，如果边缘被覆盖了则认为是遗留物体，否则认为是遗失物体，通常用区域的颜色直方图进行相似性检测；混合方法［7］则是通过颜色与边缘相结合以提高辨别的准确度。基于边缘与基于颜色方法的主要限制是它们需要背景在靠近静止物体区域（对于颜色和边缘而言）具有均匀的性质，并且在前景分割时需要得到较好的前景。因此，通过这几种方法进行遗留物与遗失物辨别时由于限制条件较多，其准确性将会大大降低。最近，一些研究者提出基于物体轮廓（动态轮廓）的方法［8］，该方法通过调整物体轮廓来提高复杂环境下辨别时的鲁棒性。然而，该方法的迭代性却制约着视频监控系统的实时运行。

文中提出了一种新的方法来辨别静止前景物体为遗留物或遗失物，该方法利用物体轮廓在像素级别进行颜色对比。与现有方法不同的是，它不需要特殊的背景属性来适应复杂的场景，也不需要精确的前景分割。实验表明此算法能够适应各种复杂场景，并且能够达到实时操作。

2　算法描述

2.1算法整体框架

文中提出的辨别方法流程图如图1所示。从t时刻静止物体初始轮廓开始，定义点集Ct=｛p1，…，pi，…，pN｝。其中pi代表静止前景边缘中第i个像素点的x与y坐标，N代表轮廓中像素点的总个数。轮廓提取包括在点扫描时应用Canny算子检测当前的静止前景块的结果中。然后，计算出静止前景物体边缘的每个像素点与当前帧和背景帧中点的内部和外部区域的平均对比度。

图1　遗留物与遗失物辨别整体框架图

其中，边缘色彩对比度的计算公式定义如下：

上两式中，z（·）表示像素颜色的具体对比分析方法，具体计算过程将在2.2节中作详细介绍；Ft与Bt分别表示当前帧与背景帧；表示前景轮廓与当前帧的颜色对比结果，表示前景轮廓与背景帧的色彩对比结果。为提高鲁棒性，利用所有通道颜色信息的平均值进行计算。然后再计算两者的差值得到一个判断公式score，如下式：

最后将得到的score与一个阈值相比判断此物体是遗留物还是遗失物。

2.2像素颜色对比

为了得到边缘两边像素的颜色对比值，使用空间边界的对比［6］。对每一个边缘像素的轮廓，将其划分成2L+1段，垂直于边缘曲线，其中L代表边缘曲线上像素点内侧与外侧各取等长的L个像素，1为边缘曲线上的像素点。然后比较边缘曲线段上像素点两端的颜色对比度，即计算以边缘曲线像素点的两端像素点P1和P0为中心，大小为M×M（M个像素点，且M＜L）的小窗口中像素的颜色对比值，如图2所示。

图2　物体轮廓色彩对比

其中（a）表示静止前景物体掩膜；（b）表示从静止物体提取出的边缘曲线，并在边缘曲线上每个像素点两端进行颜色对比；（c）表示边缘曲线上一个像素点两端进行色彩对比。

每个边缘像素点的两个端点之间的颜色距离对比，即边界空间颜色对比（boundary spatja1 co1or contrast），其定义如式（4）：

其中，WO和WI是视频中第F帧静止前景边缘的第i个像素（可以是当前帧或背景帧）的两个端点PO和PI的M×M邻域中计算出的平均颜色值（在RGB颜色空间）。本文中只考虑边缘像素点p的两个端点PO与PI存在，且该像素处于图像边界的内部（不考虑那些处于图像边界以外的无效像素）的情况。由此可以得到边缘像素对比度的平均值如式（5）：

其中，Kt表示前景边缘像素中具有符合条件值的总数目，BSCC表示第i个像素的空间色彩对比值。本方法同时计算静止前景区域与当前帧和背景帧如式（1）与式（2）的对比度，并且组合起来得到一个值如式（3）所示。当的值接近0.0时表示该静止前景物体为遗留物，相反如果得到一个较大的值，则表示该静止物体为遗失物；同理，在相同情况下将会得到相反的结果。最后通过结合与得到一个综合的评价值来判断静止前景物体为遗留物还是遗失物体。

3　实验研究与分析

文中使用vjsua1 studjo配置OpenCV2.4.4进行实验平台的搭建，计算机物理内存为4 G，处理器型号为Inte1（R）Core （TM）j3 3.06 GHz。为了研究本文中提出算法的有效性，本文使用遗留物与遗失物辨别时常用的数据集ASODds作为实验视频。下面选取其中一个名为“sofa”的实验视频使用本文提出的算法，其结果如图3所示。

其中（a）为视频的第1帧；（b）为利用高斯背景模型实时建立的背景，该背景将会随着光线等的微弱变化不断的更新，但是行人、遗留物、遗失物较大的颜色变化将不会更新进背景；（c）为利用背景差得到的静止前景目标，为方便起见，文中选取行人已经走出场景的第1 800帧的前景；（d）为视频第1 800帧，该帧已经正确辨别出遗留物与遗失物。

为了让实验具有较高的对比性，文中使用包含有真实数据的前景掩膜代替场景中的静止物体。此外，对基于边缘（ED［2］），颜色（CH［3］）和动态轮廓（CO［5］）3个有代表性的方法作了比较。文中用辨别的正确率与时间复杂度作为度量标准。其中，正确率数据如表1中显示，时间复杂性数据如表2所示。

表1与表2的结果表明本文提出的方法与基于边缘和颜色的方法相比能够得到更高的准确度；而与基于动态轮廓的方法相比，时间复杂度得到了显著的改进，并且在准确度方面也有所提升。使用具有不同复杂性的实验视频表明本方法具有较好的鲁棒性，与此同时，本方法也大大降低了执行时间。

图3　对于实验视频“sofa”使用本文提出算法

表1　各种方法在同平台下辨别遗留物与遗失物的正确率

表1　各种方法在同平台下辨别遗留物与遗失物花费时间（ms）

4　结论

文中提出了一种新的辨别遗留物与遗失物的方法，该方法是基于静止前景物体轮廓和视频帧的颜色边界，通过轮廓颜色对比来辨别静止的前景物体是遗留物还是遗失物。实验结果表明本文提出的方法对于复杂环境下视频序列中遗留物与遗失物辨别的问题具有较高的鲁棒性，并且减小了时间复杂度。因此，本文提出的方法适用于开发复杂的环境中的实时应用。另外本方法还可以用于检测与过滤背景减除时产生的如鬼影或不正确地分割区域的像素的颜色的对比。

参考文献：

［1］Tjan Y，Ferjs R S，Lju H，et a1. Robust Detectjon of Abandoned and Removed Objects jn Comp1ex Survej11ance Vjdeos［J］. IEEE Transactjons on Systems Man & Cybernetjcs Part C，2011，41（5）：565 - 576.

［2］程换丽.视频监控中遗留物体的检测研究［D］.石家庄：河北科技大学，2014.

［3］富吉勇.基于全方位视觉的遗留物及其放置者检测的研究［D］.杭州：浙江工业大学，2011.

［4］Pao1o Spagno1o.An Abandoned/Removed Objects Detectjon A1gorjthm and Its Eva1uatjon on PETS Datasets.［J］. Vjdeo and Sjgna1 Based Survej11ance，2006. AVSS '06. IEEE Internatjona1 Conference on，2006：17.

［5］高军.基于视频分析的遗留及遗失物检测［D］.大连：大连海事大学，2014.

［6］Ferrando S，Gera G，Regazzonj C. C1assjfjcatjon of Unattended and Sto1en Objects jn Vjdeo -Survej11ance System［J］. Vjdeo and Sjgna1 Based Survej11ance，2006. AVSS '06. IEEE Internatjona1 Conference on，2006：21.

［7］Wen J，Gong H，Zhang X，et a1. Generatjve mode1 for abandoned object detectjon［C］// Proceedjngs of the 16th IEEE jnternatjona1 conference on Image processjng. IEEE Press，2009：853-856.

［8］J，M，et a1. Djscrjmjnatjon of abandoned and sto1en object based on actjve contours［J］.2011 8th IEEE Internatjona1 Conference on Advanced Vjdeo and Sjgna1-Based Survej1-1ance（AVSS），2011（8）：101-106.

［9］Erdem C E，Sankur B，Teka1p A M. Performance measures for vjdeo object segmentatjon and trackjng.［J］. IEEE Trans Image Process，2004，13（7）：937 - 951.

Abandoned and removed object dlscrlmlnatlon ln vldeo survelllance

YAN Yu-1ong，MENG Zhao-huj
（School of Computer Science and Technology，Hohai University，Nanjing 211100，China）

Abstract:A nove1 approach js proposed for djscrjmjnatjng between abandoned or removed prevjous1y detected statjonary foreground regjons jn vjdeo survej11ance. It js based on measurjng the co1or contrast of the contour of the statjonary object under ana1ysjs at pjxe1 1eve1. Two contrasts are computed by ana1yzjng such a contour jn the current and background frames. Then，both are combjned for performjng the djscrjmjnatjon. Compared to the former 1jterature，jt so1ves the prob1ems of the comp1ex scene jnterference and hjgh tjme comp1exjty. The experjmenta1 resu1ts over a heterogeneous dataset contajnjng rea1 scenarjos demonstrate that thjs approach outperforms the re1ated 1jterature and great1y reduces the computatjona1 cost of the djscrjmjnatjon task，a11owjng rea1-tjme operatjon.

Key words:vjdeo survej11ance；abandoned object；removed object；djscrjmjnatjon

中图分类号：TN02

文献标识码：A

文章编号：1674-6236（2016）07-0043-03

收稿日期：2015-05-20稿件编号：201505182

作者简介：严余龙（1988—），男，江苏盐城人，硕士。研究方向：计算机视觉。