周红志
(阜阳师范学院 信息工程学院,安徽 阜阳 236041)
单通道模式下的阴影压制方案设计
周红志
(阜阳师范学院 信息工程学院,安徽 阜阳 236041)
在各种复杂场景中,获得前景运动对象或者运动对象运动区域成为视频处理的必要过程,为解决前景对象的完整性问题,提出了一种快速而稳健的运动背景分割算法。该算法首先对视频图像进行预处理,然后将预处理后的三通道图像分成单通道HSV图像,并分别进行混合高斯建模,在此区域内进行阴影检测与去除,以得到较好的完整性,结合帧间差进行实时更新,实验结果以及与目前具有相关代表性方法的对比结果表明,所提出的算法具有良好的有效性和可靠性。
混合高斯;单通道;HSV;帧间差
随着信息技术与多媒体的发展,移动对象的检测与识别已成为当前比较热门的研究课题。其中,运动对象分割的完整性以及实时性对后期的检测跟踪具有至关重要的作用。
阴影压制,也叫阴影抑制,因光线、障碍物摆动等造成的阴影无法在对运动对象检测时实现完全分离,所以需要对阴影进行压制[1,2]。解决上述问题比较传统的方法有时间差分[3]、背景减除[4]、光流法[5]。这些传统的方法经过改进后依然在使用,现常用的方法有单高斯模型、混合高斯模型和编码本算法(codebook)。单高斯分布进行背景更新的模型适用于较长时间内光照强度无明显变化,同时检测期间运动前景在背景中的阴影较小的情况,它对光照强度的变化比较敏感,且具有较大的虚警率。混合高斯模型[6]在建立背景模型时,能鲁棒地克服光照变化、树枝摇动等造成的影响,但该方法需要对图像每个像素进行统计分析,计算复杂度较大,实时性不理想,而且对运动物体长期静止时检测失效。编码算法[7-8]将背景像素值抽样量化成码本,代表压缩的背景模型,在移动场景和光照变化的场景中具有较好的鲁棒性,而且提取的前景相对比较完整,但是这种方法需要对视频进行背景学习,不能实时地对背景进行建模。
上述各种背景分割方法,在完整性、实时性以及阴影压制等方面都有些欠缺。本文利用单通道进行高斯混合建模,根据颜色空间有效地压制阴影,然后利用帧间差分进行实时自动更新,得到较完整的运动前景。通过实验与具有相关代表性的方法对比,论证了本文所提出的方法具有良好的通用性,并且在兼顾提高前景检测效率的前提下,能得到更为完整的运动前景。
目前常用的的颜色模型有RGB、YcbCr和HSV。这三种可以互相转换的色彩空间有各自的特点,而阴影压制则是利用色度与亮度信息,HSV空间和YcbCr空间可以实现色度与亮度分离。
在HSV模型中的颜色参数分别是:色调(H)、纯度(S)、明度(y),并且这三个分量是正交的,与RGB颜色空间相比,和人的视觉颜色模型更加接近,因其在体现颜色亮度信息上更加直观,所以可以很好地量化运动目标与阴影的差别[9]。
HSV空间的优点[10]有: HSV颜色模型中的三个坐标是独立的,并且是一个均匀的颜色空间,采用线性的标尺,彩色之间感觉上的距离与HSV颜色模型坐标上点的欧几里德距离成正比。在一定的亮度条件下,同一物体在阴影区和不在阴影区的色相是近似一致的,饱和度则通常会变小。阴影主要使该区域内色彩的明暗发生变化,所以采用HSV颜色空间可以得到较好的效果。
本文首先将采集的图像数据预处理,然后转化到HSV空间,接着对其三个通道分别进行混合高斯建模,得到背景帧,利用色彩空间进行阴影压制。为了克服高斯的不完整及对运动物体静止时间过长而更新慢的缺点,结合背景差分进行相与,最后对得到的图像进行形态学操作以及连通域的筛选填充。
2.1 图像序列预处理
由于个别摄像机得到的视频序列分辨率较大,对于此类图像进行合理采样,便于提高处理效率,同时为了消除图像中噪声等不必要的信息干扰因素,得到精确有效的图像特征,需要对图像进行前期处理以去除噪声。具体的去除噪声方案见文献[11]中的小波抑噪预处理方法。
2.2 单通道混合高斯建模
2.2.1 混合高斯建模
建模的基本思想是从当前帧中提取前景,其目的是使背景更接近当前视频帧的背景。即利用当前帧和视频序列中的当前背景帧进行加权平均来更新背景,但是由于光照突变以及其他外界环境的影响,一般的建模后的背景并非十分干净清晰,而高斯混合模型是最为成功的方法之一。
混合高斯模型[11]为图像的每一个像素点定义K个高斯分布模型,以描述像素点的状态。K的取值由像素点的峰值分布来决定,一般取3~5之间[12]。在前景检测过程中,如果图像像素点与K个高斯模型中的一个相匹配,则像素点归类为背景点,相反,则被认为是前景点。假设视频序列中某像素点的像素值为:{X1、X2、…、Xt},那么像素值Xt的概率就可以用K的高斯方程来表示。
(1)
η(Xt,μi,tσi,t)=
(2)
如果Xt+1的像素值满足任意一个高斯分布,则被归类为背景像素,否则为前景像素,并相应地更新高斯分布参数。
由于我们是对运动目标的背景提取建模,因此需要对高斯模型中方差和均值两个参数实时更新。为提高模型的学习能力,改进方法对均值和方差的更新采用不同的学习率;为提高在繁忙的场景下,大而慢的运动目标的检测效果,引入权值均值的概念,建立背景图像并实时更新,然后结合权值、权值均值和背景图像对像素点进行前景和背景的分类。
2.2.2 单通道的建模
尽管在常见的高斯混合模型的实践应用中,其是在RGB空间中完成建模与阴影分离[13-14],但是RGB颜色空间在对运动目标的识别实践中其效果一直不够稳定,在实时性和稳健性上始终不能尽如人意[15],同时又考虑到具有HSV三通道的原始图像直接建模会耗费大量时间,但是如果直接对某一个单通道图像建模,处理效率则会大大提高,为实时性处理提供了条件。
通过RGB与HSV之间的转换公式(3)可知,
H1=
(3)
此时得到的HSV单通道图像经过混合高斯建模得到HSV各个单通道图的背景和前景图像。
2.3 阴影压制
上一小节的方法在得到前景的同时也得到各个通道的背景,利用阴影的色彩特征来检测阴影对不同场景及光照条件有较强的鲁棒性。HSV色彩空间,是由RGB色彩空间线性或非线性变化得到的。当一个像素点被阴影覆盖时,其色调(H)变暗,饱和度值(S)变化不大,亮度值(V)变小,也即H,S,V三个分量对阴影的作用是不同的。采用HSV色彩空间进行阴影的压制,利用文献中基于HSV色彩空间压制方案进行处理,具体见公式(4)。
三分量阴影表示S(x,y)H、S(x,y)S、S(x,y)V分别为:
(4)
(5)
(6)
其中,Diff(x,y)=
Ik(x,y)和Bk(x,y)分别表示第k帧输入图像和第k帧时刻计算得到的背景模型,坐标为(x,y)的像素值。采用式(3)、(4)、(5)对HSV三通道分别进行阴影检测后,将所得结果相与,即为检测到的阴影区域,然后将其从前景运动对象中去除。实验效果见图1,这里为了证明基于HSV阴影压制方案的效果,将其与形态学抑制方案[16]做了对比。
(a)原图
(b)阴影效果压制图
(c)没有采取压制措施的效果图
图1 阴影压制效果比较图
从图1可以看出,没有使用阴影压制方案的方法,其运动目标没有实现与阴影的完全分离。
2.4 背景差分
由于前景对象的运动是在一定范围内的,图像的帧之间会有明显的变化,根据对象的这种运动特点,可以利用帧间变化信息来检测运动对象。通过压制后的单通道图像与其背景进行自适应差分得到前景,然后利用形态学操作对图像进行内部孔洞填充和边缘平滑处理,得到比较好的分割效果。本文的实现过程主要采用了文献中的背景差分方案[17-18]。
为了验证本文提出方法的有效性和准确性,本实验在VS2010编译环境,选择配置为CPU-IntelCOREi7,主频2.8GHz,内存为4G的PC机,对不同光照条件和环境下的运动对象视频进行了仿真实验(本文的阴影压制程序流程图如图2所示)。为验证所提算法的有效性和鲁棒性,以及运动前景分割的效果。采用了公共测试视频图像库CVRR的测试视频,对提出的方法进行了检验。被选作实验的视频,背景环境相对复杂,并且有前景物体的移入与移出导致背景随即发生变化,因而有“鬼影”的出现可能,更能体现本算法的鲁棒性。
图2 阴影压制程序流程图
测试结果如图3所示。
在评估前景目标检测算法的性能上,实验主要从算法的耗时性和前景对象提取的完整性两个方面分别与改进的自适应混合高斯前景检测方法[19]、基于背景差分的核密度估计前景检测方法[20]和基于统计模型的前景阴影消除方法[21]进行了对比。
校园视频
(a)原图 (b)前景
走廊视频
(a)原图 (b)前景
跑步视频
(a)原图 (b)前景
图3 不同视频的运动背景分割
为评价前景对象提取完整度,采用人工手动提取视频前景对象值,并进行正确检测率和错误检测率的对比。
TPR=TP/(TP+FN)
FPR=FP/(TP+FP)
(7)
其中,TPR表示在运动对象区域内像素的正确检测率,TP表示在运动对象区域内正确检测到运动目标的像素个数,FN为在运动对象区域内漏检的像素个数,FPR表示在运动对象区域外错检为目标的错误检测率,FP为错误检测为运动对象的像素个数。所提出的方法与混合高斯背景建模、编码本背景建模方法和基于统计模型的前景阴影消除方法的实验比较结果如表1所示。
表1 不同方法实验结果比较
由表1可见,自适应的混合高斯模型虽能达到较高的正确像素检测率,但运动对象的错检率较高;核密度前景检测方法能够较好地抑制运动对象外的像素干扰,但在对象完整度上较差;所提出的方法通过混合高斯模型与阴影压制方法,实时地提取出较完整的前景对象,且对噪声、环境变化以及阴影的干扰等方面都能起到良好的抑制效果;基于统计模型的前景阴影消除方法在整体性能上与本文所设计方案相比略有弱势。
对于算法的效率,我们同样利用一个实验平台,对上诉四种算法进行实验,检测时间利用公式(8)来对各算法进行对比:
(8)
表2 不同方法处理时间比较(ms)
从表2可以知道本算法平均处理时间比其他三种效率要显著提高。通过对表1和表2的观察,可以明显得出本算法比其他三种算法在检测精度上有了明显的提高,并且本算法检测前景完成性比其他算法有所改善。
本文利用单通道进行高斯混合建模,根据颜色空间有效地压制阴影,然后利用帧间差分进行实时自动更新。经过实验验证本算法具有良好的适用性,其精确度、完整性和处理时间都能达到较好的效果。在与其他算法的比较中,本算法不管在实用性还是实时性上都具有一定的优越性。考虑到本文所设计的模型不适合在RGB颜色空间上直接使用,所以要想在实时性上继续取得突破,就需要在RGB颜色空间单通道上探求色度和亮度的差异,为本文所设计的模型在RGB空间上直接使用创造条件。
[1] 姚志均,许毅平,魏蛟龙,等.视频监控系统中运动目标的检测和阴影抑制[J].计算机工程与应用,2007, 43(21):232-234,238.
[2] 刘超,何明一,付勇.基于背景重建的运动目标检测与阴影抑制[J].计算机工程与应用,2010,46(16):197-199,209.
[3]CHIENSY.Efficientmovingobjectsegmentationalgorithmusingbackgroundregistrationtechnique[J].IEEETransactiononCircuitsSystemVideoTechnology, 2002,12 (7):577-586.
[4] 田鹏辉,隋立春,程少辉.基于图像融合的空间运动目标检测算法[J].微电子学与计算机,2011,28(11):122-124,128.
[5] 李建,蓝金辉,李杰.一种新型快速运动目标检测算法[J].中南大学学报:自然科学版,2013,44(3):979-984.
[6] 刘静,王玲.混合高斯模型背景法的一种改进算法[J].计算机工程与应用.2010,46(13):168-170.
[7] 彭琛琛,杨鼎才.基于H. 264_AVC视频编码技术的改进算法[J].计算机应用与软件,2009,26(7):216-218.
[8]K.Kim,T.Chalidabhongse,D.Harwood,etal.Real-timeforeground-backgroundsegmentationusingcodebookmodel[J].Real-timeImagingInSpecialIssueonVideoObjectProcessing, 2005, 11(3): 167-256..
[9] 林庆,徐柱,王士同等.HSV自适应混合高斯模型的运动目标检测[J].计算机科学,2010,37(10):254-256.
[10] 刘艳英,凌朝东.HSV空间的彩色多聚焦图像融合[J].微型机与应用,2014,33(8):45-48.
[11] 刘艳林,马苗,刘艳丽.基于改进人工鱼群算法的含噪图像分割方法[J].计算机工程与应用,2013,49(20):157-160.
[12] 廖玉忠,刘付显.临近空间双基地雷达抗干扰能力分析[J].舰船电子对抗,2009,32(5):36-40.
[13] 陈振华,周锐锐,李光伟.一种改进的高斯混合背景模型算法及仿真[J].计算机仿真,2007,24(11):190-192.
[14] 李明,赵勋杰.改进的基于高斯混合模型的运动目标检测算法[J].计算机工程与应用,2011,47(8):204-206.
[15] 李静,车进, 朱金艳.基于颜色空间转换的运动目标检测与阴影去除[J].电视技术,2013,37(13):172-175.
[16] 阮秋琦.数字图像处理(MATLAB版)[M].北京:电子工业出版社,2005.
[17] 吴晶.面向运动目标检测的背景差分算法改进与实现[D].北京:北京邮电大学,2012.
[18] 卢章平,孔德飞,李小蕾等.背景差分与三帧差分结合的运动目标检测算法[J].计算机测量与控制,2013,21(12):3315-3318.
[19] 李鸿生,薛月菊.改进的自适应混合高斯前景检测方法[J].计算机应用, 2013,33(9): 2610-2613.
[20] 刘娣,高美凤. 基于背景差分的核密度估计前景检测方法[J].计算机工程与应用,2013,49(6):170-174.
[21] 杨志邦,徐成,周旭.一种基于统计模型的前景阴影消除算法[J].小型微型计算机系统,2013(2):424-428.
(责任编辑:尹晓琦)
Scheme Design of Shadow Suppression of Single Channel Mode
ZHOU Hong-zhi
(College of Information Engineering, Fuyang Teachers' College, Fuyang Anhui 236041, China)
In a variety of complex scenes, obtaining the prospect moving objects or moving object motion becomes the necessary process of video processing region. In order to solve the integrity problem of the obtaining foreground object, a fast and robust sport background segmentation algorithm was proposed in the paper. Firstly, the algorithm pre-processed video images; secondly, it pre-treated the three-channel images into single channel HSV images, modelled via mix-Gaussian model separately, and carried out shadow detection and removal in this area to get a better integrity and achieve real-time update combined with inter-frame difference. By contrasting with current experiments and relevant representative methods, the good validity and reliability of proposed algorithm were demonstrated.
GMM; single channel; HSV; inter-frame difference
2014-11-29
安徽省自然科学研究项目(KJ2013B207);安徽省质量工程教学研究项目(2013jyxm555)
周红志(1981-),女,湖北荆州人,讲师,硕士,主要从事无线传感网、数据库和图形处理研究。
TP391
A
1009-7961(2015)03-0030-05