吴江波,汪西原
(宁夏大学物理电气信息学院,宁夏银川750021)
近年来运动目标检测是智能场景监控下的一个重要内容,而阴影的去除是精确获得真实运动目标的先决条件。文献[1-3]分别在RGB、HSV、YUV空间对视频图像序列进行阴影检测,然而当运动前景与对应背景颜色相近时,基于色彩空间的阴影检测算法失效。文献[4-5]基于阴影不改变覆盖区域的梯度纹理特征,利用运动前景与对应背景区域的梯度纹理相似性进行阴影检测,相似性越高、阴影的可能性越大,但对纹理相近或物体表面纹理不明显区域得不到有效的检测结果。由上可知,单一的属性无法取得较好的检测效果。文献[6-7]结合了颜色和纹理信息,对某一像素点,需要同时满足阴影的颜色和纹理特性才将该像素点判定为阴影点。文献[8]分别为色彩和亮度设计了阈值估计器,采用基于最大似然估计方法来统计计算阴影检测阈值,并利用空间后处理消除误判点。通过分析比较,目前阴影检测算法中实现效果较好的大都结合了纹理信息,文献[9]利用NCC(归一化互相关)实现运动前景区域和背景区域的纹理相似性度量,其采用固定大小的模板,并手工确定判断阈值;实际操作中,由于物体表面的纹理有疏有密,固定大小的模板不能针对不同纹理自适应地进行调整。模板过小,包含的信息量越少,对局部纹理不明显的区域检测效果不佳;模板过大,包含较多的信息量,但由于噪声的存在,受噪声干扰的可能性越大。手工选取阈值难度较大,准确性不高。阈值较小,一部分真实的运动目标会被误检为阴影;阈值过大,一部分阴影会被误检为运动目标。针对上述问题,本文对文献[9]的NCC算法进行了改进,使其能够根据纹理信息自适应地选取合适的估计阈值和模板大小,并结合文献[8]的色彩估计器,舍去亮度估计器,取得了较好的效果。
利用颜色特征检测阴影是阴影检测常用的方法。该方法基于这样一个事实:阴影区域和其对应的背景区域相比,亮度变暗,而颜色不变[3]。
本文基于RGB颜色模型空间,通过分别比较前景区域和其对应的背景区域R、G、B 三通道的亮度值和归一化色彩特征不变量进行阴影检测。
1.1.1 亮度比较
由文献[3]可知,一般情况下阴影区域的亮度值要低于对应的背景区域,即
但是在拍摄视频过程中由于噪声的存在,式(1)并不总是成立。为了减少噪声的影响,本文将单个像素特征扩展到以其为中心的一个M×M大小的邻域内,通过计算邻域内像素点亮度值的均值代替中心像素点的亮度值。
1.1.2 色彩特征不变量比较
本文引用文献[8]的方法利用色彩特征不变量进行阴影检测,定义候选阴影区域和对应背景区域的归一化色彩特征不变量色差表达式为
式中:K为R,G,B三颜色通道之一;IS和IB分别为候选阴影区域和对应的背景区域,为了减少计算量,用IR(x,y)+IG(x,y)+IB(x,y)表示近似。
对于运动前景的每一个像素点P(x,y)计算CDK(x,y),根据文献[8]的假设,阴影区域像素点的CDK(x,y)服从高斯分布,且均值趋向于0;而真实运动目标区域像素点的CDK(x,y)因目标颜色分布的差异而不尽相同。因此可以认为如果一个像素点的CDK(x,y)与0相差较远,则认为该像素点是真实的运动目标。统计分析,发现阴影区域像素点的CDK(x,y)一般分布在[-0.1,0.1]范围内,故为了提高统计样本区域的估计精度减少目标区域的干扰,取阴影限制条件为通过统计分析,得到自适应估计阈值
式中:K为表征置信度的常数,取值为 2.58。因此,当CDK(x,y)值满足以下条件时,判定当前像素为阴影像素
阴影不改变覆盖区域的纹理特性[4],即阴影区域与对应背景区域的纹理具有相似性。文献[9]采用NCC(归一化互相关)算法对运动前景区域与相应背景区域的纹理进行相似性度量。NCC的值越接近1,说明前景区域与对应的背景区域的纹理越相似,将相应的前景判定为阴影的可能性越大。其中,B(x,y)为混合高斯模型得到的背景灰度图像,C(x,y)为与当前背景帧对应的视频序列帧的灰度图像,对于每一个前景像素P(x,y),定义一个以其为中心,半径为R的矩形模板(2R+1)×(2R+1)。像素点P(x,y)的NCC值计算如下
其中
当NCC(x,y)≥THNCC,P(x,y)被判断为阴影。
通过实验,上述算法存在以下2个问题:1)固定的模板大小:由于物体表面的纹理有疏有密,千差万别,固定大小的模板不能针对不同纹理自适应地进行调整。模板较小,包含的信息量较少,对表面纹理不明显的区域检测效果不佳;模板较大,包含的信息量较多,受噪声干扰的可能性也越大。2)手工选取阈值:手工选取阈值难度较大、准确性不高,阈值较小,一部分真实的运动目标会被误检为阴影;阈值过大,一部分阴影会被误检为运动目标。
为了有效改善上面提及的问题,本文提出2点改进措施:
1)自适应地确定模板大小
算法初始阶段本文引进了一个判别区域纹理疏密的因子∂R(方差)。先对局部区域的纹理疏密作一个评估,根据评估的结果自适应的调整模板大小。首先,分别对候选阴影区域和背景区域计算模板方差,初始R=1,当任意一个方差大于一定阈值THd,确定测量模板半径为R,此时以R为半径进行纹理相似性度量效果最佳。与固定模板相比,此方法通过纹理疏密程度自适应地选取合适的模板半径,既能很好地解决固定小模板对于纹理不明显区域检测效果不理想的事实,又能有效改善固定大模板容易受到噪声干扰的不足。通过大量实验得知,模板的半径不能过大,一般限制在4 pixel(像素)的范围内。
2)动态确定阈值
对于阴影区域,由于和背景具有较强的线性关系,因此NCC(x,y)是一个趋近于1的较大值,并集中在一个较小的区间内;而对于运动目标区域,由于和背景没有相关性或相关性较小,因此相应的NCC(x,y)较小,且会在较大区间内变化。由于阴影区域的NCC(x,y)值分布在一个很小的范围内,而运动目标区域的NCC(x,y)值分布范围较广。为了使检测阈值更加合理,本文采用类似于文献[10]中的动态阈值估计方法。
同样,假定阴影区域的归一化互相关值服从高斯分布,即
式中:UNCC为阴影像素点归一化互相关的均值,为阴影像素点归一化互相关的方差。统计分析,发现阴影区域像素点的NCC(x,y)一般不小于0.93,为了提高统计样本区域的估计精度减少目标区域的干扰,取阴影限制条件为
则自适应动态阈值公式为
式中:K为表征置信度的常数,取值为2.58。
1)利用阴影区域和对应背景区域像素点的亮度特征及色彩特征不变量,初步确定疑似阴影区域。
2)结合改进的NCC纹理算法对初步确定的疑似阴影区域进行纹理相似性度量,进一步得到更为准确的阴影候选区域。
3)最后利用类似于文献[8]的误判处理获得最终的运动阴影。
算法在MATLAB 2008下运行,为了验证本文提出的自适应NCC算法的有效性,对包含阴影的运动前景只进行纹理相似性检测,如图1所示。
由图1c和图1d可知,阈值相同,较小的模板造成真实运动目标被误检为阴影的像素点个数较多;较大的模板,虽然提高了运动目标的检测能力,但由于噪声的干扰,部分阴影点被误检为真实的运动目标。由图1c和图1e可知,模板大小相同,较小的阈值造成真实的运动目标被误检为阴影的像素点个数较多,较大的阈值则将部分阴影点误检为真实的运动目标;图1f通过比较,改进的NCC算法在有效降低噪声干扰的前提下提高了运动目标检测率,并有效保留了几乎所有的阴影点。
图1 纹理阴影检测结果(截图)
为了验证本文提出的融合纹理和颜色的运动阴影检测算法的有效性,分别对室内和室外的显著阴影和非显著阴影视频序列做实验,如图2和图3所示。
图2 Outdoor视频序列阴影检测结果(截图)
图3 Indoor视频序列阴影检测结果(截图)
由图2和图3可以看出,无论是室外显著阴影还是室内弱阴影,本文方法都能较为准确地检测到阴影像素。
为了对本文提出的算法进行比较,采用文献[11]提出的阴影检测率η和阴影判别率ζ进行效果评价。
式中:TPS为阴影像素被正确检出的数目,FNS为真实阴影像素被误判为运动前景的数目,TPF为运动前景像素被正确检出的数目,FNF为真实运动前景像素被误判为阴影的数目。各种阴影检测算法性能比较如表1所示。
表1 各种阴影检测算法性能比较 %
由表1可得,无论在阴影检测率还是阴影判别率上,相比文献[11]提出的算法,本文方法都明显较高或基本与其持平。
本文提出了一种改进的NCC(归一化互相关)纹理相似性度量算法,并结合亮度和归一化颜色特征进行阴影检测。该算法能够根据视频序列图像的纹理疏密程度在有效降低噪声干扰的前提下自适应地选择模板大小,在不同的图像分辨率下取得最佳检测效果;动态估计确定阴影判别阈值使算法更加具有合理性。另外,本文算法能够较好地从前景像素中提取阴影区域,无需人为干预。下一步工作,在获得去除阴影干扰的真实运动目标后,将重点研究在复杂环境下如何对运动目标实施实时准确的跟踪。
[1]应卓瑜,邵亮,顾伟康,等.基于二维道路图像理解算法的阴影检测[J].电视技术,2004,28(10):78-80.
[2] MARTELBN,ZACCARINA.Moving castshadow detection from aGaussian mixture shadow model[C]//Proc.Computer Vision and Pattern Recognition.[S.l.]:IEEE Press,2005:643-648.
[3]冯文刚,高隽,BUCKLESB,等.多颜色空间中目标约束的车辆阴影分割研究[J].中国图象图形学报,2011,16(9):1599-1606.
[4]任建强.一种自适应的运动目标阴影消除新算法[J].计算机工程及应用,2010,46(36):188-191.
[5]郝灿,朱信忠,赵建民,等.基于改进型LBP特征的运动阴影去除算法[J].计算机系统应用,2010,19(5):80-83.
[6]高凯亮,覃团发,陈俊江,等.综合灰度和纹理特征的运动阴影检测方法[J].电视技术,2012,36(7):115-117.
[7]李晗,武奇生.融合颜色相关性和纹理差异的阴影检测方法[J].计算机工程,2011,37(15):146-148.
[8] YE Jianhua,GAO Tao,ZHANG Jun.Moving object detection with background subtraction and shadow removal[C]//Proc.2012 9th International Conference on Fuzzy Systems and Knowledge Discovery.Chengdu,China:IEEE Press,2012:1859-1863.
[9] YUAN Chao,YANG Chenhui,XU Zhiming.Simple vehicle detection with shadow removal at intersection[C]//Proc.2010 Second International Conference on Multimedia and Information Technology.Kaifeng,China:IEEE Press,2010:188-191.
[10]陈延涛,熊运余,唐飞,等.基于区域统计及YUV色度特性的阴影消除[J].光电子·激光,2009,20(9):1218-1222.
[11] PRATIA,MIKIC I,TRIVEDIM M,et al.Detectingmoving shadows:algorithms and evaluation[J].IEEE Trans.Pattern Analysis and Machine Intelligence,2003,25(7):918-923.