杨尚斌, 刘秉瀚
(福州大学数学与计算机科学学院, 福建 福州 350116)
基于Log-gabor小波的运动目标阴影检测
杨尚斌, 刘秉瀚
(福州大学数学与计算机科学学院, 福建 福州350116)
针对阴影覆盖前后的场景纹理相似的特点和Gabor小波在纹理特征提取上的不足, 利用Log-gabor在纹理特征提取上的较优性能及对光照的不敏感性, 提出一种基于Log-gabor的运动目标阴影检测方法. 首先根据阴影在颜色空间的特点, 利用像素点亮度变化规律, 对前景中包含阴影的运动目标进行检测, 提取疑似阴影区域. 然后对疑似阴影区域分块, 获取块Log-gabor纹理特征. 最后, 针对运动目标和道路纹理区别, 提出合理有效的阴影判定准则, 使用判定准则识别阴影. 实验结果表明, 所提方法在不需场景先验知识情况下, 能较快较准确检测出阴影.
阴影检测; 运动目标; Log-gabor纹理特征; 判定准则
运动目标对光线遮挡而产生的移动阴影, 和运动目标具有相同的运动属性, 且均明显区别背景颜色, 在图像处理中往往难以准确分割, 造成对运动目标的误判, 如: 多运动目标粘连致使运动目标丢失, 运动目标几何特征变化造成跟踪识别失误等. 因此移动阴影对运动目标的正确检测、 跟踪和识别有重大影响, 对其检测和抑制是非常有必要的.
当前阴影检测方法主要分为两类: 基于模型的方法和基于属性的方法. 基于模型的方法需要现场的先验信息进行模型建立, 具有较大局限性. 基于阴影属性有颜色、 梯度、 纹理. 文献[1]利用HSV空间中阴影点亮度变暗、 饱和度变小以及色调变化不大的特性识别阴影. 文献[2]对YCbCr颜色空间疑似阴影点建立混合高斯阴影模型识别阴影. 虽然颜色空间对光照具有一定的鲁棒性, 但包含空间结构信息非常有限, 易出现将运动目标误识为阴影的现象. 基于梯度的阴影检测是建立在像素点的梯度方向在光照前后保持一致的假设上. 文献[3]融合了颜色特征和梯度特征进行阴影检测. 文献[4]提出了基于梯度统计和区域生长融合的阴影检测, 对梯度差分别进行水平和垂直方向投影统计, 该方法局限性明显, 如较小阴影无法获得检测. 梯度不具备描述区域性特征的能力, 对噪声敏感, 受区域平坦程度的影响较大, 而纹理特征对光照, 噪声及区域平坦性具有更佳的鲁棒性. LBP和Gabor纹理是近几年常用纹理特征提取的方法[5-7]. 相比LBP, Gabor滤波器有着和人的视觉感受系统相似的特性, 对位置、 方向、 色彩和空间频率对称性等各种刺激属性具有选择性, 文献[6-7]中采用Gabor滤波器对前景和背景分块提取纹理特征, 并对相应块间进行纹理特征匹配从而提取出阴影. 然而, 对于属于中高频的纹理特征而言, Gabor低频表示过头, 高频欠表示的缺陷一定程度影响了纹理特征表达的准确性. 且Gabor受带宽限制, 要完全覆盖频谱域需较多滤波器. Log-gabor函数的提出在一定程度上弥补了这些缺陷.
研究发现, 人的视觉系统具有对称性非线性, 视觉神经元表达频率响应具有log对称性. Gabor函数不具有Log-gabor函数在log坐标轴上对称的特性, 因而Filed等[8-10]认为Log-gabor能更真实反应人类视觉系统的纹理认知机制, 提取纹理特征效果更佳. 据此, 本文提出一种基于Log-gabor纹理描述的运动目标阴影检测方法, 基本思路是: 在提取运动目标区域的基础上, 利用亮度信息快速检出疑似阴影区域, 然后提取疑似阴影区的Log-gabor纹理特征, 同时针对车辆道路纹理特点, 给出合理的判别准则. 实验结果表明, 本文算法能有效地检出运动目标阴影区域.
在图像处理中, Gabor变换能同时达到空域和频域最优局部化, 是提取图像局部纹理信息的最优函数. 纹理在方向、 频率、 精细程度上是多种多样, 其区分同时依赖形状(空间属性)和组织结构(频谱属性), Gabor滤波器具有多方向多尺度的特性, 可对纹理在空域和频域上进行有效的分析. 良好的分析能力使得Gabor被广泛应用于纹理特征提取上.
二维Gabor函数公式:
(1)
极坐标形式的二维Gabor滤波器可表示为:
(2)
其中: (ρ, θ)为极坐标; ρ0为滤波器的中心频率; θo为滤波方向;σρ,σθ分别为径向偏差和角度偏差.
Gabor变换仍存在限制: 1) 当带宽大于1倍频时,Gabor变换的实部会产生非零DC分量, 从而使Gabor变换带宽限制在1倍频内; 2) 偶对称Gabor滤波器组的传递函数中, 当高斯函数的标准偏差大于中心频率的1/3, 相邻两个高斯函数的尾巴会在原点重合, 导致产生非零DC分量. 非零DC分量影响我们在亮度跨度大的情况下构造互相正交的滤波器. 基于这两点, 要充分覆盖频谱平面就需要多个滤波器, 且需要设计好滤波器间的间隔与重叠的大小以减少信息冗余.Feild[8]提出了Log-gabor变换, 使得带宽限制得到改善.
自然图像能量通常主要集中在低频带, 而纹理图像的分布呈拟周期性, 其能量主要集中在中高频带. 笛卡尔坐标上, 图像能量主要集中在低频部分, 而在log坐标系上, 各个频段对能量的贡献是相当的. 这就意味着, 在log坐标系上进行Gabor滤波器组的设计更有利于纹理特征提取. 二维Log-gabor在频域极坐标上的表达式为:
(3)
其中: (f,θ)为极坐标;fs为滤波器中心频率; θo为滤波方向;σf是控制滤波器径向带宽的常数;σθ为控制滤波器角度带宽的常数;s, o分别表示滤波器的尺度和方向. 设计时使σf/fs值恒定, 即σf必须随着fs的变化而变化, 使得滤波器的形状恒定.
本文以Log-gabor函数为母小波, 对函数作适当的尺度和方向变换, 获得一组自相似的滤波器, 对图像进行多尺度多方向滤波处理.Log-gabor小波具有方向选择性, 纹理方向和滤波器方向越接近, 输出能量越大. 滤波输出响应作为特征描述以识别纹理.
滤波器纹理提取相对耗时, 本文结合阴影在颜色空间的特点, 在获取运动目标区的基础上利用亮度信息排除一部分非阴影区域, 减少下一步滤波器处理运算量, 以提高效率.
3.1运动目标提取
利用背景差分法算法得到背景帧, 前景帧和背景帧相减即可获得包括移动阴影在内的运动目标二值图. 对运动目标二值图进行去噪, 形态学处理.
3.2疑似阴影区域快速检出
在HSV空间中, 当像素点被阴影覆盖时, 理论上H不会有较大变化,S通常会变小, 而V则会变小. 经研究和实验表明, 当亮度V=max(R,B,G)比较低时, 道路上RGB三颜色较为接近, 色调H和饱和度S并未如上述稳定变化[11]. 因此, 本文仅选择亮度信息V进行快速宽松式阴影检测, 以获得疑似阴影区域, 可以减少后续检测的计算量.
前景图像I和背景图像B的亮度V满足时, 像素点(x,y)被检测为疑似阴影点:
(4)
阈值α, β选取适当宽松, 尽量把所有真正的阴影检测为疑似阴影.
3.3Log-gabor纹理特征
图像f(x,y)的Log-gabor滤波响应r(x,y,fs, θo)表示为:
(5)
其中: “*”为卷积运算;Hfs, θo是中心频率为fs, 方向为θo的Log-gabor滤波器;rs, o(x,y,fs, θo)视为像素点(x,y)的响应能量值. 每个滤波器只允许与其频率相对应的纹理通过, 纹理方向和其越吻合, 输出的能量越大.
纹理描述对尺度和方向的依赖性很强, 多个分辨率多方向下表达纹理降低其对尺度和方向的敏感性. 利用S×O个滤波器, 对疑似阴影区域纹理进行不同方向和频率的分解, 获得逐像元的纹理特征向量. 为了降低计算量, 滤波器模板不宜过大. 像元(x0,y0)的特征矩阵可定义为:
(6)
由于多个滤波器, 为了降低特征的维数并增强鲁棒性, 应将图像进行分块, 并对块内同一尺度同一方向的响应值r(x0,y0,fs, θo)求平均值和标准差, 可以有效地表示块纹理特征.
对滤波后的阴影响应区取大小为K×K的块,K的取值和图像分辨率及运动物体在图像中所占的比例有关系.K取值要恰当, 过大则表现阴影的粒度过大, 如检测块中包含过多边缘或者车辆信息将导致误判, 且丢失一部分空间信息. 过小则不能获得足够的纹理信息, 且受噪声影响大. 大小为K×K块响应能量均值与标准差为:
(7)
(8)
3.4阴影判定准则
文献[6]依据式(9)得到前景图像I块纹理和对应的背景图像B块纹理相似程度, 判断中心点是否为阴影.
(9)
在实际应用中, 式(9)容易将汽车纹理不丰富的表面部分(如玻璃部分)误判为阴影, 实验中我们发现, 这部分区域纹理比路面平滑, 意味着各方向能量均匀分布, 相较于纹理较为丰富的道路, 该区域各方向标准差变化较小. 另外, 一般标准差差值较小, 均值差值较大, 造成了式(9)以均值占主导而弱化了标准差, 而一般的归一化方法会增大不同方向不同尺度的均值和标准差数据相关. 如由于受光照、 噪声等影响, 当背景纹理特征某一方向尺度的均值和对应的前景纹理特征均值有较大差距时, 就可能引起背景和前景其他方向尺度的纹理特征不匹配, 造成匹配失败.
因此, 必须对均值和标准差进行适当的权重调整. 本文思路是: 当均值距离很接近时, 即两块纹理能量足够相似时, 可以判断其为阴影区域; 当均值距离较大时, 则引入标准差, 采用差值与和值的比值(见式(11))实现不同方向不同尺度的归一化, 达到在提升标准差权重的同时, 各方向各尺度特征匹配度不相互影响.
(10)
(11)
利用Log-gabor滤波器组对前景帧疑似阴影区域及相应的背景区域滤波, 分块计算块纹理特征. 利用改进判别式, 对前景帧块和相应的背景帧块纹理比较. 参照文献[6-7]及试验, 本文滤波器模板为5×5, 块大小为3×3, 根据一定阈值判断该3×3区域是否为阴影区域(见式(12)), 下一步对没判断过的区域再进行判断.
(12)
流程图表示如图1:
为了测试本方法的性能, 采用ATON(autonomousagentsforonsencenetworkedincidentmanagement)组织提供的两段高速公路视频(highI_raw.avi,highII_raw.avi)检验, 测试平台为Petium(R)daul-CoreCPUE5200 2.50GHz, 1.0GB内存,WindowsXP操作系统,VS2010, 图像处理库为OpenCV2.6. 本文算法详细参数见表1.
表1 算法参数设置Tab.1 Algorithm parameter settings
图2显示了本文算法对视频highI_raw的处理过程. 图(c)是前景帧和背景帧差分获得包含移动阴影的运动目标二值图, 以此获得前景和背景的ROI区域. 图(d)是利用亮度信息判断获得的疑似阴影图. 对疑似阴影区域取3×3小区域, 利用Log-gabor计算小区域的纹理特征, 使用本文提出方法比较特征并进行阴影判断.
图3显示了本文算法对车辆阴影处理结果. 从图3可看出, 本文算法对车辆阴影有较好的检测结果. 算法不需要车辆形状大小, 光照方向等先验信息, 因而具有较好的适应性.
针对highI_raw视频图像, 分别采用仅使用HSV的文献[1]DNM算法, 文献[6]Gabor算法, 未改进判定准则的Log-gabor方法(A算法)和改进判定准则的Log-gabor方法(B算法)进行阴影检测实验比对, 计算阴影检测率和物体检测率. 其中
式中: TPS和TPF分别为正确检测到的阴影像素点数和前景像素点数; FNS和FNF分别表示被误判为前景的阴影像素点数和被误判为阴影的前景像素点. 结果见表2.
表2 相关算法对照表Tab.2 Compare with related algorithms
从表中可以看出, A算法和文献[6]算法检测精度相当, 亮度排除一部分非阴影区, 计算量大大缩减. 改进判断式子, 本文算法检测效果获得提升. 由于highI_raw视频阴影区域较大, 滤波处理时间较高.
为了更好地表现出各算法处理差异, 使用前景和检测结果相结合的图例, 算法比较结果见图4. 图4(c)表明, 仅使用HSV检测容易将运动目标误判为阴影. 图4(d)中结合颜色模型的Gabor方法[6]较好检测出阴影, 由于前景阴影边缘区域有明显梯度, 这部分纹理和相应的背景纹理差别较大, 边缘区域得不到有效的检测. 图4(e)使用简单欧式距离判别的本文处理方法, 由于本文所采用块匹配, 边缘处检测得到一定程度的改善, 但同时一定程度增大了误检率. 图4(f)采用本文改进判定准则, 误检率有所降低, 获得良好的阴影检测效果.
提出基于Log-gabor纹理特征提取的阴影检测, 结合亮度信息, 对图片帧提取ROI区域, 改进了判断准则, 划块比较纹理. 实验表明, 本方法在保持较高精度的同时, 提高了算法效率, 并在一定程度上改善了边缘检测. 下一步工作将对如何更优地构造Log-gabor滤波器组进行研究, 充分发挥Log-gabor在带宽上的优势, 减少滤波器数量, 以提高算法速度.
[1] CUCCHIARA R, GRANA C, PICCARDI M,etal. Improving shadow suppression in moving object detection with HSV color information[C]// Proceedings of IEEE Intelligent Transportation Systems Conference. Oakland: IEEE, 2001: 334-339.
[2] 张红颖, 李鸿, 孙毅刚. 基于混合高斯模型的阴影去除算法[J]. 计算机应用, 2013, 33(1): 31-34.
[3] 刘宏, 李锦涛, 刘群, 等. 融合颜色和梯度特征的运动阴影消除方法[J]. 计算机辅助设计与图形学学报, 2007, 19(10): 1 279-1 285.
[4] 曹阳, 曲仕茹, 张飞, 等. 基于梯度统计和区域生长融合的运动车辆阴影检测方法[J]. 传感技术学报, 2010, 23(3): 413-417.
[5] 胡园园, 王让定. 基于局部纹理不变性的运动阴影去除算法[J]. 计算机应用, 2008, 28(12): 3 141-3 143.
[6] 柏柯嘉, 刘伟铭, 汤义. 基于 Gabor 小波和颜色模型的阴影检测算法[J]. 华南理工大学学报(自然科学版), 2009, 37(1): 64-68.
[7] LEONE A, DISTANTE C. Shadow detection for moving objects based on texture analysis[J]. Pattern Recognition, 2007, 40(4): 1 222-1 233.
[8] FIELD D J. Relations between the statistics of natural images and the response properties of cortical cells[J]. J Opt Soc Am A, 1987, 4(12): 2 379-2 394.
[9] ARROSPIDE J, SALGADO L. Log-gabor filters for image-based vehicle verification[J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society, 2013, 22(6): 2 286-2 295.
[10] FISCHER S, SROUBK F, PERRINET L,etal. Self-invertible 2D log-gabor wavelets[J]. International Journal of Computer Vision, 2007, 75(2): 231-246.
[11] 董蓉, 李勃, 陈启美. 路况视频中 HSV 彩色不变量阴影检测法研究与改进[J]. 中国图象图形学报, 2009, 14(12): 2 483-2 488.
(责任编辑: 林晓)
Moving target shadow detection based on Log-gabor wavelet
YANG Shangbin, LIU Binghan
(College of Mathematics and Computer Science, Fuzhou University, Fuzhou, Fujian 350116, China)
Before and after shadow covering, the textures of scenes are similar. Compared with Gaborwavelet, Log-gabor wavelet have better performance on the texture feature extraction, and not sensitive to light, so we put forward a method of moving shadow detection based on Log-gabor. Firstly, according to the feature of the shadow in color space, we judge the probable shadow via analyzing the brightness of moving targets including shadow. Secondly, we put the probable shadow area divided into small regions, extract texture feature with Log-gabor wavelet. At last, due to the difference between moving targets textures and road textures, we put forward a reasonable and effective criterion for judgment, then we judge shadow area with the criterion. The experimental results show that the proposed algorithm is efficient and robust in shadow detection without priori information.
shadow detection; moving target; Log-gabor texture feature; criterion
10.7631/issn.1000-2243.2016.01.0026
1000-2243(2016)01-0026-07
2014-05-22
刘秉瀚(1963-), 教授, 主要从事模式识别、 图像处理等研究, lbh@fzu.edu.cn
福建省自然科学基金资助项目(2013J01186,2012J01263)
TP391.41
A