多信息融合的视频运动目标阴影去除算法

张　鹏，杨燕翔

(西华大学　电气与电子信息学院，四川　成都　610039)

多信息融合的视频运动目标阴影去除算法

张鹏，杨燕翔

(西华大学电气与电子信息学院，四川成都610039)

摘要:针对传统HSV空间阴影去除模型中阈值难以确定、计算复杂及检测效率较低等问题，在对传统运动目标阴影去除算法进行深入研究的基础上，首先融入一阶梯度信息对传统HSV空间阴影去除模型的不足之处进行针对性改进，然后在此基础上融入反射比不变量提出了一种多信息融合的视频运动目标阴影去除算法。该算法在改进HSV空间阴影去除算法的基础上，进一步引入阴影候选像素及其对应背景区域像素的反射比不变特性来实现阴影区域更为精确的检测，从而有效区分并去除运动目标的阴影像素。实验结果表明，该算法在实际应用中具有较高的有效性和通用性。

关键词:阴影去除；一阶梯度信息；反射比；阴影候选像素

随着视频运动目标检测技术的飞速发展，实际应用过程中，对于检测精度与实时性的要求也愈发严苛。由于物体遮挡光线从而产生阴影，在诸多实际场景中，视频运动目标检测方法会不可避免的同时将所检测到的运动目标及其所产生的阴影区域一并提取出来，进而极易造成机器视觉系统后续处理过程中运动目标错误的分割、定位、跟踪等。因此，近年来如何有效检测并去除前景图像中的阴影区域成为一个热门的研究方向。运动目标所产生的阴影区域中包含了目标物体轮廓、纹理等有利信息，但与此同时目标的阴影区域对于 后续的图像分析处理、目标行文理解等却带来了很多阻碍，从而一定程度上制约了机器视觉系统的进一步发展。 可以利用运动目标检测策略有效区分视频图像序列中的背景区域与前景目标区域，然而，所提取出的前景目标区域中也不免混入部分目标阴影区域。这个问题对于提高前景目标物体的检测效果带来了极大的影响，当视频序列中运动目标物体受到遮挡或与其他物体发生粘连时，还将引起运动目标的运动形状、大小的改变或异常，这些影响将导致机器视觉系统后续的目标跟踪、行为判定等环节出现较大偏差，甚至根本无法完成后续处理。所以运动目标阴影区域的有效检测及去除在运动目标检测部分也是不可或缺的重要内容。

目前，针对视频运动目标阴影区域的检测去除方法[1]，国内外大批研究人员提出了多种多样的不同算法，其检测去除效率也各有所长。总的来说，这些算法可以概括为基于模型以及基于颜色特征两类方法，其中基于模型的算法简而言之就是假设视频图像中运动目标的诸多属性事先已知，可以针对性的构建这些属性所对应的数学模型从而达到检测去除阴影区域的目的，但是在实际复杂的应用过程中，这种事先运动目标属性已知的假设往往是不成立的。基于颜色特征的算法顾名思义就是利用视频中运动目标及其所产生的阴影区域在当前应用场景中不同的颜色特性来实现运动目标及其所对应阴影区域的精确分离。

在研究对比了大量传统阴影去除算法的基础上，针对传统HSV色彩空间阴影去除模型中判定阈值难以确定、计算复杂及检测效率较低等问题，本文融入一阶梯度信息对其不足之处进行针对性改进，并据此介绍一种多信息融合的视频运动目标阴影检测去除算法。针对不同应用场景下的仿真结果表明，本文所提算法无论是对于室内环境下人体目标的弱阴影检测去除还是针对室外环境下高速运动的车辆目标的强阴影检测去除，均具有较高的去除效率及准确率。

1HSV色彩空间阴影去除

HSV色彩空间模型[2-3]于1978年提出，是目前最能反映人眼视觉系统对色彩的感知方式的一种比较直观的经典颜色模型。HSV色彩空间模型的颜色封装较之其他颜色模型更加符合人类的视觉特性。此外，就户外场景而言，在HSV色彩空间模型检测运动目标亮度和色度的变化较之在RGB色彩空间模型中检测更为简单有效。综上几点，故而本文采用HSV颜色空间模型进行运动目标阴影区域的检测并消除。

1.1传统HSV色彩空间的阴影去除模型

根据运动阴影区域在HSV色彩空间的属性，可根据式(1)进行阴影区域的检测[4]

(1)

式中：IH(x,y)，IS(x,y)，IV(x,y)依次为当前帧图像中任一像素I(x,y)的H，S，Y三个分量的值，相对应的BH(x,y)，BS(x,y)，BV(x,y)则分别表示所对应的背景区域像素的H，S，Y三个分量的值。当任一像素满足式中判定条件即HSV(x,y)的值为1时，表示为检测到的阴影；当任一像素不满足式中判定条件即HSV(x,y)的值为0时则为非阴影区域。其中，判定阈值α及β满足0<α<β<1，α的取值需要依照当前场景中的光照强度而定，通常情况下，场景中光照强度越小，运动目标所形成的阴影区域就会越淡，对应的α取值也就随之越小；β则是用来增强算法对图像序列中噪声点的鲁棒性，其取值应小于1，以避免过多的像素点被检测为阴影区域。参数θs及θh的取值则主要凭经验而定，需通过多次实验方可确定。

1.2改进HSV色彩空间的阴影去除模型

通过式(1)所示的传统经典HSV色彩空间阴影去除模型检测后，一般情况下可以得到较为理想的阴影区域去除效果，但在实际应用过程中，其需要针对不同的视频环境设置不同的参数阈值，且其判定参数阈值的确定往往需要根据经验或者必须通过多次反复实验方能确定，如此便导致了其在实际应用过程中存在诸多的局限性。针对此问题，文献[5]所提方法可以在一定程度上有效改进，但文献[5]中所设置的前景像素亮度与对应背景像素亮度比值这一主导因素的判定条件可以取值为0和1，此时无法判定阴影区域。此外，阴影区域的颜色信息与运动目标所处的地面颜色信息息息相关，某些情况下，运动目标及其所产生的阴影区域在颜色信息上并没有显著差别，此时如果仅仅依靠像素点的颜色信息并不能可靠地分辨出该像素点是否属于阴影区域。针对上述不足，本文在研究对比了大量传统阴影去除算法的基础上，对其做出以下改进。

改进一：通过对传统HSV色彩空间阴影去除模型中所有分量在算法执行过程中的变化趋势进行深入的对比分析后可知，传统经典模型中H分量与S分量对阴影区域的判别所起作用甚微，且正是H分量与S分量的判定条件阈值难以确定，限制了其实际应用；与此同时，V分量则对阴影区域的判定结果起着至关重要的主导作用。为此，本文沿用文献[5]的思想直接去除传统HSV色彩空间阴影去除模型中对阴影区域判定结果所起作用微乎其微的H分量与S分量的判别条件，取而代之的是加入视频图像序列当前时刻图像与前一时刻图像的亮度差值变化这一新的约束条件，同时对最终判定结果起主导因素的V通道判别条件阈值取固定值，从而避免了通过多次实验方能确定检测阈值的不足，与文献[5]不同的是本文改进方法缩小了前景像素亮度与对应背景像素亮度比值这一主导因素判定条件的取值范围，使其不能取值为0或1，参数取值范围更加合理有效，避免了其取值为0或1时无法判定阴影区域的情况。

如果该像素点满足

(2)

综上，本文提出一种改进HSV色彩空间的阴影判别模型如下

(3)

本文通过在传统HSV色彩空间阴影去除模型中加入视频图像序列当前时刻图像与前一时刻图像的亮度差值变化这一新的约束条件，并对最终判定结果起主导因素的V通道判别条件阈值取固定值且缩小判定条件的取值范围以避免其取值为0或1时无法判定阴影区域的情况，同时去除原模型中对阴影区域判定结果所起作用微乎其微的H分量与S分量判定条件，进一步提高了算法效率；此外，融入一阶梯度信息处理，可有效解决运动目标及其所产生的阴影在颜色信息上无显著差别时仅依靠像素点的颜色信息无法可靠判别像素点是否为阴影像素的情况。改进模型无需在不同的视频环境下通过多次实验确定不同的阈值，从而扩展了其适用性，进一步提高了实时性能及检测效率。仿真结果显示，相比于传统检测模型，改进检测模型的检测结果更加完整。

2多信息融合视频运动目标阴影去除算法

2.1阴影存在与否的判断

在实际应用过程中，机器视觉系统并不需要在任何时刻都进行运动目标阴影的检测及消除，例如阴天的时候，物体基本上不会产生阴影或者是所产生的阴影区域亮度很小并不会对目标检测及后续处理产生影响；亦或场景中照射光源距离运动目标高度比较高时，所产生的阴影区域面积很小也不会对目标检测及后续处理产生影响。诸如以上情况下，阴影区域对于运动目标的几何特性影响很小，故而不需要进行阴影区域的检测及去除。为了避免机器视觉系统在不必要进行阴影区域检测及去除的情况下依然运行阴影检测消除算法从而导致系统效率降低的情况，为此，本文首先采用如下的亮度估计方法[7]，以确定当前应用环境下是否需要进行阴影区域的检测及消除。

对于某一运动目标区域，设其R，G，B三个通道的值分别为R(x,y),G(x,y),B(x,y)；对应的设其背景的R，G，B三个通道的值分别为Rb(x,y),Gb(x,y),Bb(x,y)。如果图像序列中任一像素点同时满足R(x,y)

PD=nD/(nB+nD)

(4)

式中：PD表示图像序列中暗点在整个区域内所占的比例。

(5)

如果运动目标在当前应用场景中清晰可见，便可随之认为当前应用场景是高亮度的，例如有光照的白天；反之，如果运动目标在当前应用场景中难以辨认，亦可随之认为当前应用场景是低亮度的，诸如晚上、阴雨天或者大雾天等等。通常情况下只有在高亮度的白天运动目标才会遮挡光线从而产生阴影区域，基于此如何判断当前应用场景下运动阴影是否存在的问题便可以利用运动目标的亮度能量值EB来度量解决，在此基础上，同时引入参数PD=nD/(nB+nD)来表示图像序列中暗点在整个区域内所占的比例。通过计算判断，如果出现以下两种情况之一：1)EB值较小；2)EB值较大但PD值较小，若计算出现以上两种情况之一则都可以说明当前应用场景中的亮度级较低或者相较于场景而言运动阴影区域的面积较小，不会对运动目标检测及后续处理产生影响，即此时不需要进行阴影区域的检测及消除。

2.2图像的颜色模型

图像序列中物体表面上任一像素点的颜色值Im(m∈R,G,B)取决于该像素点对场景中光源光的光谱反射，机器视觉系统中摄像机测量物体的颜色值可表示如下

Im(p)=∫λe(λ,p)·ρ(λ,p)·fm(λ)dλ

(6)

式中：p是图像中物体表面上的任一像素点；λ为可见光的波长；e(λ,p)是场景中照射光源的光谱强度；ρ(λ,p)是像素点p的光谱反射率；fm(λ)是采集系统传感器的光谱灵敏度。ρ(λ,p)的取值决定于机器视觉系统中摄像机的角度及当前应用场景中光源的入射方向。

可以假定机器视觉系统中采集摄像机仅对当前应用场景中入射光源单一的波长λm敏感，如此便可以得到fm(λ)=fm×δ(λ-λm)。所以式(6)所示的图像颜色模型[8]可进一步简化为

Im=e(λm,p)ρ(λm,p)fm(λm)

(7)

2.3反射率比

Nayar和Bolle提出了图像中相邻两像素点的反射比[7]的光度不变量，其是一个与物体表面的几何性质及光照强度无关的量。由式(7)所给图像的颜色模型可得，机器视觉系统中传感器对物体表面上任意两像素点p1和p2的响应值可表示如下

Im(p1)=e(λm,p1)ρ(λm,p1)fm(λm)

(8)

Im(p2)=e(λm,p2)ρ(λm,p2)fm(λm)

(9)

实际应用过程中， 可以从场景中运动目标平滑过渡表面上取得两个相邻的像素点p1和p2，如此一来p1和p2两点便几乎被场景中同一光源照明，也即e(p1)=e(p2)。同时，因为物体平滑过渡表面上的相邻两像素点其表面法向方向也势必相同，故而此时采集摄像机的传感器方向以及场景中光源的入射方向对于p1和p2两点而言也是相同的。综上，传感器对p1和p2两点的响应值又可以表示如下

Im(p1)=e(λm)ρ(λm,p1)fm

(10)

Im(p2)=e(λm)ρ(λm,p2)fm

(11)

据此，可以定义p1和p2两点的反射比r为

(12)

由式(11)反射比的定义可见，图像序列中运动物体平滑过渡表面上相邻两像素点的反射比r与场景中照射光源e无关，而只是与p1和p2两点的反射属性ρ有关。

此外，为了避免计算过程中当Im(p2)=0时，r→∞从而给计算带来困难，重新定义p1和p2两点的反射比r

(13)

如此处理后将p1和p2两点的反射比r限制在[-1，+1]范围之内。

2.4多信息融合的视频运动目标阴影去除算法

本文算法在运动目标检测部分得到运动目标前景及对应背景后，首先进行当前环境下阴影存在与否的判断，从而确定当前帧是否需要进行阴影区域的检测及去除，以免机器视觉系统在不必要进行阴影区域检测及去除的情况下依然运行阴影检测消除算法从而导致系统效率降低；经判定后如果当前帧需要进行阴影区域的检测及去除则分别利用改进的HSV阴影去除模型及反射率比在上步所得到的暗区中进行阴影区域的检测去除；最后将两种方法所得到的检测去除结果进行有效结合，经过后续处理后得到最终的阴影去除结果。本文算法整体流程如图1所示。

图1　本文阴影去除算法整体流程

通过改进HSV阴影去除模型进行运动目标阴影区域的初步去除后，为得到更为精确的阴影像素，本文进一步引入阴影候选像素及其对应背景区域像素的反射比不变特性来实现阴影区域更为精确的检测。其核心思想为：假定某一像素隶属于阴影区域，那么该像素在阴影遮挡前后与其所对应同一位置处背景像素的对比来看，该点与它相邻像素点的反射比仅仅与其反射属性相关而与光照是没有关系的，基于此便可以通过对场景中阴影候选区域内每一个像素点的8-邻域内所包含的所有像素的所有颜色分量的反射率逐一计算判断来进行阴影像素的进一步区分。如若某一像素隶属于阴影区域，那么通过上面的分析知道在阴影遮挡前后该像素点的反射属性是固定不变的。另外，不可避免的受到系统噪声等因素的影响，计算所得到的反射比应该会落在一个比较小的区间之内。综上，可以定义Sm(x,y)为视频图像序列中(x,y)位置处的阴影候选像素，可根据式(14)来计算像素在RGB颜色空间内所有颜色通道上的反射比R。任一像素及其8-邻域内所包含的所有像素Sm(x+i,y+j)(i=-1,0,1；j=-1,0,1)在RGB颜色空间内的各个颜色分量的反射比为

(14)

同理，可以计算图像序列中位置为(x,y)处背景模型像素Bm(x,y)的8-邻域内所有像素各个颜色分量的反射比为

(15)

本文的判定规则是，如若通过计算得到当前图像帧中任一运动目标区域像素及其8-邻域内所包含的所有像素在RGB颜色空间的各个颜色通道内的反射率的值与对应的背景区域相同位置处的像素及其8-邻域内所包含的所有像素在RGB颜色空间的各个颜色通道内的反射率的值满足

(16)

最后，本文将分别使用改进HSV阴影去除模型与反射率比阴影去除模型所得到的阴影去除结果进行逻辑或运算，将二者检测去除结果进行有效结合，便可得到最终的阴影去除结果

(17)

3实验对比

3.1实验结果

针对本文提出的运动目标阴影去除算法，采用MatlabR2012a[9]进行仿真实验。为验证算法的有效性，分别采用传统HSV阴影去除算法、改进HSV阴影去除算法、反射率不变量阴影去除以及本文所提算法对4段具有挑战性的标准视频图像进行处理，部分处理结果如图2～5所示。

a　当前图像　　　b　前景二值图像　　　c　传统HSV阴影去除结果

d　反射率阴影　　　e　改进HSV阴影　　　f　本文算法阴影　 去除结果　　　 　　去除结果　 　 　　　　去除结果　　图2　Highway视频序列算法仿真结果

a　当前图像　　　b　前景二值图像　　　c　传统HSV阴影去除结果

d　反射率阴影　　　e　改进HSV阴影　　　f　本文算法阴影　 去除结果　　　 　　去除结果　 　 　　　　去除结果　　图3　Intelligent Room视频序列算法仿真结果

a　当前图像　　　b　前景二值图像　　　c　传统HSV阴影去除结果

d　反射率阴影　　　e　改进HSV阴影　　　f　本文算法阴影　 去除结果　　　 　　去除结果　 　 　　　　去除结果　　图4　Laboratory视频序列算法仿真结果

a　当前图像　　　b　前景二值图像　　　c　传统HSV阴影去除结果

d　反射率阴影　　　e　改进HSV阴影　　　f　本文算法阴影　 去除结果　　　 　　去除结果　 　 　　　　去除结果　　图5　Library视频序列算法仿真结果

本文对传统HSV阴影去除算法、改进HSV阴影去除算法、反射率不变量阴影去除以及本文所提阴影去除算法分别在4段具有挑战性的标准视频图像环境下进行仿真测试。仿真结果可见本文所提阴影去除算法可以有效区分并去除运动目标的阴影像素，去除效率较传统方法有明显提升，改善并提高了目标检测算法的性能。

3.2度量对比

本文采用文献[10]中所提出的阴影检测率η和阴影识别率ε两个指标对所提算法的性能进行定量评估，其定义如下

(18)

图6、图7所示分别为传统HSV阴影去除算法、改进HSV阴影去除算法以及本文所提阴影去除算法对四段视频处理的阴影检测率及识别率对比。

图6　不同算法阴影检测率对比

图7　不同算法阴影识别率对比

通过对比可见，本文所提算法较之其他几种方法检测效率及检测精度均有所提升。

4结语

本文针对传统HSV空间阴影去除模型的不足之处进行了针对性改进，并据此介绍了一种多信息融合的视频运动目标阴影去除算法。该算法在改进HSV空间阴影去除模型的基础上，进一步引入阴影候选像素及其对应背景区域像素的反射比不变特性来实现阴影区域更为精确的检测。针对不同应用场景下的仿真结果表明，较之其他类似算法，本文所提算法无论是对于室内环境下人体目标的弱阴影检测去除还是针对室外环境下高速运动的车辆目标的强阴影检测去除，均具有较高的去除效率及准确率，算法适用性较强，具有较高的工程应用价值。

参考文献：

[1]杜友田，陈峰，徐文立．基于区域的运动阴影检测方法[J]．清华大学学报(自然科学版)，2006，46(1)：141-144.

[2]谭家政，刘勇，邱芹军．改进的HSV阴影去除算法研究[J]．物联网技术，2014(1)：84-86.

[3]黄建强，曹腾飞，郭文静，等．联合两种颜色空间的阴影检测算法[J]．计算机技术与发展，2014，24(7)：96-97.

[4]李静，车进，朱金艳．基于颜色空间转换的运动目标检测与阴影去除[J]．电视技术，2013，37(13)：172-175.

[5]高东旭，曹江涛，李平．基于HSV空间阴影去除方法研究与应用[J]．电子设计工程，2014，22(13)：65-68.

[6]KUMAR P，SENGUPTA K，LEE A，et al. A comparative study of different color spaces for foreground and shadow detection for traffic monitoring system[J]. IEEE international conference on intelligent transportation system，2002(9)： 3-6.

[7]辛慧杰，刘明才，牟连泳，等．基于阴影属性的运动阴影检测方法[J]．大连民族学院学报，2010，12(3)：255-256.

[8]李广伦，殳伟群．运动目标的阴影实时检测和消除[J]．小型微型计算机系统，2011，32(2)：361-364.

[9]张德丰．MATLAB数字图像处理[M]．北京：机械工业出版社，2009.

[10]PRATI A，MIKIC C，TRIVEDI M，et al.Detecting moving shadows： algorithms and evaluation[J]. IEEE transactions on pattern analysis and machine intelligence，2003，25(7)：918-923．

责任编辑：时雯

Multiple information fusion of video moving target shadow removal algorithm

ZHANG Peng，YANG Yanxiang

(SchoolofElectricalEngineeringandElectronicInformation,XihuaUniversity，Chengdu610039，China)

Abstract:In view of the series of problems that it is difficult to determine the threshold value in the model of removing the traditional HSV space shadow， and complex to accomplish the computation as well as the improvement of low detection efficiency， which is based on the in-depth algorithmic study for the traditional shadow removing of a moving target， focuses on the purposeful improvement of the first-order gradient information deficiencies in the model of removing the traditional HSV space shadow. Thereafter， it puts forward a new shadow removal algorithm of multiple video information fusions by introducing the reflectance invariants into it. The experiment results have illustrated that this algorithm possesses a higher validity and universality in the practical applications. It can not only improve the algorithm of the traditional HSV space shadow removal， but also realize the more exact detections in the shadow area through the integration of reflectance invariants characteristics between the shadow candidate pixels and the background pixels. In the end， this algorithm is able to effectively distinguish and remove the shadow pixels of the moving object.

Key words:shadow removal； first order gradient information； reflectance； shadow candidate pixels

中图分类号:TN911.73

文献标志码：A

DOI：10.16280/j.videoe.2016.02.011

收稿日期：2015-05-25

文献引用格式：张鹏，杨燕翔.多信息融合的视频运动目标阴影去除算法[J].电视技术,2016，40(2)：59-64.

ZHANG P，YANG Y X. Multiple information fusion of video moving target shadow removal algorithm[J].Video engineering,2016,40(2)：59-64.