基于帧差法的运动车辆阴影去除算法

李　萌，郑娟毅，门　瑜

(西安邮电大学 通信与信息工程学院，陕西 西安 710121)



基于帧差法的运动车辆阴影去除算法

李萌，郑娟毅，门瑜

(西安邮电大学 通信与信息工程学院，陕西 西安 710121)

在视频交通车辆目标检测中，阴影问题是影响其检测准确性的关键问题之一。为了解决这个问题，提出了一种结合单模高斯模型和帧差法的运动目标阴影去除方法。首先通过单模高斯模型背景建模获取前景包括阴影在内的目标图像，再结合帧差法去除阴影。实验结果证明，该方法得到的车辆目标比较完整，并较好地去除了运动车辆阴影。

运动阴影去除；帧间差分法；单模高斯模型；车辆检测

交通流量[1]是指在单位时间内通过道路某一点或某一横截面的车辆数目，对于视频交通车辆目标检测就是为了方便统计交通流量。由于监控摄像机安装维护方便、获取信息量大的特点，使得视频车辆运动目标检测在交通流量统计中十分有用。为了准确检测出车辆目标，阴影问题就成为必须要解决的问题之一。本文介绍了通过帧差法[2]去除阴影的算法。

在实际的监控视频中，由于自然界光线被物体遮挡会造成阴影现象，而在目标检测[3]中，阴影常常会影响到检测结果。在车辆视频监控中，常常看到车辆阴影伴随着车辆一起运动，如果不加区分地把阴影看做车辆的一部分，可能会使检测结果中的运动区域增加，也有可能导致不同车道或同一车道上的多辆车连成一片区域，无法区分不同的车辆。这些都会影响到车辆的检测及车流量统计的准确性，因此，对车辆检测目标阴影的去除是十分必要的。

1　去除阴影的基本方法

在实际阴影分析中，车辆视频监控图像中的阴影一般具有以下几个特征：阴影区域只是亮度会明显降低，但并没有改变覆盖区域路面或其他基础设施的纹理；运动车辆与它的阴影有共同的运动属性[4]；虽然阴影主要是由车辆遮挡了光线的传播造成的投影，但阴影区域的形状大小与车辆自身的差距很大。基于这些特征，目前的阴影检测方法主要可以分为基于目标物体的形状特性[5]和基于阴影图像[6]的性质两大类。第一种方法主要是先了解检测目标的立体结构，然后在不同特性光源下计算阴影的形状和位置，但是在实际系统中需要大量的计算和存储空间，很难做到这一点。第二种方法主要通过分析阴影图像在色彩、亮度、形状等不同方面的特征来识别阴影区域，不容易实现。由于第一种方法具有局限性，因而第二种方法得到了广泛的研究和应用。

目前主要运用的阴影检测方法是基于RGB和HSV颜色空间的检测方法。RGB阴影检测[7]方法是利用阴影部分在3个颜色通道中的分量，依此以B，G，R顺序降低的特性来对阴影进行检测。有人提出了一种通过归一化色彩模型处理阴影[8]的方法，该方法首先获取彩色图像的RGB这3个通道分量，并对各个通道分量进行归一化处理，由于B通道分量包含阴影信息最多，所以对归一化和原始B分量进行阈值判决，最后通过小区域去除、形态学处理等手段，得到了比较准确的阴影区域。HSV[9]阴影检测方法的主要特点是利用色度(H)与饱和度(S)差别小，而图像像素的亮度值(V)在阴影区域的部分明显小于目标区域的特性进行阴影检测的。比较经典的一个判断阴影图像的公式如下

(1)

式中：F(x，y)表示图像中的阴影区域；1表阴影区，0表示非阴影区；I(x，y)表示当前帧图像；B(x，y)表示当前帧的背景图像；α和β是亮度阈值，必须满足0<α<β<1，根据当前帧光线强弱，调整α值的大小，若光线变强，阴影变暗，阴影的最低亮度值变小，则α变小，β限定了当前帧图像阴影区的亮度不能太接近背景亮度；γS是饱和度的阈值，实验证明，当背景区被覆盖成阴影时，该区域的饱和度会降低；γH是色度阈值，它的应用有助于取得更精确的检测结果，但γS和γH的值常常根据经验取得，自适应性弱。

当采用这类方法时，会使车辆自身与影子颜色相似的部分也被消除，造成车辆目标信息缺失，如图1所示，采用基于HSV颜色空间去除阴影效果图。很显然，虽然该方法有效地去除了车辆目标的阴影部分，但也使车辆边缘、车窗等部分区域被误判为阴影去除了。近些年，也有许多学者对这类方法提出了改进，改善了检测效果。如韩中民等人提出的一种综合色度、亮度和边缘信息的检测方法，但是算法复杂并且在特定的环境中才有较好的检测效果，在实际复杂的环境中很难做到较好地自适应检测，所以导致其使用受到一定的限制。

图1　基于HSV颜色空间去除阴影检测结果

2　帧间差分法

帧间差分法是一种基于图像视频序列中具有较强相关性的相邻两帧做差分运算来获取运动目标轮廓的方法，也可以是多帧图像或间隔几帧来互相做差分运算。其基本原理是：当运动目标经过图像采集设备的范围时，相距间隔比较近的几帧图像在运动目标附近区域会出现比较大的差别，选取两帧图像相减，就能得到运动目标变化区域亮度的绝对值，通过判断它与阈值的大小关系来确定目标物体。假设第m帧和第n帧图像用gm(x，y)和gn(x，y)表示，它们之间的差分图像用f(x，y)表示，T表示阈值，m与n之间差的绝对值可以等于1，也可以大于1，则帧间差分法可以表示为

(2)

式中：255(白)表示前景运动目标；0(黑)表示背景。

帧间差分法的优点是因为不同帧之间相隔时间短，光照强度变化不大，所以对光照条件变化的环境具有较强的适应性。该算法的运算简单，检测速度快，程序设计复杂度低。但是也存在一些不足之处：很难检测出运动目标完整的区域，尤其对于纹理较简单的运动目标，检测结果常常存在断裂或有大片区域空洞只有边界的情况，这些都会对后续的处理造成一定的影响；对于快速运动的物体如果选择的时间间隔不合适，就会产生虚影，导致检测的运动目标增大，甚至会出现两个完全分开的目标；对于目标物体运动较慢的，应该选择时间间隔小的帧做差分，否则在两幅几乎完全相同的图像上检测不到任何物体。尤其在城市道路中，车辆速度慢，在有红路灯的路口需要等待，这样的问题就更容易凸显出来。

以相邻两帧图像差分为例仿真结果如图2所示。

图2　帧间差分法检测

3　单模高斯分布模型

单模高斯分布模型[10]的原理是假设图像像素都服从均值为μ，方差为σ2的高斯分布，对每个像素点来说，这样的分布都是独立的。单模高斯分布模型建立背景并不需要使用多帧连续图像，但容易出现拖影现象，造成背景误判。

假设用gk(x，y)代表第k帧图像坐标(x，y)处的像素值，k可取1,2,3,…，N,且所有N帧图像(x，y)处的像素值服从均值为μ，方差为σ2的高斯分布N(μ,σ2)，高斯分布函数表示为

(3)

T表示概率阈值，如果下一帧图像在该点的像素值大于等于T，该值归为背景，否则判别为前景，然后根据判决结果更新均值μ和方差σ2。

设Bk(x，y)表示第k帧的背景图，则判决公示表示为

(4)

4　本文提出的帧差法阴影去除方法

本文主要研究的是基于背景差分法对交通车辆进行检测，但是车辆阴影面积较大时会造成车辆粘连，多辆车检测结果为一辆，造成漏检；或者把其他车道的阴影当成车辆，造成误检。这些都会影响到车辆计数的准确性。由于传统的去除阴影的方法大都是基于颜色空间模型的，这种方法一般都需要较多的参数，计算量较大。本文提出了基于帧间差分法去除阴影的方法，因为车辆在道路中以运动为主，所以研究重点对象是运动车辆，所有的计算基于灰度图像的处理。

4.1算法的基本原理

对于道路中的运动车辆来说，车辆的阴影是随着车辆一起移动的，而且阴影内部的像素值分布比较均匀。随着电子技术的发展，视频采集技术已经可以达到很高的帧率，因此，在视频序列相邻两帧中的运动车辆位移会变得很小。对这两帧图像进行差分，就可以消除两帧图像中重叠的阴影部分，而车辆自身由于色彩丰富，绝大部分都会保留下来。对此时差分后的图像再进行灰度化并二值处理，选取合适的阈值可以去除阴影重叠部分，但是阴影的外边缘很难去除；当差分后图像的阴影部分与车身部分灰度值接近的情况下，很难选取合适的阈值来区分车辆与阴影，从而使车辆与阴影都被判为前景，或大部分车辆也被判为背景，影响检测结果。

由前面的帧差法可以看出，相邻帧图像做差有去除阴影的作用，由此本文提出一种基于三帧差法去除阴影的算法。读取视频序列中三帧图像，为了减少运算量，选取的图像间隔以三帧图像车辆首位大致相连接为准，也可以有部分重叠，即如果把三帧图像重叠起来会使车辆的长度约为原车辆的二到三倍，再把三帧图像进行灰度化处理。然后将第一帧图像与第二帧图像差分后记为M1，将第二帧图像与第三帧图像差分后记为M2，两图像之间由于车辆位置错开，它们的阴影位置也会互相分离。其次再将两幅帧间差分图像M1与M2做一次差分，就会将第二帧图像中车辆阴影部分的像素值降低到接近零值，而车辆自身由于丰富的灰度而保留下来；另外，由于车辆前挡风玻璃和车体其他部位亮度差异大，会使该部位与车辆其他部位多次互相差分之后，车体的主要部分仍然保持较大的像素值。这三帧图像差分之后，只有第二帧图像车辆的阴影部分被去除，而其他主要部分都被保留了下来。最后将第二帧图像通过单模高斯背景模型获取的前景图像与最后差分后的图像求取共同的部分，就得到去除阴影后的目标车辆。

4.2算法步骤

通过单模高斯模型背景建模获取前景包括阴影在内的目标图像，再与帧差法结合去除阴影的主要算法步骤为：

1)根据车速和帧率选择合适的帧间隔提取图像，对连续提取的三帧图像分别做第一、二帧和第二、三帧的差分，并将差分后的图像灰度化，再将灰度图像做一次差分，得到消除第二帧图像阴影的三帧差分图像。

2)通过单模高斯背景模型获取背景，与提取的第二帧图像差分获得前景图像，并得到前景灰度图。然后对前景灰度图做滤波和形态学处理。

3)对得到的三帧差分图像和前景图像做与操作，获取两幅图像共同的车体部分，并进行二值化。

4)对上面取得二值化的图像进行中值滤波去除噪声，并用开运算和闭运算修整车辆边缘，填补车辆内部存在的空洞。

5　仿真实验及结果分析

综合上述算法，在实际环境中得到了验证。实验中，在阳光强烈的道路中提取视频素材，实验条件为：VisualStidio2010开发平台，运用OpenCV2.3.1进行编程实现。对研究对象做灰度图像处理，如图3所示。

图3　帧差法去除阴影过程

实验结果可以看出图3f中的大部分阴影已经去除，但是检测结果中的车身部分有些失真，代表了车辆绝大部分的位置，为了分割准确，可以对检测结果进行外接矩形的提取，从带有阴影的灰度图或背景差分完的前景图像中提取车辆区域。

6　结束语

本算法虽然采用了三帧差分法去除了第二帧图像中车辆的阴影，但是现实城市道路中运行的车辆不仅有小型车辆，还有公交车等大型车辆，因此很难选取同时满足不同类型车辆的帧差间隔，而且检测出来的车辆总是第二帧的信息，不是当前第一帧的最新信息，在实时性上有一定的差距。针对这两方面的问题还有待进一步的改进。

[1]陈继国，沈超敏.单幅图像的保纹理阴影去除[J]．计算机工程，2010，36(22)：219-221.

[2]ARBEL E，HELOR H．Texture-preserving shadow removal in color images containing curved surfaces[C]//Proc. IEEE CVPR 2007．Minneapolis，USA：IEEE，2007：1-8．

[3]袁博，阮秋琦，安高云.改进的自适应灰度视频序列阴影检测方法[J].信号处理，2014，30(11)：1370-1374.

[4]SALVADOR E，CAVALLARO A，EBRAHIMI T. Cast shadow segmentation using invariant color features[J]．Computer vision and image understanding，2004，95(2)：238-259.

[5]王圣男，郁梅，蒋刚毅.智能交通系统中基于视频图像处理的车辆检测与跟踪方法综述[J].计算机应用研究，2005，22(9)：9-14.

[6]魏岩，涂铮铮，郑爱华，等. 结合RGB颜色特征和纹理特征的消影算法[J].计算机技术与发展，2013，23(10)：72-79.

[7]谭歆，武岳.基于OpenCV的运动目标检测方法研究与应用[J].电视技术，2010，34(S1)：184-193.

[8]PRATI I，MIKIC M，TRIVEDI M，et al. Detecting moving shadows：algorithms and evaluation[J]. IEEE transactions on pattern analysis and machine intelligence，2003，25(7)：918-924.

[9]李媛，张艳珠，渠彪，等. HSV空间特征和纹理特征的阴影检测算法研究[J].沈阳理工大学学报，2012，31(4)：11-15.

[10]林庆，徐柱，王士同，等. HSV自适应混合高斯模型的运动目标检测[J].计算机科学，2010，37(10)：254-256．

李萌(1992— )，女，硕士生，主研宽带无线通信；

郑娟毅(1977— )，女，高级工程师，硕士生导师，主研宽带无线通信、计算机通信；

门瑜(1992— )，女，硕士生，主研宽带无线通信。

责任编辑：时雯

Algorithm of moving vehicle shadow elimination based on frame difference

LI Meng，ZHENG Juanyi，MEN Yu

(SchoolofCommunicationandInformationEngineering，Xi’anUniversityofPostsandTelecommunications，Xi’an710121，China)

Transport vehicles in the video object detection，shadow problem is one of the key issues affecting the detection accuracy. To solve this problem， a combination of moving objects shadow single-mode Gaussian model and frame difference method of removal methods is proposed. Firstly， get the target image includes shadows prospects， including through the single-mode Gaussian model， background modeling， combined with the frame difference remove the shadow. Experimental results show that the vehicle target obtained by this method is more complete, and can get better shadow addition to moving vehicles.

moving shadow removal；inter-frame difference method；single-mode gaussian model；vehicle detection

TN391

ADOI：10.16280/j.videoe.2016.10.003

国家自然科学基金项目(11401469)；陕西省自然科学基金研究计划项目(2014JQ1030)

2016-02-29

文献引用格式：李萌，郑娟毅，门瑜.基于帧差法的运动车辆阴影去除算法[J].电视技术，2016，40(10)：11-14.

LI M，ZHENG J Y，MEN Y.Algorithm of moving vehicle shadow elimination based on frame difference[J].Video engineering，2016,40(10)：11-14.