基于阴影向量扩展的阴影检测方法

关 琦，闻 江，孙丽婷，庞凤兰，刘瑞芝，王菽裕，宋焕生,2

(1.长安大学 信息工程学院，陕西 西安 710064；2. 陕西省道路交通智能检测与装备工程技术研究中心，陕西 西安 710064)

基于阴影向量扩展的阴影检测方法

关 琦1，闻 江1，孙丽婷1，庞凤兰1，刘瑞芝1，王菽裕1，宋焕生1,2

(1.长安大学 信息工程学院，陕西 西安 710064；2. 陕西省道路交通智能检测与装备工程技术研究中心，陕西 西安 710064)

提出了一种基于阴影向量扩展的阴影检测新方法。该方法依据阴影区域的光学特性，先找出前景中能够表达阴影区域主要特征的阴影向量，再根据阴影向量扩展出整个阴影区域。测试图库的实验结果表明该方法能有效的检测出前景中的阴影，并且改善了传统方法在强阴影识别方面的缺陷，以及常常把目标局部误识别为阴影的问题。

图像处理；阴影检测；阴影向量扩展

现在大多数视频监控系统都采用固定的摄像机，实时对采集到的图像进行处理，进而实现对运动目标的检测和分割。在实际应用中，目标总是伴有阴影，大多数的目标必须在去除阴影后才能正确检测与分割。目前的阴影检测方法有很多，Andres Sanin详细总结了近10年的阴影检测方法，并给出了实验结果及分析[1]。这些方法主要有：基于色度的方法、物理方法、基于几何的方法、基于纹理特征的方法。其中，基于色度的方法依据阴影下的区域变得更暗，但保持原来色度的原理。这类算法容易执行且运算量小。但是这类方法都是在像素级上的操作，所以易受噪声的干扰。此外，这种方法对于强光照的变化敏感，而且无法检测出强阴影。物理方法借助线性衰减模型假设照明光源生产纯白色的光，尝试构造阴影像素的模型或学习阴影的外观。这类方法的优点是比基于色度的方法更精确，缺陷是受到光谱特性的限制，无法识别与背景有相似色度的目标。基于几何的方法认为理论上阴影的方向、大小，甚至方向可以由光源、目标的形状和地面的先验之势预测出来。这类方法能够对输入帧图像直接处理，而不依赖背景参照的精确评估。但是，用几何特征的方法有场景限制，例如特定的目标类型，典型的行人或车辆，要求目标和阴影有不同的方向，并且假定为单一光源或平坦的背景表面。此外，当前基于几何的方法并不适用于处理有多阴影的目标或多目标的图像。基于纹理特征的方法利用阴影下的区域保留背景区域大部分纹理的原理，具有很强的分辨特性，不依赖色彩，且对关照变化的鲁棒性好，所以利用纹理相关的方法很有潜力。然而，因为基于纹理的阴影检测不得不为每个像素计算一个或多个的领域比较值，所以该方法效率较低。

除此之外，还有运用Retinex理论[2]、基于阴影位置和边缘特性[3]，以及单像素分解为色彩光照不变图像和无暗影图像[4]的阴影检测方法，这些方法在很多应用场合中是有效的，它们能够检测出前景中的大部分阴影，但是，这些方法对于目标底部强阴影部分的检测仍有待改善，而且，这些方法常常会把目标部分识别成阴影。依据阴影区域的光学特征，先在前景中找出能够表达阴影区域主要特征的阴影向量，再通过阴影向量扩展出整个阴影区域。

1 算法的原理与实现

1.1 阴影区域内像素灰度的梯度下降与平坦性

光线受到物体的遮挡产生阴影，而受到阴影周围光的扩散影响，距离阴影外边缘近的阴影区域相对较亮，而随着到阴影外边缘距离的增大，像素灰度逐渐减小，如图1所示，阴影区域内的像素灰度沿梯度方向下降(原图为彩图)。

图1 阴影区域内像素灰度的梯度下降及平坦性

此外，光的扩散对阴影区域的影响近似是线性的，从细节上看，相邻阴影区域的像素灰度值近似相等，如式(1)所示，从宏观上看，阴影区域是平坦的。当阴影区域对应的背景图像也平坦时，背景差图像或原帧图像都满足这些阴影区域特征。

I(x±1,y±1)≈I(x,y)，Shd(x,y)=1和

Shd(x±1,y±1)=1

(1)

式中：I(x,y)表示背景差图像或原帧图像，Shd(x,y)表示阴影标识图像。

1.2 图像预处理

首先，需要提取出视频图像的背景，然后从背景中分割出前景。Chris Stauer提出的改进的自适应混合高斯模型[5]对提取背景及分割前景有良好的效果。

得到前景后，需要提取前景图像的外边缘，结果如图2所示。

图2 前景外边缘提取

1.3 阴影向量的检测与筛选

前景外边缘包括目标边缘和阴影边缘，阴影边缘上明显的特征是像素灰度比背景图像更暗。根据不同场景的光照强度，设置一个检测阴影灰度下降向量的低阈值，宏定义为SHDGDLTH，例如：#define SHDGDLTH 5。然后把前景边缘上灰度低于该点背景灰度减去阴影灰度下降低阈值的像素点作为起点，然后在一个以该点为中心、大小为2M×2N的块内寻找像素灰度的最小点，如果这个最小点是该点本身，则这个像素灰度最小点作为灰度梯度下降的终点，因为灰度最小点总是存在于目标与阴影的衔接处，或是两条阴影外边缘的中央位置。如果检测到的灰度最小点是个新点，则以这个新点作为中心，继续在大小为2M×2N的块内寻找新的灰度最小点，直到找到的新点是中心点本身为止。定义这个由起点指向终点的向量为候选阴影向量，如图3b所示，红色线段表示候选阴影向量(原图为彩图)。根据图像分辨率及阴影区域的面积特征适当确定M和N的值，本例中设置M=5，N=5。

图3 阴影向量检测

如图3b所示，阴影区域内的候选阴影向量聚集在一起，而且起点相邻的大多终点相同。相反，目标区域内的候选阴影向量则大多表现为离散或稀疏的分布。所以删除那些分布稀疏的候选阴影向量能够有效排除误检的候选阴影向量，同时也减小了计算机的运算负担。用大小为2M×2N的图像块内包含的候选阴影向量的个数表示密集程度。在本例中，把聚集度小于(M+N)/3看作是稀疏的。

更为重要的是，阴影区域内相邻像素间的灰度近似相等，从而使阴影区域整体看上去是平坦的。相反，前景目标大多具有一定的纹理特性，如轮廓、花纹等，这使得目标区域内的像素灰度呈现出高低起伏的特性，即目标区域不平坦。选择一个大小为3×3的像素模板，用这个模板的像素灰度方差度量这个模板中心的平坦度，值越小表示越平坦。显然，同一终点的候选阴影向量可以唯一确定一个矩形区域，把这个矩形区域内前景点的平坦度的平均值作为这一组候选阴影向量的平坦度。如图3c所示，删除那些不平坦的候选阴影向量后所剩下的为最终要得到的阴影向量。在本例中，把平坦度大于3的候选阴影向量看作是不平坦的。

1.4 根据阴影向量扩展阴影区域

为了能通过阴影向量扩展阴影区域，采用像素灰度分级的方法关联阴影向量和阴影区域。灰度分级间隔视图像而定，本例中定义的像素灰度分级间隔为10，计算公式为

GR(x,y)=int(FG(x,y)/10)×10

(2)

式中：FG(x,y)表示背景差图像或原帧图像的前景，GR(x,y)表示前景的灰度分级图。

此外，先对前景图像进行形态学开运算，再进行像素灰度分级，能够有效抑制噪声和杂点干扰，改善分级的效果。分级结果如图4b所示。

图4 由阴影向量扩展阴影区域的实现过程

由图4b可以看出，同一灰度级的像素点联结成一个较大的闭区域，把阴影向量穿过的灰度区作为是阴影区域，如图4c所示。

由处理结果看出，很多小的灰度区属于阴影区域，但是没有被阴影向量穿过，然而这些区域却被已经检测出的阴影区域包围着。因此，需要检测出这些小的灰度作为阴影区域的补充。此外，在检测出阴影区域与目标区域连接的地方，存在着阴影区域扩展过多的问题，因此，需要识别出阴影与目标区域的真实边界，滤除多余的阴影。在处理中，只需要把和目标区域相接的那个灰度级阴影从交界点滤除到阴影向量终点附近或灰度级边缘即可。处理结果如图4d所示。

2 结果分析与比较

图5所示为传统的阴影检测方法用在测试视频中的阴影检测效果。

图5 传统的阴影检测方法在测试视频中的检测效果

由图可知，传统的阴影检测方法对于目标底部强阴影部分的检测仍有待改善，而且，这些方法常常会把目标部分识别成阴影。为了测试阴影阴影检测算法的性能，Prati提出了两个检测指标[6]：阴影检测率和阴影辨别率，分别用符号η和ξ表示。阴影检测率和阴影识别率的定义如下

(3)

(4)

式中：S和F分别代表阴影和前景目标，TP表示属于S或F区域并识别正确的像素总数，FN表示不属于S或F区域并识别正确的像素总数。

阴影检测方法在测试图片库的结果如图6所示。测试图片库的链接为http://arma.sourceforge.net/shadows/。

图6 阴影检测结果对比

根据测试图片库中各场景所有测试图片的检测结果可以得到阴影检测率η和阴影识别率ξ的平均值，本文提出的方法与传统方法的检测结果如图7所示。

图7 各种阴影检测方法在不同场景中的检测性能比较

从实验结果可以看出，本文方法对阴影检测是有效而稳定的，尤其是对阴影区域较大的图像，该方法同时拥有很高的阴影检测率和阴影识别率。然而，本文的方法在图像噪声严重的情况下，需要先对图像去噪，否则该方法将出现较大误差。

3 结论

在本文中，提出依据阴影区域的光学特征，先找出表征阴影区域的阴影向量，再通过阴影向量扩展出阴影区域的新方法。实验结果显示出本文方法能够有效地检测出前景中的阴影，和传统的基于阴影纹理、物理、纯度、几何特征的方法相比，本文方法简单有效，而且在阴影区域相对较大的场合，本文方法有更高的阴影检测率和阴影识别率。同时，本文方法还改善了传统方法在强阴影识别方面的缺陷，以及经常把前景目标误识别为阴影的问题。

[1] SANIN A,SANDERSON C,LOVELL B C. Shadow detection: a survey and comparative evaluation of recent methods[J].Pattern Recognition,2012,45(4):1684-1695.

[2] MA Guowen,YANG Jinfeng. Shadow removal using retinex theory[C]//Proc.Conference on Intelligent Visual Surveillance.Beijing:IEEE Press,2011:25-28.

[3] ZHU Shiping,GUO Zhichao,MA Li. Shadow removal with background difference method based on shadow position and edges attributes[EB/OL].[2014-10-20].http://link.springer.com/article/10.1186/1687-5281-2012-22.

[4] QU Liangqiong,TIAN Jiandong,HAN Zhi,et al. Pixel-wise orthogonal decomposition for color illumination invariant and shadow-free image[J].Optics Express,2015,23(3):2220-2239.

[5] ZIVKOVIC Z. Improved adaptive gaussian mixture model for background subtraction[C]//Proc. the Intl. Conf. on Pattern Recognition(ICPR).[S.l.]:IEEE Press,2004:28-31.

[6] PRATI A,MIKIC I,TRIVEDJ M,et al. Detecting moving shadows: algorithms and evaluation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2003,25(7):918-923.

关 琦(1991— )，女，硕士生，主研视频检测技术、图像处理；

闻 江(1992— )，硕士生，主研视频检测技术；

孙丽婷(1991— )，女，硕士生，主研视频检测技术、图像处理；

庞凤兰(1990— )，女，硕士生，主研视频检测技术、图像处理；

刘瑞芝(1989— )，女，硕士生，主研视频检测技术、图像处理；

王菽裕(1991— )，硕士生，主研视频检测技术、图像处理；

宋焕生(1964— )，教授，博士生导师，主研智能交通、图像处理及计算机视觉。

责任编辑：任健男

Shadow Detection Method Based on Shadow Vector Extension

GUAN Qi1, WEN Jiang1, SUN Liting1,PANG Fenglan1, LIU Ruizhi1,WANG Shuyu1,SONG Huansheng1,2

(1.DepartmentofInformationEngineering,Chang’anUniversity,Xi’an710064,China;2.ShanxiEngineeringandTechniqueResearchCenterforRoadandTrafficDetection,Xi’an710064,China)

A new method of Shadow detection method is proposed based on shadow vector extension.According to the optical properties of the shaded region, the method firstly finds out the shadow vectors which can express the main characteristics of the shaded region in the foreground, and then extend the entire shaded region with the shadow vectors. The experimental results from test galleries show that the method can effectively detect the shadow in the foreground, and improve the defect of traditional methods in strong shadow recognition and the problem that often mistakenly identifies the part of the object region into shadow.

image processing;shadow detection;shadow vector extension

国家“863”计划项目(2014G3242005)

TP311.1

A

10.16280/j.videoe.2015.19.023

2015-01-29

【本文献信息】关琦，闻江，孙丽婷，等.基于阴影向量扩展的阴影检测方法[J].电视技术,2015，39(19).