下雪天气条件下的运动目标检测

屠礼芬，彭 祺，张凯兵



下雪天气条件下的运动目标检测

屠礼芬a，彭 祺a，张凯兵b

( 湖北工程学院a. 物理与电子信息工程学院；b. 计算机与信息科学学院，湖北孝感 432000 )

针对下雪天气条件下高精度的运动目标检测，本文在GMM算法基础上进行改进，首先采用多分辨率、高低阈值的思想对其进行优化，克服下雪天动态背景噪声的影响；然后运用计算颜色模型，抑制运动目标产生的弱阴影和光照变化；最后在各目标最小约束矩形内进行空洞修补，填充由于阴影过度抑制和被雪覆盖目标表面丢失的运动掩模。实验结果表明：改进算法7项指标都优于GMM算法，与当前较优秀的FTSG算法相比，7项指标中有4项超越，2项接近。

运动目标检测；下雪天气；GMM；动态噪声；空洞修补

0 引 言

运动目标检测是通过分析视频序列，去除静止背景，保留运动前景，准确、快速地获取运动目标[1]，是实现目标跟踪、异常检测、行为分析等智能视频监控[2]领域关键技术的基础。静止背景下的运动目标检测已经有较成熟的方法和具体的应用，该领域较为权威的小组IEEE Change Detection Workshop(CDW)[3-4]的研究表明：当前关于运动目标检测中的常见问题，如动态背景[5]、像机抖动[6]、间歇运动[7]、运动阴影[8]等都有比较好的解决方法，但在恶劣天气下的运动目标检测仍然是一个难题。尤其是下雪天气条件下，设计有效的运动目标检测算法依然面临着挑战：第一，空中飘舞的雪花体积较大，使整个视场中都有不规律的运动背景噪声；第二，雪天背景亮度较大，运动目标在背景表面投射弱阴影；第三，长时间在户外运动的目标，表面被雪花覆盖，与背景颜色一致，难以区分，获取的目标产生大量空洞。这些问题给高精度的运动目标检测带来了挑战，也给智能视频监控引入了障碍。因此，研究下雪天气中运动前景与背景的图像特征，并设计适应恶劣天气的影响，实现下雪场景中实时、高精度的运动目标检测是十分必要的。

针对以上问题，本文提出一种适应于下雪天气的运动目标检测算法(Snowy Weather Moving Object，SWMO)，采用多分辨率、互补阈值思想对传统GMM算法[9]进行优化，抑制动态背景噪声；通过分析大量下雪天气中的视频图像样本，获取弱阴影的颜色差异和亮度差异特征，剔除运动阴影；根据所获取运动掩模形态特点，在各目标最小包围矩形中进行修补，填充空洞。

1 算法实现

文献[5]针对环境中的动态噪声问题，提出了一种基于多分辨率模型的运动目标检测方法，采用基于像素的背景差分法，在低分辨率下获取目标的区域，在高分辨率下获取目标的细节。本文提出的SWMO算法，继续采用多分辨率、高低阈值的思想，对传统GMM算法进行改进，获取初始运动掩模，再进行弱阴影抑制和空洞修补，在下雪天气条件下进行有效的运动目标检测。算法流程图如图1所示。

图1 流程图

1.1 抑制动态噪声

传统的GMM是将每个像素点用不同状态表示的一种数学模型，源自于高斯函数。假设图像中的每个点都用个高斯模型来表示，那么在时刻，当前像素值为的概率表示式：

(2)

其中2为向下采样2次后的低阈值检测结果，将该结果向上采样后与向下采样1次后的高低阈值检测结果M1、1相融合，生成中间掩模1，向上采样后，与原始分辨率下的高低阈值检测结果M0、0相融合，获得最终的运动目标检测结果，融合方法参考文献[5]。

由图2可以看出：虽然该视频序列中，有大量飘舞雪花产生的背景噪声，但检测结果却未发生误检测。但该结果也有显著缺陷，受雪景高亮的影响，运动掩模中误检测出大量运动阴影区域。另外，被雪覆盖的目标表面，颜色与背景一致，出现了空洞。

图2 背景噪声抑制结果

1.2 克服弱阴影

计算颜色模型[10]是自然场景下用来剔除阴影和抑制光照变化的经典方法，彩色图像由R、G、B三分量组成，当前帧和背景帧在图像坐标处的点可用三维空间矢量表示：和。那么投射到的矢量与的长度比值为亮度差异，用表示，投射到的距离为色度差异，用表示，其计算式：

(4)

文献[10]的研究表明，阴影和光照变化引起的亮度差异和色度差异应满足以下条件：对于室外场景，且；对于室内场景，该条件则为且。该组参数是根据文献[10]给出的经验值，对于大部分场景，可以较好地克服光照变化的影响。但显然，该组值对于不同的场景，最佳阈值是不一样的，并且对于本文所研究的下雪场景，阴影的特征有所不同。本步骤的主要目的，就是尽可能地去除弱阴影的影响，允许有少量目标区域的丢失，经过大量的实验，认为由高亮背景引起的弱阴影区域亮度差异和色度差异应满足条件：且。该条件可以显著抑制弱阴影区域，采用该方法对图2的结果进一步处理，效果如图3所示。

图3 弱阴影抑制

由图3可以看出：地面的弱阴影区域抑制效果较好，但也由于阴影限制条件的弱化，丢失了许多与阴影有类似属性的真实目标区域，使目标出现较多空洞。

通过梳理可以发现，改革开放以来，全国抗战胜利纪念活动除逐步多样化之外，还实现了常态化、规范化。具体体现在：召开中央一级纪念大会、座谈会常态化，党和国家领导人出席常态化，最高领导人发表重要讲话常态化，抗战纪念设施、遗址名录制度建立，不同类型纪念日及纪念活动的法制化，等等。

1.3 目标空洞修补

被雪覆盖的目标表面，阴影过度抑制，表现为真实运动目标区域的部分丢失，要保证运动目标检测精度，必须要对上述结果进一步优化。文献[11]提出一种基于线扫描方式的断桥修补法，以图像的行为单位，分析黑白像素的分布规律，对两个相连白像素段之间的短黑像素段进行修补，达到填充空洞的目的。该方法对于小的目标空洞效果较好，但有两个缺陷：一是当有多个目标出现在场景中时，整幅图像的行扫描方式会使多个相连目标错误连接；二是对于大的空洞无法有效填充。而下雪天气下的运动目标掩模，不可避免地会出现这样的困难。针对这些问题，本文提出的目标空洞修补方法，以个体目标区域为单位进行独立修补，并且考虑到目标区域的方向特征，构建倾斜的最小包围矩形为扫描区域，算法步骤如下：

1)对上一步获取的运动掩模进行一次中值滤波处理，去除少量的颗粒噪声，再对结果用3×3长方形结构元素进行3次膨胀处理，把原目标区域向外进行扩展，得到1，如图4(a)中的白色区域所示；

2)用OpenCV的函数cvFindContours获取1中掩模区域的轮廓，并拟合最小包围矩形限定各子区域的修补范围，通常情况下，该矩形是倾斜的，如图4(a)中的红色矩形，该图被分为3个独立区域；

3)在每个矩形内，以矩形的左下角为原点，矩形的长边和短边为坐标轴，构建坐标系。在该坐标系内，分别进行水平方向和垂直方向线扫描，若两白点之间的线距离小于与该方向平行的矩形边长的一半，则填充这两点之间的空洞。

运用该方法对图3的掩模进行修补，结果如图4(b)所示。由图4(b)可以看出：该修补方法可以较好地恢复被雪覆盖而丢失的目标表面，以及由于阴影过度抑制产生的目标空洞。

图4 空洞修补

2 实验结果与分析

将本文提出的SWMO算法进行测试，数据源来自于公共网站CDW提供的标准测试序列，该数据源中，不仅有大量不同特征的典型下雪天图像序列，而且提供了这些序列的真实检测结果，便于对所提出的算法进行评价。本文研究对象是下雪天的运动目标检测，故选取“badWeather”序列进行测试，将检测结果与传统GMM算法和当前CDW网站公布的优秀算法FTSG[12]进行定性和定量的对比。图5所示为三种不同场景的定性对比结果，按列排布，其中：第1列，即图5(a)，为3种不同场景中的当前帧图像，场景1为典型的小目标，且各目标紧密相连，场景2中的目标有阴影和被雪覆盖表面，且场景中有光照变化，场景3为典型的背景噪声丰富场景；第2列，即图5(b)，用来作为参考的真实目标检测结果；第3列，即图5(c)，为GMM检测结果；第4列，即图5(d)，为FTSG检测结果；第1列到第4列图像均来源于CDW网站；第5列，即图5(e)，为本文提出的SWMO检测结果。检测结果中：白色为目标区域，黑色为背景区域，灰色为不感兴趣区域。

由图5可以看出：对于小目标和被雪覆盖的目标表面，只有本文提出的SWMO算法有较好的检测效果，GMM和FTSG都有不同程度的丢失；对于阴影的处理和光照变化的适应，SWMO和FTSG算法有较好的效果，未发生误检测，而GMM有少量的误检测区域；对于动态噪声的抑制，SWMO和FTSG算法都有一定的效果，场景中未出现大量的背景噪声，但GMM算法背景噪声较严重；对于目标的形态，FTSG算法与真实值最为接近，本文提出的SWMO算法，由于进行了形态学处理，目标形状发生了变化，边缘不精确，但目标的完整性较好。

图5 不同序列定性对比结果(从(a)~(e)依次为：当前帧，真实值，GMM结果，FTSG结果和本文SWMO结果)

定量实验依然运用CDW提出的7项评价指标，令T表示检测到的正确前景点数，T表示正确的背景点数，F表示错误的背景点数，即漏检测的前景点，F表示错误的前景点，即误检测的前景点，那么7项评价指标可以表示为

1) 召回率：e=T/(T+F)；2) 特异度：p=T/(T+F)；3) 前景点错误率：FP=F/(F+T)；4) 背景点错误率：FN=F/(T+F)；5) 分类错误率：PW=100(F+F)/(T+F+F+T)；6) F测度：F=2P×e/(P+e)；7) 精度：P=T/(T+F)。

定量对比结果见表1，其中GMM和FTSG的数据来源于CDW网站。参数FP，FN和PW代表错误率，值越小越好，其他代表正确率，值越大越好，表中最好的指标已加粗。由表1可以看出：本文提出的SWMO算法各项指标都优于GMM算法，表明本文的优化取得了良好的效果；与当前综合指标较好的FTSG算法相比，SWMO算法有4项指标优于FTSG算法，除了精度P，另外2项指标也与之接近。

表1 定量对比结果

本实验的软件平台是Microsoft Visual C++ 6.0和OpenCV1.0，硬件平台为：Intel i3处理器，3.4 GHz，内存4 G，测试图像序列分辨率为720×480和720×540，系统运行稳定后，平均处理速度分别为16 f/s和13 f/s左右。

3 结 论

本文研究下雪天气条件下的运动目标检测问题，为了克服动态背景噪声和保留小目标、适应弱阴影和光照变化影响、以及填充被雪覆盖目标表面丢失区域，对传统GMM算法进行了一系列优化，提出一种SWMO算法。用公共测试网站提供的视频序列对算法的效果进行了测试，结果表明：SWMO算法能够克服以上三个难点，适应下雪天气条件下运动目标检测；且各项定量指标都优于GMM算法，7项指标中，有4项超越了FTSG算法，有2项与之接近。SWMO算法的缺陷是所提取的目标边缘精度不高，在后续研究中将对其进行进一步优化。

参考文献：

[1] Goyette N，Jodoin P M，Porikli F，. Changedetection.net：a new change detection benchmark dataset [C]// IEEE Conference on Computer Vision and Pattern Recognition Workshops，Providence，RI，USA，Jun 12-21，2012：1-8.

[2] Sanjay G，Amudha J，Jose J T. Moving human detection in video using dynamic visual attention model [J]. Advances in Intelligent Systems and Computing(S2194-5357)，2015，320：117-124.

[3] WANG Yi，Jodoin P M，Porikli F，. CDnet 2014：An expanded change detection benchmark dataset [C]// IEEE Conference on Computer Vision and Pattern Recognition Workshops，Columbus，OH，USA，Jun 23-28，2014：393-400.

[4] 2014 IEEE Change Detection Workshop. Change detection.net video database [EB/OL]// [2015-05]. http：//wordpress-jodoin.dmi.usherb.ca/cdw2014/.

[5] 屠礼芬，仲思东，彭祺. 基于序列图像的运动目标检测 [J]. 应用光学，2012，33(5)：899-903.

TU Lifen，ZHONG Sidong，PENG Qi. Moving object detection based on image sequences [J]. Journal of Applied Optics，2012，33(5)：899-903.

[6] 屠礼芬，彭祺，仲思东. 一种适应相机抖动的运动目标检测方法 [J]. 电子与信息学报，2013，35(8)：1914-1920.

TU Lifen，PENG Qi，ZHONG Sidong. A moving object detection method adapted to camera jittering [J]. Journal of Electronics & Information Technology，2013，35(8)：1914-1920.

[7] Evangelio R H，Sikora T. Complementary background models for the detection of static and moving objects in crowded environments [C]// Advanced Video and Signal-Based Surveillance，Klagenfurt，Austria，Aug 30-Sep 2，2011：71-76.

[8] Khare M，Srivastava R K，Khare A. Moving shadow detection and removal - a wavelet transform based approach [J]. IET Computer Vision(S1751-9632)，2014，8(6)：701-717.

[9] Stauffer C，Grimson W E L. Adaptive background mixture models for real-time tracking [C]// Proceedings of the Computer Society Conference on Computer Vision and Pattern Recognition，Fort Collins，CO，USA，Jun 23-25，1999：246-252.

[10] Horprasert T，Harwood D，Davis L S. A statistical approach for real-time robust background subtraction and shadow detection [C]// IEEE ICCV’99 Frame-Rate Workshop，Corfu，Greece，Sep 21，1999：1-19.

[11] 陈炳文，王文伟，杨文英. 基于图像块和边缘增强的运动目标检测 [J]. 计算机工程，2010，36(17)：192-194.

CHEN Bingwen，WANG Wenwei，YANG Wenying. Moving object detection based on image block and edge enhancement [J]. Computer Engineering，2010，36(17)：192-194.

[12] WANG Rui，Bunyak F，Seetharaman G，. Static and moving object detection using flux tensor with split gaussian models [C]// IEEE Conference on Computer Vision and Pattern Recognition Workshops，Columbus，OH，USA，Jun 23-28，2014：420-424.

Moving Object Detection in Snowy Weather Condition

TU Lifena，PENG Qia，ZHANG Kaibingb

( a. School of Physics and Electronic Information Engineering; b. School of Computer and Information Science, Hubei Engineering University, Xiaogan 432000, Hubei, China )

In order to realize the high precision moving object detection in snowy weather condition, this paper improves the GMM algorithm. Firstly, the multi-resolution, high and low threshold concepts are used to optimize the detection results, which can overcome the influence of the dynamic background noise. Then, the color model is used to suppress the weak shadows and illumination changes by moving objects. Finally, the hole is filled in the rectangle with the minimum constraint of each object, and the motion mask is filled due to the excessive suppression of the shadow and the loss of the surface covered by snow. Experimental results show that the improved algorithm is better than the GMM algorithm for all of the seven indicators. Compared with the current outstanding algorithm FTSG, there are four of the seven transcend, the two close.

moving object detection; snowy weather; GMM; dynamic noise; hole patching

1003-501X(2016)10-0025-05

TP391.41

A

10.3969/j.issn.1003-501X.2016.10.005

2015-10-26；

2015-12-28

国家自然科学基金(61471161)；湖北省自然科学基金(2015CFC770)；湖北省教育厅科学技术研究项目(Q20152701,Q20162701)；湖北工程学院科学研究项目资助(201607,201512)

屠礼芬(1986-)，女(汉族)，湖北孝感人。讲师，博士，主要研究工作是图像处理与机器视觉。

彭祺(1983-)，男(回族)，天津人。讲师，博士，主要研究工作是图像处理与机器视觉。E-mail: petersky0316@163.com。