夜间弱光环境下运动目标的检测

张运楚, 陈永福, 杨红娟

(1.山东建筑大学 信息与电气工程学院，济南 250101；2. 山东省智能建筑技术重点实验室，山东 济南 250101；3. 枣庄市市中区房产管理局，山东 枣庄 277100)



夜间弱光环境下运动目标的检测

张运楚1,2, 陈永福3, 杨红娟1,2

(1.山东建筑大学 信息与电气工程学院，济南 250101；2. 山东省智能建筑技术重点实验室，山东 济南 250101；3. 枣庄市市中区房产管理局，山东 枣庄 277100)

夜间弱光环境下视频图像具有像噪声高、对比度低、无彩色信息等特点，加大了运动目标检测难度, 可靠的运动目标检测是实现智能视频监控的关键。文章针对夜间弱光环境下视频监控近红外图像的特点，基于改进的近似中值滤波原理，建立了夜间弱光环境下视频图像双尺度背景模型，对运动目标进行双尺度检测，并通过实验验证了该方法对夜间弱光环境下运动目标检测的有效性。

运动目标检测；夜间场景；近似中值滤波；背景模型

0　引言

夜间是入侵、盗窃等非法行为的多发时段。日/夜转换型监控摄像机能根据环境照度的高低，在彩色模式和黑白模式之间自动切换，以保证图像的可辨识性。为改善夜间成像质量，监控摄像机通常配置850或940 nm的近红外LED辅助照明灯，但红外灯具有较强的指向性，照亮的场景范围和距离有限，光线不均匀，所采集的近红外图像仍为灰度图像，且噪声高、对比度低，丢失了场景中色彩和纹理等重要信息，同时还受路灯、车灯引起的高亮光斑、照度波动等干扰，尤其是远景下，运动目标成像尺寸小，视觉显著性差，区分度下降，加大了检测难度。在日光环境下，运动目标检测算法常选择色彩、纹理特征进行背景建模[1-3]，但在夜间弱光环境下算法性能会大幅下降。因此，智能视频监控系统要实现24 h全天候运行，就必须提高夜间弱光环境下运动目标的检测能力。Huang和Song等提出了基于局部对比度分析的夜间运动目标检测方法，将图像划分为若干尺寸为像素的互不重叠图像子块，定义图像子块局部对比度为该子块图像标准差与均值的比值，依据图像子块局部对比度的大小初步判断图像子块内是否存在显著的可见图像内容，得到目标候选区域；再根据图像子块局部对比度的帧间变化，进一步判断子块图像是否含有运动目标，最后通过目标跟踪抑制误检。由于对比度是物体与周围背景之间灰度值相对差异的度量，仅当运动目标整体或部分位于图像子块内时，局部对比度作为可见图像内容存在的依据才有意义，因此，该方法存在图像子块大小与运动目标大小的匹配问题[4-5]。Wang研究了夜晚大楼电梯间行人检测问题，针对电梯门开关时产生的光照突变进行光照补偿，以维持图像亮度空间统计特性的时域一致；然后计算每一像素的改进局部二值模式特征值，并采用指定半径圆形邻域中所有像素局部二值模式特征直方图来表达该像素的纹理背景结构；为描述背景的动态变化，每个像素用K个加权圆域局部二值模式LBP(Local Binary Pattern)特征直方图作为背景模型，直方图匹配则采用交集距离测度，采用类似高斯混合背景模型的算法机理进行模型更新和运动目标分割。局部二值模式实际为一种纹理特征，对噪声比较敏感，不适合低信噪比、低对比度的室外夜间场景[6]。张棉好提出双模式高斯混合模型检测夜间视频图像中的运动目标，消除感应式照明设施对背景的影响[7]。封子军等针对在弱可见光条件下热红外图像分辨率低、场景细节模糊的特点，提出了一种将红外运动目标与可见光图像融合的目标检测与定位策略[8]。Tsai针对夜间场景光照波动、光斑和阴影问题，采用高斯混合背景模型和多区域背景分类方法，将图像分割成候选目标、背景、阴影和亮斑等区域，再通过面积滤波实现运动目标检测[9]。Cheng为解决夜间视频监控的误报警和漏报警问题，采用基于块的目标检测方法，根据目标的大小把近红外图像分割成互不重叠的子块，对每个子块进行阈值分割，得到运动目标；然后利用二阶纹理特征和支持向量机SVM对候选目标区域进行分类，最终得到行人目标。由于夜间近红外图像几乎无彩色信息，子块阈值分割时采用YCbCr颜色模型不尽合理[10]。金左轮针对微光图像对比度较低、显著性差的目标检测，提出了一种基于图像粗糙度特征的纹理显著性度量算法[11]。

文章针对夜间视频监控近红外图像的特点，首先将图像划分为一系列图像子块，计算这些图像子块的灰度均值，作为下采样值构造一幅低分辨率图像。建立基于改进的近似中值滤波双尺度背景模型[12]，利用低分辨率图像背景模型对运动目标进行粗检测，然后采用原图像背景模型对上述结果进一步细化，获取更为精确的目标轮廓。其独特之处在于能在不降低空间分辨力的前提下实现夜间弱光环境下运动目标的检测。

1　夜间弱光环境下视频图像背景建模

背景减除法是摄像机固定配置下常用的运动目标检测方法，它假定摄像机视场固定，场景中的背景物体处于静止状态，且运动物体表面材料光学特性不同于被遮挡的背景物体。因此，无运动物体进入摄像机视场时，图像像素值处于稳定状态；一旦有物体进入视场，或场景中原本静止的物体开始移动，便形成对背景物体的遮挡或暴露，导致图像中对应投影区域像素值将发生变化。如果图像像素值变化显著，则认为该像素源于运动目标，否则为背景。

但在实际应用中，引起图像变化的原因除了运动物体的介入外，还有诸多场景因素，如背景物体的自运动、环境光照的变化、摄像机的抖动等。因此，能否对像素变化进行有效溯源，决定了运动目标检测的成败。

视频图像中每个像素在时间线上的观察样本构成了一个随机时间序列，这些样本可能来自背景或运动物体两个不同的总体。大多数应用场合，运动物体在视场中存在的持续时间较短、外观特征差异性大，因此，观察样本多来自于背景。背景建模的任务就是利用像素特征值历史样本建立模式分类决策模型，然后对当前观察值来源是背景还是前景做出推断。背景建模包括特征选择、模型表达、模型更新等环节。背景模型是对摄像机视场中场景背景先验知识的描述，包含了把背景与其它我们感兴趣的运动物体区别开所需的重要特征信息及其表达和组织方式。背景建模位于视觉计算理论框架的低层，企图表达高层的语义信息，再加上构成场景背景的诸多环境要素的动态行为，使得背景建模成为难点。

背景建模通过选择合理的图像特征可以在一定程度上抑制背景的某些动态变化。包括特征空间尺度的选择，如像素、团块、区域等，以及特征类型的选择，如颜色特征、边缘特征、立体特征、运动特征和纹理特征等。在夜间弱光环境下，视频监控采集的近红外图像为灰度图像，且噪声高、对比度低，丢失了场景中色彩和纹理等重要信息，同时还受路灯、车灯引起的高亮光斑、照度波动等影响，相邻像素噪声常相互干扰，呈现一定程度的斑状效应[13]，这为背景模型的特征选择带来一定难度。

文章针对夜间视频监控近红外图像特点，根据场景中可能出现的最小运动目标的大小，将图像划分为一系列图像子块，计算这些图像子块的灰度均值，构造一幅低分辨率图像。然后建立基于改进的近似中值滤波双尺度背景模型。

1.1构造低分辨率图像子块均值图像

在随机噪声存在的情况下，视频序列t时刻图像帧f中像素(x,y)的灰度值f(x,y,t)可由式(1)

表示为

f(x,y,t)=fs(x,y,t)+η(x,y,t)

(1)

式中:fs(x,y,t)取决于成像时对应场景“物点”亮度;η(x,y,t)为随机噪声。从其空间统计特性来看，η(x,y,t)可认为是在x、y空间分布的各态历经平稳随机过程；从其时间统计特性来看，可认为是时间平稳随机过程[14-15]。

设原图像f的大小为M行×N列，将其划分成(M/a)×(N/b)个大小为a×b互不重叠的图像子块，计算每个图像子块的算术平均值，按(2)式构建图像子块均值图像g(i,j)为

(2)

对视频序列中每帧图像按式(2)构建其子块均值图像g，从而得到一个低分辨率图像序列。为说明子块均值图像g用于图像变化检测的噪声抑制能力，计算相邻帧间差分的绝对值由式(3)表示为

(3)

式(3)中，第①部分反映了原始图像f中图像子块Sij对应的场景“物点”的平均亮度变化，第②部分为标准差变小后的随机噪声分量。显然，子块均值图像g的帧间差分能准确反映场景改变引起的图像变化，同时又降低了随机噪声的影响。图像分块尺寸a、b是影响算法性能的重要参数，a、b越大，噪声抑制能力越强，但会降低运动目标检测的空间和对比度分辨力,可根据图像中待检运动目标可能的最小尺寸来确定参数a、b的值，一般略小于目标尺寸，且不大于8，这样就可以在信噪比提升和目标分辨力之间取得折中。

1.2对近似中值滤波背景模型的改进

McFarlane等提出了一种基于近似中值滤波器(Approximate Median Filter)的背景模型[12]。令f(x,y,t)表示像素(x,y)在时刻t的灰度值，B(x,y,t)表示对从0到t时间内该像素灰度值历史数据中值的估计。为适应背景的动态变化，在t时刻，对B(x,y,t+1)由式(4)更新为

(4)

式中：β为一个大于0的增量，决定了模型的学习速度。McFarlane采用β=1，对于场景恒定、目标运动速度较慢的场合，该值常导致运动目标被过快地融合到背景中。因此，文章采用可变增量β，根据背景扰动的剧烈程度和运动目标的运动速度在0～1之间取值。实验表明，对于广角远景监控视频序列，运动目标远离摄像机，图像中场景变化以及目标运动速度较慢，此时可以适当降低背景学习速度，β值可取小一些，可在0.2～0.5之间取值。而对于近景监控视频序列，由于运动目标和背景距摄像机较近，变化较为剧烈，此时应适当加大学习速度，β值一般在0.5～1之间取值。

背景模型经过学习后很快收敛，对t时刻的图像f(x,y,t) 按下式进行判断，得到运动目标的二值图像由式(5)表示为

(5)

式中：T为阈值，一般在15～25之间取值。

1.3基于改进的近似中值滤波双尺度背景模型

令Fbg(x,y,t) 表示原始图像从0到t时间内像素灰度值历史数据的近似中值估计，Gbg(i,j,t) 表示子块均值图像从0到t时间内各子块均值历史数据的近似中值估计，分别建立原始图像分辨率背景模型，和由图像子块均值构建的低分辨率背景模型，并按式(6)更新模型为

利用低分辨率图像背景模型对运动目标进行粗检测，然后采用原图像分辨率背景模型对上述结果进一步细化，以获取更为精确的目标轮廓。

2　运动目标的双尺度检测

2.1运动目标粗检测

根据当前图像f，构建相应的子块均值图像g，对低分辨率背景模型Gbg进行更新，并按下式完成运动目标的粗检测。如果g中(i,j)处像素满足式(7)，则判为运动目标，否则为背景。

(7)

式中：T1为阈值，依据图像子块大小和目标检测灵敏度而定，一般取8～15。

然后将上述粗检测结果映射到原图像空间。令Mfg代表原图像尺寸的运动目标前景图像，如果子块均值图像g中(i,j)处像素被判为运动目标，则由式(8)确定为

Mfg(x,y)=1,(x,y)∈Sij

(8)

式中：Sij表示原始图像f中，与子块均值图像g中(i,j)处像素所对应的图像子块区域。

2.2运动目标的细化检测

粗检测步骤得到的运动目标区域呈现块状粗糙感，如图2中(b)、(e)、(h)所示。为获得更为精确的运动目标轮廓区域，利用Mfg给出的运动目标候选区域信息，在原图像尺度空间上对运动目标做细化检测。

令Rk表示Mfg中第k个目标候选区域，其包围盒的左上角和右下角顶点坐标分别为(xtk,ytk)、(xbk,ybk)，将该区域扩大为矩形(xtk-δ,ytk-δ)、(xbk+δ,ybk+δ), 从而得到待细化检测的兴趣区域Rke。选择合适的δ以便包含完整的运动目标，如图1所示。

图1　运动目标细化检测图像区域的确定图

然后计算原图像分辨率背景模型Fbg和当前图像f在Rke限定图像区域的背景差，并利用式(9)得到细化检测结果Ifg为

Ifg存在一定的孤点和斑状噪声，孤点噪声可采用中值滤波消除；对于残留的斑状噪声，可根据区域面积来滤除，计算出检测得到的所有前景区域的面积，若小于设定的最小目标面积，则视为斑状噪声予以消除，最终运动目标检测结果如图2中(c)、(f)、(i)所示。

3　实验结果验证

为了验证文章提出的算法，选取了三段光照条件不同的夜间监控视频进行实验，图2给出了实验结果。“Square”为某广场夜间远景监控视频序列，运动目标远离摄像机，有单个行人、多人结伴、汽车等，图像中的运动目标小(最小5×5个像素)、对比度低；测试时，算法主要控制参数为a=4、b=4、β=0.2、T1=12、T2=10。“Square_rain”为同一广场雨夜远景监控视频序列，场景略微拉近；由于下雨，光照条件更差，存在雨滴、地面积水对灯光的反射等干扰。“Street”为某街道夜间远景监控视频序列，存在较多的灯光干扰，导致行人等运动目标与背景的区分度较差。“Square_rain”和“Street”两段视频测试时，算法主要控制参数为a=8、b=4、β=0.2、T1=T2=10。

实验结果表明，基于子块均值图像的低分辨率背景模型能有效抑制夜间图像中的点状和斑状随机噪声干扰，对运动目标有很好的检测能力。图像分块参数a、b是影响算法性能的重要参数，同时也影响阈值T1的选择；a、b越大，噪声抑制能力越强，运动目标的空间和对比度分辨力越低，但可通过降低阈值T1应加以弥补。实验中，也存在一定的误检、漏检情况。误检主要发生在“Street”视频序列，主要原因是行驶在街道上的汽车灯光的强光影响。

图2　夜间弱光环境下运动目标检测实验结果图(a)Square视频序列第255帧；(b)对第255帧粗检测得道的运动目标区域；(c)对第255帧细化检测得到的运动目标区域；(d)Square_rain视频序列第224帧；(e)对第224帧粗检测得道的运动目标区域；(f)对第224帧细化检测得到的运动目标区域；(g)Street视频序列第359帧；(h)对第359帧粗检测得道的运动目标区域；(i)对第359帧细化检测得到的运动目标区域

4　结语

文章针对夜间视频监控近红外图像的特点，建立了一种基于改进的近似中值滤波双尺度背景模型，算法利用子图块均值对图像下采样，在粗粒度上检测图像中的运动变化，提高运动目标导致图像显著变化的检出率和可靠性，然后在原图像粒度上细化目标轮廓。实验结果表明文章提出的算法控制参数少、计算效率高，能有效检测出夜间弱光环境下的低对比度小尺寸运动目标，具有良好的对比度分辨力和空间分辨力。

[1]Zhang X., Yang Y., Han Z.,etal.. Object class detection: a survey[J]. ACM Computing Surveys, 2013, 46 (1):1-53.

[2]李洪艳,曹建荣,谈文婷,等.图像分割技术综述[J].山东建筑大学学报,2010,25(1):85-88.

[3]曾庆贵,宋世军,张佳福,等.一种基于信息融合的图像分割方法[J].山东建筑大学学报,2008,23(2):154-158.

[4]Huang K.,Wang L.,Tan T.,etal..A real-time object detecting and tracking system for outdoor night surveillance[J]. Pattern Recognition, 2008,41(1):432- 444.

[5]Soumya T.. A Moving Object Segmentation Method for Low Illumination Night Videos[J]. Lecture Notes in Engineering & Computer Science, 2008, 2173(1):763-768.

[6]Wang Y., Fan C. T.. Moving Object Detection for Night Surveillance[C]. Proceedings of the 2010 Sixth International Conference on Intelligent Information Hiding and Multimedia Signal Processing, Darmstadt:Betal Hirshman Publishing Conpany,2010.

[7]张棉好.夜间近红外线视频监控图像人体目标检测[J].激光杂志,2012,33(2):25-26.

[8]封子军,张晓玲,张慧杰.运动目标检测的红外与可见光图像融合方法[J]. 计算机工程与应用,2012,48(7):9-11.

[9]Tsai T. , Huang C., Fan C.. A High Performance Foreground Detection Algorithm for Night Scenes[C]. Proceedings of the 2013 IEEE Workshop on Signal Processing Systems (SiPS), Taipei:Dongli Publishing Group, 2013.

[10]Cheng C.,Wen K.,Chang H.,etal.. Night Video Surveillance Based on the Second-Order Statistics Features[C]. Proceedings of the 2014 Tenth International Conference on Intelligent Information Hiding and Multimedia Signal Processing (IIH-MSP), Kitakyushu:Yanbo publishing conpany, 2014.

[11]金左轮,韩静.基于纹理显著性的微光图像目标检测[J].物理学报,2014(6):413-424.

[12]McFarlane N., Schofield C.. Segmentation and tracking of piglets in images[J]. Machine Vision and Applications, 1995, 8(3):187-193.

[13]曹治国,马怡伟,桑农,等. 夜间图像匹配中的斑状噪声预处理[J]. 红外与激光工程,2004,33(3):278-281.

[14]Bouwmans T., Elbaf F., Vachon B.. Background modeling using mixture of Gaussians for foreground detection-a survey[J]. Recent Patents on Computer Science,2008,1(3):219-237.

[15]吴军辉,郜竹香,张玉竹. 红外成像系统图像空间噪声分析与估计[J].红外技术, 2001,23(3):19-22.

[16]龚昌来.算术平均值滤波器抗噪性能分析及应用[J].嘉应大学学报,2000,18(6):38-40.

(学科责编：李雪蕾)

Moving object detection in the low illumination night scene

Zhang Yunchu1,2, Chen Yongfu3, Yang Hongjuan1,2

(1.School of Information and Electrical Engineering, Shandong Jianzhu University, Jinan 250101, China;2. Shandong Provincial Key Laboratory of Intelligent Building Technology, Jinan 250101, China; 3.Zaozhuang Shizhong District Real Estate Management Bureau, Zaozhuang 277100, China)

Images captured in the low illumination night scene for visual surveillance have high noise, low contrast，no color information，and poor distinction between the object and the background, which poses more challenges to moving object detection. Reliable moving objects detection is the key to realizing the intelligent video surveillance system. This paper analyzes the characteristics of the near infrared image of the video surveillance in the weak light environment at night, and establishes a dual-scale background model based on the improved Approximate Median Filter, to detect moving objects by dual-scale way. The experiments show that the proposed algorithm is able to detect moving objects effectively at night under adverse illumination conditions.

moving object detection; night scenario; approximate median filter; background model

2016-03-17

国家自然科学基金青年基金项目(61303087)

张运楚(1968-),男,教授,博士, 主要从事机器视觉等方面研究.E-mail: yczhang@sdjzu.edu.cn

1673-7644(2016)02-0119-06

TP391.41

A