基于纹理特征和颜色特征相融合的背景建模方法

■贾永华 张文聪 浦世亮

基于纹理特征和颜色特征相融合的背景建模方法

■贾永华 张文聪 浦世亮

针对当前大多数背景建模算法仅仅采用单一特征存在的问题，本文提出一种基于中心对称局部二值模式纹理特征和颜色特征相结合的背景建模方法，并应用于运动目标检测。实验结果表明，这一算法相比之前采用单一特征的背景建模算法在检测性能上有明显的提高，而且在速度上也能达到实时，能够很好地满足实际应用的要求。

引言

背景差方法是一种重要的运动目标分割方法，被广泛用于智能化视频监控，其基本思想是通过输入图像与背景模型进行比较，检测出运动目标。背景差方法的核心是背景建模，目前的背景建模方法大致分为两类：基于预测的方法和基于统计的方法。

基于预测的方法将视频序列看成一个时间序列，根据过去的观测值建立一个动态模型来预测当前输入帧，将预测结果作为背景并将其与输入帧进行比较从而分割出前景。典型的方法有卡尔曼滤波、粒子滤波方法等，这些方法的主要缺点在于不能对背景的突然变化（比如光线的突然变化）进行准确的建模。

而基于统计的方法是对背景建立一个统计概率模型，主要方法可以分为两类：参数化方法和非参数化方法。其中参数化方法中的典型代表就是高斯混合模型，该方法假设视频帧中每一个象素的亮度分布是一个高斯混合模型，并以此建立背景模型，但是这个假设并非总是成立。针对这个问题，有学者提出了非参数化方法，该方法无需对象素亮度的分布做任何假设，而是通过概率密度估计的方法或者聚类的方法来建立统计模型。代表性工作主要有A.Elgammal提出的使用核概率密度估计进行背景建模，以及K.Kim使用Codebook进行背景建模。

不论是基于预测还是基于统计，所有建模方法都要对所建模的对象进行特征提取。目前大部分方法仅使用的是颜色特征，比如灰度或者RGB特征。而颜色特征存在一个非常明显的缺点，即对光线突变和阴影敏感，例如基于颜色特征的高斯混合模型背景建模算法，该算法虽然对于扰动背景有较好的抑制效果，但是对于光线突变还是存在明显的缺陷，如图1中的中间两幅图所示，由于此视频中的光线在短时间存在突变，基于颜色特征的高斯混合模型算法不能很好的适应这种光线突变，因此导致大量的前景误检。针对这个缺点，Heikkila等人提出基于LBP纹理特征的背景建模方法，取得了较好的效果。其主要优点就是对于光线变化和阴影不敏感。但是，利用LBP纹理特征进行背景建模时，在检测过程中对于纹理不丰富的前景目标常常会出现检测空洞，导致检测出的前景目标不完整，如图1中的右侧两幅图所示，从该图中可以看出，基于LBP纹理特征的建模算法能够有效的抑制光影突变带来的误检，但是由于图中行人的衣着纹理过于单一，因此在检测出的行人目标中间会出现大量的空洞。此外，更为严重的是由于描述背景的LBP纹理特征直方图维数过高，导致检测速度很慢，无法进行实时处理。

■ 图1：基于颜色特征的GMM方法和基于纹理特征建模方法的检测结果示意

因此针对当前背景建模算法中存在的缺陷，本文提出一种基于CSLBP（中心对称局部二值模式）纹理特征和颜色特征的建模方法，其中利用CSLBP特征建立一个混合纹理模型，同时利用颜色特征建立一个单高斯模型。由于利用基于CSLBP特征的纹理模型只对纹理较为丰富的前景目标进行检测，因此可以有效的去除光线变化及阴影产生的虚假前景，因为这些虚假前景是没有纹理的或者说其内部纹理与背景纹理相一致的，而利用基于颜色特征的高斯模型能够弥补纹理模型在检测过程中存在的检测空洞，保持前景的完整性。因此二者结合，可以在保证真实前景目标检测完整的情况下能够去除由于光影变化带来的虚假前景目标，而且通过大量的实验测试表明，本文提出的背景建模算法是切实有效可行的。

CSLBP纹理特征

■ 图2：LBP/CSLBP特征示意图

CSLBP特征是由Heikkila等人提出的，是对LBP（Local Binary Pattern局部二值模式）特征的改进。由于LBP特征具有很强的图像局部纹理描述性，而且对于光线变化鲁棒，因此被广泛应用于目标的特征提取当中。如图2所示，对于图像中任意一点（图2中标记为nc），将其邻域内的点（图2中标记为n0～n7，是以点nc为圆心，半径为R的圆上的8个相互等距的点，对于不是正好处于某一像素上的点，需采用双线性插值法来得到其像素值），与nc进行比较来计算LBP值，具体计算方法如式（1）所示：

其中，N为nc的邻域个数，在图2中N为8，R为邻域半径（单位像素），而T(≥0)为一个阈值。

但是，使用LBP直方图进行区域描述时，产生的直方图维数很高，会带来维数灾难问题。而CSLBP由于仅比较关于中心nc对称的邻域点（如n0和n4，n1和n5等），因此其直方图维数大大降低，由原先的2N，降到2N/2，相应地，在算法计算复杂度上也会有较大地下降。具体计算方法如式（2）所示：

对于任一像素，本文采用其邻域内CSLBP值的统计直方图作为对此像素的描述，设像素点位置为（x，y），该像素点处的直方图描述的第i位按下式计算：

其中，R表示所取邻域大小，V（x'，y'）表示点（x，y）的CSLBP值。

背景建模：纹理模型和颜色模型

背景建模是运动目标检测的关键，一个好的背景模型不但要能完整地检测出前景目标，而且还要能够适应背景自身的变化，如场景中的光线变化、重复运动的物体（摇动的树叶、灌木丛、显示器的抖动、海面上的波涛）等等，防止将它们误检为前景目标。虽然纹理特征和颜色特征存在明显的互补性，但是如何进行合理融合这二者特征才能满足背景建模的最终要求是至关重要的。本文中主要是在Li等人提出的线性组合方式的基础上进行改进，引入组合权重的自适应性，计算方式如公式（4）:

其中dtc（p）为背景模型和当前帧图像在相同像素位置p处的总体相似度；dt（p）为纹理上相似度；dc（p）为颜色上的相似度；wt（p）为纹理信息贡献权重；wc（p）为颜色信息贡献权重，且有wc（p）=1-wt（p）；而k为比例因子，用于控制颜色信息的贡献权重。

背景的具体描述、模型相似度计算、模型的更新及前景点的检测如下：

（1）模型概述：

对于每一个象素，背景模型主要是由K个基于CSLBP直方图的混合纹理模型和一个基于颜色特征的单高斯模型组成。

每个像素点处的纹理模型是对以该像素为中心的一块局部区域内的直方图的统计描述，具体表示为：｛（h1,w1）,（h2,w2）,…,（hk,wk）｝，其中wi为第i个纹理模型的权重，hi为第i个模型的一个纹理描述向量，具体是指以该像素为中心、长宽皆为R的一个正方形邻域内的CSLBP直方图。单高斯颜色模型是对该像素点颜色的历史分布的描述，具体表示为：，其中为该像素点的颜色均值向量，为颜色变化协方差矩阵，。

（2）模型相似度计算：

CSLBP纹理模型：对于当前帧中一个象素点p，首先计算象素点p局部区域内的CSLBP纹理直方图描述Hn，然后计算其与每个纹理模型中直方图Ho间的相似度，即得出与每个模型的纹理相似度。纹理相似度的计算采用巴氏距离衡量法：

其中N为直方图的长度，H，Hci分别为直方图的第i位。

根据公式（4）可以计算出当前CSLBP直方图与各个纹理直方图模型间的相似度。将相似度按从小打到排序，如果相似度中的最大值小于设定的阈值Th，则认为没有一个纹理模型与当前的直方图匹配，那么此时该像素在纹理特征上与纹理模型的匹配程度就置为0；如果相似度中的最大值大于设定阈值，则认为存在于当前直方图相匹配的纹理模型，那么该相似度就是当前像素点在纹理特征上纹理模型的匹配程度。

单高斯颜色模型：当前像素点在颜色特征上的相似度计算采用高斯概率密度进行衡量：

其中，c(p)为当前帧中像素点p处的颜色向量。

（3）模型更新：

模型更新包括纹理模型的更新和单高斯颜色模型的更新。

CSLBP纹理模型：当所有相似度都小于阈值时，则认为纹理模型中没有一个模型与当前像素点的纹理相匹配，那么需重新生成一个新的纹理模型来记录当前像素点的纹理特性，因此本文中就用当前直方图代替具有最低权重的那个纹理模型的直方图，同时初始化该模型权重。如果有匹配，即有至少一个模型的相似度大于此阈值，则将最佳匹配（相似度最大）的纹理模型的直方图进行更新，更新方式如下：

然后对于所有纹理模型的权重进行如下更新[6]：

wk为第k个模型权重，aw为可调节的权重学习因子，对于具有最佳匹配的纹理模型，mk为1，否则为0。

单高斯颜色模型：单高斯模型的更新主要是更新高斯模型的均值和方差，更新方式如下：

（4）前景检测：

前景检测是在模型相似度计算完成的基础上进行的。根据公式（4）计算出当前像素与背景模型之间的最终相似度，如果相似度大于阈值，则当前象素为一个背景象素，否则判定其为前景象素。

实验结果与分析

实验选用的视频为VSSN06竞赛的部分测试视频，其中每段视频都是帧率为25fps，分辨率为320×240或者384×240。

所有的视频按照不同的测试目的大致可以分为三种类型：

变化的背景，代表视频为video4（摇动的灌木），video7_long（摇动的树叶），测试背景模型对多模态背景的建模能力；

光照的突然变化，代表视频为video8_vlong，测试背景模型对光照突然变化的处理能力和适应速度；

自举（在训练视频中就有前景物体存在），代表视频为video6_long，测试背景模型对初始训练数据的依赖性。

图3是从上述部分代表视频中截取的图像帧（括号中的数字表示视频帧号）：

本实验主要从漏检的前景像素个数的平均值和最大值，误检的背景像素个数的平均值和最大值这四个方面进行评估。为了允许少许的边缘误差，前景与背景边缘处两个像素以内的错误将被忽略。实验采用VC6.0编程，运行在Intel Core2 Duo 2.37G，内存2G的个人计算机上。

具体实验结果如表1所示：

其中ave fa为average false alarm的简写，表示平均的误检的象素点数

ave fm为average false missing的简写，表示平均的漏检的象素点数

max fa和max fm则分别表示最大的误检的象素点数和最大的漏检的象素点数

从表1可以看出，使用本文算法进行背景建模时，在误检率方面明显要比仅使用基于单一颜色特征的高斯混合模型的检测效果好很多，基本上继承成了LBP纹理模型对于光线变化鲁棒的优点；而在漏检方面明显低于仅使用基于单一LBP特征的纹理模型检测结果，具有颜色模型能够较完整检测出前景目标的优势。此外，由于本文中的纹理描述选用CSLBP特征，相比LBP特征，其特征维数要小很多，因此在速度有很大的提升，处理速度为25ms/帧，每秒可处理40帧左右，完全达到实时要求。

■ 图3：部分代表实验视频截图

■ 表1：实验结果对比

■ 图4：video4的实验结果对比

图4是在video4上的部分实验对比结果，第一行的第一幅图是视频video4中的第970帧，第二幅图是video4的第991帧，groundtruth为第991帧的真实前景数据，其中第一幅图主要是用作参照，可以从视频中看出在短时间内屋内的光线发生了突变；第二行是基于颜色特征的高斯混合模型算法检测的结果，其中foreground为检测到前景，false missing为漏检的前景，false alarm为误检的背景；第三行为基于LBP特征的纹理模型算法检测的结果；第四行为本文算法检测的结果。从图4中可以看出，本文算法融合了颜色特征模型和纹理特征模型的优点，具备能够在抑制光影突变的情况下完整地检测出前景目标。

总结

本文提出了一种基于CSLBP特征和颜色特征相融合的背景建模的方法。相比于基于采用单一颜色特征的背景建模方法，该方法能够去除由于光影变化带来的误检；相比基于单一LBP纹理特征的背景建模方法，本文方法在保持LBP对阴影和光照变化不敏感的优点的情况下减少前景目标中的空洞和漏检，而且计算代价大幅度降低。实验结果验证了上述结论。

杭州海康威视数字技术股份有限公司。本文工作得到上海市数字媒体处理与传输重点实验室开放课题资助