基于XCS-LBP纹理背景建模算法的运动目标检测

曹建荣，高红红，韩怀宝，赵淑胜，梁　月

（1.山东建筑大学信息与电气工程学院，山东济南250101；2.山东省计量科学研究院流量计量研究所，山东济南250014）

基于XCS-LBP纹理背景建模算法的运动目标检测

曹建荣1，高红红1，韩怀宝1，赵淑胜1，梁月2

（1.山东建筑大学信息与电气工程学院，山东济南250101；2.山东省计量科学研究院流量计量研究所，山东济南250014）

传统纹理特征的背景建模算法具有模型的维数过高、计算复杂等缺点，加大了运动目标检测的难度，提取精确细致的纹理特征建立背景模型，并且提高算法的处理速度，是运动目标检测技术的关键。文章对比了几种经典的纹理算子，采用了提取纹理信息更加细致的纹理提取算子，使用统计学习方式建立背景模型，又利用像素的空间信息，增加了随机更新机制去更新背景模型，提出了基于扩展中心对称局部二值纹理模式（extended center-symmetric local binary pattern，XCS-LBP）纹理特征背景建模算法并通过实验验证该算法检测效果好，避免了模型的维数过高，减少了复杂计算，处理速度满足实时处理的需求。

背景建模；运动目标检测；XCS-LBP纹理特征；随机更新机制

0　引言

随着计算机视觉和人工智能的发展，基于智能分析的运动目标检测技术成为一个活跃的研究方向，也是实现目标分类、目标追踪、以及目标行为分析等后期处理的基础，实现精准快速的运动目标检测具有重要的研究意义和实验价值。背景建模算法是运动目标检测算法中最常用和最有效的运动目标分割算法［1-2］。其基本思想是通过统计学习，提取视频帧中的特征建立背景模型并与输入图像比较获得前景目标，背景建模过程包括背景模型初始化、前景检测和背景更新等过程。随着目标检测算法的不断发展，很多经典的背景算法被相继提出，包括混合高新模型、PBAS算法和Codebook算法等。混合高斯模型，适用于动态背景中，抗干扰能力强，成为最经典的算法之一，但是有初始学习速度慢、在线更新费时等缺点［3-4］。Hofmann等在2012年提出了PBAS（pixel-Based adaptive segmenter）背景模型算法，该方法的分割效果较好，但计算复杂处理速度较慢［5］。赵玉吉等提出了一种改进的Codebook的背景建模算法，对传统的Codebook算法进行了改进，但是计算复杂性较高［6］。目前大多数方法使用颜色特征，比如灰度或者RGB特征［7-9］，但是颜色特征对光照变化或者阴影比较敏感，因此，可采取纹理特征进行背景建模，获得运动目标。

纹理是一种重要的视觉线索，是图像中普遍存在的特征［10-11］。纹理特征对光照变化不敏感，计算简单，因此，很多学者采用纹理特征，提出了一些背景建模算法，这些纹理背景建模都采用了纹理直方图统计来建模，背景直方图维数随着算子的不同而不同。局部二值模式LBP（Local Binary Pattern）［12］应用在背景建模中取得良好的效果，但是LBP纹理特征在背景建模时，背景描述直方图的维数过高，影响了检测的速度；Heikkilä等在2009年提出了一种中心对称对称局部二值模式CS-LBP（center symmetric local binary pattern，）［13］，比较关于中心对称的邻域点，降低了背景直方图的维数。Xue等提出了一种空间扩展中心局部二值模式SCS-LBP（spatialextendedcenter-symmetriclocalbinary pattern）［14］，降低了CS-LBP的计算复杂度。该方法提取了更加详细的纹理信息。Silva等提出一种提出了一种基于扩展中心对称局部二值纹理模式XCS-LBP（extended center-symmetric local binary pattern）［15］的背景建模算法，结合LBP和CS-LBP的纹理特点，提取的纹理特征更加精准。

提取精确细致的纹理特征建立背景模型，并且提高算法的处理速度，是运动目标检测技术的关键。文章运用XCS-LBP算子进行纹理特征提取，利用邻域像素之间在时间和空间上的相关性，提出了一种基于XCS-LBP纹理特征的背景建模算法。文章算法的独特之处是不再使用纹理直方图统计来建模，减少了复杂计算，提高算法的计算速度。使用视频帧中第一帧图像的扩展中心对称局部二值纹理特征建立背景模型，进而进行前景检测，背景更新时才用随机更新机制，提高了算法对噪声的干扰。

1　纹理算子

LBP算子是一种应用比较广泛的区域算子，具有多尺度特征、旋转不变性、计算简单等优点，尤其该特征是对光照变化和及阴影的适应性强，被广泛应用在目标特征提取。对于图像中的每个像素点c=（x，y），与其邻域半径为R的P个邻域点的灰度值进行比较，计算出LBP纹理特征值，计算过程由式（1）表示为

式中：gc为中心点的灰度值；gi为邻域点灰度值；T为阈值；P为邻域点的个数一般选4或者8。

CS-LBP算子采用中心对称的思想提取纹理特征，大大降低了提出纹理特征的维数。计算以中心像素为对称的像素对的邻域像素值，得出CS-LBP纹理算子的特征值由式（2）表示为

式中：gi+P/2是以gc为中心与gi点中心对称的像素点灰度值。

XCS-LBP算子所提取的纹理信息更加细致，结合了LBP和CS-LBP纹理的优势，对抗噪能力更强。XCS-LBP纹理算子的特征值的计算方式由式（3）表示为

式中：gi为像素点c=（x，y）的邻域像素点灰度值；gi+P/2是以gc为中心与gi点中心对称的像素点灰度值；T为阈值。

当P=8时，LBP和CS-LBP原理图如图1所示。

图1　LBP、CS-LBP和XCS-LBP算法原理图

图2　LBP、CS-LBP和XCS-LBP纹理特征对比图

图2分别显示输入图片、LBP纹理特征图、CSLBP纹理特征图、XCS-LBP纹理特征图，结果显示XCS-LBP纹理特征图比LBP纹理和CS-LBP纹理特征图提取的纹理特征更加清晰和细腻，在特征提取时更加准确。因此文章采用XCS-LBP纹理进行背景建模，该方法计算简单，能够提高算法的计算效率，满足实时处理的要求，同时，计算纹理特征采用中心对称的方式，抗噪能力增强［16］，并且提取的纹理信息比LBP和CS-LBP更加准确和清晰，提高了背景建模的准确性。

2　基于XCS-LBP纹理的背景建模算法

文章提出的基于XCS-LBP纹理的背景建模算法，采用XCS-LBP纹理特征对运动目标进行特征提取。统计直方图的背景建模方式，是采用通过统计像素灰度变化的方法来检测背景，但却有运算量大、提取背景速度慢的缺点，并且随着统计的图像序列增加，提取背景的效果越来越不明显。因此文章用视频帧中第一帧图像的扩展中心对称局部二值纹理特征建立背景模型，不再采取纹理直方图方式进行背景建模，减少了复杂计算。考虑到样本点在空间上的相关性，背景更新时才用随机更新机制，最后进行的前景后处理提高前景的准确率。

2.1背景初始化

背景模型是运动目标检测中最重要的一部分，主要目的是为场景建立动态的统计数据模型，是算法统计学习的过程。经典的目标检测算法一般采取单帧或多帧进行特征提取从而建立背景模型。但是，若算法背景初始化时存在运动目标时，建立的背景模型可能包含前景成分，使得背景模型不准确，属于背景的像素点会不断被判断为前景；文章首先提取视频中的第一帧进行背景模型初始化，计算每个像素的XCS-LBP值。像素点x的XCS-LBP值为L（x），利用图像邻域像素点在时间和空间上的相关性，提取像素点8邻域内的XCS-LBP值，并在这8邻域内的样本点中随机抽取N个（N一般选20或25）样本点，建立每个像素点的背景模型即每个像素点的背景模型由式（4）表示为

式中：B（x）为像素点x的背景模型；L（x）为像素点x的XCS-LBP值；N为样本点个数，一般取20或25。

2.2前景检测

前景检测在背景更新前进行。前景检测的主要目的是根据输入的视频帧与建立的背景模型进行比较，提取出前景目标，因此前景检测也是一个分类问题，如果将邻域的纹理特征对新的像素点分类，可以降低噪声的影响。文章在前景检测时，将当前样本与背景模型中的每个样本进行匹配度计算，即计算当前像素与背景模型像素距离与设定阈值#R进行比较。文章定义Match（x）为像素点x的匹配度，每个像素点根据背景模型的个数计算单个匹配度Mi，dist表示当前像素与背景模型像素点距离。具体的表示由式（5）（6）表示为

式中：Match（x）为像素点x的匹配度；Mi（i= 1，..，N）表示单个匹配度，dist表示当前像素与背景模型像素点距离。

若当前像素点与背景模型中的所有样本点比较后计算出当前点的总的匹配度，当匹配度大于阈值T时，当前像素被判为前景，否则被判为背景，由式（7）表示为

由于场景的复杂性，前景检测后，前景图像中会产生一些白色的噪声块。针对这一情况，文章算法设定了面积阈值进行连通域判断，若白色噪声块的面积小于设定的阈值Area，则判定其不是前景.

处理后的前景图像再进行形态学滤波，利用开闭运算滤除噪点，使图像更加完整清晰。

2.3模型更新

视频序列的背景会随着时间的变化发生变化，比如光照影响，树枝摆动，场景变化等。背景模型的更新可以使背景模型适应背景变化，提高算法的鲁棒性。模型的更新在前景检测之后，对检测出的前景和背景分别进行更新。文章算法利用像素的空间信息，增加了随机更新机制去更新背景模型，增强算法对噪声的鲁棒性。具体步骤如下：

（1）被判为背景的点x，其背景模型中的背景点按1/α的概率用当前像素点的XCS-LBP值更新B（x）中的随机抽取的一个样本点，α为更新因子。

（2）根据邻域像素点在时间和空间上的相关性。再次按1/α的概率随机更新选取的x的8邻域的背景模型中的一个样本点，完成对邻域点的背景模型更新。

（3）当x点被判为前景时，设定更新频率φ，即该点有1/φ的概率替代随机选取的背景模型中的样本点。当该点连续被判为φ次前景时，将该点判为背景并加入背景模型。

3　实验结果及分析

本实验的实验软件环境：操作系统为Window 7，硬件平台Core3双核2.2 GHz、2.0 GB，软件平台采用VS2008，Opencv2.3.1。

实验中参数，#R=2、T=2、α=16、φ=50和Area=80。为了具有更好的对比性，体现文章算法的优势，文章采用了三个场景的视频Video1，Video2和Video3，并根据纹理特征和建模方式的不同将本算法与传统LBP、XCS-LBP纹理直方图背景建模方法进行实验对比。

3.1结果分析

文章采用了四段视频进行对比试验，图3显示了LBP、CS-LBP和文章算法处理结果对比。图3（a）是输入视频帧，图3（b）是LBP直方图建模法处理结果，图3（c）是XCS-LBP直方图建模法处理结果，图3（d）是XCS-LBP背景建模算法处理结果。图3（b）、（c）采用的纹理特征不同，建模方式相同，两种算法在这三个视频中，处理的前景效果不完整，同时有产生的前景误检比较多；图3（c）、（d）中采用的纹理特征相同，建模方式不同。

Video1和Video2中场景属于昏暗的楼道场景，该场景中图像的对比度低、分辨率低，传统LBP、XCS-LBP纹理直方图背景建模方法检测出的前景不完整，文章采用对光照变化和阴影不敏感的纹理算子和统计学习的方式背景建模的方法取得了很好的检测效果。Video3和Video4分别是一段经典的室外场景和一段经典室内场景，该场景中行人的衣着与背景颜色相近，属于前景的像素可能被判为背景，导致空洞的产生，文章算法采用了基于区域的背景建模方式减少了前景误判率。由对比图可知，在不同的实际场景中，文章提出的算法能够克服光照和噪声的影响，获得准确完整的前景目标。

图3　LBP、CS-LBP和XCS-LBP背景建模算法处理结果对比图

3.2处理速度比较分析

由表1所示，采用传统直方图的背景建模方法，存在计算复杂处理速度低的缺点，很难满足实时性的要求。文章算法使用统计学习的背景建模方式，避免了复杂计算，视频处理速度较快，满足实时性要求。文章算法与传统LBP和XCS-LBP纹理直方图背景建模方法处理速度相比，比LBP纹理直方图建模的处理速度快，接近XCS-LBP的平均处理速度，能够满足实时处理的要求。

表1　三种算法平均处理速度比较/（ms·f-1）

4　结语

文章针对传统纹理背景建模存在的模型维数过高、计算复杂等缺点。采用提取的纹理特征比较精细的XCS-LBP算子进行图像纹理提取，利用邻域像素之间在时间和空间上的相关性，提出了一种基于XCS-LBP纹理特征的背景建模算法。该算法不再使用纹理直方图统计来建模，减少了复杂计算，提高算法的计算速度。文章算法使用视频帧中第一帧图像的扩展中心对称局部二值纹理特征建立背景模型，并进行前景检测，背景更新时采用随机更新机制。实验表明，XCS-LBP背景建模算法比传统LBP和XCS-LBP纹理直方图背景直方图算法获得的前景目标准确完整，同时算法的处理速度比这两种算法快，可满足实时处理的要求。

［1］Liu W.，Yu H.F.，Yuan H.，et al..Effective background modelling and subtraction approach for moving object detection［J］.IET Computer Vision，2015，9（1）：13-24.

［2］ Zhang X.，Huang T.，Tian Y.，et al..Background-modelingbased adaptive prediction for surveillance video coding［J］.IEEE Trans Image Process，2014，23（2）：769-784.

［3］ Stauffer C.，Grimson W.E..Learning patterns of activity using real-time tracking［J］.IEEE Trans Pattern Anal Mach Intell，2000，22（8）：747-757.

［4］ 黄文丽，范勇，李绘卓，等.改进的混合高斯算法［J］.计算机工程与设计，2011，32（2）：592-595.

［5］Hofmann M.，Tiefenbacher P.，Rigoll G...Background segmentation with feedback：the pixel-based adaptive segmenter［C］.IEEE ComputerSocietyConferenceoncomputerVisionandPattern Recognition Workshop（CVPRW），2012：38-43.

［6］ 赵玉吉，骆且，杜宇人.基于改进的codebook算法的运动目标检测［J］.扬州大学学报（自然科学版），2015（4）：63-67.

［7］ Kang B.，Zhu W.P..Robust moving object detection using compressed sensing［J］.IET Image Processing，2015，9（9）：811 -819.

［8］ Chavez-Garcia R.O.，Aycard O..Multiple sensor fusion and classification for moving object detection and tracking［J］.IEEE Transactions on Intelligent Transportation Systems，2016，17（2）：525-534.

［9］ Zhang X.，Yang Y.H.，Han Z.G.，et al..Object class detection：a survey［J］.ACM Computing Surveys，2013，46（1）：28-36.

［10］刘丽，匡纲要.图像纹理特征提取方法综述［J］.中国图象图形学报A，2009，14（4）：622-635.

［11］孙轶红，焦永和.基于特征描述及纹理的桥梁三维建模方法研究［J］.计算机仿真，2006，23（2）：171-173.

［12］Heikklä M.，Pietikäinen M..A texture-based method for modeling the backgroundanddetectingmovingobjects［J］.IEEE Transaction on Pattern Analysis and machine Intelligerce，2006，28（4）：657-662.

［13］Heikkila M.，Pietikainen M.，Schmid C..Description of interest regions with local binary patterns［J］.Pattern Recognit，2009，42（3）：425-436.

［14］Xue G.，Sun J.，Song L..Dynamic background subtraction based on spatial extended center-symmetric local binary pattern［J］.2010，26（2）：1050-1054.

［15］Silva C.，Bouwmans T.，Frelicot C..An eXtended Center-Symmetric Local Binary Pattern for Background Modeling and Subtraction in Videos［C］.The Computer Vision，Imaging and Computer Graphics Thory and Applications，2015：395-402.

［16］谭文明，李斌，张文聪.基于中心对称局部二值模式的背景建模方法研究［J］.中国科学技术大学学报，2010，40（11）：1112-1116，1152.

Background modeling algorithm based on XCS-LBP texture feature

Cao Jianrong，Gao Honghong，Han Huaibao，et al.

（School of Information and Electronic Engineering，Shandong Jianzhu University，Jinan 250101，China）

Traditional background modeling algorithms based on texture features have the disadvantage of high dimension and complex calculation，which increase more challenges to moving object detection.Extracting precise and detailed textural feature used for building background model，and improving processing speed of the algorithm are two key factors of moving target detection technology. This paper compares some classical texture operators and adopts texture extraction operator which can extract more detailed texture information，then builds background model using statistical learning method.The random update mechanism is added to update background model using space information of pixels.Then this paper proposes a background modeling algorithm based on XCS-LBP（Extended Center-Symmetric Local Binary Pattern，XCS-LBP）texture feature.Experimental results show that the algorithm proposed in this paper works well，avoids high dimension and complex calculation，and has fast processing speed which meets requirement of real-time processing.

background modeling；moving target detection；XCS-LBP texture feature；random update mechanism

TP301.6

A

1673-7644（2016）04-0322-06

2016-06-05

山东省科技发展计划项目（2013GGX101131）；济南市高校院所自主创新项目（201202002）

曹建荣（1965-），男，教授，博士，主要从事模式识别与图像处理、智能建筑监控视频分析与应用等方面的研究.E-mail：jrcao@ sdjzu.edu.cn