基于RGB动态纹理的人群活动变化检测

王 倩, 杜久玲, 刘 颖, 王伊琳

(西安邮电大学 通信与信息工程学院, 陕西 西安 710121)



基于RGB动态纹理的人群活动变化检测

王 倩, 杜久玲, 刘 颖, 王伊琳

(西安邮电大学 通信与信息工程学院, 陕西 西安 710121)

为了快速准确地检测人群活动的变化，给出一种基于RGB动态纹理的人群视频图像序列检测算法。该方法首先提取视频序列图像RGB三个通道的动态纹理特征并级联起来，然后用滑窗法量化视频序列之间的差异，从而构造人群活动变化曲线。实验结果表明，所给方法能够有效地检测出人群活动的变化，并快速浏览人群行为的变化趋势。

RGB；动态纹理；人群活动；变化检测

为了提高公共场所的安全性，需要对公共区域的人群活动进行有效监控[1]。采用计算机视觉、图像处理、模式识别等技术可实现对人群活动变化情况的检测[2]。其中，提取有效特征来表征视频序列是准确检测人群活动变化的关键。

视频数据有低层视觉特征和高层语义两种表征方法[2]。常用的低层视觉特征包括光流[3-4]、灰度梯度、目标轮廓[5]等。光流对噪声十分敏感，运算量也比较大。如果亮度恒定，灰度梯度在一定程度可以描述运动目标，而实际的运动亮度恒定很难实现。常见的高层语义特征有目标时空轨迹[6]，时空方向能量[7]，隐马尔可夫模型(Hidden Markov Model, HMM)和高斯混合模型(Gaussian Mixture Model, GMM)等。高层语义特征需要对数据进行复杂的处理，适用场景也有一定的局限性。

考虑到人群中个体之间具有极强的纹理特性，同时受所处环境影响，人群运动又具有随机性的特点，本文拟将颜色特征和局部二值模式的动态纹理(Dynamic Texture，DT)特征相结合,给出一种新的视频图像序列表征方法，以求有效利用视频序列目标的运动特征、纹理特征和颜色特征，提高对视频图像特征的表征能力，从而实现准确检测人群活动变化的目的。

1 算法描述

动态纹理是静态纹理的运动形式，可看作二维空间纹理在三维时空域的扩展。自然界普遍存在的诸多现象，如火、烟、流动的水以及人群等，都属于动态纹理，其共同特征是具有不确定的时空性[8]。

动态局部二值模式(Volume Local Binary Pattern, VLBP)[9]是建立在局部二值模式LBP(Local Binary Pattern)[10]基础上的对动态纹理描述方法。与普通纹理[11]不同，动态纹理的自相似和自我中心概念被扩展到了时空域，可以将运动和表观结合起来分析人群视频序列。

1.1 VLBP算法

为了扩展LBP以适应动态纹理，定义一个在动态纹理序列上的局部邻域V，它是3P+3个图像像素灰度级的联合分布v，即

V=v(gtc-L,c,gtc-L,0,…,gtc-L,P-1,

gtc,c,gtc,0,…,gtc,P-1,

gtc+L,0,…,gtc+L,P-1,gtc+L,c)。

其中，P是某帧图像上围绕中心像素点的局部邻域点的数目,并且，假设图像序列为n(n>2L)帧，tc表示中间帧图像，tc±L分别表示该中间帧的第前L帧和第后L帧，gtc-L,c和gtc+L,c分别表示tc±L帧图像上中心像素点的灰度值，gtc,c为中间帧中心点c的灰度值。gt,p(t=tc-L,tc,tc+l;p=0,…,P-1)为图像t上P个邻域点的灰度值。

提取静态图像的LBP纹理特征,比较邻域灰度值与中心点灰度值,以差值的正负号决定其二进制编码为0还是为1。提取图像序列上的VLBP，仿此进行,不过，连续3帧图像上均以中间帧的中心点为中心，即有

V=v(gtc-L,c-gtc,c,gtc-L,0-gtc,c,…,

gtc-L,P-1-gtc,c,gtc,c,gtc,0-gtc,c,…,

gtc,P-1-gtc,c,gtc+L,0-gtc,c,…,

gtc+L,P-1-gtc,c,gtc+L,c-gtc,c)。

(1)

假设各灰度差gt,p-gtc,c与gtc,c是相互独立的，则上式分解为

V≈v(gtc,c)v(gtc-L,c-gtc,c,gtc-L,0-gtc,c,…,

gtc-0,P-1-gtc,c,gtc,0-gtc,c,…,

gtc-L,P-1-gtc,c,gtc+L,0-gtc,c,…,

gtc-L,P-1-gtc,c,gtc+L,c-gtc,c)。

(2)

类似LBP分析普通纹理，v(gtc,c)描述图像总体亮度信息，且与图像局部纹理特征无关，并不提供动态纹理分析[12]的有用信息，故可将式(2)直接表示为差值函数

V1=v(gtc-L,c-gtc,c,gtc-L,0-gtc,c,…,

gtc-L,P-1-gtc,c,gtc,0-gtc,c,…,

gtc,P-1-gtc,c,gtc+L,0-gtc,c,…,

gtc+L,P-1-gtc,c,gtc+L,c-gtc,c)。

(3)

式(3)定义的纹理不受灰度值变化影响，即邻域中所有像素同时加上或减去某个值，其表征的纹理不变，但是当所有像素的值同时放大或缩小相同倍数后，其纹理特征发生变化。为了使定义的纹理不受灰度值单调变化的影响，只考虑差值的符号

V2=v(s(gtc-L,c-gtc,c),s(gtc-L,0-gtc,c),…,

s(gtc-L,P-1-gtc,c),s(gtc,0-gtc,c),…,

s(gtc,P-1-gtc,c),s(gtc+L,0-gtc,c),…,

s(gtc+L,P-1-gtc,c),s(gtc+L,c-gtc,c))。

(4)

其中

由式(4)可知，若每帧图像围绕中心点的邻域集内采样点数为P，可以得到一个维数为3P+2的二进制编码。 为简化V2，令

V2=v(v0,v1,…,vq,…,v3P+1),

为每个信号s(gt,p-gtc,c)分配一个权重因子2q，将式(4)转换为唯一的十进制数值VLBP(L,P,R)，该十进制数也代表一种二进制模式。其中L为图像帧间间隔，P为邻域采样点数，R为邻域半径。由此得出局部三维动态纹理的空间结构特征

(5)

假设有一个X×Y×T的DT序列，中心像素不能取在三维空间边界点，即

xc∈{0,…,X-1},

yc∈{0,…,Y-1},

tc∈{0,…,T-1}。

计算DT序列非边界像素点的VLBP值，也即对应的二进制模式，统计模式分布直方图，记为h。随着半径的增大，像素的相关性减小，故在较小邻域内就可获得绝大部分纹理信息，邻域半径R常取1。随着采样邻域数目P的增加，特征维数23P+2也越大，因而使得计算量变大。基本VLBP算法对每个非边界像素在间隔为L的三帧图像上取14个邻域点，得到的纹理特征维度为214。

1.2 RGB空间动态纹理特征提取

VLBP算法未能有效利用视频序列图像丰富的颜色信息，且特征维数过高，故考虑基于RGB空间的动态纹理特征，给出一种新的提取算法：让输入的彩色视频序列通过RGB时空局部二元编码器，之后对RGB三个通道分别进行直方图统计，并将直方图级联起来，得出RGB空间的动态纹理特征。

分别提取彩色视频序列图像各个通道的颜色信息，得到视频序列的红色通道信息、绿色通道信息和蓝色通道信息，并在相应颜色通道序列上定义局部邻域

视频序列帧间的间隔大，两帧图像的相关性小，为避免动态纹理特征维数过高，第前后L帧只取中心点，中间帧邻域数取P=4。在3个通道里分别将每个采样点像素值减去中间帧中心点的像素值，得

(6)

(7)

对视频序列图像所有非边界点像素进行RGB空间的时空局部二元编码，其步骤如图1所示。

图1 RGB空间的时空局部二元编码

对各通道编码后得到的十进制数值，统计其直方图分布hR，hG和hB，然后将其级联起来得到192维的特征

H=[hR,hG,hB]。

(8)

RGB空间动态纹理提取过程如图2所示。

图2 RGB动态纹理特征提取过程

视频帧间隔越大，两帧图像的相关性越小，故对前(后)L帧不必取与当前帧同样多的邻域点。此算法的特征维度为192，而原VLBP算法的特征维度为16384。

2 算法应用

将一段待检测的人群视频序列Sn输入时空二元编码器，提取图像序列RGB空间的动态纹理特征，将得到的时空统计直方图级联来表征人群视频序列的特征。

为检测人群活动的变化，将时间滑窗从视频起始位置滑向结束位置，每次滑动步长为1帧。取窗宽为2tw，将第t(tw≤t≤T-tw)次滑窗内的人群序列分为前tw帧和后tw帧子序列，然后将两子序列输入到时空二元编码器中，再提取RGB时空统计特征来表征视频序列，分别记为fpre(t)和fpost(t)。度量当前滑窗内前后两段人群视频序列的差异，通过计算fpre(t)和fpost(t)的χ2距离[13]，将值赋给变化曲线在t时刻的值

dchangeline(t)=χ2(fpre(t),fpost(t))。

(9)

χ2距离定义为

(10)

其中，i表示特征向量的索引，dchangeline(t)反映了人群行为在t时刻的变化情况。步骤如图3所示。

图3 构造人群活动变化曲线流程

为结合视频序列来直观显示变化曲线,抽取人群视频每帧的中间列数据，以时间为序列，组成人群活动图。变化曲线是度量人群行为活动与之前发生的行为活动的变化情况，曲线上的峰值越大表示人群活动变化越剧烈，峰值越小说明人群活动发生的变化越小。

3 实验及分析

选取公共人群数据集中的多个视频序列，进行人群活动变化检测实验，并将所给新算法与原VLBP算法进行对比。其中3个视频序列的变化曲线检测结果, 分别如图4、图5和图6所示。

图4 行走人群活动变化曲线

图5 起跑人群变化曲线

图6 马拉松比赛现场人群活动变化曲线

实验结果显示,曲线图准确反映了人群活动的变化情况，与实际的视频画面相吻合。新算法与原VLBP算法对比，有更多的局部峰值，能够更精确地检测到人群活动的变化。

根据所给新算法，行走人群活动变化曲线出现了8个局部峰值，分别在35帧、72帧、324帧、362帧、408帧、446帧、470帧、513帧。其中，第35帧如图7(a)所示，人群开始进入监控视频画面中，从无到有，出现局部峰值； 第72帧如图7(b)所示，有一人突然从人群行进方向迎面走过来，发生显著变化，出现局部峰值；第470帧如图7(c)所示，人群在监控画面中逐渐消失，大部分人已经走出监控区域，出现局部峰值。起跑人群活动的变化曲线出现一个局部峰值,相对于视频图像的第45帧，如图7(d)所示，人群突然跑起来，故引起曲线的局部峰值。马拉松比赛现场人群活动的变化曲线出现了9个局部峰值。其中第29帧如图7(e)所示,货车快速驶入监控范围的赛道，出现局部峰值。第51帧如图7(f)所示，运动员经过两旁挤满呐喊加油的人群时，突然提高赛跑速度，步伐明显加快，出现局部峰值。第103帧如图7(g)所示，比较多的人群涌进监控范围内，运动员也很集中的出现在监控内的赛道上，形成局部峰值。第349帧如图7(h)所示，马拉松接近终点，监控中运动员冲刺加速，人群也开始欢呼，出现局部峰值。可见，所给新算法能够快速准确地检测到人群活动的变化。

4 结语

为快速准确地检测出监控视频中的人群活动变化，结合视频序列图像的颜色特征、纹理特征和运动信息，给出一种基于RGB动态纹理的检测方法。实验结果表明，所给方法能够有效检测到人群行为活动的变化，并准确定位人群行为突变的时刻。

[1] 吴新宇, 郭会文, 李楠楠，等.基于视频的人群异常事件检测综述[J/OL].电子测量与仪器学报, 2014,28(6):575-584[2016-06-20].http://dx.chinadoi.cn/10.13382/j.jemi.2014.06.001.

[2] 闫志扬. 视频监控中人群状态分析及异常事件检测方法研究[D/OL].天津:天津大学, 2014:9-56[2016-06-20].http://d.wanfangdata.com.cn/Thesis/D486059.

[3] XU D, SONG R, WU X Y, et al. Hierarchical activity discovery within spatio-temporal context for video anomaly detection[C/OL]//2013 20th IEEE International Conference on Image Processing(ICIP). [S.l.]:IEEE,2013:3597-3601[2016-06-20].http://dx.doi.org/10.1109/ICIP.2013.6738742.

[4] CONG Y, YUAN J S, LIU J. Sparse reconstruction cost for abnormal event detection[C/OL]//2011 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). [S.l.]:IEEE, 2011:3449-3456[2016-06-20].http://dx.doi.org/10.1109/CVPR.2011.5995434.[5] 王雅琳. 基于灰度共生矩阵的人群密度估计算法研究[D/OL]. 西安：西安科技大学, 2013：8-53[2016-06-20].http://d.wanfangdata.com.cn/Thesis/D347380.

[6] DU T, YUAN J S. Optimal spatio-temporal path discovery for video event detection[C/OL]//2011 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). [S.l.]:IEEE,2011:3321-3328[2016-06-20].http://dx.doi.org/10.1109/CVPR.2011.5995416.

[7] ZAHARESCU A, WILDES R. Anomalous Behaviour Detection Using Spatiotemporal Oriented Energies, Subset Inclusion Histogram Comparison and Event-Driven Processing[C/OL]//ECCV’10 Proceedings of the 11th European conference on Computer vision: Part I. Heidelberg: Springer-Verlag Berlin, 2010:563-576[2016-06-20].http://dx.doi.org/10.1007/978-3-642-15549-9_41.

[8] TIWARI D, TYAGI V. Dynamic Texture Recognition: A Review[C/OL]//Information Systems Design and Intelligent Applications: roceedings of Third International Conference INDIA 2016,Volume 2. [S.l.]:Springer,2016:365-373[2016-06-20].http://dx.doi.org/10.1007/978-81-322-2752-6_36.

[9] ZHAO G, PIETIKAINEN M. Dynamic Texture Recognition Using Local Binary Patterns with an Application to Facial Expressions[J/OL]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2007, 29(6):915-28[2016-06-20].http://dx.doi.org/10.1109/TPAMI.2007.1110.

[10] GUO Z H, ZHANG L, ZHANG D. A completed modeling of local binary pattern operator for texture classification[J/OL]. IEEE Transactions on Image Processing, 2010, 19(6):1657-1663[2016-06-20].http://dx.doi.org/10.1109/TIP.2010.2044957.

[11] 孙君顶, 周业勇. 局部二值模式及其扩展方法研究与展望[J/OL]. 计算机应用与软件, 2016, 33(1):203-210[2016-06-20].http://dx.chinadoi.cn/10.3969/j.issn.1000-386x.2016.01.051.

[12] WANG L Y, LIU H P, SUN F C. Dynamic Texture Video Classification Using Extreme Learning Machine[C/OL]//Proceedings of ELM-2014 Volume 2: Application. [S.l.]: Springer, 2014:41-50[2016-06-20].http://link.springer.com/10.1007/978-3-319-14066-7_5.

[13] 谢红, 赵洪野. 基于卡方距离度量的改进KNN算法[J/OL].应用科技，2015(1):10-14[2016-06-20].http://dx.chinadoi.cn/10.3969/j.issn.1009-671X.201401002.

[责任编辑:陈文学]

RGB dynamic textures based detection about the change of crowd activities

WANG Qian, DU Jiuling, LIU Ying, WANG Yilin

(School of Communication and Information Engineering, Xi’an University of Posts and Telecommunications, Xi’an 710121, China)

A new method is proposed to detect the change of crowd sequence of video images based on RGB dynamic textures. Firstly, dynamic textures are respectively extracted from the RGB three channels of video sequence images and cascade them together. Then, quantify the difference between sequences by sliding window, thus, the change curve of crowd activities can be obtained. Experimental results show that, the change curve can fast browse and effectively detect the changes.

RGB, dynamic texture, crowd activities, change detection

10.13682/j.issn.2095-6533.2016.06.006

2016-08-07

国家自然科学基金资助项目(41504115)；公安部科技强警基础专项资助项目(2015GABJC51, 2015GABJC50)；陕西省自然科学基础研究计划资助项目(2015JQ6223)；陕西省教育厅科研基金资助项目(16JK1691)

王倩(1983-),女，博士，讲师，从事视觉信息处理与识别研究。E-mail:xinrzhsh24@163.com 杜久玲(1989-)，女，硕士研究生，研究方向为通信与信息系统。E-mail: 1278105321@qq.com

TP391.41

A

2095-6533(2016)06-0029-06