基于运动轨迹分量的行人徘徊行为检测研究

赵卫峰，黄 沄

(重庆邮电大学 资产管理处，重庆 400065)

基于运动轨迹分量的行人徘徊行为检测研究

赵卫峰，黄 沄

(重庆邮电大学 资产管理处，重庆 400065)

针对传统的目标徘徊检测方法在实时性和准确性等方面的不足，提出了一种基于目标轨迹分量曲线的行人徘徊检测算法。首先，采用基于帧差法的背景模板建模方法来建立初始背景。然后，用改进的结合背景差分的三帧差分法检测前景目标，通过Mean-shift算法对前景目标进行跟踪。最后，将得到的运动轨迹做正交分解，根据目标运动轨迹的X轴、Y轴分量曲线来对徘徊行为进行识别。实验表明，该方法能够对几种典型的徘徊行为进行实时、精确判断，同时可以检测出其他复杂的徘徊行为，有较好的实时性和准确率。

背景建模；Mean-shift；徘徊检测；运动轨迹

随着科学技术的快速发展，智能视频监控中的视频分析技术以其无需人为干预的情况下能够自动对监控场景的视频序列进行实时分析、定位、跟踪和识别目标等优势，引起了人们越来越多的关注，并成为智能视觉系统中的一个研究热点。徘徊行为检测视频监控的一项重要内容，它反映行人目标彷徨、矛盾的心理过程，是一种常见的视频分析技术[1-2]。徘徊行为表现为目标在某区域内反复的往返或无规则的运动，是种复杂的行为模式[3]。传统的徘徊检测方法利用目标在警戒区域内的逗留时间、运动轨迹等特点来对其进行判定。文献[4]中提出一种基于目标在监控区内总移动距离和滞留时间的徘徊检测方法，目标移动的距离和滞留时间之和超过预设值即被判为发生徘徊行为，该方法对于残疾人和老人等行动缓慢的人群会出现误检。文献[5]中采用运动目标轨迹各点的斜率对徘徊行为进行检测，通过将坐标点的斜率转化为角度值，根据夹角的增减次数和阈值的比较来判定徘徊行为，该方法仅对水平拍摄的场景适用。文献[6]中使用目标在警戒区域内运动轨迹的转角差、距离和时间来综合判断徘徊行为，但该方法易因目标进入区域后长时间静止而造成漏检。鉴于上述方法的不足，本文提出了一种基于目标运动轨迹分量的徘徊行为检测算法。该方法根据目标轨迹的坐标轴分量曲线是否发生异常来判断徘徊行为，适用于多种角度拍摄场景，且具有较好的准确性和实时性。

1 初始背景建模

目前主要的建模方法有码本法、高斯法、中值法和均值法等。码本法[7]采用量化的方法针对每一帧图像构建一个码本模型，能够建立可靠的背景模型，但其时间复杂度高，无法满足实时处理的要求。核密度估计无参背景建模方法[8]在样本充分时能够很好地适应场景变化，可处理多模态情况，但计算比较复杂，占用内存多；混合高斯模型方法[9]通过为图像中的每个像素点建立多个高斯模型来建立背景图像，该方法对环境的自适应能力较强，但算法时间复杂度高，模型参数的选取对其检测效果影响较大，提取的背影会有“鬼影”或“拖影”现象，导致检测目标不准确。本文针对以上方法的不足采用一种基于帧差法的二值化背景模板建模算法，通过对场景图像序列进行训练来提取背景特征，并利用背景特征建立模型表示初始背景。其具体步骤如下：

1)初始化二值化背景模版M、计数器T和背景图像S的灰度值；

3)若Dn-k(x,y)中相应像素点的灰度值H(x,y)

4)对二值化背景模版M进行遍历，用计数器T来记录背景模版M中状态为0的像素点的数量；

5)当计数器T

图1显示了背景模板法建立起始背景图像的过程。该算法可以在复杂场景下快速有效地建立背景，对比高斯法、码本法和中值法具有明显的优势。由于本文主要针对智能视频监控中运动人体的徘徊行为进行研究，监控场景中人体的运动速度相对比较缓慢，反映到时间差较小的相邻两帧图像中时，运动目标会出现较大部分的重合，影响初始化背景模型的建立。因此，根据监控场景内的实际情况，在步骤2)中选用间隔为50帧的帧差法，灰度阈值th0为5。有效抑制了噪声等因素的干扰，弥补了中值滤波和高斯法建模的不足。

图1 背景建模过程

2 目标检测和跟踪

运动目标检测处于整个智能视频监控系统的底层，是实现徘徊行为智能化分析的前提。它是指通过利用图像处理技术将感兴趣的前景目标区域从所拍摄的视频场景图像中分离出来，该阶段检测效果的好坏直接影响后续徘徊行为的识别。前景目标的提取通常易受光照、相机抖动等外界环境因素影响，易造成“误检”和“漏检”的现象，因此采用一种可靠有效的目标检测算法十分重要。本文通过对传统的背景差分法和帧间差分法[10]进行实验分析，采用一种改进的结合背景差分和三帧差分的检测算法对运动区域进行提取，并将提取的运动区域结果进行二值化处理得到运动前景轮廓，最后采用Mean-shift算法实现运动目标的跟踪。

2.1 运动目标的检测

针对运动目标检测中单一使用背景减差法或帧间差分法的不足，本文采用三帧差法和背景减差法相结合的检测方法。具体的算法思想：首先，从视频图像序列中获取连续3帧图像，对其做3帧差分运算得到待检前景目标图像，同时，取上述连续3帧图像的中间帧与背景图像做差分得到背景差分图像，最后，将待检前景目标图像与背景差分图像做逻辑运算提取出前景目标。该运动目标检测算法的步骤如下：

1)取当前帧图像Ii(x,y)和背景图像S(x,y)做差分运算，并对获取背景差分图像做阈值化处理(th2为设定阈值)，得到二值化图像Di(x,y)，从而提取出待检测的前景目标像素点，如式(1)所示

(1)

2)在视频序列中取连续的3帧图像Ii-1(x,y)，Ii(x,y)，Ii+1(x,y)，对相邻帧做两两差分运算，将得到的两幅差分图像G1(x,y)和G2(x,y)进行阈值化后做适当的形态学处理，通过对处理后的两差分图像做“与”运算，得到三帧差分结果图像G(x,y)，如式(2)～式(4)所示

(2)

(3)

(4)

3)将三帧差分结果图像G(x,y)与背景差分图像Di(x,y)做逻辑“或”运算，得到目标图像Wi(x,y)，进而提取出前景目标，如式(5)所示

(5)

图2显示了三帧差分法与背景减差法相结合的方法对场景内运动目标进行检测的过程。从图中可以看出该算法能够获得较好的检测效果，不但克服了单独使用背景减除法对光线变化自适应能力差的问题，还弥补了帧间差分法容易造成前景目标空洞的缺陷，加之采用多帧的联合判断有效地抑制了噪声、抖动等外界因素带来的影响，进一步提升了场景中运动目标检测的有效性。

图2 目标检测效果图

2.2 运动目标的跟踪

运动目标跟踪是指利用相邻帧间目标的特征匹配来确定其在当前帧中的位置，即在视频序列的不同帧中搜索同一目标位置的过程。本文在搜寻最佳匹配目标特征时采用 Mean-shift算法。对于n维欧式空间X中的有限集合A，在x∈X处的Mean-shift表达式如式(6)

(6)

对于给定一个初始点x，核函数G(xi)，权重函数w(xi)，容许误差δ，式(6)中第一项记为mh,G(x)，则其可表示为式(7)的形式

(7)

3 徘徊行为分析

3.1 徘徊行为的定义和判定

徘徊行为是运动人体在一个地方停留超过一段时间或者运动轨迹出现异常[12-13]。由于人体的运动行为有随机性，想要准确判定徘徊行为是一个相当复杂的过程。大多数研究者根据运动目标在警戒区域内逗留时间、运动轨迹的长度和方向信息进行判定。本文采用轨迹分析法通过运动目标在防区内运动轨迹的X轴、Y轴的分量随时间的变化曲线对徘徊行为进行判定。

3.2 正常行为的轨迹分析

在正常情况下行人的运动轨迹是一条沿主方向斜率变化比较稳定的贯穿防区的一条曲线。根据曲线的正交分解法可以将运动目标在防区内轨迹分解为X轴分量和Y轴分量。

图3显示了运动轨迹分量映射到帧数-分量值坐标平面中轨迹曲线的变化。图3a为行人正常从警戒区域穿过时，目标轨迹在X轴的分量持续上升，Y轴分量在150～200之间平稳变化。图3c为2个目标同时穿越且方向不同的情况，可以看出目标1轨迹的X轴分量持续增加，Y轴分量虽出现一个值跳变，但整体变化不大；目标2中X轴分量持续减少，Y轴分量变化平稳，未出现某个坐标轴分量类似正弦波振荡的情况。经研究分析发现目标正常穿越时的轨迹分量曲线变化为2条轨迹分量曲线均未出现正弦波式的振荡波形。

3.3 徘徊行为的轨迹分析

根据对大量徘徊行为的视频数据进行分析后发现，当运动目标发生徘徊行为时，它的运动轨迹分解后在X轴或Y轴分量曲线上会出现多个波峰和波谷，对应的分量轨迹曲线随着帧数的增加出现振荡的现象，同时其在一定区域内的轨迹长度明显高于正常穿越的情况。

1)徘徊行为轨迹分类

通过对日常徘徊行为的分析，本文将近似椭圆运动轨迹、反复做往返运动轨迹、无规则的折线运动轨迹和S形曲线运动轨迹四种典型徘徊行为的运动轨迹，采用正交分解法分解并映射到分量值与帧数组成的平面坐标系中，通过对徘徊行为轨迹曲线的分析，可将徘徊行为归为单坐标轴轨迹分量曲线异常和双坐标轴轨迹分量曲线异常两类。

(1)单坐标轴轨迹分量曲线异常

当目标在监控区域内出现反复往返或S型运动时，将其轨迹进行分解并映射到分量值—帧数坐标平面中，其中一条轨迹坐标轴分量曲线会出现振荡，而另一条轨迹坐标轴分量曲线会缓慢地增加或减少，此种曲线异常往往发生在水平拍摄的视频场景中，在这种拍摄方式下只需通过一条轨迹分量曲线即可判定行人是否存在徘徊行为。

图3 目标正常运动轨迹分量曲线和对应实景图

(2)双坐标轴轨迹分量曲线异常

当目标在防区内出现近似椭圆或无规则折线运动时，其运动轨迹被分解并映射到分量值—帧数坐标平面后，2条轨迹分量坐标轴曲线均出现振荡现象，或1个轨迹坐标轴分量曲线出现振荡，1个坐标轴轨迹曲线发生不规则的变化，且振荡曲线中存在多个波峰和波谷，同时相邻波峰和波谷间会出现较大的落差，此类曲线异常通常发生在垂直或倾斜向下角度拍摄的视频场景中。

2)徘徊行为的判定

目标贯穿整个防区的运动轨迹满足在分量坐标轴投影平面中2条轨迹分量曲线均未出现正弦波式振荡。当轨迹的分量坐标轴曲线出现单曲线或双曲线异常时，若某条异常曲线中波峰和波谷数量Tk≥Tr(Tr=3)，则认为运动目标发生了徘徊行为。其中波峰和波谷的判定为：波峰和波谷在有限区间内分别对应局部曲线的极大值点和极小值点，当相邻波峰与波谷的落差Δh>Th(Th=30)时，则认为该波峰或波谷为真正极值点，Tk=Tk+1，否则该波峰或波谷为虚假极值点，Tk不变。

4 实验结果和分析

本文采用在校园拍摄视频自建的实验数据库和中科院自动化所CASIA行为分析数据库作为测试对象，并从水平和俯视两种角度进行验证。

图4为水平角度拍摄的行人徘徊行为，由于视频水平拍摄，所以在二维平面运动目标的纵坐标不会出现较大变化。如图4a可以看出行人轨迹的Y轴分量曲线变化相对比较平稳，X轴分量曲线出现4个波峰和3个波谷，且相邻波峰与波谷间的落差Δh>Th，属于单坐标轴分量曲线异常。

图4 水平拍摄下的单目标徘徊

图5为选自中科院自动化所CASIA视频集的一段俯视拍摄的徘徊行为视频，俯视拍摄下目标运动轨迹的X轴、Y轴分量曲线在平面坐标系中都可能出现大幅度变化(如振荡)。如图5a所示，运动目标的X轴分量曲线中出现3个波峰和3个波谷，同时Y轴也出现了大幅度的增减情况，属于双坐标轴分量曲线异常。

图5 俯视拍摄下的单目标徘徊

图6为监控场景内同时存在正常穿越和徘徊行为的情况。图6a、图6b、图6c分别显示了目标在监控区域内的运动情况以及发生徘徊行为后目标的变化。从图6d中的目标轨迹分量曲线可以看出，2个目标Y轴轨迹分量曲线变化平稳(由于采用水平拍摄方式，Y轴轨迹分量曲线不会出现大幅度波动)，目标1轨迹的X轴分量曲线虽然存在振荡现象，但波峰和波谷数(Tk=2)

图6 多目标场景的徘徊行为

表1为在校园内采用水平和俯视两种视角拍摄的各40组徘徊行为视频的检测结果，从表中可以看出文中所提算法可以有效地检测出场景内的徘徊行为。目标在三维空间内的运动投影到二维平面内，主要通过水平和垂直两个方向上的幅值变化来反映。对比两种视角的拍摄方式，倾斜视角拍摄更易检测出徘徊行为，水平视角受目标距离远近的影响较大，且目标在相对相机垂直方向上产生的位移变化反映到二维平面内变化不明显，易造成漏检。

表1 徘徊行为检测结果

视频数量拍摄视角正确检出误检漏检检出率/%40水平36149040倾斜381295

5 结论

本文创新点在于针对传统的视频监控运动目标的徘徊检测算法的不足，提出了一种基于运动目标轨迹分量曲线的徘徊行为检测算法。同时在目标检测部分采用了改进的融合三帧差法和背景差分法的算法来提取前景目标，克服了光照变化对背景减除法的影响，消除帧间差分法带来的“双影”和“空洞”。在徘徊行为判定中根据相机拍摄角度的不同，通过对目标轨迹分量曲线的分析分别提出相应的徘徊行为判定方法。实验证明，该方法能够实时、准确的识别出徘徊行为，在一定程度上提高了徘徊行为检测的准确率和效率，更好地满足了目标徘徊行为在智能视频监控领域研究的应用。

[1] SHIANG H P，SCHAAR M. Information constrained resource allocation in multicamera wireless surveillance networks[J].IEEE Trans. Circuits and Systems for Video Technology，2010，20(4)：505-517.

[2] WU D，CI S，LUO H，et al. Video surveillance over wireless sensor and actuator networks using active cameras[J].IEEE Trans. Automatic Control，2011，56(10)：2467-2472.

[3] CALDERARA S，PRATI A，CUCCHIARA R. Mixtures of von mises distributions for people trajectory shape analysis[J].IEEE Trans. Circuits and Systems for Video Technology，2011，21(4)：457-471.

[4] 张起贵. 基于视频序列的徘徊检测跟踪算法的研究与实现[D].太原：太原理工大学，2011.

[5] 孙红星，王嘉艺，刘大鹏. 基于运动轨迹的徘徊检测[J].辽宁科技大学学报，2014，37(4)：387-392.

[6] 董坤. 视频监控中运动人体检测与异常行为分析研究[D].南京：南京邮电大学，2013.

[7] ZHANG Jun，DAI Kexue，LI Guohui. HSV color-space and code-book model based moving objects detection[J].Systems Engineering and Electronics，2008，30(3)：423-427.

[8] 张志付. 基于背景减除法的运动检测算法研究[D].上海：上海交通大学，2008.

[9] LEE D S，HULL J，EROL B. A Bayesian framework for Gaussian mixture background modeling[C]//Proc. IEEE International Conference on Image Processing.[S.l.]：IEEE Press，2003：973-976.

[10] BARNICH O，DRIIGENBROECK M. ViBe：A universal background subtraction algorithm for video sequence[J].IEEE Trans. Image Processing，2011，20(6)：1709-1724.

[11] CHEN Kun，FU Songyin，SONG Kangkang，et al. A Mean-shift based imbedded computer vision system design for real time target tracking[C]//Proc. 7th International Conference on Computer Science Education.[S.l.]：IEEE Press，2012：1298-1303.

[12] BIRD N D，MASOUD O，PAPANIKOLOPOULOS N P，et al. Detection of loitering individuals in public transportation areas[J].IEEE Trans. Intelligent Transportation Systems，2005，6(2)：167-177.

[13] ELHAMOD M，LEVINE M D. Automated real-time detection of potentially suspicious behavior in public transport areas[J].IEEE Trans.Intelligent Transportation Systems，2013，14(2)：688-699.

苹果推出全新Apple TV 配触屏遥控支持Siri助手

9月10日，苹果召开2015年度新品发布会，正式发布全新Apple TV，拥有两个版本，32 Gbyte版本售价149美元，64 Gbyte售价199美元。

新版Apple TV外观和前序产品保持一致，支持Siri语音操控，且Siri可以跨iTunes，Hulu，Netflix等应用进行内容搜索，同时还可以通过随机附带的触控版遥控器进行操控。这个遥控器在体验上较之前有了很大的提升，除了语音功能以外，更多操作只要用手机在触摸板上滑动即可，现场体验相当流畅。

另外，Apple TV还适配了基于iOS定制的客厅操作系统tvOS和UI界面，主打卡片式图标，白色背景正式取代原有的黑色背景，风格更加清新简约。配置方面，新Apple TV搭载64位A8芯片，支持蓝牙4.0、IEEE 802.11ac WiFi MIMO、红外接收器，后置电源接口、HDMI接口和以太网口。遥控器支持蓝牙4.0，配备音量控制键、内置加速器和陀螺仪，单次充电续航时间可以达到3个月。

据了解，新Apple TV将于10月份在全球80个国家开售，年底将覆盖至100个国家。

Wandering Behavior Detection Based on Pedestrian Trajectory Component

ZHAO Weifeng, HUANG Yun

(AssetManagementDepartment,ChongqingUniversityofPostsandTelecommunications,Chongqing400065,China)

Traditional target hovering detection methods have many limits and shortages in real-time and accuracy. In this paper, a hovering detection algorithm based on the curve of pedestrian target trajectory component is proposed. Firstly, the initial background is established with background subtraction template modeling method. Secondly, the moving targets are detected by the improved combined with background difference of three frame difference, then according to Mean-shift algorithm for tracking of moving targets. Finally, the moving objects trajectories orthogonal decomposition, according to the trajectory of the X, Y axis component curve to identify the wander behavior. The experiment results show that this method can judge several typical hovering behavior accurately and in real-time, also can detect other complex wandering behavior, and it has better real-time performance and veracity.

background modeling; Mean-shift; hovering detection; motion trajectory

重庆市自然科学基金项目(cstc2012jjA40008)

TN911.73; TP391.41

A

10.16280/j.videoe.2015.19.024

赵卫峰(1982— )，工程师，主要研究方向为计算机视觉、目标异常行为分析；

2015-02-08

【本文献信息】赵卫峰，黄沄.基于运动轨迹分量的行人徘徊行为检测研究[J].电视技术,2015，39(19).

黄 沄(1981— )，工程师，主要研究方向为计算机视觉、运动检测与目标跟踪。

责任编辑：任健男