嵌入式下公共场所暴力行为视觉检测方法研究

伍冯洁，吴川平，黄文恺，郭中华

(1.广州大学　a.实验中心;b.数学与信息科学学院，广东　广州　510006；2.中山大学　南方学院，广东　广州　510655)



嵌入式下公共场所暴力行为视觉检测方法研究

伍冯洁1a，吴川平1b，黄文恺1a，郭中华2

(1.广州大学a.实验中心;b.数学与信息科学学院，广东广州510006；2.中山大学南方学院，广东广州510655)

摘要:根据暴力行为发生时往往存在肢体冲突，并伴随着身体全身或局部部位出现较剧烈运动的特点，提出了一种基于运动图像的公共场所暴力行为自动识别方法，并能够移植到嵌入式设备中以便于分布式智能监控。首先，采用Lucas-Kanade(LK)光流法获得相邻两帧监控图像间的光流场，通过光流分析法确定各个运动目标的运动状态，并提取它们的光流特征值、光流速度和方向；其次，对各个运动目标的光流特征值、光流速度与方向进行统计分析，以掌握各个运动目标的运动趋势；最后，结合光流场变化情况及运动目标聚集状态判断是否存在暴力行为。实验结果表明，该嵌入式系统识别准确性好、实时性强、可靠性高。

关键词:暴力行为；光流算法；嵌入式；系统移植

随着计算机技术、通信技术与图像处理技术的发展，视频监控已经在各种公共场合得到广泛应用。但是目前的监控系统往往只是对视频信号进行简单的录制与网络传输，尚停留在监控人员对视频信号的人工监视和事后录像分析上，并没有充分利用计算机巨大的计算能力，存在工作量巨大、暴力事件响应速度慢、暴力事件存在漏检漏报等不足之处[1]。并且由于公共场合属于多摄像头、多角度的监控模式，每个监控场景的视频需要通过网络实时传输给监控中心集中处理，较容易发生视频传输拥塞与丢包现象，同时带来海量视频数据存储与检索、服务器易超负荷运行、暴力事件检测速度与精度较差等系列问题。

计算机视觉与嵌入式微控制器技术的引入有效解决了以上问题。本文利用计算机代替人脑来分析、理解监控视频图像的内容，自动查找、跟踪和识别目标，从而实现暴力事件的自动分析与警报，同时，将嵌入式技术应用在图像处理领域，提出了一种以嵌入式系统为核心的公共场所暴力行为视觉检测方法，将图像采集、图像分析与处理、暴力行为检测等功能集成在该嵌入式系统中，仅把暴力事件等异常情况的图像序列、检测结果及其他相关信息传送回监控中心，以提高公共场所暴力行为监控效率及暴力事件应急反应速度，增强了通信系统安全性、数据传输可靠性及抗干扰能力。

1基于运动图像的嵌入式系统原理

嵌入式微控制器主要由视频获取、光流分析、特征提取和行为识别四个部分组成[2]，如图1所示。对于视频监控场景实时采集的图像，首先，通过光流法构建各个运动目标的光流场，并提取它们的光流特征值、光流速度和方向；然后，对各个运动目标的光流特征进行统计分析，根据光流变化速度及方向信息来实现公共场所暴力行为的目标跟踪及识别。

如图1所示，若干个视频监控场景的嵌入式微控制器和系统监控中心通过网络组成了一个庞大的公共场所智能监控系统。每个嵌入式微控制器均集成了图像采集、图像分析与处理、暴力行为检测等功能，仅仅将检测结果送至中控计算机进行数据分析及数据库管理，同时也可根据监控要求，由计算机发出相关指令对各嵌入式监控设备进行控制，以完成整个公共场所智能监控系统的实时监测控制、状态显示、参数设置。

2运动图像的光流分析及特征提取

光流法是目前运动图像分析的重要方法，它描述了瞬时运动形状，包括运动物体的形状(空间)和运动的形状(时间)，可以从运动形状的差异得到图像中目标物体的结构与其运动的关系[3]。目前，对光流的计算比较典型的方法有Horn-Schunck方法和Lucas-Kanade方法等。考虑到公共场所监控场景数量大，对检测效率及应急速度要求高的特点，本文采用金字塔Lucas-Kanade光流算法实现光流计算及目标跟踪，充分利用该算法的光流计算窗口可变、计算量较小、应用灵活及光流估计值较准确的优势，从而显著提高系统检测速度与检测精度。

根据光流法在较短时间内同一像素点在不同时间的灰度相同这一特性，利用Lucas-Kanade光流法，通过检测相邻两帧图像的特征点的运动状态来构建公共场所目标人群的光流场及进行运动特征提取[4]，具体步骤如下：

1)找到第k帧图像特征点并储存：利用shi-Tomasi算法找出每一张图中需要跟踪的点(即特征点)，并用函数feature1及frame1保存如式(1)所示，以供后面计算光流及暴力行为识别时使用

(1)

式中：features(i)表示特征点的特征值；(xi,yi)表示特征点的位置；n表示所找到的特征点的数量。

2)找到第k帧所有特征点在第k+1帧图像的位置，并用函数frame2保存如式(2)所示

(xj,yj)∈frame2j=1,2,…,m

(2)

式中：(xj,yj)表示特征点的位置，m表示所找到的特征点的数量。

在查找特征点过程中，为了减少运算量，提高检测速度，当满足式(3)时，算法迭代终止

(3)

式中：epsilon是两帧中对应特征窗口的光度之差的平方，该值的大小需要通过实验来确定。fw2，fw1是相邻两帧图像，w1是特征窗口。

3)比较第k帧、k+1帧图像的特征值，结合式(1)与式(2)，可得到相邻两帧图像的运动变化特征如式(4)～(5)所示

(4)

(5)

4)依据相邻两帧对应的特征值来构建光流场：首先通过遍历特征点统计出光流方向数N、判断及统计不同的光流方向数M，并保存这两个数值；然后定义点、方向、箭头等对象；最后根据特征点的位置及变化方向，再通过对线的开始点和终止点的适当放缩，即可画出可视的光流场图像。

采用Lucas-Kanade光流算法处理的公共场所监控图片如图2所示，图中的箭头表示像素点上的运动方向及速度大小。

3嵌入式暴力行为视觉检测的实现

3.1暴力行为的识别

公共场所暴力行为主要是运动速度及运动方向发生突变而导致的不规则行为，一般表现为目标人群在较短时间内运动速度突增，同时伴随着运动状态由分散逐渐聚合。采用光流法提取的行为特征其实就是像素点的运动矢量，其包含了运动方向及幅度大小，因此本文将选取运动速度及方向信息来实现公共场所暴力行为的目标跟踪及检测[5]，具体识别过程如下：

(6)

3.2算法在嵌入式环境下的具体实现

3.2.1嵌入式系统结构设计

为了将运动图像检测算法移植到嵌入式设备中，本文在嵌入式Linux中基于OpenCV、Qt及pcDuino平台构建了一个公共场所暴力行为自动检测系统[6]，其中采用Qt做前台操作界面，OpenCV做后台视觉检测程序及pcDuino做嵌入式硬件开发平台，该系统简易框架图如图3所示。

采用Qt平台、OpenCV库与pcDuino构建系统主要基于以下4点考虑：1)都是针对嵌入式技术开发的平台，消耗资源较少，安装携带方便；2)都是开源的免费软件，可节约开发成本；3)都是基于跨平台思想开发的类库和平台，可降低开发难度；4)pcDuino是一款高性能、高性价比的迷你PC平台，只需连接显示器、键盘、鼠标即可使用，可缩短开发周期。

本文结合OpenCV、Qt及pcDuino共同构建平台的优点，很好地解决了程序开发的难题，使构建视觉检测系统更简单方便，符合现代软件工程的要求，同时也解决了移植到嵌入式设备中资源紧张、配置繁琐及缺乏类库支持的问题，简化了移植过程，降低了移植难度。

3.2.2平台搭建及系统移植的流程

为了实现嵌入式下公共场所暴力行为视觉检测功能，需构建嵌入式Linux环境下基于OpenCV与Qt的平台，并将两者移植到pcDuino嵌入式设备中[7]，具体流程如下：

1)在PC机上建立Linux开发环境，本系统使用linux2.6版本，在Linux系统下安装交叉编译器arm-linux-gcc，以编译可以移植到pcDuino开发板上运行的程序。2)移植u-boot、Linux内核到pcDuino开发板，本系统使用u-boot1.2版本，并构建文件系统。3)利用交叉工具链在虚拟机中编译配置OpenCV-2.3.1的PC版本与arm版本两个类库，并将arm版本的类库移植到pcDuino开发板中。4)编译设置Qt-Opensource4.7.4的PC版本与embedded版本，并将embedded版本移植到pcDuino开发板的文件系统中。5)完成参数配置后，在Qt的开发环境QtSDK中对工程文件进行编译，调用OpenCV图像库以实现公共场所暴力行为的视觉检测。

4实验结果及分析

由于光流算法计算量较大，考虑到暴力行为发生时是一个连续动作变化的过程，为了减轻嵌入式系统工作负荷，提高暴力事件检测速度及效率，本文采用每隔1 s，即对采样率为25 f/s(帧/秒)的图像序列，每隔25帧抽取一张图像进行暴力行为检测，而不需要对每帧图像都进行处理。

为了检验所提出方法的有效性，本文在嵌入式设备上对一段图像分辨率为640×480存在暴力行为的视频进行了实验，对主要影响识别质量的3个参数，即光流的金字塔分解层数K、光流运算窗口W、最大光流方向数N，分别选取不同的数值进行试验。在光流分析过程中，光流金字塔分解层数K较小时，迭代次数少，随着K层数的增加，迭代次数增多，运算量增大，但光流处理的效果较好。光流运算窗口W取值较小时，处理速度较快，但效果一般，仅适用于简单工程，随着W窗口增大，运算量也增加，但对环境与目标的区分更准确，效果更好。最大光流方向数N，当N太小或太大时，会出现特征点太少或太多的问题，均会影响识别效果，因此，需要通过大量的实验来确定N的取值。经过实验测试表明，当K=5，W=5×5，N=400时，运算量适中，识别速度较快及识别效果最好，实验效果如图4、5所示。其中，图4是光流分析结果图，图5是本嵌入式系统识别效果图。当系统检测到有暴力行为发生时，将及时在监控界面显示“危险”的警示信息，同时在监控现场及中控中心拉响警报。

5结语

本嵌入式视觉检测系统很好地解决了公共场所视频监控中存在暴力行为的问题，可快速、准确地检测出公共场所的多种暴力行为，并将检测结果及时传回监控中心同时在现场拉响警报，从而显著提高相关管理部门及执法部门对暴力事件的响应效率，有效防止公共场所的暴力事件危害或进一步危害公共安全。此外，本方法是基于嵌入式技术开发，已移植到嵌入式设备中，具有体积小、功耗低、成本低及便携性好等优点，同时系统实时性强、可靠性高，能较好地满足公共场所智能监控的要求，应用前景广阔。

参考文献：

[1]郑世宝.智能视频监控技术与应用[J].电视技术，2009，33(1)：94-96.

[2]陈琳英，凡德刚.嵌入式微处理器环境下视频流的采集与传输[J].实验科学与技术，2014，12(5)：20-22，35.

[3]DONG G H，AN X J，FANG Y Q，et al.Contributions to horn-schunck optical flowequations-part：stability and rate of convergence of classical algorithm[J].Journal of central south university，2013，20(7)：1909-1918.

[4]高林，王璐，闫磊，等.基于关键帧提取技术的花开过程视频监测系统开发及试验[J].农业工程学报，2014，30(1)：121-128.

[5]LIQ，SHAO C F，ZHAO Y.Arobust system for real-time pedestrian detection and tracking[J].Journal of central south university，2014(4)：1643-1653.

[6]文成维，陈文建，詹泳.嵌入式双目立体视觉测距系[J].计算机系统应用，2012，21(10)：143-147.

[7]HOUJB.ARM core unit design of aremote video monitoring system[J].Research journal of applied sciences，engineering and technology，2013，5(18)：4493-4498.

责任编辑：闫雯雯

Research of embedded visual detection methods about violence in public places

WU Fengjie1a,WU Chuanping1b,HUANG Wenkai1a,GUO Zhonghua2

(1a.LaboratoryCenter；1b.SchoolofMathematicsandInformationScience,GuangzhouUniversity,Guangzhou510006,China;2.NanFangCollegeofSUNYAT-SENUniversity,Guangzhou510655,China)

Key words:violence;optical flow;embedded;system transplant

Abstract:According that when the violence happen, there is a physical conflict and often accompanied by systemic or local-body strenuous exercise, an automatic identification method for violence in public places is proposed. The method is based on the motion image technology, and can be transplanted to embedded devices to facilitate distributed intelligent monitoring. Firstly, use Lucas-Kanade (LK) to obtain the optical flow field of two adjacent frame images, specify the state of each moving object by analyzing optical flow, and extract their optical flow characteristic values, optical flow velocity and direction. Next, the optical flow characteristic values, optical flow velocity and direction of each moving object are counted and analyzed, in order to grasp the movement trend of each moving object. Finally, according to the changes in the optical flow field and the aggregated state of moving objects to judge if there is violence. The experimental results show that the embedded system has good accuracy, real-time and high reliability for recognition.

中图分类号：TP391.7

文献标志码：A

DOI：10.16280/j.videoe.2016.01.025

基金项目：广州市属高校科研计划项目(2012A025)；广东省科技计划项目(2013B090500067)

收稿日期：2015-06-04

文献引用格式：伍冯洁，吴川平，黄文恺，等.嵌入式下公共场所暴力行为视觉检测方法研究[J].电视技术，2016,40(1)：127-130.

WU F G,WU C P,HUANG W K,et al.Research of embedded visual detection methods abou tviolence in public places[J].Video engineering,2016,40(1)：127-130.