电梯内基于稠密光流的异常行为检测算法

张辉超 李江天 谷科 朱雪梅 楼丹

摘要：电梯内异常行为的检测已成为电梯安全检测一重点，特别是电梯内人员打架、摔倒等异常行为的检测具有极大的应用需求。本文采用一种改进的稠密光流算法来实现对电梯轿厢异常行为的检测。

关键词：视频检测;异常行为检测;稠密光流

中图分类号：TP391.41 文献标识码：A 文章编号：1007-9416（2020）02-0095-01

0 引言

随着新科技的发展，建筑水平的不断提高，为了给乘客提供良好的乘梯环境，在绝大多数的宾馆、酒店、地铁、火车站、高铁站、高层住宅小区的电梯内安装了摄像头并对其进行实时监控。这时电梯就很好的解决了人类生活上的便捷。但是，其安全隐患问题也日显突出，电梯轿厢本身是个狭小的空间，犯罪嫌疑人很好在里面实施犯罪行为。电梯本身就是个狭小的空间，当发生异常行为，人力是无法对异常情况进行快速反馈的，这就导致了极高的漏检率和误检率[1-2]。

现在的电梯系统存在着很多的不足之处：（1）现在的电梯系统功能单一，只能进行简单的监控、存储、查看视频的功能，并没有对电梯内发生的事件进行分析和处理。如果电梯内发生异常行为，没有及时报警的功能。（2）一个完整的监控网络下通常有很多的监控画面，异常行为比正常行为发生的概率相对要低一点，人眼终究会产生疲劳的，不可能达到时刻监视着画面。这就导致了极高的漏检率和误检率。（3）现在传统的电梯监控系统一般都是发生事件后几天甚至几周之后才能处理，因为监控数据过于庞大，人力筛选信息困难，甚至有可能漏选信息。

1 现有的算法研究

1.1 模板匹配法

模板匹配是一种最原始、最基本的模式识别方法，研究某一特定对象物的图案位于图像在什么地方，进而识别对象物。模板匹配广泛应用于计算机视觉，图像处理领域。模板匹配包括模板建立阶段，训练阶段，行为判断阶段。在模板建立阶段把图像序列转换成一组静态的特征模板，存储组成数据库。在训练阶段把这些图像序列进行训练，最后存储成一个模板。在行为判断阶段就是把提取输入图像序列的特征与训练阶段存储的模板进行对比，把与当前行为相似度最高的模板的类别作为行为识别的结果。模板匹配法优点是操作和实现起来简单，计算难度较低，但是它没有考虑到运动序列的动态特性，有可能会出现误差。

1.2 状态空间法

状态空间法是一种用于解答空间的问题表示和问题求解的方法。状态空间法把图像序列中人体行为拆分成不同的静态行为和运动状态，其中每个静态行为或运动状态作为一个节点，这些状态节点之间要求设定概率并且联系起来。任何这些动作序列都认为是在静态动作不同状态节点之间的一次遍历，计算遍历过程中的联合概率，把出现的概率值最大的联合作为行为分类的标准。由于状态空间法需要扩展出很多的节点，很容易出现“组合爆炸”，所以说状态空间法适用于比较简单的问题。其中最常见的应用是隐马尔可夫模型[3-4]和动态贝叶斯网络。

2 基于光流场的检测基础

2.1 稠密光流与稀疏光流

在一个空间中，通常用运动场来描述物体的运动，而在一个图像平面上，物体的运动往往是通过图像序列中彼此间的图像灰度分布的不同来体现的，在空间中的运动场就可以转移到图像平面上进而产生光流场。

其中光流分为稠密光流和稀疏光流。稠密光流是一种针对图像平面中指定的某一片区域或整个图像进行逐点匹配的图像配准方法，它主要计算图像上特征点的偏移量，进而形成一个稠密的光流场。然后，通过这个稠密的光流场，就可以进行图像的匹配。稀疏光流与稠密光流原理相反，它主要是对图像平面上稀疏的点进行图像配准方法。稀疏光流往往需要指定一组点进行跟踪，并且这组点必须具有某种突出的特性，例如Harris角点等，那么跟踪配准就会变得既稳定又可靠。使用稀疏光流法跟踪的计算要比稠密光流法跟踪小得多，但需要标记角点。

2.2 稠密光流具体计算过程

假设图像上一个像素点（x，y），它在时刻t的亮度为 I（x，y，t），用u（x，y）和v（x，y）表示该点光流在水平和垂直方向上的速度分量。

μ=                                          （2-1）

v=                                           （2-2）

在經过时间间隔Δt之后，该点的对应点的亮度变为：

I（x+Δx，y+Δy，t+Δt）

在运动微小的前提下，利用泰勒公式展开：

I（x+Δx，y+Δy，t+Δt）=I（x，y，t）+Δx+Δy+Δt+ constant                                             （2-3）

当Δt足够小，趋近于0时：

-=+=μ+v                  （2-4）

-It=Ixμ+Iyv                                     （2-5）

-It=[IxIy][]                                      （2-6）

3 基于稠密光流的電梯异常检测

3.1 算法过程

算法过程为：第一步：考虑到电梯轿厢内摄像头不移动，拍摄图像固定，会拍摄到较大面积背景图像，会增加冗余计算量的问题，首先选取视频中第N帧及N+1帧图像中的感兴趣区域（ROI），这样可以大大减小后续计算时间。第二步：计算单独帧图像的光流图，得到图像中每个像素点的光流值。第三步：根据光流图计算此帧图像的“动能”，公式如公式（3-1），并计算此帧图像“动能之和”。此处可通过设置阈值去掉“动能”较小的像素点，简化计算。

E=mv2=（x2+y2）*arctan（）                       （3-1）

3.2 仿真结果

测试视频中15-72帧为发生异常的帧（电梯内打架）。本算法设定为每10帧中有6帧及其以上为异常行为判定为有异常并实时报警。测试结果可从第15-75帧连续发出警报，可以看出，本算法可以很好的实现电梯内对异常行为的检测。

4 结语

本文采用一种改进的稠密光流的方法来实现对电梯轿厢异常行为的检测。首先是把前景目标看成一个整体，然后建立一个基于角点动能的异常行为检测模型，并且通过这个模型，求出整个视频中的每一帧图像的整体动能值，然后与设置的阈值进行对比，如果大于设定的阈值，则我们就可以认为在电梯轿厢内发生了异常行为。最后，系统就会自动实时的发出报警信号。

参考文献

[1] 朱玉杰.电梯轿厢内乘客异常行为检测[D].合肥：中国科学技术大学，2017.

[2] 靳海燕.基于视频分析的电梯轿厢内异常行为检测研究[D].重庆：重庆大学，2012.

[3] Bobick A F，Davis J W.The recognition of human movement using temporal templates[J].IEEE Transactions on pattern analysis and machine intelligence，2001，23（3）：257-267.

[4] Ahmad M，Lee S W.Human action recognition using shape and clg-motion flow from multi-view image sequences[J].Pattern Recognition，2008，41（7）：2237-2252.

Anomaly Detection Algorithm Based on Dense Optical Flow in Elevator

ZHANG Hui-chao，LI Jiang-tian，GU Ke，ZHU Xue-mei，LOU Dan

（Zhonghuan Information College Tianjin University of  Technology， Tianjin  300380）

Abstract：The detection of abnormal behavior in elevator has become a key point of elevator safety detection， especially the detection of abnormal behavior such as fighting and falling of personnel in elevator has great application demand. In this paper， an improved dense optical flow algorithm is used to detect the abnormal behavior of elevator car.

Key words：video detection; abnormal behavior detection; dense optical flow