基于时间序列组合逻辑运算的智能 视频监控报警算法

夏平 任强 雷帮军 师冬霞 胡蓉

摘  要： 针对智慧小区视频监控中多目标的判别与报警问题，提出一种基于时间序列组合逻辑运算的智能视频监控报警算法。为实现在多摄像机、多触发事件的协同工作，以完成对目标的检测、跟踪及分析，构建了各触发事件之间依据逻辑与、或、非等组合逻辑运算规则来满足智能监控的要求;其次，引入事件触发时间、顺序及优先级别等因素，构建基于时间序列的监控系统报警组合逻辑运算算法，所有触发事件按时间序列组合逻辑运算规定，触发视频监控系统报警。实验结果表明，所提算法可综合应用多视频信号源实现多触发信号混合使用与报警，实现安全可控、精确便捷的智能化监控。

关键词： 智能视频监控; 时间序列; 报警算法; 组合逻辑; 触发事件; 仿真实验

中图分类号： TN948.64?34; TP391               文献标识码： A                      文章编号： 1004?373X（2020）06?0101?05

Intelligent video monitoring alarm algorithm based on time series

combinational logical operation

XIA Ping1，2， REN Qiang1，2， LEI Bangjun1，2， SHI Dongxia1，2， HU Rong1，2

（1. Hubei Key Laboratory of Intelligent Vision based Monitoring for Hydroelectric Engineering， Three Gorges University， Yichang 443002， China;

2. College of Computer and Information Technology， Three Gorges University， Yichang 443002， China）

Abstract： An intelligent video monitoring alarm algorithm based on time series combinational logic operation is proposed to improve the identification and alarm of multiple targets in video monitoring of smart community. In order to realize the cooperative work of multi?cameras and multi?triggering events， and complete the detection， tracking and analysis of targets， the operation rules of combination logic， such as logic and， or and non between triggering events are constructed to meet the requirements of intelligent monitoring. The alarm combination logical operation algorithm of monitoring system based on time series is constructed by introducing event triggering time， sequence， priority and other factors， All triggering events could trigger the alarm of video monitoring system according to the regulations of time series combined logic operation. The experimental results show that the proposed algorithm can synthetically apply multi?video signal source to realize the mixed use and alarm of multi triggering signals with multi video signal source synthetically， and realize the safe， controllable， accurate and convenient intelligent monitoring.

Keywords： intelligent video monitoring; time series; alarm algorithm; combinatorial logical; triggering event; simulation experiment

0  引  言

随着信息技术的发展与社会的进步，人性化管理和现代信息通信技术（ICT）有机融合，通过“技术+社区+服务平台”组合的方式，构建了完善的智慧城市、智慧小区的服务体系;同时，也促进了智能视频监控技术的广泛应用，使得视频监控系统可以根据监控场景中相关规则要求，完成相应规则下控制任务事件，呈现出一定智能化的视频监控系统[1]。传统的监控系统中，触发报警信号集中于单一数据源和单一事件的分析、判断上[1?5]，监控任务相对单一[2?3]，可操作性不强[4?7];对于多任务的监控则需要多个监控系统来完成，结构相对复杂，浪费大量的人力物力而未取得理想的整体监控效果，无法满足更高层次系统全监控需求[1，8?12]。相对于传统监控系统，用户对于智能视频监控系统提出了异常目标检测、人脸检测、人数统计、流量分析等多种智能分析功能的需求[4，10?12]。

针对智慧小区中对多摄像机、多触发事件的协同工作，按既定时间、顺序及规则混合使用多触发事件的智能分析功能需求，本文提出基于时间序列组合逻辑运算的视频监控报警算法。通过引入事件触发时间、顺序及优先级别等因素，构建各触发事件之间以逻辑与、或、非等组合逻辑运算规则，形成了基于时间序列的监控系统报警组合逻辑运算算法，所有触发事件按时间序列组合逻辑运算规定，触发视频监控系统报警，以满足智能化的视频监控需求。

1  基于时间序列组合逻辑运算原理

1.1  基于时间序列的最小逻辑运算集

基于时间序列的最小逻辑运算集是基于时间序列组合逻辑运算的视频监控报警系统算法的基础，是在基本逻辑运算基础上加入时间序列约束条件，即在传统的与（∧）、或（∨）、非（┐）等逻辑运算中引入时间信息作为约束，此时，与、或、非运算分别定义为[∧t]，[∨t]，[?t];同时，引入了逻辑顺序运算“先于（[?t]”）”和“后于（[?t]）”，从而，构建了基于时间序列的最小逻辑运算集：时间序列逻辑与运算、时间序列逻辑或运算、时间序列逻辑非运算以及时间序列逻辑顺序运算等，以此描述视频监控报警系统中各触发事件之间的既定运算序列规则。

1.2  时间序列逻辑运算规则

1） 时间序列逻辑“与运算”和“或运算”真值表如表1所示。

2） 时间序列逻辑非运算：

若“A=0”，则[?t]A=1;若“A=1”，则[?t]A=0。

3） 时间序列逻辑顺序运算：

“先于[?t]”“后于[?t]”描述事件的运算先后顺序。

1.3  时间序列逻辑运算嵌套的运算级

本文算法规定嵌套使用的运算顺序：同级事件运算时，按照时间先后顺序依次响应，触发报警信号;优先级运算时，先响应优先级高的事件，再响应优先级低的事件;多层优先级事件的响应，先响应优先级最高的，依次递减，最后响应其他事件触发报警信号。

2  基于时间序列组合逻辑运算的视频监控报警算法

视频监控报警中，各触发事件之间的时序会影响报警结果，本文算法实现的智能视频监控系统主要触发事件有运动检测、拌线检测、人数统计以及火焰&烟雾检测，分别用事件A、事件B、事件C和事件D描述。监控报警算法为：

1） 基础逻辑算法。

采用并行运算的方式进行，所有事件运算级相同，要求所有参与逻辑运算的每个触发事件在规定的时间间隔内完成响应，才产生报警信号。基础逻辑算法包括时间序列逻辑“与运算[∧t]”、“或运算[∨t]”和“非运算[?t]”。具体算法：A[∧t]B描述了在t时间内，事件A与事件B同时产生响应信号，触发器产生报警;A[∨t]B表示在t时间内，事件A与事件B中任一事件产生响应信号，触发器均产生报警信号;若事件A产生响应信号，[则?t]A表示在时间间隔t内，事件A的报警信号没有被触发;同理，在t时间间隔内，事件A与事件B同时产生响应信号，或者事件C与事件D同时产生响应信号时，触发器产生报警信号，组合逻辑运算描述为：（A [∧t] B）[∨t]（ C [∧t ]D）。基础逻辑算法如图1所示。

2） 全部连续算法。

要求所有参与逻辑运算的每个触发器事件按照预先设定好的时间先后顺序，在规定的时间内依次产生响应，终端才产生报警信号。引入时间序列逻辑运算“先于运算（[?t]）”和“后于运算（[?t]）”。具体算法：A[?t]B描述在t时间内，事件A先于事件B产生响应信号，触发器产生报警信号;同理，A[?t]B表示在t时间内，A后于B产生响应信号时，触发器才产生报警信号。将此算法应用于A，B，C，D四个事件顺序触发产生报警信号的时间序列组合逻辑运算表示为：A[?t]B[?t]C[?tD];其中，任一事件未在规定时间内按顺序产生响应，则触发器不报警。全部连续算法如图2所示。

3） 領导合成算法。

领导合成算法是基础逻辑算法和全部连续算法的嵌套运算算法，指定一个或一组触发事件为领导运算成员时，其优先级最高;该信号产生响应信号后，在规定的时间内，所有规定的响应运算成员均产生了响应信号，而所有规定的不能产生响应的运算成员均没有产生报警的条件下，触发器产生报警信号。若事件A为领导运算成员，其优先级最高，必须先产生响应信号，同时，若规定事件B、事件C产生报警信号，而事件D不产生报警信号，最终才能产生报警，组合逻辑运算为：A[?t（]B[∧t]C[∧t（?t]D））。领导合成算法如图3所示。

3  实验仿真及分析

3.1  实验仿真

智能视频监控系统中，通过对基本运算组合及其嵌套使用，在传统报警处理基础上，实现或合成、与合成、全部连续和领导合成4种智能组合逻辑运算报警。通过开发的“千里眼视频监控系统”进行仿真实验。

3.1.1  或合成

任一运算事件产生响应时，均能马上产生报警信号。以“运动检测”和“火焰&烟雾检测”事件为例。实验结果如图4～图6所示。

“运动检测”是在指定区域检测到有物体运动时会发生报警响应，如图4所示。“火焰&烟雾检测”是在指定的区域检测到火焰或者烟雾时就会发生报警，如图5、图6所示。将“运动检测”和“火焰&烟雾检测”两个触发器以或合成运算后描述为系统在指定的区域内检测到运动的人或物体、或火焰、或烟雾，系统产生报警。

3.1.2  与合成

所有参与组合运算事件均须在规定的时间内产生报警响应时，系统才产生报警信号。以“拌线检测”和“车牌识别”两个触发器为例实验。实验结果如图7、图8所示。

“拌线检测”是运动的物体通过设计的门禁会发生报警，如图7所示。“车牌识别”是指在指定的区域内识别机动车牌号发生报警，如图8所示。将“拌线检测”和“车牌识别”两个触发器进行与合成运算后，描述为非固定车辆经过设计的门禁时产生报警。设计的门禁亦可用于禁止机动车辆，此时使用“拌线检测”和“车牌识别”两个触发器，车辆进入到门禁之内，通过“车牌识别”触发器识别到其车牌并记录，系统发出报警信号。

3.1.3  全部连续

所有参与逻辑运算事件只有按照规定顺序在时间t内产生响应信号时，才产生报警信号。以智能视频监控系统中“拌线检测”、“人脸检测”和“人数统计”三个触发器为例。实验结果如图9、图10所示。

“人脸检测”是系统在指定的区域识别到人脸时发生报警，如图9所示。“人数统计”是在指定的区域内，对人数进行数量统计，当人数达到设定的最高值时，发生报警，如图10所示。此方案可用在诸多公共场合，对控制人流量十分有效。

3.1.4  领导合成

指定一个或者一组触发事件为领导运算成员，在整个系统运行中优先级最高，必须优先于其他触发事件产生报警信号，然后在规定的时间内，所有必须产生报警信号的触发事件产生了报警信号，而所有不能产生报警信号的触发事件没有产生报警信号的条件下，系统产生报警信号。以智能视频监控系统中“拌线检测”“人脸检测”和“火焰&烟雾检测”三个触发器为例。实验结果如图11所示。

系统规定“拌线检测”为领导触发器，“人脸检测”不产生报警而“火焰&烟雾检测”产生报警。因此，“拌线检测”触发器必须先产生报警信号，然后在规定时间内，“人脸检测”不能产生报警信号，而“火焰&烟雾检测”触发器须产生报警信号时，系统才产生报警信号。如图11的实际场景为家庭厨房，若厨房有人，即使检测到火焰或烟雾也不会发生报警信号;若检测到厨房无人，同时检测到火焰或烟雾信号，系统就会报警。

3.2  实验结果分析

本文采用项目组开发的“千里眼视频监控系统”，模拟智能组合逻辑运算的视频报警实验，预先根据实际应用的需求设定每个触发信号的触发时间、顺序及优先级别，而后执行各种联动操作，当所有的触发信号按照设定的要求一致时，系统产生报警信号。相对于传统单一信号的报警，本文设计的报警系统应用领域广、可控性强、智能化程度高，解决了目前智能分析和触发数据源单一、分析方法单一的现状，满足全监控系统需求;同时，多种触发信号类型可混合使用，也可综合应用从多种数据源和多种分析而来的信号，智能化程度更高。

4  结  论

视频监控报警系统单纯使用单一报警触发模式很难解决日常应用中的突发问题，本文提出的基于时间序列组合逻辑运算的视频监控算法充分考虑了影响报警结果的触发事件的时间、顺序、优先级等因素，通过时间序列的智能组合逻辑运算建模，实现多源响应信号的智能监控报警，在一定程度上解决了视频监控系统多源信号的联动报警，满足人们对智能视频监控报警系统更高智能化的需求。本文算法实现的智能视频监控报警系统具有较广泛的应用前景。

注：本文通讯作者为雷帮军。

参考文献

[1] 黄凯奇，陈晓棠，康运锋，等.智能视频监控技术综述[J].计算机学报，2015，38（6）：1093?1118.

[2] ZHENG X， HU C P， MEI L. Video structured description technology based intelligence analysis of surveillance videos for public security applications [J]. Multimedia tools & applications， 2015， 75（19）： 1?18.

[3] TIAN B， LI Y， LI B， et al. Rear?view vehicle detection and tracking by combining multiple parts for complex urban surveillance [J]. IEEE transactions on intelligent transportation systems， 2014， 15（2）： 597?606.

[4] 邵振峰，蔡家骏，王中元，等.面向智能监控摄像头的监控视频大数据分析处理[J].电子与信息学报，2017，39（5）：1116?1122.

[5] CHAARAOUI A A， PADILLAL?PEZ J R. A vision?based system for intelligent monitoring： human behavior analysis and privacy by context [J]. Sensors， 2014， 14（5）： 8895?8925.

[6] MEI K L， TANG S， CHAN C S. iSurveillance： intelligent framework for multiple events detection in surveillance videos [J]. Expert systems with applications， 2014， 41（10）： 4704?4715.

[7] 李鹏飞，陈朝武，李晓峰.智能视频算法评估综述[J].计算机辅助设计与图形学学报，2010，22（2）：352?360.

[8] SONG X H， SUN L， LEI J， et al. Event?based large scale surveillance video summarization [J]. Neurocomputing， 2016， 187： 66?74.

[9] FAN C T， WANG Y K， HUANG C R. Heterogeneous information fusion and visualization for a large?scale intelligent video surveillance system [J]. IEEE transactions on systems man & cybernetics systems， 2017， 47（4）： 593?604.

[10] CHEN T S， LIN M F， CHIEUH T C， et al. An intelligent surveillance video analysis service in cloud environment [C]// IEEE International Carnahan Conference on Security Technology. [S.l.]： IEEE， 2016： 1?6.

[11] 施巍松，孙辉，曹杰，等.边缘计算：万物互联时代新型计算模型[J].计算机研究与发展，2017，54（5）：907?924.

[12] DUTT S， KALRA A. A scalable and robust framework for intelligent real?time video surveillance [C]// IEEE International Conference on Advances in Computing， Communications and Informatics. Kochi： IEEE， 2016： 212?215.

[13] KIM H， LEE S， KIM Y， et al. Weighted joint?based human behavior recognition algorithm using only depth information for low?cost intelligent video?surveillance system [J]. Expert systems with applications， 2016， 45： 131?141.

[14] 毕林，王李管，陈建宏，等.三维网格模型的空间布尔运算[J].华中科技大学学报（自然科学版），2008，36（5）：82?85.

[15] 王一丁，魏忠义，董毅.DSP处理器XINTF接口与液晶并口的兼容通信设计[J].西安工程大学学报，2016（3）：306?311.

[16] 刘焱，周圣泽，罗军，等.基于FPGA的并串转换电路硬件实现[J].电子技术应用，2017（12）：21?24.