基于深度卷积网络的高速公路事件检测研究

孙 昊，黄樟灿

(武汉理工大学 理学院，湖北 武汉430070)

基于深度卷积网络的高速公路事件检测研究

孙 昊，黄樟灿

(武汉理工大学 理学院，湖北 武汉430070)

为有效地进行公共安全检测，自动识别高速公路上的安全事件与异常事件，提出了一种基于深度卷积神经网络的事件检测方法。首先，对监控视频进行预处理并提取其光流特征;其次,使用卷积神经网络分别提取视频的表观特征与运动特征;再次,使用one-class SVM分别进行表观特征和运行特征的异常检测;最后，使用无监督的融合模型融合表观特征和运动特征的异常值得分，得到事件检测结果。实验表明该算法能够有效地识别高速公路上发生的安全事件与异常事件。

公共安全；事件检测；卷积神经网络

改革开放以来，国民经济得到飞速发展，交通运输作为基础性、战略性的服务产业为推动国民经济的发展起到了重要作用。应用现代化的科学技术构建智能交通体系推动国家经济发展，是我国“十三五”现代综合交通运输体系发展规划的主要目标。高速公路在交通运输中占有重要地位，近年来随着高速公路监控系统的不断部署完善和监控规模的快速扩大，依靠人工检测、分析车辆运行状况，已逐渐难以满足日益复杂的交通现状。违规停车导致的连环交通事故示例如图1所示，由于图1(a)中t1时刻方框内车辆的违规停车，导致了随后3个时刻连环交通事故的发生，造成了严重的经济损失，甚至可能危害到生命安全。因此，运用图像处理、机器学习等方法自动分析路况，对危害公共安全的突发事件做出报警并及时通知相关部门，最大程度地避免二次事故带来的经济损失，是建设智能交通系统的关键。

图1 违规停车导致的连环交通事故示例

近年来，检测与分析高速公路的公共安全课题已成为智能交通领域的研究热点。CONG等[1]使用多尺度的光流直方图提取视频帧的运动信息，并用稀疏表达模型对运动信息进行建模，使用稀疏表达的重构误差进行异常事件检测。MEHRAN等[2]提出了基于光流特征的“社会力量”模型，提取视频中运动目标的特征，识别出异常事件。BENEZETH等[3]将时空事件的统计特征与马尔科夫条件随机场相结合，分析了目标的运动信息。KRATZ等[4]提出了一种基于隐马尔可夫模型的异常事件检测方法，该方法通过分析局部时空的运动信息来检测异常事件。KIM等[5]提出了一种基于局部光流和马尔科夫条件随机场的事件分析模型。MAHADEVAN等[6]使用动态纹理融合的方法，对人群场景的表观和运动信息进行建模。上述事件检测的方法都是基于手工特征的方法，但手工特征缺乏高层语义信息，难以高效地表达高速公路中的复杂事件。而随着深度学习的发热发展，卷积神经网络的高层语义特征已经在场景识别[7]、行为识别[8]等任务中显示出了强劲性能。为此，笔者提出了一种基于深度卷积神经网络的事件检测模型，综合考虑监控视频中的表观特征和运动特征，识别高速公路上的安全事件和异常事件，对异常事件给出警报。

1 相关工作

1.1 混合高斯背景建模

高速公路监控系统中的监控视频大多是由固定位置的摄像头拍摄而来，该类监控视频可视为静态背景视频。笔者采用自适应的混合高斯背景建模方法，提取视频背景。混合高斯背景建模是基于像素样本统计信息的背景表示方法，统计视频在各位置处像素的模式数量、均值和标准差等信息。在混合高斯背景建模时，假设各像素间的颜色信息相互独立，且可以用k个高斯核描述像素点的颜色分布情况，k越大对背景波动越鲁棒。笔者在背景建模时，首先将彩色图像转为灰度图，然后使用混合高斯模型提取视频背景，则采样点xt处的混合高斯分布概率密度函数为：

(1)

(2)

笔者采用混合高斯模型可得到高速公路监控视频背景，示例如图2所示。

图2 高速公路监控视频背景建模示例

1.2 Lucas-Kanade光流特征

光流特征[9]可以高效地提取监控视频中的运动信息，有助于进一步分析高速公路监控视频中目标的异常运动模式。Lucas-Kanade光流法假定在一个较小的空间邻域内运动矢量保持恒定，在像素点qi处的光流特征满足如下公式：

Ix(qi)Vx+Iy(qi)Vy=-It(qi)

(3)

式中：Ix,Iy,It分别为图像I(x,y,t)关于x,y,t的偏导；Vx,Vy为光流特征。

(4)

则由式(3)可得：

ATAv=ATb⟺v=(ATA)-1ATb

(5)

由式(5)可得光流特征的计算公式：

(6)

笔者采用Lucas-Kanade光流法提取得到监控视频不同帧间的光流可视化图,具体如图3所示。

图3 监控视频的不同帧间光流特征可视化图

2 高速公路事件检测算法

近些年来，随着深度学习的火热发展，卷积神经网络在各种计算机视觉任务中取得了突破性进展。笔者提出了一种基于深度卷积神经网络的高速公路事件检测算法，如图4所示。算法流程主要包含两部分：①使用多任务的深度卷积神经网络提取各视频帧的表观特征和运动特征；②使用无监督的融合模型融合视频的表观特征和运动特征的异常值得分，得到事件检测结果。

图4 基于深度卷积网络的高速公路事件检测算法流程图

2.1 多任务的卷积神经网络

自从AlexNet卷积神经网络[10]在ILSVRC 2012的图像分类任务中取得了突破性的成功，深度卷积网路便迅速广泛应用于各种计算机视觉任务中，如目标检测、跟踪、图像分割、场景解析等。XU等[11]将无监督的深度学习算法引入异常事件检测任务中。卷积神经网络是一类由卷积操作、池化操作、非线性激活函数等算子有规则组合形成的网络结构，将图像数据输入到卷积神经网络中可以直接得到该图像数据的类别。目前主流的卷积神经网络结构有AlexNet、VGG、ResNet等。为强化卷积网络的性能，ZHANG等[12]提出了一种使用无监督的手段提升有监督的卷积网络性能的方法。笔者采用图5所示的反卷积结构将VGG网络[13]拓展为图6所示的多任务网络结构，为高速公路事件检测提取高层语义的卷积特征。

图5 卷积与反卷积示意图

图6 多任务卷积神经网络结构图

图5左侧的网络结构是VGG网络结构中典型模块，设该模块的输入为卷积特征al-1，输出为卷积特征al，则该结构的计算过程可定义为：

al=fl(al-1,φl),l=1,2,…,L+1

(7)

式中：a0=x为输入图片；φl为卷积操作fl对应的权重参数。

图5右侧为反卷积模块，用于重构卷积特征al，该结构的计算过程可定义为：

(8)

笔者采用的多任务卷积网络结构如图6所示，该网络同时处理分类任务和重构任务。分类任务是指输入一张图片得到其相应的类别标签，重构任务是指经过一系列卷积和反卷积处理后重构出原始输入图片。多任务的网络结构可以有效增强传统卷积神经网络的性能。多任务卷积网络的最终目标函数为重构误差J(xi)和分类概率交叉熵S(xi,yi)的加权组合：

(9)

(10)

(11)

笔者采用图6所示的深度卷积网络，提取高速公路监控视频的表观特征与运动特征。①将该多任务卷积网络在ImageNet数据库中使用随机梯度下降法进行预训练(细节训练方法见文献[12])，直至式(9)收敛。②对监控视频进行预处理，得到视频背景及光流特征图，并将RGB图像及其光流特征图无重叠地裁剪为60×60像素的图像块，然后将图像块的尺寸统一至256×256像素。③去掉网络结构的全连层及其后面所有模块得到深度卷积特征提取器，并将该网络结构分别在监控视的RGB数据以及光流特征中进行微调。笔者使用该深度卷积特征提取器提取监控视频的表观特征和运动特征，然后使用one-class SVM(support vector machine)算法[14]分别得到表观特征和运动特征的异常值得分。

2.2 无监督的异常值得分融合模型

笔者采用一种无监督的异常值得分融合模型自动学习基于表观异常值得分和基于运动信息的异常值得分权重α=[αA,αM]。权重α通过如下优化问题，求解得到：

(12)

(13)

c=[cA,cM]

(14)

(15)

3 实验结果与分析

3.1 实验设置

笔者所用深度学习工具包为Caffe[15]。实验环境为：Intel(R) Core i7-5930K 3.50GHz、GeForce GTX Titan X GPU、内存64G、linux操作系统。

3.2 实验结果

采用笔者所提出的一种基于卷积神经网络的高速公路事件检测的方法进行高速公路及隧道异常事件检测。实验结果如图7所示，其中图7(a)和图7(d)分别为原始高速公路监控视频和隧道监控视频，图7(b)和图7(e)分别为相应监控视频的背景，图7(c)和图7(f)为异常事件检测结果。由图7可知，笔者所提出的算法可以有效地检测出路面的抛洒物和因交通事故而停止的货车。但由于该算法是基于图像块进行识别事件的，故不能精确定位异常事件的位置。另外，前景视频可由原始视频和背景图像生成，在前景图像中提取视频的表观特征和光流特征，可加快代码的训练速度。

图7 基于多任务卷积神经网络的事件正确检测结果图

图8所示为基于多任务卷积神经网络的事件错误检测示例，该监控视频从第1帧就包含了异常停止的轿车，笔者所采用的混合高斯背景建模方法误将该车作为监控视频背景,进而导致多任务卷积神经网络不能有效提取视频帧的表观特征和光流特征，故不能正确检测该异常事件。

图8 基于多任务卷积神经网络的事件错误检测示例

为了进一步验证所提算法的有效性，在公共的异常事件检测UCSD数据库进行了实验，结果如表1所示，其中EER (equal error rate)是指事件误分类比率，AUC(area under curve)是指ROC曲线下面积，frame-level是指从监控视频中检测出异常事件帧。从表1可知，算法在UCSD异常事件数据库中获得了较好的性能，显示出基于深度卷积神经网络的深度特征相比于经典手工特征拥有更多的语义信息，更适用于复杂环境的事件检测任务。

表1 UCSD异常事件数据库下frame-level的算法性能对比

4 结论

为了自动识别监控视频中的安全事件和异常事件，笔者提出了一种基于深度卷积网络的事件检测方法。该方法分别从视频的表观特征和运动特征出发，利用卷积神经网络提取其高层语义特征，然后使用one-class SVM分别进行表观特征和运行特征的异常检测，最后使用无监督的融合模型融合表观特征和运动特征的异常值得分。实验表明该算法能够有效地识别高速公路上发生的安全事件与异常事件。

[1] CONG Y, YUAN J S, LIU J. Sparse reconstruction cost for abnormal event detection[C]∥IEEE International Conference on Computer Vision and Pattern Recognition. San Diego: IEEE, 2011:3449-3456.

[2] MEHRAN R, OYAMA A, SHAH M. Abnormal crowd behavior detection using social force model[C]∥IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Diego: IEEE, 2009:935-942.

[3] BENEZETH Y, JODOIN P M, SALIGRAMA V, et al. Abnormal events detection based on spatio-temporal co-occurences[C]∥IEEE International Conference on Computer Vision and Pattern Recognition. San Diego: IEEE, 2009:2458-2465.

[4] KRATZ L, NISHINO K. Anomaly detection in extremely crowded scenes using spatio-temporal motion pattern models[C]∥IEEE International Conference on Computer Vision and Pattern Recognition. San Diego: IEEE, 2009:1446-1453.

[5] KIM J, GRAUMAN K. Observe locally, infer globally: a space-time MRF for detecting abnormal activities with incremental updates[C]∥IEEE International Conference on Computer Vision and Pattern Recognition. San Diego: IEEE, 2009:2921-2928.

[6] MAHADEVAN V, LI W, BHALODIA V, et al. Anomaly detection in crowded scenes[C]∥IEEE International Conference on Computer Vision and Pattern Recognition. San Diego: IEEE, 2010:1975-1981.

[7] WU R, WANG B, WANG W, et al. Harvesting discriminative meta objects with deep cnn features for scene classification[C]∥IEEE International Conference on Computer Vision. San Diego: IEEE, 2015:1287-1295.

[8] KHAN F S, XU J, WEIJER J V D, et al. Recognizing actions through action-specific person detection[J]. IEEE Transactions on Image Processing, 2015,24(11):4422-4432.

[9] YANG J S. Estimation of vehicle's lateral position via the lucas-kanade optical flow method[J]. Wseas Transaction on Systems, 2012,11(8):349-363.

[10] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. Imagenet classification with deep convolutional neural networks[C]∥International Conference on Neural Information Processing Systems. New York: Curran Associates Inc., 2012:1097-1105.

[11] XU D, YAN Y, RICCI E, et al. Detecting anomalous events in videos by learning deep representations of appearance and motion[J]. Computer Vision and Image Understanding, 2016(156):117-127.

[12] ZHANG Y, LEE K, LEE H, et al. Augmenting supervised neural networks with unsupervised objectives for large-scale image classification[C]∥International Conference on Machine Learning. New York: PMLR, 2016:612-621.

[13] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[EB/OL]. https://arxiv.org/abs/1409.1556.

[14] SCHÖLKOPF B, SMOLA A J, WILLIAMSON R C, et al. New support vector algorithms[J]. Neural Computation, 2000,12(5):1207-1245.

[15] JIA Y, SHELHAMER E, DONAHUE J, et al. Caffe: convolutional architecture for fast feature embedding[C]∥ACM International Conference on Multimedia. New York: ACM, 2014:675-678.

FreewayIncidentDetectionResearchBasedonDeepConvolutionalNetwork

SUNHao,HUANGZhangcan

In order to efficiently detect the public safety and automatically identify the security and abnormal events on the freeway, an event detection method based on deep convolutional neural network is proposed. Firstly, the surveillance video is preprocessed and its optical flow characteristics are extracted. Then, the convolutional neural network is used to extract the features of appearance and motion. And then the one-class SVM is used to detect the anomaly of the appearance and motion. Finally, the unsupervised fusion model is used to fuse the scores of the features of appearance and motion, and the results of the event detection are obtained. Experiments show that the algorithm can effectively identify the security and abnormal events on the freeway.

public safety; incident detection; convolutional neural network

2095-3852(2017)06-0683-06

A

2017-05-17.

孙昊(1992-)，男，湖北武汉人，武汉理工大学理学院硕士研究生，主要研究方向为图像处理、机器学习、深度学习.

国家973计划资金项目(2012CB719905).

TP391.41

10.3963/j.issn.2095-3852.2017.06.008

SUNHao:Postgraduate; School of Science, WUT, Wuhan 430070,China.