基于视频的烟雾检测系统——运用烟雾流动模型和时空能量分析的方法

冯 磊



基于视频的烟雾检测系统——运用烟雾流动模型和时空能量分析的方法

冯 磊

（邢台职业技术学院，河北 邢台 054035）

在火灾发生的初始阶段，监测烟雾对于防止火灾至关重要。文章提出了一种基于时间特征的检测方法，即由光烟流动模式分析和时空能量分析提取的时间特征融合得到。一个特征向量是通过使用具有优选方向的Gabor滤波器组，利用纹理信息来确定烟雾的流动特征。此外，在具有时间差的图像中，应用空间频率的能量分析得到另一特征向量。最后，这些特征向量输入训练好的支持向量机(SVM)进行烟雾判别，提供准确的烟雾检测。根据实验数据可得，该算法特征提取简便，可以更快检测烟雾的发生，提高了烟雾检测效率。

烟雾检测；光烟流分析；时空能量分析；支持向量机

随着经济的快速发展，人们对环境安全的要求越来越高，而火灾作为各类灾害中发生概率最高且对人类危害最严重的一种灾害，研究者们对火灾检测也日益重视。烟雾的早期检测可以作为火灾发生的有效预警。目前，烟雾检测的方法主要有两种，一种是传统的基于传感器，另一种是基于视频图像的。烟雾传感器的监测区域小且封闭，同时还受到烟雾扩散延迟等限制，所以监测的准确度、响应时间都受到一定的影响。当前烟雾传感器的局限性促使人们对基于视觉的烟雾检测方法进行了研究。视觉传感器使用烟雾的视觉特征，如颜色、运动和纹理信息等，同时能够监测更大的区域，并且可以容易地集成到现有的监视网络系统中。然而，考虑到烟雾的复杂性，如烟雾密度的变化、颜色、遮蔽特性、照明、非刚性和可变形状，目前基于视觉的监测系统受到许多技术的挑战。已有研究显示，利用 GMM获取准确的背景，通过帧间差分法对连续两帧的灰度图像序列进行绝对差运算，与背景相减获得运动目标区域[1]。由于GMM是将图像中的各个像素点的特征选用多个单高斯模型的混合来表示，对复杂动态背景进行建模，计算量较大。利用时空分析、烟雾运动建模和动态纹理来识别具有烟雾色的运动物体中的烟雾[2]。通过小波变换和光流计算的本征值来对烟雾进行分离，然而考虑到小波分析只能确定高频分量，因此该方法也有其自身的缺陷[3]。

在本文中，我们提出了一种多信息融合的算法，该算法将小波变换的时空频率的能量分量的组合特征和从Gabor滤波的时间图像获得的方向变换的统计信息组合起来作为联合特征，这种联合信息不仅能克服烟雾难以捕捉的缺点，同时能保证烟雾的流动性。将最后得到的联合特征向量用支持向量机（SVM）实现分类。

一、算法结构

所提出的方法解决了烟雾特征的复杂性，如烟雾扩散的动态行为、烟雾的颜色范围、半透明的属性以及烟雾纹理图案等一系列问题。具体算法如下图1。

图1 本文提出算法的流程

（一）图像预处理

1.颜色分析

在大多数情况下，燃烧发生前，当烟雾温度较低时，产生的烟的颜色从蓝白色变为白色。随着温度的升高，颜色可以从灰黑色变为黑色。通常，视频中采集的图像像素由RGB颜色空间表示，然而RGB颜色空间容易受到非线性视觉感知和光照变化的影响。因此采用HSV颜色空间，不仅符合人类视觉习惯，同时能够克服RGB颜色空间的缺点。

这里，H（i,j），S（i,j）和V（i,j）表示了空间中像素的色调、饱和度和明度值。从大量视频中实验得出了H和V的阈值范围，且能够满足在使用的实验视频中检测烟雾区域。

2.时态帧差法

就其动力学而言，烟雾在扩散过程中向各个方向扩散。一般来说，考虑到风的影响，烟雾会改变它的形状、位置以及在视频连续帧中传播的区域。此外，烟雾的不透明度取决于其密度，这使得烟雾的视觉模式难以建模。

使用帧差法，我们可以估计当前帧和前一帧之间的区域的变化。当摄像机静止时，由帧差法生成的边缘图像就是视频场景中运动物体的边缘。烟雾扩散很慢可以通过计算多个帧之间的差来解决，当扩散很快的时候，则可以在每N个连续帧中应用帧差法来检测任何运动。为了计算时间差分，用时间t和t+n上的两帧对应的强度值i t和i t+n之差来检测视频中的运动。

（二）特征提取

1.基于Gabor滤波器的烟流特性纹理模式分析

如果输入图像由不同的纹理区域组成，那么这些区域的局部空间频率之差将在一个或多个滤波器输出的子图像中产生差异，从而不能提供关于纹理的精确定位。简单的2D Gabor滤波器具有扩张和旋转的特性，因此可以分解具有不同尺度和方向的图像，从而能够得到具有有限光谱信息的空间特性、空间选择性和空间频率等视觉特性。在所提出的方法中，我们使用一组具有不同优选方向的Gabor滤波器，通过与每个时间差分图像卷积得到这些灰度滤波图像的简单统计来形成用于分类的特征向量。卷积公式如下：

图2 Gabor 滤波器选用的方向

2.时空能量分析

任何运动物体都具有固有特性，因为烟雾运动的不规则性我们不易发现导致运动物体能量突然下降的细节，所以烟雾最初具有半透明性质，随着时间的推移变得越来越不可见，那么含有烟雾的图像区域最初表现出较低的空间能量，随着不透明度降低而增加。为了解决这个问题，我们进行了空间二维小波变换分析，以获得仅适用于时间差分图像的能量。虽然我们能够运用这个特性在复杂背景下检测烟雾和非烟雾移动物体，但是对于真实烟雾检测元素的精度对于实时应用来说还是不够的。这样加上基于Gabor纹理模式分析才能够进行更为全面的分析。

首先由在像素列上应用低通滤波和高通滤波的一维分解，得到一维和二维小波变换，从而生成两个子图像。其次是在另一个子图像上运用一维分解。过程如下：

图3 单级二维离散小波变换的过程

每个像素的小波能量计算公式如下：

3.支持向量机（SVM）

为了区分视频帧中是否有烟雾存在，支持向量机（SVM）是一个非常有效的工具。利用烟雾的Gabor滤波器从纹理分析中提取的统计特征与非烟雾的值很接近，这使得难以对输入向量进行线性分离。因此，我们使用支持向量机的RBF核，可以结合数据和分类中的非线性，它是一种非概率二元分类器，它可以将距离决策边界最远的数据点分离，并在两个类上清除超平面上可能的最宽间隙[4]。为了训练这个SVM，我们建立了一个训练数据集，包括300帧的烟雾和非烟雾视频，每个帧中包含21个特征向量。其中在每个帧中的特征是Gabor滤波器的空间能量和5个方向，每个Gabor滤波器具有4个统计参数，总共产生21个特征。

表2给出了用于本研究的实验数据的概要。我们实验确定的标准偏差σ=0.6，能够产生高的分类性能。为了评估我们的程序，我们用视频数据集对其进行检查。每个训练/测试运行进行20倍交叉验证，以提高分类结果的可靠性。

表1 本文中使用的SVM的实验数据

二、实验结果及分析

本文的仿真环境为 MATLAB2015。实验选取了数据库中的测试视频，同时将摄像头固定拍摄一组模拟烟雾发生的视频。以这两个测试视频为基础建立数据集，该数据集包含从烟雾视频截取的4 000帧烟雾图像，在不同的光照条件下拍摄，并涵盖了多种浓度和光照的烟雾形态。

我们可以从图4中观察到我们提出的算法的逐步过程：（A—C）预处理阶段，（D）特征提取阶段，和（E）分类阶段。在图4（a）中，从视频序列显示提取的帧。在图4（b）中显示通过进行颜色分析阈值化而获得的感兴趣区域。我们可以观察到，固定物体被滤除并导致烟雾色物体的运动检测，如图4（c）所示。当具有不同取向角的Gabor滤波器组应用于包含生长信息的这些时间帧时，能够看到对烟雾的流动有显著影响，如图4（d）所示。我们可以观察到，由于风的方向和烟的向上运动，相对于其他两个方向，第一、第三和第五方向上有更多的纹理信息。对于这5个图像中的每一个，我们计算每4个统计参数以产生20个特征。将时空帧的能量作为另一个特征，使每个帧的21个特征向量传到SVM分类器中，如图4（e）所示。

表2 4个视频烟雾识别结果

在相同的数据集上对文献[1]算法进行实验，本文算法无论从处理速度上还是识别效果上均优于文献[1]算法。且本文算法平均准确率能够达到98.4%。

三、结论

本文提出了一种基于烟雾的光流特性的有效、鲁棒的烟雾检测方法。在本研究中，通过分析其扩散行为、颜色和不透明度来确定烟雾的存在。该框架包括：（1）颜色掩蔽和时间帧差作为预处理阶段；（2）基于时空能量分析的特征提取和从具有优选取向的Gabor滤波图像提取的纹理信息；（3）基于SVM的决策用于识别视频帧中的烟雾。这种简单的技术可以容易地安装在烟雾报警系统中，因为该算法在明亮的背景条件下也能响应，使其在不同的照明条件下有效。大量实验结果表明，该技术可有效排除疑似烟雾物体的干扰，并且具有准确性强、灵敏度高和鲁棒性强等优点。

[1]潘广贞，元琴，樊彩霞等. 基于混合高斯模型和帧差法的吸烟检测算法[J].计算机工程与设计，2015（5）：1290-1294.

[2] P. Barmpoutis , K. Dimitropoulos , N. Grammalidis .Smoke detection using spatio-temporal analysis, motion modeling and dynamic texture recognition[J].2014 22nd European Signal Processing Conference, IEEE, 2014, pp：1078-1082.

[3] X. Qi , J. Ebert. A computer vision based method for fire detection in color videos[J].Int. J. Imag, 2（2009）： 22-34 .

[4]M.N. Favorskaya , K.E. Levtin .Early video–based smoke detection in outdoor spaces by spatio-temporal clustering[J].International Journal of Reasoning-based Intelligent Systems, 5（2013）：133-144.

[5] T.-H. Chen , Y.-H. Yin , S.-F. Huang , Y.-T. Ye .The smoke detection for early fire-alarming system based on video processing[J].2006 International Conference on Intelligent Information Hiding and Multimedia, IEEE, 2006.

Smoke Detection System Based on Video——Through the Analysis of Smoke flow Pattern and Spatial-temporal Energy

FENG Lei

（Xingtai Polytechinic College, Xingtai, Hebei 054035, China）

In the initial stage of fire, monitoring smoke is very important for preventing fire. This paper proposes, a temporal feature extraction method, which is fused by light smoke flow pattern analysis and spatiotemporal energy analysis. A feature vector is obtained by using a Gabor filter bank with a preferred direction and using texture information. Besides, in the image with time difference, another feature vector is obtained by energy analysis of spatial frequency. Finally, these feature vectors are fed into support vector machine (SVM) to discriminate smoke and provide accurate smoke detection. According to the experimental videos, the features of algorithm are simple and easy to extract. It can detect smog quickly and improve the efficiency of smoke detection.

Smoke detection; Temporal features; Optical smoke flow; Support vector machines

2018—08—21

河北省重点研发计划自筹项目——“基于机器视觉的火灾烟雾检测预警系统”，项目编号：17275425。

冯磊（1984—），河北邢台人，邢台职业技术学院，讲师。

TP391.41

A

1008—6129（2018）05—0080—06