基于多特征融合的户外视频烟雾检测算法

王习越，陶青川（四川大学电子信息学院，成都610064）

基于多特征融合的户外视频烟雾检测算法

王习越，陶青川
（四川大学电子信息学院，成都610064）

针对目前户外视频烟雾检测的检测率低、误检率高的情况，提出一种新的基于多特征融合的户外视频烟雾检测的算法。在YUV空间下采用码书模型进行背景建模，提取出疑似烟雾区域；对疑似区域进行烟雾的颜色、模糊性、形状以及区域中心稳定性检测；将各个特征的检测结果进行贝叶斯分类器融合，并用于判断烟雾是否存在。实验表明，该检测算法鲁棒性高、能够准确地检测出视频图像中出现的烟雾，具有一定的实用性。

本模型；多特征融合；贝叶斯分类；烟雾检测

0　引言

随着图像处理技术的日趋成熟，基于视频图像的烟雾检测技术已受到各界的广泛关注并开展了相关研究[1~4]。Chen[5]通过对大量烟雾样本进行分析，归纳出烟雾的颜色模型，利用该模型实现了对烟雾的颜色检测并取得较好的检测效果。郑璐[6]提出了一种基于颜色和运动的烟雾检测算法，在一定程度上提高了烟雾识别的成功率，但不能准确地排除与烟雾颜色类似的运动物体的干扰。袁非牛[7]提出了一种通过计算基于累积量和主运动方向的视频烟雾检测方法，该算法具有较强的鲁棒性，但在强风、非常规拍摄角度等条件下会出现明显的误报。Maruta[8]提出采用共生矩阵检测候选区域中的纹理信息的方法，但此方法需要大量的先验参数且算法过于冗余，实用性小。

本文提出了一种采用贝叶斯分类器融合多特征的检测算法。实验结果表明，本文提出的检测算法精度高、适应性广，能够准确地检测出视频图像中出现的烟雾，具有较好的实用性。

1　算法框架

本文算法主要由3部分组成：（1）码书背景建模提取运动前景；（2）颜色、模糊性、形状、区域中心稳定性特征提取判定；（3）贝叶斯分类器融合判定。算法流程如图1所示。

图1　算法流程图

为了达到对烟雾检测的目的，首先需要对视频序列图像中的疑似烟雾区域进行分割处理。本文采用基于码书模型进行提取运动前景。码书模型[9]是一种基于聚类思想的背景模型，通过对视频序列进行连续采样，将每个像素点颜色的扭曲度和亮度信息来生成码字并将代表像素的码字聚类成码书，从而分割出运动前景。为了适应环境的变化，在检测过程中需要对码书进行更新和冗余码字的消除。传统的码书通常在RGB颜色空间建立，然而RGB颜色空间中R、G和B三个分量具有较高的相关性，没有实现亮度与色度的完全分离，可能会出现亮度的变化，导致色度的变化从而造成误判现象的发生。因此，为了增强算法的抗扰动性和自适应性，本文将码书模型引入到更能有亮度和色度的YUV颜色空间中。在YUV空间中Y表示亮度，U和V则表示色度，这种亮度与色度分离的颜色模型成功的解决了RGB空间下造成的低亮度像素在逐渐变亮的过程中可能产生误判的问题。同时在YUV颜色空间下建立的码书模型不需要计算像素与码书之间的垂直距离和重新计算亮度分量，大大提高运算速度。

假设X={x1，x2，…，xN}是一个像素的序列采样值，C={c1，c1，…，cL}是此像素点的L个码字。根据每个像素点可能出现的状态，其码字的个数也不相同。每个码字由〈Yi，Ui，Vi，fi，λi，qi＞这6个元素构成，其中Yi表示码字对应像素的亮度值；Ui和Vi表示码字对应像素的色度值；fi表示码字在图像序列训练过程中出现的次数；λi表示码字最长没有出现的跨度；qi表示码字最后出现的时间。其中，色彩扭曲度colordist（xt，ci）定义：

码书模型建模的基本流程是：

（1）初始化，将每个像素的码本置空。

（2）依次读入每帧图像，并对当前帧的每个像素逐一处理，维护该像素的码书。

（3）计算像素点的颜色扭曲度和亮度扭曲度是否满足colordist（xt，ci）≤εd和brightness（xt，ci）=true，这两个判决条件（其中εd为颜色扭曲度阈值）。以便确定是否更新或新建新的码字。

（4）若没有匹配的码字或者码书为空，创建一个新的码字并进行如下初始化：

ci=〈Y，U，V，1，t-1，t＞。如果匹配成功，则对码书中的匹配码字进行更新，公式如下：

2　多特征提取及判定

2.1颜色特征

通常情况下，火灾发生时产生的烟雾的颜色大部分为白色、灰色、黑色。根据姚太伟[10]等人的实验统计，烟雾的R、G、B通道的值相差不大，且烟雾的灰度值大致在80~220范围之内。因此归纳出烟雾RGB空间颜色模型：

2.2烟雾模糊特征

烟雾本身具有半透明性，伴随着生长会扩散并逐渐遮挡背景区域，而其他非雾状物质通常不具有这样的特性，这一现象在频率域表现为高频能量减少，低频能量增加。因此，基于这一特性可作为判别烟雾图像和非烟雾的一个重要依据。本文利用二维离散小波变换提取这一特征。

原始图像经过二维离散小波变换后分解成4个部分：三幅高频分量子图像和一幅低频分量子图像；其中，三幅高频分量子图像分别为水平方向（HL）、竖直方向（LH）和对角方向（HH）纹理信息，如图4所示。其中，低频子图LL几乎包含了原始图像的所有信息，而HL、LH、HH子图则只是显示了原始图像的一些部分细节信息。随着烟雾的产生与扩散，会将图像中的纹理和边缘变得模糊起来，三幅高频分量子图像的能量值减小，通过检测计算疑似烟雾区域的前景和背景的高频能量的比值来确定是否有烟雾产生。

图4　烟雾图像的二维小波变换

假设Wn（x，y）为视频序列的第n帧采集图像中所有高频分量子图能量值叠加构成的一幅复合图像，公式表示如下:

则用En表示第n帧烟雾疑似区域图像的高频能量，Enb表示烟雾疑似区域对应背景图像经二次小波变换后的高频能量。

其中，M，N分别表示经码书模型提取的疑似矩形区域的长、宽值。然后计算疑似烟雾的前景和背景的高频能量的比值：

2.3形状特征

与其他规则的物体运动不同，烟雾在温度和压力的作用下，烟雾不断向外膨胀，其边缘轮廓始终呈现出一种不规则状态，如图5所示。

图5　烟雾边缘的不规则性

基于这一特征，可以去除烟雾颜色类似的规则物体的干扰。通过引入公式（11）作为判决依据。其中，SEP表示疑似区域的周长，通过对疑似区域进行Sobel边缘检测统计边缘像素点的个数来获取;STP表示疑似区域的面积，通过统计疑似区域的像素点的个数获取;阈值记为STD。

图6　烟雾区域中心稳定性

2.4烟雾区域中新位置稳定特征

烟雾虽然具有扩散性，但烟雾的区域中心通常也具有相对的稳定性，如图6所示。通过计算相邻帧数烟雾区域中心点位置的变化率来描述这种相对稳定性。在视频序列中，计算相邻帧的疑似区域中心点的位置变化快慢，并判断该疑似区域中心点位置是否具有这种相对的稳定性。

以一块疑似烟雾区域为例，提取该疑似区域的所有像素点的坐标（xnum，ynum），用num表示提取的疑似区域的像素点的个数。计算每帧的中心点的统计平均值（x，y）。

判断相邻帧的欧氏距离d，

2.5贝叶斯分类器融合

贝叶斯分类器[11]是一种结构简单、效果明显的分类器，其分类原理是通过对某对象的先验概率，利用贝叶斯公式计算出其后验概率，即该对象属于某一类的概率，选择具有最大后验概率的类作为该对象所属的类。

工作流程概况如下：

（1）假设每个数据样本都可以用n维的特征向量X（x1，x2，…，xn）表示，且特征向量的每个特征值是对样本n个属性Ai（i∈[1…n]）的度量；

（2）若分类器Ci（i∈[1…m]）含有m个类，对于给定的未知样本X，分类器将预测该样本属于分类集中不同类的后验概率，后验概率最大的类即为该样本所属的类型。公式如下：

通常认为分类器所分的类的先验概率为等概率，即P（C1）=P（C2）=…=P（Cm）。另外P（X）对所有的类为常数，则计算P（Ci|X）的值即为计算P（X|Ci）P（Ci）的值。由于样本的属性值之间是互相独立的，所以：

在户型内设计方面，设计师以户型功能要求为依据，对装配式建筑户型进行布置，从结构库中选取相应的结构户型，结合户型功能、结构设计方案等对设备模块进行选择，使建筑、户型能够相互匹配，以免出现构件不合，相互碰撞等情况。在对户型内设计过程中，最为关键的便是剪力墙体系的模块化设计，该部分设计量较大，采用系统化、标准化的户型库能够在很大程度上使协同效率提高，从而达到模块精准化的设计目标。

其中，P（Xk|Ci）的值由训练样本生成的混淆矩得到。

本文选取正样本为烟雾视频（视频1~视频5）各段的前100帧图像，负样本为干扰视频（视频6~视频7）两段视频的前100帧图像。首先通过对不同环境条件下的烟雾和非烟雾样本进行特征提取，统计烟雾与非烟雾的颜色、模型、形状以及区域中心稳定性4个特征的混淆矩阵；然后对这4个混淆矩阵分别进行归一化处理，以查找的方式计算得到各个特征的条件概率即P（Xk|Ci）的值；将求得的条件概率P（Xk|Ci）代入公式（15），计算后验概率P（Ci|X）最大的值，即可判定是否为烟雾。

3　实验数据与分析

为了验证算法的实用性与有效性，采用VS 2008开发平台，MATLAB，Pentium Dual-Core CPU，E5300@ 2.6 GHz（2CPUs）处理器，3G内存，Window XP操作系统的台式机。文中所选的视频部分为来自网站，部分来自自行拍摄视频。此次共列举7组视频，前5组为烟雾视频，后2组为干扰视频。总计2200帧，其中烟雾图像1660帧。非烟雾图像540帧。由于烟雾检测目前没有统一的判定标准。由此，本文定义正检率和误检率这两个参数。

实验1单特征检测测试结果

对各个视频的前100帧分别使用单特征进行检测（如表3）。特征1~特征4分别代表颜色特征、小波能量特征、形状特征以及区域中心稳定性特征。

实验2同类算法对比实验

将实验1中单特征检测结果作为训练的输出，则生成4个检测特征的概率混淆矩阵。

本文提出的贝叶斯融合算法与文献[3]方法、文献[6]方法这3类检测方法的检测结果如表3和表4所示。

从表1、表2和表3、表4可以看出，单独的特征检测算法无法达到高检测率、低误检率的性能要求，通过特征的融合是可以有效地提高检测率、降低误检率。实验表明，本文所提算法不仅能够准确地识别出白烟、青烟，黑烟。即使在强风和其他类似烟雾的干扰物存在的情况下也能够较为准确地识别出烟雾目标。且平均处理速度为20 fps能够达到实时的要求。

4　结语

本文提出的基于多特征融合的户外烟雾检测的算法对烟雾检测具有很高的识别率，较低的误检率，克服单一特征检测烟雾图像的不足。该检测算法能够适应户外环境，能够有效地排除与烟雾颜色类似的运动物体造成的干扰，准确地检测出烟雾图像。今后，将重点研究烟雾与水蒸气、雾气的细小差异，以消除类似气体现象的干扰以提高检测精度。

表1　烟雾视频单特征正检结果

表2　干扰视频单特征误检结果

表3　各种算法的正检率对比

表4　各种算法的误检率对比

[1]Fang LM，XuAJ，TangLH.A Study of the Key Technology of Forest Fire Prevention Based on a Cooperation of Video Monitor and[c]. Proceedings of International Conference on Natural Computation.Jinan，China:IEEE Computer Society Press，2008:391~396

[2]Tripathi A K.Single Image Fog Removal Using Bilateral Filter[C].Proc.of IEEE International Conference on Singnal Processing，Computing and Control.[S.1.]:IEEE Press，2012

[3]Jiao，Run-hai.Smoke Detection Based on Frequency of Smoke's Contour.（School of Control and Computer Engineering，North China Electric Power University，No.2，Beinong Road，Changping District，Beijing 102206，China）;Li Wei，Qi Xiang，Li，Yanhua Source: ICIC Express Letters，v 7，n 11，p 2933~2940，2013

[4]Dongil Han Byoungmoo Lee.Flame and Smoke Detection Method for Early Real-Time Detection of a Tunnel Fire[J].Fire Safety Journal，2009，44（7）:951~961

[5]Thou-Ho Chen，Yen-Hui Yin，Shi-Feng Huang，Yan-Ting Ye“The Smoke Detection for Early Fire-Alarming System Base on Video Processing”2006 IEEE International Conference on Intelligent Information Hiding and Multimedia Signal Processing，2006：427~430

[6]]郑璐，陈俊周.基于运动和颜色的视频烟雾检测算法[J].计算机工程与设计，2010（21）31:4650~4652

[7]Fei-niu Yuan.A Fast Accumulative Motion Orientation Model Based on Integral Image for Video Smoke Detection[J].Pattern Recognition Letters，2008，29（7）:925~932

[8]Maruta H，Kato Y，Nakamura A，et al.Smoke Detection in Open Areas Using its Texture Features and Time Series Properties[C].KualaLumpur:IEEE International Symposiumon Industrial Electronicsand Applications，2009:1904~1908

[9]Kim K，Chalidabhongse T H，Harwood D，et al.Real Time Foreground Background Segmentation Using Codebook Model[J].Real-Time Imaging，2005，11（3）:172~185

[10]姚太伟，王慧琴，胡燕.基于小波变换和稀疏光流法的火灾烟雾检测[J].计算机工程，2012（3）

[11]Piccinini P，Calderara S，Cucchiara R.Reliable Smoke Detection in the Domains of Image Energy and Color［C］.Proceedings of IEEE International Conference on Image Processing.San Diego，USA:IEEE Computer Society Press，2008:1376-1379.[DOI:10.1109/ICIP. 2008.4712020]

Outdoor Video Smoke Detection Algorithm Based on Multi-Feature Fusion

WANG Xi-yue，TAO Qing-chuan
（College of Electronic and Information Engineering，Sichuan University，Chengdu 610064）

Proposes new multiple feature fusion based smoke detection algorithm,which deals with situations like low detection rate and wrong detection in outdoor videos.Uses code book in YUV for background modeling to extract smoke area.Detects the color,shape,and center position of the suspicious smoke area.Carries out the fusion on the detect outcome using Bayesian classifiers.Takes the fusion result as a symbol to judge whether the smoke actually exist.Experiments show that the proposed algorithm is robust and accurate in smoke detection in video images.

Code Book;Feature Fusion;Bayesian Classification;Somke Detection

1007-1423（2015）11-0078-06

10.3969/j.issn.1007-1423.2015.11.016

王习越（1986-），男，四川人，在读硕士研究生，研究方向为计算机应用与图像识别

陶青川（1972-），男，四川人，副教授，研究方向为图像处理、机器视觉、模式识别等

2015-03-05

2015-03-30