基于纹理特征和轮廓光流矢量的烟雾识别*

张　洁，吴爱国，赵　萌（天津大学电气与自动化工程学院，天津300072）

基于纹理特征和轮廓光流矢量的烟雾识别*

张洁，吴爱国，赵萌
（天津大学电气与自动化工程学院，天津300072）

为了提高火灾探测的准确率和快速性，提出了基于纹理特征和轮廓光流矢量的烟雾识别算法。一方面为了获得更全面的纹理特征，建立图像金字塔，使用局部二值模式（LBP）和基于方差的局部二值模式（LBPV）结合的新方法分别提取金字塔不同层的纹理特征。另一方面是动态纹理特征，由于烟雾运动的湍流特性导致方向具有特定的一致性，改进了对全部可疑区域进行分析的方法，仅对可疑区域轮廓进行光流矢量分析，降低运算量。将静态纹理特征和动态纹理特征输入支持向量机（SVM）中进行识别。采用“静—静—动”的新型识别方法，实验结果表明：该算法能够及时准确报警，可靠率高。

烟雾检测；局部二值模式；光流法；支持向量机；图像识别

0　引言

火灾发生直接危及人类生命和财产安全，因此，如何在火灾早期及时检测出火灾并将其消除在萌芽状态具有重要意义。而传统的探测器如感温、感光、感烟探测器等在小空间具有良好的效果，但是在大空间具有一定缺陷。随着图像处理和模式识别技术的发展和提高，图像型火灾探测成为火灾监测的重要研究方向。

基于烟雾的视觉特征，研究人员已经取得一些研究成果。Yu Chunyu等人［1］采用灰度共现矩阵法提取烟雾纹理特征值，实现了基于纹理特征的烟雾图像实时监测。Chen T H等人［2］结合RGB颜色模型和HIS颜色模型中I分量进行了火灾烟雾识别，其方法是基于火灾烟雾颜色一般为灰色。Yuan Feiniu等人［3］首先将视频图像分割成大小相等的块，然后采用某种搜索模板和块匹配的方法估计块的运动方向；吴爱国等人［4］在RGB空间利用混合高斯模型对背景进行建模，通过背景差法提取可疑区域并分割可疑图元，接着在HSV空间提取颜色饱和度特征值；Toreyin B U［5］，利用小波变换提取烟雾图像边缘特征，根据烟雾具有模糊性，边缘信息减少的现象来判断烟雾的存在。但这些方法都具有一定的局限性，在复杂场所下检测性能会有一定程度下降。

烟雾检测是一个复杂的过程，不能够简单地通过某一特征量进行检测，必须结合多个特征量进行综合判断。本文提出了基于纹理特征和轮廓光流矢量的烟雾识别算法，实验结果表明该算法能够及时准确报警，可靠性高。

1　算法综述

首先对每帧图像进行双边滤波，除去由于视频质量差而存在的干扰，利用高斯混合模型和背景减除法提取出前景运动区域，由于烟雾是运动的，排除非运动干扰，提取静态、动态烟雾特征的运算量将大大减少；接着用颜色模型判断出疑似烟雾区域；然后对疑似烟雾区域用局部二值模式（local binary pattern，LBP）和基于方差的局部二值模式（LBP based on variance，LBPV）法提取烟雾的纹理特征，用基于金字塔的LK光流法提取疑似烟雾轮廓的动态特征；最后，将纹理和运动特征输入支持向量机（SVM）中进行判定。

2　预处理

一般情况下，由于存在大量的噪声，视频烟雾图像质量较差。采用滤波宽度为6，控制空间邻近度因子衰减度为3，亮度近似度因子衰减度为0.1的保留边界信息双边滤波器对图像进行滤波，此方法既保留了细节又对图像的噪声进行了抑制，提高了视频图像的质量。如图1，监控场所可能存在与烟雾相近颜色的静态目标，严重影响了探测的准确性，采取混合高斯模型对背景进行建模，通过背景减除法获得前景运动目标，可排除干扰，如图2。

图1　当前帧和滤波后图像Fig 1　Image of current frame and image after filtering

图2　前景运动区域Fig 2　Prospect moving area

3　特征提取

3.1颜色特征

颜色模型有简单、计算量小、计算速度快等优点，在图像型烟雾识别得到广泛应用。实际应用中，易受水蒸汽、灰尘等干扰源影响，尤其在复杂场景中，对烟雾会引起较高误判。因此，需与其它检测方法结合来实现烟雾识别。

烟雾RGB模型为

式中I为烟雾亮度，L1约为150，L2约为220；满足式（1）、式（2）为 dark-gray烟雾，D1约为80，D2约为150，满足式（1）、式（3）为light-gray烟雾。

颜色检测后，需经中值滤波消除孤立点，形态学处理消除孤立小区域，得到连续疑似烟雾区域。满足以上条件的区域被判定为疑似烟雾区域，图3为图1的处理结果。

图3　疑似烟雾区域Fig 3　Suspicious smog area

3.2LBP和LBPV纹理特征

3.2.1LBP

LBP是一种对图像的局部纹理有卓越描绘能力的灰度纹理描述算子，LBP将一个像素视为中心点，它的值以该点与其邻域像素的相对灰度值作为响应，对其周围邻域像素点的值进行计算得到，即

式中gc为该中心点像素的灰度值，gi为该点邻域像素点的灰度值。P为总的邻域像素点的个数，R为邻域的半径。本文选择R=1，P=8。

Ojala［6］定义了三种不同类型的LBP。统一化LBP公式如下

式中mod为求余运算，该模式下输出为59个。旋转不变LBP公式如下

式中ROR（x，i）为将二进制位串x向右循环移i位，该模式下输出为36个。

旋转不变统一LBP公式如下

该模式下输出为10个。

3.2.2LBPV

LBPV［7］纹理分类方法将每个点的方差作为编码值的权重，进行直方图的累加，定为

式中VAR为区域变化的表示，VAR值越大，对该区域内的区分性贡献越大，对应的编码权重越大。LBPV方法无需量化处理，且不需要训练，就在纹理分类实验中获得了很好效果。

算法具体描述：通过建立3层图像金字塔获取疑似烟雾区域局部和全局纹理特征。原图像I0为图像金字塔第0层，提取统一LBP和LBPV纹理特征；然后对I0高斯滤波，I0降维生成图像金字塔第1层I1，提取旋转不变LBP和LBPV纹理特征；同理，对I1降维生成图像金字塔第2层I2，提取旋转不变统一LBP和LBPV纹理特征。将三个尺度下的LBP和LBPV特征组合作为疑似烟雾区域最终纹理特征。图1的LBP特征如图4，LBPV特征为图5。

图4　LBP纹理特征Fig 4　LBP texture feature

图5　LBPV纹理特征Fig 5　LBPV texture feature

3.3动态特征

为了解决光流计算耗时较长的问题，本文仅对轮廓像素点进行光流矢量计算。边缘检测可除去一些不相关信息，保留图像重要的结构属性，因此，对检测结果影响较小。

光流算法是研究图像灰度值在时间上的变化大小和方向。本文仅研究疑似区域轮廓的光流矢量，用Lucas-Kanade［8］算法，在运算速度上对该算法进行了改进。在LK局部平滑光流算法的基础上进行金字塔分层迭代来计算光流场。

具体步骤如下：首先计算金字塔最上层图像上的光流，然后根据最上层光流的结果估计次上层光流初始值，再计算此上层图像上光流的精确值，直至最底层原始图像。

金字塔原理：设金字塔层数为L，令I0=I，金字塔第0层，在金字塔中分辨率最高，然后以递归方式建立金字塔，从I0中计算I1，依此类推，第IL层由第IL-1层得到

计算轮廓点光流：金字塔每一层L，算法需找到当前图像的位移残差矢量dL，使当前层匹配误差函数ε最小

光流失量的解为

得到运动矢量，需对其运动速度大小、方向进行分析，以确定是否满足烟雾运动特征。图6、图7为处理后运动方向和速度。

图6　光流矢量角度图Fig 6　Angle of optical flow vector

4　实验结果与分析

SVM中径向核函数能够很好地平衡运算时间和预测效果，提高分类速度，因此，选择径向核函数，令c=100，δ=

图7　光流矢量速度图Fig 7　Velocity of optical flow vector

3。将LBP，LBPV直方图和光流矢量角度形成的305维特征F输入到SVM中进行训练和分类，特征F如下

在Matlab上实现本文检测方法，视频来自http：∥signal.ee.bilkent.edu.tr/VisiFire，图8和图9视频标准化为240×320，采样率为25帧/s。矩阵表示为检测出的烟雾。

图8　烟雾视频Fig 8　Smog videos

图9　部分视频检测结果Fig 9　Detection results of partial video

不同算法检测率对比如表1。视频1为室外火灾视频，存在微风，烟雾比较浓且集中，烟雾特征比较明显，检测率最高。视频2室外火灾视频，烟雾比较薄，且存在环境风速较大、人物移动遮挡等干扰因素的影响，检测率较视频1低。视频3为室内烟雾视频，环境风速很大，但烟雾较浓且没有其他遮挡，因此，检测率较好。视频4为在窗口燃烧的烟雾，窗口有风，烟雾稀薄且有被吹散，以及有人员走动、阳光照射等干扰因素的影响，检测率较前几个视频低。视频5不是火灾烟雾视频，但白色灯光照在路面上，形成有些类似于烟雾纹理的区域，但是其运动方向一般不满足烟雾的运动特征，因此，误检率得到了控制。

表1　不同算法的检测率对比结果Tab 1　Detection rate comparison results of different algorithms

5　结论

本文采用了“静—静—动”的新型识别方法，分别用颜色模型和不同的LBP和LBPV算子相结合提取图像金子塔每层纹理特征的方法，获取更全面的静态特性，对可疑区域轮廓进行光流矢量分析的方法提取动态特性，基于运动矢量基本呈现向上、向外扩散的趋势，角度基本位于0°～180°之间，最后这些特征输入SVM中进行识别。此方法运算量小，计算速度快，准确率高，误检率低。实验结果分析通过对比得到的结果也支持了以上结论，在室内外的火灾视频中都有良好的检测率，而昏暗街道视频中的漏检率也有所下降。

［1］Yu Chunyu，Zhang Yongming.Texture analysis of smoke for realtime fire detection［C］∥IEEE The Second International Workshop on Computer Science and Engineering，Qingdao，2009：511-515.

［2］Chen T H，Yin Y H，Huang S F，et al.The smoke detection for early fire alarming system based on video processing［C］∥IEEE International Conference on Intelligent Information and Multimedia Signal Processing，2006：427-430.

［3］Yuan Feiniu.A fast accumulative motion orientation model based on integral image for video smoke detection［J］.Pattern Recognition Letters，2008，29（7）：925-932.

［4］吴爱国，杜春燕，李明.基于混合高斯模型与小波变换的火灾烟雾探测［J］.仪器仪表学报，2008，29（8）：1622-1626.

［5］Toreyin B U，Dedeoglu Y，Cetin A E.Contour-based smoke detection in video using wavelets［C］∥Proc of 14th European Signal Processing Conf（EUSIPCO），Florence：EURASIP，2006：1-5.

［6］Ojala T，Pietikainen M，Maenpaa T T.Multiresolution gray-scale and rotation invariant texture classification with local binary pattern［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24（7）：971-987.

［7］Guo Z H，Zhang L，Zhang D.Rotation invariant texture classification using LBP variance（LBPV）with global matching［J］.Pattern Recognition，2010，43（3）：706-719.

［8］Cucchiara R，Grana C，Piccardi M，et al.Detecting moving objects，ghosts，and shadows in video streams［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25（10）：1337-1342.

［9］李文辉，肖林厂，王莹.一种基于块的视频烟雾检测算法［J］.吉林大学学报，2012，50（5）：979-985.

张洁（1990-），陕西渭南人，硕士研究生，研究方向为火灾烟雾识别。

Smog detection based on texture features and optical flow vector of contour*

ZHANG Jie，WU Ai-guo，ZHAO Meng
（School of Electrical Engineering&Automation，Tianjin University，Tianjin 300072，China）

In order to improve accuracy and rapidity of fire detection，a smog detection algorithm based on texture features and optical flow vector of contour is proposed.On one hand，to obtain more comprehensive texture feature，image pyramid is constructed，a new method combines local binary pattern（LBP）with LBP based on variance （LBPV）are used to extract texture feature of different level of the image pyramid.On the other hand，due to special turbulence characteristics of smoke movement，its moving directions are with a certain consistency，improve the method of analysis on all suspicious area，optical flow vector analysis is carried out only on suspicious area contour，which greatly reduces computational complexity.These features are input to SVM for recognition.‘Still—Still—Moving'approach is used，experimental results prove that it can timely and accurately gives alarm and it has high reliability.

smog detection；local binary pattern（LBP）；optical flow method；SVM；image recognition

TP391

A

1000—9787（2016）06—0017—04

10.13873/J.1000—9787（2016）06—0017—04

2015—09—23

国家自然科学基金资助项目（61170328）