基于颜色增强变换和MSER检测的烟雾检测算法

李笋， 石永生， 汪渤， 周志强， 王海罗

(北京理工大学 自动化学院， 北京 100081)



基于颜色增强变换和MSER检测的烟雾检测算法

李笋， 石永生， 汪渤， 周志强， 王海罗

(北京理工大学 自动化学院， 北京 100081)

在远距离烟雾视频监控中，当烟雾区域小或运动缓慢时，烟雾检测变得非常困难，为了解决这一问题，提出了一种基于烟雾增强颜色变换和MSER(maximally stable extremal regions)检测的烟雾检测算法. 首先提出了一种新型烟雾增强颜色变换，可使变换后图像中烟雾区域更加突出，便于后续的分割；其次在变换图像上检测MSER区域，分割出烟雾区域，避免了基于颜色信息或运动信息等传统方法难以准确分割烟雾的缺点；最后针对烟雾的特点，提出了烟雾的静态和动态判据，并以通过静态和动态判据的次数判定是否为烟雾，并进行报警. 实验结果表明，该算法可在远距离烟雾视频监控中准确地检测出烟雾区域，具有较高的可靠性.

烟雾增强颜色变换；MSER；暗通道原理；烟雾检测

目前，火灾是我国人民人身财产安全的一大威胁，因此研究及时准确的火灾早期预警具有重要的意义. 相比于传统的感烟、感温检测装置，基于视频的烟火检测技术具有价格低廉、非接触、响应速度快、可远距离范围内使用等优点[1-2]，甚至可以提供起火的位置以及火势演变等信息，对制定科学的灭火决策起着重要的作用.

相比于明火，烟雾更容易被摄像机捕获，因此火灾的早期预警常常是基于烟雾的检测而进行预警. 目前基于视频的烟雾检测算法的一般流程可划分为烟雾分割、烟雾特征提取和烟雾识别3个阶段. 由于烟雾特征的提取好坏，决定了能否正确地检测出烟雾，因此烟雾的分割阶段和烟雾的特征提取阶段在整个烟雾检测算法中起着至关重要的作用. 而传统基于颜色特性的分割方法[3]在复杂背景条件下，由于烟雾扩散与背景混合在一起，往往不能准确地分割出烟雾区域；基于运动特性的分割方法[4]在远距离视频监控中，烟雾的运动并不明显，如果设定的运动阈值过小，则分割出区域过多，且分割区域与实际的烟雾区域不一致；如果设定的运动阈值过大，则只能分割出实际烟雾区域的局部，甚至分割不出烟雾区域. 这些都影响了烟雾检测算法的准确率. 最近也出现了不用分割，直接在单张图片上进行烟雾识别的算法[1，5]，它们首先在烟雾训练样本库上提取LBP、Haar、EOH等通用纹理特征，然后利用AdaBoost等机器学习算法训练出分类器进行烟雾识别，这类方法尽管可以在烟雾区域比较大、纹理信息丰富的情况下正确识别出烟雾，但由于较少地利用烟雾的动态特性，在实际的视频烟雾检测中，存在一定的误检和漏检.

为解决上述在远距离视频监控中烟雾区域难以准确分割的问题，本文提出了基于烟雾增强颜色变换和MSER检测的烟雾检测算法. 首先，对烟雾进行增强的颜色变换，变换后的图像的烟雾区域更加显著，方便后续的烟雾分割；然后在变换后的图像上进行MSER区域检测，可以准确高效地分割出烟雾区域，避免了根据运动信息或颜色信息难以准确分割出烟雾的问题；在分割出疑似烟雾区域之后，对其区域的形状、方差等烟雾静态特征进行判断，并进一步根据烟雾区域的边缘常常出现运动的特点，在区域的边缘处采用混合高斯模型提取其运动信息进行判断；最后根据在时间轴上符合烟雾静态和动态判据的累积次数进行最终的烟雾判别.

1 烟雾增强的颜色变换

在烟雾检测中，颜色信息是一种非常重要的信息. 尽管不同的燃烧材料产生烟雾的颜色以及浓度不同，但在自然界中由森林火灾而产生的烟雾在图像中大多呈现灰白色[6-7]，不具有色彩信息. 因此文献[3，6]根据烟雾区域3个通道R、G、B应当比较接近、不具有色彩信息和HSI空间中亮度I比较高等先验知识，提出了烟雾区域3个通道值R、G、B应满足式(1)和(2)，

(1)

(2)

式中：r，g，b为使3个通道R、G、B各自相等的最小值；k、K1、K2为3个阈值. 文献[2，8]为了便于快速计算，对式(1)和(2)进行改进

(3)

(4)

式中：

(5)

同时，在去雾中被广泛应用的暗通道原理[9]是取3通道R、G、B中最小值，并进行最小值滤波

(6)

式中：Ω(x)为以坐标x为中心的区域. 因烟雾等区域的3个通道值R、G、B都比较大，在暗通道图像Jdark(x)中比较明亮；而其它一般自然区域大多数由于阴影、彩色表面等因素，3个通道值R、G、B中至少会有一个值比较小，在变换后的图像上比较暗淡. 图1(c)是图1(a)变换后的暗通道图像，从中可以看出，除了烟雾、河流和道路区域比较明亮之外，其它地区相对比较暗淡，甚至有些地区为纯黑色，因此与亮度图像(图1(b))相比更容易采用分割算法分割出烟雾.

为了使变换后的图像尽可能地抑制其它非烟雾区域，便于后续的烟雾分割，本文提出一种新型烟雾增强颜色变换

(7)

式中：

(8)

T(y)将暗通道原理与烟雾区域3个通道R、G、B应当比较接近等先验知识结合起来. 当为烟雾区域时，其暗通道值Cmin比较大，而色彩信息Cmax-Cmin比较小，T(y)就会比较大；而当为非烟雾区域时，其暗通道值Cmin比较小，而色彩信息Cmax-Cmin比较大，T(y)就会比较小.

同时，式(7)对T(y)进行中值滤波，既抑制了噪声，又保持了滤波区域的边缘. 图1(d)是原图像图1(a)经过烟雾增强颜色变换后的图像，从该图中可以看出与暗通道图像(如图1(c)所示)一样，抑制了非烟雾区域，除了烟雾、河流和道路区域之外，其它区域都比较暗淡，但与暗通道图像相比又较好地保持了烟雾区域的边缘.

2 基于MSER的烟雾分割

烟雾区域的分割是烟雾检测算法中最重要的一部分，分割出的疑似烟雾区域不仅可以加快后续的处理速度，更是在其区域上提取特征，最终根据这些特征确定该区域是否为烟雾区域. 在烟雾检测算法中常见的有基于颜色特性或运动特性等分割方法，但它们在复杂背景和远距离视频监控中，并不能准确地分割出烟雾区域. 而最大稳定极值区域(MSER)[10]描述的是在漫水过程中具有局部稳定特性的极值区域，与烟雾区域在颜色变换增强图像上表现为一个灰白凸包相一致，因此本文在烟雾增强颜色变换图像上检测MSER区域以分割出烟雾区域.

(9)

(10)

3 基于烟雾静态和动态特性判据的烟雾检测算法

由于在烟雾增强颜色变换图像上检测的MSER区域并非全是烟雾区域(如图1(d)所示)，因此需要利用烟雾的静态和动态特性去剔除非烟雾区域，下面将分别介绍烟雾的静态和动态特性判据.

3.1 烟雾的静态特性判据

在单帧图像上，烟雾区域常常表现出一定的形状和颜色特点，比如烟雾形状的非细长性、不规则性和颜色方差在一定范围内等，都与其它非烟雾区域的表现不同，因此本文采用下面3种静态特性判据[12].

① 对于烟雾区域形状的非细长性，采用椭圆拟合其轮廓(如图2所示)，计算椭圆的长轴r1与短轴r2的比值r1/r2，如果此比值r1/r2≥3，则认为该区域过于细长狭窄，属于非烟雾区域. 反之，则认为是烟雾区域；

② 计算烟雾轮廓的外接矩形(如图2所示)，求出烟雾区域所占的面积m与外接矩形面积wh的比值，如果该比值m/(wh)≤0.25，则认为该区域狭小，属于非烟雾区域；如果该比值m/(wh)≥π/4，则认为该区域的形状规整，例如矩形、正方形、圆形等，仍属于非烟雾区域. 反之，0.25

③ 由于烟雾的浓度不均匀，烟雾区域的方差也常常与其它区域不同，因此通过计算该区域的方差δ，如果其方差g≤δ≤h，则认为是烟雾区域. 在大量的实验中，设定g=20，h=200，可以剔除一些非烟雾区域，而不会意外地丢弃真正的烟雾区域.

3.2 烟雾的动态特性判据

单独地使用烟雾的静态特性去剔除非烟雾区域，常常会有与烟雾形状、颜色比较类似的非烟雾区域难以剔除的情况发生，因此需要根据烟雾的动态特性进行进一步判断. 文献[4]中利用在烟雾扩散中，烟雾区域的小波系数能量逐渐变小的先验知识进行非烟雾区域的剔除. 文献[2]根据烟雾区域在时间轴上是上升趋势的特性筛选出烟雾区域. 但在远距离视频的烟雾检测中，由于烟雾的运动缓慢，这些动态特性的判断效果并不理想. 经过大量的实验发现，尽管烟雾区域的内部在远距离情况下运动不明显，但其边缘的运动比较明显，因此可以利用这个动态特性进行烟雾区域的确认. 判断疑似烟雾边缘区域是否运动，可对该区域进行3×3膨胀操作减去3×3腐蚀操作得到其边缘区域，在这些边缘区域建立自适应的混合高斯模型[13]，通过判断当前时刻的像素点是否符合前面时刻建立的混合高斯模型来判断该像素点是否运动.

在具体的计算中，对整幅图像建立混合高斯模型[12-13]，检测出所有运动的像素点，计算出疑似烟雾区域边缘上的运动率(边缘上运动的像素点个数与整个边缘上的像素点个数的比值)，如果该值大于10%，则认为该区域通过了烟雾动态特性的判据，属于烟雾区域，反之则没有通过. 图3(a)为烟雾区域边缘在某一时刻的运动情况. 为了消除运动图像上面的噪声，区别于简单的时间域上单点累加滤波，本文提出一种基于时间域和空间域的滤波方法，在连通区域上进行时间域的累加滤波，具体的公式为

(11)

为了提高算法的鲁棒性，算法进一步利用多帧的信息来进行烟雾的报警，当一个区域在连续120帧图像里面，有50帧通过上面的烟雾静态和动态特性判据，就确认该区域为烟雾区域. 综上所述，本文的算法步骤如下：

① 对输入的每帧图像进行烟雾增强颜色变换；

② 在变换图像上检测MSER区域，对符合烟雾静止特性的MSER区域进行合并；

③ 对步骤2的疑似烟雾区域进行烟雾静态和动态特性的判断；

④ 如果一个区域在连续120帧里面，有50帧通过烟雾的静态和动态特性判据，就认为该区域为烟雾区域，并进行报警.

4 实验结果及分析

为了验证本文算法在远距离视频烟雾监控中的有效性，下面给出了4组远距离监控视频的烟雾检测结果，其中视频1和视频2来自于Toreyin课题组的网站[14]，视频3和视频4由作者拍摄. 由于烟雾的准确分割与否是本文检测算法的关键，因此图4首先给出了基于颜色规则的分割结果[3]、基于混合高斯背景建模的分割结果[13]以及本文基于烟雾增强颜色变换的MSER分割结果. 如图4(a)所示，基于颜色规则的分割方法尽管可以在视频1和视频3中分割出烟雾区域，但也分割出了大片天空区域，尤其是在视频2中由于雾气的存在，基本上分割出整幅图像，同时在视频4中分割出了大量白色建筑物. 与之相反的是，如图4(b)所示，基于混合高斯背景建模的方法在4组视频中都能分割出烟雾区域，但只是分割出了烟雾区域的边缘部分. 而如图4(c)所示，本文提出的基于烟雾增强颜色变换的MSER分割方法由于对烟雾区域进行了增强，且通过对MSER区域的检测和符合烟雾静态特征区域的合并，不仅可以准确地分割出烟雾区域，而且只有较少的非烟雾区域，这些都有利于后续的烟雾区域判断.

图5为本文算法与文献[1，15]在4个远距离烟雾视频上的实验结果.

如图5(a)所示，文献[1]直接采用各种尺度的检测窗口在全局图像上进行疑似烟雾区域检测(图5(a)中的绿色框为检测出的疑似烟雾区域，当绿色框与其它检测框的重叠面积大于一定阈值时变为红色框)，并根据疑似烟雾区域的重叠窗口数量以及持续时间进行最后的烟雾区域确认. 该算法在视频1和视频3中虽然会检测出非烟雾区域(绿色框区域)，但进行重叠判断之后的检测区域(红色框区域)可准确地检测出烟雾区域，并进行准确的烟雾报警. 而在视频2中，进行重叠判断之后的检测区域依然有大量的非烟雾区域，进行了错误的烟雾报警. 在视频4中，由于检测的疑似烟雾区域的数量和持续时间未超过阈值，在整个视频中没有进行烟雾的报警. 图5(b)为文献[15]的实验结果，它采用缓慢运动区域检测、灰度区域检测、上升区域检测和阴影区域检测等4个子算法，并根据最小均方算法自适应地调整相对应的输出权重，在4个视频中都可以准确地进行报警，但在视频3和视频4中，由于存在微小的抖动，可能导致了上升区域检测等子算法在一些帧上面的误检. 而如图5(c)所示，本文算法在烟雾准确分割的基础上，并进一步跟踪进行烟雾静态和动态特性的判断，在4个视频上都可以进行准确的烟雾报警和烟雾定位.

最后表1给出了各个算法在4个视频中准确检测烟雾的帧数(表中括号前数字)以及相应视频的烟雾持续帧数(表中括号中数字). 需指出的是，在人工判断文献[1]的检测结果时，只考虑红色框的检测结果正确与否，而不考虑绿色框的检测结果. 文献[1]由于在视频3中一直存在误检，而在视频4中，没有进行烟雾的报警，所以该算法在这两个视频的准确检测帧数为0. 如表1所示，本文的算法除了在第一个视频中的准确检测帧数略少于文献[15]的准确检测帧数，在其它视频中的准确检测帧数均超过了文献[1]和文献[15].

表1 各个算法准确检测烟雾的帧数以及视频的烟雾持续帧数

Tab.1 The accurate smoke detection frames of each algorithms and the lasting smoke frames in videos

算法准确检测帧数(烟雾持续帧数)视频1视频2视频3视频4文献[1]算法508(1391)0(576)452(1000)0(1490)文献[15]算法1171(1391)203(576)240(1000)1076(1490)本文算法957(1391)335(576)630(1000)1378(1490)

5 结 论

提出一种基于烟雾增强颜色变换和MSER检测的烟雾检测算法. 首先根据暗通道原理与烟雾颜色等先验知识，提出一种新型烟雾增强颜色变换；然后在变换后的图像上检测MSER区域，最后对这些疑似烟雾区域进一步做烟雾静态和动态特性判断，并根据多帧的累积判断进行烟雾区域的确认. 实验结果表明，该方法可在远距离烟雾监控视频中准确可靠地检测出烟雾，具有较高的实际应用价值.

[1] Yuan F. A double mapping framework for extraction of shape-invariant features based on multi-scale partitions with AdaBoost for video smoke detection[J]. Pattern Recognition， 2012，45(12):4326-4336.

[2] Yuan F. A fast accumulative motion orientation model based on integral image for video smoke detection[J]. Pattern Recognition Letters， 2008，29(7):925-932.

[3] Chen T H， Yin Y H， Huang S F， et al. The smoke detection for early fire-alarming system base on video processing[C]∥Proceedings of International Conference on Intelligent Information Hiding and Multimedia Signal Processing， (IIH-MSP 2006). [S.l.]: IEEE，2006.

[4] Toreyin B U， Dedeoglu Y， Cetin A E. Wavelet based real-time smoke detection in video[C]∥Proceedings of 2005 13th European Signal Processing Conference. [S.l.]: IEEE， 2005:1-4.

[5] Yuan F. Video-based smoke detection with histogram sequence of LBP and LBPV pyramids[J]. Fire Safety Journal， 2011，46(3):132-139.

[6] Chen T H， Wu P H， Chiou Y C. An early fire-detection method based on image processing[C]∥Proceedings of International Conference on Image Processing， 2004(ICIP’04). [S.l.]: IEEE， 2004:1707-1710.

[7] Li J， Qi Q， Zou X， et al. Technique for automatic forest fire surveillance using visible light image[C]∥Proceedings of IEEE International Geoscience and Remote Sensing Symposium， 2005(IGARSS 2005). [S.l.]: IEEE, 2005:3135-3138.

[8] Chunyu Y， Jun F， Jinjun W， et al. Video fire smoke detection using motion and color features[J]. Fire Technology， 2010，46(3):651-663.

[9] He K， Sun J， Tang X. Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2011，33(12):2341-2353.

[10] Matas J， Chum O， Urban M， et al. Robust wide-baseline stereo from maximally stable extremal regions[J]. Image and Vision Computing， 2004，22(10):761-767.

[11] Nistér D， Stewénius H. Linear time maximally stable extremal regions[M]∥ Computer Vision-ECCV 2008. [S.l.]: Springer Berlin Heidelberg， 2008:183-196.

[12] Li S， Wang B， Gong L M， et al. A novel smoke detection algorithm based on MSER tracking[C]∥ Proceedings of Control and Decision Conference (CCDC).[S.l.]: IEEE， 2015:5676-5681.

[13] KaewTraKulPong P， Bowden R. An improved adaptive background mixture model for real-time tracking with shadow detection[M]∥Video-Based Surveillance Systems. [S.l.]: Springer US， 2002:135-144.

[14] Cetin A E. Computer vision based fire detection software[EB/OL].http:∥signal.ee.bilkent.edu.tr/VisiFire/.

[15] Toreyin B U， Cetin A E. Wildfire detection using LMS based active learning[C]∥ Proceedings of IEEE International Conference on Acoustics， Speech and Signal Processing(ICASSP 2009). [S.l.]: IEEE， 2009:1461-1464.

(责任编辑：李兵)

Video Smoke Detection Based on Color Transformation and MSER

LI Sun， SHI Yong-sheng， WANG Bo， ZHOU Zhi-qiang， WANG Hai-luo

(School of Automation， Beijing Institute of Technology， Beijing 100081， China)

In the long-range video surveillance， the smoke is difficult to detect when the smoke is small or it moves slowly. In order to solve this problem， a video smoke detection algorithm based on smoke color enhancement transform and maximally stable extremal regions (MSER) was proposed. Firstly， a smoke color enhancement transformation was proposed to make the smoke area more salient and easier to be segmented. Secondly， in order to avoid the difficulty of smoke segmentation in the traditional color-based and motion-based methods， the MSER detection was employed to segment the smoke area. Lastly， based on the accurate segmentation， a series of static and dynamic criterions for the characteristics of smoke was proposed and the smoke was determined by the cumulative number of passing through these static and dynamic criterions. Experimental results show that the proposed algorithm can accurately and reliability detect the smoke in the far-range video surveillance.

smoke color enhancement transformation; maximally stable extremal regions(MSER); dark channel prior; smoke detection

2015-01-09

李笋(1987—)，男，博士生，E-mail：lsbit@foxmail.com；汪勃(1963—)，男，博士，教授，博士生导师，E-mail:wangbo@bit.edu.cn.

TN 911.73

A

1001-0645(2016)10-1072-07

10.15918/j.tbit1001-0645.2016.10.016