火灾烟雾的轮廓光流矢量分析

赵 萌，吴爱国，杜春燕

（天津大学电气与自动化工程学院，天津 300072）

火灾烟雾的轮廓光流矢量分析

赵 萌，吴爱国，杜春燕

（天津大学电气与自动化工程学院，天津 300072）

由于烟雾运动具有特殊的湍流特性，使得其运动方向具有特定一致性.利用这一特性，采用光流矢量分析方法，对可疑区域运动方向进行判定.为了提高算法实时性，首先提取可疑区域轮廓，然后对轮廓光流矢量进行分析.通过对比烟雾与非烟雾干扰（包括运动的光照、行进中的汽车车灯、水蒸气等），分析其轮廓的光流矢量特性，发现烟雾轮廓与非烟雾轮廓的光流矢量具有明显差异性，即其运动矢量基本呈现向上、向外扩散的趋势，因此角度基本位于一、二象限，即在0°～180°之间（除个别干扰点），这也与烟雾湍流运动特征相匹配，而分析非烟干扰发现，运动矢量并不具备这一特征.通过对比实验证明了该算法在保证准确度的基础上，将传统光流算法的计算速度提高了3倍.

火灾烟雾探测；光流；轮廓光流矢量

火灾作为一种严重的灾害，直接危及人类的生命及财产安全.因此，在火灾初期及时检测出火灾成为一项重要的研究课题.传统的火灾探测方法如感光、感温、感烟探测器等不能完成早期火灾探测.利用图像处理进行火灾探测是近些年逐渐兴起的一个课题，由于图像处理具有实时性好、对环境要求低、成本低等优点，图像火灾探测成为火灾监测的重点研究方法.

火灾的发生往往起始于阴燃阶段，在这个阶段烟雾的产生早于火焰，因此烟雾图像探测能够更早发现火灾，为火灾的扑灭赢得宝贵时间.然而与火焰不同，烟雾的颜色、亮度等图像特征不明显，这也使得目前的烟雾探测算法存在误报率高、系统鲁棒性差等缺陷.因此，提高准确率及对恶劣环境适应性是目前基于图像火灾探测的研究重点.根据美国测试与材料学会（ASTM）和国际消防协会（NFPA）的定义［1］，烟气包括悬浮的固相和液相颗粒及材料热解过程产生的气相物质.因此，火灾烟气流动属于两相流流动，烟气的湍流效应是火灾图像探测光学特性的重要因素，可以为火灾探测与预警研究带来新的理论指导.

Yu等［2］首先通过背景估计和颜色特征确定烟雾的潜在区域，再用光流法计算潜在区域的运动特性，最后用前馈神经网络法进行烟雾识别，取得了较好的效果，但烟雾的颜色特征受背景光照影响较大，传统光流法不利于实时探测.冉海潮等［3］基于烟气湍流效应，提出可以通过研究和观测特定光源穿过烟气时的光波特征来识别火灾，如光强、相位、漂移和扩散等，以便实现多参数特征的火灾探测，但由图像处理得到团聚效率的技术还不成熟，难以适用于背景复杂的场合.Toreyin等［4］通过小波图像的高频能量衰减提取潜在的烟雾目标，并通过饱和度衰减、边界周期性变化和外凸性特征进行烟雾识别，但由于烟雾颜色的时变性会导致饱和度衰减特征并不总是成立，并且背景的复杂性也难以保证烟雾图像始终具有外凸性，因此该方法具有一定的局限性.

为了解决光流法［5］的计算复杂度及环境适应性中存在的问题，本文提出一种新的光流探测烟雾算法，即首先应用帧间差分法，提取可疑运动区域，然后提取可疑区域轮廓，对其轮廓光流矢量进行分析，同时对非烟干扰源也进行此操作，以对烟雾进行对比，得到烟雾轮廓的光流矢量特征，从而进行烟雾识别.经过实验证明，该算法对于传统光流法有较高的速度优势，同时准确度方面也有所提高.

1　算法基本流程

为了达到快速准确提取火灾烟雾的目的，本文采用的基于轮廓光流矢量分析的火灾烟雾探测识别流程如图1所示.

图1　基于轮廓光流矢量分析的火灾烟雾识别流程Fig.1Flow chart of fire smoke recognition based on contour optical flow vector

首先对图像进行滤波处理，然后通过帧间差分，得到差分图像，对差分图像进行颜色检测，符合烟雾颜色特征的再进行下一步的光流检测，为了进一步提高速度，求取光流时，首先求得可疑区域的轮廓，然后仅求其轮廓的光流值，这样大大减少了计算量，而且光流算法采用基于金字塔的Lucas-Kanade（LK）光流法［6］，也具有一定的速度优势.

该算法至少需要2帧图像，首先进行帧间差分及颜色检测，求得可疑区域轮廓，然后再对轮廓区域像素点进行光流计算，由于烟雾的特殊运动形式（湍流），其轮廓点的运动具有区别于其他物体的运动形式：即向上、向外扩散.根据求得的光流矢量，可以判断是否符合这一特征，从而判断是否是烟雾.

2　视频图像提取与图像预处理

2.1视频中图像帧的提取

本文选用Bilkent大学的火灾视频库［7］及公安部天津消防研究所提供的火灾视频进行分析研究.首先需从提供的火灾视频及干扰源视频中提取出图像帧，视频中提取图像帧时，提取连续两帧图像，然后对这两帧图像进行后续处理.

2.2图像预处理

图像预处理主要是图像滤波，在尽量保留图像细节特征的条件下对目标图像的噪声进行抑制，由于本文研究需要提取图像边界，所以采用保留边界信息的双边滤波器［8］.其原理为

式中：g（x,y）为含有噪声的图像；f（x,y）为重建的无噪声图像；n（x,y）为噪声.双边滤波器采用局部加权平均的方法获取复原图像的像素值，即

式中：Sx,y表示中心点（x,y）的（2N+1）×（2N +1）大小的邻域；g（i,j）表示邻域内每个像素点；ws（i,j）为空间邻近度因子；wr（i,j）为亮度近似度因子.双边滤波器受3个参数影响，即滤波半宽N、参数δs和δr.N越大，平滑作用越强，δs和δr分别控制空间邻近度因子和亮度近似度因子的衰减程度.经过实验验证，本文最终采用N=6，δs=3,δr=0.1，可以达到较好的滤波效果.

3　运动区域获取及初判断

3.1帧间差分法提取运动区域

目前研究运动目标检测的方法有背景减除法、帧间差分法和光流场计算法等多种［9］，由于帧间差分法具有算法实现简单，程序设计复杂度低，对光线等场景变化不太敏感，能够适应各种环境，稳定性好等优点，本文在提取运动区域时采用了帧间差分法.

在经过灰度变换后的动态视频图像中，以间隔m帧选取3帧图像：前一帧图像Ii-m（x,y），当前帧图像Ii（x,y），下一帧图像Ii+m（x,y）.当m-1时，就是传统连续帧差分计算，当m-2时，为隔1帧差分，当m=3时，为隔2帧差分，依此类推.

由于烟雾运动的快速性，需要选取较小的时间间隔，因此，实验将从视频中提取连续图像m-1.为了提高运动目标检测的准确性，选取3帧图像，首先计算当前帧与前一帧的前向帧差图像Ff（x,y），再计算下一帧与当前帧的后向帧差图像Fb（x,y），最后计算帧差图像Ff（x,y）和Fb（x,y）的交集得到目标运动区域，后续操作仅针对此图像展开，降低了计算复杂度，具体公式为

隔帧差分且可以检测到帧间位移小于 1 个像元而多帧累积位移大于 1 个像元的运动点目标，因此不仅提高了视频运动目标检测速度，还提高了检测目标的能力.

3.2运动区域初判断

由于颜色检测模型简单、计算量小、计算速度快，是目前使用最广泛的图像型烟雾识别算法.但通过颜色特征来判别烟雾在实际应用中易受干扰源（如水蒸气、灰尘、云等）的影响，尤其在复杂场景中，更容易引起误判.因此，颜色特征检测一般会与其他检测相结合来实现火灾烟雾识别.

烟雾颜色模型［5］如下.

规则1

规则2

规则3

其中式（7）是烟雾RGB模型，3种颜色通道的r、g、b值非常接近；式（8）中M值为HIS颜色模型的亮度分量，L1一般在150左右，L2在220左右，满足式（7）和式（8）的为dark-gray烟雾；而式（9）中D1一般在80左右，D2在150左右，满足式（7）和式（9）的为lightgray烟雾.

经过颜色检测后，还需经过中值滤波，以滤除孤立点.为了进一步消除孤立区域，需要进行形态学处理，如开运算、膨胀等以消除孤立小区域，使得可疑区域联合.

满足以上条件的区域被判定为可疑烟雾区域，用于后续处理，减小了后续运算量.

4　可疑区域轮廓提取及其光流矢量计算分析

4.1可疑区域轮廓提取

边缘检测大幅度地减少数据量，剔除了那些被认为不相关的信息，保留了图像重要的结构属性.

图像边缘检测必须满足2个条件：一是必须能有效地抑制噪声；二是必须尽量精确确定边缘的位置.在边缘检测中，这2个条件基本是无法同时满足的，大部分算子在增强一方的同时，另一方就降低，而Canny算子力图在抗噪声干扰和精确定位之间寻求最佳折中方案.

Canny边缘检测的基本思想［10］是首先对图像选择一定的Gauss滤波器进行平滑滤波，然后采用非极值抑制技术处理到最后的边缘图像.

4.2轮廓光流矢量计算

得到可疑区域轮廓之后，仅针对轮廓像素点进行光流矢量的计算，可大大减少运算量，有效解决光流计算耗时的问题.

进行光流计算时，需要用到第3幅图像，前2幅图像差分图像得到的轮廓像素点，对应于第2幅图像中的像素点，然后计算相应像素点在第2幅图像与第3幅图像之间的光流矢量图.

光流场是指图像灰度模式的表面运动，光流是三维运动场在二维图像平面上的投影；研究光流算法就是研究图像灰度在时间上的变化大小和方向.

假设有2幅图分别为I和J，在（x,y）点灰度为I（x,y）和J（x,y），若已知第1幅图像I中有像素点u=［uxuy］T，第2幅图像J中有像素点v=u+d=［vxvy］T，使得I（u）和J（u）近似，则光流法目的便是求出运动矢量d.

由于算法仅仅研究轮廓的光流矢量，因此属于稀疏光流研究，可以采用LK算法［6］.为进一步提高运算速度，需对该算法进行改进，在LK局部平滑光流算法基础上进行金字塔分层迭代来计算光流场［11］，具体步骤如下.

LK算法的定义方法是：在像素点的邻域内，运动矢量保持恒定，存在光流d使得残差ε 最小，即

相似性函数可由图像特征点的（2wx+1）（2wy+1）邻域求得，本文中，wx=wy=3，然后求取一阶偏导数，使其为0，本文算法采用了Newton-Raphson迭代法计算光流值，迭代次数为5.

金字塔原理：设建立的金字塔层数为L，令I0=I，代表金字塔第0层，是金字塔中分辨率最高的一层，然后以递归的方式建立金字塔，从I0中计算I1，I1中计算I2，依此类推，则第IL层由第IL-1层得到，即

在金字塔每一层L，目的是找到当前层图像中的位移残差矢量dL，使得当前层匹配误差函数ε 最小，即

假设计算出dL，将其代入下一层L-1作为该层新的初始光流估计值，即

直至计算到最底层.可以假设最高层pL=［00］T，则最终解为

可以观测到光流矢量的解可表示为

金字塔实现LK算法的优点除了可以提高计算速度外，还可以用相对小的综合窗口处理大的像素平移，因此对于相对较大的运动来说，准确率较高.

得到运动矢量之后，需对其运动速度大小、方向进行分析，以确定是否满足烟雾运动特征，来排除非烟干扰.

方向计算公式为

5　实验结果

本文对8组烟雾视频、3组非烟雾视频进行了测试，其中采用Bilkent大学的火灾视频库6组烟雾视频、2组非烟雾视频，另外1组非烟雾视频由自己拍摄，另外2组烟雾视频来自天津消防研究所实拍烟雾视频.

5.1烟雾视频中烟雾光流矢量分析

5.1.1图像提取及预处理

从视频帧中先提取3帧图像，然后对图像进行双边滤波，得到结果如图2和图3所示.

图2　视频中提取的连续3帧图像Fig.2 Three consecutive frames from the video

图3　双边滤波后图像Fig.3 Images after bilateral filtering

5.1.2运动区域提取及初判断

帧间差分法提取运动区域得到结果如图4所示，经颜色模型进行初判断得到结果如图5所示，进一步进行中值滤波及形态学处理得到结果如图6所示.

图4　差分图像Fig.4 Difference image

图5　满足颜色模型的区域Fig.5 Region satisfying the color model

图6　经中值滤波及形态学处理后得到的图像Fig.6 Image after median filtering & morphological processing

5.1.3可疑区域轮廓提取

将上述得到的图像进行边缘检测，得到可疑区域轮廓，结果如图7所示.

图7　边缘检测后图像Fig.7 Image after edge detection

5.1.4轮廓光流矢量计算及分析

依据LK光流法，对轮廓光流矢量进行计算，得到轮廓区域光流矢量图如图8和图9所示. 对于图7所示的可疑区域轮廓计算其光流矢量速度及角度，可以得到图10所示的结果.

图8　光流矢量图（图7中）Fig.8 Optical flow vector diagram（in Fig.7）

图9　光流矢量图（下一帧图像中）Fig.9 Optical flow vector diagram（in next frame）

对图10进行分析，当不考虑风的作用时，得到其垂直速度基本都是大于0的，即其运动呈向上的趋势，而对图8和图9进行观察，发现其运动矢量基本呈现向上、向外扩散的趋势，因此角度基本位于一、二象限，即在0°～180°之间（除个别干扰点），这也与烟雾湍流运动特征相匹配，而分析非烟干扰发现，运动矢量并不具备这一特征（下面会有结果证明），因此这一特征可区分烟雾与非烟干扰.

图10　光流矢量速度及角度Fig.10 Velocity and angle of optical flow vector

5.2其他烟雾视频实验结果

为进一步说明算法有效性，以其中2组烟雾视频为例，按第5.1节步骤对其进行处理，在此仅展示关键步骤的实验结果.图11和图12为第2组火灾烟雾视频实验结果.图13和图14为第3组火灾烟雾视频实验结果.

图11　可疑区域轮廓及放大的光流矢量图（第2组烟雾）Fig.11 Suspicious area outline and the amplified optical flow vector diagram（second group of smoke）

图12　光流矢量速度及角度（第2组烟雾）Fig.12 Velocity and angle of optical flow vector（second group of smoke）

图13　可疑区域轮廓及光流矢量图（第3组烟雾）Fig.13Suspicious area outline and the optical flow vector diagram（third group of smoke）

图14　光流矢量速度及角度（第3组烟雾）Fig.14Velocity and angle of optical flow vector（third group of smoke）

5.3非烟雾视频分析结果

对常见非烟雾干扰包括车灯、光照及水蒸气3种视频进行了分析.其中图15～图17为第1组非火灾烟雾（车灯）图像实验结果.

图15　运动车灯双边滤波后图像Fig.15 Images of moving car headlights after bilateral filtering

图16　运动车灯可疑区域轮廓及放大的光流矢量图Fig.16 Suspicious area outline and amplified optical flow vector diagram of moving car headlights

图17　车灯光流矢量速度及角度Fig.17 Velocity and angle of optical flow vector of moving car headlights

图18～图20为第2组非火灾烟雾（光照）图像实验结果.

图18　光照双边滤波后图像Fig.18 Images of moving light after bilateral filtering

图19　光照可疑区域轮廓及光流矢量图Fig.19Suspicious area outline and optical flow vector diagram of moving light

图20　光照光流矢量速度及角度Fig.20Velocity and angle of optical flow vector of moving light

图21为第3组非火灾烟雾（水蒸气）图像实验结果，由于其不满足颜色模型，没有出现可疑区域，无需进行后续光流计算.

图21　水蒸气双边滤波后图像Fig.21 Images of steam after bilateral filtering

5.4实验结果分析

通过烟雾与非烟雾的实验对比分析，采用本文提出的算法，能够对火灾烟雾及一些常见非烟干扰（如光照、车灯、水蒸气等）进行区分.该算法仅针对运动区域进行颜色判断及轮廓运动矢量进行分析，减少了算法计算量，同时保证了判断的准确性，经过实验证明了算法的可行性，与传统的光流算法比较，具有一定的计算速度优势.

6　结　语

通过对烟雾与非烟干扰的光流运动矢量分析，可以通过运动速度及方向将烟雾与非烟干扰区分开来，实验证明了此方法的可行性.而相比于全局采用光流法进行光流矢量计算，仅仅计算轮廓的光流矢量大大降低了计算量，本文中，计算速度是全局计算的3倍，因此在不降低准确率的基础上，能够大大提升计算速度，为火灾探测的实时性提供了更好的方法.

［1］ 范维澄，王清安. 火灾科学导论［M］. 武汉：湖北科技出版杜，1993. Fan Weicheng，Wang Qing'an. An Introduction to the Fire Science［M］. Wuhan：Hubei Science and Technology Press，1993（in Chinese）.

［2］ Yu Chunyu，Fang Jun，Wang Jinjun，et al. Video fire smoke detection using motion and color features ［J］. Fire Technology，2010，46（3）：651-663.

［3］ 冉海潮，孙丽华. 基于烟气湍流效应的火灾判据［J］.传感技术学报，2001，14（1）：72-74. Ran Haichao，Sun Lihua. The fire criterion based on the smoke turbulent［J］. Chinese Journal of Sensors and Actuators，2001，14（1）：72-74（in Chinese）.

［4］ Toreyin B U，Dedeoglu Y，Cetin A E. Contour based smoke detection in video using wavelets［C］//Proceedings of 14th European Signal Processing Conference. Florence，USA，2006：1-5.

［5］ Barron J L，Fleet D J，Beauchemin S S. Performance of optical flow techniques［J］. International Journal of Computer Vision，1994，12（1）：43-77.

［6］ Baker S，Matthews I. Lucas-Kanade 20 years on：A unifying framework［J］. International Journal of Computer Vision，2004，56（3）：221-255.

［7］ Video Library of Bilkent University ［EB/OL］. http：//signal. ee. bilkent. edu. tr/VisiFire/Demo/SmokeClips，2007-06-07.

［8］ Overton K J，Weymouth T E. A noise reducing preprocessing algorithm［C］//Proceedings of IEEE Conference on Pattern Recognition and Image Processing. Chicago，USA，1979：498-507.

［9］ Cucchiara R，Grana C，Piccardi M，et al. Detecting moving objects，ghosts，and shadows in video streams［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25（10）：1337-1342.

［10］ Chen T H，Yin Y H，Huang S F，et al. The smoke detection for early fire-alarming system base on video processing ［C］// Proceedings of the 2006 International Conference on Intelligent Information Hiding and Multimedia Signal Processing. Pasadena，CA，USA，2006：427-430.

［11］ 张 铮，倪红霞，苑春苗，等. 精通Matlab数字图像处理与识别［M］. 北京：人民邮电出版社，2013. Zhang Zheng，Ni Hongxia，Yuan Chunmiao，et al. Proficient in Matlab Digital Image Processing and Recognition［M］. Beijing：Posts and Telecom Press，2013（in Chinese）.

（责任编辑：孙立华）

Contour Optical Flow Vector Analysis of Fire Smoke

Zhao Meng，Wu Aiguo，Du Chunyan
（School of Electrical Engineering and Automation，Tianjin University，Tianjin 300072，China）

The moving directions of smoke have a certain consistency because of its special turbulent characteristics，which is used to judge the movement directions of suspicious area based on optical flow vector analysis.In order to improve the real-time performance of the algorithm，the contour of suspicious area was extracted firstly，then the optical flow vectors of contour were analyzed.Comparative experiments of smoke and non-smoke disturbance （including moving lights，traveling car headlights，steam，etc）have proved that the optical flow vectors of smoke and non-smoke outline have obvious differences.The moving vectors of smoke present the trend of outward and upward diffusion. Therefore，the angles of vectors are basically located in the first and second quadrants，that is，between 0°and 180°（except very few disturbance points）.This result also matches the turbulent characteristicsof smoke.However，the moving vectors of non-smoke disturbance do not possess this feature.The experimentalresults show that the calculation speed of the proposed algorithm is increased by three times compared with the traditional optical flow algorithm on the basis of ensuring accuracy.

fire smoke detection；optical flow；contour optical flow vector

TP391

A

0493-2137（2016）05-0457-08

10.11784/tdxbz201404067

2014-04-15；

2014-09-19.

国家自然科学基金资助项目（61403274）；天津市应用基础及前沿技术研究计划资助项目（13JCQNJC03600）.

赵 萌（1988—），女，博士研究生，zhaomeng12321@163.com.

吴爱国，agwu@tju.edu.cn.

网络出版时间：2015-12-07. 网络出版地址：http://www.cnki.net/kcms/detail/12.1127.N.20151207.0938.002.html.