基于烟雾图像动态多帧差分法的火灾识别研究

杨述斌，周敏瑞，潘 伟

（1.武汉工程大学 电气信息学院，武汉430205；2.智能机器人湖北省重点实验室，武汉430205）

火灾的发生具有突发性、破坏性等特点，不论何地，造成的损失和伤害是难以估计的。因此，及时发现火灾是十分重要的，火灾的预警与防护不仅能保护人类生命财产安全，还能阻止环境污染[1]。如今，人们也越来越重视火灾的预警与防护。

在火灾发生初期，燃烧物与氧气接触不完全，火焰通常较小且燃烧不充分，处于阴燃状态，且烟雾比较明显，因此，利用烟雾作为火灾监测对象具有重要的应用价值。火灾烟雾报警器有多种类型，有感温报警器、感烟探测器等，且价格低廉，应用广泛。但在应用中，感烟探测器根据火灾产生的烟雾判断火灾发生与否，对环境要求高，还需要经常清洁维护，否则会降低它对火灾的响应速度和准确率；感温探测器根据环境变化判断周围环境是否有火灾发生，会受到蒸汽影响而判断错误。这两种探测器均需要接触待检测物，适用于房间、仓库等场所[2]。通过视频监控方式获取图像进行火灾烟雾探测和预警成为该领域的一个新的研究方向，此方法可应用到大空间中，克服了感烟探测器的空间限制。

对于火灾产生的烟雾，如何能够有效且准确地区分，成为火灾烟雾检测的难点之一。比如，烟雾的颜色特性信息，存在疑似烟雾颜色物，给检测的实现造成障碍。由此，特征是准确和有效检测烟雾的重要步骤。运用烟雾特征的提取达到准确而有效的火灾烟雾识别是一个不错的解决方法[3]。

当前，由于视频监控具有能够用于多种空间场景和不限距离的优势，在此基础上进行火灾烟雾检测的方法受到越来越多的国内外研究者的注意。基于烟雾识别的火灾探测技术大致上可分为运动目标检测、相关目标的特征提取及识别3 个步骤，其中，特征提取是关键步骤，提取方法有图像识别处理[4]、显著特征、多特征融合、深度神经网络等方式。文献[5]提出一种融合多种特征的方法检测早期烟雾，为提高森林环境下的火灾检测准确性。文献[6]提出多种静态特征结合的方法提取烟雾特征，进行测试及识别。面对复杂的外部空间环境，文献[7]提出利用VGG-16 网络模型，对经过同构的数据进行特征迁移学习，从而得到深度网络迁移的烟雾识别模型。

烟雾特征常用的描述方法有统计特征、局部特征、变换域特征。文献[8]通过将统计量特征与卷积神经网络相结合方法实现视频烟雾分析与检测。文献[9]为提高火灾探测的准确性，提出利用不同尺度图像的纹理特征和烟雾运动特征相结合的“静-静-动”识别模型。为了及早发现森林火灾，文献[10]提出一种多种静态特征和动态特征相结合的烟雾识别方法，利用颜色、纹理、区域生长特征等相结合作为判别依据。

基于视频图像的烟雾检测技术不断有新算法提出，但此领域仍有进步空间。由于烟雾以不规则方式向多个方向扩散运动，且速度难以确定，利用算法来确定烟雾区域，可能使烟雾候选区域不完整或者多个离散区域。现有的提取动态目标的算法将这部分像素判定为背景，造成误判现象，还将影响提取烟雾特征，且最终影响对烟雾区域的检测。烟雾特征的有效提取是实现火灾检测和预警的重要步骤之一，能够提高烟雾识别的准确率。通过运用改进后的帧间差分法、背景减除法和光流法3 种特征提取技术在火灾烟雾检测中的应用，分析各自的特点并得出场景的适用性结论。

1 相关工作

火灾发生早期，一般先阴燃，有烟雾产生，随着温度逐渐攀升，火焰逐渐产生。早期的烟雾常常呈现为白色或者灰白色，随着时间推移和燃烧的加剧，烟雾逐渐由轻薄烟雾转为浓厚的烟雾，伴随着环境因素和燃烧物热气影响，其运动逐渐加剧，不断扩散，且烟雾的面积会随着时间不断变化。通过使用动态特征提取方法，处理连续视频帧图像信息，区分出运动前景与背景。运动目标的检测方法主要有光流法[11]、背景减除法[12]和帧间差分法[13-14]。光流法由物体和相机的相对运动产生，在极短的时间内，反映出物体的图像像素的运动方向和速度，以实现目标检测，但此算法的运算量大，在视频流中检测速度慢。背景减除法，或称为背景差分法，先构建初始化背景，利用当前图像与背景图像对应像素点的灰度差值计算，再利用模型更新，通过合适的阈值处理得到目标区域，由于精确的背景模型的建立需要足够的数据且需要恰当的抉择，若是建模的背景数据不足，会导致结果不佳或者误检。帧间差分法利用视频中的不同帧图像作差分计算获得运动目标，因相邻帧图像之间的灰度值差别小，取得的差分结果常会不全且分布多个离散区域。上述几种方法均存在不足。由此，本研究提出了一种结合运动目标面积变化和帧差法相结合的动态多帧差法的检测方法，能够较好地运用帧差法，保留较为完整的运动目标。

帧间差分法是在视频中的静态场景图像中进行前景分割的一种极为流行的方法，利用图像连续序列帧中的相邻两帧或者三帧图像的对应像素值相减做差分，再对差值图像进行阈值化处理，得到图中的运动区域。该算法对两帧图像间前景灰度值变化较大，即运动目标变化快速情况下，取得变化区域效果较好，但是，对灰度值变化缓慢，取得变化区域待提升，且这种固定帧差提取方法会造成较多的区域缺失。因此，提出一种根据运动区域面积变化为条件，实现动态间隔变化的帧差法。该改进的帧差法简述如下：假设fk（x，y）、fk-ai（x，y）、fk-bi（x，y）、fk-ci（x，y）分别为某一图像序列的第k 帧，第k-ai帧，第k-bi 帧，第k-ci 帧，其中，a，b，c 分别为根据面积比率变化的取值，则它们的差分图像可表示为

式中：（x，y）表示离散图像坐标；Dk为动态间隔的连续帧间图像的对应像素值的差值；areaj和areaj-1为j 时刻和j-1 时刻图像前景的面积值；为面积值比率，根据面积比率变化调整帧数变化；T0和T1为连续帧间隔分割判断值。然后，对差分后的图像选取合适的阈值T 进行二值化处理，判断图像中的各像素点是前景还是背景，对差分图像的赋值规则如下：

式中：Gk为二值图像；T 为分割阈值。若是像素值高于阈值，则被认为是前景点；若像素值低于阈值，则被认为是背景点。分割阈值T 对后续的运动目标的处理有一定影响。

随着燃烧物与空气接触越来越充分，火灾依靠自身热量、风等影响不断扩散，使烟雾面积不断扩大，而一些干扰物，如行人、车等外形轮廓固定，因此，使用面积增长比作为判别帧数差的依据。由于，烟雾可能受到天气因素的影响，烟雾面积变小，出现负增长现象，增加计算难度，由此，提出区域面积比分析方法。

计算连续视频帧图像中的疑烟区面积公式为

式中：areaj-1为j 时刻连续n 帧烟区区域的面积之和；sn为第n 帧烟雾区域的面积。

计算疑似烟区的面积比公式为

由式（5）得到的烟雾面积比作为阈值。

2 动态多帧差法算法流程

本研究改进的算法主要有3 个步骤：

步骤1提取视频序列帧图像，对图像进行滤波处理，提高图像清晰度，降低噪声的影响，再进行形态学处理。

步骤2对图像进行帧差操作，获取到的连续帧的运动目标求面积，且对连续面积结果作比，根据比例数值为阈值来选取合适的帧间隔数作差分。

步骤3对得到的结果进行形态学操作与轮廓提取，得到结果。通过以上3 个步骤后可得到较为合适的运动前景。算法的烟雾检测流程如图1所示。

图1 烟雾检测流程Fig.1 Smoke detection flow chart

该算法整体流程共包含4 个模块：

（1）预处理

（2）疑似烟雾确定

使用以面积比率为阈值的动态多帧差法获取疑似烟雾。

（3）特征提取

再提取疑似烟区的面积、周长。

（4）确定烟区

根据提取的疑似烟区的面积与周长变化来综合判别此区域是否为烟雾区域。

3 仿真实验及分析

视频烟雾检测尚没有像人脸检测领域的统一的公开数据库。文中使用的视频数据来自韩国启明大学实验室（http：//cvpr.kmu.ac.kr/）及视频拍摄。文中实验使用的机器为Core i5 3.4 GHz，内存为8 GB，操作系统为Windows10，使用的软件环境为python3.7和OpenCV4.5.0 计算机视觉库。

阿箬只顾欢喜，根本未察觉青樱的神色：“所以呀，小主一定会被封为仅次于皇后的皇贵妃，位同副后。再不济，总也一定是贵妃之位。若等小主生下皇子，太子之位还指不定是谁的呢……”

图2 分别为原视频序列帧图2（a）和经过二帧差法处理后的烟雾检测图2（b）。图2（b）与图2（a）对比，烟雾浓厚处变化不明显，而烟雾稀薄处变化明显，说明烟雾在扩散过程中，连续帧间的变化较为微小，发生灰度值变化的区域较少，提取的特征不完整的可能性极大。

图2 烟雾提取Fig.2 Smoke extraction

图3 分别为原视频帧、背景差分法得到的结果、经光流法得到的结果、烟雾视频经过本文算法处理后的结果。图3（b）提取到的结果存在多处残缺不全且处于分散状态，说明背景建模不佳及更新不及时，图3（c）提取到的结果存在较多非烟雾的噪声干扰，存在很大程度上的提取失误；而经过本研究算法处理后能够提高烟区完整度且去除了噪声干扰子，如图3（d）提取到的烟雾图像。

图3 三种算法测试结果对比Fig.3 Comparison of test results of three algorithms

为验证本算法的适用性，取来网站上公开的三段视频数据，分辨率均为320*240，视频1 为近景拍摄的楼前烟雾视频，烟雾较为浓厚，存在风，扩散较快，视频2 为中远景拍摄的山坡烟雾图，烟雾稀薄，且伴随微风，烟雾扩散较慢，视频3 为远景拍摄的森林与楼房的交界处，烟雾由稀少到稀薄，存在细微风，分别对三种算法进行对比。结果见表1。

表1 烟雾测试视频对比Tab.1 Smoke test video comparison

从表1 中可看出，相对于算法1 背景减除法和算法2 光流法，本文算法能够较早的检测到烟雾。在烟雾扩散较快时，如视频1，三种算法耗时分别为20 s、73 s 和33 s，本文算法与算法1 和算法2 均能较快地检测到烟雾。表明本文算法可用于近景且烟雾扩散快的场景。在距离较远，如视频2，烟雾扩散较慢的场景，本文算法用时最短且在第30 帧检测到烟雾，仅需要50 s，其他两种算法耗时超过百秒，表明本文算法能够较快地检测到烟雾。本文算法可判别出烟雾像素，防止融于背景，并且，面积增长特征可在烟雾较少时，区分出烟雾和刚性物体。

在烟雾稀薄的场景中，如视频3，本文算法能检测出烟雾，而算法1 和算法2 均为检测到烟雾，且存在杂物影响，这是因为烟雾稀薄且扩散缓慢。

通过比较发现，本文算法可用于室外的森林、街道等场景中，有较好的检测效果，且具有一定的抗干扰能力。

4 结语

针对现有的算法基于视频的烟雾检测存在的问题，根据烟雾运动特点，对现有的动态特征提取算法进行改进，并结合烟雾面积特性，能持续提出较为完整的烟雾区域。实验验证了该方法的可行性，且计算量比较小，易于实现。

通过利用3 种火灾烟雾动态特征提取方法的具体过程，进行了相关的实验对比分析。通过实验表明，在烟雾动态特征提取速度方面，本文算法对视频图像的处理速度快于其他两种方法，从侧面表明本文算法的计算复杂度是其中最低的；在烟雾动态特征提取的完整度方面，帧差法提取出的烟雾存在“空洞”现象，而本文算法大大地提高了其完整度，且提取效果高于背景减除法和光流法。也表明燃烧程度不同，烟雾飘动的剧烈程度存在差别，提取出的特征也有所不同。