基于多尺度卷积神经网络的两阶段火灾识别算法研究

张谦　张勇卫　刘琴

摘要：基于机器视觉的火灾识别技术对于智慧消防具有极为重要的意义。针对火焰容易受到复杂背景、不同摄像角度等因素影响，本文提出一种基于多尺度卷积神经网络的火灾高精度识别算法。算法将火灾识别任务分解成前景提取与精准识别两个阶段。在前景提取阶段，算法结合火焰运动性特点，使用帧差法对火灾候选区域进行快速提取。在精准识别阶段，算法引入空间金字塔池化模块，设计多尺度卷积神经网络进行火灾识别，实现对不同火焰尺度图像的高精度检测。在实际数据集上进行仿真实验，本文所提出算法在图像和视频领域分别取得93.6%和94.9%的火灾识别准确率，这有力证明了本文算法的有效性。

关键词：火灾识别；多尺度卷积神经网络；空间金字塔池化；帧差法

引言

随着社会的不断发展与变迁，以火灾识别[1]为代表的消防安全问题呈现日益复杂的趋势。在这种大背景下，传统的火灾识别技术体系难以满足现代化消防的需求，如果不对火灾识别系统进行技术更新与优化，不仅会给消防安全带来隐患，而且还会影响社会的繁荣与稳定。近年来，以深度学习为代表的人工智能技术快速发展，并给机器视觉、电力调度、物流管理等众多领域带来巨大进步。因此，信息时代下智慧消防无疑是当今消防安全管理工作的发展趋势。如何更好将人工智能技术应用于消防领域，进而实现火灾报警智能化，是当前消防部门和公共安全领域学者专家的研究重点。而基于机器视觉的火灾识别技术作为消防安全领域的重要方向，可以为火灾检测报警提供信息化支撑，提高现代社会消防监督与管理水平，提升智慧城市的综合防火能力，具有极为重要的社会效益和应用前景。

一、关键技术研究：基于两阶段式的火灾识别算法

火焰容易受到复杂空间环境、物体遮挡、光线强弱等因素的影响，造成识别难度提高；同时，火焰在不同位置、不同角度、不同相机等图像传感器中获取的图像视频信息会呈现不同的大小，造成火焰图像的多尺度性，为火灾精准识别带来挑战。为解决上述两个问题，本文提出两阶段式的火灾识别模型，将火灾识别任务分成前景提取（或称为快速定位）和精准识别两个阶段。具体而言，首先使用计算资源占用小的帧差法进行图像的前景提取，之后设计包含金字塔结构的多尺度卷积神经网络对前景提取出的候选区进行精准分类[2]。

（一）基于帧差法的前景提取模型

场景相机等视频监控设备采集的视频序列具有连续性特点，即运动目标之外的背景变化一般较小，因此可以采用运动目标检测来消除绝大部分的静止背景，进而实现前景（火灾候选区）提取。主流的运动目标检测算法有背景消减法、光流法和帧差法。由于以高斯混合模型为代表的背景消减法和以Lucas-Kanade模型为代表的光流法存在计算资源开销大、实时性差的问题，本文采用高效简洁的帧差法进行图像的前景提取，极大提高算法的速度，以满足火灾实时检测识别需求。

对于连续时间视频序列中任意第n-1帧和第n帧的图像，两帧之间对应相同位置的像素值为fn-1（x，y）和fn（x，y），两帧相减取绝对值得到连续帧的差分图像Dn（x，y）。结合差分图像二值化所选取的阈值T，当差分图像像素大于阈值时，该像素点为前景，即火灾候选区，否则为背景，进而得到差分图像二值图Vn（x，y）。将二值图映射到原图像中，得到包含完整运动目标的火灾候选区域，即前景Fn（x，y）。

式中，Rn（x，y）、Gn（x，y）、Bn（x，y）分别表示图像像素点的红、绿、蓝分量值，也就是基于运算量较小的RGB颜色空间，最大程度保证原始图像中的真实信息，高效轻量化提取火灾前景信息[3]。

（二）基于多尺度卷积神经网络的火灾精准识别模型

考虑到火焰在不同场景、不同位置、由不同设置参数的摄像机所拍摄得到的图像呈现不同的大小尺度，本文提出基于多尺度卷积神经网络的火灾精准识别模型，引入空间金字塔池化模块，来提高模型在任何形状、尺寸输入下的火灾识别精度。

本文所提出模型使用交替放置的两层卷积层和池化层来进行特征提取，卷积核尺寸逐步减小但深度逐渐增加，之后引入空间金字塔结构，不同维度的级联特征通过空间金字塔池化模块得到固定维度（长度）的特征向量，之后使用固定维度的连续两层全连接层进行映射，最后得到该图像区域存在火灾的概率。具体而言，多尺度卷积网络的第一层卷积层包含32个卷积核，而第二层卷积层包含64个卷积核。两层卷积层之后均跟随一层最大池化层，以提取图像中更多的纹理特征。空间金字塔池化模块包含4种不同的特征提取尺度，但特征尺度总和保持维不变，即空间金字塔模块输出的维度固定。后置的两层全连接层均为512维，并且在全连接层后端引入Softmax激活函数，用以输出网络判断该图像区域存在火灾的概率[4]。

空間金字塔池化模块的引入有效解决了传统卷积网络需要输入图像尺度相近的限制，可以更加高效提取输入图像中的火灾语义信息，实现对多种多样的火焰进行更高精度识别，同时网络的鲁棒性也更强。

二、实验分析

提升本文所提出的火灾识别算法设计与搭建、模型训练与测试等实验均基于Windows系统，使用TensorFlow深度学习框架和Python3.8.0编程语言来实现。同时，本文所使用计算机的硬件配置为Intel（R）Core（TM）i7-9700KF@3.60GHz处理器，8G内存和英伟达GeForceGTX1060显卡[5]。

（一）数据集与实验设置

本文结合土耳其比尔肯大学火灾数据集和中国某省份消防系统内部数据集，构建含11000张图片的火焰数据集。其中，随机选择10000张图片进行模型训练，余下1000张图片进行模型测试。在视频识别方面，选取韩国启明大学公开的5个视频序列进行实验。

在本文实验中，多尺度卷积神经网络的参数由Adam优化器进行优化，初始学习率设置为0.01，每10个训练轮次学习率减半。训练批量大小设置为8，共进行250轮训练。此外，针对本文所提出的多尺度卷积神经网络，对输入图像进行预处理，采样得到360×640、300×453、400×600、300×400、330×252五种分辨率尺度，并在训练过程中将五种预设尺度的图像间隔性迭代训练。每个轮次固定训练一个尺度，按照训练轮次进行循环切换，这样保证网络能同时学习到不同尺度大小的火焰特征信息，实现多尺度卷积神经网络的多尺度训练[6]。

（二）火灾图像识别

将本文提出的模型与通用卷积神经网络和支持向量机算法共同在10000张训练图像上进行训练，可以发现本文算法取得最高的火灾识别准确率93.6%，比卷积神经网络和支持向量机算法分别高3.1%和9.8%。为了更清晰展示整个训练过程，本文展示三种算法在训练过程中的火灾识别准确率，如图1所示。可以看到，本文算法经过10个轮次，准确率达到80%以上；经过50个轮次，准确率达到85%以上；经过120个轮次，准确率达到90%以上，并最终达到93.6%。

测试阶段，本文所提出的算法取得91.7%的识别准确率。相比而言，通用的卷积神经网络和支持向量机分别取得88.7%和82.1%的识别准确率。可见，本文算法有着更好的火灾识别能力[7]。

（三）火灾视频识别

针对视频序列数据，模型先使用帧差法进行前景提取，即确定火灾可能的获选区域，再使用多尺度卷积神经网络进行高精度火灾识别。为充分验证算法的有效性，本文选取包含了庭院火焰、荒野火焰和室内火焰三种场景的火焰视频以及城市公路场景灯光与真实火焰相似的两个非火灾视频进行实验测试。

表1展示了本文所提出算法与通用的卷积神经网络和支持向量机进行火灾视频识别的精度对比。整体来看，本文所提出算法在5个视频场景中均取得最高的火灾识别准确率。以场景1为例，本文算法的火灾识别准确率是95.8%，比通用的卷积神经网络和支持向量机分别高2.0%和4.2%；以场景5为例，本文算法的识别准确率是92.5%，优于卷积神经网络89.3%的准确率和支持向量机87.1%的准确率。因此，实验证明本文算法具有较强的火灾识别能力，为智慧消防的发展提供坚实基础[8]。

结语

基于机器视觉的火灾识别技术对于火灾精准防控与智慧消防具有重要意义。针对火災图像容易受到复杂环境背景、光线强度、相机拍摄尺度角度等因素影响，本文提出基于多尺度卷积神经网络的两阶段式火灾识别模型，将火灾检测任务分解成前景提取与精准识别两个阶段。在前景提取阶段，使用帧差法快速高效提取火灾候选区域；之后在精准识别阶段，设计多尺度卷积神经网络对不同尺度的火焰图像进行精准识别。仿真结果表明，本文提出算法具有较好的火灾识别能力，在火灾图像和视频数据集上分别取得93.6%和94.9%的准确率，远高于传统的卷积神经网络和支持向量机算法。这有力证明了本文算法的有效性。此外，在未来研究工作中，可以针对本文算法识别错误的图像，对这些难于识别的图像使用数据增强算法，利用微调的方式对原算法进行迁移训练，旨在提高算法的识别准确率。

参考文献

[1]刘晓薇，雷蕾.智慧消防发展现状研究[J].消防界（电子版），2022，8（01）：1922.

[2]徐梓涵，刘军，张苏沛，等.一种基于MobileNet的火灾烟雾检测方法[J].武汉工程大学学报，2019，41（06）：580-585.

[3]李成美，白宏阳，郭宏伟，等.一种改进光流法的运动目标检测及跟踪算法[J].仪器仪表学报，2018，39（05）：249-256.

[4]朱磊，冯成涛，张继，等.动态背景下运动目标检测算法[J].现代电子技术，2022，45（06）：148-152.

[5]杨婷，赵杨辉.基于团块标记的火灾识别算法[J].黑龙江科技大学学报，2022，32（02）：263-268.

[6]陈培豪，肖铎，刘泓.基于深度学习的视频火灾识别算法[J].燃烧科学与技术，2021，27（06）：695-700.

[7]李杰，邱选兵，张恩华，等.基于卷积神经网络的火灾识别算法[J].计算机应用，2020，40（S2）：173-177.

[8]陈培豪，肖铎，李晨辉.多传感器融合的火灾识别算法研究[J].消防科学与技术，2020，39（06）：810-813.

作者简介：张谦（1988- ），男，汉族，四川资阳人，本科，中级职称，研究方向：消防。