一种基于火灾图像和人工智能的热释放速率计算方法

王自龙，张天航，黄鑫炎

一种基于火灾图像和人工智能的热释放速率计算方法

王自龙，张天航，黄鑫炎

(香港理工大学建筑环境与能源工程学系，香港 900777)

火焰的热释放速率是描述火灾行为和危险性的重要参数之一，然而由于火灾场景的复杂性，传统的火灾热释放速率测量方法无法适用．本文旨在探索一种基于人工智能和图像的火灾热释放速率预测方法，用于火灾场景下火灾强度的识别，进而为消防应急救援提供依据．用于火灾热释放速率识别的深度学习模型(Swin Transformer)由美国国家标准技术研究所公开的火灾图像量热数据库训练而成，其中包含火灾测试89例，不同时刻的5万多张火灾图像．所得模型可根据火灾场景下拍摄的火灾图像实时识别火灾的大小．其预测结果表明，即使在不同火源的场景下，深度学习模型可以通过当前的火灾图像对火灾热释放速率进行有效识别，这将为未来的智慧消防系统开发提供有效的支持．

火灾图像；人工智能；火灾量热；Swin Transformer

火灾是生活中最常见的事故之一(见图1)．根据应急管理部消防救援局统计，2020年全国消防部门共接报火灾25.2万起，造成1183人死亡，775人受伤，直接财产损失40.09亿元．在实际火灾场景中，火灾的热释放速率(HRR)是衡量火灾发展和火灾规模的有效指标[1]，已被广泛用于消防行动中[2]．然而，由于大多数火灾场景中缺乏设备的支持，消防人员只能根据自己的经验判断或猜测火灾的发展．由于缺乏准确的火灾信息，会导致消防人员对火灾场景和关键事件的误判，延误灭火和救援的时机，并造成不必要的伤亡．为了确保消防员的安全和有效的消防决策，需要对火灾场景进行实时的识别，以便更好地了解火灾的发展．

（a）建筑火灾 （b）车辆火灾

图1 建筑火灾与车辆火灾

Fig.1 Building fire and vehicle fire

在大多数火灾实验或实际火灾场景中，通常采用相机或手机摄像头对火焰和烟气进行拍摄，以确定相关的火灾参数[3-5]．对火焰图像的深入分析可以提供有关火灾发展的各种信息．然而，这些信息的获得需要经过复杂的图像处理过程，其准确性和可靠性对相机设置、背景光和实验干扰很敏感，因此无法用于真实火灾场景下的火灾实时热释放速率识别．

随着人工智能(AI)技术的发展，特别是深度学习方法的发展，人工智能方法已被广泛应用于识别隐藏的火灾信息和预测火灾烟气的发展．Wu等[6-7]使用深度学习算法准确预测了隧道内的火源位置和温度分布．Su等[8]将人工智能方法用于中庭的性能化消防设计，可以快速确定消防设计的极限，极大地缩短了设计周期．Zhang等[9]将人工智能用于腔室火灾发展的识别，最终实现了腔室内温度和轰燃现象的预测．蒋亚强等[10]通过对不同外立面形态的火灾场景的训练，实现了不同外立面构造形式下开口溢流火焰温度的实时预测，为外立面的设计和火灾防控提供支撑．然而，这些工作大多是基于模拟数据库或传感器数据来识别和预测火灾发展．然而火灾场景中很难提前安装传感器，即使预先安装了传感器，它也会很快被烧毁．为了实现安全可靠的火灾信息获取，人们把研究目光转向了图像信息．陈培豪等[11]通过采用轻量级神经网络 MobileNetv3 自动提取疑似火灾区域特征，实现了实时的视频火灾识别．蒋珍存等[12]基于深度迁移学习实现了火灾场景图片的准确分类．笔者前期对基于烟雾和火焰图像来识别火灾热释放速率的可能性进行了初步的探索[13-14]，但是没有探索不同深度学习算法的有效性．

为了实现更便捷有效的火灾热释放速率识别，本文从美国国家标准技术研究所(NIST)公开的火灾量热数据库中选取了火灾测试89例，据此构建了火灾图像量热数据库，并将其用于火灾热释放速率识别模型(Swin Transformer)的训练，最终实现了基于图像的火灾热释放速率识别．

1 预测方法

1.1 火灾图像数据库

为了获取有效的火灾热释放速率识别模型，笔者使用NIST火灾图像量热数据库[15]对深度学习模型进行训练．NIST火灾图像量热数据库为NIST国家火灾研究实验室(NFRL)进行火灾实验的汇总，其中包含每个火灾实验的实验记录，测试样本包含组分单一的可燃物、设备齐全的房间、受控的燃烧器和未知组分的复合燃料等．所有的火灾实验在使用摄像机对燃料的燃烧过程进行记录的同时，还使用了100kW、1MW、3MW和20MW的耗氧量热仪对燃烧过程的热释放速率进行测量，测量结果的不确定性为11%[16]．

由于所训练的深度学习模型主要通过火焰的行为对火灾热释放速率进行识别，因此在构建火灾图像数据库的过程中主要选取了火焰形态较为明显的的火灾测试共89例，包含不同时刻的5万多张火灾图像用于深度学习模型的训练，训练样本可以充分反映不同热释放速率下的火焰形态，足以实现有效的模型训练．燃烧测试的样本包含纸箱、木垛、垃圾桶、塑料椅、吸尘器、木质托盘等常见可燃物，其最大热释放速率为3240kW，如图2所示．

1.2 数据库的生成

获取到火灾图像数据库后，需要将视频中的火灾图像与耗氧量热仪测量的实时热释放速率匹配，以形成用于深度学习模型训练的数据库，其生成过程如图3所示．数据匹配后得到有效图像51013张，所有图像对应的热释放速率分布如图4所示．从图中可以看出，训练样本中不同热释放速率图像的分布并不平衡，较小热释放速率对应的火焰图像在数据库中的分布较多．

（a）纸箱 （b）木垛

（c）垃圾桶 （d）塑料椅

图2 NIST火灾图像量热数据库中的典型燃料

Fig.2 Typical fuel in NIST fire calorimetry database

图3 数据库的生成和划分

图4 数据库热释放速率分布

同时，为了提高模型训练的效率，需要对原始火焰图像进行缩放．本文将分辨率为1920×1080像素的火焰图像缩放到224×224像素，缩放后的图像仍保留火焰的主体特征．数据库中的火灾图像将被划分为测试集(80%)和验证集(20%)两部分，分别用于神经网络的训练和训练过程中模型的验证．

1.3 Swin Transformer

尽管人眼可以直观地对火焰的大小进行判断，却无法识别火焰图像的微小变化，无法准确地判断火焰的热释放速率，因此笔者通过深度学习的方式建立火焰图像与火灾热释放速率的关系．Swin Transformer作为当前最先进的深度学习算法之一[17]，同时具有卷积神经网络(CNN)层次化的构建方式以及在无重合窗口区域的自注意力机制等特点，已被广泛应用于医疗诊断[18]、缺陷检测[19]和面部识别[20]等任务中．笔者将其用于基于火灾图像的热释放速率识别，所采用的结构如图5所示．

Swin Transformer采用类似于卷积神经网络的层次化设计，共包含4个阶段，通过图像拼接不断降低图像的尺度以提取火焰图像的特征．在将火焰图像输入该模型后，首先将图像切分成为7×7的图块，再经过线性嵌入图像维度变为56×56×48，其结果将被输入Swin Transformer模块中进行窗口注意力和移动窗口注意力的计算．移动窗口注意力机制的引入可以更好地和其他窗口进行信息交换并极大地降低了计算的复杂度．最终通过多层感知机输出火灾热释放速率的数值．

（a）Swin Transformer （b）移动窗口

（c）Swin Transformer模块

（d）Swin Transformer结构

图5 Swin Transformer模型的4个阶段

Fig.5 The 4 stages of the Swin Transformer model

整个网络结构共包含2800万个参数，以充分反映火焰图像与热释放速率之间的关系．模型的训练在一台包含有32个CPU核心和一块Tesla P100 GPU卡的服务器上进行，50步的训练步长共需要6h．模型训练完成后，深度学习模型可以根据输入的火灾场景图像实现对火灾热释放速率的实时预测．

2 预测结果

2.1 模型训练

模型训练过程中的表现如图6所示．经过50步的训练，深度学习模型达到收敛，验证集中最小均方误差损失为0.01，最大决定性系数2为0.98，这表明深度学习模型在训练集和验证集中已实现准确的火灾热释放速率识别．

图6 模型训练过程中的均方误差损失与决定性系数

2.2 模型验证

基于图像的火灾热释放速率模型训练完成后，需要对模型的性能进行测试．本节选取了3个火灾测试场景对模型性能进行测试，分别为浸庚烷的棉布火灾，塑料吸尘器火灾以及木质托盘火灾，对应着大中小3种热释放速率的火灾类型．这3种火灾测试场景完全没有参与深度学习模型的训练，这意味着深度学习模型将通过从训练集中所学的知识对位置场景进行识别，最终的识别结果如图7所示．

总的来说，深度学习模型可以有效地对大中小不同热释放速率的火灾进行识别．其中该模型对中热释放速率的火灾(即塑料吸尘器火灾)的识别效果最好，其识别结果与实际测试值的决定性系数达0.98，识别结果的平均绝对误差为12.32kW．在对小热释放速率火灾(即浸庚烷)的棉布火灾场景进行识别时，由于其火焰的尺寸较小，在使用图像对其热释放速率进行识别时容易受到噪声的影响，识别结果与实际值的决定性系数仅达到0.66，然而该模型仍旧能准确识别火灾的发展，其预测结果的平均绝对误差为4.49kW.

对于极大热释放速率的火灾场景，以木质托盘火灾为例，深度学习模型在小中热释放速率的火灾阶段预测效果较好，当火灾充分发展达到较大的热释放速率时，模型将极大地低估实际的火灾热释放率．其原因可能是由于训练数据集热释放速率分布不平衡导致，小中热释放速率的火灾场景图像较多，大热释放速率的火灾场景较少甚至没有，模型倾向于低估较大火灾的热释放速率．这种低估可以通过扩充图像数据库进行缓解．尽管如此，深度学习模型识别结果与实际热释放速率的决定性系数仍达到0.72，可以反映实际火灾场景的发展．

2.3 模型在随机火灾场景的应用

基于火灾实验的测试，笔者完成了深度学习模型识别性能的验证．本节中笔者将该模型应用于真实的火灾场景中．笔者在实验室环境下进行了一个沙发火灾的实验，整个测试持续6min．实验开始阶段使用少量的乙醇将其从中间点燃，当火势在沙发表面充分发展时出于安全考虑对其进行了扑灭．

深度学习模型对沙发火灾发展过程的识别结果如图8所示，在测试开始的前2min，主要燃料为用于点燃沙发的乙醇，随着乙醇的逐渐燃尽，火灾的热释放速率出现下降趋势．2min后，沙发的表面开始剧烈燃烧，热释放速率直线上升，直到6min后火灾测试被终止，在这个过程中，深度学习模型可以很好地识别沙发火灾的发展过程．模型识别的火灾峰值热释放速率为600kW，为前人火灾测试[21]测得峰值热释放速率992kW的3/5．此时，仅沙发的表面在发生燃烧，因此人工智能的预测结果整体上具有合理性.

图7 深度学习模型预测与实际实验结果对比

图8 基于图像的沙发火灾热释放速率预测

3 结 论

笔者对基于Swin Transformer深度学习和图像火灾热释放速率识别进行了探索，通过NIST的火灾量热数据库对深度学习模型进行训练，实现了不同火灾场景下火灾热释放速率的实时识别．测试结果表明，即使在不同火源的场景下，深度学习模型仍可以通过当前的火灾图像对火灾热释放速率进行有效识别，对于中等尺度火灾，其热释放速率识别与实际测量值的决定性系数可达0.98．该方法的提出为复杂火灾场景中火灾热释放速率的识别提供了依据，通过扩大火灾图像数据库，该模型的测量范围和测量精度可以得到进一步改善．这种简单方便的火灾热释放速率识别方法将为智慧消防系统的构建和开发提供有效的支持．

［1］ Tewarson A. Heat release rate in fires[J].，1980，4(4)：185-191.

［2］ Johansson N，Svensson S. Review of the use of fire dynamics theory in fire service activities[J].，2019，55(1)：81-103.

［3］ Sun P，Wu C，Zhu F，et al. Microgravity combus-tion of polyethylene droplet in drop tower[J].，2020，222：18-26.

［4］ Xiong C，Fan H，Huang X，et al. Evaluation of burning rate in microgravity based on the fuel regres-sion，flame area，and spread rate[J].，2022，237：111846.

［5］ Sun X，Hu L，Zhang X，et al. Experimental study on flame pulsation behavior of external venting facade fire ejected from opening of a compartment[J].，2021，38(3)：4485-4493.

［6］ Wu X，Park Y，Li A，et al. Smart detection of fire source in tunnel based on the numerical database and artificial intelligence[J].，2020，57：657-682.

［7］ Wu X，Zhang X，Huang X，et al. A real-time forecast of tunnel fire based on numerical database and artificial intelligence[J].，2022，15(4)：511-524.

［8］ Su L，Wu X，Zhang X，et al. Smart performance-based design for building fire safety：Prediction of smoke motion via AI[J].，2021，43：102529.

［9］ Zhang T，Wang Z，Wong H Y，et al. Real-time forecast of compartment fire and flashover based on deep learning[J].，2021：100310.

［10］ 蒋亚强，王自龙，黄鑫炎. 基于人工智能的外立面开口火溢流温度场预测[J]. 消防科学与技术，2021，40：827-830.

Jiang Yaqiang，Wang Zilong，Huang Xinyan. Artificial intelligence based facade spilled flame temperature field prediction[J].，2021，40：827-830(in Chinese).

［11］ 陈培豪，肖 铎，刘 泓. 基于深度学习的视频火灾识别算法[J]. 燃烧科学与技术，2021，27(6)：695-700.

Chen Peihao，Xiao Duo，Liu Hong. Video fire detec-tion algorithm based on deep learning[J].，2021，27(6)：695-700(in Chinese).

［12］ 蒋珍存，温晓静，董正心，等. 基于深度学习的VGG16 图像型火灾探测方法研究[J]. 消防科学与技术，2021，40：375-377.

Jiang Zhencun，Wen Xiaojing，Dong Zhengxin，et al. Research on fire detection of improved VGG16 image recognition based on deep learning[J].，2021，40：375-377(in Chinese).

［13］ Wang Z，Zhang T，Wu X，et al. Predicting transient building fire based on external smoke images and deep learning[J].，2022，47：103823.

［14］ Wang Z，Zhang T，Huang X. Predicting real-time fire heat release rate based on flame images and deep learning[J].，2023，39(3)：4115-4123.

［15］ Bundy M. User’s Guide for Fire Calorimetry Database (FCD)[R]. Gaithersburg：National Institute of Stan-dards and Technology，2020.

［16］ Bryant R A，Ohlemiller T J，Johnsson E L，et al. The NIST 3 Megawatt Quantitative Heat Release Rate Facility[R]. Gaithersburg：National Institute of Standards and Technology，2003.

［17］ Liu Z，Lin Y，Cao Y，et al. Swin transformer：Hierarchical vision transformer using shifted windows[C]//. 2021，10012-10022.

［18］ Zhang L，Wen Y. A transformer-based framework for automatic COVID19 diagnosis in chest CTs[C]//. 2021：513-518.

［19］ Gao L，Zhang J，Yang C，et al. Cas-VSwin transformer：A variant swin transformer for surface-defect detection[J].，2022，140：103689.

［20］ Kim J H，Kim N，Won C S. Facial Expression Rec-ognition with Swin Transformer[EB/OL]. https://doi. org/10.48550/arXiv.2203.13472.2022.

［21］ Zou G W，Huo Y，Chow W K，et al. Modelling of heat release rate in upholstered furniture fire[J].，2018，42(4)：374-385.

A Method for Calculating Heat Release Rates Based on Fire Images and Artificial Intelligence

Wang Zilong，Zhang Tianhang，Huang Xinyan

(Department of Building Environment and Energy Engineering，The Hong Kong Polytechnic University，Hong Kong 900777，China)

The heat release rate(HRR)of a fire is one of the critical parameters in describing the fire behavior and hazard. However，due to the complexity of fire scenarios，traditional methods of measuring HRR cannot be applied. This study aims to explore a HRR prediction method based on artificial intelligence in fire scenarios，which will facilitate the identification of fire intensity and provide support for fire emergency rescue. The deep learning model(Swin Transformer)for HRR calculation is trained on the publicly available fire calorimetric database from the National Institute of Standards and Technology，which contains 89 fire tests and over 50000 fire images taken at different times. The obtained model can identify the size of the fire in real time based on the fire images taken in the fire scenario.The results show that even in different fire scenarios，the deep learning model can effectively identify HRR based on the fire images，which will provide effective support for the development of future intelligent fire systems.

fire images；artificial intelligence；fire calorimetry；Swin Transformer

TK16

A

1006-8740(2024)01-0069-06

2023-02-28．

香港研究资助局资助项目(T22-505/19-N)．

王自龙(1996— )，男，博士后，zilong.wang@connect.polyu.hk.

黄鑫炎，男，博士，副教授，博士生导师，xy.huang@polyu.edu.hk.

(责任编辑：梁 霞)