深度学习在森林火灾检测中的研究进展

王丽霞 夏 雪 高 凡 刘 强 董霙达 郜晓晶

（内蒙古农业大学计算机与信息工程学院，内蒙古 呼和浩特 010018）

森林吸收大量的CO2，在碳循环中起着不可替代的作用，同时在防灾防疫、调节气候、保持水土等方面拥有巨大的价值[1]。然而，近些年受异常气候影响，森林火灾或极端气候事件的数量增加[2-5]。森林火灾是一个世界性的难题，准确地检测出森林火灾并进行及时扑救尤为重要，但人工地面巡逻[6]、瞭望塔检测[7]、全息影像技术[8]、传感器检测[9]等传统林火检测方法受制于其检测性能、经济成本和可操作性等原因，无法有效预测火灾。近年来，随着人工智能技术及计算机领域的快速发展，深度学习在图像分类、目标检测、人脸识别等计算机视觉领域应用广泛，各种基于深度学习的目标检测算法层出不穷。深度学习技术通过设计网络自动提取图像特征，具有效率高、适应性强等优势。因此，将深度学习技术应用于森林火灾检测中，进而全面监测并及时高效预警，可以在更大限度上降低森林火灾造成的危害。

1 深度学习模型

深度学习[10]是机器学习领域内的一个分支，通过构建多个层次的网络学习模型对大量数据进行处理，使机器具有从原始数据中多层次抽象数据的自动学习，以及特征提取分析的能力[11]。其网络结构主要由输入层、输出层以及两者之间的多个隐藏层组成，学习方式主要分为有监督和无监督两种。常见的深度学习模型有循环神经网络（Recurrent Neural Network，RNN）、卷积神经网络（Convolutional Neural Networks，CNN）、深度神经网络（Deep Neural Networks，DNN）等。表1总结了目前用于森林火灾检测的主要深度学习模型的优缺点。

表1 用于森林火灾检测的深度学习算法比较Tab.1 Comparison of deep learning algorithms for forest fire detection

1.1 RNN模型

RNN[12]于20世纪80至90年代提出，以序列数据为输入并在序列的演进方向递归，是所有节点（循环单元）按链式连接的递归神经网络。RNN的典型架构有基于长短期记忆网络（Long Short-Term Memory networks，LSTM）[13]和双向循环神经网络（Bidirectional RNN, Bi-RNN）[14]，在图像视频字幕、手写识别、语言翻译等方面表现出不俗的效果。RNN的优势在于，在对由非独立元素序列组成的输入和输出建模，同时对多个尺度上的顺序和时间依赖性建模，以保持数据中的依赖关系[15]。在视频图像序列分析和交互任务等领域，输入的学习模型必须以序列的形式。因此，RNN可作为一种合适的网络模型。在森林火灾检测中，通常需要以视频或者照片的形式对场景进行拍摄。RNN作为一种可以描述动态时间行为的深度学习方法，对于视频序列的处理具有强大的优势，因此可将其用于摄像机拍摄到的火灾视频序列，进行火灾中烟雾以及火焰等特征的学习分析。

1.2 CNN模型

CNN[16]的研究始于20世纪80～90年代，直至21世纪数值计算等理论及设备得到改进后才进入快速发展时期。CNN是一个具有层次结构的多层感知器，其隐藏层内的卷积核参数共享和层间连接的稀疏性，使其可以通过较小的计算量学习多个特征。基础的CNN由输入层、卷积层、激活层、池化层、连接层及输出层组成。发展至今，各种基于CNN的模型涌现，如LeNet[17]、AlexNet、VGG[18]、GoogLeNet[19]、残差网络（Residual Network，ResNet）[20]等。CNN的最大优势是具有直观、清晰的解释机制和强大的学习与表征能力，广泛应用在计算机视觉、语音识别、人脸识别等方面，且对于在复杂环境下视频图像的特征学习仍具有稳定效果。森林环境是极为复杂的，例如有蜿蜒的地势、树木的遮蔽、不定的风向等，都会导致视频序列中的火灾特征不明显，致使判断过程的误差增大。CNN在复杂环境中的学习能力突出，故将其应用到林火检测中具有较高可行性。

1.3 DNN模型

随着深度学习技术、GPU等其他硬件设备的快速发展，DNN出现并在大规模的图像分类与检测任务中展现出强大的模型准确度和特征学习能力，已被广泛应用在图像识别、自然语言处理、建模等领域。它由多个层次的神经网络组成，通过卷积、池化、非线性激活等操作提取深层次的特征、提高算法性能，具有较强的数据表征能力[21]。与RNN、CNN不同，DNN是全连接的神经元结构，没有RNN时间序列上的依赖关系，也不像CNN包含卷积单元。森林火灾中烟雾和火焰特征的学习和检测是确定火灾位置的重要标志，复杂因素下拍摄的视频图像质量难以保证。因此，需要性能更高的算法进行处理，而DNN不失为一个很好的选择。

2 深度学习在森林火灾检测中的应用

在森林火灾检测中，传统的检测方法难以避免数据的不可靠性和操作的盲目性、复杂性。深度学习通过样本数据的自动学习反应数据差别的特征，执行分类、预测、识别等任务。通过多层处理，逐渐将初始的“低层”特征表示转化为“高层”特征表示后，用“简单模型”即可完成复杂的分类等学习任务[22]，为森林火灾检测中的烟雾与火焰特征的提取、火灾与非火灾图像的分类、森林火灾的预判跟踪等工作提供了新的手段。

2.1 烟雾与火焰特征提取

火焰是火灾最显著的特征，火灾发生后火焰所处空间高大且火焰颜色、形状分明并具有明显的闪动频率，具有区别于烟雾和周围树木的明显特征。当观察到火焰时，需迅速采取扑救措施。Frizzi等[23]使用CNN作为火焰检测器直接对原始RGB帧进行操作，在最后一个池化层上使用滑动窗口方法提取可疑区。然而，该模型对于定位火灾的位置还需要通过改进数据集来进一步提升准确度。Faster R-CNN 是一种使用CNN进行实时检测的深度学习算法。张艺秋[24]将该方法应用在森林火灾的识别与检测上，其准确率能够达到99%以上，但没有考虑到林火发生初期的烟雾特征。Akhloufi等[25]提出了一种Deep-Fire卷积神经网络算法，用于进行森林野火的检测和分割，在对火焰的检测和分割过程中取得了较好的效果。

烟雾是火灾的预测标志，在火灾发生初期，燃烧不完全会产生大量的烟雾，因此烟雾探测比火焰探测能提供更早的火灾警报。烟雾具有丰富的运动形态和变化尺寸，与周围环境存在浓度差，且大量烟气颗粒更易与空气区分。Hohberg[26]使用GoogleNet卷积网络对数据集进行烟雾颜色、纹理、形状特征的学习和训练，并利用三维卷积来提取烟雾的时间动态信息，取得了较好的检测效果。陈俊周等[27]提出了一种级联卷积神经网络算法，对烟雾的静态纹理特征使用空域和时域CNN识别，综合分析了两个不同域内的识别结果判断是否存在烟雾。该模型降低了复杂场景中的烟雾误检率，实时监测速度也达到了使用要求。因此，针对于森林火灾复杂的场景，这种级联卷积神经网络模型具有很大的应用价值。Filonenko等[28]以不同环境下的烟雾图像为主要数据集，使用AlexNet、VGG、ResNet等几种典型的二维卷积网络对烟雾特征进行训练和测试。试验表明：该方法在烟雾特征提取的准确性方面具有较高的性能。Peng等[29]提出了一种结合提取烟雾可疑区域和深度学习的快速视频火灾烟雾识别算法，该方法具有较高的分类精度和速度，适用范围更广，并且对硬件设备要求更低。

摄像机监测到的森林火灾视频图像是连续的，每一帧图像中都包含着烟雾或火焰的动态、尺寸大小、扩散方向等信息。对于CNN而言，它可以从单个帧中自动学习烟雾或火焰特征，但无法捕获帧之间的运动信息，而RNN具有处理视频序列的强大能力。针对森林火灾烟雾识别中的候选图像序列分类问题，可以使用卷积神经对候选块提取烟雾空间特征，再利用循环神经网络对图像序列提取烟雾动态特征。

2.2 火灾与非火灾图像分类

森林火灾与非火灾图像的分类是森林火灾检测工作中的重要一环，是对烟雾或火焰特征提取后的森林火灾图像的进一步整理。正确分类森林火灾与非火灾图像，可为后续的森林火灾预判、跟踪、定位等工作提供一个准确、高质量的数据集，提升整体的检测速度。

森林火灾与非火灾图像的分类能够以检测到的烟雾与火焰特征为标志进行区分，从而判断森林火灾是否发生。烟雾中的大量颗粒导致其与周围环境存在明显的浓度差，可根据浓度的不同将其与背景进行区分。Pundir等[30]将深度置信网络（Deep Belief Network,DBN）应用在森林火灾烟雾的分类检测中，选择了在野火烟雾视频、山基烟雾视频、室内或室外烟雾视频等不同场景下进行测试，该方法的烟雾与非烟雾分类准确率达到了99.51%。在森林火灾与非火灾图像分类的研究上，森林火灾中的烟雾与薄雾，充分燃烧时的火焰颜色与枫树、红旗等颜色相近，在对它们的区分上存在一定难度。因此，火灾图像与其他相似图像的区分问题需要特殊考虑，否则会导致森林火灾的误判或者漏判，造成更大的损失。Sharma等[31]利用火灾图像与非火灾图像中的不同特征，训练ResNet网络对火焰进行检测。同时，在ResNet网络中添加了全连接层，提高了算法的健壮性和检测精度，但也增加了训练时间。针对这一问题，王勇等[32]提出一种基于稀疏自编码深度神经网络的森林火灾图像分类方法。稀疏自编码是一种无监督的特征学习算法，直接从图像块像素中提取火灾特征，该方法对森林火灾与相似图像的分类准确率达到了79.5%，比于传统的分类方法准确，但识别精度还需进一步提高。针对森林火灾图像背景复杂、识别率低的问题，Liu等[33]使用精度较高的CNN+SVM分类器对森林火灾区域进行二次识别，识别率可达97.6 %，识别样本图片的平均时间仅为0.7 s，显示出较高的有效性和鲁棒性。

2.3 森林火灾的预判跟踪

根据森林火灾中烟雾和火焰的特征，预判着火点的大小、位置、蔓延方向等信息，监测跟踪火情，为森林消防扑救工作提供更加精准的火灾情况，减少火灾带来的损失。Zhang等[34]基于深度学习算法结合局部信息与全局信息进行森林火灾检测，使用AlexNet网络对局部块和全局图像进行训练和测试，同时建立了火灾探测基准。王飞[35]针对目前我国林火监测系统在林火监测过程中存在的各种问题，提出了一种基于二维卷积神经网络的森林火灾烟雾检测算法，将网络上搜集获得的森林火灾烟雾视频图像作为数据集，然后使用Faster RCNN特征提取方法提取烟雾候选区，再使用3D卷积神经网络提取烟雾候选区的动态特征，并据此算法设计了一套可以进行林区环境监测、烟雾识别和火灾自动报警等功能的林火智能监测系统。该研究结果进一步证明了深度学习在森林火灾识别检测中的适用性。

为有效避免直接调整森林火灾图像大小带来的特征损失，Zhao等[36]提出了一个15层的自学习深度卷积神经网络（DCNN）体系结构“Fire_Net”，作为自学习的火灾特征提取器和分类器，用于航空图像中核心火区火焰的快速定位和分割。对40幅野火抽样图像进行测试，可有效地定位航空图像中的核心火区，即使是非常小的点火区也能很好地定位，且分割后的火灾图像包含最大火灾特征，没有严重失真或特征损失。Jindal等[37]使用LRCN（长期递归卷积神经网络）来建立生成模型，作为强化学习模型动态分析森林火灾卫星图像，预测火灾的蔓延趋势、方向等，能够快速、准确地找到最佳切入点。

综上所述，智能森林火灾监控系统可为预测、跟踪、定位火灾提供更加准确的输入信息，通过分析深度学习模型的特点，可将RNN模型用于处理视频序列，CNN模型应用在图像特征提取与分类上，而DNN模型对于深层次的特征提取与降维有显著效果[38]。

3 结语

通过分析现有研究成果发现，深度学习技术在森林火灾检测应用中面临的挑战和问题不容忽视。例如，烟雾或火焰动态特征的提取能力与识别率低；森林火灾与非火灾图像的数据不全面，分类误差大；在森林火灾图像背景较为复杂时，算法的鲁棒性和可扩展性需要提升；火灾视频图像处理的速度、火灾点定位的准确度还存在一定差距。因此，如何更早、更快、更准确地检测出火情是减少伤害最有效的方法，深度学习在森林火灾检测应用中未来的发展可以从以下方向探索：

1） 对于森林火灾检测中深度学习模型本身而言，数据集的改进、网络结构复杂性的简化、参数的优化、学习过程的强化、识别分类正确率的提升以及算法的鲁棒性，依然是今后研究的重点。

2） 区分与烟雾、火焰的相似物体特征。例如，在烟雾特征检测中，会受到森林雾气的干扰；在火焰特征检测中，易受到阳光、枯黄树叶和红枫树叶的干扰。由于这些物体特征在颜色、纹理上与烟雾或者火焰的特征高度相似，很可能错判为火灾，导致信息传递出现误差。因此，在与烟雾、火焰的相似物体特征的训练与检测方面需要进一步的研究。

3） 加强深度学习算法与无人机、传感器技术的结合。智能森林火灾监测系统是一个重要发展方向，无人机的实时性与远程操作性强，搭载传感器后在一定范围内可根据火灾的温度与燃烧气味等特征进行报警，是实时监测森林火灾状况的重要研究方向。