基于目标跟踪和多特征融合的火焰检测算法

张学敏，蔡晓东，梁玉敏，谢月飞，王春利

(桂林电子科技大学信息与通信学院，广西 桂林 541004)

责任编辑:任健男

随着CCTV(Close Circuit Television，闭路电视)监控技术的发展，一种基于视频的火焰检测技术引起了业内的广泛关注。Healey等人［1］利用颜色和火焰运动的特性来区分火焰和非火焰区域，然而这种方法是依赖于理想环境(不具有类似火焰颜色的干扰物体的场景)中实现的。Foo［2］基于高速摄像机的灰度视频提出基于统计的方法，这种方法虽然计算量较小，但是不具备很好的抗干扰特性，而且对普通的摄像机视频30帧/秒(f/s)的情况就显得有效性不足。Phollips等人［3］利用火焰的灰度直方图强度以及相邻帧的时间变化进行火焰识别，同样需要比较好的检测环境(较少的移动的非火焰亮光干扰)，而且其实验数据特征为自己主观确定的，若输入数据发生变化，则效果会大打折扣。Yamagishi和Yamaguchi［4］提出了一种基于神经网络的火焰检测方法，在HSV色彩空间的火焰颜色模型来减弱环境对火焰检测的影响，依据火焰区域颜色的饱和度和色调的持续变化来进行火焰区域的分割，最后训练神经网络用于识别火焰，这个算法取得的实验结果非常准确，但是对于实时性的应用而言计算量过大。

然而，以上方法都集中关注火焰的存在性，不能提供燃烧的状态和过程信息，需要人工估计误检率，并且很难满足高检测率、低误检率、实时的工业需求。本文提出了一种基于目标跟踪和多特征融合的火焰检测算法，能够较好地适用于存在干扰的监控环境，能够有效排除干扰，及时发现火焰，并且可以对火焰进行持续跟踪和判断其变化状态。

1 算法描述

整体算法的流程如图1所示。

1.1 混合高斯背景建模提取运动前景

火焰的特性之一就是燃烧过程中的闪动特性，通常监控视频中的背景都是静止不动的，本文采用混合高斯建模［5］来背景建模。通过对背景建模，对一幅给定图像分离出前景和背景，从而达到运动物体检测的目的。

对差值图进行二值化处理然后经过降噪滤波，得到较好的二值前景图，将检测为前景的区域结合火焰的颜色特征再次进行判断，进一步提取出疑似火焰区域。

图1 整体算法流程图

1.2 火焰颜色模型

在彩色图像中，高温的火焰内核会呈现亮白色，由内向外随着温度的降低颜色会由黄变橙、变红［6］。根据火焰颜色的以上特征，本文对火焰的内焰和外焰分别进行建模，然后将内焰和外焰组合，从而得到疑似火焰区域。内、外焰模型分别为

图2、图3、图4 分别为Capture1，Capture2，Capture6 经过高斯背景建模和继续经过颜色模型过滤得到的前景二值图。从图中可以看到相比只进行背景重建得到的前景运动目标的二值图，再经过颜色模型过滤可以得到位置相对准确的疑似火焰区域，用此区域进行Blob提取处理。

1.3 Blob 特征提取

在二值图中，运动目标呈现一个个白色的连通域(即Blob)，本文采用二值图像连通域标记算法将运动目标从二值图中提取出来，然后对原图像只进行一次扫描后，通过特殊的边界像素标记，便能获得目标集合特征参数。

经过Blob特征提取［7］扫描，可以获得目标的轮廓，根据轮廓可以通过运算得到目标外接矩形、重心、周长和面积等特征信息。

1.4 基于Kalman滤波器的运动目标跟踪

在利用Blob提取运动目标特征的基础上，系统采用了基于卡尔曼(Kalman)滤波器的算法［8］实现运动目标的跟踪。卡尔曼滤波器可以用状态方程和观测方程来描述其数学模型:

状态方程为

观测方程为

根据Blob提取得到的重心、外接矩形、运动速度等信息来描述运动目标在每一帧中的运动，因此状态向量取Xk=［x，y，vx，vy］T，观测向量取Zk=［x，y］T，其中x和y是运动目标的横纵坐标，vx和vy是运动目标在水平方向和垂直方向上的运动速度，Wk为系统噪声向量，Vk为观测噪声向量。

状态传递矩阵A，测量矩阵H，系统噪声Wk的协方差矩阵Q，测量噪声Vk的协方差矩阵R的值设定如下:

参数确定之后，基于卡尔曼滤波器的算法便可以经过以下4个步骤完成对运动目标的跟踪:

1)根据重心坐标初始化卡尔曼滤波器，设运动速度初始化为0;

2)使用卡尔曼滤波器预测下一帧中对应的目标区域，并在下一帧中的预测区域进行目标匹配;

3)如果目标匹配成功，则更新卡尔曼滤波器，并记录当前帧中运动目标的特征信息;

4)如果匹配不成功，则扩大搜索区域，重新搜索当前帧，或者丢弃前一帧，直接处理下一帧。

火焰疑似目标跟踪的效果如图5所示，图5a、图5b、图5c为时间间隔相同的3个时刻的跟踪结果。用跟踪到的疑似火焰目标进行特征提取。

图5 Capture4疑似火焰目标跟踪

1.5 特征提取

火焰具有许多独有的特征。单纯依靠火焰颜色特征来进行火焰检测得到的结果是不可靠的，特别是在有火焰颜色的运动物体存在的情况下。为了提高检测的可靠性，以加权的方式结合火焰的多个特征，当火焰特征的加权值超过预先设定的报警阈值时，就确认检测到的运动目标为火焰。

1.5.1 火焰区域增长性

在燃烧初期火焰的面积不断的增大［9］，这个特征可以有助于区分与火焰颜色相似的大小固定不变的运动物体，比如汽车车灯等。本文用视频帧数来表示时间，根据Blob特征提取得到的疑似火焰面积，求得第i帧到第i+k帧的火焰面积变化率，可用下面的公式表示

式中:Si和Si+k分别为第i帧和第i+k帧的疑似火焰面积，ΔSi即为间隔k帧的火焰区域像素的增长率，设定上下限阈值dhigh和dlow，当dlow＜ΔSi＜dhigh时，则判定为火焰，赋予一个报警权值。

1.5.2 火焰形状的形状相似度识别

相对成熟的图像相似性度量可以归结为两大类:距离度量和相关度量［10］。可以用作相似度量的典型结构描述包括颜色、亮度特性、区域的面积、形状和区域结构等。

相邻帧的图像之间的相似度在一定的区间内变化。在火焰识别的过程中主要存在的干扰包括大面积光照变化和快速移动的亮点，因此可考虑利用早期火焰形体相似度的变化规律来区分真实火焰与干扰。

计算前后两帧图像相似度的方法如下:

设得到的前后两帧疑似火焰区域二值图分别为binary1(x，y)，binary2(x，y)，疑似火焰区域分别为 Ω1，Ω2，前后两帧图像的相似度ξ定义为

一般的，当ξ小于某个阈值T1时，即认为待识别物体是快速运动的亮点。而ξ大于某个阈值T2时，认为存在固定发光区域。当ξ在2个阈值之间时，可以认为该区域为火焰区域。表1所示为火焰视频(Capture1，Capture4)和干扰视频(Capture10，Capture12)的连续8帧的相似度列表。可以看出，火焰视频连续帧相似度和干扰视频连续帧相似度存在明显的差距，通过设定合理的阈值即可区分。

表1 视频相邻帧相似度列表

1.5.3 火焰跳动频率

火焰另一个区分于一般运动物体和光照的显著特征就是燃烧过程中火焰闪烁的特性。众多学者经过大量的实验分析得出，火焰闪动在具有一定的动态频率范围(7～10 Hz左右)即目标轮廓、色度或亮度都具有0.5～20 Hz之间的变化频率时可能存在火焰的重要信号［11］。本文通过统计1 s内对跟踪到的疑似火焰目标跳动方向的变化次数来判断火焰的跳动频率。计算方法如下

由式(7)可以计算出疑似火焰的跳动频率。如果Freq在0.5～20 Hz之间，则表明疑似火焰具有火焰闪烁的频率，增加一个报警权值。

1.6 特征融合与火焰判定

对得到的以上3个火焰动态特征进行分析，给出合适的报警信号。分析方法如下:设火焰区域增长性、形状相似度、跳动频率的报警权值分别为α，β，γ，报警阈值为μ，报警结果为S，则有

当S=1时，认为是火焰，否则认为目标区域具有火焰颜色，但不是火焰。确定疑似火焰目标为火焰后，将此运动目标标记为火焰，运用其外接矩形和面积可以判断火焰燃烧的变化趋势。

2 实验结果

测试用PC配置为CPU Intel Core i3 M330 2.13 GHz，内存为2 Gbyte，所有视频的分辨率为704×576。本文实验视频主要是用手持摄像机和室内监控摄像头拍摄的，此外，还有从网站上下载的视频，其中包括美国国家标准研究院建筑与火灾研究实验室的视频http://www.fire.nist.gov/tree_fire.htm，共12个，测试库视频描述如表2所示。

表2 测试库视频

实验1，对各视频从火焰出现的前150帧分别使用单特征和特征融合进行检测(见表3和表4)。实验2，运用本文算法对测试视频进行火焰检测，并记录全过程(见图6、图7)。

表3 单特征实验结果

表4 多特征实验结果

图6 Capture4检测结果

图7 不同场景的测试结果图

从表3和表4可以看出，单特征的检测无法达到高检测率、低误检率的工业需求，而三特征融合可以有效提高检测率，降低误检率。

图6是Capture4的检测结果图，识别出的火焰用绿色框高亮显示，火焰第一次出现在第226帧，检测到火焰是在第278帧，结果表明本算法检测到火焰只需2 s左右的时间。图6中图片顺序为从火焰开始到结束，表明本算法可以对火焰的发展过程进行全程跟踪，有助于判断火势。

图7是不同场景的测试结果图，结果表明本算法成功排除光照、颜色、移动灯光等干扰，稳健地检测出不同场景、不同光照下的火焰。而且在应用中火焰检测的处理效率达到了25 f/s(帧/s)，能很好地满足工业需求。

3 总结

本文针对目前视频火焰检测算法无法达到高检测率、低误检率、实时的工业需求，提出了一种基于目标跟踪和多特征融合的火焰检测算法。经过实验证明，在普通的监控视频25 f/s的情况下，本文的算法能够较好地适用于存在干扰的监控环境，能够有效排除干扰，及时发现火焰，并且可以对火焰进行持续跟踪，判断其变化状态。与传统的算法相比，具有更好的普适性、可靠性、实时性以及过程性。

［1］HEALEY G，SLATER D，LIN T，et al.A system for real－time fire detection［C］//Proc.Conference on Computer Vision and Pattern Recognition(CVPR’93).［S.l.］:IEEE Press，1993:605－610.

［2］FOO S Y.A rule－based machine vision system for fire detection in aircraft dry bays and engine compartments［J］.Knowledge－Based Systems，1996，9(8):531－540.

［3］PHILLIPS W，SHAN M，LOBO N V.Flame recognition in video［C］//Proc.the Fifth IEEE Workshop on Applications of Computer Vision.［S.l.］:IEEE Press，2000:224－229.

［4］YAMAGISHI H，YAMAGUCHI J.Fire flame detection algorithm using a color camera［C］//Proc.1999 International Symposium on Micromechatronics and Human Science.［S.l.］:IEEE Press，1999:255－260.

［5］TURDU D，ERDOGAN H.Improving gaussian mixture model based adaptive background modeling using hysteresis thresholding［C］//Proc.15th Signal Processing and Communications Applications.［S.l.］:IEEE Press，2007:1－4.

［6］LIU C B，AHUJA N.Vision based fire detection［C］//Proc.the 17th International Conference on Pattern Recognition(ICPR’04).［S.l.］:IEEE Press，2004:134－137.

［7］张修军.带标记矫正的二值图连通域像素标记算法［J］.中国图象图形学报，2003，8(2):198－202.

［8］KALMAN R E.A new approach to linear filtering and prediction problems［J］.Journal of Basic Engineering，1960，82(1):35－45.

［9］CHEN T H，YIN Y H，HUANG S F，et al.The smoke detection for early fire－alarming system based on video processing［C］//Proc.the 2006 International Conference on Intelligent Information Hiding and Multimedia Signal Processing.［S.l.］:IEEE Press，2006:427－430.

［10］刘兴洪.基于内容相似性的图像特征提取［D］.重庆:重庆邮电大学，2007.［11］刘强.基于多信息融合的火焰检测［J］.电视技术，2012，36(1):126－128.