基于帧间动态和纹理特征的邮轮舱室火焰识别*

蔺 瑞 俞孟蕻 宋英磊 袁 伟

（江苏科技大学电子信息学院 镇江 212003）

1 引言

火焰分析在探测真实火灾中占有重要地位，火焰有许多的特征，例如颜色、形状变化、闪烁和纹理等。单一特征的使用，火焰与类火焰色物体会产生混淆。因此，需要有效的火焰探测方法来理解真实的火焰。考虑到火焰的动态性和纹理是两个重要的火焰特性，对两者的分析非常重要。近年来提出了许多火焰探测方法。文献［1］提出基于Ohta 颜色空间结合动态闪烁特性的火焰探测方法，可以排除不具有火焰闪烁特征的前景，但是对于同样闪烁特性的干扰项难以排除。文献［2］提出了基于灰度差分统计的纹理特征的火焰探测，对不同火焰纹理所处的时期识别率较高，探测速度较快。文献［3］提出了时间维度下的静态纹理特征结合加权SVM的火焰探测方法，加入了时间维度，静态纹理特征具有一定动态性，多火焰的识别和检测效果有较大提升。上述文献的火焰检测方法都取得了不错效果，但是特征的提取以及环境较为的单一。本文基于多尺度颜色空间建模，研究分析了火焰的动态特性和混合纹理特征，利用极限学习机进行综合学习，所得模型实现火灾的有效识别。

2 火焰探测方法

本文提出的火焰检测方法如图1 所示。首先在颜色空间中进行颜色滤波，将输入图像中具有火焰状的颜色区域分割为“候选火焰区域”。“候选火焰区域”包括火焰和类火焰颜色对象。然后通过静动态纹理分析，从“候选火焰区域”中提取静态和动态纹理特征。静态纹理特征包括通过混合纹理描述符获得的特征。动态纹理特征包括二维时空小波分解和三维体积小波分解得到的纹理特征。提取的特征用于极限学习机（ELM）分类器作分类处理，经过训练的ELM 分类器可以有效地将分割出的候选火焰区域预测为“火焰”或“非火焰”。

图1 火焰探测方法框图

颜色是火焰的静态特征之一，火焰在背景光源足够亮的时候，摄像机捕捉到的火焰在色调上白色偏少，主要颜色为红色到黄色，对应到RGB 空间就是R＞G＞B。此外，在RGB 图像下，火焰的R 通道成分占主要地位，R 成分大于阈值Rt。由于RGB 色彩空间较为依赖于背景光源亮度，光照条件变化，则疑似火焰像素点的提取效果变差。图像处理中，一般转换为其他色度空间。在YCbCr色彩空间，颜色分量的相关性较小，可以有效的表征火焰特征，其判据条件为Y（x，y）＞Cb（x，y），Cr（x，y）＞Cb（x，y）。在背景光源较强的时候，其散发光的饱和度较低，通过对饱和度S 分量设定阈值St，可以比较有效的排除光源的干扰。除了饱和度，背景光源明亮与否，火焰会呈现出不同的色调H，取H 大于其均值Hm，因而引入HSV色彩模型。

图2 色彩空间模型

综上所述，本文所采用的色彩空间为三者复合的多色彩空间模型，根据大量实验统计结果［4］，式中 Rt和 St的取值范围分别为 115～135 和 55～65 之间。对应的公式如下：

下面通过两种不同类型的火焰图像，对所建立的色彩空间模型进行验证对比，对比如图2。

从实验结果，我们可以发现三个色彩空间的结合，可以更好地排除干扰源，但是加入HSV 色彩空间判据后，有的火源区域被过度减除。通过比对，过度减除的图片，环境整体光线较为昏暗，火焰颜色饱和度比较高，HSV 色彩空间的探测效果不理想，疑似火焰区域几乎被完全剔除。此时，RGB-YCbCr模型就可以达到较好的效果。针对这种情况，本文设置一个明暗度阈值（intensity），若所处空间的明暗达到一定的临界值，HSV色彩空间可以发挥较好的作用时，结合HSV 色彩空间判据，达到较好的判断效果。明暗度阈值取所有像素灰度值的均值，经实验，明暗度阈值THi在28～32 之间，具体如式（2）。

火焰颜色模型取得了不错的效果，但是图像中的与火焰颜色相似的类火区域，通常也被提取为真实的火焰区域。这种情况来源于两个方面：与火焰颜色相同的非火灾物体、与火灾类似的背景光源。这些情况使得火焰区域的提取过程复杂且不可靠。

3 动态和纹理特征提取

针对火焰候选区域的特征提取，很多方法都被提出来。由于火焰具有动态性，因而火焰的动态特性是一个重要的判据。本文研究中主要的干扰项是金属墙壁的火焰光反射，由于其同样具有运动性且运动频率与火焰相似，所以纯动态特征无法满足要求，纹理特征是探测真实火焰的重要特征，它在噪声、旋转和光照变化方面具有不变性［4］。因而本文结合使用了动态特征和纹理特征。本文研究的动态特征有面积变化率和相似性，纹理特征有扩展局部二值模式（ELBP）和结合局部二值模式的离散小波变换（ELBP-DWT）。

3.1 火焰面积变化率

火焰发生时，其形状和大小在动态变化着，在其初期呈连续增长的趋势。另一方面许多干扰源，如阳光、灯光等的面积保持相对稳定。因此，火焰面积变化率可以作为识别火焰膨胀变化的重要标准。火焰面积变化率可根据相邻帧的火焰像素变化来计算，具体如式（3）所示，I1和I2分别是前后两帧的图像，NI1和NI2分别是前后两帧图像探测到的火焰像素数量。

对火焰、灯光和烛光等物体实验，火焰的面积变化率在［0.01，0.25］内波动，灯光和阳光等干扰的相似度在［0.001，0.045］内小幅波动。

3.2 火焰相似性

相邻两帧火焰的形状相似性也遵循一定的原则。使用Ii-1(x，y)，Ii(x，y)分别表示从帧i-1 和i的图像获得的火焰二值图像。如果（x，y）的像素被确定为火焰像素点，则像素点Pi-1(x，y) 或者Pi(x，y)的值为1，否则其值为0。Ii-1和Ii之间的火焰相似性如式（4）。

对火焰、灯光和阳光等实验，火焰的相似度在［0.75，1］内大幅周期波动，太阳，灯光等干扰的相似度在［0.94，1］内小幅波动。

3.3 扩展局部二值模式ELBP

近年来，局部二值模式特征提取方法在纹理分析中取得了显著的进展。文献［5］引入了LBP纹理操作符，它对纹理图像中的像素信息进行编码。传统的LBP 算子，不同的结构模式下，相同的LBP 编码值，很难说具有相同的局部结构。因此，有必要提高LBP的识别能力。文献［6］提出了完全局部二值模式描述符（CLBP），增加了基于像素强度的描述，对噪声的敏感度低。文献［7］提出的ELBP（扩展局部二值模式）框架具有更好的特性和有效性。其3×3 局部区域的中心像素值被其平均局部灰度值取代。与中心灰度值运算相比，平均灰度值对光照变化和噪声的鲁棒性更强。ELBP像素强度和差异描述子的数学公式如等式（5）和（6）所示。

式中xr，n为邻域像素点的值，为邻域像素点的均值。

图3 非火焰与火焰的LBP纹理描述（上行为火焰区域，下行非火焰区域）

比对结果发现，相比于LBP 和CLBP 的图像描述，ELBP 更为有效地描述了随机强度变化的火焰纹理。将传统的纹理描述符（如DWT）应用于LBP、CLBP和ELBP图像描述，可以形成一种混合纹理描述。这样有助于区分火焰和类似火焰的干扰。

3.4 离散小波变换DWT

DWT 是用于图像分层分解的数学工具，它提供了空间和频率信息。因此，它在图像处理应用中得到了广泛的应用。2D-DWT 的元素有尺度变换函数φ(x，y)和三个小波函数ψH(x，y)、ψV(x，y)和ψD(x，y)，分别用于测量水平、垂直和对角线方向的灰度变化。如果有一点P(x，y)在输入的m×n大小的图像上，则图像离散小波变换可由式（7）和（8）得来。

其中j0是初始任意尺度比例，通常选择为0。尺度比例为j0时，系数Wφ(j0，m，n) 是P(x，y) 的近似值。尺度比例j≥j0时，系数为其添加了水平、垂直和对角线细节。此处采用Daubechies小波，其具有时间不变性、实数小波系数和锐化滤波过渡带等特点，且在微观和宏观结构具有不同的灰度变化，因此，它们在统计上具有子图像特征［8］。为了观察火焰图像的微观和宏观结构，对ELBP 图像进行了DWT小波变换。

图4 等级L=2的DWT下候选火焰区域的混合纹理描述（上行为火焰区域，下行非火焰区域）

从图4 可以看出，在混合纹理描述符中，火焰的水平、垂直和对角线系数比非火焰系数更具体。而且CRLBP-DWT 描述符更清楚地观察到火焰纹理中像素强度的随机分布。因此，CRLBP-DWT 混合纹理描述符对火焰纹理的描述更为有效。从CRLBP-DWT 中提取的特征包括不同级别（L=1～7）的小波子图像的熵。在DWT 的每个级别上，都会生成三个子图像（水平、垂直和对角线）。子图像的熵共产生21个特征。

4 极限向量机分类火焰

ELM 是一种单隐层前馈人工神经网络（SLFN），适用于广泛的非线性应用。ELM 是最近提出的一种机器学习方法，与其他学习方法相比，它具有很低的计算成本和快速的训练速度，而且不需要麻烦的参数调整。ELM 以前被应用于不同的任务，如文献［9］的图像超分辨率、文献［10］的蝴蝶种类的识别、文献［11］的人类行为识别和文献［12］的面部识别。从火焰动力学分析中提取了27 个特征集。这些27 个特征被用作输入特征向量来训练ELM分类器，训练网络相当于寻找最小二乘解。

图5 实验模拟视频

从火焰视频和非火焰视频中提取的特征用作训练数据。训练数据及其相应的标签被输入到ELM 学习二进制分类器，如图5 为一些用于实验的视频。在所提出的工作中，ELM的内核版本使用了160 个隐藏节点和“径向基函数”作为激活函数。对于火焰检测，从给定的输入视频中提取特征，并使用ELM 分类器对火焰进行预测。内核在等式（9）中定义。

式中σ是核函数的宽度，设置为训练数据集之间的平均欧几里得距离。

5 结果与讨论

采用ELM 分类器对火焰、火焰光反射和火焰色物体等视频进行了火焰检测实验。测试视频如图 5 的 6 组视频，帧率为 25 帧/s～30 帧/s 不等，详细描述如表1所示。火焰与非火焰的探测结果如表2所示。由于，本文所用的方法为动态纹理的混合特征，为了验证所提出的火焰检测方法的有效性，将其与文献［13～15］中的三种方法作比较。

表1 输入视频描述

方法1是文献［13］“火焰图像跳动特征的火灾识别算法”，为动态频闪特征。方法2 是文献［14］“基于多阶段模式识别技术的视频序列中的火焰检测”方法，为帧间动态特征。方法3 是文献［15］“基于视频的时空火焰建模和纹理分析的火灾自动检测”，为纹理特征。

在视频（a）和（c）中，火焰反光干扰在一些帧中强度变大，看起来似乎和火焰相似，但是其前后帧动态形状模糊，相似性较高，基于帧间动态性考虑，取得不错的检测效果。在视频（b）中，火焰区域随着时间的推移动态变化，纹理迅速扩展，基于动态和纹理的特性，本方法具有较高的检测率。从表2可以看出本方法是优于前三种方法的，平均检测率为95.45%，漏检率4.55%，可以看出，所提出的基于动态和纹理特征的火焰检测方法可以有效地区分火焰色运动物体和真实火灾。

表2 本文火焰探测方法和三种文献方法的结果比对

6 结语

火焰检测在实践中有许多潜在的应用。提出的基于动态和纹理分析的火焰检测方法，提高了分类的精度。在纹理分析中，与传统的纹理描述符相比，在识别火焰和干扰方面，混合纹理描述符能产生有意义的特征向量。通过动态火焰分析，利用各种动态和纹理特征对火灾行为进行建模，实现了95.45%的检测率和4.55%漏检率，同时减少了火焰色运动物体引起的虚假报警。与其他基于单一动态和纹理建模的算法相比，该方法的计算要求更高。然而，该算法的平均帧速率对于火灾预警系统仍然是足够的。此外，ELM 具有较好的泛化性能，在火焰分类中得到了很好的应用。