火焰颜色及动态特征的选择和探测方法

蒋先刚 张盼盼 范自柱

(华东交通大学理学院, 南昌, 330013)

火焰颜色及动态特征的选择和探测方法

蒋先刚 张盼盼 范自柱

(华东交通大学理学院, 南昌, 330013)

在一般光照前提下对火焰的时空、颜色等特征进行选择时,为了找到适应火焰区域探测的最佳特征，在不同颜色特征中使用PCA特征选择方法对各颜色通道特征进行降维,然后使用Relief特征选择方法确定动态和颜色特征的最佳分类组合特征顺序，最后使用协方差矩阵对各特征的分类贡献效率进行验证。实验过程中为了比较分析采用了3组融合特征，实验结果表明通过Relief和PCA特征选择方法得到的融合特征在火灾监控系统中表现出较好的识别精度和较高的运行效率。

彩色空间模型；火焰探测；Relief特征选择；协方差算子

引 言

森林火灾会对森林造成巨大的破坏，随着计算机技术的不断发展，基于图像视觉的火灾探测技术逐步得到应用[1]。基于视频图像的火焰自动检测是预防火灾经济有用的方法。基于火焰颜色的可变性，使用合理的彩色模型来定义其颜色特征显得很重要。火焰的探测方法中已有成功使用RGB，YUV,CIE Lab,HSV,HIS和CMYK等颜色特征[2]的实例。用动态特征(使用背景减法确定)和颜色特征对火焰区域进行分析也是一种行之有效的方法。为达到火灾探测目的，B.Ugur Toreyin等[3]提出使用隐马尔可夫模型构造火焰模型，但是初级的模型构造较耗时，不适合视频火灾探测。文献[4]试验了用机器学习和协方差矩阵的方法探测火灾技术，但考虑到协方差特征的选择对后面的试验结果产生了比较大的影响，仍需选择能较好分辨火焰和非火焰区域的特征。Miranda[5]在火焰探测中使用特征选择并获得了很好的效果，但并没有进行分类识别试验。因为火焰与非火焰区域颜色特征的不确定性，所以采用合理的特征选择方法得到较优的分类特征组合对最后的分类显得尤为重要。为了提高火焰归类模型的适应性，本文主要研究在多种颜色空间的颜色通道信息和动态模型下运动特征的选择方法，最后获得用较少的特征集获取较高的识别率和更少的误识率的结果。

1 火焰特征提取方法

1.1 图像颜色空间和动态属性各分量分布

图1(a)为含白色天空、偏黄色地面、暗绿色树林、草地和包含火焰区域的野外视界图像，该图像包含火焰正样本和非火焰负样本两部分，它们在不同的彩色模型空间具备不同的可区分度。彩色模型主要包括RGB彩色空间、yCrCb空间、HSV空间和CYMK空间[6]，图1(b～l)为各颜色空间中颜色特征分量分布，从图中可以看出，HSV颜色空间的S和V通道对火焰区域具备较好的区分性，CYMK的M，Y和yCrCb彩色空间的Cr和Cb分量能对火焰区域表达出特异性，图1(m)反映空域在X方向的变化性，图1(n)反映区域在时序上的变化性。

图1 视频图像中各颜色与动态特征分量图像构成Fig.1 Feature vector distribution of a video frame image

在颜色和运动特征选择过程中，样本如果处于两类超边界上，则具备比其他样本更高的特征空间可分性，且会使数据平衡性和对称性更好。

1.2 各颜色空间各通道特征的PCA变换方法

将图像在各颜色空间的多个颜色通道进行主成分分析，选取和获得最具分辨力的3个主要颜色通道，可实现特征间的更佳线性结合。如对RGB空间各变量、HSV空间各通道，CYMK空间各分量等采用PCA算法提取的主成分颜色通道信息提取过程如下。

获取图像中的R，G，B；Y，M，K；H，S，V和y，Cr，Cb通道数据，按此顺序分别将每个通道数据按列排列方式形成归一化处理的数据，由其中m行和n列的图像转换为图像矩阵变为I，I=[I1,I2,…，I12]mn，计算I的协方差矩阵，并求其特征值λi和特征向量ωi，得到的特征值为(0.009，0.003，0.008，4.160，6.471，1.4E-16，0，0.108，1.156，0.0005，0.081，0.001)，这反映对原包含火焰区域图像本质的体现程度，数据说明M，Y，V和S分量对图像具备更强的表现力[5]，Cr比Cb具备更大的区分性，而K，H具备较少的可区分性。如筛选出λi中3个较大特征值作为主要特征值，将其与相应主成分颜色通道分量相乘取平均值，从而得到PCA融合图像:IPCA=(λ5M+λ4Y+λ9V)/3，PC1分量图基本表达了PCA融合图像的主要结构和亮度分布，火焰区域的PC1和PC2包含亮度分布的V以外，还包含红色和蓝色变化分布M，K，这使得火焰区域的PC1和PC2更大。对图像1(a)进行PCA变换，得到由与前4个主元PC1～PC4对应的较大特征分量构成的变换函数关系为

(1)

图1(k)、图1(l)显示式(1)的PCA融合IPCA和PC1能反映图像的基本亮度区别。图2为原始图像中正(实线) 样本(像素)、负(虚线) 样本(像素)取直方图的分布比较，X轴为特征值范围(0到1)，Y轴为像素数量(3 000)，所有数据都采用归一化处理，正负样本在第一主元PC1，∂tI、CYMK空间的Y和M都很好地呈现出峰值交错的双峰分布，这表明这些特征对正负样本具备很好的可区分性，反之H和R特征不具备峰值交错的双峰分布，它们基本没有区分性。

图2 正负样本不同特征的直方图分布Fig.2 Histogram of different features of the positive and negative sample

在RGB空间中，图3分别表示正(绿色球表示)、负(黑色球表示)样本在不同投影平面的分布, 这些图表明在RGB空间的各分量线性相关，正负样本在空间分布和各特征投影上都有一定的重叠性，聚类中心与类内各样本的分布较分散。在主元空间中，图3(e)，(f)，(g)和(h)表明各类样本在各个平面上的分布，主元各变量由式(1)的前3个主元构成计算得到，用蓝色表示正样本分布而红色表示负样本分布。从图3(h)可见样本在PC1上具备更大的可分析性，将PC2_PC3平面上类似直线的蓝红区域向与之垂直的PC1上延展样本分布，即PC1实际上基本反映了正、负样本的分布和类型区别，各聚类中心与类内各样本的分布都比较集中。图2的原始样本散布曲线和图3的各颜色通道的分布情况基本一致，Relief特征选择方法可以得到相同的结果。

图3 正负样本在不同变换空间的分布Fig.3 Sample distribution under different transformation spaces

1.3 基于Relief的特征区分性序列的产生方法

用Relief算法可保留对火焰的正确判断起到关键作用的几个奇异性特征，并去除与分类不相关的干扰因素。Relief算法可以为各个特征赋予相对应的权重，最后对权重进行排序，权重大的特征对最后分类越有利。基本原理是首先会对训练样本进行标识类别；每次从一类中随机选取一个样本R，从该类的样本训练集中选出近邻样本k个，然后从不同类的样本训练集中也选出k个近邻样本，一般情况下取k=3～5，按式(2)更新每个特征的权重[7]。

(2)

式(2)中的第2个分项是两个样本R1和R2在特征fi上的差，即式(3)，Hj(C)表示和R同类的第j个样本，Mi(C)表示在不同类中的第j个样本。

(3)

对类似于图1(a)的20张野火区域图像取均值计算统计，通过人工和计算机分割可得到火焰正样本和非火焰负样本两大类像素集，对这些已标注像素集的各特征经Relief算法计算而得到对火焰区域分类贡献的序列如表1所示。

由表1可知，PCA的第一主分量能很好地表达火焰区域颜色特征，HSV颜色空间的各通道线性无关，通道V能表现出火焰区域的差异性。前9个特征首先被选择，从16号特征起，权重开始特别小。虽然组成火焰的像素颜色都偏红色，PC1的权重大小表明特征G分量与PCA第一主元相关性更大。Y,M分量具备对火焰区域的差异性呈现，故其权重较大，火焰区域的空域变化程度由两个方向的一阶导数确定，具备一定的重要性。∂tI表示帧间积累的亮度变化值，这确定了火焰区域的时域动态性。

表1 火焰颜色和运动各特征重要性序列

1.4 动态特征的选择

火焰的颜色特征和动态特征的融合特征能很好地反映火焰的特异性。为了得到动态特征，本文采用帧间差分方法。如图1(m)中的Ix(x,y,i)显示区域在空域X向的边缘特性，采用图1(n)中的∂tI表示亮度在帧间的时频动态特性。

1.5 基于协方差的特征相关性验证和特征组合

协方差矩阵表达火焰的颜色和动态特征。每两个特征间的关联情况表现在非对角线上的元素[8-9]，每个特征方差大小在对角线上。图4为正负样本各特征协方差算子的比较图[10]，其中图4(a)，(b)为包括含运动火焰区域的协方差矩阵分布，图4(c)，(d)含轻微运动的非火焰区域的协方差矩阵分布。

图4 基于空域和时域特征的火焰和非火焰区域协方差的分布与比较Fig.4 Distribution and comparison diagram of the covariance operator of spatial and temporal feature of flame and non-flame

火焰区域帧间运动的∂tI方差值都中等偏大，反映空域变化的Ix，Iy方差及与∂tI的相关各值也都中等偏大，Cr具备较大的方差，M方差值及与∂tI的相关值都比较大。火焰和非火焰区域的R，G，B和H分量的协方差算子差别不大。火焰区域的协方差算子的这些特征表现都与PCA方法和Relief方法得到的分析基本一致。通过采用协方差矩阵左上角算子组成特征集，经过支持向量机(Support vector machine, SVM)训练，构成分类器模型。

2 基于特征组合的火焰区域探测实验和分析

火焰特征分析和探测系统的软件开发环境为Delphi 7,火焰探测实验的相关视频图像选自于网站http://signal.ee.bilkent.edu.tr/VisiFire/和来自森林火灾监控现场的视频。为了比较分析而采用3组融合特征，Φ1组合引入了通常采用的RGB颜色空间和分类贡献权重较小的H特征，Φ2组合在Φ1的基础上引入对火焰分类贡献权重处于前面的饱和度S取代色度H，Φ3则兼顾了CYMK空间的M分量，HSV空间的V分量，主分量分析的第一主分量PC1， 和对火焰区域有特异性表达的yCrCb空间的Cr分量。

(4)

(5)

(6)

整个区域首先用初选方法检索出候选窗口区域，即按式(7～9)分析出基本包含火焰颜色和运动像素的时空块[11]。

(7)

(8)

(9)

式中：M,N为搜索区域的长宽，k为时空块中的帧数，当运动块的运动像素累计达到一定阀值时则被选择为候选火灾区域。表2给出了采用不同特征组合和分类方法时火焰识别率和检测时间性能的比较结果[12]。图5的第一列为是野外火焰的原图，图5(b)为在时频上变化且呈红色色调的候选火灾区域，图5(c)为特征序列Φ1+SVM的探测结果，图5(d)为Φ3+SVM的探测结果，这说明Φ3特征组合能更加体现出颜色和运动特征，明显减少了火焰区域的误识率。

图5 采用颜色与动态特征组合的火焰区域检测的结果Fig.5 Detected flame region results by using color and dynamic feature assemble

特征组合与分类正检率帧/%误检率帧/%运行时间/s(每100帧)不加遴选加遴选SVM-RBF+Φ192.10.095.31.71SVM-RBF+Φ297.20.045.21.73SVM-RBF+Φ399.80.0122.310.20

3 结束语

在火焰的检测过程中，颜色和动态特征组合对测试结果有很重要的作用，其特征的原始数据分布、Relief计算和主元分析都反映了各个特征对区域检测分类贡献的基本一致性，协方差算子作为全局性分布特性的综合描述，它既可用来检验各特征对分类的作用，也可直接作为集成的融合特征，通过特征空间变换和合理选择方法得到的特征具备良好而快捷的表达性，应用本文提出的特征组合方法的火焰探测系统具备较高的鲁棒性和实时性。

[1] 蒋先刚，丘赟立，熊娟.基于CMYK空间的火灾区域粒子群优化快速定位方法[J].数据采集与处理,2013,28(3),324-329.

Jiang Xiangang,Qiu Yunli,Xiong Juan.Fast flame region orientation method based on CMYK color space via particle swarm optimization[J].Journal of Data Acquisition and Processing, 2013,28(3),324-329.

[2] Yu Chunyu, Fang Jun, Wang Jinjun, et al. Video fire smoke detection using motion and color features[J]. Fire Technology,2010,46(3):651-663.

[3] Toreyin B U, Dedeoglu Y, Cetin A E. Flame detection in video using hidden Markov models[C]∥ Proceedings of the IEEE International Conference on Image Processing (ICIP)．[S.l.]：IEEE，2005:1230-1233.

[4] Habiboglu Y H, Gunay O, Cetin A E. Real-time wildfire detection using correlation descriptors[C]∥19th European Signal Processing Conference． Barcelona, Spain：[s.n.], 2011, 894- 898.

[5] Miranda G, Lisboa A， Vieira D, et al. Color feature selection for smoke detection in videos [C]∥Industrial Informatics (INDIN), 12th IEEE International Conference. Porto Aleger:[s.n.]，2014,31-36.

[6] Celik T, Demirel H. Fire detection in video sequences using a generic color model[J]. Fire Safety Journal,2009,44(2):147-158.

[7] 王露，龚光红.基于ReliefF+MRMR特征降维算法的多特征遥感图像分类[J].中国体视学与图像分析,2014,19(3):250-255.

Wang Lu, Gong Guanghong.Multiple features remote sensing image classification based on combining ReliefF and mRMR[J]. Chinese Journal of Stereology and Image Analysis,2014,19(3):250-255.

[8] Tuzel O, Porikli F,Meer P.Region covarianee: A fast descriptor for detection and classification [C]∥Proceeding of 9th European Conference on Computer Vision． Graz,Austria：[s.n.]，2006,589-600.

[9] Porikli F, Tuzel O, Meer P. Covariance tracking using model update based on lie algebra[C]∥ IEEE Conference on Computer Vision and Pattern Recognition. New York:[s.n.],2006,728-735.

[10] Angayarkkani K, Radhakrishnan N. An intelligent system for effective forest fire [J]. International Journal of Computer Science and Information Security, 2010, 7 (1): 202-208.

[11] Byoung C K. Wildfire smoke detection using temporal-spatial features and random forest classifiers[J]. Optical Engineering,2012,51(1):61-68.

[12] Ha C, Jeon G, Jeong J. Vision-based smoke detection algorithm for early fire recognition in digital video recording system[C]∥Proceedings of International Conference on Signal-Image Technology and Internet-based Systems. Dijon,French：IEEE Computer Society Press, 2011, 209-212.

Feature Selection and Flame Detection Method Based on Color and Motion in Video

Jiang Xiangang, Zhang Panpan, Fan Zizhu

(School of Science,East China Jiaotong University, Nanchang, 330013, China)

When selecting method of flame′s colors and spatial-temporal features in general illumination in order to find the best feature adapting to the detection of the flame area, PCA feature selection method is used to reduce characteristics of each color channel in different color characteristics. The Relief feature selection method is used to determine the optimal classification for these candidate color and moving subsets. Moreover, contribution ratio of discrimination of all selected colors and moving features is validated by covariance matrix. In the course of the experiment, three sets of fusion features are used for analysis. Experimental results show that the flame detection system based on selected color and moving feature has higher accuracy and recognition efficacy.

color space model; flame detection; Relief feature selection; covariance matrix

国家自然科学基金(61262031,61263032)资助项目。

2015-09-09；

2016-01-13

TP391.41

A

蒋先刚(1958-)，男，教授，研究方向：数字图像处理与模式识别，电子邮箱：jxg_2@tom.com。

张盼盼(1990-)，女，硕士研究生，研究方向：数字图像处理与模式识别。

范自柱(1975-)，男，副教授，研究方向：数字图像处理与模式识别。