多特征融合与相关向量机的火灾烟雾识别方法

蔡荣文

杭州万向职业技术学院，浙江杭州310023

多特征融合与相关向量机的火灾烟雾识别方法

蔡荣文

杭州万向职业技术学院，浙江杭州310023

针对当前单一特征以及简单组合特征描述火灾烟雾状态的不足，以提高火灾烟雾识别准确性为目标，本文提出了一种多特征融合和相关向量机的火灾烟雾识别方法（MF-RVM）。首先获取火灾烟雾的可疑区域，并提取火灾烟雾可疑区域的静态和动态特征，然后利用主成分析法对静态和动态特征进行融合，消除特征之间冗余，最后利用相关向量机对融合特征进行训练，建立火灾烟雾识别模型。采用多个火灾烟雾视频图像在Matlab2012平台上对MF-RVM的识别性能进行仿真测试。结果表明，MF-RVM能够有效地对火灾烟雾进行识别，平均识别率达到了95%以上，并且提高火灾烟雾识别效率，以满足火灾烟雾识别的实时性要求。

火灾烟雾；运动特征；相关向量机

近些年来，火灾发生的频率越来越高，给人们财产和生命安全带来巨大危害，火灾损失有时比地震损失还要严重，因此对早期的火灾进行及时报警，有效降低火灾带来的危害，具有十分重要的研究意义［1］。通常情况下火灾刚发生时火焰不十分明显，但会产生大量烟雾，因此可以火灾烟雾的识别有助于发现早期的火灾情况，如何提高火灾烟雾识别的准确性，并根据识别结果进行相应的预警，具有十分重要的实际应用价值［2］。

近几十年来，国内相关的学者和专家对火灾烟雾识别问题进行一系列的研究，取得了许多研究成果，并且提出一些优秀的火灾烟雾识别方法［3-5］。传统火灾烟雾识别方法主要基于烟雾传感器实现，在建筑物、隧道等火灾预警应用十分广泛，主要根据火灾的烟雾量与阈值进行比较，如果大于阈值就进行火灾报警［6］，但是传统方法不适合于高大空间的火灾报警，尤其当环境比较恶劣时，传感器易效率，应用范围受到了一定的限制［7］。随着计算机图像处理技术的不断成熟，学者提出了基于视频的火灾烟雾识别方法，较好的克服了基于传感器识别方法的不足，成为当前的主要研究方向［8］。基于视频的火灾烟雾识别是一种二分类问题，首先需要提取火灾的烟雾特征，然后建立火灾烟雾识别的分类器，火灾烟雾特征可以划分两类：静态特征和动态特征，其中静态特征主要有颜色、亮度、烟雾面积等，它们不能描述火灾烟雾动态变化特征，当前火灾烟雾受到风的干扰时，火灾烟雾识别大幅度下降，误识率高［9］。动态特征主要包括烟雾方向特征、烟雾形态变化、能量特征等，由于没有考虑到火灾烟雾区域的颜色分布特征，当背景复杂多变时，识别正确率也有所降低［10］。为了克服单一特征难以准确描述火灾烟雾状态的不足，基于组合优化理论，有学者提出了一些多特征的火灾烟雾识别方法，它们只是简单的将特征进行组合，导致特征之间出现冗余，特征维数高，对火灾烟雾识别的实时性产生不利影响［11］。当前火灾烟雾识别的分类器主要基于神经网络和支持向量机进行构建［12，13］，其中神经网络是一种基于“经验风验最小原则”的机器学习算法，具有很好的非线性学习模能力，但要求训练样本大，若不能满足该条件，火灾烟雾识别效果并；支持向量机虽然具有仍好的泛化能力，但计算复杂度高、训练时间长，不利于进行火灾烟雾的实时识别［14］。

相关向量机（Relevance vector machine，RVM）不仅具有支持向量机的良好泛化能力，避免了神经网络的“过拟合”缺陷，而且学习速度要明显优于支持向量机［15］。针对当前单一特征和组合特征存在的不足，为了提高火灾烟雾识别的准确性，提出了一种多特征和相关向量机（Multi-feature relevance vector machine MF-RVM）的火灾烟雾识别方法，并在Matlab2012平台进行仿真实验。

1　MF-RVM的火灾烟雾识别方法

基于MF-RVM的火灾烟雾识别方法的工作原理为：首先采集火灾烟雾识别视频，并对视频图像进行预处理，然后提取火灾烟雾的可疑区域，并提取火灾烟雾可疑区域像的静态特征和动态特征，最后采用主成分析法（PCA）对静态特征和动态特征进行融合，并采用RVM根据融合特征构建取火灾烟雾识别的分类器，从而实现取火灾烟雾的识别，MF-RVM的工作流程具体如图1所示。

图1　MF-RVM的取火灾烟雾识别框图Fig.1 The process of recognizing fire smog with MF-RVM

2　MF-RVM的火灾烟雾识别设计

2.1提取火灾烟雾的可疑区域

提取火灾烟雾的可疑区域是火灾烟雾识别的基础，其直接影响到后续火灾烟雾特征提取和火灾烟雾识别效果，具体步骤如下：

Step1：设火灾烟雾图像相邻两行的亮点数分别为f（n）和f（n-1），如果x=f（n-1）/f（n）的值大于1，那么表示不是火灾烟雾可疑区域，不然就是火灾烟雾可疑区域S1，具体如下

Step2：采用式（2）对火灾烟雾图像进行处理，从背景区域提取火灾烟雾的可疑区域S2。

式中，TH表示二值化运算。

Step3：对火灾烟雾图像的颜色进行变换，然后根据Cb和Cr间的距离提取火灾烟雾图像的可疑烟雾S3。

Step4：将S1、S2、S3进行有效融合，从而火灾烟雾图像的烟雾可疑区域S。

将法定最高刑在3年有期徒刑以下的犯罪划为轻罪，主要解决的是轻罪的“上限”问题，而对其“下限”如何把握，则仍然需要进一步探讨。其中的关键问题就是，是否应当将轻罪的范围进一步拓展至相关的行政违法领域？

一幅图火灾烟雾图像的可疑区域提取结果如图2所示。

图2　火灾的可疑烟雾区域提取Fig.2 The extraction of suspicious smog from fire area

2.2提取火灾烟雾图像的特征

2.2.1静态特征随着火灾不断的发展，烟雾面积会不断的增大，可以根据连续多帧火灾图像的烟雾面积增长率对火灾状态进行描述，因此采用烟雾面积增长率作为火灾烟雾识别的静态特征，烟雾面积增长率G（t，t0）的计算公式为

式中，size（T）t和size（T）t0表示第t和t0帧的烟雾面积大小。

2.2.2动态特征对于火灾烟雾图像的可疑区域全部像素点的光流方向划分为4个区域：

这样，统计火灾烟雾可疑区域S像素点的光流分布，得到可疑区域的火灾烟雾方向特征Fi=（Ui，Di，Li，Ri），它们表示表4个方向上像素的光流统计百分比，具体如：

式中，ku，kd，kl，kr表示火灾烟雾可疑区域S在I1，I2，I3，I4方向上的点。

由于火灾烟雾可疑区域在4个方向上的比例高，而非火灾烟雾可疑区域的光流分布仅一方向上的比例高，因此根据特征Fi可以描述火灾烟雾可疑区域运动特点。

2.3基于相关向量机的火灾烟雾识别

式中，wi表示权向量；K（x，xi）表示核函数。

假设目标函数独立、含噪声（εn），那么就有

训练集的似然函数计算公式为

为了防止在求解最优w中，出现“过拟合”问题，通过Bayesian法给w赋予先验条件概率分布，即有：

采用Bayesian法计算全部未知参数的后验条件概率分布，具体如下

W的后验概率计算公式变为：

通过delta函数将相关向量学习过程化为超参数后求解过程，根据delta函数峰值逼近超参数后验，反复使用迭代估计法得

式中，μi表示第i个后验概率的均值；γi=1-∑ij；∑ij第i个对角元素。

RBF函数只需估计宽度参数σ，简单、训练效率高，因此本文选择RBF函数构建相关向量机，RBF函数定义如下：

根据训练好的相关向量机对火灾烟雾进行分类和识别，并根据识别结果做出相应的措施。

3　仿真实验

3.1数据源

为了测试MF-RVM的火灾烟雾识别有效性和优越性，在英特尔酷睿4核2.8 GHz CPU，8 G RAM，800 G HDD，Win7的计算机上，采用Matlab2012工具箱进行火灾烟雾识别的仿真实验，火灾烟雾视频大小为640×480，帧的工作速率为30帧/s，部分视频图像如图3所示。选择静态特征+相关向量机（RVM1）、动态特征+相关向量机（RVM2）、简单特征融合+相关向量机（RVM3）、多特征融合+BP神经网络（MF-BP）以及多特征融合+支持向量机（MF-SVM）进行对比实验。

图3　部分火灾烟雾识别的测试数据Fig.3 The test data to recognize partial fire smog

4　结果与分析

每一种火灾烟雾识别方法均进行10次仿真实验，统计它们的平均识别率以及平均运行时间，MF-RVM与其它火灾烟雾识别方法的实验结果如表1所示。

表1　不同方法的实验结果统计Table 1 The statistic results with different methods

对表1各种方法的火灾烟雾测试结果进行对比和分析，得到如下结论：

（1）单一静态特征或者动态特征火灾烟雾识别方法（RVM1、RVM2）的运行时间少，每帧识别速度快，但火灾烟雾的误码率相当高，火灾烟雾识别效果均比较差，平均识别率远远低于实际应用要求的85%，没有什么实际应用价值。

（2）相对于RVM1和RVM2，RVM3火灾烟雾的误识率降低，火灾烟雾识别率得到了改善，但是平均运行时间和每帧运行时间急剧上升，这是因为RVM3只是将静态特征和动态特进行简单组合，虽然可以从多个方面描述火灾烟雾状态，但是出现了大量的冗余特征，使得关向量机的输入维数过高，计算机复杂度增加，火灾烟雾识别效率低，而且冗余特征对火灾烟雾识别率产生了不利影响。

（3）相对于RVM1和RVM2以及RVM3，MF-RVM火灾烟雾识别效果得到了显著的提高，这主要是由于MF-RVM通过核主成分分析对静态特征和动态特征进行有效融合，不仅克服静态特征或者动态特征只能部分描述火灾烟雾状态，同时克服了简单组合特征信息冗余严重的缺陷，有效降低了相关向量机的输入向量维数，不仅提高了火灾烟雾识别的正确率，而且提高了火灾烟雾识别效率。

（4）相对于MF-BP以及MF-SVM，MF-RVM火灾烟雾识别率也相应提高，主要因为RVM不仅具有支持向量机的良好泛化能力，避免了神经网络的“过拟合”缺陷，而且克服了支持向量机学习效率低的不足，加快了火灾烟雾识别的速度，识别结果和识别速度完全可以满足火灾烟雾识别实际应用要求。

5　结束语

针对当前火灾烟雾识别中的特征选择和分类器构建问题，本文提出了一种多特征融合和相关向量机的火灾烟雾识别方法，该方法首先提取可疑火灾区域的多种烟雾特征，准确刻画了火灾的发生状态，然后采用KPCA对多特征进行融合，降低特征的维数和消除特征之间冗余干扰，减少分类器的输入向量数目，最后采用相关向机构建火灾烟雾识别模型，从而实现火灾烟雾识别，实验结果表明，PSO-RMV的平均识别正确率要优于其它火灾烟雾识别模型，而且识别效率可以满足火灾烟雾识别的实时性要求，具有广泛的应用前景。在实际应用中，相关向量机的火灾烟雾识别性能与其参数设置密切相关，如何获得最优的参数，进一步提高火灾烟雾识别是一下步将要研究的方向。

［1］DongilH，LeeB.Flameandsmokedetectionmethodforearlyreal-timedetectionofatunnelfire［J］.FireSafetyJournal，2009，44：951-961

［2］Courbata J，Pascub MM，Gutmacherc D，et al.A colorimetric CO sensor for fire detection［J］.Procedia Engineering，2011，25：1329-1332

［3］Celik T，Demirel H.Fire detection in video sequences using a generic color model［J］.Fire Safety Journal，2009，44：147-158

［4］Krstinić D，Stipaničev D，Jakovčević T.Histogram-based smoke segmentation in forest fire detection system［J］. Information Technology and Control，2009，38（3）：237-244

［5］王莹，李文辉.基于多特征融合的高精度视频火焰检测算法［J］.吉林大学学报：工学版，2010，21（3）：769-775

［6］许宏科，房建武，文常保.基于亮度与火焰区域边缘颜色分布的火焰检测［J］.计算机应用研究，2010，27（9）：100-103

［7］Wang L，Ye M，Ding J，et al.Hybrid fire detection using hidden Markov model and luminance map［J］.Computers and Electronic Engineering，2011，37（6）：905-915

［8］Teng Z，Kim JH，Kang DJ.Fire detection based on hidden Markov models［J］.International Journal of Control，Automation and Systems，2010，8（4）：822-830

［9］Ko BC，Cheong KH，Nam JY.Fire detection based on vision sensor a support vector machines［J］.Fire Safety Journal，2009，44（3）：322-329

［10］Truong TX，Kim JM.Fire flame detection in video sequences using multi-stage pattern recognition techniques［J］. Engineering Applications of Artificial Intelligence，2011，25（7）：1365-13722

［11］吴爱国，杜春燕，李明.基于混合高斯模型与小波变换的火灾烟雾探测［J］.仪器仪表学报，2008，29（8）：1622-1626

［12］杨猛，赵春晖，潘泉，等.基于小波分析的烟雾多特征融合和空间精度补偿森林火情检测算法［J］.中国图象图形学报，2009，14（4）：698-700

［13］袁非牛，张永明，刘士兴，等.基于累积量和主运动方向的视频烟雾检测方法［J］.中国图象图形学报，2008，13（4）：808-813

［14］Ko BC，Park JO，Nam JY.Spatiotemporal bag-of-features for early wildfire smoke detection［J］.Image and Vision Computing，2013，31（10）：786-795

［15］柳长源，毕晓君，韦琦.基于相关向量机的含噪声人脸图像识别［J］.吉林大学学报：工学版，2013，43（3）：1121-1126

AMethod of Identification for the Smog in the Fire Based on Multi-feature Fusion and Relevance Vector Machine

CAI Rong-wen
Hangzhou Wanxiang Ploytechnic，Hangzhou 310023，China

Aiming at a defect in identification for the fire smog described by a single feature and a simple combination in order to improve the accuracy of identification for the fire smog，this paper put forward a new method which fire smog was identified by the Multi-feature fusion and Relevance Vector Machine（MF-RVM）.Firstly，the static and dynamic features were obtained in a suspected fire smog area and then combined them with principal component analysis to eliminate the redundancy message between features.Lastly，relevance vector machine was used to train the fusion features and established an identification model for a fire smog to carried out the simulation test on the Matlab 2012 platform.The results showed that the proposed method could effectively identify a fire smog to be more than 95%an average recognition accuracy and increase the efficiency of identification so as to satisfy the real time requirements of identification for fire smog.

Fire smog；motion features；relevance vector machine

TP391.4

A

1000-2324（2016）02-0259-05

2014-11-12

2014-12-06

浙江省高等学校访问学者教师专业发展项目：基于图像处理的火灾烟雾智能探测研究（FX2014196）

蔡荣文（1974-），男，浙江苍南，本科，讲师，主要研究方向：计算机应用.E-mail：wxxycrw@126.com