海计算模式下的森林火焰识别算法

王 全，赵涓涓

（太原理工大学 计算机科学与软件学院，山西 太原030000）

0 引 言

近年来出现的海计算模式是预防森林火灾的有效手段［1］。本文运用海计算模式和YcbCr色彩空间实现了森林火焰识别算法。

海计算模式强调前端物体可以进行一定的智能算法，而不完全依靠后台的服务器。这种数据处理方式不仅节约了能耗，而且降低了经济成本。海计算模式的定义请参见文献 ［2］。

摄像头捕获的彩色图片大都采用RGB 色彩空间处理。虽然RGB色彩空间适用于像素点分类，但其依赖光照的特性，使得区分火焰像素点的结果不稳定，而且，图像像素点色度值的重要性在于对火焰颜色进行建模，但运用RGB色彩空间无法使像素值转化为亮度值和色度值，从而不能对火焰颜色建模。在火焰检测过程中，算法对火焰像素点的检测鲁棒性要求较高，所以需要将RGB色彩空间转换成一个可以区分像素点亮度值和色度值的色彩空间。

YCbCr色彩空间可以良好区分亮度和色度。YCbCr的定义请参见文献 ［3］。运用YCbCr色彩空间进行建模，可以较准确提取出可见光图像中的疑似火焰区域。

火焰燃烧频率，是反应火焰特点的一个重要因素。火焰燃烧频率有其特有的规律，检测火灾燃烧的频谱特性对森林防火有着至关重要的作用。如果可以得到火焰燃烧的频谱特性，就可以利用火焰的频率来判断森林火灾是否发生。

本文结合海计算模式中未知场景的适应性，信息处理的实时性，网络前端的智能性，资源能耗的节省性等优点，将视频检测算法植入到海计算模式的前端传感器节点，避免了将大量的数据发送到后台，使森林视频火焰判断在海计算模式的前端就可以完成，节省了大量的能耗与带宽。实验结果表明，采用这种方式来监测火焰、预警森林火灾较为有效。

1 相关工作

海计算模式由中国科学院江绵恒副院长在中国国科学院战略高技术十二五规划研讨会上提出。海计算模式的特点请参见文献 ［4］。

海计算模式特别适用于对系统的实时性、准确性要求较高的场景，这些场景往往很难通过 “分布式信息采集→云计算平台→反馈控制”这种架构来完成监测功能。而借助海计算模式则可以充分挖掘终端节点的计算资源，并实现智能实时感知和精确控制。海计算模式的应用请参见文献 ［5］。

在运用视频检测来实现火焰识别的方法中，张进华等［6］根据燃烧过程中火焰的物理特性，结合火焰的静态和动态特征，设计了一种多特征融合的火焰识别算法，基于信任度模型快速判别是否存在火焰；陈建新等［7］利用二维投影技术并结合火灾的亮度变化率快速提取火焰疑似区域；李文辉等［8］根据红外图像RGB空间的色彩分布特点以及减聚类和模糊C均值聚类相融合的方式建立神经网络分类器来判断火焰是否存在；Stadler等［9］通过对火焰的高度、大小和亮度的差异特性建立分类器来检测火焰；Habiboglu Y H 等［10］结合图像特征向量并利用SVM 产生fire－coloured区域，然后运用轮廓的规则度，空间能源、闪烁和时空的能量变化率来检测火焰；Verstockt S等［11］通过检测烟雾、可见光、红外光谱范围以及火焰疑似区域的规模和增长率，并建立video－driven模型来判断火焰是否存在。

以往大部分森林防火方法存在的问题有：①在森林防火的无线传感网中，前端节点持续向后台发送图像会大量占用网络带宽，其造成的网络延时会削弱检测系统的实时性；②在视频火焰检测的算法中，大部分过多依靠其颜色特征得出结论，这导致检测易受阳光，干扰物等的影响，从而导致误检率较高。

本文提出的算法在保证准确率的情况下，较明显提高了算法检测的效率。

2 海计算模式下的森林防火思想

将海计算模式运用到森林防火算法中，其优点就是在传感端进行数据的收集与分析。森林防火系统的智能前端，搭载有外置摄像头，该摄像头可以捕捉较大范围的森林区域，当摄像头捕获图像后，内置于传感节点微处理器的算法会对图像进行分析，然后判断是否存在火焰，如果存在火焰，则传感端通过串口发送火焰警报给汇聚节点，汇聚节点会立即通知工作人员采取相应措施来灭火。

3 算法具体描述

图像所占存储空间较大，加之传统的具有视频检测功能的森林防火系统是把采集到的每张图片都发送给汇聚节点［12］，这不仅导致了网络带宽被图像传输大量占用，而且影响了其它信息例如温度信息和湿度信息等的发送。以上缺陷使得森林火灾视频监控方法并未得到普及。

针对以上问题，本算法把数据处理交付给前端结点，这使得视频检测可以大范围运用到无线传感网络覆盖的范围内。算法结合YCbCr色彩空间和火焰频率来分析火焰视频，使得检测准确率大幅提高。本算法的流程如图1所示。

图1 算法流程

3.1 提取疑似火焰区域

（1）将RGB色彩空间转换到YCbCr色彩空间摄像机捕获的图片是RGB色彩空间的，RGB色彩空间在预防森林火灾中存在缺陷，即亮度对实验结果的影响较大，容易造成误判。而YCbCr色彩空间消除了亮度对实验结果的影响。将RGB色彩空间转化到YCbCr色彩空间，运用的公式如下

式中：Y——亮度，Cr——RGB 输入信号红色部分与RGB信号亮度值之差，Cb——RGB 输入信号蓝色部分与RGB信号亮度值之差。

（2）求Cr，Cb的概率分布函数森林火焰的Cr的概率密度分布曲线如图2所示。

图2 Cr的概率分布

森林火焰的Cb的概率分布曲线如图3所示。

图3 Cb的概率分布

由图2、图3可知，Cr，Cb的概率分布与正态分布非常接近。可以认为火焰图像中每一像素点在其Cr，Cb空间中服从正态分布，从而得到分布函数

检测图像中一点是否是火焰点的依据是将该像素点的Cr，Cb分量代入上述公式中，得出的结果与阈值T进行比较。

为了得到阈值T，本文收集了173 个火焰样本和185个无火样本进行测试，原则上使95%的有火像素点满足该筛选条件，。最终，得出的阈值T 为0.43。

此步骤得到的结果如图4（b）所示（图4（a）为源图像）。

图4 算法处理效果

用以上的方法对森林火焰图片进行处理，虽然得出的结果已经滤除了绝大部分环境因素，但是仍有许多噪点，这是由于这些噪点的色差和亮度与火焰很接近造成的。但是，这些点的颜色与火焰有很大差别。所以，我们通过颜色的不同来去除噪点。

HSV色彩空间符合人类的视觉系统，与人类视觉对事物的理解大体一致。RGB色彩空间转换到HSV空间的公式如下

式中：H——色相，S——饱和度，V——色调。

相似距离是指两个像素点的色调的接近程度。火焰的红色分量的色调在0－26°，我们根据这一知识来过滤不符合此条件的点。相似距离的检测过程：

1）逐个遍历图像中的像素点，计算每个像素点的色调（也就是V 的值）。如果遍历到的像素点红色色调属于0－26°，则将其作为基准点B，再根据上述公式计算出该像素点各个分量的值。

2）扫描下一个像素点，按照1）的条件，来筛选像素点P，同时计算已筛选出像素点的各分量值。

3）利用颜色对的相似距离来进行筛选，相似距离公式为

式中：VB、VP——B点与P点的色调值，SB、SP——B 点与P点的饱和度，HB、HP——B点与P点的色相值。

按照人的视觉特征，当HSV 颜色对的相似距离大于小于2.7，人会认为他们是相似的；当距离大于5.3，人的视觉系统会将他视为具有显著的差异性。

4）当P与B的相似距离小于2.7时，将P作为火焰点保留，其余的则去除不要。

5）以P 为基准点，重复2）到4）的步骤，直至将图像中所有的像素点全部遍历完毕。

结果如图4 （c）所示。

（3）运用中值滤波滤除边缘噪点：图4中的大部分噪点已经滤除，但边缘有些噪点仍然存在，所以对这些噪点进行中值滤波。方法是，在提取火焰疑似区域的最初步骤，进行如下计算：当某一像素点f（Cr，Cb）满足阈值要求，被视为火焰点时，计算出改点3＊3邻域的另外8个点的f（Cr，Cb）值，把这9个点的f（Cr，Cb）按照从大到小排序，取该序列中间值为改点的f（Cr，Cb）值。将9个点的f值以从大到小的顺序排列，如式（6）所示。其中，取f4为该点的f（Cr，Cb）值

改进后的效果图如4 （d）所示。结果基本上滤除了边缘附近的噪点，图像更加清晰。

3.2 通过图像序列求火焰频率

由于森林火焰中的设备监控用到的是视频监控，我们对视频得到的多帧图像进行火焰频率的计算，同时利用得到的火焰频率值进行火焰的进一步判断。

视频捕获到的实际是具有时间顺序的一系列图片。我们对这一系列的图片每张图片都进行上述的火焰疑似区域提取。我们将具有疑似区域的第一张图片作为参考图片，后续图片与参考图片的相关性系数则会随着时间的变化而变化。然后我们将此信号进行傅里叶转换之后，就可以得到该信号的频域图，从而得知森林火焰的频率。

相关性系数：图像具有时间相关性和空间相关性。一幅图像由若干像素点构成。一个像素点通常与它周围像素点在色差和饱和度方面有着一定的联系，这种联系称之为图像的空间相关性。在一个图像序列中，前一帧与后一帧也存在一定的联系，这种联系称之为图像的时间相关性。本文的方法基于图像的时间相关性提出。

假定在一个图像序列中，相邻两帧的图像分别为P1（m，n）和P2（m，n），P1与P2的相关性系数R 定义为

式中：m，n分别代表图像的行数和列数，珚P1、珚P2分别代表图像P1、P2的平均像素值。而对于两帧灰度图像P1（m，n，k）与P2（m，n，k），其相关性系数Rk定义为

式中：k——图像的HSV 色彩空间的分量。K ＝1，2，3时，对应的Rk分别表示两帧图像色相，饱和度和色调的相关性系数。下文中分别记为Rh，Rs，Rv。

本文用离散傅里叶变换将相关性系数的序列R（k）的时域图转换为频域图。转换公式如下所示

其逆变换为

上述得出的R，Rh，Rs和Rv时域图，经上述公式分别对应转换成频域图。如图5～图8所示。

图5 Rh时域图与频域

由图6～图8可知，HSV 色彩空间三分量的相关性系数的主频率非常接近。经173张森林火焰图片统计，按此方法得出的森林火焰的频率阈值为1.62Hz。

算法通过对视频的一系列帧中每一帧进行火焰疑似区域的提取，然后把相邻两帧作为研究对象，通过对其相关性系数的时域图的离散傅里叶转换，得到频域图，从而得出其频率，将得出的频率与1.62 Hz作比较，如果结果与1.62Hz相差不超过0.2 Hz，则认为有火焰，把报警信息发送给汇聚节点；若结果与1.62 Hz相差大于0.2 Hz，则算法判定无火焰，不发送警报信息。

图6 Rs时域图与频域

图7 Rv时域图与频域

4 实验环境

图8 R 时域图与频域

本实验基于简化的无线网络实现，实验的设备主要包括5类传感器和1类监控器：监视监控器 （配透雾镜头），光亮度传感器，温度传感器，湿度传感器，火焰传感器，大气压力传感器。上述传感器和监控器 （每类1个）都集成在传感端节点上。传感端节点的主体部分由电源、微处理芯片和无线通信模块构成。

5 实验结果分析

本实验通过分析森林视频 （有火视频、无火视频、有干扰物的视频）来检验算法准确率和耗时。

（1）不同环境因素下算法的准确率比较：在森林中的环境因素较多，影响火焰检测算法准确性的因素主要有3个：风速、阳光照度和飞鸟 （干扰物）。每一种环境因素下，我们进行实验的次数均为100，定义准确率为：准确率＝100次实验中准确检测的次数／100。

由表1可知，当风速很大时，枝叶摆幅加大（算法易将其与火焰的火苗增长相混淆），但本算法在此情况下准确率仍然稳定。当阳光的照度很强时，（较高的照度易与火焰的高亮度相混淆）本算法的准确性仍然稳定。当飞鸟的个数增多时（干扰物会影响判断结果），本算法的误报率仍然较低。

表1 算法在不同环境因素下准确率比较

（2）算法的耗时比较：由于耗时的多少是度量无线传感器网络好坏的重要的一环，所以我们把本文提出的基于海计算模式下的森林火焰识别算法的能耗与未采用海计算模式的森林火焰识别算法进行比较，见表2。

由表2可知，采用了海计算模式的算法与未采用海计算模式的算法相比，耗时大大减少，这有利于更好地实现森林火焰检测的实时性。

表2 算法在不同帧数下耗时比较

6 结束语

本文提出的火焰检测算法引用了海计算模式、YCrCb色彩空间以及相关性参数，解决了部分传统森林防火检测算法的低效率和高能耗问题，对图像中火焰区域的检测与识别起到了显著的作用。本算法依然有可以改进的地方，例如，如何进一步降低算法的漏报率，如何进一步降低算法的耗时以及如何进一步提高算法的效率等问题将会是以后研究的重点。

［1］Avila－Flores D，Pompa－Garcia M，Antonio－Nemiga X，et al.Driving factors for forest fire occurrence in durango state of mexico：A geospatial perspective ［J］.Chinese Geographical Science，2010，20 （6）：491－497.

［2］Chen Z，Wang H，Liu Y，et al.A context－aware routing protocol on internet of things based on sea computing model［J］.Journal of Computers，2012，7 （1）：96－105.

［3］Naumowicz M，Melosik M，Katarzynski P，et al.Automation of CMOS technology migration illustrated by RGB to YCrCb analogue converter ［J］.Opto－Electronics Review，2013，21（3）：326－331.

［4］Kim W，Diko M，Rawson K.Network motif detection：Algorithms，parallel and cloud computing，and related tools ［J］.Tsinghua Science and Technology，2013，18 （5）：469－489.

［5］SUN Ninghui，XU Zhiwei，LI Guojie.Sea computing：New computing model for the Internet of things ［J］.China Computer Federation，2010，6 （7）：52－57 （in Chinese）.［孙凝晖，徐志伟，李国杰.海计算：物联网的新型计算模型［J］.中国计算机学会通讯，201，6 （7）：52－57.］

［6］ZHANG Jinhua，LI Ting，WANG Sun’an，et al.An early detection algorithm for small flame based on vision system with variant field of view ［J］.Journal of Xi’an Jiaotong University，2012，46 （10）：29－35 （in Chinese）. ［张进华，李婷，王孙安，等.可变视场下的火灾探测算法 ［J］.西安交通大学学报，2012，46 （10）：29－35.］

［7］CHEN Jianxin，LIU Qing，CHEN Jia.Algorithm to predict high way tunnel fire based on video data ［J］.Transactions of Beijing Institute of Technology，2012，32 （6）：596－601 （in Chinese）.［陈建新，刘青，陈佳.基于视频数据的公路隧道火灾预警算法［J］.北京理工大学学报，2012，32 （6）：596－601.］

［8］LI Wenhui，WANG Ying，ZHAO Ruilin，et al.Fire detection with day－night infrared camera［J］.Jouranl of Hunan University（Natural Sciences），2012，39 （8）：73－80 （in Chinese）. ［李文辉，王莹，赵瑞霖，等.使用日夜两用型红外摄像机进行火焰检测［J］.湖南大学学报：自然科学版，2012，39（8）：73－80.］

［9］Stadler A，Windisch T，Diepold K.Comparison of intensity flickering features for video based flame detection algorithms［J］.Fire Safety Journal，2014，66：1－7.

［10］Habiboglu YH，Gunay O，Dietin AE.Covariance matrixbased fire and flame detection method in video ［J］.Machine Vision and Applications，2012，23 （6）：1103－1113.

［11］Verstockt S，Tilley N，Merci B，et al.Future directions for video fire detection ［C］／／10th International Symposium on Fire Safety Science.International Association for Fire Safety Science，2011：529－542.

［12］QIAN Zhihong，WANG Yijun.Internet of things－oriented wireless sensor networks review ［J］.Journal of Electronics＆Information Technology，2013，35 （1）：215－227 （in Chinese）.［钱志鸿，王义君.面向物联网的无线传感器网络综述 ［J］.电子与信息学报，2013，35 （1）：215－227.］