基于图像熵的火灾烟雾识别

潘朝峰，杨树森，陈 宁

(江苏科技大学能源与动力工程学院，江苏镇江212003)

火灾是一种严重的灾害，它包括火焰和烟雾两个部分.火灾一般以预防为主，火灾前期的探测和预警极为关键.相当一部分火灾在前期会有阴燃阶段，只会产生烟雾，不会产生火焰.而烟雾具有很好的扩散性质，可以越过障碍物，最终进入摄像头的视野范围.因此，烟雾是一种较好的大空间视频火灾探测指标.传统的火灾报警系统采用感烟报警系统，通过检测烟雾的浓度来防范火灾，由于采用离子式烟雾传感器，在传感器远离火源时很难对火灾初期进行报警［1］.在大空间复杂环境中，利用顶置鱼眼摄像头的方法［2］，可以很好地解决视野问题，只需要安装1～2个摄像头，就可以实现大范围、高空间的火灾预报，极大地提高火灾报警的准确性，减少监测传感器的数量，降低火灾报警系统建设的成本.

在通常的烟雾识别中，研究者往往针对烟雾图片的图像特征，通过一定的变换和累加得到烟雾的特征［3］.通过小波变换，将图片中因烟雾产生而造成的高频能量衰减部分显示出来，最终实现烟雾区域的探测［4］.通过模糊图像的方法，再通过使用包括运动矢量，表面粗糙度和随机性变量等的检测，来判断是否有烟雾［5］.通过建立火焰和烟雾的模型，利用前景图像的积累和光流法的技术，来判断火焰和烟雾的有无［6］.利用混合高斯模型对背景建模，使用背景可疑区域提取算法和图形原始分割，来区分烟雾的干扰运动，进而实现烟雾的探测［7］.

烟雾运动是一种典型的自由扩散流体运动，它与平时空间内的干扰运动(例如人的活动)区别很大.人的活动可以用平移，旋转等简单的动作复合模拟出来，而烟雾运动则很难模拟出来.原因是烟雾的扩散是一种典型的熵增运动［8］，而简单的刚体运动则近似认为是等熵运动.自由扩散运动是流体的一种很常见的运动形式，它主要存在于两种不同但可以互溶的液体或气体介质之间，或不相溶的两种液体介质表面.例如烟的扩散、云层的运动、钢笔水的扩散、油在水表面的扩散等.

图像熵的概念来源于信号学，它在信号学中的作用主要是衡量图像解压缩质量的好坏.定义为:

图像熵是一种信息熵，表示图像灰度级集合的几何平均数，图像熵值的大小表现了图像变化的剧烈程度.

火灾的可怕之处正是在于其运动的方式，在适当的条件下，火灾的火焰和烟雾均会向四周扩散，再加上火焰的高温和烟气的毒性，会严重威胁人员的生命安全.文中通过引入图像熵这一物理量，用图像熵值分析算法来辨别空间内不同的运动，进而为火灾预测信息的处理提供指导.文中使用数学处理软件Matlab，编程语言为C++，使用的函数均为Matlab中常用的数学函数.

1 理论分析

流体的运动一般可以分为层流和紊流运动，其作何种运动由其运动的雷诺数决定:

式中:v为流体运动的速度;L为流体运动区域圆周的大小;ν为运动流体介质的粘性.雷诺数较小时，流体作层流运动，雷诺数较大时，流体作紊流运动［9］.烟雾的运动是一种扩散式的加速运动，在烟雾运动较靠近发烟点的地方，雷诺数较小，烟雾趋于层流运动.流体的两种运动形式，其传递的动量、热量和质量均有差别，紊流的传递效率远大于层流，因此，它的熵增也远大于层流运动.

1.1 烟雾扩散的基本运动规律

设发烟点释放的烟雾以特定的规律变化，它的大小只与时间有关，用傅立叶级数可以表示发烟点释放的烟雾量为:

将发烟点作为原点，设 C(x，y，z，t)为 t时刻任一点(x，y，z)的烟雾浓度，根据傅立叶传热定律:即:无穷小时段dt内，流过物体的一个无穷小面积dS的热量dQ与时间dt、曲面面积dS以及烟雾浓度c 沿曲面dS的外法线n的方向导数三者成正比.式中:k为烟雾在某一点的扩散系数，负号表示烟雾由浓度大的地方向浓度小的地方扩散.

对于Ω内任意封闭曲面S，设其所包围的空间区域为V，那么，从t到时刻t+Δt经曲面S扩散的烟雾为:

在区域V内，浓度由c(x，y，z，t)到c(x，y，z，t+Δt)所需要的烟雾量为:

由质量守恒定律，有:

假设函数c(x，y，z，t)关于x，y，z具有二阶连续偏导数，关于t具有一阶连续偏导数，那么由高斯公式得:

由于在烟雾的自由扩散过程中，各个方向是一样的，因此，烟雾自由扩散满足下列微分关系式:

这是一个二阶常系数线性偏微分方程，它与三维热传导方程有相同的形式［10］，它的基本解为:

上式表明，烟雾的等浓度区域是球面形状，随着离原点的距离变大而减小，随着时间的变大而减小.对于同一时刻发出的烟雾，因为其浓度是各向同性的，因此各部分受到的浮力也是相同的，所以烟雾的整个部分也会以相同的速度向上扩散.方程式(8，9)给出的浓度方程的解是某一时刻发出的烟雾的运动规律，并非烟雾连续的运动规律.连续的烟雾运动由于跟烟雾的释放量也有关系，其微分方程过于复杂，无法解出精确解.将方程式(8，9)的浓度关系固定到本地坐标上，只需要在本地坐标和世界坐标之间加一个表示浮力或者微风运动关系的运动方程，即可表示浮力或者微风对烟雾运动的影响.考虑到Q也是关于时间的函数，浓度随时间的变化关系并不确定.烟雾显示在视频上的效果与光线穿过烟雾时烟雾的浓度与弦长的乘积大小有关.理论计算结果表明:视频上烟雾的区域有先扩大后变小的趋势，直到最后消散.

然而，实际中的烟雾产生是一个连续的过程，而且烟雾由于温度较高，密度较小，会在浮力的作用下向上运动，因此，会形成一系列向上扩大并最后消散的“烟圈”.

1.2 自由射流运动的特征

自然界的大多流动是紊流，上述烟雾的简单运动规律是在层流的假设下进行的，实际的烟雾发生过程较为激烈，甚至是喷射出来的.这种烟雾的运动遵循自由剪切紊流中的自由射流运动规律.自由射流是一种流体从一喷口或者孔口射入另一静止或者运动流体中的流动现象.因为流动流体和周围静止流体之间有一个较大的速度梯度，因此能不断地将周围流体卷吸进来，于是沿流动方向速度减小，流动宽度不断增加.根据自由射流的自保存特性，其无量纲时均速度可表示为:

根据动量守恒，并结合无量纲时均速度分布函数可得:

由量纲分析知:

比较式(11，12)，得:

实验表明，紊流射流的宽度沿流动方向线性增加，扩张角［11］为4°.紊流运动极不稳定，会造成视频烟雾中的图像熵剧烈变化.

2 实验设计

实验共分为2部分，分别观测了烟雾运动规律与图像熵之间的联系以及烟雾运动与干扰运动在图像熵参量上的区别.

视频都使用同一台KEDA NVR网络摄像头，实验地点为实验室，光照条件为日光灯，实验分为3组:空实验室、烟雾以及人活动干扰组(图1).

图1 实验分组Fig.1 Groups of experiment

通过对3组场景分别采集数据，再使用Matlab中的Simulink模块进行视频转换，使asf格式的视频数据转化为Matlab可以处理的avi格式.原先的asf格式数据量很小，转化为avi格式之后，视频数据会变得很庞大.

分别对3组数据进行求图像熵，求帧差的图像熵，并对帧差的图像熵进行傅立叶变换处理，以观察3种运动的频率规律.

3 实验结果及讨论

3.1 图像熵值分析

对3组数据分别抽取200张图片并求图像熵得到结果如图2，E为图像熵，n为图片的张数.

图2 对视频中图片求图像熵结果Fig.2 Image entropy of the images of the videos

从实验结果中可以看出:

1)在静止的情况下，图像熵也是在一定范围内变化的，但是运动的物体可以在较大的程度上影响图像熵的变化.

2)运动物体对图像熵变化的影响与运动的模式有关.学生的运动造成图像熵的起伏，有升有降，烟雾在实验室中有一定的积累特性，因此，随着烟雾的扩散，图像熵值有增加的趋势.

3.2 帧差图像熵值分析

由于图像熵这个变量会将图像中所有的数据都会统计在内，所以运动区域较小时，图像中运动物体的运动所造成的图像熵值变化较为不明显.为此，采用帧差法，将图像中静止不动的物体消除掉，留下运动变化的物体，可以更好的观测物体运动模式与图像熵值之间的关系.

对3组数据分别作帧差然后求图像熵(图3).

图3 对视频的帧差求图像熵结果Fig.3 Image entropy of the frame differences of the videos

从实验结果中可以看出:

1)图像帧差之间的图像熵波动是自然存在的，它不会因为物体静止而消失.运动的物体会增加图像熵值，特别是高频运动.原因摄像头拍摄物体的速度为25帧/秒，低速运动的物体对帧差的影响不大.但烟雾的运动对帧差图像熵值影响较大，熵值总体增加了约50%.

2)烟雾运动的存在不但增加了图像熵值的整体值，而且图像熵值的变化也变得更加杂乱无章，频率有变高的趋势.人的运动也能干扰图像熵值的波动，但却减小了图像熵值波动的频率.

图4 傅立叶变换处理结果Fig.4 Outcome of Fourier transform

3.3 频谱分析

为了更好地分析不同运动模式对图像帧差图像熵h变化频率f的影响，分别对以上3组数据进行傅立叶变换，得到图4.

从实验结果可以看出:

1)3组数据在200多赫兹附近都有一个主频率.

2)学生的活动会使这个主频率左移，而烟雾运动则会使这个主频率右移.学生的运动使得高频信号发生衰减，而烟雾则会增加高频信号的强度.

原因是学生运动是较为简单的类刚体运动，其运动的频率很低，最终的作用结果是拉低了整体的图像熵差的主频率.静止物视频的图像熵差来自于日光灯的频闪，它跟交变电流的强弱周期性变化有关.烟雾运动的频率高于这种交变电流的周期性变化，造成了主频率的增加.而高频信号的变强和无规律则是因为烟雾的扩散释放了较多的能量.相对来说，人物的干扰运动视频和静止实验室视频基本一样，是因为类似刚体的运动，带有更大的可逆性，释放图像像素变化能量较少.

3.4 讨论

气体的扩散作为一种典型的熵增运动，在运动的过程中会伴随剧烈的能量散发，用肉眼看来就是翻滚和旋窝等典型的紊流特性.这种剧烈的变化在信号变化方面会反映为无规则的高频信号.从实验中可以看出烟雾运动的频率高频能量多而且变化激烈，这与实验之前对于烟雾运动模式对图像熵变化的影响的推测相吻合.而干扰运动对图像熵影响也较小，与理论分析相符.

从运动模式上分析，平移和振动都是刚体运动，因此对于图像熵变，他们具有很大的相似性.但是对于烟雾的扩散运动，后者的模式更接近于对图像添加噪音，一个简单的实验可以证明这个问题，对经过简单变换的图形求熵值见表1.

表1 简单变换的图像熵值Table 1 Image entropy of simple translation

从表1中可以看出，各种刚体运动对图像熵值变化的影响不大，而实验中图像熵值变化明显，主要是因为运动模式不同.人和其他固体的运动如振动等一般可以归纳为平移、旋转等，这些运动在图像中对图像熵值的影响不大，但是扩散运动在面积方面的变化很大，对图像熵的变化贡献也较大.

4 结论

通过对烟雾的运动模式理论分析，结合热力学和流体力学的理论计算，得出烟雾运动的规律.通过引入信号学中图像熵物理量，来实现烟雾运动的快速检测.通过实验验证，与预期的理论分析吻合.文中所使用的检测算法较为简便快捷，适合嵌入处理量大的视频流处理中，为火灾烟雾的识别提供了一种新的方案.文中火灾烟雾识别使用的机理也比较简单，即从烟雾扩散的运动模式和热力学性质出发，指出烟雾在运动模式方面具有其独特的性质，结合图象熵在图象评估的作用，进而得到识别烟雾的算法.这在一定程度上弥补了传统烟雾识别算法上计算复杂的缺点.同时着重对运动模式的分析，较少考虑图像本身像素的影响，所以得出的结论也较为可靠.

References)

［1］ Ko B C，Park J，Nam J Y.Spatiotemporal bag of features for early wildfire smoke detection［J］.Image and Vision Computing，2013，31:786 -795.

［2］ 陈宁，丁飞.一种改进的帧差法实现火焰目标分割［J］.火灾科学，2010，21(4):1004 -5709.Chen Ning，Ding Fei.An improved frame differential method to achieve flame segmentation［J］.Fire Safety Science，2010，21(4):1004 -5709.(in Chinese)

［3］ Yuan Feiniu.A double mapping framework for extraction of shape-invariant featuresbased on multi-scale partitions with AdaBoost for video smoke detection［J］.Pattern Recognition，2012，45:4326 -4336.

［4］ Gubbi J，Marusic S，Palaniswami M.Smoke detection in video using wavelets and support vector machines［J］.Fire Safety Journal，2009，44:1110 -1115.

［5］ Tung T X，Kim J M.An effective four stage smoke detection algorithm using video images for early fire alarm systems［J］.Fire Safety Journal，2011，46:276 -282.

［6］ Yu C，Mei Z，Zhang X.A real time video fire flame and smoke detection algorithm［J］.Procedia Engineering，2013，62:89 -898.

［7］ Zena R I M，Widyantoa M R，Kiswantob G，et al.Dangerous smoke classification using mathematical model of meaning［J］.Procedia Engineering，2013，62:963 -971.

［8］ 沈维道，童均耕.工程热力学［M］.北京:高等教育出版社，2007.

［9］ 周光坰，严宗毅，许世雄，等.流体力学［M］.北京:高等教育出版社，2011.

［10］ 李刚，周继东，王文初.数学物理方程［M］.北京:科学出版社，2008.

［11］ 张鸣远.高等工程流体力学［M］.西安:西安交通大学出版社，2008.

［12］ Gonzalez R C，woods R E，Eddins S.数字图像处理［M］.北京:电子工业出版社，2005.

［13］ 曹永妹，张尤赛.图像去雾的小波域Retinex算法［J］.江苏科技大学学报:自然科学版，2014，28(1):50-55.Cao Yongmei，Zhang Yousai.Wavelet-based retinex algorithm for image defogging［J］.Journal of Jiangsu University of Science and Technology:Natural Science Edition，2014，28(1):50 -55.(in Chinese)

［14］ 王直，赵越超.基于计算机视觉的钢板测量系统研究［J］.江苏科技大学学报:自然科学版，2013，27(1):70-73.Wang Zhi，Zhao Yuechao.Study of a measurement system for steel plates based on computer vision［J］.Journal of Jiangsu University of Science and Technology:Natural Science Edition，2013，27(1):70 -73.(in Chinese)