基于运动与模糊特征的红外a热成像烟雾检测

李咸静，郝争辉

基于运动与模糊特征的红外a热成像烟雾检测

李咸静1，郝争辉2

（1. 长治学院计算机系，山西 长治 046000；2. 山西国科晋云信息产业有限公司，山西 太原 030002）

在焦化企业生产过程中会产生大量烟雾，排放、泄漏会对自然环境造成污染危及生命生产安全。针对热成像视频对比度低、纹理度差等特点，本文采用烟雾具有运动与模糊特性来进行检测。提出计算每帧图像的噪点度来改进Vibe检测算法的固定阈值，从而可更完整地将移动目标区域检测出来。将整幅图像划分为块区域图像；结合运动区域来提取该区域内的模糊与噪点比值、FFT计算模糊度所计算特征训练生成烟雾分类器；对实验视频进行检测，平均准确率达到94.53%。结果表明，本文所提算法对焦化企业红外热成像视频烟雾检测的准确性和实时性，具有良好的抗干扰能力。

改进Vibe模糊烟雾特征；红外热成像；烟雾检测

0 引言

随着煤焦能源工业领域快速发展及国家日趋加大对环境保护的关注程度，焦化企业生产过程中所产生的烟雾含有大量的有害颗粒物质，排放、泄漏会对自然环境造成污染，甚至造成安全事故。对于焦化企业的污染废气排放国家一直有着严格规范的制度，为严格监控焦化企业在生产中烟雾的排放情况，需要寻找一个行之有效的自动化检测方法，方便监管人员进行管理，提升检测管理效率，保护生态环境。传统的方法利用物理传感器来检测烟雾，采用温度、烟雾或紫外线等传感器实时采集监控某区域范围内的物理监控信号状态，达到检测烟雾的效果，此类方法很大程度上依赖检测环境的变化，在较小空间或封闭的室内可以大幅度地提高检测效果，然而在空旷的厂区检测效果较差，精度不高。随着人工智能技术的快速发展，使用视频监控进行智能烟雾检测将是未来重要的检测手段，且基于视频的智能烟雾检测技术可有效避免传统传感器检测方式带来的缺点，而且响应速度快，检测范围更广。对视频烟雾进行识别检测，利用烟雾视频提取烟雾特征如颜色、纹理、运动等，对检测烟雾进行了大量的研究。张斌等[1]提取出烟雾颜色RGB特征，刘通等[2]提出了烟雾YdUaVa颜色特征提取模型，宋少杰[3]建立了烟雾多颜色空间融合模型。T. Ojala等[4]在1995年提出的图像局部纹理特征描述算子LBP（Local Binary Patterns），经常用来对烟雾纹理特征进行描述，具有对光照变化不敏感、局部旋转不变、灰度不变性等优势特点[5]。Yuan F. N.等[6]针对图像的纹理特征，提出了局部和全局纹理特征，在对烟雾进行检测时提高了识别率。传统方法在研究中基于像素级别在进行设置时采用统一阈值在检测时难于平衡处于不同距离下的烟雾，使得检测结果易出现漏报或误报等情况。在进行视频动态特征提取方面，邓实强等[7]在YUV颜色空间进行可疑烟雾块提取后，进行灰度共生矩阵与小波变换分析烟雾所具有的时空动态特征，最后通过BP（Back Propagation）神经网络判别烟雾。Wang Y.等[8]在HSV（Hue, Saturation, Value）颜色空间中对候选烟雾区域进行滤波。从候选区域提取LBMP（Local Binary Match Pattern）、小波能量和烟雾生长速率特征。最后，将多特征融合并输入随机森林分类器进行烟雾检测。殷梦霞等[9]使用改进的三帧差分法对视频图像进行疑似烟雾区域分割，然后提取疑似区域烟雾图像的纹理、颜色、能量等特征，最后用支持向量机进行烟雾特征识别训练。然而如果视频中存在缓慢移动的目标可能干扰识别，会造成漏报。王媛彬[10]在煤矿场景下对烟雾进行识别检测研究，提出模糊逻辑的图像增强方法以改善所获取的图像质量，再通过混合高斯模型实现对疑似运动目标区域的提取。在充分分析烟雾图像特征的基础上，利用加权的方法将烟雾图像特征融合起来，实现对烟雾的在线检测。然而由于矿井下强光照射较多，使得产生较多疑似烟雾区域的干扰，最终导致误检率较高。马永杰等[11]添加鬼影抑制模块，使用Otsu（Nobuyuki Otsu）算法计算出最佳阈值分割当前帧，在传统ViBe（Visual Background Extractor）算法的基础上对前景像素点二次判别。此方法能够较好适应视频中前景目标运动变化较大的情况，更好地抑制原有ViBe检测时出现的鬼影现象，并具有较高稳定性的检测率。汤旻安等[12]通过结合哈希算法与差分运算来获取真实的背景图像，使用背景复杂度因子来自适应改变阈值，通过连通域图像的像素个数对图像进行二次判断以区分前景与背景。改进后的算法可以较好地消除鬼影现象，对复杂场景的变动具有一定的鲁棒性。

针对使用红外视频监控烟雾的场景，文中主要对红外视频中烟雾运动与模糊两大特征来进行检测。

首先使用自适应阈值ViBe算法首先对焦化企业排放烟雾红外热成像视频进行运动区域检测（所检测出的运动区域包含有烟雾及其它运动物体），然后对整幅图像进行区域的块划分，对块区域图像进行模糊和噪点比值计算及进行FFT（Fast Fourier Transform）模糊检测，得到区域块模糊度值；最后结合检测出的运动区域及块区域图像模糊度来进行烟雾检测。

1 检测方法原理

ViBe背景建模是一种像素级的背景建模、前景检测算法。其大体思想就是对某一像素点与其所在邻域内的像素点进行采样，得到该点像素和其邻域点范围内的像素值集合。当对新的一帧图像进行判别时，只需通过比较新的像素值和采样得到的像素值集合，从而来分析判断新的像素点是否属于背景。该算法首次提出针对单帧图像进行初始化建模，更新模型遵循随机替换原则和一种全新的更新机制，即相邻像素更新背景模型的同时，背景模型也更新相邻像素的模型。

该算法建模的过程主要分为3部分：像素点建模、单帧初始化和更新背景模型。

首先，在视频第一帧中对图像的每一个像素点都建立包含个样本的像素模型，这个样本值均是已被判为背景的像素值。定义()为欧式色彩空间中位于处的像素，v是该像素()八领域中随机选取的样本，一共选取次（如果()位于边缘，那么就使用不完整的八领域来选取），这样就建立了像素()对应的模型：

()＝{1,2, …,v} (1)

然后对比像素点的当前像素值()和其对应的模型()的色彩差异。定义一个以()为中心，为半径的球体S(())，设定阈值为，如果：

即对比()和()中的每个样本在3个色彩通道的色彩差异，在这3个通道都满足：

满足公式(2)的v的个数大于或等于，则()分类为背景，其中代表色彩空间的3个通道。

通过实验表明，背景模型中包含的样本为20最为合适，球体的半径为15像素。对于阈值的设定下面会详细给出。此时，利用视频第一帧图像将背景模型初始化出来，接下来就是从第二帧开始进行前景目标的提取。

ViBe算法前景检测：根据在前景目标区域定位的灰度模型()获得前景目标区域矩形框，当有运动目标进入时，模型()可迅速检测出前景区域。对前景区域进行形态学处理，使前景区域趋向完整，然后找出前景区域轮廓线，得到最大外接矩形框。矩形框里面的图像就是要检测出的运动目标。ViBe前景检测的算法像素示意图如图1所示。

图1 ViBe像素分类示意图

Vibe的更新策略是一种只有背景参与更新的保守策略。理论上，背景模型中每个样本的最佳衰减方式是单调衰减。据此，Vibe采用一种指数单调衰减的方式保证样本的生命周期呈单调衰减，并非传统的先进先出替换策略，每个样本被选中的概率是相等的。同时，Vibe背景模型的更新也是一个随机选择过程，随机选择背景模型中的一个样本替换为新值，如图2所示。

图2 ViBe背景模型的随机更新

如图2所示，图(a)、(b)分别表示背景模型中的样本3、1、5被替换为新值的可能新背景模型，因此，Vibe背景更新是个随机过程。假设时间是连续的，根据该更新策略，一个样本在时间和＋d之间存在的概率是(－1/)d其数学表达式如下：

式(4)表示背景模型中样本的生命周期呈指数衰减，样本在时间(,＋d)内被保留下来的概率与时间无关，完全可人为决定一个样本存在于背景模型中的时间。Vibe采用二次随机抽样来实现用有限样本表征无限时间窗口的可能。

固定阈值对于单一背景可能有良好的分割效果，但如果背景是多模态的场景，并将阈值固定则会在划分前景与背景时精准度下降。在本文中使用模糊和噪声进行无参考图像质量评估中对噪声的评估值进行自适应阈值设定。

因为沿边缘部分的噪点视觉上不明显，在此只检测边缘以外部分的噪点。边缘检测会被噪点影响，所以首先需进行均值滤波处理：

式中：(,)为图像的大小；(,)为滤波后的图像。候选噪点估计为：

同理在垂直方向可计算出相应的v、v-mean，既得到候选的噪点：

式中：cand(,)表示候选噪点，它在边缘区域为0。

式中：cand-mean为候选噪声均值。由上式决定噪点分布情况，噪点均值如下：

式中：Sumnoise是(,)之和；Noisecnt是噪点总数目。

由于红外图像对比度低、信噪比低、分辨率差、视觉效果模糊等，本文在对焦化企业热成像视频中运动物体检测时使用单帧图像所计算出的Noisemean来对ViBe算法中的阈值进行设定，当检测到像素阈值大于当前帧图像平均噪点阈值后便成为前景目标。所以自适应阈值如下：

＝Noisemean(12)

图3中(a)为原图，原始Vibe算法进行移动目标检测时所得二值化图像移除较小面积的干扰后如图(b)所示，图3(c)为改进自适应阈值的Vibe算法所得结果，使用对整幅图像进行平均噪点阈值计算作为自适应阈值，红外图像对比度低、噪声含量较大当像素变化阈值大于平均噪点阈值时则可判断当前像素是否为移动的前景目标。改进的Vibe自适应阈值算法能够更好地对移动目标进行完整检测。

图3 Vibe检测目标与改进后的算法结果

2 烟雾检测特征

根据红外热成像视频的特点，在热成像视频中由于烟雾的存在使得该区域图像变得模糊，基于该特性采用计算该区域图像的模糊均值、噪点均值、及FFT模糊检测等综合特性作为判别依据。

2.1 模糊均值

区域图像模糊度检测，依据式(6)、(7)如果当前像素点的h(,)大于h-mean，则该像素点就是一个候选的边缘点h(,)；如果h(,)比它水平方向两个相邻的点{h(,－1),h(,＋1)}都大，则该像素点就被确认为一个边缘点h(,)。h(,)的判断如下：

检测边缘点是否模糊，定义如下：

式中：Sumblur为模糊个数之和；Blurcnt为模糊点数。

2.2 图像FFT模糊检测

对于任意尺寸的图像，其离散的傅里叶变换如下式：

式中：＝0,1,…,－1；＝0,1,…,－1；(,)为空域中的图像灰度函数；(,)为频域中的图像频谱。使用快速FFT变换的频谱均值来定义区域图像的模糊值如下式：

2.3 烟雾检测阈值

本文中采用检测烟雾模糊特性来判别运动区域是否存在烟雾，所使用特征如下式：

式中如果区域存在烟雾时模糊度增加，并使得式(21)所得值也增大，当区域图像烟雾变薄或不存在烟雾时该值变小。

3 实验结果分析

本实验数据采用焦化企业热成像视频进行测试，如文中所示，对红外序列图像进行分块首先使用改进的Vibe算法对视频图像中的运动目标进行检测，并将含有运动目标的块区域图像进行烟雾特征的提取，并进行分类识别是否存在烟雾。

实验采用提取区域图像的灰度共生矩阵提取能量、熵、对比度、逆差分矩作为分析烟雾图像的纹理特征，本实验中图像大小为600×480，分块后的区域为50×40提取特征如图4所示。

图4 有烟雾和无烟雾块区域图像所提取的纹理特征变化

图4为依据灰度共生矩阵所提取出的块区域图像特征，图中(a)、(c)、(e)、(g)分别为存在烟雾的区域所提取的能量、熵、对比度、逆差分矩特征，而(b)、(d)、(f)、(h)为在不存在烟雾区域的图像所提取的能量、熵、对比度、逆差分矩特征。由于红外图像对比度低、纹理特性较差，从红外图像中提取的能量、熵、对比度、逆差分矩特征在有烟雾区域和无烟雾区域区分度不明显。由于烟雾动态变化，使得所提取的特征有烟雾的范围比无烟雾的更大。从图4(e)、(f)中可得出在有烟区域和无烟区域的对比度差异较小，对烟雾变化不敏感。由于烟雾运动使得所提取的能量、熵、逆差分矩特征动态变化较大，而在无烟雾区域能量、熵、逆差分矩特征动态变化是由于块区域内像素变化进而带来特征变化。

本文所使用的特征采集如图5所示。

图5 本文算法提取特征

图5(a)、(b)分别为存在烟雾和不存在烟雾的块区域图像所提取的特征值，图(b)中不存在烟雾区域特征区域平稳，而在存在烟雾的区域由于烟雾运动造成块区域图像模糊度变化较大，所提取的特征值也有较大的幅度变化。

本文采用SVM（Support Vector Machine）对烟雾特征进行分类识别，视频采用人员移动、行车移动、火苗抖动等干扰情况对烟雾检测的影响进行对比分析。

图6中(a)为原图，(b)和(c)分别是GMG（Godbehere-Matsukawa-Goldberg）和GSOC（Google Summer of Code）背景建模算法对焦化企业热成像视频进行移动目标检测效果，从第1、2、3、5行检测结果表明此两种算法对场景存在的烟雾运动检查效果较差，通过第2、4行检测效果表明算法对移动的工人与火苗这类明显目标可较为完整地检测出来。(d)、(e)分别为Vibe算法及改进后的Vibe算法所检测出的移动目标，改进后的Vibe算法能够更完整地将移动目标区域完整检测出。在第1、2行数据中通过改进的Vibe算法检测出图像中除烟雾以外还有移动的工人，最后通过识别烟雾特征，排除工人移动的干扰，准确检测出烟雾所在的区域。在第3行为存在烟雾，且右下方为移动行车，经过识别检测后，只检测出烟雾所在区域。第4行为抖动的火苗和移动的工人，改进的Vibe算法能准确检测出两个区域，由于没有烟

图6 部分移动干扰目标下的烟雾检测

雾存在所以没有识别出区域。第5行数据中存在移动工人与烟雾，通过本文检测和识别算法后只将烟雾区域识别出来。(f)图像是使用改进的ViBe算法检测到有运动区域的基础上对图像进行区域块的划分，提取检测区域内的烟雾特征并进行分类将判别。存在烟雾区域图像块使用绿色方框标记显示。

综上在使用文中改进的Vibe算法及块区域烟雾特征结合方式SVM分类器可有效避免干扰项，并达到10帧/s左右的检测速率，准确率为94.53%。

4 结论

本文针对热成像视频进行烟雾检测，提出计算每帧图像的噪点度来改进Vibe算法的固定阈值，从而可更完整地将移动目标区域检测出来。然后将整幅图像划分为块区域图像，结合运动区域来提取该区域内的模糊与噪点比值、FFT计算模糊度，最后将所计算特征训练生成烟雾分类器。检测结果表明，本文算法检测速度快，可排除人员移动、行车移动、火苗抖动等干扰检测烟雾结果的情况。对焦化生产环境有较好的适应性，能有效解决焦化厂烟雾检测问题。

[1] 张斌, 魏维, 何冰倩. 基于多特征融合的早期野火烟雾检测[J]. 成都信息工程大学学报, 2018, 33(4): 408-412. ZHANG Bin, WEI Wei, HE Bingqian. Early wildfire smoke detection based on multi-feature fusion[J].2018, 33(4): 408-412

[2] 刘通, 程江华, 华宏虎, 等. 结合YdUaVa颜色模型和改进MobileNetV3的视频烟雾检测方法[J]. 国防科技大学学报, 2021, 43(5): 80-85. LIU Tong, CHENG Jianghua, HUA Honghu, et al. Video smoke detection method combining YdUaVacolor and improved MobileNetV3[J]., 2021, 43(5): 80-85.

[3] 宋少杰. 基于GMM改进算法的森林火灾检测研究[D]. 南京: 南京邮电大学, 2021. DOI: 10.27251/d.cnki.gnjdc.2021.000473. SONG Shaojie. Research on Forest Fire Detection Based on proved GMM Algorithm[D]. Nanjing: Nanjing University of Posts and Telecommunications, 2021. DOI: 10.27251/d.cnki.gnjdc.2021.000473.

[4] Ojala T, Pietikäinen M, Harwood D. A comparative study of texture measures with classification based on featured distributions[J]., 1996, 29(1): 51-59.

[5] YUAN F, SHI J, XIA X, et al. Co-occurrence matching of local binary patterns for improving visual adaption and its application to smoke recognition[J]., 2019, 13(2): 178-187.

[6] YUAN F N, XIA X, SHI J T. Holistic learning-based high-order feature descriptor for smoke recognition[J]., 2019, 17(2): 194005.

[7] 邓实强, 丁浩, 杨孟, 等. 基于视频图像的公路隧道火灾烟雾检测[J].隧道建设, 2022, 42(2): 291-302. DENG Shiqiang, DING Hao, YANG Meng, et al. Fire smoke detection in highway tunnels based on video images[J]., 2022, 42(2): 291-302.

[8] WANG Y, HAN Q, LI Y, et al. Video smoke detection based on multi-feature fusion and modified random forest[J]., 2021, 29(3): 38-45.

[9] 殷梦霞, 王理, 孙连营. 基于多特征融合的自适应烟雾检测算法[J]. 建筑科学, 2019, 35(9): 26-31. DOI:10.13614/j.cnki.11-1962/tu.2019. 09.005. YIN Mengxia, WANG Li, SUN Lianying. Adaptive smoke detection algorithm based on multi-feature fusion[J].2019, 35(9): 26-31. DOI:10.13614/j.cnki.11-1962/tu.2019.09.005.

[10] 王媛彬. 煤矿烟雾的计算机视觉检测方法[J]. 辽宁工程技术大学学报: 自然科学版, 2016, 35(11): 1230-1234. WANG Yuanbin. Smoke detection based on computer vision in coal mine[J]., 2016, 35(11): 1230-1234.

[11] 马永杰, 陈梦利, 刘培培, 等. ViBe算法鬼影抑制方法研究[J].激光与光电子学进展, 2020, 57(2): 105-112. MA Yongjie, CHEN Mengli, LIU Peipei, et al. Research on ViBe algorithm ghost suppression method[J]., 2020, 57(2): 105-112.

[12] 汤旻安, 王晨雨. 基于改进ViBe算法的静态场景运动目标检测[J]. 激光与光电子学进展, 2021, 58(14): 216-224. TANG Minan, WANG Chenyu. Moving object detection in static scene based on improved ViBe algorithm[J].2021, 58(14): 216-224.

Infrared Thermal Imaging Smoke Detection Based on Motion and Fuzzy Features

LI Xianjing1，HAO Zhenghui2

(1. Department of Computer Scienice, Changzhi University, Changzhi 046000, China;2. Shanxi Guoke Jinyun Information Industry Co., Taiyuan 030002, China )

The production process of coking enterprises generates abundant smoke. Their discharge and leakage can pollute the natural environment, endangering the safety of life and production. Considering the low contrast and poor texture of thermal imaging videos, this study detected smoke with motion and fuzzy characteristics. The noise degree of each frame image can be calculated to replace the fixed threshold of the Vibe detection algorithm so that the moving target area can be completely detected. First, the image was divided into block area images; then, the fuzzy-to-noise ratio in this area was extracted by combining the motion area, the features calculated when the fast fourier transform (FFT) was used to calculate the ambiguity were trained to generate a smoke classifier, and finally, the experimental video detection, with an average accuracy rate of 94.53%. The results show that the proposed algorithm is accurate, operates in real-time for smoke detection in infrared thermal imaging videos of coking enterprises, and has good anti-interference ability.

improved Vibe fuzzy smoke features, infrared thermal imaging, smoke detection

TP391 文献识别码：A

1001-8891(2024)03-0325-07

2022-12-03；

2023-07-10.

李咸静（1992-），女，山西长治人，博士，讲师，研究方向为计算机视觉及图像处理。E-mail：760072875@qq.com。

山西省高等学校科技创新计划项目（2023L323）资助。