煤矿智能视频监控中雾尘图像的清晰化研究

张谢华，张 申，方 帅，曹 洋

(1.江苏师范大学 现代教育技术中心，江苏 徐州 221116；2.中国矿业大学 信息与电气工程学院，江苏 徐州 221008；3.中国矿业大学 物联网(感知矿山)研究中心，江苏 徐州 221008；4.合肥工业大学 计算机与信息学院，安徽 合肥 230009；5.中国科学技术大学 自动化系，安徽 合肥 230027)

煤矿智能视频监控中雾尘图像的清晰化研究

张谢华1,2，张 申2，3，方 帅4，曹 洋5

(1.江苏师范大学 现代教育技术中心，江苏 徐州 221116；2.中国矿业大学 信息与电气工程学院，江苏 徐州 221008；3.中国矿业大学 物联网(感知矿山)研究中心，江苏 徐州 221008；4.合肥工业大学 计算机与信息学院，安徽 合肥 230009；5.中国科学技术大学 自动化系，安徽 合肥 230027)

煤矿智能视频监控中常常碰到许多雾尘图像且伴有各种随机噪声，对应的图像降质严重影响了后续视频图像处理工作，因此提出一种基于暗原色先验与双边滤波器的去雾除尘和同步去噪算法。结合已有的大气散射物理模型，推导建立煤矿雾尘图像退化模型。考虑煤矿雾尘图像的特点，设计基于暗原色先验知识的大气光、粗略透射率估计的方法与步骤。分析粗略透射率图的优化要求以及双边滤波器的特性，引入联合双边滤波器快速获得精细透射率图。依据图像退化模型构建正则化目标函数，求取转换图像并进行高斯双边滤波，获得复原图像并同步实现噪声的有效去除。实验结果验证了算法的有效性，与已有去雾算法相比计算效率有较大提高，且复原质量良好适合于煤矿智能视频监控环境。

雾尘图像复原；同步去噪；暗原色先验；双边滤波

智能视频监控作为煤矿安全生产系统中不可或缺的组成部分，为保障煤矿安全生产的顺利进行提供了强有力的支持与保障[1]。由于煤矿井下环境特殊，在煤炭生产、运输等各个环节产生了大量悬浮于空中的粉尘颗粒，对矿工的身体健康造成了严重威胁，还可能引发煤尘爆炸事故危害煤矿生产安全[2]。为了控制粉尘减小其危害，各工矿企业引入很多喷雾降尘设备，因此会产生大量雾气和水滴，使得光线在到达监控成像设备前被散射或吸收，显著降低了监控场景中的能见度。另外在图像采集和传输过程中，不可避免地受到各种高强度随机噪声的干扰。导致监控图像质量严重下降，不利于后续的目标检测、识别和跟踪等处理，进一步影响最终的智能视频分析结果。因此，煤矿智能视频监控系统中强噪声污染下雾尘图像清晰化的研究具有重要的实际价值。

事实上，图像去雾已成为计算机视觉和图像处理领域中的一个研究热点。最近几年提出的基于单幅图像的方法取得了良好的复原效果，其中最实用有效的是He等[3]提出的基于暗原色先验的图像去雾方法。该方法基于暗原色统计规律估计出降质图像的粗略透射率图，采用软抠图算法优化求解精细透射率图，并利用大气散射模型复原得到清晰图像。该方法获得的复原图像清晰度高、颜色逼真，但通过深入研究发现存在以下问题：其一暗原色先验在某些特殊区域不能成立；其二由于软抠图处理的引入致使计算代价大、处理速度慢，限制了方法的应用范围；其三忽略了降质图像本身所带噪声的问题，在复原图像中可能出现噪声放大的现象。

为了满足有效性和处理速度的要求，在基于暗原色先验的单幅图像去雾方法的基础上，本文提出一种可行的煤矿雾尘图像去雾除尘和同步去噪算法。从图像退化的角度出发，推导建立煤矿雾尘降质图像退化模型。考虑煤矿雾尘图像的特点，设计基于暗原色先验知识的大气光、粗略透射率估计的方法与步骤。针对雾尘图像可能存在较大面积的明亮区域，且在这部分区域中暗原色先验失效的特殊情况，提出相应改进来扩展暗原色先验的适用范围。对于原有去雾方法存在计算复杂度高的不足，分析粗略透射率图的优化要求，计划采用更为合理的工具来替代软抠图，快速获得精细透射率图。考虑煤矿雾尘图像伴随大量噪声的特点，获取良好的去雾除尘效果，并同步实现随机噪声的有效去除。

1 雾尘降质图像退化模型

Narasimhan等[4]给出了雾、霾天气条件下的大气散射模型，则雾尘图像I(x,y)可表示为

简记为

2 暗原色先验知识的应用

暗原色先验知识是He等通过统计观察大量无雾图像而得出的，即在清晰无雾图像的绝大多数非天空局部区域中，总存在一部分像素至少在一个颜色通道的强度值很低[5]。对图像J其相应暗原色图像Jdark可按式(3)求取。

(3)

式中，Jdark为J的暗原色且其值很低接近于0；Ω(x,y)为以(x,y)为中心的一块方形区域；JC为某个颜色通道。

为验证煤矿工作环境中暗原色先验知识的正确与否，随机挑选了100幅无雾图像，经过处理加工后进行了统计实验。计算每幅图像的暗原色亮度值，得出这100幅图像的暗原色亮度直方图，如图1所示。实验统计结果反映约80%的像素暗原色值低于16，约95%的像素暗原色值低于32。因此，证明暗原色先验知识同样适用于煤矿工作环境。

图1 图像像素暗原色亮度直方图Fig.1 Image pixel dark-channel brightness histogram

2.1 大气光估计

对于大气光的估计，主要是通过图像中最不透明的浓雾区域像素估算而得，且这部分的像素亮度值通常也是较高的。文献[6]为了简化起见，直接选择亮度值最高的像素来估计环境光光强。但实际情况中，这些像素可能来自图像中的光源或者是场景中的白色物体，这种环境光的估计并不准确。另外由于暗原色的值可被看做为雾浓度的一个近似估计[7]，因此对于煤矿图像可以采用暗原色值来估算大气光，从而提高估测准确度。具体操作步骤为

(2)在Idark中选取暗原色值最大的0.1%的像素点，这部分像素通常对应不透明的浓雾区域；

(3)在有雾图像中I中搜索步骤(2)给出的亮度值最大点，将该像素亮度值作为大气光A的估计。

通过以上步骤确定的亮度值最大点并不一定是整幅图像中最亮的点，与前述直接采用图像最亮点估计大气光的方法相比，本文方法基于暗原色先验知识鲁棒性更强、更为合理。

2.2 粗略透射率图估计

(4)

再在3个颜色通道之间进行最小化计算，有

(5)

依据暗原色先验统计规律，

接近于0，代入式(5)有

(6)

实际上即使在没有雾气干扰的情况下，煤矿工作环境中仍然会包含一些粉尘粒子，这些微粒同样对光产生散射作用，因此在观看远处景物时能够觉察到雾的存在。如果彻底去除雾的影响，那么复原图像反而显得不真实、不自然，因此在式(6)中引入一个调节参数ω∈(0,1)(本文采用ω=0.95)，使得较远处的景物保留少量的雾[8]，所以有：

(7)

(8)

(9)

其值越小表示像素值越接近于大气光。另外通过大量实验得到阈值F0，若F(x,y)

(10)

图2 含大面积明亮区域有雾图像的透射率估计Fig.2 Estimate transmittance of fog images with a large area of bright area

由图2(c)可看出，以上方法对透射率的整体估计较为准确，但在局部区域明显存在块效应[9]。如果继续采用该透射率分布求解复原图像，将导致结果图像中出现光晕效果，因此需采用特定方法来细化完善透射率。文献[3]采用软抠图法来优化透射率，通过构建拉普拉斯矩阵和求解大型线性方程组来完成，需要庞大的计算量、会占用大量的内存空间。进而极大提高了整体去雾算法的时间复杂度和空间复杂度，很大程度上限制了算法的应用范围。由透射率表达式t(x,y)=e-βd(x,y)分析可知，透射率是有关景深d的函数，在局部分块内部景深变化平缓，t同样趋于平缓；而在局部分块的边缘处景深d很可能出现突变，t也因此会产生跃变。因此在得到粗略透射率的基础上，应保持其发生跃变的边缘细节。这可转换成一个滤波问题，可利用双边滤波器的特性来加以完成。

3 双边滤波算法

双边滤波器具有良好的去噪保边特性，在处理图像随机噪声时能够发挥出很强的优势。文献[10]描述对给定噪声图像：y=x+n，其中x，n分别代表原始图像和加性噪声，图像去噪问题等价于使式(11)所示目标函数最小的优化问题。

(11)

其中，λ为加权系数；W[m,n]为降低对边缘像素平滑作用的权重矩阵，其对角线元素的值与边缘强度成反比，非对角线元素值为零。对于式(11)的求解，Elad[11]证明可在Jacobi 算法下的单步迭代过程中得以完成。于是假定初始输入为x=y，经过一次Jacobi迭代后，可求得最小化目标函数F(x)的解：

(12)

其中，M(y)/2为黑塞矩阵的主对角化阵。由式(12)看出对于图像去噪的最优化问题可以通过设计一个滤波器操作算子

(I-Dm,n)]

将其与转换图像y相乘来进行求解。文献[11]将权重系数矩阵W[m,n]设计为

(13)

其中,x(k,l)为去噪后当前像素，构造双边滤波器：

a(m,n,k,l)=

(15)

其中，Z(k,l)为归一化项；σR，σS分别为在像素特征值域和空间域滤波时高斯函数的标准差。由上可知，双边滤波具有良好去噪保边特性的原因就在于，它同时考虑了邻域内像素点的特征值相似度信息和空间邻近度信息，对邻域中特征值相似和距离接近的像素赋予较大权重，否则赋予较小权重，共同参与约束获得窗口中心(待处理像素)的像素值。

4 基于双边滤波的去雾与同步去噪

4.1 粗略透射率优化

其中双边滤波器为

α(m,n,k,l)=

Z(k,l)为所有权重的归一化；b和δ的合适取值范围为b∈[0.5,1]和δ∈[0.04,0.06]。

4.2 去雾复原与同步去噪

文献[3]在得到大气光A以及优化透射率t后，直接代入大气散射模型求得去雾图像，即有：

(17)

其中t0是透射率下限值。由于煤矿雾尘图像本身通常伴随大量噪声，因此希望在去雾的同时能够有效去除图像中的随机噪声。显然，直接采用式(17)无法满足煤矿雾尘图像去雾去噪的实际需求。

(18)

求解采用高斯双边滤波器来完成，其具体形式为

(19)

其中双边滤波器为

α(m,n,k,l)=

(20)

综上所述，本文所提去雾复原及同步去噪算法流程如图3所示。

图3 去雾除尘原及同步去噪算法流程Fig.3 Algorithm flowchart of fog dust removal and simultaneous denoising

5 实验结果及分析

为了验证本文算法的有效性，对取自山东兖州兴隆庄煤矿的多组监控视频图像进行了处理。如图4所示，原图受雾尘噪声的影响场景模糊不清，经过本文算法处理后图像景物轮廓清晰、对比度得到明显提高、整体颜色自然，都能有效去除图像中雾尘的作用，有助于提高整个视频监控系统的检测和识别能力。

进一步分别从复原效果、算法运行时间、复原图像清晰度综合评价等多个方面，来对本文算法与几种常见算法进行比较分析[13]。图5(a)是一幅煤矿雾尘图像且伴有较强的图像噪声，图5(b)是采用He算法得到的去雾结果，在局部区域出现了明显的噪声增强现象。 图5(c)是采用文献[10]中的Tan算法处理的结果，其中图像细节恢复并不清晰、颜色过饱和，且原图所带噪声同样存在被放大的迹象。图5(d)是利用本文算法得到的复原图像，能较好地分辨出图像细节信息且色彩自然，并对原图中的噪声进行了有效去除。

图4 基于暗原色先验与双边滤波的去雾除尘过程Fig.4 Fog dust removal based on dark channel prior and bilateral filter

图5 强噪声雾尘图像去雾结果比较Fig.5 Dehazing comparison of fog images with strong noise

表1给出图4(a)、图5(a)所示雾尘图像在不同算法处理下运行时间的对比[14]。由表1看出从运行速度上本文算法具有很强的优势，可以满足实际的应用需求。为了客观评价算法的去雾效果，本文还从图像清晰度的角度对复原图像进行定量比较。采用一种综合评价方法，选取3类典型指标——方差、信息熵和平方梯度[15]，将各指标具体数值和相应指标权重的乘积作为图像清晰度的综合评价结果，分值越大表明图像清晰度越高。对图5(a)采用各种算法处理得到的去雾结果进行上述计算(其中方差、平方梯度和信息熵的权重分别为30%,30%和40%)，评价结果比较见表2。数据证明本文算法很好地恢复了图像的细节信息，很大程度上提高了雾尘图像的清晰度，与其他算法相比具有更好的视觉效果。

表1算法运行时间的比较
Table1Comparisonofalgorithmrunningtimes

图像名称本文算法He算法Tarel算法Tan算法Fattal算法图4(a)上图3 69412 6255 98717 33218 663图4(a)中图3 12511 5325 33916 22817 523图4(a)下图4 09714 0006 24519 34120 714图5(a)5 03717 1257 19622 42123 752

表2复原结果清晰度评价比较
Table2Comparisonofclarityevaluationofdehazingresults

评价指标本文算法He算法Tarel算法Tan算法Fattal算法δ288 14277 50469 75879 11676 342GMG86 63179 63962 11179 02180 119f90 80180 01270 21775 21678 012综合评价88 75279 14867 64877 52878 143

6 结 论

为了确保煤矿智能视频监控中随机噪声情况下雾尘图像复原的图像质量，给后续视频图像处理提供清晰可靠的基础，本文提出了一种图像去雾除尘与同步去噪的算法。利用He等提出的暗原色先验知识，求解大气光参数以及估计粗略透射图。并在估计过程中添加修正项，保证了图像明亮区域的透射率不会出现过小偏差。采用简单高效的双边滤波操作，完成粗略透射图的优化和复原去噪图像的求取。多组对比实验结果表明，本文算法具有很高的运行效率，且复原图像细节丰富、色彩真实，能够满足煤矿智能视频监控系统的实际需求。

[1] 孙继平,陈 伟,王福增,等.矿井监控图像中空列车的识别[J].中国矿业大学学报，2007,36(5):597-602. Sun Jiping,Chen Wei,Wang Fuzeng,et al.Recognizing empty trains in coalmine surveillance images[J].Journal of China University of Mining & Technology,2007,36(5):597-602.

[2] 曾康生,胡乃联,程为民,等.综放工作面湿润剂喷雾降尘机理及高效降尘湿润剂的试验[J].煤炭学报，2009,34(12):1675-1680. Zeng Kangsheng,Hu Nailian,Cheng Weimin,et al.Dedusting mechanism by water-cloud of wetting agents and the relevant tests for fully-mechanized and roof caving coal face[J].Journal of China Coal Society,2009,34(12):1675-1680.

[3] He K,Sun J,Tang X.Single image haze removal using dark channel prior[A].IEEE Conference on Computer Vision and Pattern Recognition[C].Miami:IEEE Computer Society,2009:1956-1963.

[4] Narasimhan S G,Nayar S K.Interactive weathering of an image using physical models[A].ICCV Workshop on Color and Photometric Methods in Computer Vision[C].Nice,France:IEEE Computer Society,2003:1387-1394.

[5] 嵇晓强,戴 明,尹传历,等.航拍降质图像的去雾处理[J].光学精密工程,2011,19(7):1659-1666. Ji Xiaoqiang,Dai Ming,Yin Chuanli,et al.Haze removal for aerial degraded images[J].Optics and Precision Engineering,2011,19(7):1659-1666.

[6] Liu Chongliang,Jin Wei,Chen Yan,et al.A self-adaptive nonuniformity correction algorithm for infrared images combined with two-point correction along the rim[A].2010International Computer Symposium[C].Tainan:IEEE Computer Society,2010:240-245.

[7] 王多超,王永国,董雪梅,等.贝叶斯框架下的单幅图像去雾算法[J].计算机辅助设计与图形学学报,2010,22(10):1756-1761. Wang Duochao,Wang Yongguo,Dong Xuemei,et al.Single image dehazing based on bayesian framework[J].Journal of Computer-Aided Design & Computer Graphics,2010,22(10):1756-1761.

[8] 胡学友.雾天降质图像的增强复原算法研究[D].合肥：安徽大学,2011. Hu Xueyou.Enhancement and restoration algorithms for fog-degraded images[D].Hefei:Anhui University,2011.

[9] 王时震，万惠琼，曾令沙，等.应用暗原色先验规律的遥感影像去雾技术[J].测绘科学技术学报,2011,28(3):182-188. Wang Shizhen,Wan Huiqiong,Zeng Lingsha,et al.Haze removal methods of remote sensing image using dark channel prior[J].Journal of Geomatics Science and Technology,2011,28(3):182-188.

[10] Michael Elad.On the bilateral filter and ways to improve it[J].IEEE Trans.on Image Processing,2002,11(10):1141-1151.

[11] Michael Elad.Retinex by two bilateral filters[A].Proceedings of the Scale-Space Conference[C].Hofgeismar,Germany:IEEE Computer Society,2005:217-229.

[12] Petschning,Agrawala,Hoppe,et al.Digital photography with flash and no-flash image pairs[J].ACM Trans.on Graphics,2004,23(3):664-672.

[13] Tan R.Visibility in bad weather from a single image[A].Proceedings of IEEE CVPR[C].Anchorage,Alaska:IEEE Computer Society,2008:1-8.

[14] 胡 伟,袁国栋,董 朝,等.基于暗通道优先的单幅图像去雾新方法[J].计算机研究与发展,2010,47(12):2132-2139. Hu Wei,Yuan Guodong,Dong Zhao,et al.Improved single image dehazing using dark channel prior[J].Journal of Computer Research and Development,2010,47(12):2132-2139.

[15] 方 帅,王 勇,曹 洋,等.单幅雾天图像复原[J].电子学报,2010,38(10):2279-2284. Fang Shuai,Wang Yong,Cao Yang,et al.Restoration of image degraded by haze[J].Acta Electronica Sinica,2010,38(10):2279-2284.

Clearingresearchonfoganddustimagesincoalmineintelligentvideosurveillance

ZHANG Xie-hua1,2,ZHANG Shen2,3,FANG Shuai4,CAO Yang5

(1.ModernEducationTechnologyCenter,JiangsuNormalUniversity,Xuzhou221116,China;2.SchoolofInformationElectronicandEngineeringInstitute,ChinaUniversityofMining&Technology,Xuzhou221008,China;3.IoTPerceptionMineResearchCenter,ChinaUniversityofMining&Technology,Xuzhou221008,China;4.CollegeofComputerandInformation,HefeiUniversityofTechnology,Hefei230009,China;5.DepartmentofAutomation,UniversityofScienceandTechnologyofChina,Hefei230027,China)

There are many fog and dust images with much random noise in coalmine intelligent video surveillance.Therefore,the image degradation has seriously affected the subsequent video image processing.In this paper,an algorithm based on dark channel prior and bilateral filter was proposed which can realize fog and noise simultaneously removing.By combining the atmospheric scattering model,the degradation model of fog and dust images was established.Considering the characteristics of fog images,the methods and procedures for estimating the air light and rough transmittance were designed using the dark channel prior.By analyzing the optimization requirement of the rough transmission map and the bilateral filter characteristic,a joint bilateral filter was introduced for quickly obtaining the fine transmission map.The regularization objective function was constructed on the image degradation model.By solving a converted image and Gaussian bilateral filtering the image,fog and dust removal and simultaneously denoising were realized.Experimental results verify that the proposed algorithm is effective which computational efficiency is greatly improved compared with various restoration algorithms.Because of good restoring quality the algorithm is suitable for the environment of coalmine intelligent video surveillance.

fog and dust images restoring;simultaneously denoising;dark channel prior(DCP);bilateral filter

10.13225/j.cnki.jccs.2013.0150

国家自然科学基金资助项目(60705015)

张谢华(1977—)，女，安徽宿松人，副教授。E-mail:xuzhouzxhyt@163.com。通讯作者：张 申(1957—)，男，江苏兴化人，教授。 E-mail:yunnan05@tom.com

TD714；TP391.41

A

0253-9993(2014)01-0198-07

张谢华，张 申，方 帅，等.煤矿智能视频监控中雾尘图像的清晰化研究[J].煤炭学报,2014,39(1):198-204.

Zhang Xiehua,Zhang Shen,Fang Shuai,et al.Clearing research on fog and dust images in coalmine intelligent video surveillance[J].Journal of China Coal Society,2014,39(1):198-204.doi:10.13225/j.cnki.jccs.2013.0150