汤汶龙 龙永红
冶炼车间大气散射模型图像去烟尘算法
汤汶龙 龙永红
(湖南工业大学轨道交通学院,湖南 株洲 412007)
针对冶炼车间中大量烟尘、水雾等悬浮颗粒造成的图像降质等问题,本文提出冶炼车间大气散射模型图像去烟尘算法。为更好地估计真实大气光值,通过简单线性迭代聚类分割算法求取初始大气光值,并采用快速引导滤波对初始大气光值进行精细化处理,同时利用自适应伽马函数对大气光和原始烟尘图像进行修正,分别得到最终大气光和优化后的烟尘图像。通过优化的颜色衰减先验模型估计出透射率,最后根据大气散射模型恢复无烟尘图像。实验结果表明,该算法可降低图像中的烟尘浓度,减少图像细节损失,使方均误差平均下降66.2%,峰值信噪比平均提高30.5%,结构相似度平均提高48.6%。
图像去烟尘;大气散射模型;简单线性迭代聚类;自适应伽马函数
随着计算机视觉技术的快速发展,工业信息化[1]、智能化取得了很大进展,视频监控技术在有色冶炼各生产领域得到广泛应用[2]。为了进一步提高生产效率、确保生产安全,越来越多的工厂在车间安装网络摄像头[3-4],实时获取智能化车间生产信息。由于冶炼工作过程中会产生大量烟尘、水汽等,导致监控视频图像出现细节模糊、可视性弱等降质现象,不利于冶炼生产安全监控、设备远程操控、智能视频识别技术的运用等。因此,冶炼车间图像去烟尘工作具有重要意义。
目前,图像去雾方法主要分为基于图像增强、图像复原和深度学习三大类。基于图像增强的去雾方法[5–11]主要是通过增强图像的对比度和某些局部信息对图像进行处理,未考虑雾霾的形成原因和形成有雾图像的过程。虽然此方法能够在保持图像细节的同时有效去除雾霾,但其对不同图像的适应性较差,需要针对性地选择不同参数,且在高雾密度情况下存在色彩失真问题。基于图像复原的去雾方法[12–20]通过分析图像降质的本质,以物理模型为依据,根据先验条件估计参数真实值,反演成像过程复原无雾图像。Fattal R[12]根据大气散射模型计算出场景中的全局透射率并推断出每个像素点的局部透射率,得到复原图像。然而,该方法依赖局部统计不相关性的假设,在处理复杂图像时会出现色彩偏差等问题。He Kaiming等[13-14]提出暗通道先验(dark channel prior, DCP)理论,通过估计图像的暗通道来获取大气光值和图像中的深度信息,从而计算出全局透射率,获得无雾图像。但当有白色物体或光源等高亮区域时,该方法会误判大气光值,导致去雾图像失真。Sun Wei等[15]提出一种局部大气光估计的去雾算法,通过解决定位全局大气光产生的不准确问题来改善暗通道先验算法,但该方法可能导致去雾图像过饱和。为了避免透射率的过度估计,Meng Gaofeng等[17]通过结合图像透射率的约束和固定边界限制透射率,从而优化透射率以达到去雾目的。Zhu Qingsong等[19]利用有雾图像中不同颜色通道的统计特性,建立有雾图像的场景深度与亮度、饱和度之间的关系,进而求解图像的透射率;但该方法可能存在去雾不彻底的问题。Yu Teng等[20]提出一种通道差分引导滤波方法来估计环境光照,解决了常用的局部最大值像素法高估环境光照的问题。基于深度学习的去雾方法[21-22]主要是利用深度神经网络模型学习图像中有雾和无雾之间的映射关系,从而去除雾霾得到清晰图像。这类方法需要大量的有雾和无雾图像对,但此类数据集通常难以获取,并且训练需要较长时间,无法广泛应用于工业场景中。
上述方法致力于雾天室外图像清晰化,未考虑复杂成像环境中多光源、烟尘分布不均匀等因素带来的综合影响,使算法不适用于冶炼车间的烟尘环境。为此,本文提出冶炼车间大气散射模型图像去烟尘算法,以提高复杂环境大气光值和透射率估计的准确度,解决光源等高亮区域光晕效应和色彩失真的问题。实验结果证明,本文算法去烟尘效果良好。
大气散射模型[23]是一种应用于图像复原去雾算法中的模型,它通过分析物体成像过程中各种环境光的影响,描述有雾图像退化的过程。大气散射模型如图1所示。
图1 大气散射模型
大气散射模型假设环境光为全局常量,将退化后的有雾图像表示为物体反射光的衰减和悬浮颗粒对周围光照的吸收和散射两部分的线性叠加。基于图像复原的去烟尘算法基于该模型,通过对反射光的衰减能量进行补偿,并消除环境光参与成像的部分,从而恢复清晰图像。基于上述烟尘环境成像过程,退化后的烟尘图像表达式为
=+(-) (1)
式中:为接收到的烟尘图像;为复原图像;为介质的透射率,其反映大气光穿透介质到达采集设备的能力,值越大穿透能力越强;为全局大气光;为单位矩阵。
=+(-) (2)
在大气散射模型中,介质透射率与大气散射系数、场景深度有关,大气散射系数与图像亮度有关,其关系为
=e-bd(3)
=e(4)
式中:为大气散射系数;为场景深度;为烟尘图像各像素点亮度值;、为常量系数,一般取=1.2,=0.25。在烟尘均匀分布的情况下恒定,但冶炼车间烟尘分布不均匀,需要分别求取不同区域的大气散射系数。在去烟尘问题中,惟一的已知量为原始烟尘图像,求得去雾结果的关键要素就是精准估计透射率和大气光值。
冶炼车间大气散射模型图像去烟尘算法的流程如图2所示。首先,采用简单线性迭代聚类(simple linear iterative clustering, SLIC)的超像素分割算法将图像大气光划分为不同区域,估计各区域平均大气光值,利用快速引导滤波优化平均大气光值;然后,通过自适应伽马函数修正细化后的大气光和原始烟尘图像,同时利用优化的颜色衰减先验算法求取透射率;最后,在得到最终大气光值、优化后的烟尘图像和透射率后,通过大气散射模型还原得到无烟尘图像。
图2 冶炼车间大气散射模型图像去烟尘算法流程
在室外大气光照环境中,大气光一般呈均匀分布,其值通常被视为全局恒定值。文献[10]通过搜索暗通道图中亮度强度前0.1%的像素,取其在原始图像中具有最大亮度值的像素点作为大气光值。然而,这种处理方法只适用于光照均匀且低亮度的图像。室内冶炼车间采用人工光源,大气光在空间中是变化的,存在光照不均匀的问题。因此,采用该方法容易导致去烟尘后图像局部过曝光或光晕现象的出现。
=[]T(5)
RGB彩色模型转换到HSV彩色模型[25]可用式(6)~式(8)表示。
式中:为色相值;、、分别为RGB颜色模型中红、绿、蓝三个颜色通道的数值;max为、、中的最大值;min为、、中的最小值。
初始大气光值估计流程如下:
1)选取像素点的特征向量。
2)初始化聚类中心。假设图像像素点总数为,设定的聚类个数为,相邻距离为,则有
(9)
式中:c为聚类中心与邻域像素点之间的色彩距离;s为聚类中心与领域像素点之间的欧式空间距离;为聚类中心与像素点的相似度;S、V分别为像素点的饱和度和亮度;S、V分别为像素点在邻域2×2范围内聚类中心的饱和度和亮度;x、y为像素点的横、纵坐标;x、y为像素点邻域聚类中心的横、纵坐标;为紧凑因子。
5)重复以上流程迭代更新聚类中心,直到误差收敛。
6)计算每个聚类的平均值,将各聚类平均值分别赋予各聚类中的每个像素点。
大气光值优化前后去烟尘图像如图3所示。由图3(c)可以看出,简单线性迭代聚类超像素分割算法能够很好地估计出大气光值近似区域的真实大气光值。然而,图像存在块状失真的问题,这是由于初始大气光值过于粗糙,导致块状区域的过渡不平缓,因此需要对初始大气光值进行优化,以获得更加自然的去烟尘效果。为此,本文采用快速引导滤波对初始大气光值进行细化,细化后的大气光值如图3(d)所示。
由式(3)可知,在取得大气散射系数与场景深度后,能够求取透射率。冶炼车间烟尘图像的饱和度、亮度和梯度等特征近似符合颜色衰减模型,该区域场景深度可由亮度、饱和度和梯度线性表示。根据颜色衰减模型,烟尘图像场景深度可表示为
式中:1、2、3为线性系数;为图像场景深度;为亮度;为饱和度;为梯度;为误差系数。经过大量冶炼车间数据集实验,设置系数经验值:1= 1.559,2=-0.782,3=0.221,=0.141。为了降低噪声等因素的影响,给定一个滑动窗口,估计烟尘图像的平均场景深度表达式为
根据式(4)和式(12)可取得大气散射系数和图像场景深度,然后根据式(3)可求得烟尘图像透射率。为了减少噪声干扰,优化景深边缘处的细节信息,对透射率矩阵进行快速引导滤波处理。
在室内冶炼车间环境中,存在多个人工光源,同时烟尘分布不均匀,这导致图像采集设备接收到过量的散射分量、反射分量和直射光照信息,进而造成图像低照度等降质问题。此外,由于空间位置或障碍物遮挡光源等原因,部分区域的图像存在局部细节信息丢失的问题。为了减弱原始烟尘图像中过量光照分量的影响,并提升局部暗淡区域的细节信息,以获取更加清晰自然的复原图像,需要在原始烟尘图像过亮区域对亮度分量进行适当削弱,在偏暗区域对亮度分量进行适当补偿。若直接对不同区域进行固定减削弱值或加补偿值可能导致亮度值偏小或偏大,从而影响最终复原图像的去烟尘效果和视觉效果。因此,本文提出一种利用自适应伽马函数[26]对烟尘图像进行修正的预处理方法,根据每个像素点的特点动态调节亮度值,实现对图像修正的精确控制,具体流程如下。
1)将烟尘图像从RGB彩色模型转换到HSV彩色模型,以便对亮度分量进行处理。
2)以亮度分量自身作为引导图,通过快速引导滤波获得光照图。
3)对亮度分量进行伽马修正。伽马函数表达式为
(13)
式中:为修正后的烟尘图像亮度;为输入图像亮度分量;为用于亮度修正的伽马参数;为输入图像提取出来的光照分量;ave为光照分量亮度平均值。
4)修正后的亮度与原图色调、饱和度重新 融合。
5)将融合后的图像从HSV彩色模型转换到RBG彩色模型,得到修正后的烟尘图像res。
修正前后去烟尘图像如图4所示,通过修正,可以有效减弱烟尘图像过亮区域的亮度值,使其更加符合真实场景中的光照情况,而在偏暗区域,可以增加这些区域的亮度值,使其更清晰明亮,细节信息得到了提升。
为了验证本文所提方法的效果,进行大量实验。数据集来源于冶炼车间不同位置的烟尘图像,共选择四种具有代表性的图像去雾算法进行对比,包括DCP去雾算法[13]、基于边界约束和上下文正则化(boundary constraint and contextual regularization, BCCR)的图像去雾算法[17]、颜色衰减先验(color attenuation prior, CAP)去雾算法[19]和逐像素alpha混合(pixel-wise alpha blending, PWAB)的去雾算法[20]。实验环境为64位Windows11操作系统,所用计算机配置为CPU Intel(R) Core(TM) i7—11800H @2.30GHz,RAM 16GB;编程环境采用Visual Studio 2019 C++加载OpenCV3.4.14库。
复原效果对比如图5所示。从Img1~6可以观察到,DCP算法在去除烟尘方面表现良好,但复原图像的亮度偏暗且细节丢失严重,该算法在灯光等高亮区域出现了色彩失真现象,这是由于大气光的错误估计导致的。BCCR算法和CAP算法的去烟尘效果明显较差,景深处仍存在大量烟尘,且处理后的图像低照度区域难以辨识。PWAB算法增强了图像亮度,但同时也增强了噪声和烟尘浓度,在光源处出现严重的光晕现象。相比之下,本文所提算法在去烟尘效果方面表现出明显的优势,不仅能够有效去除烟尘,而且明显增强了图像的整体结构信息和边缘信息;此外,经过处理后的图像在饱和度和亮度方面适中,呈现出更好的视觉效果。相较于其他算法,本文所提算法的去烟尘效果更优。
为了进一步验证所提算法的性能,本文采用三种客观评价指标对算法进行评价,包括图像方均误差(mean-square error, MSE)、峰值信噪比(peak signal-to-noise ratio, PSNR)和结构相似度(structural similarity index measure, SSIM)[27]。
MSE是一种衡量估计量与被估计量之间差异程度的度量指标。在图像处理中,MSE主要用于比较原始图像和处理后图像像素值的方均差大小,以衡量图像的失真程度。MSE的值越小,代表失真越小,说明处理后的图像更接近原始图像。PSNR是一种全参考的图像质量评价指标,用于表示保留的图像细节信息程度。PSNR的值越大,表示图像结构保持越完整,信息保持度越高。其表达式分别为
图5 复原效果对比
式中:1和1分别为图像的行数和列数;I为原始图像对应像素的像素值;J为复原图像对应像素的像素值;1为最大像素值。
SSIM是一种用于衡量图像相似度的指标,它反映了图像结构的完整性。SSIM的值越大,表示去雾后的图像与原始图像的差距越小,图像的视觉效果也越好。其表达式为
计算得到MSE、PSNR、SSIM分别见表1~表3。
表1 MSE
表2 PSNR 单位: dB
表3 SSIM
根据表1~表3可以看出,本文所提算法的各项指标均优于其他算法。对比结果显示,本文算法在方均误差、峰值信噪比和结构相似度方面表现出色,方均误差平均下降了66.2%,峰值信噪比平均提高了30.5%,结构相似度平均提高了48.6%。
综上所述,无论是从主观评价还是客观评价的角度来看,本文所提去烟尘算法都表现出良好的性能,具有一定优越性。
冶炼车间作业过程中会产生大量烟尘、水雾等,烟尘颗粒分布密集且烟尘厚度不均匀,常常因为局部多散射引起图像降质等问题。本文针对冶炼车间图像去烟尘任务,提出一种基于大气散射模型的冶炼车间去烟尘算法。通过简单线性迭代聚类的超像素分割算法将图像大气光划分为不同区域,并分别结合伽马修正和颜色衰减先验理论,估计出各区域的大气光值和透射率。为了减少不均匀光照引起的误差,进一步利用自适应伽马函数对原始图像进行修正。实验结果表明,本文提出的算法能够显著减少图像中的烟尘,复原图像色彩真实、细节丰富,保留了原始图像的结构信息。然而,该算法的复杂度仍有待改进,在后续研究中将进一步提升算法的去烟尘效果和处理速率,以提高其在冶炼车间实时视频去烟尘工作中的应用性能。
[1] 肖祥武, 王丰, 王晓辉, 等. 面向工业互联网的智慧电厂仿生体系架构及信息物理系统[J]. 电工技术学报, 2020, 35(23): 4898-4911.
[2] 俞秋红. 铜闪速冶炼智能化应用探索[J]. 有色金属(冶炼部分), 2020(2): 49-54.
[3] 颜诚, 程川, 雷宝辉, 等. 变电站油泄漏三级监控系统的研制与应用[J]. 电气技术, 2022, 23(3): 70-76.
[4] 刘士亚, 郭静, 岑钊华. 城市电网监控应急系统的设计[J]. 电气技术, 2021, 22(2): 11-16.
[5] ABDULLAH-AL-WADUD M, KABIR M H, ALI AKBER DEWAN M, et al. A dynamic histogram equalization for image contrast enhancement[J]. IEEE Transactions on Consumer Electronics, 2007, 53(2): 593-600.
[6] PIZER S M, MBURN E P, AUSTIN J D, et al. Adaptive histogram equalization and its variations[J]. Computer Vision, Graphics, and Image Processing, 1987, 39(3): 355-368.
[7] YADAV G, MAHESHWARI S, AGARWAL A. Con- trast limited adaptive histogram equalization based enhancement for real time video system[C]//2014 International Conference on Advances in Computing, Communications and Informatics (ICACCI), Delhi, India, 2014: 2392-2397.
[8] YU Lu, LIU Xuebin, LIU Guizhong. A new dehazing algorithm based on overlapped sub-block homo- morphic filtering[C]//Eighth International Conference on Machine Vision (ICMV 2015), Barcelona, Spain, 2015, 9875: 987502.
[9] JOBSON D J, RAHMAN Z, WOODELL G A. Pro- perties and performance of a center/surround retinex[J]. IEEE Transactions on Image Processing, 1997, 6(3): 451-462.
[10] ELAD M, KIMMEL R, SHAKED D, et al. Reduced complexity Retinex algorithm via the variational approach[J]. Journal of Visual Communication and Image Representation, 2003, 14(4): 369-388.
[11] RAHMAN Z U, JOBSON D J, WOODELL G A. Retinex processing for automatic image enhance- ment[C]//Human Vision and Electronic Imaging VII, San Jose, California, United States, 2002, 4662: 390- 401.
[12] FATTAL R. Single image dehazing[J]. ACM Transa- ctions on Graphics, 2008, 27(3): 1-9.
[13] HE Kaiming, SUN Jian, TANG Xiaoou. Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(12): 2341-2353.
[14] HE Kaiming, SUN Jian, TANG Xiaoou. Guided image filtering[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(6): 1397-1409.
[15] SUN Wei, WANG Hao, SUN Changhao, et al. Fast single image haze removal via local atmospheric light veil estimation[J]. Computers & Electrical Engineering, 2015, 46: 371-383.
[16] LU Huimin, LI Yujie, SERIKAWA S. Underwater image enhancement using guided trigonometric bilateral filter and fast automatic color correction[C]// 2013 IEEE International Conference on Image Pro- cessing, Melbourne, VIC, Australia, 2014: 3412-3416.
[17] MENG Gaofeng, WANG Ying, DUAN Jiangyong, et al. Efficient image dehazing with boundary constraint and contextual regularization[C]//2013 IEEE International Conference on Computer Vision, Sydney, NSW, Australia, 2014: 617-624.
[18] WANG Wencheng, YUAN Xiaohui, WU Xiaojin, et al. Fast image dehazing method based on linear transformation[J]. IEEE Transactions on Multimedia, 2017, 19(6): 1142-1155.
[19] ZHU Qingsong, MAI Jiaming, SHAO Ling. A fast single image haze removal algorithm using color attenuation prior[J]. IEEE Transactions on Image Processing, 2015, 24(11): 3522-3533.
[20] YU Teng, SONG Kang, MIAO Pu, et al. Nighttime single image dehazing via pixel-wise alpha blending[J]. IEEE Access, 2019, 7: 114619-114630.
[21] CAI Bolun, XU Xiangmin, JIA Kui, et al. DehazeNet: an end-to-end system for single image haze removal[J]. IEEE Transactions on Image Processing, 2016, 25(11): 5187-5198.
[22] REN Wenqi, PAN Jinshan, ZHANG Hua, et al. Single image dehazing via multi-scale convolutional neural networks with holistic edges[J]. International Journal of Computer Vision, 2020, 128(1): 240-259.
[23] NARASIMHAN S G, NAYAR S K. Vision and the atmosphere[J]. International Journal of Computer Vision, 2002, 48(3): 233-254.
[24] ACHANTA R, SHAJI A, SMITH K, et al. SLIC superpixels compared to state-of-the-art superpixel methods[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(11): 2274-2282.
[25] 陈帅, 赵海龙, 衣俊艳. 基于HSV空间的创新型车牌定位方法[J]. 电工技术学报, 2015, 30(增刊1): 527-530.
[26] 刘志成, 王殿伟, 刘颖, 等. 基于二维伽马函数的光照不均匀图像自适应校正算法[J]. 北京理工大学学报, 2016, 36(2): 191-196, 214.
[27] SARA U, AKTER M, UDDIN M S. Image quality assessment through FSIM, SSIM, MSE and PSNR: a comparative study[J]. Journal of Computer and Com- munications, 2019, 7(3): 8-18.
Dust removal algorithm for atmospheric scattering model image of smelting workshop
TANG Wenlong LONG Yonghong
(College of Railway Transportation, Hu’nan University of Technology, Zhuzhou, Hu’nan 412007)
Aiming at the problem that the image is degraded by a large number of suspended particles such as soot and water mist generated in the smelting workshop, an dust removal algorithm for the atmospheric scattering model image of the smelting workshop is proposed. In order to better estimate the real atmospheric light value, the algorithm in this paper obtains the initial atmospheric light value by simple linear iterative clustering segmentation algorithm, and uses fast guided filtering to refine the initial atmospheric light value. At the same time, the adaptive gamma function is used to correct the atmospheric light and the original soot image, and the final atmospheric light and the optimized soot image are obtained respectively. The transmittance is estimated by the optimized color attenuation prior model. Finally, the smoke-free image is restored according to the atmospheric scattering model. The experimental results show that the algorithm can effectively reduce the smoke concentration in the image and reduce the loss of image details. The mean square error is reduced by 66.2% on average, the peak signal-to-noise ratio is increased by 30.5% on average, and the structural similarity is increased by 48.6% on average.
image dust removal; atmospheric scattering model; simple linear iterative clustering; adaptive gamma function
2023-06-09
2023-07-10
汤汶龙(1994—),男,湖南常德人,硕士研究生,主要研究方向为图像处理与机器视觉。
湖南省自然科学基金(2023JJ50196)