基于直方图均衡化与MSRCR 的沙尘降质图像增强算法

王春智，牛宏侠

（1.兰州交通大学光电技术与智能控制教育部重点实验室，兰州 730070；2.甘肃省高原交通信息工程及控制重点实验室，兰州 730070；3.兰州交通大学自动化与电气工程学院，兰州 730070）

0 概述

沙尘天气是风将干燥尘土沙粒卷在大气中进行流动的一种灾害性天气现象，对人们的出行造成了极大的不便。而且，沙尘天气在户外拍摄图像，图片会呈现整体偏黄，图像细节不突出，前景和背景分离不明显，导致图像目标信息隐藏，获取到的有用信息少，对于视频监控及对图像的分析处理会产生诸多影响。因此，研究沙尘降质图像的颜色校正及对比度提升具有很强的现实意义。

沙尘天气中沙尘是由风、沙子和小尘埃粒子流组成的多流体，沙尘颗粒以离散分布的形式呈现［1］。沙尘天气图像与常规的低质图像的主要区别在于：沙尘天气图像会产生严重的颜色偏移问题，聚集的沙尘颗粒形成流体将黄色光反射，导致图像整体色调偏黄；相比于普通低质图像，沙尘图像噪声严重，图像对比度更低。自然环境由于受到沙尘颗粒的影响，沙尘颗粒与反射光产生的散射造成图像整体对比度和亮度偏低。基于传统的低曝光图像增强方法，如直方图均衡化［2］、小波变换［3］、交替方向乘子图像增强算法［4］等，可以对曝光度低的图像进行亮度增强，增强图像细节信息，但是对于图像的颜色偏移问题不能得到很好的解决，而且在增强处理后会放大图像本身的噪声，对于沙尘颗粒多的低质图像，也不能达到清晰恢复图片的效果。

研究人员通过图像增强的方式对沙尘天气图像恢复展开研究。文献［5］介绍一种多权重图像增强的方法，将颜色校正后的图像利用伽马校正产生两张亮度不同的图像，然后分别计算2 张图像的3 个权重图，与2 张图片权重映射融合后得到增强图像，该方法对于清晰度及图像细节恢复效果不错，但是整体对比度还有待提高。文献［6］提出一种基于颜色校正和对比度增强的算法。首先利用高斯模型对各通道进行颜色校正，然后根据改进的基于奇异值分解的增强算法提升图像对比度，该算法降噪效果不明显，在处理远景图像上也有待提高。

基于图像复原的方法对于图像恢复也有很好的效果。文献［7］在改进高斯模型进行颜色校正的基础上，基于大气散射模型的对比度增强算法对图像进行增强，该方法对于图像细节及对比度有进一步提升，但是对于降噪及色彩校正方面提升不太明显。文献［8］在大气散射模型的基础上介绍了基于暗通道先验理论的图像去雾算法。由于沙尘天气成像模型与大气散射模型具有一定的相似性，有研究人员将暗通道先验知识应用于沙尘图像清晰化。文献［9］将沙尘图像转换到LAB 颜色空间，然后分别对其分量进行暗通道原理及Retinex 增强图像，合并通道后再转回RGB 空间得到清晰化图像，对图像清晰度恢复有较好的效果，但对于图像前景偏蓝及图像细节恢复仍有待改进。

目前研究人员通过基于深度学习的方法来解决雾霾天气图像的恢复。文献［10］利用卷积神经网络对透射率图进行估计，进而提取雾霾图像的特征，再结合传统算法实现图像去雾。文献［11］提出一种Cycle-Dehaze 网络模型，通过将低分辨率图像放大，使用不成对的训练方式，从而可以端到端直接生成无雾图像。文献［12］提出一种端到端门控上下文聚合网络结构GCANet，采用平滑扩张技术，并利用定义的门控子网融合不同雾霾特征，可以很好地实现端到端去雾。但是，将这些深度学习方法直接用于沙尘天气图像恢复，并不能很好地解决色彩偏移问题，而且处理后图像的对比度提升效果也不理想。

为解决上述算法中存在的颜色校正效果欠佳及对比度偏低等问题，本文提出一种基于直方图均衡化和MSRCR 的沙尘降质图像增强算法。该算法利用全局直方图均衡化和限制对比度自适应直方图均衡（Contrast Limited Adaptive Histogram Equalization，CLAHE）方法进行颜色校正，采用双边滤波方法进行降噪，并通过MSRCR 算法、伽马校正、基于图像分析的偏色检测及颜色校正方法进行图像增强处理，来保持色彩均衡。

1 本文算法

本文提出的算法基于两个部分进行处理，分别是进行颜色校正处理和图像增强处理。在颜色校正方面，主要利用限制对比度自适应直方图均衡化方法进行颜色校正，对图像的RGB 通道进行拆分，再进行直方图均衡化预处理，然后利用CLAHE 处理后得到偏色校正后的图像，能有效解决图像前景偏蓝的问题。图像增强部分包括3 个方面：1）通过双边滤波进行降噪；2）利用MSRCR 进行颜色细节及暗区域的细节增强；3）通过伽马校正提高整体对比度，同时对于颜色过增强问题利用基于图像分析的偏色检测及颜色校正方法进行校正。本文整体算法流程如图1 所示。

图1 本文算法流程Fig.1 The algorithm procedure of this paper

1.1 图像颜色校正

1.1.1 直方图均衡化预处理

直方图均衡化能将灰度范围分布不均匀的原始图像通过变换函数映射为灰度分布均匀的图像。该变换函数是指图像各灰度级概率的累积分布函数，变换后图像灰度动态范围增大，图像对比度也相应提高。经直方图均衡化处理后，灰度累积分布函数sk为：

其中：pr(ri),i=0,1,…,L-1 表示与图像灰度级相关联的直方图；ni表示灰度值为ri的像素个数；n表示给定图像的像素总数。通过式（1）可将灰度值为rk的像素经变换函数T修正为灰度值为sk的对应像素。

由于沙尘天气图像具有集中性、顺序性、偏离性的特点［7］，利用直方图均衡化能够很好地将沙尘天气图像的灰度直方图分布在整个图像灰度的取值范围内［13］，而且其整体灰度值分布也近似均匀分布，从而可以得到具有较高对比度及较大灰度动态范围的校正图像，对于沙尘天气降质严重的图像能够提升一定的对比度［14］。直方图均衡化后的对比图像及直方图分别如图2 和图3 所示。

图2 原图及直方图均衡化后图像的对比Fig.2 Comparison of original image and histogram equalization image

图3 原图及直方图均衡化后的对比结果Fig.3 Comparison results of original image and histogram equalization

从图2（b）可以看出，直方图均衡化处理沙尘图像可以提升对比度，去除一定的沙尘影响，但是图像整体偏暗，如图3（a）、图3（b）所示，从处理前后直方图对比可以看出，经直方图均衡化处理后图像前景偏蓝的问题也很明显。

1.1.2 CLAHE 校正颜色

根据上述全局直方图均衡化处理的结果，图像的清晰度及对比度仍有待提高，在本文算法中采用CLAHE 进一步校正。CLAHE 是根据已设定的亮度最大值对原图的直方图进行截取像素，再将其重新分配到每个灰度级，不仅能一定程度地限制图像噪声增强，而且图像分割的块数增多，对比度限幅处理图像效果就越好，从而可以有效提升图像的亮度及图像细节，达到颜色校正的目的。实际处理结果如图4 和图5 所示。

图4 图2（a）经直方图均衡化和CLAHE 处理后的结果Fig.4 Fig.2（a）results after histogram equalization and CLAHE processing

图5 偏色校正前后对比图像Fig.5 Color deviation correction contrast image

从图4 可以看出，在预处理的基础上经CLAHE 算法处理后，图像灰度直方图分布更为均衡，通道偏离性得到很好改善。从图5（c）可以看出，当前算法处理后沙尘天气图像的偏色问题得到很好解决，图5 中框选部分展示出在直方图均衡化预处理的基础上，经CLAHE算法处理后对于图像的对比度和清晰度提升具有更好的效果。但是，校正处理后仍具有一定的噪声，而且对于图像的色彩丰富度也需进一步提升。

1.2 图像增强

1.2.1 双边滤波

双边滤波是同时考虑空间域信息和灰度相似性的一种非线性滤波方法，其优点是对于边缘保存有很好的效果［15］，且在高斯滤波的基础上，多了一个基于空间域分布的高斯滤波函数，进而有效地解决了距离较远的像素影响边缘像素的问题，达到保护边缘去除噪声的目的，其基本模型如下：

其中：f(i,j)为原始图像在(i,j)点处的噪声；g(i,j)是经滤波处理后的降噪图像；ωs(i,j,k,l)和ωg(i,j,k,l)是在坐标(k,l)处的空间权重和灰度相似度权重；σs是空间标准差；σg是灰度标准差；集合区域Ωr,i,j则是以(i,j)为中心的边长为(2r+1)的正方形区域内像素点的集合。

文献［16］在CLAHE 偏色校正基础上直接使用MSRCR 算法进行丰富图像色彩处理。文献［17］在MSRCR 算法基础上加以改进，引入局部权重校正因子函数，再与CLAHE 算法处理后的图像进行加权融合，具有提升对比度的效果，但对于有本身噪声干扰的图像及直方图均衡化后残留的噪声，会对后续图像的清晰度恢复造成一定的干扰。本文算法引入双边滤波进行降噪处理，以避免影响后续图像的清晰度及色彩丰富度的恢复。

1.2.2 MSRCR 算法

MSRCR算法是基于Retinex理论演变而来，Retinex理论是根据反射性质的变化进而调整原图像中像素灰度值，其主要包含2 个方面的内容：1）物体的颜色是由物体对不同波长光线的反射能力决定的；2）物体的色彩不受光照非均性的影响，具有一致性。基于此理论，研究人员提出了基于单尺度Retinex（SSR）算法和多尺度Retinex（MSR）算法用于图像增强。而MSRCR 基于上述算法再次进行改进，MSRCR 算法能较好地解决MSR 算法存在的图像动态范围小及色彩丰富度提升幅度小的问题，并且对于图像细节也有相当程度的恢复［18-19］。

其中：RMSRCRi(x,y)表示使用该滤波后第i个通道恢复后的图像；Ci(x,y)是i通道的色彩恢复因子，用来弥补色彩的局部失真；RMSRi(x,y)表示对于i颜色通道经多尺度滤波后的恢复图像。Ci(x,y)和RMSRi(x,y)计算分别为：

其中：α、β分别表示非线性控制因子和增益常数；I(x,y)表示原图像；Gn(x,y)是指单尺度的高斯滤波；λn表示权值；m为尺度数目。在本文算法中，取参数α为125，β为45，尺度m为3。

1.2.3 后处理

经MSRCR 算法处理后，能够得到亮度较高、色彩较为丰富的清晰图像，但是从实验结果来看，仍存在图像对比度低及色彩校正过度的情况，因此需要对MSRCR 算法处理后的图像进行进一步处理。首先使用伽马校正调整图像对比度，使图像对比度整体提升，之后使用基于图像分析的偏色检测及颜色校正方法解决色彩过度校正的问题［20-21］。本文首先基于等效圆进行偏色检测，然后采用一种结合灰度世界［22］和完美反射的颜色校正方法对偏色图像进行校正。由于结合了灰度世界法和完美反射法的特性，相比于文献［23］在沙尘图像偏色校正时使用的动态阈值法，本文使用的算法颜色校正效果更好，而且该算法对于不同光源色温下图像的颜色校正都有很好的适用性。如图6（c）所示，后处理后的图像在图像偏色方面得到明显改善，并且展现了更多的图像细节信息。

图6 后处理结果图像Fig.6 Post processing result images

2 实验结果与分析

为验证本文算法的有效性，选取大量沙尘降质图像进行实验，图像选自百度图库、相关论文及部分自主拍摄的图像。在此基础上，与现有较好的雾霾天气图像清晰化算法（如GCANet 算法［12］、ZHI 算法［6］、PAN 算法［7］、MSRCR 算法）进行结果对比分析。实验在Win10 系统下进行，使用Python 编程语言，硬件环境为Intel®CoreTMi7-10750HCPU@2.60GHz，16.0GB RAM。

2.1 主观分析

本文算法和其他算法对比的实验结果如图7 所示，其中图7（a）中的3幅图像分别为图像a1、图像a2和图像a3。从图7 可以看出：经GCANet 算法处理后，图像能去掉部分沙尘影响，清晰度有所提升，但是色偏严重；经ZHI 算法处理后，沙尘图像前景偏蓝严重，影响了图像的清晰度；经PAN 算法处理后图像偏色问题有所改善，但是整体清晰度较低，图像偏暗；经MSRCR 算法处理后，图像清晰度和颜色丰富度提升明显，但是图像存在校正过度及整体对比度较低的问题。相比之下，经本文算法处理后，整体图像清晰度及对比度都有很大提升，并且相当程度解决了图像偏色问题。从图7 框选部分可以看出，本文算法对于图像细节信息也有更多保留。

图7 不同算法处理结果对比Fig.7 Comparison of processing results of different algorithms

本文选取了3 幅不同偏色程度的沙尘图像进行主观和客观分析，实验图像数据如表1 所示。在CLAHE算法处理中，选择的颜色对比度阈值为2.0，像素均衡化的网格单元选取为4×4；在双边滤波中，取空间标准差σs、灰度标准差σg均为75，集合区域Ω取5。

表1 实验图像数据Table 1 Experimental images data

2.2 客观分析

图像的主观分析会由于不同人眼判别而有所差异，因此需要客观的量化标准来进行分析。本文采用图像标准差、信息熵和平均梯度来衡量各个算法的处理效果。图像标准差反映了图像像素值与均值的离散程度，标准差越大说明图像灰度值分布越广，图像质量越好；在图像中，信息熵反映了灰度分布特征所包含的信息量，信息熵越大，图像的细节信息更丰富；平均梯度用于衡量灰度变化程度，也反映了图像细节反差变化的速率，其值越大，图像对比度越高，图像层次也越多，图像更清晰。

常用的客观评价指标还有PSNR、SSIM 等，评价指标PSNR 一般是用来衡量图像质量的恢复程度，SSIM 是对比分析恢复图像与原图的相似程度。而本文主要是衡量沙尘图像恢复后的信息量和对比度的提升效果，故选取图像标准差、信息熵和平均梯度作为评价指标更为贴切。

表2、表3与表4给出了对图像a1、图像a2、图像a3经过各算法处理后的客观评价结果（其中粗体数字为最优值）。从表中数据可以得知，经本文算法对不同偏色程度的图像处理后，标准差、信息熵及平均梯度都比其他算法有所提高，即处理后图像的对比度更高，图像更为清晰，而且图像的细节信息及色彩丰富度恢复效果更好。

表2 各算法对图像a1 处理的客观评价结果Table 2 Objective evaluation results of each algorithms on image a1 processing

表3 各算法对图像a2 处理的客观评价结果Table 3 Objective evaluation results of each algorithms on image a2 processing

表4 各算法对图像a3处理的客观评价结果Table 4 Objective evaluation results of each algorithms on image a3 processing

对于各算法的时间效率进行分析，运行时间如表5 所示（其中粗体数字为最优值）。由于本文算法基于MSRCR 算法，因此时间效率仅与实验中的其他算法进行对比。

表5 各算法的运行时间分析比较Table 5 Analysis comparison of running time of each algorithms s

对比表5 中各算法平均运行时间可以得知，本文算法时间效率最高，PAN 算法的时间效率最低。本文算法相比ZHI 算法提升了46.2%，相比GCANet算法提升了79.4%，相比算法复杂度更高的PAN 算法提升了94.8%。

3 结束语

本文针对沙尘天气图像存在的偏色问题，提出一种基于直方图均衡化处理的算法。通过对全局直方图进行均衡化预处理，并利用限制对比度自适应直方图均衡方法的进一步处理，能够有效解决图像色彩偏移问题，且在一定程度上恢复图像色彩。针对经MSRCR算法处理后图像对比度偏低的问题，采用伽马校正提升对比度，并利用基于图像分析的偏色检测及颜色校正方法改善处理后存在的色偏问题。实验结果表明，本文算法对于沙尘降质图像对比度提升、色偏校正具有较好的效果，且在一定程度上能够抑制图像噪声，突出图像细节，提升图像色彩丰富度，算法效率明显提升。但是本文算法在对含有大范围天空区域的沙尘图像处理时容易出现光晕现象，图像降质严重，在处理后呈现前景偏蓝的情况，因此对于远景部分的图像细节增强是下一步的研究方向。