基于引导滤波的微光图像增强算法研究

陈 婷， 蒲亨飞， 黄治勇， 李良荣， 张丰云

（1 贵州大学 大数据与信息工程学院， 贵阳 550025； 2 遵义市播州区中等职业学校， 贵州 遵义 563000）

0 引言

微光图像通常是在夜间或光照较弱等低光照条件下所获取的一类图像。 在低照度条件下，成像设备获取的图像和视频的质量降低，就会出现图像亮度低、对比度不足、噪声大的问题，不仅使得人眼的主观视觉效果受到影响，也会导致某些特定系统的性能降低，比如公路交通监控、视觉监视和消费电子产品等系统。 因而，开展微光图像增强技术的研究具有重要意义。

迄今为止，微光图像增强算法可大致分为6 类：基于直方图均衡化的增强方法、基于Retinex 理论的增强方法、基于频域的增强方法、基于图像融合的增强方法、基于去雾模型的增强方法以及基于深度学习的增强方法。 直方图均衡化算法运用累积分布函数来调整图像的输出灰度，从而使其具有均匀分布的概率密度函数。 通过这种方式，可以使黑暗区域中隐藏的细节重现，并且可以改善输入图像在人眼中的视觉效果，然而这种方法易导致细节消失以及局部过度增强［1］；Retinex 理论由美国物理学家Land［2］在1964年提出，也被称作视网膜皮层理论，是基于人眼对颜色的感知和颜色不变性的建模，即基于光照－反射模型，但是光照估计是基于光照缓慢变化的，而并不是所有微光图像都满足此假设。2020年，Wang 等学者［3］提出了一种新的微光图像增强算法，此算法从空域扩展到频域。 基于频域的图像增强方法是指当图像在某一个变换域内时，调整变换后的系数，将图像从空域变换为频域，使得图像在频域内进行滤波，最后将得到的结果反变换回空域。 典型的频域方法包括同态滤波和小波变换，但是其中滤波器的选取会丢弃某些细节。 基于融合的方法可以使用不同的成像方法将一幅图像进行处理，包括从单个图像中以多种方式提取细节，以打破对图像序列的依赖。 Yamakawa 等学者［4］提出了一种图像融合技术，该技术使用源图像和retinex 处理过的图像，能在亮区和暗区实现高能见度。 2011年，He 等学者［5］提出了图像暗通道先验理论，这一理论的提出使得图像增强技术获得了进一步发展。2011年，Dong 等学者［6］基于去雾理论提出了一种新的图像增强算法，也称为亮通道先验方法。 但是基于去雾模型的增强算法缺乏可靠的理论支撑，且容易在一些细节领域过度增强。 Lore 等学者［7］在一个框架中采用了堆叠稀疏降噪自动编码器来训练LLNet 进行微光图像增强。 Kim 等学者［8］利用局部光照制作训练图像，并使用先进的生成式对抗网络构建Low Light GAN。 但是，这种方法必须得到大数据集的支持，模型复杂度的增加会使相应算法的时间复杂度显著变大。

因此，对于微光图像存在低亮度、细节丢失的问题，本文提出一种基于引导滤波的微光图像增强算法。 由于HSV 颜色系统比RGB 更接近于人眼的感知，因此首先将图像从RGB 颜色系统转为HSV 颜色系统，为提高对比度、亮度，分别采用直方图均衡化（HE）、改进的伽马校正及经典的非锐化掩膜（GUM）对V 通道进行处理，其次用合适的融合权重将V 通道进行多尺度融合，然后采用改进的引导滤波对融合后的V 通道进行处理，最后将处理后的图像从HSV 颜色系统转回RGB 颜色系统，从而实现图像增强。

1 基本原理

1.1HSV色彩空间

一般为学界所熟知的是RGB、 即三基色空间［9］，该空间表示一幅彩色图像可以被分为红（Red）、绿（Green）、蓝（Blue）三幅分量图像，而HSV是一种通过色调（Hue）、饱和度（Saturation）以及亮度（Value）三种色彩分量来表示彩色图像的色彩空间，也可称为六角锥体模型，因其比RGB系统更接近人眼感知系统，所以近年来得到了广泛使用。RGB空间图像可以转换为HSV空间图像，转换关系的数学公式具体见如下：

1.2 引导滤波

引导滤波是2013年He 等人［10］提出的一种新的图像局部滤波算法，具备平滑、保持边缘，以及提高系统速度的优点。

假设引导图像为G，待滤波输入图像为p，滤波输出图像为q，q可表示为G在窗口wk内的局部线性变换，线性模型为：

其中，wk表示以像素i为中心，以k为半径的一个邻域，ak、bk是wk中假定为常数的一些线性系数。 为了确定ak、bk的值，建立一个约束条件，输出q可表示为输入p减去一些不需要的分量n，例如噪声或者纹理可由下式进行描述：

为使p和q之间的差值能够达到最小化，即在窗口wk中最小化损耗函数，损耗函数定义为：

其中，ε是规整化因子，可避免ak系数过大，同时也是一个能够调节滤波器滤波效果的重要参数。对式（6）进行最小二乘法得到：

其中，μk和是局部窗口wk内引导图像G的灰度均值和方差；表示窗口内的像素总数；pk表示输入的待滤波图像p在窗口内的灰度均值。

2 本文改进算法

本文改进算法框图如图1 所示。

图1 算法框图Fig. 1 Block diagram of the algorithm

2.1 输入

在本文算法中，3 个输入都来自原始微光图像的V通道。 首先，使用直方图均衡化来增强图像的全局对比度，从而得到第一幅输入图I1。 因微光图像的整体亮度很暗，故通过改进的伽马变换来提高整体亮度，从而得到第二幅输入图I2。 Gamma 变换通过γ和c两个参数来决定［11］。 Gamma 变换公式可写为：

其中，Iin表示输入图像；Iout表示输出图像；γ和c都是用于调节伽马变换函数的参数，不同的γ会产生不同的效果。

然后，经过多次的实验，本文改进一种能够自适应的伽马校正因子［12］，该因子可较好地校正图像整体亮度且避免亮度过高的情况，使得校正后的图像在视觉效果上变得更好。 校正因子的计算见式（10）：

其中，σ为图像像素的标准差，μ为图像像素的均值。

最后，根据改进的γ值对V通道进行伽马校正：

I1和I2提高了图像的对比度以及亮度，因此本文进一步采用广义非锐化掩蔽算法（GUM）［13］提高图像的对比度、清晰度和保留细节，生成第三幅输入图I3。

2.2 权重

亮度增强和提升对比度是图像增强的预处理步骤，为了使得最后的增强图像与人类的视觉感知相契合，本文使用特定的权重图来测量和提取输入图像的更多细节。 由于微光图像的本质问题与光照有关。 因此，选择亮度作为权重来融合那些从输入中获得良好光照的区域［14］。 一般来说，首先将像素值进行归一化，然后将像素平均值设置为0.5，这些像素（0.5）通常有很好的光照效果。 为了得到权值，计算每个像素的输入值I（x，y） 与平均值之间的距离，可由下式计算求出：

其中，Iz（x，y） 为输入Iz在点（x，y） 的像素值，z是输入索引，本文设标准差的默认值为σ ＝0.3。 对光照不足的像素点，赋予其较小的权值，而对大多数正常光照强度的像素点，赋予其较大的权值。 为得到一致的处理结果，将Wz（x，y）进行归一化处理，推得的数学公式为：

2.3 多尺度融合

在获得3 个输入Iz和权值映射后，输出图像由下式计算：

由于原始图像融合过程是将不同图像直接进行加权相加，结果会产生不同程度的光晕现象。 因此本文采用Burt 和Adelson［15］提出的多尺度融合来解决这个问题，即通过使用拉普拉斯算子将输入分解为一个金字塔和一个高斯金字塔的权重映射，最后通过使用逐层重建的方式来获得最终的融合图像。

因此，V（x，y） 的结果是通过将每一层的拉普拉斯输入和高斯权重映射分别混合而得到：

其中，l表示金字塔的层数，本文设置金字塔层数为5；是归一化之后的权重映射的高斯金字塔；L｛I｝ 是输入I的拉普拉斯金字塔。

2.4 改进的引导滤波

由于在引导滤波里，所有的窗口选用的都是固定的规整化因子，这完全忽视了不同窗口内像素之间存在的某些纹理差异。 因此，在对边缘进行平滑处理时，会将模糊集中在这些边缘附近，从而产生光晕伪影，导致滤波效果降低。 后来在2015年，Li 等学者［16］提出了加权引导滤波，该滤波和引导滤波一样快速并且保留边缘。 为了使得规整化因子能够自适应调整，使用局部窗口内的方差信息。 按照局部窗口wk内方差的定义，对边缘权重定义如下：

其中，G为引导图像；表示以像素点i为中心像素周围3×3 邻域内的方差；ε是规整化因子，取值为（0.001×L）2；L表示原始输入图像的动态范围；N表示引导图像的像素总数。 因此，损耗函数变为：

在引导图像的边缘，依据公式（16）可轻易得到，邻域内像素点i的方差与其对应的边缘权重WG（i） 成正比，与规整化因子ε成反比，即当方差越大时，边缘权重WG（i） 越大，而对应的规整化因子则会越小。 所以才能够更好地保护图像的边缘细节信息。

但是通过计算3×3 窗口内的方差作为边缘权重因子，方差大的像素点并不全是图像边缘，会导致所得的边缘信息与实际存在着较大误差。 因此，在原有加权引导滤波算法的基础上加入Sobel 算子［17］，以自适应调节边缘权重因子，修正后的边缘权重因子如下：

其中，G为引导图像；ψG（i） 为边缘权重因子；S（i） 为像素点i处的Sobel 算子；N为图像的总像素；ε值和式（16）一样，取为（0.001×L）2；L是输入图像的动态范围。

ψG（i） 可以一定程度地反映边缘像素在总像素中的占比，当ψG（i）＜1，此时为平滑处像素，权重较小；当ψG（i）＞1，此时为边缘处像素，权重较大。

滤波结果如图2 所示。 可以很明显看出，改进的引导滤波可以更好地保持图像的细节，使得图像更加清晰。

图2 滤波结果Fig. 2 Filtering results

3 实验与结果分析

本文所有算法都是计算机在Windows 10 系统下，使用Matlab R2018（b）软件进行实验。 电脑配置为Intel（R） Core（TM） i5－7200U CPU ＠ 2.50 GHz，4 GB RAM。

3.1 本文算法的实验结果

本文算法运行的各步骤效果如图3 所示。

图3 本文算法处理各步骤效果图Fig. 3 Processing renderings of each step

图3 （d）是经过本文改进的gamma 校正处理后的V通道图像，可知增强了整体亮度。 图3（e）为经过本文改进的引导滤波处理后的V通道图像。 图3（f）为本文算法最终的增强图像。 可以看出，与原始微光图像相比，本文算法处理后的图像对比度、清晰度以及亮度均有比较明显的提升，图像的细节也得到较好的保留。 综上所述，本文算法能有效提高图像质量。

3.2 增强效果对比

为了证实本文所提出算法的性能优势，将选用文献［18］的Retinex－Net 算法、文献［19］的对比度受限的自适应直方图均衡化算法（CLAHE）、文献［20］以及文献［21］所提出的微光图像增强算法分别对相同的微光图像进行增强处理，最后与本文所提算法的处理结果进行比较。

3.2.1 实验结果的主观评价

本文所提算法与选用的4 种算法的处理结果如图4 所示。 由图4（b）第3 幅图像可知，通过文献［18］增强过的图像存在亮度提升过度的情况，整体过于模糊，丢失许多细节；通过文献［19］处理过的图像，整体颜色过于黯淡，且整体对比度不高。 由图4（c）第1 幅图像可看到，花盆旁边的地板、盆栽以及花朵的颜色不够鲜明，图4（c）中第3 幅图像的地板亮度依旧很暗。 通过文献［20］算法处理的图像，在色彩上存在一定失真，由图4（d）中第1 幅图像可看到粉色花朵经过增强后变为白色，图4（d）中第2幅图像的鲜橙色格子变为淡橙色。 通过文献［21］处理过的图像，整体亮度提升不够，仍然较为黯淡；通过本文所提出算法增强后的图像，由图4（f）第1幅图像可看到图像的整体亮度提升较好，且盆栽及旁边的花朵颜色未出现失真，图4（f）第2 幅图像的很多暗处的细节都显现出来，图4（f）第3、第4 幅图像的增强效果也较好。 因此，本文算法使增强后的图像在整体亮度、对比度以及细节保持、清晰度上都有了一定的提升，并且图像还原度较高，色彩鲜艳自然，总体来讲，主观视觉质量较好。

图4 5 种算法的结果对比图Fig. 4 Comparison chart of the results of the five algorithms

3.2.2 实验结果的客观评价

本文选用3 个客观指标来评价算法的优劣，详述如下。

（1）峰值信噪比（PSNR）［22］：图像的PSNR是判断图像去噪效果最普遍、最常用的客观评价方法。 数学定义公式具体如下：

其中，fmax是灰度像素最大值，fmax＝255，EMS是均方方差。 从式（19） 可以看出，PSNR值与图像质量成正比，当PSNR值越大，则表明增强后的结果图像质量越高。

（2）结构相似度指标（SSIM）［23］： 根据图像的亮度l（f，fe）、对比度c（f，fe）和结构s（f，fe） 三者的比较，以此来评估处理后的结果图像相较于原始图像的质量。 将这3 个值结合起来，就能得到整体的相似度度量。 其值越大，表明结构越相似，数学公式具体如下：

（3）无参考图像评价指标（NIQE）［24］： 基于一个简单而成功的空间域自然场景统计（NSS）模型，构建了一个统计特征的“质量感知”集合。NIQE与图像质量成反比，即NIQE值越低，表明图像质量越高。

本文算法与选用的4 种算法的3 个客观评价指标结果见表1～表3。 以图4（a）中第1 幅图像为例，本文所提算法与文献［18］相比较，峰值信噪比、结构相似度分别提高了0.089、0.009，无参考图像评价指标降低了0.249。相较于文献［19］，峰值信噪比、结构相似度分别提高了0.0042、0.0001，无参考图像评价指标降低了0.7163。相较于文献［20］，峰值信噪比、结构相似度分别提高了0.0003、0.0153，无参考图像评价指标降低了0.4187。相较于文献［21］，峰值信噪比、结构相似度分别提高了0.013、0.007，无参考图像评价指标降低了0.1518。

表1 本文算法和4 种算法的PSNR值比较结果Tab. 1 Comparison ofPSNRvalues between the algorithm in this paper and the four algorithms dB

表2 本文算法和4 种算法的SSIM值比较结果Tab. 2 Comparison ofSSIMvalues between the algorithm in this paper and the four algorithms

表3 本文算法和4 种算法的NIQE值比较结果Tab. 3 Comparison ofNIQEvalues between the algorithm in this paper and the four algorithms

通过客观数据分析表明，经本文算法处理过的图像，不论是在峰值信噪比、结构相似度还是无参考图像评价指标以及各自平均值，与选用的另外4 种算法处理后的图像相比较，得到的数据结果都是相对比较好的。

4 结束语

针对微光图像的亮度低、细节丢失的问题，本文提出一种基于引导滤波的微光图像增强算法。 所提算法使用改进的伽马校正解决亮度低的问题，改进的引导滤波解决细节丢失的问题。 最后的增强结果不论是从客观评价、还是主观评价指标方面看，与本文选用的4 种图像增强算法的效果相比，本文算法在各方面都有一定的优势。 最后，尽管本文所提算法在对微光图像的增强效果方面有了一定提升，但依旧需要对其做更深一步的优化，例如减少算法运行时间以及拓宽算法的应用场景。