高 文, 肖海峰
(西安航空学院 电子工程学院,陕西 西安 710000)
低照度图像广泛存在于数字相片、视频监控、工业生产之中,对视觉系统辨识图像中的主要信息产生了重要的影响。近年来,虽然数字图像处理算法有了长足的发展,但在低照度图像增强方面还略显不足[1-2]。图像增强技术是解决低照度图像问题的一种方法,它能有效提升图像的信噪比,获取清晰的图像信息。但是一般的图像增强算法都存在计算时间长、增强过渡、噪声放大不均匀等问题[3],因此需要更加深入的研究。
传统的图像增强算法如灰度变换和直方图均衡化是改变噪声来提升图像信噪比的。Syed等人修改了传统的直方图均衡化方法来保持颜色信息,分别增强每个颜色通道的亮度与原始亮度的比值[4],但是这种算法会造成帧内信息的丢失。Kim等人提出了保亮双直方图均衡化,对阈值分割得到的两个子图像进行直方图均衡化[5],该方法解决了小范围内亮度异常变化的问题。Wang等人提出了视网膜模型用于处理彩色图像[6],该方法增强了边角等高频信息。然而,他们不能有效地避免不平衡的对比。Fu等人提出了一种基于融合的弱光照图像增强的方法[7],通过融合初始估计的光照映射的多个导数来调整光照。由于光照结构的盲目性,使其在表现出良好性能的同时,也失去了纹理丰富区域的真实感。除此之外,多尺度视网膜演算法[8]、明亮通道[9]、小波变换[10]、稀疏表示[11]等方法都已经应用到低照度图像增强领域并取得了不错的效果。
与那些依靠抑制噪声来提高信噪比的方法不同,随机共振是利用噪声能量放大信号的一种方法。随机共振理论指出,当有用信号、噪声和非线性系统达到某种匹配时,噪声的部分能量会转化为有用信号的能量,从而提高信噪比[12]。最初Benz提出随机共振并用其解释地球古代气候的周期变化,由于其独特的性能,很快被应用于微弱信号检测、故障诊断、医学成像、图像处理等工程领域[13-16]。在图像增强的研究方面,Chaohan等人提出了一种基于动态随机共振(Dynamic Stochastic Resonance,DSR)的空间域分析方法[17],增强低对比度图像。通过将双阱势的双稳系统参数与低对比度图像的强度值相关联,使动态随机共振进行迭代应用。Liu等人针对二维图像传输过程中普遍存在的噪声干扰,提出了一种基于自适应双稳态阵列随机共振(Stochastic Resonance,SR)的低峰值信噪比环境下的灰度图像恢复增强方法[18]。该方法优于经典的图像恢复方法,并应用于医学诊断、机场安检目标诊断、人脸特征检测、卫星遥感地理影像探测等领域。Jha等人提出了一种基于动态随机共振的奇异值域图像对比度增强方法[19],通过对双稳态双阱势模型的类比,将DSR应用到奇异值上,对每一个奇异值进行缩放,从而生成具有增强对比度和视觉质量的图像。这些方法对具有固定参数的均匀低照度图像具有较好的增强效果,但在处理非均匀光照图像时可能会导致过度增强。
本文提出了一种基于随机共振的动态非均匀光照图像增强算法。该算法基于双稳态随机共振模型,采用动态调整迭代的方式提高图像的低对比度区域的强度,从而保证了对所有图像区域的合适处理。针对均匀低照度、不均匀照度和非常不均匀照度3种类型图像分别进行了增强实验,实验结果表明,本文提出的动态双稳随机共振方法能有效增强低照度图像,并保留原始图像的自然性。
从宏观上看,势阱中的小球在随机力和周期激励的共同作用下,在过阻尼的极端条件下,双稳态非线性系统可以看作是演化运动过程。其动力学方程可以描述为:
(1)
式中,s(t)是输入周期信号,η(t)是输入图像的噪声强度分布。<η(t)>=0是统计平均值。统计自相关函数为<η(t)η(t′)>=2Dδ(t-t′)。t′是t的时间延迟。D为噪声强度。U(x,t)是由球体的位移决定的势函数, 恢复力以势函数的梯度形式表示。势函数U(x,t)对于不同的物理过程有不同的形式。标准四次曲线势函数是随机共振理论中常用的函数。其表达式如下:
(2)
其中a和b是正双稳态双阱参数。将式(2)代入式(1)并加以简化,得到动力方程,如式(3)所示。这是一个被称为Langevin方程的非线性数学模型,广泛用于研究随机共振。
(3)
朗之万方程模拟了超阻尼布朗粒子在势场中的运动。电势产生障碍,阻碍粒子的运动。当粒子以势从下到上运动时,它们的阻尼越来越大。图1所示为双稳态随机共振势函数曲线,红色的点是粒子,两个谷就是双势阱。将图像中的每个像素值当作一个离散的运动粒子,像素强度可以用运动粒子的位置来描述。假设低对比度图像像素的最初状态是微弱信号,通过加入最佳噪声量影响粒子向强信号状态过渡(高对比度),就实现了低照度图像的增强。
图1 双稳态随机共振势函数曲线Fig.1 Potential function curve of bistable stochasticresonance
如果完全依靠SR进行迭代计算对非均匀低照度彩色图像增强是非常耗时的。在本文中,通过定义一个阈值来降低迭代计算量。将输入图像的强度分量分为明暗两个区域,并计算每次迭代后暗区的平均强度,可以表示为:
(4)
(5)
其中N为暗区像素数,xi为每个暗像素的强度。然后,通过将平均强度与定义的阈值进行比较,快速选择最优输出。
本文提出的基于DSR的图像增强方法框架图如图2所示。主要过程如下:
步骤1:加载原始图像并将RGB图像转换为HSV形式。
步骤2:利用基于DSR的迭代算法对低照度彩色图像进行处理。朗之万方程由四阶龙格库塔方法求解[20]。
步骤3:计算的平均强度(μdark)定义黑暗区域和每次迭代后与一个固定的阈值进行比较。
步骤4:重复步骤2和3,直到暗区像素的平均强度超过定义的阈值,则迭代结束。
步骤5:通过图像融合对DSR计算的强度分布进行调整。将HSV图像转换为RGB图像,得到增强后的图像。
图2 算法框架图Fig.2 Framework of the proposed algorithm
通过基于DSR的迭代处理亮度分量后,低照度区域被增强了。但是,高亮度像素被压缩成一个小的动态区域。这样就造成了图像低照度区域和明亮区域的细节失衡。此外,DSR迭代计算的结果并不能完全去除低照度区域。为了使处理后的图像具有更好的视觉感受,需要对亮度分量图像采用融合的方法来调整强度分布[21]。它被描述为:
VE=X1DSR(V)+X2V+X3(1-V),
(6)
式中X1、X2和X3分别取值0.5、0.5和0.1。方程右边的3项分别代表DSR结果、原始V分量和光照补偿分量的贡献。
人们从视觉上可以大体上分辨出低对比度图像的质量,但是在增强图像的结果往往比较类似,需要从定量和定性两个方面分析和比较。因此,本文中用无参考感知质量评估(Perceived Quality Assessment,PQA)和亮度阶误差(Luminance Order Error,LOE)客观评价了实验结果。
PQA是在不考虑参考图像的情况下,可以检测对图像模糊效果具有很好的质量预测性能。可以表示如下:
PQA=α+βBγ1Aγ2Zγ3,
(7)
式中,α、β、γ1、γ2、γ3是PQA的模型参数,本文中设置为:α=-245.9,β=257.3,γ1=-0.024,γ2=0.016,γ3=0.003 4。A表示块内图像样本间的平均绝对差异,B表示在块边界的平均差值,Z表示零交率。一般认为,PQA的值越接近于10,表示图像质量越好。
第二个评价指标LOE在原始图像和增强图像之间代表光源方向和亮度变化,本文使用它来评估增强图像的自然性的保留量。LOE被定义为:
(8)
式中,RD(i,j)表示每个像素相对阶次的差值,可表示为:
(9)
式中,L(k,l)是RGB三色通道的最大值,U是单位阶跃函数,LOE的值越小表示增强图像具有更好的亮度阶次保存。
本章节中,针对低照度图像中存在的均匀、非均匀和非常不均匀3种情况,使用本文提出的算法在Matlab仿真平台对6幅有代表性的图像进行亮度增强处理。并且与目前比较常用的直方图均衡化(Histogram Equalization,HE)[21]、多尺度视网膜与彩色再现(Multi-Scale Retinex with Color Restoration,MSRCR)[22]和自然保留增强算法(Natural Preservation Enhancement Algorithm,NPEA)[23]进行比较,从定性分析和定量数据上进行性能评价。
图3和图4为均匀低照度彩色图像的处理结果。这几幅图中,原始图像的亮度整体偏低,从而显得整个区域都是模糊的。由于图像照度较低,即背景噪声的强度分布在较宽的动态范围内,因此HE算法的增强效果不显著。MSRCR提高了原始图像的亮度,也锐化了对比度,但图像的色彩变得更加生硬。NPEA有利于保留原始图像中的自然性,但是在一些局部的低照度区域,如在图4中的大象身体区域,局部增强的效果不好。对比发现,本文提出的DSR算法在图像增强可视性和自然度保留方面都有不错的效果。
图3 均匀低照度图像的增强效果(1)。(a)原始图像;(b) HE;(c) MSRCR;(d) NPEA;(e)本文方法。Fig.3 Enhancement effect of uniform low illumination image (1). (a) Original image; (b) HE; (c) MSRCR; (d) NPEA; (e) Our method.
图4 均匀低照度图像的增强效果(2)。(a)原始图像;(b) HE;(c) MSRCR;(d) NPEA;(e)本文方法。Fig.4 Enhancement effect of uniform low illumination image (2). (a) Original image; (b) HE; (c) MSRCR; (d) NPEA; (e) Our method.
图5和图6是具有局部明亮区域的不均匀低照度图像的增强结果。为了能够清晰地观察局部亮区的增强细节,将其放大并显示出来。从结果中可以看出,除HE外,其他算法对低照度图像的处理效果都清晰可见。从放大区域图可以看出,MSRCR算法导致了亮区的过度增强,造成了过高的对比度。NPEA算法存在不稳定性,会造成图像产生光晕(图5(d))或者噪声放大(图6(d))。本文方法能平衡整幅图像中的明暗区域,对高亮区域有很好的保留。
图5 非均匀低照度图像的增强效果(1)。 (a)原始图像;(b) HE;(c) MSRCR;(d) NPEA;(e)本文方法。Fig.5 Enhancement effect of nonuniform low illumination image (1). (a) Original image; (b) HE; (c) MSRCR; (d) NPEA; (e) Our method.
图6 非均匀低照度图像的增强效果(2)。 (a)原始图像;(b) HE;(c) MSRCR;(d) NPEA;(e)本文方法。Fig.6 Enhancement effect of nonuniform low illumination image (2). (a) Original image; (b) HE; (c) MSRCR; (d) NPEA; (e) Our method.
图7和图8是对亮度极端不均匀图像的增强结果。在这些原始图像中,明亮区域占据了很大一部分。从增强结果中可以看出,HE算法对提高图像亮度没有明显效果,MSRCR可以较好改善图像的对比度,但会产生一定量的噪声,使图像的可视性变差。NPEA保留了图像高亮区域的特征,但是低照度区域处理不好,甚至产生了图像失真和重影。本文提出的方法对图像的整体增强,既保留了亮度区域的自然性,又对低照度区域有很好的增强效果。
图7 非常不均匀低照度图像的增强效果(1)。 (a)原始图像;(b) HE;(c) MSRCR;(d) NPEA;(e)本文方法。Fig.7 Enhancement effect of very nonuniform low illumination image (1). (a) Original image; (b) HE; (c) MSRCR; (d) NPEA; (e) Our method.
图8 非常不均匀低照度图像的增强效果(2)。 (a)原始图像;(b) HE;(c) MSRCR;(d) NPEA;(e)本文方法。Fig.8 Enhancement effect of very nonuniform low illumination image (2). (a) Original image; (b) HE; (c) MSRCR; (d) NPEA; (e) Our method.
总结图3~图8的增强效果可以看出,HE算法并不适合非均匀的低照度图像增强。MSRCR可以提高低照度区域的对比度,但会过渡增强高亮度区域并导致色彩失真。NPEA可以有效保留图像的自然性,但会放大噪声,降低图像的可视效果。本文方法不但保留了高亮度区域的自然性,还提高了低照度区域的亮度,可以有效增强均匀、不均匀和非常不均匀3种低照度图像。
除了定性分析外,本文用PQA、LOE两个指标对增强图像的结果进行定量分析。PQA通过计算块边界之间的平均差异和块内图像样本之间的平均绝对差异来评估图像的块和模糊效果。PQA的结果越接近10,表示增强图像的质量越好。图3~图8的PQA计算结果如表1所示。可以看出,本文的方法所计算出来的PQA基本上最接近于10,说明该算法对图像的自然性保留最好。由于MSRCR增强效果会给图像增加一定的噪声,所以PQA的值较小。NPEA算法增强图像很难平衡高亮度和低亮度区域效果,因此降低了PQA分数。
表1 不同方法的PQA结果Tab.1 PQA results for different methods
LOE通过测量原始图像和增强图像之间的自然性保留来评估图像质量。LOE值越小,表示自然性保存越好。图3~图8的LOE测量结果如表2所示,本文方法具有最小的LOE值。因为增强后的图像具有块噪声,所以造成了MSRCR算法的LOE值最高。由于过度增强的原因,NPEA的LOE值也高于本文的方法。
表2 不同方法的LOE结果Tab.2 LOE results for different methods
本文提出了一种基于双稳DSR的低照度图像增强方法。通过动态调谐非线性迭代,对图像低对比度区域进行增强,同时避免了因过度增强而产生的放大噪声和图像锐化等现象。本文定义了低照度区域的自动迭代阈值,提高了计算效率。针对均匀低照度、不均匀照度和非常不均匀照度3种类型图像分别进行了增强实验,并采用PQA和LOE作为图像质量的评价指标。对比实验结果表明,本文提出的DSR方法能有效增强低照度图像,并保留原始图像的自然性。