基于区域显著性识别的弱光照图像增强方法研究*

张宏瑜，王金明，顾振飞

（1.陆军工程大学，江苏 南京 210001；2.南京信息职业技术学院，江苏 南京 210023）

0 引 言

在环境光照强度较低时，机器视觉系统前端所采集的可见光图像易出现纹理细节丢失、色彩偏移、对比度不足等负面效果。这些问题在很大程度上限制了计算机在图像方面的应用，因此需要对此类图像进行增强处理。关于弱光照图像的处理，许多经典的图像增强方法[1]相继被提出。

由Land等人提出的Retinex理论认为颜色具有恒常性，该模型提出后便受到了广泛地研究和应用。Rahman等人[2]提出了具有色彩恢复的多尺度Retinex算法，为了同时实现动态范围压缩、颜色一致性、亮度再现等目的，将单尺度中心环绕式Retinex扩展到多尺度，定义了一种颜色恢复方法，通过引入色彩恢复因子对增强图像进行颜色校正。文献[3]使用Retinex理论将图像分解为照明层和反射层，并采用亮度自适应来处理导致细节损失的照明层，提出基于Retinex的亮度自适应感知对比度图像增强方法，有效缓解了光晕问题。文献[4]通过从高质量图像获取的先验多层亮度统计数据，提出了一种用于非均匀光照图像的自然保留增强方法。Kimmel等人统一了以前的方法，提出一个Retinex算法的变分模型，它假定照明场的分量空间变化平滑，将反射率的有限动态范围作为恢复过程中的约束，利用反射率和亮度图像中的空间相关性，提出了一种有效的多分辨率算法，该方法较好地提升了图像的细节，但也存在过度增强问题。Park等人[5]提出了一种基于变分优化的Retinex算法，通过伽玛校正来约束照明分量，使用输入的RGB颜色通道恢复颜色通道，避免了噪声放大或颜色失真的情况。

弱光照图像增强方法中基于融合技术的图像增强方法也有很多运用，文献[6]提出了一种基于二次优化的方法，可从矢量场中提取细节，从同一场景的不同图像中提取细节信息，使用现有的图像融合方法将其融合为一幅细节信息丰富的高动态范围图像，但该方法对拍摄要求较高，所以可行性不高。

本文针对弱光照图像纹理细节不足、对比度较低等问题，拟引入去雾模型和基于Retinex理论的改进多尺度视网膜皮层（Multi-Scale Retinex，MSR）算法对弱光照图像进行增强处理。此外，基于图像区域显著性识别修正反射图，解决图像过增强效应和增强力度不足之间的平衡问题，进一步提高所增强图像的视觉效果。

1 弱光照图像的形成及特点

图像由函数I(x,y)表示，通常可由入射的光源和反射的光线两个分量来表征，即入射分量l(x,y)和反射分量r(x,y)，且关系如下：

式中：l(x,y)属于低频分量且0＜l(x,y)＜∞，其性质取决于光源；而r(x,y)是对物体表面信息的反馈，属于高频分量且0＜r(x,y)＜1，反映图像的固有属性。

随着计算机视觉技术和成像设备的发展，图像获取的便利性使得图像数量呈指数趋势上升，也是这种便利性导致图像拍摄环境达不到要求，使产生的图像出现局部或全局亮度偏低等问题。一般在光线亮度较暗的环境下所获取的图像会有细节不明显、对比度较低、颜色失真及易受噪声干扰等特点。这些弱光照图像无法获得较好的视觉效果，因此对弱光照图像的增强处理十分必要[7]。

2 基于融合技术的图像增强方法

首先，在构建图像显著性特征图的基础上对图像进行识别，分割出其显著区域和非显著区域，并基于显著性特征图估计出图像的透射图；其次，基于透射图，利用去雾模型对图像进行清晰化处理。最后，在色调、饱和度、明度（Hue，Saturation，Value，HSV）颜色空间基于MSR算法对V分量进行处理，再转换到人眼习惯的RGB颜色空间得到最终的增强图像。所提方法的具体流程如图1所示。

2.1 图像显著性特征图

所谓显著区域，就是能够在最短的时间内集中人们注意力的区域。图像在显著区域与非显著区域的空间分布上会有显著差异，如果对整体图像只是进行一致地增强处理，可能会出现局部过增强或增强不足等问题。为了避免出现上述不足，利用图像显著性区域具有较高的亮度、丰富的纹理细节等特征，首先识别出图像中的显著区域[8]，其次对不同的图像区域做不同的增强处理，以达到更好的视觉效果。

现阶段，对于环境监察力量，仍然处于较为薄弱的环节，管理手段和方法是比较单一、落后的，偷工减料现象屡禁不止，也没有贯彻落实好环保技术规范，处罚力度有待提升，违法成本也不高，很难有效治理和解决违法行为。基于此，必须要不断提高监督和管理的技术水平，实施严格惩处。结合企业实际情况，要合理测算污水处理的运行成本，严厉惩处故意性的违法行为，发挥出强制性和权威性作用。

有效编码假说将图像信息H（Image）分为突出部分和冗余信息两部分。想要获得显著目标，可通过在频率域用图像的统计不变性去除图像冗余信息的方式。由于自然图像的统计特性具有变换不变性，其统计特性中尺度不变性也被称为1/f法则，即自然图像集合的平均傅里叶谱的幅值A(f)服从：E{A(f)}∝1/f分布。

log曲线基本符合1/f法则，根据单幅图像具有尺度不变性，这里采用log谱L(f)表示图像L(f)=log(A(f))。因此，首先对图像I(x)做二维离散傅里叶变换，从空间域转换到频域，计算振幅A(f)和相位P(f)。然后，对幅值取对数后得到log谱L(f)，使用局部平均滤波器h(f)对其进行平滑，获得平均频谱：

如果L(f)中包含的信息是原图获得的，则需要处理的信息是：

式中：A(f)表示对数光谱的一般形状，由先验信息给出；R(f)表示特定输入图像的统计奇点，定义为图像的光谱残差，也就是log谱与其均值滤波后的差。

再计算出R(f)+i×P(f)的自然指数，最后对其作傅里叶反变换后就得到了该图像的显著性特征图S(x,y)。

利用上述方法即可得到图像的显著性特征图，在该图中将显著性特征值大于全图的显著性特征均值的像素判定为显著性区域，否则判为非显著性区域。如图2所示，选择3幅图像构建显著性特征图，并识别出其中的显著区域。

2.2 基于显著性区域识别图的透射图估计

基于去雾增强方法对弱光照图像进行初步增强处理：弱光照图像反转操作可以将图像虚拟为雾天图像；去雾增强处理后再次反转便可获得初步增强后的弱光照图像。首先对待增强弱光照图像进行反转操作：

式中：Ire(x,y)为反转图像。将反转图像虚拟为雾天图像，利用去雾模型[9]，基于暗通道先验的方法[10]具有效果好、效率高的优势，直接估计出反转图像的透射图，因此雾天图像的透射率估计[11]过程可表示为：

式中：Jc表示彩色图像的R、G、B这3个通道，是Ω(x)像素x的一个中心窗口；Jdark(x)为J(x)对应的暗通道图；ω∈(0,1]是为了保持图像的真实度而引入的调节因子。

然而，在透射图估计过程中可能被显著过估计。为此，根据2.1节构建的显著性特征图所判别的显著区域与非显著区域，对所得的透射图进行修正：

基于暗通道先验的去雾清晰化图像方法应用广泛效果也较显著。在计算机视觉和图像处理中，去雾清晰图像恢复模型如下：

式中：I(x)是待处理图像；t(x)为透射率；J(x)为去雾清晰后的图像；A是全球大气光成分，可以借助于暗通道图从待处理图像中获取该值。

最后，在上式去雾模型中使用修正后的透射图，可直接获得清晰化处理后的虚拟雾天图像，再将图像进行反转操作即可得到初步增强图像。结果见图3。

2.3 基于Retinex的图像亮度增强

Retinex理论由Land在大量的重复试验后提出，图像模型表示为

式中：S(x,y)为原图像；R(x,y)为需要的目标图像，即图像的反射分量；L(x,y)为图像的光照分量，该分量只能通过近似估计获得。为了计算方便将相关计算转换到对数域，且由于单一尺度SSR算法不能同时保证图像的色彩动态范围和图像的色感，因此，选择加权平均算法：

式中：n通常取3，为MSR算法中多个尺度的个数；ω1为加权系数；Gi(x,y)通常取高斯低通滤波函数。

式中λ为一个常量，满足：

HSV颜色空间是根据物体颜色的直观特性提出的，其中H表示颜色的色调、S表示颜色的饱和度、V表示亮度。由于HSV颜色空间中色度和亮度是分开表达的，因此对光照的变化具有较强的鲁棒性，为了避免处理后出现颜色失真问题，故对亮度通道进行单独处理。

综上，本文将2.2节去雾清晰化后的图像从RGB空间转换到HSV颜色空间，在亮度通道利用MSR算法处理V分量，最后再将图像转换到人眼熟悉的RGB颜色空间。这样可以在恢复和调节图像光照条件的同时保持图像真实色彩，获得更好的增强图像。

3 实验结果与分析

本文实验所用软件为Matlab2017a。计算机配置如下：系统为64位Windows10，CPU为Intel® Core™i7-8550U ＠1.80 GHz 2.00 GHz、内存 8 GB。

在弱光照图像增强算法实验中，从图像库中选择多幅图像进行试验，并与何凯明图像去雾算法、改进MSR图像增强算法进行了比较。部分图像增强实验结果对比如图4、图5和图6所示。

3.1 主观评价

由图4、图5和图6可见，去雾清晰增强方法是基于图像整体像素进行处理，因此处理整体像素较低的图像时可能会出现增强失效的状况，如图5（b）水下图像的纹理并未得到显著增强，图6（b）中的草地区域并无明显变化。改进MSR增强方法虽然可以改善图像的全局对比度、提升图像的整体视觉效果，但也存在显著区域增强能力不足问题，如图4（c）图像整体亮度比较均匀，却没有明显突出部分。相较而言，本文所提方法对不同类型的弱光照图像都达到了较好的增强效果，鲁棒性好，且较好地恢复了图像的纹理细节，在增强图像的整体视觉效果的同时，有效避免了局部过度增强和增强力度不足等缺点。

3.2 客观评价

主观评价标准不一，故从客观角度对图像增强效果进行评价。一般用图像的均值、标准差、平均梯度等指标对图像增强结果进行客观评估[12]。

（1）图像均值。图像均值越大说明图像整体较亮，它反映的是图像的整体明暗情况。

（2）标准差。图像标准差越大说明了图像像素与均值的离散程度越大，即图像质量越好：

式中：M、N为图像大小；S(x,y)为像素值；u为图像像素均值。

（3）平均梯度。图像的清晰度和图像细节纹理变化可用平均梯度来评估，平均梯度越大，说明图像越清晰：

表1、表2和表3给出了不同方法对图4、图5和图6进行增强处理后的图像的客观评价指标值。

表1 图像均值对比

表2 图像标准差对比

表3 图像平均梯度对比

从表1、表2、表3的图像均值、标准差和平均梯度对比中可以发现，本文所提算法的计算指标基本上都是最高的，由此可以说明弱光照图像经过本文算法的处理之后，图像亮度更高、纹理更复杂，图像的清晰度、图像细节信息也有所增加，最终有效提升了图像的整体视觉效果。

4 结 语

本文通过对图像显著性区域识别，避免了在图像增强过程中出现的过度增强或增强力度不足问题。将图像转化为虚拟雾天图像，利用去雾模型使图像清晰化。最后，基于Retinex模型在HSV颜色空间通过MSR算法对亮度V分量进行处理，进一步提高了所增强图像的视觉效果。

本文所提方法具有较好的鲁棒性，图像均值比原图平均增加了82%，标准差比原图平均增加了61%，平均梯度比原图平均增加了96%。