改进双边滤波与平均γ 矫正的图像增强*

罗国强，陈家益

(1.广州科技职业技术大学信息工程学院，广东 广州510550；2.广东医科大学生物医学工程学院，广东 湛江524023)

由于受传感器本身的缺陷以及拍照环境光线不足等影响，采集到的图像往往光照不足，对比度低，图像的重要信息被隐藏。 为了适宜地提高图像的亮度和对比度，充分显示图像的信息，图像增强必不可少[1]。 图像增强不是简单地提升图像的亮度和对比度，过增强也会破坏图像的信息。 一般地，图像的直方图分布可以反应图像的质量，因此部分学者提出了基于直方图均衡化技术的图像增强方法[2]，对图像的像素进行重分布，可以提升图像的亮度和对比度，但是该方法缺乏鲁棒性，对于部分图像会产生过增强现象。 近年来，Retinex 方法因其良好的图像转换能力而被广泛应用于图像增强[3]。 Retinex 运用基于中心环绕函数的滤波，将图像分解为光照图像和反射图像，通过提升光照图像的亮度，令其光照尽可能均匀地分布，再与反射图像重构得到增强图像。 其中，Retinex 对图像的分解又分为单尺度分解和多尺度分解[4]。

为了在增强图像细节的同时保持图像的自然度，Wang 等人[5]提出了非均匀光照图像的增强方法。 常戬等人[6]在Retinex 图像增强算法中引入图像融合技术，旨在解决单尺度Retinex 图像增强算法存在的光晕和图像泛灰问题。 但是其对反射图像的非线性拉伸在一定程度上会破坏图像的纹理结构，并不能提升图像的对比度。 文献[7]提出了一种基于光照图像估计的图像增强算法，用三通道图像的像素最大值作为光照图像像素的初步估计，通过一个先验结构优化光照图像估计，为计算机视觉和多媒体算法提供高质量的图像。 为克服单一增强技术的不足，实现优势互补，Aboshosha 等人[8]将对比度受限的自适应直方图均衡和图像插值技术同时应用于图像增强中，两种技术的交互使用在一定程度上有利于图像增强模型的最优化，但是用于分辨率增强的图像插值技术改变了图像的大小，而其对图像的视觉效果未必有效。 为了避免在增强过程中引入不自然的对比度和失真效果，文献[9]中提出了一种基于SALP 群算法的最优加权直方图框架，应用子直方图和裁剪技术以及基于平稳极限的修改框架对图像的直方图进行调整，然后对图像进行直方图均衡化。 医学图像增强对于医学诊断和研究有着非常重要的意义，Bharath 等人[10]提出了一种模糊灰度差直方图均衡化技术，用于增强医学图像，有利于医学和研究人员区别正常人体组织与病灶组织。 低光照环境下拍摄的图像往往混有噪声，鉴于多数算法在增强图像的同时未能解决噪声去除问题，Li 等人[11]提出了一种鲁棒的Retinex 图像增强模型，用L1 范数约束光照的分段平滑度，采用保真度项增强反射图像的结构细节。 文献[12]提出一种吸收光散射模型以模拟低光照图像的成像过程，该模型可以恢复被低光照隐藏的图像轮廓和细节。 但是由于成像的硬件条件和环境条件复杂，所提出的吸收光散射模型缺乏鲁棒性，难以适用于性质不同的各种图像。 李忠海等人[13]用构造的增益系数对在HSV色彩空间分解的光照图像和反射图像分别进行增强处理，再在RGB 色彩空间对重构的图像进行色彩恢复以得到增强图像。 但是其对图像的色调分量和饱和度分量进行空域滤波，会破坏图像的自然度，引入失真效果。 Gu 等人[14]提出一种基于Retinex 的分数阶变分图像增强模型，对图像的反射分量和光照分量执行分数阶梯度总变分正则化，以获得更适宜的增强效果。 张江鑫等人[15]对图像低频和高频部分，分别用线性拉伸与指数变换进行处理，指数变换固然能提升图像的对比度，但是低频图像的线性拉伸会破坏图像的自然度，引入失真效果。 鉴于深度学习在图像处理中的广泛应用，部分学者提出了基于深度学习的图像增强方法。 Ma 等人[16]提出一种深度学习上下文敏感分解的图像增强方法，构建光照图像和反射图像的同步估计机制，用上下文敏感分解连接来桥接两种估计机制。 文献[17]在图像增强中结合优化策略与深度学习技术，用非线性相机响应函数模型产生中间图像，再用神经网络对中间图像的细节进行增强。 基于深度学习的图像增强在一定程度上取得良好的增强效果，但其不足之处在于计算复杂度较高，耗时较长。

为了在增强图像的同时，避免欠增强和过增强，保持图像的自然效果，我们提出了改进双边滤波与平均γ矫正的图像增强方法。 该方法的创新性在于，改进双边滤波的各向异性能够保持图像的边缘和细节结构；对各尺度的光照图像进行γ矫正，在保持图像自然度的同时提升了图像的亮度和对比度；对增强后的各尺度的光照图像和反射图像取均值，保持了图像的自然效果。

1 Retinex 图像模型

Retinex 图像模型对人的视觉感知系统进行了模拟，其原理基于以下三个假设:①真实世界是无颜色的，我们所感知的颜色是光与物质相互作用的结果；②每一颜色区域由给定波长的红、绿、蓝三原色构成；③三原色决定了每个单位区域的颜色。Retinex 理论认为物体的颜色由物体对短、中、长波的反射能力决定，不受光照影响[18]。

Retinex 图像模型模拟人类的视觉感知系统，将感知的图像f分解为光照图像L和反射图像R两部分:

根据中心环绕函数对原图像f进行滤波，得到图像L，而通过以下对数变换，可得反射图像R。

一般地，用高斯滤波核

作为中心环绕函数，对图像进行Retinex 分解，分别得到光照图像L和反射图像R。

2 改进的双边滤波

高斯滤波核(4)只关联空间距离，具有各向同性，不能体现图像的细节和纹理结构，结果图像会因为丢失细节和纹理结构而变得模糊。 鉴于双边滤波[19]具有各向异性和边缘保持能力，本文提出一种改进的双边滤波方法，应用于Retinex 分解中，使得Retinex 更好地保持图像边缘和纹理结构。 传统的双边滤波为

核函数结合了空间域核Gd与像素域核Gs，不仅考虑了像素的空间距离，还考虑了像素范围域中的辐射差异，具有边缘识别的能力。 但是，以上双边滤波核函数的设定忽略了图像与空间邻域的特征，核函数中的空间域核Gd与像素域核Gs具有一样的权重，从而导致滤波缺乏鲁棒性。 于是，根据平滑区域的像素方差小，细节区域的像素方差大的特点，提出了改进的双边滤波

3 多尺度Retinex 与γ 矫正的图像增强

改进的双边滤波的效果取决于其滤波邻域的大小，小邻域滤波能够保留较多的细节和纹理结构，大邻域滤波具有较好的平滑效果。 参照文献[3]，我们设定r1=5，r2=10，r3=15 作为三尺度Retinex 分解的双边滤波半径，以此获取原始图像的小、中、大尺度的光照图像和反射图像。

对图像进行三尺度Retinex 分解，得到对应的光照图像L1、L2、L3和反射图像R1、R2、R3。 然后对光照图像Lx(x=1，2，3)进行γ矫正

将γ矫正后的小、中、大尺度的光照图像取均值图像，以及对小、中、大尺度的反射图像取均值图像，然后作反Retinex 变换，得到最后的增强图像，如式(9)和式(10)所示。

γ的取值决定光照图像的增强效果，γ＜1 时，对光照图像作非线性的提升变换，图像区域越暗，提升的程度越高，图像区域越亮，提升的程度越小，有效防止了亮区域过增强，如图1 所示。

图1 γ 变换函数

经过测试与验证，取γ=0.23 可以获得最优的增强效果，且具有良好的普适性。 根据增强后的多尺度光照图像的均值图像与多尺度反射图像的均值图像，进行Retinex 重构以获得增强图像，可以减免图像的失真度，图像的色彩更自然。 本方法的流程图如图2 所示。

图2 本文方法的流程图

4 实验结果与分析

实验平台为MATLAB 2018b，操作系统为Win10，硬件系统为Intel i5 CPU 和8GB RAM。 实验所用的素材为选自数据集Exclusively Dark 的部分图像，如图3 所示。 以文献[5，7，9，11，12，16]提出的方法作为参照，以视觉效果、直方图与信息熵作为指标，验证所提出方法的有效性和鲁棒性。 视觉可以感知出图像的亮度、对比度和自然度等；直方图衡量像素分布的动态范围与合理性；信息熵是一个随机性和可变性的统计度量，可以用来表征图像的纹理特征，熵越大，纹理越明显，纹理保持能力越好。 信息熵定义为

图3 实验图像

Pij为概率函数，反映了一个像素及其周围像素强度分布的综合特征。

4.1 增强图像的视觉效果

各方法对图像Ferrari 的增强效果如图4 所示。原图像Ferrari 的近景较暗，对比度较低。 很明显，文献[5]和[12]的增强亮度不够，部分暗区的细节仍未能显示。 文献[9]的增强图像存在明显的图像失真和过增强效果。 文献[7]和[11]对整体亮度的增强依然不足，处于暗区的近景未能清晰显示。 文献[16]和本文方法的增强效果较好，整体亮度适宜，但是细心观察可以发现，文献[16]对近景存在过增强效果，图像颜色存在轻微的失真，而本文方法整体增强效果适宜，对比度较高，图像的自然度较好。

图4 各方法对Ferrari 的增强图像

如图5 所示，各个方法对图像Horses 的增强效果差异较大。 原图像的近景以及部分远景亮度不足。 文献[9]存在明显的过增强效果，图像效果过于鲜艳，自然度较差。 文献[5]对图像的整体亮度提升不够，部分区域的光线较差。 文献[12]虽然整体亮度适宜，但是对比度较低。 文献[7]和[11]虽然整体增强效果可以接受，但是其对部分近景的亮度增强不足，图像色彩的自然度稍差。 文献[16]的整体增强效果较好，但是对植物存在轻微的过增强效果。 本文方法较适宜地提升了图像的亮度，对比度较高，视觉效果较自然。

图5 各方法对Horses 的增强图像

4.2 增强图像的直方图分布

直方图可以直观地体现图像的质量，一张效果理想的图像，其直方图应当满足两个条件:①充分利用像素级空间，像素分布于整个像素级空间中。 这样的图像对比度较高，纹理细节较清晰。 ②在像素级空间中，像素近似均匀分布。 这样的图像亮度适宜，色彩明暗度较自然。 各算法对图像Street 进行增强后对应的直方图如图6 所示。 根据图6(a)，原图像虽然充分利用了整个像素级空间，几乎每个像素级都有像素，但是其明显的缺点是，大部分的像素集中分布于低灰度级，图像偏暗，细节被隐藏。 再从各算法对图像增强后对应的直方图来看，都能充分利用整个灰度级空间，对比度都较好，但是在文献[5]、[7]、[9]和[11]的直方图中，像素分布都偏向于较低的灰度级，图像整体亮度偏暗，图像暗区的细节部分未能正常显示。 根据文献[12]的直方图，其像素分布较均匀，但是像素分布的主峰还是稍微偏向于低像素级，整体亮度稍微偏暗。 文献[16]和本文方法在整个像素级空间上分布较均匀，亮度明暗适宜，色彩较自然，但是文献[16]存在部分像素级对应的像素数量极大，这是因为过增强导致像素不合理分布的结果。 因此，从增强图像的直方图来看，用本文方法对图像增强后，增强图像的亮度较适宜，对比度较好，色彩自然，纹理和细节较丰富。

图6 各方法对Street 进行增强后对应的直方图

4.3 增强图像的信息熵

图像的信息熵是一种图像特征的统计形式，它反映了图像中平均信息量的多少，表示图像灰度分布的聚集特征。 图像的信息熵越大，图像的纹理结构越明显，图像细节越丰富。 各方法对实验图像增强后的信息熵如表1 所示。

表1 各方法对实验图像增强后的信息熵

对于图像Ferrari，文献[5]、[9]和[12]增强图像的熵较低，相对于原图像，其对信息量的提升不明显。 文献[7]、[11]和[16]增强图像的熵较高。 相对地，本文方法增强图像的熵更高，比其中效果最好的文献[16]增强图像的信息熵还高出0.15，增强图像的纹理和细节较丰富。 对于图像Horses，文献[5]和[12]增强图像的信息熵较低，文献[7]和[16]增强图像的信息熵处于中等水平，文献[9]和[11]增强图像的信息熵较高。 本文方法增强图像的信息熵比现有的方法高出大约0.3。 对于图像Math books，文献[9]增强图像的信息熵较低，文献[5]、[7]和[11]增强图像的信息熵处于中等水平，文献[12]和[16]增强图像的信息熵较高，相对地，本文方法增强图像的信息熵比文献[12]和[16]增强图像的信息熵高出0.6 以上。 对于本身纹理细节较丰富的图像Street，各算法增强图像的信息熵相对原图都有较大程度的提升，其中提升度最为明显的是文献[12]和[16]以及本文方法，另外本文方法比效果最好的文献[16]还高出0.2。 根据不同图像的增强图像对应的信息熵可以看出，各方法对图像的增强效果的优劣，可能会因图像的不同而有差异，但是本文方法始终保持较好的增强效果，对图像纹理和细节的增强效果更明显和更自然。

5 结束语

为了在提升图像亮度和对比度的同时，保持图像的自然度和减免色彩失真，提出了一种改进双边滤波与平均γ矫正的图像增强方法。 方法的主要优势为:基于改进双边滤波的Retinex 分解较好地保持了图像的细节和纹理结构；多尺度的Retinex 分解与重构兼顾了小、中、大尺度的细节和纹理结构的保持；γ矫正在保持图像自然度的同时，改善了图像的亮度和对比度。 基于视觉效果、直方图以及信息熵的实验结果表明，所提出的方法具有较好的图像增强效果，增强图像的亮度适宜，纹理丰富，对比度较高。 根据图像亮、暗不同的区域定制不同的增强策略，进一步提升方法的增强效果和普适性，是我们下一步的研究方向。