自适应双边滤波与方向梯度的红外图像增强

聂丰英，侯利霞，万里勇,2

自适应双边滤波与方向梯度的红外图像增强

聂丰英1，侯利霞1，万里勇1,2

（1. 南昌工学院 信息与人工智能学院，江西 南昌 330108；2. 江西师范大学 管理科学与工程研究中心，江西 南昌 330022）

为克服现有的红外图像增强方法存在欠增强、过增强以及对比度不高等缺陷，提出了自适应双边滤波与方向梯度的红外图像增强方法。对双边滤波进行改进，加权系数自适应于平滑区域和细节区域，以作为Retinex的中心环绕函数，将红外图像分解为基础层和细节层；用改进的平台直方图均衡化对基础层图像进行增强；提出一种方向梯度算子，用其提取细节层图像的梯度图，进而对细节层图像进行非线性的自适应边缘增强。实验结果表明，相对于部分现有的方法，本文方法能更有效地提升红外图像的亮度和对比度，增强图像的视觉效果更佳。

红外图像增强；平台直方图；自适应双边滤波；方向梯度算子；Retinex

0 引言

红外图像广泛应用于医疗卫生、军事监测和航空等领域[1]。由于热辐射的各向同性和红外传感器的不均匀感光响应，红外成像往往亮度和对比度较低，纹理细节较模糊[2]。红外图像增强是红外成像及其应用的必需。直方图均衡化[3]广泛用于红外图像增强，但是其对像素的统一均衡化分布处理，往往伴有局部过增强和欠增强的效果。双直方图均衡化[4]将图像的直方图分为两个子直方图，分别进行均衡化处理。Faraj等人[5]提出了自适应的直方图均衡化方法，更适宜地增强图像的对比度。Ashiba等人[6]将Gamma矫正与直方图均衡化进行结合，但是Gamma矫正与直方图均衡化对亮度的双重增强必然会产生过增强。Liu等人[7]同时对图像进行全局和局部的规定化，以实现全局增强和局部增强的互补。

直方图均衡化单纯从灰度级的均匀分布上增强图像的对比度，未能体现图像的局部纹理细节特征[8]。基于Retinex理论的图像增强方法根据人类视觉感知的原理将红外图像分为基础层和细节层[9]，对基础层和细节层分别进行增强处理。Chen等人[10]采用边缘保持滤波器将红外图分解为光照图像和反射图像，对光照图像进行自适应模糊平台直方图均衡化。但是单一尺度Retinex的图像增强会产生光晕现象和噪声，于是，魏然然等人[11]提出了一种改进多尺度的Retinex红外图像增强方法。Lv等人[12]对红外图像的细节层进行多尺度的增强以凸显图像的细节特征，同时用多尺度中值滤波对细节层进行去噪。对细节层的中值滤波处理，缺乏鲁棒性，在一定程度上破坏图像的纹理细节。单一的增强技术往往难以获得满意的增强效果，部分学者倾向于将多种增强技术进行融合。文献[13]先对红外图像进行多尺度的局部显著性提取，再对多尺度显著图像进行融合以实现图像增强。

为了进一步提升红外图像的亮度和对比度，同时保持图像的自然效果，提出了自适应双边滤波与方向梯度的红外图像增强方法。用改进的双边滤波将图像分为基础层和细节层；用改进的平台直方图均衡化对基础层进行增强，以显示隐藏于暗区的图像细节；用方向梯度算子对细节层进行自适应的边缘增强，以提升图像的对比度。

1 基于自适应双边滤波的Retinex

Retinex理论模拟人类视觉系统感知物体的亮度和颜色，解释了人眼视觉系统的颜色恒常性，即物体的颜色由物体的反射性质决定，不受光照的影响。Retinex理论认为图像由光照和物体表面对光照的反射相互作用的结果。光照为图像的低频信息，决定图像的动态范围，对光照的反射为图像的高频信息，如式(1)所示：

＝×(1)

式中：为原图像；为图像的基础层；为图像的细节层。为易于计算，将(1)式等价变换到对数域，为：

ln＝ln+ln(2)

式中：基础层为中心环绕函数对图像的滤波结果。由于高斯函数的平滑特性，中心环绕函数一般取高斯函数：

经过滤波获得光照图像：

为进一步研究逻辑单元或组合电路对单事件瞬态的响应，利用TCAD软件搭建了3D反相器。图2和图3给出了3D TCAD仿真中的一个反相器和三级反相器链。

＝U(4)

将式(2)等价变换，得到反射图像：

＝exp[ln－ln(U)] (5)

高斯滤波基于空间相关性分布进行滤波，忽略了像素域的相关性，因此未能有效保持图像的边缘细节，未能对光照做出准确估计。高斯滤波对光照图像的估计趋向于均匀，以致反射图像的光谱范围更宽，最终导致光谱重叠无法对特定的光谱子带进行增强。相对地，双边滤波以边缘保持能力著称，如式(6)：

式中：为滤波图像；(,)为以像素(,)为中心的邻域；为加权系数，定义如式(7)～(9)：

式中：s为空间距离域加权系数；r为灰度域加权系数；s为空间域标准差；r为灰度域标准差。显然，双边滤波对一个像素的滤波处理，既考虑像素的空间位置信息，也考虑像素的灰度信息，具有良好的边缘保持能力。

然而，双边滤波将空间距离域系数与灰度域系数视作等同，缺乏鲁棒性。s对任何大小一样的图像邻域都是一样的。于灰度域加权系数r，对于平滑区域，分母的r必然较小，而分子的两个像素的灰度差(,)－(,)往往也较小；而对于细节区域，分母的r必然较大，而分子的两个像素的灰度差(,)－(,)往往也较大，因此r无细节敏感性。相对细节区域，平滑区域中像素的相关性较大，加权系数应较大，但是r未能体现平滑区域与细节区域的差异。因此，本文提出改进的双边滤波，用作Retinex的中心环绕函数，如下：

式中：为反比于当前邻域的信息熵Entropy()的系数，而分子的图像信息熵Entropy()起到归一化的作用。信息熵代表一个图像或图像区域的细节信息丰富程度[14]。当前邻域为平滑区域时，其对应的信息熵较小，对应的较大，因此，相对于空间距离域加权系数s，灰度域加权系数r的占比较大，当前邻域为细节区域时，则反之。改进的双边滤波加权系数充分体现了平滑区域和细节区域在灰度域加权系数r上的差异，因此能更有效地提升双边滤波的边缘保持能力。

图1 标准双边滤波与改进的双边滤波的效果

使用边缘保持能力较好的改进双边滤波将红外图像分解为大动态信息的基础层图像和小动态信息的细节层图像。既实现了图像的平滑处理，又能够保持图像的边缘信息。这样可以将较大的对比度留在基础层，而细节层仅保留局部较小对比度的信息[15]。因此，改进的双边滤波对光照的估计更加准确。

2 基础层的平台直方图均衡化

基于改进双边滤波的Retinex，将图像分解为基础层和细节层。基础层为图像的低频部分，其灰度级的不合理分布是红外图像对比度低的主要原因，但是对其进行直方图均衡化会造成像素数较多的背景过增强。因此，本文对基础层采用平台直方图均衡化，对其灰度级进行均匀而适宜的分布。

平台直方图均衡化用平台阈值调整原图像的直方图：大于上平台阈值的()统计值调整为，以避免像素数较多的背景的过增强；其余的()统计值保持不变。平台直方图均衡化算法的定义为[16]：

接下来的均衡化过程为：

平台直方图均衡化是对直方图均衡化的改进，平台阈值的取值决定着平台直方图均衡化的改进效果。平台直方图均衡化虽然能对灰度级进行相对合理的分布，但是平台阈值多数依靠经验设置，缺乏鲁棒性。因此，本文提出自适应的平台阈值，用改进的平台直方图均衡化对红外图像的基础层进行增强处理。

根据基础层图像的直方图分布的形状，呈近似对称的波峰形，高峰为正中央附近，两头低中间高。因此，基础层图像的直方图可以近似地看作服从离散正态分布。正态分布的3准则如图2所示，元素处于区间(－,＋)、(－2,＋2)和(－3,＋3)的概率分别为68.26%，95.44%和99.74%，其中和分别为元素的均值和标准差。对于一个总体中的个体，如果其超出了2的范围(－2,＋2)，其为奇异个体的概率为95.44%，因此本文选取平台阈值＝＋2，自适应于特定红外图像基础层的和。当基础层的某个灰度级的原直方图()＞时，说明其与大多数其他灰度级的直方图差别过大，则将其调整为()＝。

图2 正态分布的3s准则

3 细节层的方向边缘增强

由于红外热成像的特性，红外图像本身的对比度较低，对基础层进行平台直方图均衡化是为了提升图像的亮度和对比度，使得处于黑暗区域的图像细节得以正常显示，提升图像的对比度。仅增强红外图像的基础层，往往难以实现红外图像理想的增强效果，进一步地，本文提出了基于方向梯度算子的细节层边缘增强方法。

借鉴于Canny和Sobel算子的优点，本文提出了一种方向梯度算子，如图3所示。方向梯度算子的创新之处有：

①能够表示图像在水平、垂直和正、反对角线4个方向上的梯度，基本上能表示图像的所有纹理和边缘方向。

②梯度算子各位置上的梯度系数反比于该位置与中心位置的相对距离，以体现邻域中各像素对中心像素在梯度上的影响和相关性，以更有效地提取图像各方向的梯度信息。

③现有的梯度算子尺寸均为3×3，而方向梯度算子采用尺寸5×5，能更有效地体现纹理和边缘的方向走势。

令h，v，d和id分别为方向梯度算子的水平、垂直、对角和反对角梯度算子，它们对细节层提取的边缘图像分别为：

h＝Äh(15)

v＝Äv(16)

d＝Äd(17)

id＝Äid(18)

式中：Ä为卷积运输。将4个方向的梯度图像进行融合，得到细节层的纹理边缘图像：

＝h＋v＋d＋id(19)

图3 多向梯度算子

对比度较清晰的红外图像，经边缘提取会得到较强的边缘图像，但对红外图像的增强只需轻微的边缘增强即可；对对比度较低的红外图像，会得到边缘较弱的边缘图像，但是红外图像需要更大强度的边缘增强。鉴于此，本文对细节层采用自适应非线性叠加的边缘增强：

e＝＋/Entropy() (20)

式中：e为对细节层进行边缘增强后的细节图像；Entropy()为原红外图像的信息熵。图像的对比度越清晰，其信息熵越大。从式(20)可以看出，对细节图像的边缘增强自适应地反比于红外图像本身的信息熵。对比度低较模糊的图像，其信息熵较小，因此需较大强度的边缘增强，而对比度高较清晰的图像，只需轻微的边缘增强即可。

将以上用改进的平台直方图均衡化增强的基础层e和经方向边缘增强的细节层e，做Retinex反变换得到增强的红外图像：

e＝exp(lne＋lne) (21)

4 实验分析

实验环境为Matlab 2016a，i7@2.70 GHz CPU和8G RAM的计算机以及Win10系统。将本文方法与文献[7]、[11]、[12]和[13]中提出的方法用3幅场景红外图像进行实验比较，如图4～6所示。文献[7]为直方图增强方法，文献[11]和[12]为基于Retinex的增强方法，而文献[13]为多尺度融合增强技术方法。

如图4所示，原图像的整体亮度偏暗，对比度较低。各算法对场景一进行增强后，对比度均有提升，但是文献[7]产生明显的过增强，虽然部分细节异常清晰，但是部分细节因过增强而被破坏。文献[12]产生明显的伪影，以天空为背景的树枝细节被破坏，文献[11]呈现轻微的模糊，对比度不高。文献[13]和本文方法的增强效果较好，在提升对比度的同时，较好地保持图像的自然效果，但是文献[13]的整体亮度偏暗，而本文方法的亮度对于人眼视觉感知较适宜。

如图5所示，原图像的亮度偏暗，纹理细节较丰富，但是对比度较低。文献[7]的对比度较高，但是同时存在过增强和欠增强，暗区的部分细节因欠增强而被隐藏，而亮区的部分细节因过增强而被破坏。文献[12]有较高的对比度，但是部分细节出现伪影，有明显的光晕现象。文献[11]虽然突显了部分细节，但是图像整体泛白，对比度的提升不明显。文献[13]和本文方法的增强效果明显比其他算法要好，本文方法在亮度适宜和对比度上，相比文献[13]更有优势。

如图6所示，原图像的粗细节较少，但是微小细节较多。文献[7]的增强效果整体清晰度较高，但是因欠增强部分细节被隐藏，而部分细节因过增强出现伪影，图像的自然效果较差。文献[12]虽然明显提升了图像的对比度，但是欠增强依然明显，部分原本处于暗区的细节因欠增强而消失。文献[11]和[13]虽然都有效地提升了图像的对比度，但是文献[11]的亮度偏高，呈现泛白现象，而文献[13]的整体亮度不足。相对地，本文方法在对比度和亮度适宜度上均优于其他算法。

图4 场景一各算法的增强效果

图5 场景二各算法的增强效果

图6 场景三各算法的增强效果

本文方法基于改进双边滤波的Retinex分解对图像进行增强，为了验证改进的双边滤波对红外图像增强的作用，将本文方法所用的改进双边滤波撤换为标准双边滤波，标识为本文方法1，而原来方法标识为本文方法2，将两方法应用于3幅场景红外图像，增强效果如图7所示。为了清晰显示，只显示其放大的区域图。根据增强图像的视觉效果，明显可以看出，本文方法2在图像的纹理细节的保持和增强上优于本文方法1。改进的双边滤波的加权系数自适应于平滑区域和细节区域，具有更好的鲁棒性，比标准的双边滤波能更有效地保持图像的纹理和细节。

图7 改进的双边滤波对三个场景的增强效果

为了更准确而客观地比较各算法的增强效果，将各算法对3个场景图像增强后的信息熵列于表1。文献[7]对应的信息熵较高，这完全是由于其过增强所造成，图像的自然效果已被破坏。文献[11]的信息熵相对于原图像有所提高，但不明显。文献[12]的信息熵比文献[11]高一点，但是其信息熵如此之高是由于过增强所致。相对地，文献[13]和本文方法对场景图像增强后的信息熵相对原图像有较大的提高，且以本文方法为最高。

表1 各算法对三个场景图像增强的信息熵

5 结论

为避免红外图像增强中出现欠增强、过增强以及对比度不高，提出了自适应双边滤波与方向梯度的红外图像增强方法。用改进的双边滤波提取红外图像的基础层和细节层，对基础层进行自适应的平台直方图均衡化，对细节层进行方向边缘增强。实验结果表明，相对于部分最新提出的方法，本文方法的增强效果更优，增强图像的视觉效果更清晰，纹理细节更丰富。

[1] 韦瑞峰, 赵荣普, 徐肖庆, 等. 基于直方图的红外图像细节增强算法研究[J]. 红外技术, 2016, 38(6): 472-475.

WEI R, ZHAO R, XU X, et al. Infrared image detail enhancement based on histogram[J]., 2016, 38(6): 472-475.

[2] WANG Y, WANG X, LI B, et al. Infrared image enhancement method for color transfer and contrast equalization in image registration[C]//, 2017, 10462: 1046258.

[3] Chaudhury S, Roy A. Histogram equalization-a simple but efficient technique for image enhancement[J].,, 2013, 5(10): 55-62.

[4] Aquino-Mori´nigo P, Lugo-Soli´s F, Pinto-Roa D, et al. Bi-histogram equalization using two plateau limits[J].,, 2017, 11(5): 857-864.

[5] Faraj N, Abood L. Contrast enhancement of infrared images using adaptive histogram equalization (AHE) with contrast limited adaptive histogram equalization[J]., 2018, 16(37): 127-135.

[6] Ashiba M, Tolba M, El-Fishawy A, et al. Gamma correction enhancement of infrared night vision images using histogram processing[J]., 2019, 78(19): 27771-27783.

[7] LIU C, SUI X, KUANG X, et al. Optimized contrast enhancement for infrared images based on global and local histogram specification[J]., 2019, 11(7): 849.

[8] 吕侃徽, 张大兴. 基于自适应直方图均衡化耦合拉普拉斯变换的红外图像增强算法[J]. 光学技术, 2021, 47(6): 747-753.

LV K, ZHANG D. Infrared image enhancement algorithm based on adaptive histogram equalization coupled with Laplace transform[J]., 2021, 47(6): 747-753.

[9] LI Y, ZHANG Y, NIAN L, et al. Infrared image enhancement method based on scale varies Retinex theory[J]., 2016, 31(1): 104-111.

[10] CHEN J, YANG X, LU L, et al. A novel infrared image enhancement based on correlation measurement of visible image for urban traffic surveillance systems[J]., 2020, 24(3): 290-303.

[11] 魏然然, 詹伟达, 朱德鹏, 等. 改进多尺度的Retinex红外图像增强[J]. 液晶与显示, 2021, 36(3): 465-474.

WEI R, ZHAN W, ZHU D, et al. Improved multi-scale Retinex infrared image enhancement[J]., 2021, 36(3): 465-474.

[12] LV J, DENG B, LU Y. A new detail enhancement method for high dynamic range infrared image[J].:, 2019, 1237(3): 032060.

[13] LI T, ZHAO J, WU X, et al. Infrared imaging enhancement through local window-based saliency extraction with spatial weight[J]., 2021, 15(12): 2910-2925.

[14] CHEN J, ZHAN Y, CAO H. Adaptive sequentially weighted median filter for image highly corrupted by impulse noise [J]., 2019, 7: 158545-158556.

[15] 凡遵林, 毕笃彦, 马时平, 等. 亮度保持和细节增强的红外图像增强方法[J]. 中南大学学报(自然科学版), 2016, 47(6): 1967-1972.

FAN Z, BI D, MA, et al. Method for infrared image with brightness preservation and detail enhancement[J].(Science and Technology), 2016, 47(6): 1967-1972.

[16] LI S, JIN W, LI L, et al. An improved contrast enhancement algorithm for infrared images based on adaptive double plateaus histogram equalization[J]., 2018, 90: 164-174.

Infrared Image Enhancement Based on Adaptive Bilateral Filtering and Directional Gradient

NIE Fengying1，HOU Lixia1，WAN Liyong1,2

(1.,,330108,;2.,,,330022,)

To overcome the defects of existing infrared image enhancement methods, such as under-enhancement, over-enhancement, and low contrast, an infrared image enhancement method based on adaptive bilateral filtering and directional gradient is proposed. The bilateral filter was improved, and its weighting coefficient is now adaptive to smooth and detailed regions. The improved bilateral filter is used as the central surround function of Retinex to decompose the infrared image into a base layer and a detail layer. Using improved platform histogram equalization, the base layer image is enhanced, and a directional gradient operator is proposed to extract the gradient image of the detail layer image to perform nonlinear adaptive edge enhancement on the detail-layer image. Experimental results show that, compared with existing methods, the proposed method can improve the brightness and contrast of infrared images more effectively. In addition, the visual effect of enhanced images using this method is better.

infrared image enhancement, platform histogram, adaptive bilateral filtering, directional gradient operator, Retinex

TP391

A

1001-8891(2022)12-1309-07

2022-01-25；

2022-03-22.

聂丰英（1982-），女，江西丰城人，硕士，副教授，研究方向为图像处理与数据库技术。

万里勇（1976-），男，江西东乡人，博士，教授，研究方向为图像处理、移动边缘计算和智能信息处理，E-mail：wanliyong@163.com。

2021年江西省教育厅科学技术研究项目（GJJ212517）；2021年教育部产学合作协同育人项目（202102450009）；2020年省教育厅科技技术项目（GJJ202506）；江西省教育科学“十三五”规划2019年度课题（19YB266）；南昌工学院机器人与智能系统研究中心项目（NGYZY-20-005）。