多尺度自校正双直方图均衡化红外图像增强

张 桓，陈志盛

多尺度自校正双直方图均衡化红外图像增强

张 桓1，陈志盛2

（1.长沙理工大学 设计艺术学院，湖南 长沙 410114；2. 长沙理工大学 电气与信息工程学院，湖南 长沙 410114）

针对红外图像增强过程中容易饱和、细节丢失等问题，提出一种参数自设定的双直方图均衡化方法。根据灰度级累积概率密度黄金比例值将原始图像划分为两个独立的子图像。结合原始图像曝光度和子图像灰度级区间信息，对每个子图像的直方图进行多尺度自适应加权校正。基于校正后的直方图，对每个子图像分别作均衡化映射变换，最后合并子图像获得增强图像。在红外图像公开数据集INFRARED100上进行的测试显示，与亮度保持双直方图均衡化（Brightness Preserving Bi-Histogram Equalization，BBHE）、带平台限制的双直方图均衡化（Bi-histogram Equalization with a Plateau Limit，BHEPL）、基于曝光度的双直方图均衡化（Exposure based Sub-image Histogram Equalization，ESIHE）方法相比，所提方法增强的图像具有合适的平均对比度和更大的平均信息熵，在峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）、结构相似度（Structural Similarity，SSIM）、绝对平均亮度偏差（Absolute Mean Brightness Error，AMBE）指标上平均提升至少17.2%、4.0%、56.2%。实验结果表明，所提方法对不同亮度特征的红外图像都有良好的适应性，可有效增强红外图像对象和背景之间的对比度，在噪声抑制、亮度和细节保持等方面优于同类方法。

红外图像处理；对比度增强；直方图均衡化；亮度保持；自适应加权校正

0 引言

红外热像技术在灾情监测、人脸识别、无损探伤等各个领域广泛应用[1-2]。物体红外信号波动范围很大，加上成像装置对图像温度的变化敏感，所得原始红外图像会出现低对比度、背景高度模糊等缺陷，观测对象的细节信息很容易隐藏在背景中难以辨别[3]。改善前景目标的对比度以及抑制背景的辐射噪声是红外图像增强的重要任务。红外图像增强方法可分为深度学习和经典方法两大类[4]，其中经典方法包括直方图均衡化（Histogram Equalization，HE）[5]、Gamma校正[6]和Retinex方法[7]等。HE通过拉平整个图像像素值分布的方式提高对比度，该方法简单易行，非常适用于低算力图像处理终端或视频监控设备。为克服HE可能过度增强图像对比度的不足，Kim等[8]提出了亮度保持双直方图均衡化（Brightness Preserving Bi-Histogram Equalization, BBHE）方法，通过分割原始图像为两个子图像并独立进行HE来改善增强图像的视觉质量。受BBHE启发，兼顾平均亮度和细节保持的三直方图均衡化[9-10]、四直方图均衡化[11]以及动态多直方图均衡化[12-13]等方法陆续被提出。

双直方图均衡化算法应用广泛，值得进一步深入研究[14]。在双直方图均衡化方法中，合理选择子图像分割阈值是保持图像平均亮度的关键因素之一。目前大部分文献[8-10]采用原始图像的灰度均值作为分割阈值，该方法简单实用，特别是当直方图在其分割点周围具有准对称分布时，可以很好地维持输出图像的平均亮度。此外，较复杂的K-means聚类[11,14]或快速模糊聚类[13]也可用于分割阈值的优化计算。另一方面，Ooi等[15]提出了带平台限制的双直方图均衡化（Bi-histogram Equalization with A Plateau Limit，BHEPL）算法，通过直方图裁剪（Histogram Clipping）方式，间接增加概率密度较小的灰度级像素向其它灰度级均衡映射的几率，从而达到进一步增强图像细节对比度的目的。不过裁剪平台限值的合理设置是个难题，一些文献尝试采用群智能算法[16-17]或自适应迭代方法[18]，不过都存在计算量大、待定参数多等缺陷。

分析BHEPL算法原理不难发现，在归一处理后，原始图像的直方图在平台裁剪区域的形态变化信息事实上已被抹平，而且无论如何优化裁剪平台限值，都无法彻底解决该问题。为此，本文从不同的研究角度出发，提出一种多尺度自校正双直方图均衡化方法（Multi-scale Auto-corrected Bi-histogram Equalization，MABHE）。MABHE方法中的所有参数全部源自于图像本征信息，无需使用者设定，便于实际工程应用。主要研究工作包括：①适应红外图像机理特点，采用黄金比例优选法计算子图像直方图分割阈值，合理保持图像平均亮度；②摒弃直方图平台裁剪方式，采用自适应加权校正方式将直方图平衡延展至整个灰度级区域，充分保持原始图像直方图分布形态，达到保留和增强更多图像细节的目标；③通过在公开数据集上进行的实验测试和统计分析，验证MABHE方法在红外图像增强应用中的普适性和优越性。

1 方法描述

1.1 整体方法流程

图1为MABHE图像增强方法的流程图，基本步骤是：首先，依直方图累积概率密度函数黄金比例值将原始图像分割出两个子图像；其次，使用多尺度自适应幂律加权方式进行直方图校正；再次，针对每个子图像的像素灰度值进行独立均衡化变换；最后，将子图像线性合并，输出增强图像。与带平台限制的直方图均衡化方法[9,10,15-18]的最大区别是：MABHE方法采用保形“软”修整而不是平台“硬”裁剪方式来增强前景目标细节，因此不仅保留了直方图主体部分的轮廓形态，而且在非主体部分的细节信息保持方面也更有优势。

图1 MABHE方法流程图

1.2 直方图黄金比例分割

设原始图像的直方图为：

式中：－1是图像灰度级动态调节范围上界值；n是灰度级的像素数，该灰度级的概率密度函数()和累积概率密度函数()分别定义为：

式中，()∈[0,1]，()∈[0,1]，(－1)＝1。

多数红外图像的直方图实际分布范围较窄，而且直方图在图像灰度均值两边形状在很多情况下差别较大，因此不宜将原始图像的灰度均值作为分割阈值。为保持输出图像亮度合适并使两个子图像的灰度级区间范围适当，本文采用累积概率密度函数()的黄金比例点作为理想分割阈值x，计算公式为：

根据阈值x将原始图像划分为子图像1和2，即：

＝1∪2(5)

其中

1.3 直方图多尺度自适应校正

在数字图像中，曝光不足或曝光过度区域是一组灰度值接近于可用动态范围最小值或最高值的邻域像素，这些像素灰度值差异非常小，在图像增强处理过程中容易导致细节丢失。为准确描述图像的曝光程度，Singh[19]引入式(8)所示的曝光度来定量表征图像的曝光水平：

式中：()是原始图像的概率密度函数。曝光度的取值范围为[0,1]。一般而言，视觉质量好的图像的曝光度接近0.5，若某幅图像的曝光度大于0.5，则表明过度曝光区域多于曝光不足区域，因此曝光度也可以作为子图像分割的重要依据[19]。

根据原始图像的曝光度，对子图像1和2的直方图分别用归一化幂律函数式(9)进行自适应加权校正：

式中：

尺度系数（＝1,2,3）的取值与子图像1和2各自的灰度级区间大小信息关联。其中，子图像1（＝0, 1, …,x）的尺度系数取为：

子图像2（＝x＋1, …,－1）的尺度系数取为：

式(12)中：0≤≤0.5。根据式(13)和式(14)，不管是子图像1还是子图像2，都有0≤≤2，因此式(9)中的幂函数指数项满足0≤≤1。通过分析不难得出，原始图像中概率密度越小的灰度级加权越大，而概率密度最大的灰度级则保持不变，这样的结果显然对保持输出图像的平均亮度具有重要的支撑作用。如果式(13)和式(14)中的尺度系数统一取为1，即1＝2＝3＝1，那么式(9)就退化为只包含曝光度、与文献[6]类似的全局单尺度加权校正公式。不过文献[6]的幂律加权公式中的指数项为自由参数，需要使用者根据图像特点自行确定，在实际应用中难度较大。

图2给出了原始红外图像（图2(a)）及其直方图（图2(b)），以及经单尺度和多尺度校正后的直方图c（图2(b)）。由图2可以看出，校正直方图c几乎是将原直方图以峰值为中心和固定点拉伸至整个灰度级动态调节区域，c和的整体形态特征基本相似。对比单尺度和多尺度两种校正方式，多尺度校正在低灰度级区间的补偿作用更加明显，在高灰度级区间略有增加，而在中间灰度级区域更接近原直方图的形状（见图2(b)直方图曲线波谷处）。如前所述，大部分红外图像主体部分灰度级在直方图的低暗区，增加低暗区灰度级的概率密度可以在后续处理过程中增大弱红外特征物体的边缘和纹理等细节的对比度，适度改变高亮区灰度级的概率密度则可以在保持图像整体亮度的同时避免局部饱和现象，而中间灰度级区域接近原直方图的形状，可以比平台裁剪类方法保留更多的原始图像本征信息。综上，对于红外图像而言，多尺度校正方式效果要优于单尺度校正方式。

图2 红外图像直方图校正结果对比

1.4 直方图均衡化与图像合并

直方图自适应校正后的子图像1和2在灰度级的概率密度函数由式(15)和(16)重新定义为：

相应的累积概率密度函数分别为：

根据式(17)和(18)确定子图像1和2像素灰度值的均衡化变换函数：

将均衡化映射后的子图线性组合为输出图像：

式中：

2 实验与结果分析

2.1 实验设置

验证本文MABHE方法有效性的实验环境是：处理器Intel i5-8300H，内存RAM 8GB，图像处理应用软件MATLAB R2021a。测试图像全部来自公开的热红外数据集INFRARED100[3]，该数据集包含了用一台商用非制冷长波红外相机拍摄的100幅高分辨率红外图像（640pixel×480pixel）。从现有图像增强经典方法中主要选择但不限于双直方图均衡化类方法进行比较，包括：HE[5]，BBHE[8]，BHEPL[15]，AGCWD[6]，基于曝光度的双直方图均衡化（Exposure based sub-image histogram equalization，ESIHE）[19]方法，三直方图均衡化（Tripartite sub-image histogram equalization，TSIHE）[9]方法，对比度受限的自适应直方图均衡化（Contrast limited adaptive histogram equalization，CLAHE）[5]方法。关于上述方法的程序实现，HE和CLAHE采用MATLAB R2021a自带函数histeq和adapthisteq，AGCWD和ESIHE代码由原文献作者开源提供，BBHE、BHEPL和TSIHE代码根据文献算法步骤完整复现。

2.2 主观评价

图3是对室内、较低亮度红外图像的增强处理结果。HE方法有明显的过度增强现象；ESIHE方法图像整体偏暗，对比度增强效果一般；从直方图看，BBHE和AGCWD方法在灰度值极大区像素数目较多，因此图像在电缆中部有局部饱和现象；CLAHE、BHEPL、TSIHE和MABHE方法图像整体良好，在电缆集束部分较亮区域处，CLAHE和MABHE方法都能清晰呈现不同线路的边缘细节。

图3 低亮度场景1增强效果对比

图4是室外、中等亮度红外图像的测试结果。由于原始图像直方图在灰度均值周围具有准对称分布，所有方法都有较好的对比度增强效果。图4中的汽车前部、特别是右车灯附近，CLAHE、ESIHE和MABHE方法细节保留最完整，MABHE的图像整体亮度介于CLAHE和ESIHE之间，自然程度更好。

图5给出了室外、较高亮度红外图像的对比结果。CLAHE和MABHE方法的图像视觉质量最好。BBHE、BHEPL、TSIHE方法的结果一般。HE和AGCWD方法效果相对较差，HE图像中场馆上部桁架结构已消失，AGCWD图像平均亮度过大，甚至超过原始图像。

2.3 客观评价

评价原始图像和输出图像的质量测量包括全参考质量指标和无参考质量指标两类，具体是峰值信噪比（Peak signal-to-noise ratio，PSNR）、结构相似度指数（Structural similarity，SSIM）、绝对平均亮度偏差（Absolute mean brightness error，AMBE）[11]、信息熵（Information entropy，IE）和平均梯度（Mean gradient，MG）[20]。在实验中，PSNR、SSIM和IE的计算直接调用MATLAB函数PSNR、SSIM和entropy。

绝对平均亮度偏差AMBE是一种全参考质量指标，用于测量输出图像相较于原始图像的平均亮度变化，其计算公式为：

式中：in和out分别表示输入图像和输出图像；(in)和(out)分别表示输入图像和输出图像的亮度均值。AMBE的值越小，图像的亮度保持程度越好。

平均梯度MG是一种无参考质量指标，能较好地反映图像对比度和纹理变化[20]，一般情况下，MG值越大表示图像清晰度越高，视觉质量越好，其计算公式为：

式中：f(i, j)表示图像在(i, j)位置的灰度值。

图5 高亮度场景3增强效果对比

表1给出了8种方法在INFRARED100数据集上测试结果的5项指标均值，最佳的2个数值用加粗标出。由于PSNR、SSIM、AMBE是全参考质量指标，所以表1中只给出了原始图像的IE和MG两项无参考指标值。表1结果显示，MABHE方法的PSNR、SSIM和AMBE指标数值全部排在第1位，表明MABHE在噪声抑制、结构和亮度保持方面具有非常好的效果。MABHE方法的IE指标数值虽然排名第二，但与原始图像的信息熵差距很小，说明在图像增强过程中图像信息丢失最少；排位第一的CLAHE方法的IE指标数值高出原始图像不少，可能是该方法在复杂运算过程中增加了原始图像本不具有的信息量。另外，MABHE方法的MG指标数值与ESIHE、TSIHE等方法接近，比原始图像MG值平均增加71.0%，说明图像对比度增强效果合适。MG数值排名前两位的HE和BBHE方法的输出图像在主观视觉效果上呈现过度增强效果，说明其MG数值虽高但不合适。

各方法之间性能提升的量化比较方面，MABHE与双直方图类方法BBHE、BHEPL、ESIHE相比，在指标PSNR、SSIM、AMBE、IE上至少提升17.2%、4.0%、56.2%、0.7%。与新型三直方图类方法TSIHE相比，MABHE在指标PSNR、SSIM、AMBE、IE上平均提升9.0%、1.1%、18.7%、0.6%。在多直方图均衡化方法中，子图像划分数量越多，意味着每个子图像直方图动态调节区间越小，即映射到其它亮度区域的概率越低，因此在平均亮度保持上更具优势[9-10]。MABHE方法在平均亮度指标AMBE上明显优于TSIHE方法，从一定程度上可以反映出黄金比例阈值分割和直方图自适应校正策略的合理性和可行性。

图6用箱线图可视化汇总了5项评价指标在INFRARED100数据集上不同图像的测试结果统计量。如图6所示，指标PSNR和AMBE的数据分布情况表明MABHE方法明显优于所有对比算法，指标SSIM、IE和MG的数据分布显示MABHE方法与同类方法相比总体略好或大致相同。

表2～表6给出了图3～图5所示分场景图的质量评价指标，最好的两组数据用黑体字标出。从各场景统计数据看，MABHE方法的PSNR、MBE、IE指标数值基本排在前两位，而且信息熵IE最接近原图。在场景1和场景2中，MABHE方法的SSIM指标值虽然没有进入前两位，但差距比较小。MABHE方法的MG指标值在所有方法结果中排在中间位置，从场景1到场景3，平均梯度MG比原图分别提高124.8%、96.6%和86.5%，结合主观评价结果可知输出图像对比度是合适的。综合测试图集整体和分场景数据证明，本文所提MABHE方法具有普适性并增强了对比度。

表1 基于INFARED100数据集的图像质量评价指标均值

图6 测试结果统计箱线图

表3 分场景图SSIM指标

表4 分场景图AMBE指标

表5 分场景图IE指标

表6 分场景图MG指标

3 结论

针对红外图像在全局直方图均衡化增强过程中容易饱和、细节丢失等问题，提出了一种新型双直方图均衡化方法。主要改进措施包括两点：一是基于黄金比例优选的双直方图分割策略；二是通过参数自设定的多尺度幂律加权校正，以概率密度最大的灰度级为固定点，将直方图拉伸至整个动态调节范围，获得直方图均衡化的理想分布模型。采用公开数据集进行测试，结果表明，所提方法对不同亮度特征的红外图像都有良好的对比度增强效果，且在噪声抑制、亮度和结构保持等方面，比带平台限制的同类多直方图均衡化方法更好。

[1] 孔松涛, 黄镇, 杨谨如. 红外热像无损检测图像处理研究现状与进展[J]. 红外技术, 2019, 41(12): 1133-1140. KONG S, HUANG Z, YANG J. Research status and development of image processing for infrared thermal image nondestructive testing[J]., 2019, 41(12): 1133-1140.

[2] ZUO J, HU X, XU L, et al. CH4gas leakage detection method for low contrast infrared images [J]., 2022, 127: 104473.

[3] HE Z, TANG S, YANG J, et al. Cascaded deep networks with multiple receptive fields for infrared image super-resolution[J]., 2019, 29(8): 2310-2322.

[4] RASHEED M T, SHI D, KHAN H. A comprehensive experiment-based review of low-light image enhancement methods and benchmarking low-light image quality assessment[J]., 2023, 204: 108821

[5] GONZALEZ R, WOODS R.[M]. 4th edition, New York: Pearson, 2018.

[6] HUANG S C, CHENG F C, CHIU Y S. Efficient contrast enhancement using adaptive Gamma correction with weighting distribution[J]., 2013, 22(3): 1032-1041.

[7] 胡家珲, 詹伟达, 桂婷婷, 等. 基于多尺度加权引导滤波的红外图像增强方法[J]. 红外技术, 2022, 44(10): 1082-1088. HU J, ZHAN W, GUI T, et al. Infrared image enhancement method based on multiscale weighted guided filtering [J]., 2022, 44(10): 1082-1088.

[8] KIM Y T. Contrast enhancement using brightness preserving bi-histogram equalization[J]., 1997, 43(1): 1-8.

[9] RAHMAN H, PAUL G C. Tripartite sub-image histogram equalization for slightly low contrast gray-tone image enhancement[J]., 2023, 134: 109043.

[10] PAUL A. Adaptive tri-plateau limit tri-histogram equalization algorithm for digital image enhancement[J]., 2023, 39: 297-318.

[11] Caballero R, Pineda I, Román J, et al. Quadri-histogram equalization for infrared images using cut-off limits based on the size of each histogram [J]., 2019, 99: 257-264.

[12] Rao B S. Dynamic histogram equalization for contrast enhancement for digital images[J]., 2020, 89: 106114.

[13] 江巨浪, 刘国明, 朱柱, 等. 基于快速模糊聚类的动态多直方图均衡化算法[J]. 电子学报, 2022, 50(1): 167-176. JIANG J, LIU G, ZHU Z, et al. Dynamic multi-histogram equalization based on fast fuzzy clustering[J]., 2022, 50(1): 167-176.

[14] 闫哲, 蒋砾, 杨帆, 等. 基于双直方图均衡算法的红外图像增强[J]. 红外技术, 2022, 44(9): 944-950. YAN Z, JIANG L, YANG F, et al. Bi-histogram equalization algorithm for infrared image enhancement [J]., 2022, 44(9): 944-950.

[15] OOI C H, PIK K, IBRAHIM H. Bi-histogram equalization with a plateau limit for digital image enhancement [J]., 2009, 55(4): 2072-2080.

[16] Bhandari A K, Kandhway P, Maurya S. Salp Swarm algorithm-based optimally weighted histogram framework for image enhancement[J]., 2020, 69(9): 6807-6815.

[17] Kandhway P, Bhandari A K, Singh A. A novel reformed histogram equalization based medical image contrast enhancement using krill herd optimization [J]., 2020, 56: 101677.

[18] Majeed S H, Isa N A M. Iterated adaptive entropy-clip limit histogram equalization for poor contrast images[J].2020, 8: 144218-144245.

[19] Singh K, Kapoor R. Image enhancement using exposure based sub image histogram equalization [J]., 2014, 36: 10-14.

[20] 谢凤英. 数字图像处理及应用[M]. 第2版, 北京: 电子工业出版社, 2016. XIE F.[M]. 2nd edition Beijing: Publishing House of Electronics Industry, 2016.

Multi-scale Auto-Corrected Bi-Histogram Equalization for Infrared Image Enhancement

ZHANG Huan1，CHEN Zhisheng2

(1. School of Design Art, Changsha University of Science & Technology, Changsha 410114, China; 2. School of Electrical and Information Engineering, Changsha University of Science & Technology, Changsha 410114, China)

We proposed a parameter self-tuning bi-histogram equalization method to solve saturation and detail loss in infrared image enhancement. We decomposed an input image into two independent sub-images according to the golden ratio of the gray cumulative probability density and modified each sub-image histogram through a multi-scale adaptive weighing process with input image exposure and sub-image gray-level interval information. Subsequently, we performed the equalization of the two corrected sub-histograms independently and combined the two equalized sub-images into a single output image. A test on 100 infrared images in a public dataset-INFRARED100 showed that, compared with brightness preserving bi-histogram equalization (BBHE), bi-histogram equalization with a plateau limit (BHEPL), and exposure-based sub-image histogram equalization (ESIHE), the images enhanced by the proposed method have appropriate contrast and greater average information entropy. We increased the peak signal-to-noise ratio (PSNR), structural similarity (SSIM) index, and absolute mean brightness error (AMBE) by at least 17.2%, 4.0%, and 56.2% on average. The experiments illustrated that the proposed method is adaptable to infrared images with different brightness characteristics, effectively improving the contrast between the infrared image object and background. This method is superior to noise suppression, brightness, and detail preservation methods.

infrared image processing, contrast enhancement, histogram equalization, brightness preserving, adaptive weighting corrected

TP391

A

1001-8891(2023)11-1207-09

2023-02-06；

2023-03-31.

张桓（1976-），女，硕士，讲师，主要从事数字媒体艺术设计、图像处理方面的研究。E-mail: zhanghuan@csust.edu.cn。

陈志盛（1975-），男，博士，副教授，硕士生导师，主要从事人工智能、机器视觉方面的研究。E-mail: chenzhisheng@csust.edu.cn。

湖南省哲学社会科学基金（19YBA020）；长沙理工大学青年教师成长计划（2019QJCZ079）。