基于双直方图均衡算法的红外图像增强

闫 哲，蒋 砾，杨 帆，罗志斌，贾 赞，张 巍，朱洪洋，陈如造，朱光明，郭小军，刘孟然

基于双直方图均衡算法的红外图像增强

闫 哲，蒋 砾，杨 帆，罗志斌，贾 赞，张 巍，朱洪洋，陈如造，朱光明，郭小军，刘孟然

（昆明物理研究所，云南 昆明 650032）

为了抑制全局直方图均衡产生的灰度饱和和局部细节丢失的情况，提出了一种双直方图均衡算法。首先对图像的背景和前景进行分割，提出基于直方图的局部最小值和修正的K-Means聚类算法来确定图像的理想分割阈值，然后再对分割的子图分别作全局直方图均衡（Global Histogram Equalization，GHE）。对该算法进行了实验验证，结果表明，相较于GHE算法，经该算法增强后的图像峰值信噪比（Peak Signal to Noise Ratio，PSNR）提高约16.425%，结构相似度（Structural Similarity Index，SSIM）提高约14.85%。同时通过主观分析，基于直方图局部最小值和修正的K-Means聚类算法的图像分割进行双直方图均衡可以有效抑制GHE算法产生的灰度饱和和细节丢失现象。

图像分割；双直方图均衡；K-Means；局部最小值

0 引言

红外成像技术在国防、安防、应急抢险、无损检测、毒气探测等领域应用十分广泛[1-3]。受限于红外探测器的发展，红外图像具有分辨率低、对比度低、信噪比低等缺点[4]。克服红外图像固有的这些缺点，一是依赖于红外探测器的发展；二是运用图像增强技术对红外图像进行增强处理。后者具有成本低，容易迭代等优点，所以研究红外图像增强算法具有重大意义。

基于直方图修正的算法在红外图像增强中应用比较广泛。由于红外图像原始数据多为12～16bit[5-6]，而显示设备的显示宽度多为8bit，直方图均衡算法将高位数据压缩至低位数据。传统的全局直方图均衡算法（GHE）[7]可以有效提高图像的对比度，由于其运算简单、容易实现而被广泛运用，但是GHE算法会产生过增强和细节丢失等现象。文献[8]提出了平台直方图均衡（Plateau Histogram Equalization，PHE），对图像直方图添加上平台，有效抑制了图像的噪声。在平台直方图的基础上，文献[9]提出了双平台直方图均衡（Double Plateau Histogram Equalization，DPHE），对直方图添加了上下两个平台，下平台的添加可以有效保护图像的细节信息，但是下平台的添加也可能使图像的对比度下降。针对上下平台阈值的选择多位学者进行了研究[10-12]。文献[13]还提出了直方图双向均衡，不仅对直方图在灰度密度方向进行均衡处理，也对直方图在灰度间距方向进行了均衡处理。全局直方图均衡是利用整幅图像范围内的灰度累积分布函数进行映射计算，所以无法对局部细节进行有效的增强。局部直方图均衡算法可以有效增强图像局部细节。局部直方图均衡算法（Local Histogram Equalization，LHE）[14]利用一个窗口在图像上滑动，每滑动一次作一次直方图均衡，该算法计算量大，很难在实时显示系统中应用。自适应直方图均衡算法（Adaptive Histgram Equalization，AHE）[15]和限制对比度的自适应直方图均衡算法（Contrast Limited Adaptive Histgram Equalization，CLAHE）[16]对图像进行分块，分别进行直方图均衡，有效提高了图像细节信息，但是产生了块效应。为了消除块效应，文献[17]提出的了部分重叠子块直方图均衡（Partially Overlapped Sub-block Histogram Equalization，POSHE），将LHE算法中的窗口移动步长改为窗口宽度的一半。文献[18]提出了均匀递减子块直方图均衡（Completely Overlapped Uniformly Decrementing Sub-Block Histogram Equalization，COUDSHE），采用新的分块模式。后者基本消除了块效应，前者则只是减轻了块效应。局部直方图均衡的算法主要缺点是在增强细节的同时，也会把噪声增强，运算量比全局直方图均衡大，另外，消除块效应也需要额外的运算量。

为了克服全局直方图均衡和局部直方图均衡的缺点，双直方图均衡算法被广泛使用。这类算法的思想是将图像分割为前景和背景，分别进行直方图均衡。针对分割阈值的选取，多位学者提出了选取方案。为了保持均衡前后亮度一致，文献[19]将图像的平均灰度作为分割阈值，此算法虽然可以保持增强前后亮度不变，但是前景和背景并不能很好地分离出来。文献[20]基于最大熵和最大类间方差选取分割阈值。文献[21]提出使用K-Means聚类算法选取分割阈值，此算法在保持了原图像亮度的基础上对图像进行了增强。本文基于现有的图像分割算法，提出了一种新的图像分割模型，利用直方图局部最小值与修正的K-Means聚类算法相结合的方法对图像进行分割，进而对分割的子图分别增强。此算法选择出了理想的图像分割阈值，克服了全局直方图的过增强和细节丢失的缺点，同时也避免了局部直方图的块效应。

1 相关算法

1.1 GHE

GHE算法是利用全局范围内各个灰度值出现的概率分布对图像灰度进行重新分配，灰度值的累积概率分布函数可以将较窄的灰度范围映射到较宽范围，较宽的灰度范围映射到较窄范围，实现灰度直方图的拉伸，提高图像的对比度。其算法如下：

式中：为输入图像的像素个数；为像素的灰度值；＋1为输入图像的灰度等级；为输出图像的灰度级个数；()为灰度值为的点出现的概率；S为输入图像灰度值为的点的映射值。图1展示了GHE映射算法、灰度平移、线性映射的图像效果与直方图。其中图像原始数据为14bit。

线性映射的方法是将14bit数据线性映射为8bit数据，有效灰度范围进一步变窄，并且产生了灰度合并现象，图像细节无法保留。灰度平移的方法是将14bit有效的灰度范围直接平移到8bit数据宽度中，图像保留了原始图像的有效灰度范围，但是图像层次感不强，有效灰度只分布在很窄的一段范围内，细节信息仍然无法保留。GHE算法则将灰度直方图进行了拉伸，图像的层次感明显变好，但是出现了很严重的过饱和和细节丢失现象。

图1 线性映射、灰度平移、GHE三种灰度压缩方法比较

1.2 K-Means聚类算法

K-Means算法是一种基于距离的数据聚类算法[22]，可以将数据分为多个类。在图像处理中通常使用K-Means算法进行图像分割。图像一般情况可以分为前景和背景。通过K-Means算法可以将图像分为两类，获得前景像素集合和背景像素集合。以下为K-Means算法的步骤：

1）确定要输出的类数。每一个类数要确定一个初始的聚类中心。

2）对图像的像素点进行轮询，根据其到聚类中心的距离，将其归类。

3）对于新生成的类，重新计算其新的聚类中心。

4）重复以上步骤2）和步骤3），直至所有分类不再变化。

图2为场景2、场景3 K-Means算法分割后的效果。为了保持增强前后图像亮度不产生跳变，本文以亮度均值为分割阈值，用平均灰度将图像分割为两个子图，利用两个子图的平均灰度作为初始聚类中心。

从图2中可以看出K-Means聚类可以将图像的背景和前景分离开。

图2 K-Means聚类效果

2 基于新图像分割方式的双直方图均衡算法

将图像分为前景和背景两类的基础是前景和背景有灰度差异，表现在图像的直方图上，前景和背景的差异就会形成一个波谷。所以一个理想的图像前景和背景的分割阈值必然在图像直方图的一个波谷处。但是理想的波谷的位置并不容易确定，对于场景1和场景2，背景和前景灰度和像素个数均差异巨大，直方图的双波峰现象很明显，但是场景3的背景和前景像素个数则差异不大，很难确定合理的分割阈值。而K-Means算法可以有效合理地将图像分为前景和背景两类，结合红外图像对温度的敏感大、容易饱和的特点，对K-Means算法进行修正。将修正的K-Means算法和直方图局部最小值相结合确定理想阈值，利用阈值将图像分为两部分，分别做GHE，最后将结果取并集。步骤如下：

1）计算输入图像的直方图，求出直方图的局部最小值集合局部最小值。

2）利用修正的K-Means算法计算分割灰度阈值修正。

3）在集合局部最小值中找出距离修正最近的点，即为理想分割阈值。

4）将图像分成两个子图，两子图分别作GHE。

5）合并两个均衡后的子图。

其中步骤1）详细计算见2.1节，步骤2）和步骤3）详细计算见2.2节，步骤4）和步骤5）详细计算见2.4节。

2.1 直方图平滑

以上分析可知图像背景和前景的合理阈值灰度在直方图上处于某一个波谷位置，直方图的波谷位置就是直方图的局部最小值。由图1(a)可知，图像直方图相邻像素跳跃大、分布锐利，为了方便找直方图局部最小值，需要对直方图进行平滑。采用一维中值滤波对直方图进行平滑，如图1(b)。

1）选取尺寸为1×(2＋1)的窗口，使窗口原点与直方图原点重合。此时窗口内的元素集合为。

＝[(－),(－＋1), …,(), …,(＋－1),(＋)] (3)

2）平滑后处的直方图为：

¢()＝Median() (4)

3）其中Median为将集合按照大小顺序排列，取集合的中值。

4）将窗口向右移动一步，重复以上计算。

图3展示了场景1平滑前后直方图的变化。

图3 场景1直方图平滑前后对比

2.2 直方图局部最小值

对于经过平滑后的直方图序列来说，小于其相邻元素的元素视为局部最小值。对平滑后的直方图¢求其前项差分序列，根据前项差分序列的正负来确定局部最小值的位置。对平滑后的直方图找其局部最小值集合，公式如下：

()＝¢()－¢(－1)，＝0, 1, 2, 3, …,－1 (5)

t＝"{()＜0,(＋1)＞0},＝0, 1, 2, 3, …,－1 (6)

局部最小值＝(0,1, …,j－1) (7)

式中：为原始图像的灰度级；为直方图局部最小值的个数；局部最小值为直方图局部最小值的集合。

2.3 修正的K-Means算法

由图2可知，K-Means算法可以将图像分为前景和背景。红外图像具有动态范围小、容易饱和的特点，为了充分抑制红外图像的亮度饱和现象，在图像极性为白热条件下，将分割阈值向大灰度方向偏移。偏移量与背景的个数有关，背景个数越多，偏移量越小。偏移像素点个数num由公式(8)确定，为图像像素点个数，back、fore分别为利用K-Means聚类算法得到的背景和前景点的个数，和为固定系数。

由式(9)和式(10)可以计算出偏移灰度：

式中：k-means为K-Means算法计算得到的灰度分割阈值；gray为偏移灰度。

修正后灰度阈值为：

修正＝k-means＋gray(11)

结合直方图局部最小值集合局部最小值，确定理想图像灰度分割阈值为：

2.4 双直方图均衡

分割阈值将图像分为1和2两个子图，对两个子图分别做GHE。步骤如式(14)、式(15)、式(16)：

＝＋1,＋2,…,(15)

式中：1，2为两个子图直方图的概率密度函数；Map1()，Map2()分别为两个子图的灰度映射表。Map1()和Map2()可以组成完整的映射函数Map()。

3 分析

为了体现新算法的灰度饱和抑制功能和细节提升功能，对GHE和新算法进行主观分析与客观分析。主观分析通过人眼对比GHE算法、本文算法的图像增强效果进行判断；客观分析采用PSNR和SSIM两个指标对GHE算法和新算法进行比较。

3.1 主观评价

实验结果如图4所示。

通过对比GHE算法和基于新的图像分割阈值方法的双直方图均衡算法的效果图，图4中方框内的区别尤为明显，GHE算法产生的灰度饱和现象被本文算法有效修正，提高了原本饱和处的细节，同时暗处的细节也没有丢失。

3.2 客观评价

采用峰值信噪比（PSNR）和结构相似度（SSIM）两个指标来对比GHE算法和基于新的图像分割阈值方法的双直方图均衡算法的效果。

峰值信噪比值越大，图像的抗噪声性能越好。其计算公式见式(17)、式(18)。其中MSE为增强后的图像与原始图像之间的均方差，(,)，¢(,)分别表示原始图像与增强后的图像。表示图像的高度，表示图像的宽度。表示图像灰度的位数。这里原始图像为经过灰度平移压缩的图像，增强图像分别为经过GHE算法的图像和经过本文算法的图像。

结构相似度在亮度、对比度和图像结构3个维度对两幅图像的相似度进行测量。值越接近1，两幅图像的相似性越好。这里使用SSIM定量说明经过GHE算法的图像和经过本文算法的图像与经过灰度平移压缩算法的图像之间的相似性。其公式如下。

式中：、为两幅图像的平均灰度；为输入图像和输出图像的协方差；2、2为两幅图像的方差；1、2为远小于零的常数。

实验结果见表1，表中4个数据分别为文中的4个场景。

表1 本文算法增强后图像与GHE算法增强后图像的指标对比

经过实验证明，本文算法相对GHE算法在PSNR和SSIM上均有提高，4个场景的PSNR分别提升17.9%、13.1%、16.7%、18.0%，4个场景的SSIM分别提升1.7%、14.2%、30.8%、12.7%。PSNR平均提升16.425%，SSIM平均提升14.85%。

4 结论

本文提出了一种基于图像直方图局部最小值与修正的K-Means算法相结合的双直方图均衡算法。该算法为了使变换后灰度不产生跳跃，K-Means算法初始聚类中心为图像灰度均值所分割的两个子图的平均灰度，然后对新产生的分割阈值进行灰度修正。再结合直方图局部最小值集合确定理想阈值，最后对理想阈值分割产生的两个子图分别进行GHE。经过实验验证，此算法可以很好抑制GHE算法产生的图像灰度饱和和细节丢失的现象，并且没有产生块效应。

[1] 孔松涛, 黄镇, 杨谨如. 红外热像无损检测图像处理研究现状与进展[J]. 红外技术, 2019, 41(12): 1133-1140.

KONG Songtao, HUANG Zhen, YANG Jinru. Research status and development of image processing for infrared thermal image nondestructive testing[J].,2019, 41(12): 1133-1140.

[2] 陈尧, 尹丽菊, 咸日常, 等. 基于NSCT和改进PalKing算法的电力设备红外图像增强方法[J].计算机应用与软件, 2021, 38(11): 236-241, 287.

CHEN Yao, YIN Liju, XIAN Richang, et al. Infrared image enhancement method for power equipment based on NSCT and improved Pal_King algorithm[J].2021, 38(11): 236-241, 287.

[3] Silverman J. Display and enhancement of infrared images[C]//,, 1992: 345-348.

[4] 孔松涛, 谢义, 王松, 等. 红外热像增强算法发展研究综述[J]. 重庆科技学院学报: 自然科学版, 2021, 23(4): 77-83.

KONG Songtao, XIE Yi, WANG Song, et al.Review on the development of infrared thermal image enhancement algorithms[J]., 2021, 23(4): 77-83.

[5] 任其干, 谭钦红, 万志卫. 红外热成像系统的采集与驱动电路设计[J].红外, 2011, 32(2): 13-17.

REN Qigan, TAN Qinhong, WAN Zhiwei. Design of acquisition and driving circuit of infrared thermal imaging system[J]., 2011, 32(2): 13-17.

[6] 祝红彬, 李伟, 刘子骥, 等. 一种低噪声红外焦平面器件采集电路的设计[J]. 红外技术, 2010, 32(3): 165-168, 172.

ZHU Hongbin, LI Wei, LIU Ziji, et al. Design of a low noise infrared focal plane device acquisition circuit[J]., 2010, 32(3): 165-168, 172.

[7] Gonzalez Rafael C, Woods Richard E.[M]. Beijing: Publishing House of Electronics Industry, 2010.

[8] 王炳健, 刘上乾, 周慧鑫, 等. 基于平台直方图的红外图像自适应增强算法[J]. 光子学报, 2005, 34(2): 299-301.

WANG Bingjian, LIU Shangqian, ZHOU Huixin, et al. Self-adaptive contrast enhancement algorithm for infrared images based on plateau histogram[J]., 2005, 34(2): 299-301.

[9] 宋岩峰, 邵晓鹏, 徐军. 基于双平台直方图的红外图像增强算法[J]. 红外与激光工程, 2008, 37(4): 308-311.

SONG Yanfeng, SHAO Xiaopeng, XU Jun. New enhancement algorithm for infrared image based on double plateaus histogram[J]., 2008, 37(4): 308-311.

[10] 毛义伟, 顾国华, 陈钱, 等. 基于改进型平台直方图的红外均衡化算法[J]. 光学与光电技术, 2012, 10(5): 63-66.

MAO Yiwei, GU Guohua, CHEN Qian, et al. Infrared image equalization algorithm based on improved plateaus histogram[J]., 2012, 10(5): 63-66.

[11] WAN M, GU G, QIAN W, et al. Particle swarm optimization-based local entropy weighted histogram equalization for infrared image enhance-ment[J]., 2018, 91(10): 164-181.

[12] LIANG K, MA Y, XIE Y, et al. A new adaptive contrast enhancement algorithm for infrared images based on double plateaus histogram equalization[J]., 2012, 55(4): 309-315.

[13] 陈钱, 柏连发, 张保民. 红外图像直方图双向均衡技术研究[J]. 红外与毫米波学报, 2003, 22(6): 428-430.

CHEN Qian, BO Lianfa, ZHANG Baomin. Histogram double equalization in infrared image[J]., 2003, 22(6): 428-430.

[14] LEE C, LEE C, KIM C. Contrast enhancement based on layered difference representation of 2D histograms[J]., 2013, 22(12): 5372-5384.

[15] Pizer S M, Amburn E P, Austin J D, et al. Adaptive histogram equalization and its variations[J]., 1987, 39(3): 355-368.

[16] Zuiderveld K.[M]. San Diego: Academic Press Professional, Inc. 1994.

[17] Kim J, Kim L, Hwang S. An advanced contrast enhancement using partially overlapped sub-block histogram equalization[J]., 2001, 11(4): 475-483.

[18] Ganesan S D, Rabbani M. Contrast enhancement using completely overlapped uniformly decrementing sub-block histogram equalization for less controlled illumination variation[J]., 2019, 16(3): 389-395.

[19] KIM Y T. Contrast enhancement using brightness preserving bi-histogram equalization[J]., 1997, 43(1): 1-8.

[20] 万俊霞, 林珊玲, 梅婷, 等. 基于图像分割和动态直方图均衡的电润湿显示器图像增强算法[J]. 光子学报, 2022, 51(2): 240-250.

WAN Junxia, LIN Shanling, MEI Ting, et al. Image enhancement algorithm of electrowetting display based on image segmentation and dynamic histogram equalization[J]., 2022, 51(2): 240-250.

[21] 韩少刚, 江巨浪. 基于图像分割的双直方图均衡算法[J]. 安庆师范大学学报: 自然科学版, 2021, 27(1): 66-69.

HAN Shaogang, JIANG Julang. Double histogram equalization algorithm based on image segmentation[J]., 2021, 27(1): 66-69.

[22] 张霖泽, 王晶琦, 吴文. 一种基于K-means改进聚类的图像增强算法[J]. 应用光学, 2016, 37(4): 549-554.

ZHANG Linze, WANG Jingqi, WU Wen. Image enhancement algorithm based on improved K-means clustering[J]., 2016, 37(4): 549-554.

Bi-Histogram Equalization Algorithm for Infrared Image Enhancement

YAN Zhe，JIANG Li，YANG Fan，LUO Zhibin，JIA Zan，ZHANG Wei，ZHU Hongyang，CHEN Ruzao，ZHU Guangming，GUO Xiaojun，LIU Mengran

(Kunming Institute of Physics, Kunming 650223, China)

A modified bi-histogram equalization algorithm is proposed to suppress gray saturation and loss of local details caused by global histogram equalization. First, the background and foreground of the image are segmented, and a modified k-means clustering algorithm based on the local minimum of the histogram is proposed to determine the ideal segmentation threshold of the image. Then, histogram equalization is performed for the segmented sub-graphs. The algorithm is verified by experiments; the results for the experiment show that, compared with those from global histogram equalization, the peak signal to noise ratio and structural similarity are improved by approximately 16.425% and 14.85%, respectively. Simultaneously, through subjective evaluation, the algorithm based on histogram local minimum and modified k-means can effectively suppress the gray saturation and detail loss caused by GHE.

image segmentation, double histogram equalization, K-Means, local minimum

TP391

A

1001-8891(2022)09-0944-07

2021-12-29；

2022-02-09.

闫哲（1992-），男，河南省辉县市人，硕士，工程师，主要研究方向：红外图像处理。E-mail: yanzhe925@live.com。

蒋砾（1979-），男，云南省昆明市人，正高级工程师，主要研究方向：红外图像处理。E-mail: jiang_li@263.net.cn。