基于自适应引导滤波的红外图像细节增强

路 陆，姜 鑫，杨锦程，朱 明，郝志成，王佳荣

（1.中国科学院 长春光学机密机械与物理研究所，吉林 长春 130033；2.重庆嘉陵华光光电科技有限公司，重庆 400000）

1 引 言

红外成像系统具有良好的隐蔽性、抗干扰性以及可昼夜工作等特性，被广泛应用于军事和民用领域［1］。然而，受热辐射、热交换等因素影响，红外图像常表现出图像对比度低、边缘细节不突出、视觉效果模糊等不足［1］，这将严重影响后续目标探测识别等任务的执行。此外，目前红外探测器常使用12～14 bit模数转换模块［2］，输出图像动态范围远高于传统显示器的256个灰度级，不便于直接显示观察。因此，利用图像处理方法将原始红外图像动态范围压缩到显示器显示范围、增强图像细节，已成为当前红外应用中必不可少的图像处理操作之一。

2005年，美国FLIR公司提出了一种数字细节增强技术，同时完成了红外图像的高动态范围压缩与细节增强［3］。2009年，Branchitta等［4］提出了一种基于双边滤波［5］和动态范围划分的细节增强算法（Bilateral Filter and Dynamic Range Partitioning，BF&DRP），该算法基于分层处理架构，将输入图像分解成基础层和细节层，压缩基础层动态范围，增强细节层图像细节，然后将处理结果融合在一起。在此基础上，Zuo等［2］将双边滤波权重系数作为细节层自适应增益因子，有效抑制梯度反转伪像。Liu等［6］使用引导滤波［7］代替双边滤波，有效避免梯度反转伪像。Zhou等［8］在Liu等［6］的方法基础上，使用引导滤波线性系数作为细节层增益掩膜，进一步抑制平坦区域噪声。然而，Liu等［6］和Zhou等［8］算法中都使用固定值作为引导滤波的正则化系数，同一个正则化参数很难适应所有应用场景。为此，本文提出一种基于自适应引导滤波的红外图像细节增强算法，自适应选择引导滤波正则化系数，进一步提高算法的场景适应性。

2 基础理论

2.1 引导滤波

引导滤波［7］（Guided Image Filtering，GIF）是一种基于局部线性模型的滤波器，其假设在局部窗口wk内引导图像I与滤波输出图像q满足线性关系：

其中，qi和Ii分别表示输出图像和参考图像的第i个像素灰度值，(ak，bk)是在局部窗口wk内为常量的线性系数。最小化代价函数为

可获得

其中，μk和σ2k分别表示参考图像I在局部窗口wk内 的 均值 和 方差，pi和pˉk分 别表 示 输 入 图 像p的第i个像素灰度值和局部窗口wk内的平均灰度值，|w|表示局部窗口wk内的像素数，ε表示正则化系数。

输出像素qi被多个窗口wk覆盖，可以获得多个可能值，平均所有可能值是最简单有效的估计方法：

2.2 平台直方图均衡化

平 台 直 方 图 均 衡 化［9］（Plateau Histogram Equalization，PHE）是一种直方图均衡化改进算法，它引入平台阈值，解决传统直方图均衡化过增强问题，在红外图像增强领域中有广泛应用。

PHE计算过程如下：首先，削掉大于平台阈值T的直方图：

其中，H(i)为原始直方图，HT(i)为平台直方图。然后，计算归一化累计分布函数：

其中，R表示输入图像动态范围。

最后，PHE的输出图像可以表示为

其中，D表示输出图像动态范围，Iin(i)表示输入图像Iin的第i个像素灰度值。

2.3 Otsu法

Otsu法［10］是一种基于最大类间方差的自动阈值选择方法。设TOtsu为前景与背景的分割阈值，前景像素数占比p0，平均灰度为μ0。背景像素数占比p1，平均灰度为μ1。前景和背景的类间方差为

3 本文算法

本文算法流程如图1所示，具体步骤如下：

图1 本文所提出的算法流程图Fig.1 Flowchart of the proposed algorithm

（1）利用自适应GIF将输入图像Iin分离成基础层IB和细节层ID=Iin-IB；

（2）利用PHE压缩基础层动态范围获得IBP；

（3）利用掩膜图像IM加权和γ变换处理细节层，获得IDP；

（4）将IBP和IDP线性加权获得加权图像IW=(1-α)IBP+αIDP，其中α为线性加权系数；

（5）将IW线性拉伸到［0，255］范围，获得输出图像Iout。

3.1 自适应引导滤波

当输入图像p和参考图像I一致时，GIF变成一种边缘保护平滑滤波，式（3）可以简化为：

可以看出，在强边缘区域，局部图像方差σ2k远大于ε，ak→1，输出图像接近输入图像，具有边缘保持功能；在平坦区域，局部图像方差σ2k远小于ε，ak→0，输出图像接近局部平均，具有局部平滑功能。

正则化系数ε是影响细节增强效果的重要参数。ε过小，细节层包含大量噪声，如图2（b）所示，输出图像噪声明显；ε过大，细节层包含细节过少，输出图像细节增强不充分。文献［6，8］将ε设为固定值，缺乏自适应性，不能适应所有场景。文献［11］提出一种基于全局方差的正则化参数选择方法，对于高动态范围图像，全局方差过大，导致ε选择过大，细节层细节过少，如图2（c）所示。本文提出一种基于Otsu法的正则化系数自适应选择方法，可以获得更合适的ε，使得细节层保留更有用的边缘细节，如图2（d）所示。

图2 不同ε细节层的对比Fig.2 Comparison of detail layers with different ε

正则化系数ε作用于整幅图像，就要权衡所有的局部图像方差本质上就是选择一个ε将所有分割成两部分，类似于图像二值化，因此本 文 使 用 最 经 典 的Otsu法［10］选 择ε。然 而，如图3（a）所示并不满足高斯分布，不适合用Otsu法计算阈值。相比之下在对数域更接近高斯分布，如图3（b）所示，更适合用Otsu法计算分割阈值TOtsu。阈值TOtsu将分成高低两部分，为了更好抑制低将TOtsu对应的扩大100倍作为最终正则化系数：

图3 局部图像方差直方图统计Fig.3 Histogram statistics of local image variance

3.2 细节层处理

为了抑制细节层噪声，选择自适应GIF的线性系数aˉi作为增益掩膜IM，对细节层ID加权，获得掩膜加权细节层IDM：

其中，“∘”表示点乘运算。

为了进一步增强图像细节，使用γ变换进一步增强掩膜加权细节层IDM：

其中，sign（·）表示符号函数，max（·）表示最大值函数，γ=1.2可以增强强边缘，抑制弱边缘。经式（12）和式（13）处理后，细节层的处理效果如图4所示，可以看出，在显著增强建筑边缘等图像细节的同时，也有效地抑制了天空等平坦区域的噪声放大。

图4 细节层的处理效果Fig.4 Processing effect of the detail layer

4 实验结果与分析

为了验证本文算法，选择3种场景进行对比实验，如图5所示。场景1是具有强烈明暗变化的典型高动态范围场景，场景2是纹理复杂的室外场景，场景3是典型的海天场景。实验使用的红外图像分辨率均为640×512，像素位宽14 bit。

图5 用于测试的3个场景Fig.5 Three scenes for testing

为了验证本文算法性能，选择7种传统和先进算法做对比，包括：自适应增益控制（Adaptive Gain Control，AGC）［12］、BF&DRP［4］、双边滤波和数字细节增强（Bilateral Filter and Digital Detail Enhancement，BF&DDE）［2］、引导滤波和数字细节增强（Guided Image Filter and Digital Detail Enhancement，GIF&DDE）［6］、改 进自适 应细节增 强（Improved Adaptive Detail Enhancement，IADE）［8］、时间数字细节增强2（Temporal Digital Detail Enhancement 2，TDDE2）［13］以 及 改 进 红 外 图 像 自适应增强（Improved Infrared Image Adaptive Enhancement，I3AE）算法［11］。本文算法关键参数选择如下：平台阈值T设为像素数0.01%，线性加权系数α=0.3。其他算法参数采用默认参数。所有实验算法均在PC平台（操作系统Windows10、Intel-i7处理器、48 GB内存）上用Matlab R2020b实现。

4.1 主观评价

图6～8展示了不同算法在3个场景中的对比实验结果。如图6所示，场景1是典型高动态范围场景，AGC、TDDE2和I3AE对阴影区域建筑细节增强不明显。BF&DRP和IADE都在一定程度上过度增强图像，而且BF&DRP在强边缘处会出现“梯度反转”伪像。BF&DDE和GIF&DDE在阴影区域具有显著的增强效果，但其在天空区域却出现严重失真。相比之下，本文算法不仅在天空区域获得合理的增强，在阴影区域也获得很好的细节增强，整幅图像视觉效果更自然。

图6 场景1的对比实验结果Fig.6 Comparison experimental results of sence 1

如图7所示，场景2是纹理复杂的室外场景，包含建筑、树木、阴影等诸多细节。BF&DRP过度增强了图像对比度，IADE过度增强了图像细节，两者都损失了图像自然感。BF&DDE和GIF&DDE处理效果严重失真。TDDE2损失了阴影区域图像细节。AGC、I3AE和本文算法都获得了良好的视觉效果，相比之下，本文算法处理效果更清晰，还有效保留了窗口铁丝网等纹理细节，如图7（h）中红圈所示。

图7 场景2中的对比实验结果Fig.7 Comparison experimental results of sence 2

如图8所示，场景3是经典海天场景，在天海交接处有多只渔船。AGC、BF&DDE、GIF&DDE、TDDE2和I3AE都在海天交接处出现一定程度的过增强，导致部分渔船不可见。BF&DRP虽然完好地保留了渔船影像，但也放大了天空噪声。IADE和本文算法都很好地保留了渔船影像、抑制了天空噪声，相比之下，本文算法处理结果中渔船对比度更高。

图8 场景3的对比实验结果Fig.8 Comparison experimental results of sence 3

4.2 客观评价

为了进一步客观评价本文算法的有效性，选择平均梯度和基于感知的图像质量评价（Perception-based Image Quality Evaluator，PIQE）［14］对各种算法结果定量评价。

平均梯度在一定程度上反映了图像细节多少，平均梯度越大，图像细节越多，反之亦然。平均梯度可以表示为：

其中，Gm表示图像平均梯度，fx和fy表示待测图像的水平梯度和竖直梯度，N表示梯度图像像素数。图6～8中不同算法的平均梯度计算结果如表1所示。可以看出，对于场景1和场景2，GIF&DDE平均梯度值最高，然而对于这两个场景，GIF&DDE都有严重失真。除这两个场景的GIF&DDE结果外，本文算法的平均梯度最高。相对于目前先进算法IADE，本文算法的平均梯度平均提高了35.3%。

表1 不同算法的平均梯度Tab.1 Average gradient of various algorithms

PIQE通过计算空间显著区域的图像失真来评价图像质量，PIQE越小表示图像质量越高，反之亦然。本文利用Matlab自带的piqe（）函数计算各算法结果的PIQE值。图6～8中不同算法的PIQE结果如表2所示。可以看出，在3种场景下本文算法的PIQE值均最小，这表示本文算法处理结果具有更高的图像质量。相对于目前先进算法IADE，本文算法的PIQE值平均提高10.7%。

表2 不同算法的PIQETab.2 PIQE of various algorithms

表3列出不同算法的运行时间，按平均运行时间从小到大排列，其中运行时间是10次运行的平均时间。可以看出，本文算法运行速度优于TDDE2、BF&DRP和BF&DDE，劣 于 其 他4种算法。

表3 不同算法的运行时间Tab.3 Runtime of various algorithms （s）

综上所述，相比于经典和先进算法，本文算法不仅在3种场景下均获得了视觉效果更好的结果，还获得了更好的平均梯度和PIQE值，这说明本文算法处理效果具有更丰富的图像细节和更高的图像质量。本文算法如何进一步加速以及如何在嵌入式平台上实时处理，将是接下来需要研究的内容。

5 结 论

本文提出一种基于自适应引导滤波的红外图像细节增强算法，利用设计的参数自适应引导滤波将输入图像分解成基础层和细节层，利用平台直方图均衡化压缩基础层动态范围，利用掩膜加权和γ变换抑制细节层噪声并增强图像细节。实验选取了5种经典和先进算法做对比，针对高动态范围场景、复杂室外场景以及海天场景红外图像进行实验。结果表明，本文算法具有较强的场景适应性，获得了更好的增强效果；相比于目前先进算法，本文算法在平均梯度上平均提高35.3%，在基于感知的图像质量评价指标PIQE上平均提高10.7%。