基于引导滤波的高动态红外图像压缩算法

汪 璇,赵金博,刘智嘉,高旭辉,夏寅辉

(1.湖北大学知行学院计算机与信息工程学院,湖北 武汉 430011；2.北京波谱华光科技有限公司,北京 100015;3.华北光电技术研究所,北京 100015)

1 引 言

红外成像技术[1]在军事侦察、工业生产、民用生活等领域具有重要地位。目前,作为应用最为广泛的高位宽红外探测器,其非制冷红外机芯可输出位宽达14 Bit的原始红外图像。与普通8 Bit图像相比,14 Bit红外图像具有灰度动态范围更广,灵敏度更高,图像细节信息更丰富的特点。灰度动态范围[2]即红外图像中亮度最大区域与亮度最小区域的亮度之比,红外图像灰度动态范围越大,其亮度信息越丰富,细节信息越明显。由于普通显示设备仅能显示8 Bit灰度等级图像,14 Bit红外图像的灰度范围远超过普通显示设备的响应范围,所以这样的图像被称为高动态范围图像。由于高动态范围图像比传统显示设备的动态范围更广,因此必须将14 Bit原始红外图像的动态范围进行压缩至8 Bit范围。高动态范围图像处理的核心思想是对红外摄像设备采集到的原始高动态图像信号进行数模转换和量化处理。灰度变化平缓的景物,生成图像的灰度分布会集中在较狭窄的区间内,而灰度变化剧烈的景物所生成图像的灰度会散落在范围较宽的区间。对于高动态范围图像红外图像处理,关键问题在于将14 Bit图像中的信息转化为人眼可观察到的8 Bit图像中同时还要保持图像原有的细节信息,具备较好的对比度以供人眼观察。

在此过程中,使用错误的压缩算法可能导致原始图像中重要信息丢失。另外,由于红外成像技术和设备的特殊性,红外成像常常出现整体亮度较暗、对比度低、边缘模糊、噪声大、细节表现力较差等成像缺点。为了解决上述问题,本文以非制冷红外图像为背景,在现有算法基础上提出了一个改进算法,该方法可以对高动态范围图像进行压缩并可以较好的显示图像细节,并通过仿真实验结果证明算法的有效性。

2 常用算法及原理

在红外图像处理领域中,自适应增益控制(AGC)是调节图像动态范围和对比度的最常用方法之一,该算法利用梯度线性变换原理将14 Bit数据线性映射为8 Bit数据,随后自适应调节图像的平均亮度和对比度。为方便叙述进行如下定义:[rmin,rmax]为原始图像的灰度取值区间,[smin,smax]为处理后的红外图像的灰度取值区间,r为原始图像的灰度值,s为处理之后红外图像的灰度值,则灰度转化公式为:

(1)

由于14 Bit高动态范围红外图像的灰度范围为0至214,所以导致rmax-rmin的数值较大的同时对比度增益的数值却非常小,使得图像压缩后的图像动态范围(s)取值过小,造成图像像素灰度过于集中,细节信息丢失严重,所以必须适当调整对比度增益。本文提出的自适应增益控制方法的核心思想是通过去掉一些极端灰度并自适应调节增益值,使压缩后图像尽可能利用可显示灰度范围,令图像整体具有较好的对比度和细节显示效果。

该方法的优点是高动态红外图像直方图中灰度值较为极端且数量较少的像素被算法直接清除,降低了极端灰度值对对比度增益的影响。随着极端灰度值像素消失,对比度增益变大,图像显示效果得到提升。不过,由于自适应增益控制算法中自适应仅针对删除某灰度像素的选择而言,映射增益和亮度范围仍需要人工调整,且动态范围采用是的线性映射转换的方法,不能显示原始高动态范围的详细信息。所以,对于高动态范围红外图像该算法无法同时显示每个灰度间隔,导致原始图像中大量细节信息丢失。

图1展示了使用自动增益控制算法显示不同动态范围的图像。图像中有许多细节,故须人为调整到动态范围的低响应区域(a)和高响应区域(b)来搜索不同的细节。

图1 AGC手动调节图像的动态范围

从图1中可明显看出,虽然自适应增益控制在一定的动态范围内实现了画面对比度增强,然而该方法的弊端是会丢失某些灰度间隔中携带的细节信息。而且,图像显示出明显的过亮或过暗区域,整体显示效果欠佳。

为了改变线性转换算法的不足,直方图均衡化首先利用非线性拉伸的思路处理原始高动态范围图像,然后重新分配红外图像的像素值,令某些灰度范围内的像素数量近似于均匀分布,从而增强原始图像直方图中间峰段的对比度并降低两侧谷段的对比度。

图2 直方图均衡化示意图

图2所展示为灰度图像经过直方图均衡化前后直方图的变化情况,左侧为均衡化处理之前,右侧为均衡化处理之后。可以看出图像的灰度直方图形状由较为集中转变为接近平坦。其基本原理是通过对原始图像的像素灰度进行映射转化,使转化后的图像灰度的概率密度近趋于平坦,使不同灰度值的像素数量近似一致来达到增加图像的对比度的目的,便于视觉观察。图3为使用直方图均衡化算法的效果图。

图3 直方图均衡化后的图像

由图3可以看出,直方图均衡化法同样解决了高动态范围的原始红外图像在普通显示设备上的不可视性。但是图像背景灰度之间的间隔和占比增大,分布更加密集,背景区域对比度增大、噪点增多,图像中观测目标模糊且出现刷白现象。此外,由于直方图中间灰度间隔的过度拉伸使两端灰度的像素堆积,图像中出现了过暗和过亮的问题。

3 基于引导滤波图像分层的红外图像细节增强算法

为了改善前述算法中出现的问题,本文提出了一种基于引导滤波的高动态范围图像处理方法,通过将原始图像分为基本层和细节层,然后分别对相应部分进行灰度调整和增强并将处理后结果进行叠加,以实现对原始景物中的大动态信息和8Bit图像中的小动态细节信息的突出和增强。整体流程如图4所示。

图4 引导滤波算法整体流程图

3.1 引导波图像分层

引导滤波的基本原理是通过定义图像中任意像素与其相邻像素之间的随机关系,使图像中全部像素具有不相同线性关系,根据每个像素的线性关系找到与原始图像梯度一致的图像基层[3],用引导滤波的方法把原始图像分离成表征景物轮廓的基本层与表征景物纹理细节、噪声信息的细节层,即:

P=q+e

(2)

式中，基本层q与引导图像I之间为线性关系,表达式为:

qi=akIi+bk,∀i∈ωk

(3)

式中,k为引导图像中某个像素；ωk表示以k为圆心半径为r的局域窗口；ak和bk为引导图像在窗口内的比例系数。对上式两边求导得到:

dq=adI

(4)

由式(4)可得知基本层q与引导图像I的梯度线性相关,因此,导引滤波能够较好的保持图像的边缘特征。

引导滤波方法就是寻找使原始图像p与处理后图像q差异最小ak和bk的最优解,通常选择线性回归算法使拟合函数的输出值与原始图像最为接近,在窗口ωk内,其代价函数为:

(5)

式中,ε的作用是过滤删除过大的ak,计算可得:

(6)

(7)

3.2 直方图均衡的基础层压缩

由于基本层图像涵盖了全局背景信息,动态范围大且对比度低,经引导波分层处理后,其基本层依然具有很大的动态范围,需进一步压缩基本层图像,控制其灰度范围和调节对比度,本文使用一种基于直方图均衡化的压缩方法:首先设置图像统计直方图T为上限阈值,当灰度频数P大于T,则将T值赋于P,否则保持P值不变,直方图累积直方图函数如下:

(8)

通过设定合适的阈值,使用该函数能够删除一部分像素,而且由于在利用累积直方图进行灰度重新分配的过程中对灰度重新归一化,所以该方法能够在一定的范围内重新调整灰度间距。之后进行压缩处理,设置基本层压缩后的动态范围为Pb且令Pb=255,便于与细节层的合成操作。压缩后的基本层为:

(9)

3.3 细节层的增强与噪声抑制

细节层是通过从图像基层中减去原始图像而获得,其灰度范围较广且携带细节信息的同时也包含大量的噪声信息,降噪处理必不可少。通过对数据信息进行分析,发现信号和噪声具有不同的特征:通常情况下,数据中信号幅值明显大于噪声幅值,且信号间往往具有较高的关联性而噪声间为随机分布。可根据上述特征对信号与噪声进行区别。

根据人类视觉机理的相关研究发现,人眼视觉对图像平坦区域呈现的细节较为敏感,且容易忽略灰度变化较强区域的细节信息。基于这种掩蔽效应,Anderson等人[4]提出了噪声可见性函数,来表征噪声的可视性特点。该函数为:

(10)

式中，M(i,j)为表征图像噪声可视化的函数；θ是一个取值范围为[0,1]的调节函数。图像区域越平坦,该区域噪声越明显,且可视化函数中的M(i,j)越小、f(i,j)越接近1；灰度变化越剧烈的区域噪声越不明显,其可视化函数中M(i,j)越大,f(i,j)越接近于0。根据上述特点可以从两个角度限制噪声放大:第一,限制噪声所在范围数据的增益系数；第二,根据局域特征调节增益系数,即设置平坦区域增强系数较小,剧烈区域增益系数相对较大。

假设细节放大增益G(i,j)的最大值为Gmax,最小值为Gmin,由噪声可视化函数可知,当fn(i,j)趋近0时,G(i,j)趋近于Gmax；fn(i,j)趋近于1时,G(i,j)趋近于Gmax。为简化运算,细节图的增强函数构造为线性函数:

G(i,j)=Gmin+[1-f(i,j)](Gmax-Gmin)

(11)

通过仿真实验发现当增益函数中最大和最小增益分别为Gmax=1.5、Gmin=1时,图像可满足大多数应用需要,增强效果较好。

4 实验与评价

本次仿真实验所使用的计算机主要硬件参数为Intel I7 8850H、RAM 16G；使用操作系统为Windows10及软件Matlab R2016a；实验数据为非制冷型中波红外焦平面探测器输出640×512原始图像,ADC分辨率为14 Bit。

由图5可看出,经过引导滤波后的基本层图像中目标边缘比原图更加锐化。由于细节层为原始图像与基本层相减得到,所以图像所呈现的是图像的高频特征,其中包含了大部分强边缘及较多噪声,图像细节较为细腻,动态范围也较小,远小于高斯滤波后细节层的范围。

图5 原始图像与引导滤波分层后的基本层与细节层图像

利用直方图均衡化法将基本层压缩,处理前后的基本层如图6所示。

图6 直方图均衡化处理前后的基本层

从图6图中可以对比看出经过直方图均衡化处理后的图像相比于处理前图像的对比度明显增加,且没有出现大面积的过度增强现象。细节层利用自适应增强的方法的处理效果如图7所示。

图7 自适应增强前后的细节层

由图7可以看出经过权重模板函数的自适应增强后,细节层在噪声被大量清除的同时尽可能的保留了细节信息,并且增加了图像的对比度。证明当Gmax=1.5、Gmin=1时,增强效果较好,该数值也可以根据具体探测背景通过实验自定确定,以达到不同背景的最佳效果。

图8为采用不同融合系数(α)融合后8Bit输出图像效果图,图(b)的纹理细节较图(a)更为明显,但是图(a)的对比度相对均衡,更有利于视觉观察。可根据不同场景和需求选择合适的融合系数,以达到使用者的相应目的。

图8 不同比例融合的细节增强图

为了更准确验证算法性能,对多个红外图像压缩与显示算法进行对比试验。图9图中(a)、(b)、(c)、(d)分别是原始高动态范围图像、传统高频增强算法处理图像、非锐化掩模增强算法处理图像和引导滤波增强处理图像,原始图像为非制冷型640×512红外探测器所成图像,模数转换分辨率为 14 Bit。

图9 四种图像效果展示

可明显看出,经过处理后的图9(b)和图9(c)的细节均得到了一定程度的增强,特别是图像中楼房门窗的位置区域。图9(d)中图像基本层与图像细节层的合成系数α取值为0.4,图像中不仅楼房细节得到了更好的呈现,空中云团的层次感和细节也更佳明显,成像效果优势明显。

上述四种算法的评价指标选取为图像信息熵[5],评价结果如表1所示。对二维灰度图像而言,若不考虑灰度在二维空间中的分布特征,仅仅考虑图像的灰度层次,则信息熵值越大,图像携带的信息越多。

表1 四种图像信息熵对比

增强评价指标(Enhancement Measure Evaluation,EME[6-7]),具体涵义为子块图像中灰度变化的剧烈程度,其中子块灰度变化越剧烈,图像细节越显著,EME的值越大。EME指标评价结果如表2所示。

表2 四种图像EME对比

由表2可以看出,本文算法具有最大的EME值,细节增强效果最为显著。

峰值信噪比(Peak Signal to Noise Ratio,PSNR[8]),其值为有效信号的最大功率与影响成像质量的噪声功率之比。PNSR指标评价结果如表3所示。表3展示了本文算法的峰值信噪比最大,表明该算法最好地保留并增强了图像细节,与原始图像更为接近。

表3 四种图像PSNR对比

均方根误差(RMSE)总体表征了原始图像与处理后图像之间的差异,取值与成像效果正相关。指标评价结果如表4所示。

表4 四种图像RMSE对比

通过在Matlab平台上对实际红外图像的不同算法进行处理和仿真,根据定性和定量的实验结果表明,本文所提出的改进算法对高动态图像在完成至8 Bit图像映射以供普通显示设备显示的基础上,可显著提高映射后图像对比度,尽可能保留图像丰富细节信息并可以较好的抑制噪声,相对于之前的算法具有一定程度的性能提升,验证了算法的有效性。

5 总 结

本文主要论述了高动态红外图像压缩与显示以及细节增强算法的基本原理与处理流程,设计编程并仿真了基于引导滤波的图像分层细节增强算法,并将其与传统图像处理算法进行了比较。通过仿真实验和实验结果对比分析,本文提出的改进算法不仅完成了14 Bit图像至8 Bit图像的压缩,还在处理过程中尽可能的保留了原图像丰富的细节信息,并对图像中的噪声进行了相当程度的抑制,输出图像视觉效果良好。

文中算法也有不足之处:细节与噪声在同一图层进行处理,不利于噪声的去除和信噪比的提高；本算法处理方式仍然属于全局算法,对局部优化不足；算法运行速度仍有提高空间等,上述不足可作为日后研究和关注的方向。