基于透射图融合的红外图像传感器信号增强方法*

顾振飞,袁小燕,张照锋,张登银,孔令民,沈 昊

(1.南京信息职业技术学院电子信息学院,南京 210023;2.南京邮电大学物联网学院,南京 210003; 3.中国人民解放军94826部队,上海 200020)

红外图像传感器广泛应用于安全监控、智能交通、目标识别、军事侦察等领域。然而,受传感系统噪声、背景热辐射过高、场景目标与背景热辐射差异过小等因素影响,红外传感器所采集的图像信号往往存在动态范围压缩的问题,从而引起视觉效果差、对比度低、信噪比低等缺陷,极大的制约了相关系统的有效性[1-3]。因此,对红外图像传感器所采集的信号进行增强处理具有重要的现实意义与应用价值。

当前,空间域红外图像信号增强方法大致可以划分为直方图均衡类、基于Retinex模型类和图像融合类。其中,直方图均衡类方法通过直接调节图像直方图的动态范围来增强图像的全局对比度[4-7],虽然此类方法通常具有较高的处理效率,但却具有显著的结构盲目性,因此增强结果中势必存在局部过增强或增强不足等缺陷。基于Retinex模型的红外图像增强方法[8-10]通过直接分离图像中的场景目标分量并对其进行增强处理,可以有效恢复出图像中潜藏的部分纹理细节。然而,考虑到模型的内在缺陷,现有技术无法确保准确、完全估计出目标热辐射分量,因此在处理降至严重的红外图像时通常缺乏鲁棒性。基于图像融合的增强方法[11]大多需要对同一场景进行多次采样,进而通过综合利用多个图像间的互补特性来合成出增强后的图像。此类方法涉及多次采样,且多个采样结果间需要进行精确配准,所以较为耗时且缺乏通用性。文献[12]尝试了一种基于单幅红外图像生成多个融合源并进行增强处理的策略。但是,该方法仅简单利用了原始图像来合成多个融合源,因而在增强原图中的信息匮乏区域时通常缺乏鲁棒性,且具有较高的计算复杂度而不具备实时处理的可能性。

图1 所提方法流程示意图

为克服上述缺陷,提出一个基于透射图融合的红外图像传感器信号增强方法。与现有主流技术相比,所提方法具有以下优势:①基于散射模型对红外图像建模,将复杂的增强处理简化为了基于图像子区域的透射率估计过程;②利用单幅红外图像分别生成多个含有不同有效增益的透射图,克服了图像融合类增强方法需要多次采样和精确配准的缺陷;③通过构建融合权重图分别提取各透射图中的有效增益,并基于图像金字塔模型[13]进行逐层融合,克服了现有融合技术的盲目性缺陷,提高了增强处理的有效性及鲁棒性。

1 散射模型

大气散射模型[14]被广泛用于对降质图像进行建模,其数学表达形式为:

I(x,y)=L∞ρ(x,y)t(x,y)+L∞[1-t(x,y)]

(1)

式中:I(x,y)是降质图像;L∞是全局大气光;ρ(x,y)是反照率;t(x,y)是描述像素衰减程度的透射率。然而,基于该模型的图像增强方法会使得增强后的图像偏暗[15],而考虑到红外图像整体偏暗的特性,如果直接使用该模型对红外图像进行建模,势必使得增强后的红外图像更加趋于不可见。因此,为将上述模型引入暗图像增强领域,文献[16]在式(1)的基础上提出了适用于暗图像的散射模型如下:

I(x,y)=V(x,y)ρ(x,y)t(x,y)

(2)

式中:V(x,y)是最佳光照(辐射)量;其余模型参数的定义与式(1)一致。利用式(2)对红外图像进行建模,通过估计出各像素点的透射率t(x,y),便可获得增强后的红外图像:

I′(x,y)=V(x,y)ρ(x,y)=I(x,y)/t(x,y)

(3)

为降低计算开销,将红外图像聚类分割为多个透射率相近的子区域,则式(2)中各子区域内像素的透射率可以改记为子区域透射率,而红外图像的增强过程可以简化为对子区域的透射率估计过程。

2 基于透射图融合的红外图像传感器信号增强方法

本文提出一个基于透射图融合的红外图像传感器信号增强方法。首先,基于散射模型对红外图像进行建模,利用聚类算法在不同尺度下对图像分别进行欠分割和超分割,并利用图像纯像素先验分别生成两幅透射图。然后,利用各透射图的纹理分量特征和显著性特征分别获取融合权重图,并进而构建针对各透射图及其融合权重图的图像金字塔结构模型。对融合源进行逐层融合从而获得融合后的透射图,并基于变分模型对融合后的透射图进行保边平滑处理从而获得优化后的透射图。最后,将优化后的透射图代入散射模型便可获得增强后的红外图像。所提方法的具体流程如图1所示。

2.1 基于散射模型的多尺度红外图像透射图估计

对红外图像中各像素点的衰减程度进行估计并进行针对性的补偿,可以有效增强红外图像的视觉效果。现有的像素衰减程度估计方式大都需要利用某种图像先验知识对图像中各点的透射率进行逐点计算[15-17],计算复杂度高、开销大。然而,在图像一定的邻域范围内的像素衰减程度通常具有较高的相似性,因此可以利用一种基于图像子区域的估计策略来取代传统的逐点估计方法,从而大幅提高算法效率。

上述策略的关键之处在于聚类分割时对子区域数的选择。选择一个较小的子区域数,其优势在于分割所得的子区域内的像素总量势必较多,可以实质有效的提高子区域内透射率估计的准确性;其缺陷在于较大的邻域范围势必导致像素间衰减程度的相似性下降,从而导致子区域边缘的透射率估计失效。反之,如果选择一个较大的子区域数,虽可提高像素间衰减程度的相似性,但却会严重制约透射率的估计准确性。因此,考虑到红外图像的类型多样性,理论上并不存在针对所有类型红外图像的最优子区域数。

从左至右分别是红外图像、子区域数分别为3和60时的聚类分割效果、不同聚类分割效果所对应的透射图。图2 红外图像、聚类分割效果及对应的透射图

为克服上述缺陷,首先利用散射模型对红外图像I(x,y)进行建模,并对其进行多尺度聚类分割[18],具体过程如下:

式中:k是子区域数;i∈{1,…,k}是子区域Ω(i)的索引;i是子区域Ω(i)的聚类中心。上述过程将迭代执行,直至下列中止条件被满足:

(5)

式中:j是迭代次数索引;Ij是第j次迭代后的聚类结果;res是图像分辨率。经反复测试,分别选择k=3和k=60对红外图像分别进行欠分割和超分割,并将分割效果分别记为I1和I2,I1和I2所对应的子区域集分别记为Ω1和Ω2。

在此基础上,利用图像纯像素先验[16]在不同聚类结果的各子区域内分别进行独立的透射率估计。图像纯像素先验发现,降质严重的暗图像中的邻域内均具有较高比例的纯像素(纯白色和纯黑色像素),而具有较好可视性的图像的邻域中通常仅存在极少比例的纯白色和纯黑色像素。虽然该先验是针对彩色暗图像的,但大量实验证明该先验同样适用于红外图像。据此,构建针对各子区域的透射率估计函数如下:

(6)

式中:ξ(·)是纯像素比例统计函数,用于对增强后的图像进行纯像素比例统计。在I1和I2的各子区域内分别进行独立的透射率估计,便可得到I1和I2对应的透射图t1和t2。

选取两幅红外图像,并使用上述方法对其进行聚类分割及透射图估计,结果如图2所示。通过对图2的观察可以发现:透射图t1能对图中的显著区域进行了较为准确的保留,避免了增强后图像中出现显著的过增强现象,但是却显著缺乏纹理;透射图t2中含有丰富的纹理信息,却存在显著的估计失误。

2.2 基于图像金字塔模型的透射图融合

为综合各透射图中的有效增益,需要对估计所得的两幅透射图进行融合处理。为此,引入两个图像客观评价指标[19-20]对透射图t1和t2分别进行逐像素式的有效成分识别,并分别构建显著性权重图和清晰度差异性权重图。进而,对各透射图及其权重图分别建立图像金字塔模型,通过进行逐层融合获得融合后的透射图。具体过程如下:

①构建显著性权重图

透射图中的纹理对应的是红外图像中的边缘结构,直接决定了增强后红外图像的视觉效果。因此,构建显著性权重图的主要目的是对透射图中所包含的纹理细节进行筛选,即通过逐像素识别显著程度的方式来提取红外图像中重要边缘结构。显著性主要评价的是中心像素相对于邻域像素的视觉特殊性,综合考虑算法有效性和计算开销,利用文献[19]提出的显著性权重图构建算法如下:

图3 各透射图所对应的显著性权重图

②构建清晰度差异性权重图

由散射模型可知,过高或过低的透射率会导致增强后出现显著的增强不足或过增强现象。为消除此类现象,可以通过构建清晰度差异性权重图来平衡透射图中各像素点相对于清晰区域的差异,从而实现修正透射图的目的。据此,本文依据文献[20]中的相似思想,构建清晰度差异性权重图如下:

图4 各透射图所对应的清晰度差异性权重图

③基于图像金字塔模型的透射图融合

通过测试大量红外图像,发现信息量权重图和显著性权重图在增强处理中具有相似的重要性。因此,为控制各权重图在融合过程中具有大体一致的重要性,同时控制权重值不至溢出,对各透射图所对应的权重图进行正则化处理如下:

(9)

④基于变分模型的透射图优化

上述透射率的估计过程本质上是基于聚类分割的,因此融合后的透射图中的各分割边缘处易于存在透射率跳变,这将在增强后的红外图像的边缘处中引入不必要的光晕现象。如果直接进行简单的平滑操作(如高斯模糊)则会引起不必要的全局细节丢失,因此需要对其进行保边平滑操作[21],具体优化过程表述如下:

(11)

(12)

融合后的透射图、优化后的透射图及增强后的红外图像分别展示于图5中,可以看出所提方法可以有效恢复出红外信号中的潜在信息,增强后的图像纹理细节丰富、边缘清晰且没有引入过增强、光晕效应等负面视觉效果。

3 实验结果与分析

为验证所提方法的有效性及对比优势,重新选取 3幅具有挑战性的红外图像,包括全局低热辐射的红外图像(图6)、纹理细节丰富的红外图像(图7)、缺乏纹理细节的红外图像(图8),并与现有的三类主流方法(自适应直方图均衡方法AHE[22]、基于Retinex理论的Gu方法[23]和基于融合技术的Yuan方法[12])分别进行主观和客观对比。实验所用软件为MATLAB2014a,计算机配置为:64位 Windows7、Intel Core i5 2.6 GHz、8GB内存。使用所提方法增强图6～图8所需时间分别为:0.23 s、0.81 s、0.44 s。

3.1 主观比较

从图6～图8中可以看出,AHE方法[22]虽可恢复出一定的场景细节,却无法有效避免局部过增强或局部增强不足的缺陷,如图8的背景区域出现了显著的过增强现象,而图像下部的草地区域却因为增强不足而依旧无法分辨。Gu方法[23]只能对图像中的特定频率分量进行增强,因而显著丢失了大量的低频分量,如图6和图8均出现了一定比例的模糊区域。Yuan方法[12]对难以提取原图信息的区域(如像素强度极低的区域)无法构建融合图,因而存在一定的增强失效情况,如图6的右上区域和图7 的左部区域均出现了明显的暗区。相较而言,所提方法能够在恢复出大量纹理细节的同时有效避免负面效应。

图6 全局低热辐射的红外图像及不同方法的增强效果比较

图7 纹理细节丰富的红外图像及不同方法的增强效果比较

图8 缺乏纹理细节的红外图像及不同方法的增强效果比较

3.2 客观比较

基于文献[24]所提出的新增可见边比E,平均对比度增益R和基于人眼视觉的图像清晰度指标FADE这3个经典的客观评价指标来进一步验证所提方法的有效性及对比优势。其中,指标E可以量化增强后图像中的新增可见边比例,指标R量化增强后图像所获得的平均对比度增益,较大的E值和R值可以验证对应方法具有较好的纹理细节恢复和视觉效果增强的能力。依据文献[20]可知,指标FADE是可以量化增强后图像的视觉清晰度,较小的FADE值则可以证明对应的增强结果具有更好的清晰度。在表1～表3中分别给出了各方法增强效果所对应的指标值。

从表1中可以看出,所提方法所取得的新增可见边比值均高于其他对比方法,这证明了所提方法在纹理细节恢复、全局边缘结构增强方面的优势。虽然对图8的新增可见边比值与Yuan方法相近,但却取得了显著较好的视觉效果,这也可以由表2中给出的平均对比度增益结果中得到验证。由表2可以看出,所提方法取得了最高的平均对比度增益值,这证明了本方法在视觉效果增强方面的优势。表3所给出的图像清晰度对比结果可以证明,所提方法能够较好的提升红外图像的清晰度且不会引入过量的负面视觉效应。

表1 新增可见边比对比结果

表2 平均对比度增益对比结果

表3 图像清晰度对比结果

4 结论

提出了一个基于透射图融合的红外图像传感器信号增强方法,克服了现有图像融合增强方法需要多次采样和精确配准的缺陷。通过引入散射模型对红外图像建模,将复杂的红外图像增强过程简化为了基于图像子区域透射率估计问题。通过构建融合权重图并基于图像金字塔模型进行逐层融合的策略,提高了增强处理的有效性及鲁棒性。