DRF红外双波段彩色图像融合算法

赵 玲,周 宽,喻松林,崔跃刚

(华北光电技术研究所,北京 100015)

1 引 言

红外探测中,容易受到光照、气候以及目标自身隐蔽性等干扰因素的影响,使得复杂环境下的目标识别存在一定困难,其中,单波段探测无法满足需求是重要原因之一[1]。长波红外(LWIR)较适于探测常温目标并工作在低温干燥环境下,而中波红外(MWIR)更适于探测高温目标并工作在高温潮湿气候条件下。如果能利用双波段或多波段同时进行红外探测就可以获得更多有效信息,通过图像融合技术实现多波段图像差异信息的互补,从而获得更加精确、全面的图像信息,可有效提高系统效能[2]。

图像融合按照处理层次的不同,可以划分为像素级、特征级和决策级三种融合方式。像素级融合保留了场景的原始信息,准确性高但是处理的信息量较大；特征级融合保留了重要图像特征但有一定的信息压缩,有利于实时处理；决策级融合在源图像和特征提取的基础上进行联合判决,该方法的容错能力高,实时性好,但是信息量的损失较大。本文的图像融合属于像素级融合。

一般像素级图像灰度融合的方法[3]包括基于多尺度分解、基于稀疏表示等方法。多尺度分解常用的方法包括传统金字塔变换[4]、离散小波变换以及剪切波、轮廓波等多尺度变换[5],该类方法能够挖掘图像中不同方向不同尺度的细节信息,但是方向性越好,计算复杂度越高,不易在嵌入式设备上实现；基于稀疏表示的方法主要是在稀疏域中测量源图像的像素水平,有各种稀疏表示模型和相应的融合策略可供进一步选择,该类方法计算量大,很难满足目标检测对图像融合实时性和工程化的需求。

通过对中、长波红外成像的特点对比发现,仅利用常规灰度域的融合算法无法很好的体现不同波段的差异信息,若引入彩色域算法则可以很好地解决这个问题[6],因此有必要对红外双波段融合技术进行深入研究。

本文在总结传统8 bit彩色图像融合思路的基础上,提出基于16 bit的DRF伪彩色融合方法,采集16 bit原始中、长波红外图像,划分差值区域,突出表现不同波段的成像差异,得到更利于工程应用,更适合人眼视觉特性,更突出目标特性的伪彩色融合图像。

2 传统伪彩色融合算法基本思路

常见的双波段伪彩色融合算法主要包括NRL算法、TNO算法等。

NRL算法早期主要应用于红外图像和微光图像的伪彩色融合算法,后来推广到中长波红外双波段[7],算法的主要思路如图1所示。

图1 NRL算法流程图

该算法得到的效果在于:若某点像素在中波的灰度级高于长波,融合图像中该点呈青色；若某点像素在长波的灰度级高于中波,融合图像中该点呈红色；若在中、长波的图像中灰度均高则最终呈白色,均低则呈黑色,NRL算法融合效果图如图2所示。

(a)长波红外图像

分析该方法得到的融合图像,由于中长波图像差异较大,靠近树丛的车辆能够利用红色和青色很好的辨别不同,但是针对差异部分的强弱状态,没有明显的颜色变化；另外对于垃圾桶、后车尾等中长波差异相对较小的位置,色差无法将细节表现清晰。

TNO算法主要针对中长波红外图像中不同波段的差异部分进行增强赋色[8-9],主要算法思路如图3所示。

图3 TNO算法流程图

先求中波图像A和长波图像B的共有部分C,C取A和B的最小值,如下式:

C=min{A,B}

(1)

然后各自减去共有部分获得特有部分,如下式:

Aspecial=A-C

(2)

Bspecial=B-C

(3)

其中,Aspecial表示中波图像A的特有部分,Bspecial表示长波图像B的特有部分。

最后用原图像减去另一图像的特有部分进行增强,获得特性图像,如下式:

Afinal=A-Bspecial

(4)

Bfinal=B-Aspecial

(5)

其中,Afinal是中波图像A的特性图像;Bfinal是长波图像B的特性图像。

将中波特性图像和长波特性图像分别送入B和R通道,共有部分图像送入G通道,TNO算法效果如图4所示。

分析该方法得到的融合图像,对于汽车车身、车窗等中长波差异较大的位置,有明显的色彩区分,且根据差异的强弱程度,颜色的变化也更加丰富；对于垃圾桶、后车尾中长波图像差异相对较小的部分,在保持灰度的同时也能够看出颜色的变化,但是对于地面等中长波几乎没有差异的部分,融合图像仍旧存在大面积色偏的情况。

(a)长波红外图像

3 基于16 bit图像的中长波红外双波段伪彩色融合算法

本文提出一种差值区域融合(Difference regions fuse,DRF)思路,在突出中长波红外波段差异的基础上,直接利用16 bit原始红外图像进行数据处理,增强细节信息；通过差值区域判断进行区域调整,改善大面积明显色偏的问题。

如果融合图像直接在RGB颜色空间上处理,图像色彩变化不够自然,且细节信息的彩色表征缺乏可预见性[10]；而在YCbCr颜色空间中,Y表示亮度分量,Cb表示蓝色的偏移量,Cr表示红色的偏移量,与其他颜色空间相比,YCbCr颜色空间的表现形式跟中长波波段表征的差异特征较为契合。因此,本文提出的DRF算法将提取16 bit图像信息进行处理分析,通过差值区域判断,在YCbCr颜色空间中完成差异赋色,最后完成直方图均衡化,将16 bit图像压缩图像为8 bit并转换至RGB颜色空间进行显示,主要算法思路如图5所示。

图5 DRF算法流程图

图像预处理主要包括图像去噪、图像锐化、迭代归一化图像亮度和对比度等基础图像处理操作。图像去噪主要去除可能影响图像质量的噪声,各类噪声的去噪方法各有不同,但是去噪的同时会影响图像质量,应根据具体情况进行选择；图像锐化主要是针对红外图像边缘细节不够清晰等问题,通过锐化处理更好地凸显图像中的细节信息,改善图像边缘模糊状态；归一化图像亮度和对比度主要改善融合图像的色偏问题。本文为了更好的消除色偏,对归一化进行剔除异常值反复迭代的操作,确保中、长波红外图像的状态一致。

通过计算中波红外图像A和长波红外图像B对应点的差值,标定中波区域、长波区域和过渡区域,如下式:

diff(i,j)=B(i,j)-A(i,j)

(6)

k=diffmax+diffmin

(7)

(8)

YCbCr颜色空间中,若图像无颜色偏移,仅仅显示Y通道的亮度信息,则Cb和Cr通道赋值0.5。于是,本文设计的赋色思路是若中长波灰度值差异明显则分别赋色,若差异不大,则以参考图像的亮度信息为主,不赋色；设置Cb通道和Cr通道的赋色规则如下式(9):

当k>0时,

(9)

其中,sp为颜色因子,可根据需要调节数值(sp>0)。

同时,计算中波和长波图像的边缘强度ES,如下式:

(10)

其中,ΔIx=f(x,y)-f(x-1,y);ΔIy=f(x,y)-f(x,y-1)。

根据边缘强度所占比例设置参考图像的权值系数,最终的参考图像D等于加权后中长波图像之和,如下式:

(11)

(12)

D=ωlong×A+ωmid×B

(13)

其中,ESlong、ESmid分别代表长波的边缘强度和中波的边缘强度。

送Y通道的图像主要反映图像的亮度信息,将参考图像D送入Y通道。

赋色完成之后对图像进行直方图均衡化处理,将图像从16 bit压缩至8 bit。与直接在8 bit图像中设计赋色方案相比,获取的有效信息更多,更利于提升的融合图像效果,最后转换至RGB颜色空间,完成图像融合,YCbCr空间与RGB空间转换公式见式(14),具体融合效果图见图6。

Y=0.299×R+0.587×G+0.114×B

Cr=(R-Y)×0.713+128

Cb=(B-Y)×0.564+128

(14)

(a)长波红外图像

相较于NRL和TNO等传统算法,该方法得到的融合图像,细节信息凸显的更加明显,尤其是红框标出来的位置,在中长波差异的位置颜色区分明显,且具有颜色强弱变化；地面部分不仅纹理变化更加清晰,大面积色偏的问题也得到了改善。

4 图像评价

目前针对彩色图像的图像质量评价仍然处于起步阶段[11],图像融合评价主要分为主观评价和客观评价,主观评价由人眼直接做出评价,容易由于主观判断出现偏差,客观评价通过计算指标因子,做出比较。

本文选取5幅中长波差异明显的红外图像,具体图像见图7,从左到右依次为长波图像、中波图像,NRL算法融合图像、TNO算法融合图像和DRF算法的融合图像。

图7 实验图片

以第5幅为例,放大图片进行主观视觉比较,如图8所示,图8(a)为长波图像,图8(b)为中波图像,图8(c)为NRL算法融合图像,图8(d)为TNO算法融合图像,图8(e)为DRF算法融合图像。

图8 融合图像的主观评价

小框位置处,长波几乎看不清细节,而中波的纹理变化较为清楚,NRL和TNO算法得到的融合图像边缘模糊,无法准确地体现差异,DRF算法中长波差异细节表现清晰,且变化边缘处过渡自然,效果更好。

大框位置处,由于长波对高温不敏感,显示的火焰焰尾短,焰心亮度较低；中波显示的火焰焰尾长且细节变化丰富,焰心亮度较高,NRL算法得到的融合图像焰心处亮度较高且保持了中波的火焰细节,但是未体现中波和长波的火焰差异；TNO算法得到的融合图像火焰状态更偏向长波,对于中波火焰边缘的细节变化表征不清晰； DRF算法的融合图像焰尾边缘清晰、细节明显,焰心处亮度较高且有颜色凸显差异,更利于人眼快速辨别。

整体来看,基于8 bit图像融合算法都有一定的色偏,实际工程应用中,可能会影响人眼判断,而基于16 bit的图像融合算法可以很好地改善这一问题。

为了进一步验证算法的有效性和客观性,本文结合几种灰度图像融合的指标进行评价,主要包括平均梯度(AVG)、图像互信息(MI)[12]、边缘保留系数(Q)[13-14]等三个指标因子；平均梯度反映图像表达细节和纹理变化的能力,互信息能够衡量融合图像从源图像中继承的信息量,边缘保留系数则表征融合图像保留源图像中的边缘信息量。

选取客观评价因子对3种算法进行比较,具体评价结果见表1。

表1 不同算法的融合评价结果

由指标评价结果可以看出,本文提出的DRF算法的客观评价因子均高于其他算法。结合主观视觉观察分析,DRF算法不论从人眼观察的细节还是客观评价因子呈现的图像融合结果均效果显著。

5 结 语

本文提出了一种基于16 bit红外原始图像的中长波双波段伪彩色融合算法,考虑到实时性和简洁性的原则,根据中长波波段差异特点,总结传统融合算法的优缺点,各取所长,结合YCbCr颜色空间,判断差值区域,完成融合算法设计。实验结果表明,该算法不论从人眼观察的细节信息还是客观评价结果,图像融合效果显著,能够为后续的工程应用提供思路。