一种基于NSCT和对比度拉伸的红外与可见光图像融合算法

姜寒雪, 郭立强

(淮阴师范学院 计算机科学与技术学院, 江苏 淮安 223300)

0 引言

图像融合是指将多幅图像通过一定的数学方法处理融合为一幅图像的过程,而红外与可见光图像融合是图像融合领域的一大研究热点,在医学、军事、遥感以及计算机视觉、目标识别和情报获取等方面应用广泛[1]．由于单传感器采集信息时具有一定的局限性,在实际应用中通常采用多传感器在同一时间、同一场景获取多个图像信息,对获取到的图像采用合适的方法进行融合得到完整清晰的图像．红外传感器环境适应性强,能够识别出隐藏的热目标,并且能够适应恶劣环境,全天无休地工作[2]．但是红外图像存在信噪比低、对比度低、分辨率差、图像模糊等问题．而可见光图像纹理特征明显且具有较高的分辨率与对比度,将二者融合可以得到细节丰富、目标显著、更适合人类感知的图像[3]．

近年来,红外与可见光图像融合研究取得了长足的进步．典型的融合方法有:多尺度变换分析方法、稀疏表示方法、显著性特征提取方法、深度学习方法、模糊理论方法等．其中,多尺度变换分析方法在红外与可见光领域应用广泛．多尺度变换方法是将原始的图像分解为不同尺度的分量,每个分量代表每个尺度的子图像．一般来说,基于多尺度分解的红外可见光融合图像有三个步骤,首先将源图像分解为多个尺度图像,采用合适的融合规则对源图像各个尺度的图像进行融合． 最后,采用相应的逆变换获取融合图像．常见的多尺度变换分析方法有金字塔变换[4](PT)、小波变换[5](WT)、contourlet变换[6]、非下采样轮廓波变换[7](NSCT)等算法．金字塔分解冗余度较大,小波变换细节信息不足,contourlet变换缺乏平移不变性．NSCT不但保留了contourlet变换多尺度、多方向的优点,还能有效避免图像的分解和重构造成的频谱混叠问题．

为了获取更好的图像融合效果,本文提出了基于NSCT和对比度拉伸的红外与可见光图像融合方法．首先对源图像进行NSCT分解得到高低频子带,然后采用绝对值取大和窗口系数绝对值取大的高频融合规则[8]以及基于局部拉普拉斯能量的低频融合规则处理高低频子带系数[9]．通过NSCT算法得到初步融合图像．为了更好的保留融合图像中的边缘信息,采用SUSAN算子对源图像进行边缘检测,再将边缘信息进行对比度拉伸,然后进行NSCT变换来获取边缘融合图像．接下来重复执行对比度拉伸和NSCT,将初步融合图像和边缘融合图像进行整合得到最终的融合图像．实验结果表明,本文提出的算法融合所得的图像边缘清晰,细节信息更为丰富．

1 相关背景

1.1 NSCT方法

NSCT由非下采样塔式滤波器组(NSPFB)和非下采样方向滤波器(NSDFB)组成,用于对图像进行不同方向上的多尺度分解[10]．使用非下采样轮廓波对图像进行分解所得的子带与源图像尺寸相同,具有平移不变性．NSPFB是双通道滤波器,分解得到一个高频子带和多个低频子带,这一分解过程减少了传统采样形式滤波器组所带来的失真问题,同时获得了平移不变性．利用NSDFB对经过NSPFB分解的各级高频子带进行分解可以得到2l个方向各不相同的子带．NSCT的突出优点是能够较好地保留图像中的细节信息．

1.2 SUSAN边缘检测

SUSAN(Smallest Univalue Segment Assimilating Nucleus)是一种基于窗口的检测方法,针对边缘和角点进行检测,检测时不需要计算微分,因此噪声的鲁棒性更大[11-14]．SUSAN选用一个近似圆形的窗口在图像上进行移动,如果窗口内像素灰度及核灰度值小于一定的阈值,则判定该点为边缘点．

2 基于NSCT和对比度拉伸的图像融合方法

本文选用非下采样轮廓波(NSCT)对红外与可见光源图像进行分解得到高频分量和低频分量,选取合适的融合规则处理高低频分量[15-18]．低频分量包含图像的轮廓信息及源图像的大部分能量,为了更好地去除高频信息,保留源图像的能量及轮廓信息,采用加权局部能量及WSEML作为融合规则．高频分量包含噪声和细节,故采用绝对值取大和窗口系数绝对值取大的方法作为高频分量的融合规则．SUSAN算子简单高效并且能去除噪声,应用SUSAN算子提取特征再使用上述NSCT方法融合特征和初步处理图像可以获得信息更为丰富的图像．

本文算法的具体实施步骤如下．

1) 使用非下采样轮廓波分解红外与可见光图像得到低频系数和高频系数；

2) 对低频系数采用加权局部能量和WSEML相结合的融合规则进行融合；

3) 对高频系数运用绝对值取大和窗口系数绝对值取大的融合规则进行融合；

4) 对步骤2和步骤3得到的高低频子带进行NSCT逆变换得到初步融合图像；

5) 使用SUSAN算子对源图像进行边缘检测得到边缘图像,对边缘图像进行整体的对比度拉伸,拉伸因子取值为1.1;然后使用上述NSCT算法对拉伸后的边缘信息进行融合,得到边缘融合图像;

6) 针对步骤4得到的初步融合图像和步骤5得到的边缘融合图像,再重复使用对比度拉伸和NSCT算法来得到最终的融合图像．

2.1 高频子带

高频子带包含图像的边缘及纹理信息,本文采用绝对值取大和窗口系数绝对值取大的融合规则[16],绝对值取大,按式(1)计算

(1)

式中IA(a,b)、IB(a,b)是图像的高频系数．

窗口系数绝对值取大选取大小为5×5的窗口,选取窗口中最大值最为该像素点的值．

2.2 低频子带

图像的能量主要集中在低频子带,对融合效果有着重大的影响．为了充分过滤图像的高频信息,保留图像的近似信息．本文选取加权局部能量和WSEML作为判准准则,充分保留了图像的结构和细节信息．加权局部能量E(X,Y)的计算公式如下

(2)

其中W(a,b)是加权系数矩阵,I(X,Y)是图像的低频系数矩阵,本算法中矩阵的大小为3×3．

WSEML的计算公式为[18]

(3)

式中W(a,b)和式(1)具有相同定义的加权系数矩阵．

EML按照式(4)计算

EML(x,y)=|2S(a,b)-S(a-1,b)-S(a+1,b)|+

|2S(a,b)-S(a,b-1)-S(a,b-1)|+

(4)

式中S∈{A,B}．

低频系数，通过如下规则进行计算

(5)

其中LA(a,b)，LB(a,b)是红外与可见光源图像的低频系数.EA,EB是加权局部能量归一化后的系数矩阵,WSEMLA,WSEMLB是WSEML归一化后的矩阵[18]．

3 实验结果与分析

3.1 评价方法

图像融合的评价方法主要分为主观评价和客观评价．本文使用的客观评价指标如下：

1) 基于视觉信息保真度的指标(VIFF)

VIFF是基于视觉信息保真度的评价指标,复杂度低且更接近人类视觉感知[19]．值越大,图像的视觉效果越好．

2)信息熵(EN)

信息熵用来衡量图像包含信息的多少.值越大,图像所包含的信息越丰富[20],表达式为

(6)

3)平均梯度(AG)

平均梯度用来衡量融合图像的清晰度.值越大,图像细节信息越丰富[21],表达式为

(7)

4) 边缘强度(EI)

边缘信息对于人眼感知图像起着重要作用.值越大,图像边缘信息越丰富,图像质量越高．

5) 清晰度(FD)

清晰度采用基于Sobel算子的Tenengrad梯度函数提取图像水平与竖直方向的梯度,值越大,图像越清晰,表达式为

(8)

3.2 融合结果分析

为验证本文提出的基于NSCT和对比度拉伸的图像融合算法的有效性,选取了四组红外与可见光图进行测试,测试图像来源于标准图像数据库．选取ADF[22]、TIF[23]、BGR[24]、CNN[25]这四种经典图像融合算法进行对比．ADF算法是一种基于各向异性扩散和PCA变换的图像融合算法．利用各向异性扩散将源图像分解为基础层和细节层,对细节层和基础层采用PCA变换和加权线性叠加的方式生成融合图像．TIF算法是一种基于视觉显著性检测和两尺度分解的图像融合方法,能够较好地突出源图像的视觉显著性信息且快速高效．BGR算法利用四叉树分解和贝塞尔插值来重建红外背景,然后提取红外图像的特征信息并将其添加到可见光图像中获得融合图像．CNN算法是一种深度学习算法,通过学习CNN模型实现源图像和焦点图像的直接映射得到融合图像．实验结果如图1—4所示．

图1 第一组融合图像

图2 第二组融合图像

图3 第三组融合图像

第一组图像是户外图像,红外图像树木模糊,可见光图像人像模糊．本文算法融合后的图像对比其他算法融合的图像来看,图像亮度较高,人像及房屋边缘清晰,视觉效果优越．第二组图像是湖面的轮船,可见光图像山体模糊,本文算法融合后的图像山体纹理细节以及船体边缘轮廓较其他算法更为清晰．第三组图像是夜晚的街道,可见光图像亮度较低,细节信息难以观察,前几种算法在亮度以及广告牌的处理效果较差,而本文算法处理后的图像亮度适中,广告牌、行人和车辆等细节更为清晰．第四组图像是林子中的人,红外图像树叶不够清晰,可见光图像人像模糊,前几种算法人像不够清晰,尤其是ADF算法整体视觉效果不佳,本文提出的算法在亮度、图像清晰度方面有较好的视觉效果．

为了进一步评价所提出算法的有效性,本文还使用了VIFF、EN、AG、EI、FD这五种客观评价指标对图像的融合效果进行评判,具体数值结果如表1—4所示．

表1 第一组图像客观指标评价

表2 第二组图像客观指标评价

结合表1—4的客观评价指标,表明本文算法的“EN” “AG” “EI”和“FD”这四个指标均明显好于经典算法,也就是本文算法所获取的融合图像,其边缘信息较其他算法而言更为丰富．此外,本文算法的“VIFF”指标也具有一定的优势,说明本文提出的算法视觉效果优异．综合主客观评价结果可以看出本文所提出融合算法的有效性,在边缘细节以及视觉感知上均有较大的提升．

表3 第三组图像客观指标评价

表4 第四组图像客观指标评价

4 结语

提出了一种基于对比度拉伸和NSCT的图像融合算法．使用NSCT分解得到高低频系数,采用绝对值取大和窗口绝对值取大规则处理高频系数可以降低图像噪声,采用加权局部能量和WSEML规则处理低频系数能够更好地保留图像的能量以及边缘细节信息．对高低频系数采用NSCT逆变换得到初步融合图像．此外,SUSAN算子具有较好的边缘提取特性,对得到的边缘信息使用上述对比度拉伸和NSCT算法融合得到边缘信息,并将该边缘信息和初步融合图像重复执行上述操作得到最终的融合图像．实验结果表明,本文所提出的算法无论是在主观定性分析还是在客观的定量计算上,均优于现有经典算法．后续工作将思考如何进一步降低所提出算法的计算复杂度,便于实际的工程应用．