一种基于曲波变换与引导滤波增强的图像融合方法

张 慧, 常莉红, 马 旭, 朱 乐

(宁夏师范学院 数学与计算机科学学院, 宁夏 固原 756099)

红外视频图像[1-2]一般采用热成像原理, 因而该类图像在拍摄时对光线的要求较低, 多数应用场景在夜间, 但所获得的信息大部分为背景信息, 对比度较低.可见光成像获得的图像具有较高的分辨率、 较详实的纹理信息和图像细节成分, 但易受光照条件以及天气环境因素的干扰.因此, 将红外视频图像与可见光图像相融合可弥补彼此的不足[3], 在军事、 监控、 安防及医疗领域应用前景广阔.

目前, 红外与可见光图像融合方法可分为基于空域的融合方法和基于变换域的融合方法两种[4].近年来, 基于变换域的融合方法被广泛关注, 尤其是多尺度的红外与可见光图像的融合方法取得了较好成果[5-8].但由于可见光受光线、 天气等因素的影响, 成像会模糊不清, 而利用多尺度的红外与可见光的融合方法解决该问题的研究报道较少, 本文提出一种基于曲波变换与引导滤波的可见光图像内容增强融合方法.首先利用引导滤波对融合前的可见光图像中较暗区域的每个原始细节进行增强; 然后利用曲波变换分解可见光与红外线的图像, 分别获得其低频部分与高频部分; 在处理低频部分融合时不再采用传统的平均融合规则, 而是在增强后的基础上取系数最大值, 以防止融合后图像损失或对比度下降, 提高融合后的效果; 在高频部分仍采用绝对值取大的融合规则；最后将融合后的结果利用曲波变换的逆变换获取融合的最终图像.

1 脊波变换与曲波变换

1.1 脊波变换

φa,b,θ(x)=a-1/2φ[(x1cosθ+x2sinθ-b)/a],

(1)

函数f(x)的脊波变换可定义为

(2)

其重建公式为

(3)

1.2 曲波变换

曲波变换的本质是在小波分解基础上局部多尺度脊波变换的组合, 其基本思想是首先对图像做小波变换, 将其分解为一系列不同尺度的子带信号, 得到图像的低频部分和高频部分; 然后对每个子带信号再做局部脊波变换, 得到图像的曲波域数据.脊波变换的特点是可有效地表达图像中的直线边缘, 该特性使曲波变换对图像的平滑部分和边缘部分提供稀疏表达, 使对应边缘的大系数在实施变换过程中传播受到限制, 具有能量集中的效果, 从而达到保护边缘和细节的目的.并且曲波变换具有很强的方向性, 能提供更多的源图像信息, 使最终融合效果更理想.

2 引导滤波

引导滤波是一种在输出过程中引导图像进行局部线性变换的边缘保持滤波器.引导滤波的优势在于不仅能保持图像边缘的平滑, 而且能增加细节, 同时也适用于低频部分的融合规则.

给定待滤波图像P, 引导滤波将输出图像O, 引导图像假设为I, 由文献[7]给出的线性变换如下：

oi=ckIi+dk, ∀i∈ωk,

(4)

其中ωk是以像素k为中心的一个正方形邻域窗, 本文取3×3.为了确定式(4)中的系数(ck,dk), 引入最小化代价函数表示待滤波图像P与引导滤波将输出图像O之间的差异：

(5)

其中ε是为了防止ck过大的正则化参数.

对式(5)进行线性回归求解, 得

(6)

dk=pk-ckμk,

(7)

(8)

为了增强较暗光线下可见光图像的夜视背景, 文献[7]给出了一种有效的方法----基于方向导波的高动态范围压缩的图像增强方法.为方便描述, 本文记方向导波算子为GFr,ε(·),r和ε是关于导波尺寸和保护图像边缘程度的参数, 则算法基本步骤如下：

1)对输入图像I先利用方向导波算子进行分解得到基础层Ib=GFr,ε(I)；

(9)

(10)

(11)

图1 两组可见光图像的增强结果

3 基于曲波变换的融合算法

基于曲波变换的融合算法流程如图2所示.

图2 基于曲波变换的融合方法流程

步骤1)利用引导滤波增强可见光图像, 增强过程如下：对可见光图像O1利用式(9)对较暗区域中每个原始细节进行增强, 将增强后的图像记为O1E.

步骤2)利用曲波变换对增强的可见光图像O1E和红外线图像O2进行融合：

① 对源图像O1E和O2利用曲波变换分解, 得到分解后的低频分量{LO1E,LO2}和一系列高频分量{HO1E,HO2};

② 低频分量融合准则采用取最大系数法：Lf=max{LO1E,LO2}, 其中Lf是融合的低频分量系数;

③ 高频分量的融合准则.根据文献[8]的理论分析, 在曲波变换分解后的高频分量上仍采用传统的基于局部区域最大值法的融合规则对{HO1E,HO2}进行融合, 即以每个像素k为中心的一个正方形邻域窗中取绝对值最大值所对应的像素值为融合图像的值, 本文窗口块的选择大小为3×3, 融合的高频部分记为Hf.

步骤3)对Lf和Hf利用曲波变换的逆变换得到最终的融合图像If.

4 实验结果与分析

为了验证本文方法的可行性与融合效果, 对10组典型的红外与可见光图像进行融合实验, 并将实验结果与其他5种图像融合方法的实验结果进行比较.对比融合方法分别是金字塔变换(LP)方法、 双树复小波变换(DTCWT)方法、 非下采样轮廓波变换(NSCT)方法、 小波变换(DWT)方法、 曲波变换(CVT)方法及本文基于增强的曲波变换(CVTE)方法.所有尺度分解都选用4层分解.测试图如图3所示, 其中第一行图片是可见光图像, 第二行图片是同一场景中的红外线图像.

图3 测试图像

4.1 融合后的目视效果

图4为Leaves红外与可见光源图像的融合实例.由图4可见: 可见光图像的树叶信息较完整, 但目标对比度较低；红外光图像目标信息较清晰, 但树叶的对比度较低; 几种融合方法都实现了红外源图像和可见光源图像的融合, 但在目视效果上具有一定的差别.DWT方法、 CVT方法和DTCWT方法得到的融合图像中, 目标不太清晰, 树叶的对比度较高; LP方法与NSCT方法融合结果的树叶对比度较低, 树叶纹理不细致; 本文方法所得融合结果中树叶的对比度更高, 目标及树叶的信息更完整准确, 尤其是6组图片中分别用红色矩形框中所标注的区域, 两根白色的管子, 在本文方法所得融合图像中最清楚.图5为Queen’s Road红外与可见光源图像的融合实例.由图5可见: 在可见光图像中, 广告牌较清晰, 其他细节非常模糊；红外线图像能反映出行人、 车辆、 灯的部分细节, 但广告牌模糊不清；利用6种不同的融合方法所得的结果存在差异.LP方法与NSCT方法融合结果中广告牌清晰, 但是行人和路灯较模糊；DTCWT方法与DWT方法融合后广告牌清晰, 行人与路灯较清晰, 但路面轮廓模糊；CTV方法中交通指示灯模糊, 行人也较模糊；本文CVTE方法融合后的效果非常好, 不仅广告牌清晰可见, 且广告牌下的栅栏、 广告牌旁边的建筑物也清楚可见(在其他融合效果图中均看不到), 马路轮廓清晰, 包括正在骑行的人都非常清楚, 尤其是红色矩形框区域, 建筑物的轮廓和造型在各融合图像中最清晰.

图4 不同方法对Leaves图像的实验结果

图5 不同方法对Queen’s Road图像的实验结果

4.2 图像质量评价指标

为更客观地评价融合的效果, 本文采用5种常见的融合指标对各融合方法进行客观质量评价.5种融合指标分别为度量图像中信息丰富程度的熵(entropy, EN)、 度量融合图像中结构信息的标准偏差(standard deviation, SD)、 度量保留源图像信息量的互信息(mutual information, MI)[9]、 基于结构相似度的梯度评价指标QG[10]及描述图像边缘信息的相位一致性度量指标QP[11].在评价过程中, 这些评价指标的数值越大表明融合效果越好.

表1列出了对图3中图片经不同融合方法后客观评价指标的结果.通过分析表1中数据可见, 本文给出的融合方法在处理细节、 边缘以及在保留源图像的信息方面效果均较好.

综上所述, 本文提出了一种基于多尺度分解的红外线与可见光的图像融合方法.首先利用引导滤波对可见光的图像进行增强, 然后利用曲波变换对图像进行分解, 高频与低频部分分别采用绝对值最大法和系数最大法的融合规则, 最后利用曲波逆变换得到融合图像.通过实验及其数据分析可知, 该方法在细节处理、 保护边缘及保留源图像信息上都有一定的优势, 在视觉方面取得了较好的效果.

表1 不同方法融合的指标

续表1