基于DT-CWT和自适应PCNN模型的多聚焦图像融合方法研究

张腾敏，林斯乐，朱 胜，洪培瑶

(福建农林大学 金山学院，福州 350002)

0 引言

焦距深度(Depth of Focal Length，DOFL)是影响大多数成像系统成像效果的主要因素之一，特别是由于相机焦距深度的限制，数码摄影所抓取的图像往往会丢失很多高分辨率的细节。DOFL范围内的对象具有清晰和尖锐的细节，而超过DOFL的对象会较为模糊[1]，因此产生的图像会有部分聚焦区域，该图像被认为是低分辨率(Low Resolution， LR)图像。因为模糊数量不是已知的先验，所以这些LR图像被定义为“盲”。多聚焦图像融合技术(Multi-focus Image Fusion， MIF)的出现解决了因焦距深度限制而导致的低分辨率图像问题，它通过提取和融合来自相同场景的不同LR图像中的补充信息来获得全聚焦图像。通过MIF所得到的全聚焦图像比任意一个LR图像都能够很好地揭示图像细节，同时也更适合用于进一步的图像分析。MIF可应用于医学成像、图像识别和计算机视觉等领域，因此，多聚焦图像融合技术具有重要的研究意义和应用前景。

目前，学术界已经提出了大量的多聚焦图像融合策略。多聚焦图像融合实际上是对应于不同类型的数据的融合，通常在信号、特征和决策三个不同的处理层次中进行。信号电平的图像融合，又称像素级图像融合，对应于最低级的图像融合，即将若干个原始输入图像信号组合成一个融合图像信号。中间层次的图像融合，也称为特征级图像融合，即将从单个信息图像中分离出来的特征、物体标签和属性描述符等数据进行融合。最高层次的融合为决策级图像融合，是指局部决策者对单个传感器传递的图像信息的后效作用进行概率决策后所产生的数据组合。图像融合技术可以分为空间域融合策略和变换域融合策略两大类[2]。其中，空间域融合策略是对信息图像的像素进行管理，如多模态图像融合[3]、主成分分析(Principal Component Analysis， PCA)[4]和HIS转换(Hue Intensity Saturation Transform)[5]等。变换域融合策略是将图像变换到频域子带进行融合，如离散小波变换(Discrete Wavelet Transform， DWT)、双树-复小波变换(Dual-Tree Complex Wavelet Transform， DT-CWT)[6]等。

针对传统图像融合方法在多聚焦图像融合中存在细节丢失、边缘模糊和焦点不清楚等问题，本文提出了一种基于双树-复小波变换优化显著性测度和自适应脉冲耦合神经网络(PCNN)模型的多聚焦图像融合方法。首先，使用双树-复小波变换将图像分解成高频子带和低频子带。其次，对低频子带采用基于图像显著性测度的度量方法计算小波融合系数，实现图像重构；由于高频子带图像细节较多、纹理丰富，采用自适应参数下的PCNN模型解决高频子带的融合问题，通过自适应PCNN模型下的链接系数更新，计算两幅输入图像的触发时间，根据触发时间对比，选取高频融合子带。最后，使用双树-复小波逆变换实现图像重构。

1 DT-CWT算法和自适应PCNN模型

1.1 DT-CWT算法

DT-CWT是在标准小波基础上进行复数域扩展。复数变换是利用复数值滤波将图像在变换域中分解为实部和虚部，其中实系数和虚系数用于计算图像的幅值和相位信息。DT-CWT的主要生成动机是平移不变性。在正常的小波分解中，输入信号的微小位移能够在输出子带之间产生移动能量，而在DT-CWT中，通过加倍采样率也可以实现平移不变性。DT-CWT通过下采样产生两棵平行的小波树，首先选取偶数样本，然后再在第一层滤波器之后选取奇数样本。通过后续滤波器的样本采样延迟，使两棵小波树所得的样本具有均匀时间间隔。

实际应用中，通常使用的是二维双树-复小波，即四个临界采样可分离的二维DWT并行运行。二维结构双树-复小波通常需要四棵小波树进行分析和重构，应用于二维图像(x，y)的共轭滤波器对可表示为公式(1)：

(hx+igx)(hy+igy)=(hxhy-gxgy)+i(gxhy+hxgy)，

(1)

式中，复数(hx+igx)和(hy+igy)分别表示x和y方向上的滤波系数。

复小波部分可以分为正小波、负小波，子带可以分为水平子带和垂直子带。通过双树-复小波分解将图像分解成±15°，±45°，±75°六个不同方向的频域子带，如图1所示。图1在空间上可视化了与方向和尺度相关的子带。其中A(K+1，1)，A(K+1，2)分别为每级分化出的两个低频段(近似部分)，D为高频细节部分。DWT只有0°，45°和90°三个方向的子波段，而DT-CWT有±15°，±45°和±75°六个子波段，因此DT-CWT提高了方向选择性，这是图像融合应用中最重要的问题。

图1 DT-CWT图像分解

1.2 自适应PCNN模型

PCNN即脉冲耦合神经网络[7]，是一种生物启发神经网络。PCNN神经元由输入部分、连接调制部分和脉冲发生器三部分组成，其中输入部分接收来自两种接受域的输入，并根据感受野的类型，将输入细分为两个通道，即输送和连接[8]。连接接收外部刺激，而输送接收外部刺激和局部刺激。输入的模型如下：

(2)

(3)

式中，i和j表示图像中像素点的位置，k和l表示像素点对称相邻位置的错位值，0≤n≤N表示当前迭代次数，F和L是分别代表输送和连接两种不同通道，S表示局部刺激，VF和VL表示邻近常数，αF和αL表示时间常数，通常情况下，αF<αL。

在连接调制部分，输出从两个通道收集，即向连接添加一个偏置来实现，该偏置为供给的线性乘积。具体公式如下：

Ui，j[n]=Fi，j[n](1+βLi，j[n])，

(4)

式中，Ui，j[n]是神经元的内部特征状况，β是连接系数。

脉冲发生器决定式(5)中模型的触发时间。Yi，j[n]决定内部特征和阈值。

(5)

Ti，j[n]=exp(-αT)Ti，j[n-1]+VTYi，j[n]，

(6)

式中，VT和αT分别表示正则化常量和时间常量，T表示触发时间。

2 本文改进的图像融合方法

2.1 低频分量的融合

低频分量又称低频系数，是使用DWT分解得到的逼近(近似)分量，虽然低频分量相对于细节是较为平缓的，但是它包含着图像中的主要能量信息。通常的图像融合算法很容易忽略低频分量信息，使得融合结果锐度下降、对比度不够明显。因此，本文提出一种基于显著性测度的低频分量融合方法，具体融合策略如下：使用DT-CWT对输入图像A和图像B进行分解，首先计算两幅图像的显著性测度SA和SB，假设输入图像的像素总数为K，显著图归一化直方图中的pixel强度为p(i)=h(i)/K，其中h(i)指的是显著性图像中灰度值为i的像素频率，显著性图像的显著性测度函数为：

(7)

匹配值函数为：

(8)

式中，CAB表示图像A和图像B的协方差。

计算低频融合系数，

Z=wxA+wyB。

(9)

(10)

wx和wy的定义如下：

(11)

本文提出的低频分量融合方法有效保留了图像的显著信息，同时可以实现较高的对比度。

2.2 高频分量的融合

使用改进后的PCNN模型进行图像的高频分量融合，传统PCNN算法的参数β一般是一个固定的经验值，限制了PCNN在图像融合方面的自适应性，也影响了融合效果，因此，本文设置一个自适应参数模型：

(12)

式中，X为邻域神经元的集合，即X={i，j|Li，j[n]>0}∩{i，j|Yi，j[n]=0}，Ix为输入图像I中神经元对应的邻域神经元。

m1(n)和m2(n)分别表示点火区域和未点火区域对应的均值，具体计算如式(13)所示：

(13)

式中，Φ1={i，j|Yi，j[n]=0}；Φ2={i，j|Yi，j[n-1]=1}。

式(12)中通过均值离散最优化约束，得出β的最优解。由式(4)可得β，可以调节神经元的内部特征U，从而实现PCNN的自适应性融合策略。

Ti，j[n]=Ti，j[n-1]+Yi，j[n]。

(14)

(15)

3 对比分析

3.1 差值结果分析

为了直观解释本文方法，下面给出本文方法融合结果与多聚焦源图像的差值结果图像，如图2所示，图2左侧为输入源图像，中间为本方法融合结果，右侧为本文融合结果与源图像A，B的差值图像。由图2可以看出，本文方法的融合结果能够自适应选取源图像中更清晰的区域，从而自然地融合各源图像中对焦更好的部分，得到最优的融合结果。

图2 融合结果差值图

3.2 主观结果对比

3.2.1 本文方法与多种非小波融合方法的比较

为了验证本文融合方法的效果，选取MF图像融合数据集[9]中的图像作为源图像，该数据集包含105对多聚焦图像，且每对图像由两个不同焦点区域的图像组成。选取现有的BGBS(Bilateral Gradient-based Sharpness)[10]、BFBMF(Boundary Finding Based Multi-focus)[11]、CBF(Cross Bilateral Filter)[12]、GFFD(Guided Filter through Focus Detection)[13]、QBMF (Quadtree-based Multi-focus)[14]五种方法与本文方法进行对比，其中，BGBS利用梯度信息计算双边锐度来进行多聚焦图像融合，BFBMF基于边界发现进行图像融合，CBF基于交叉双边滤波对进行图像融合，CFFD基于平均滤波和引导滤波进行图像融合，QBMF采用四叉树分解策略实现图像融合。上述五种方法分别为利用不同融合策略的图像融合方法，具有一定的代表性。

源灰度图A1 源灰度图B1

源RGB图A1 源RGB图B1图3 第一组输入源图像

BGBS BFBMF CBF

CFFD QBMF 本文方法图4 灰度图像融合结果对比图

BGBS BFBMF CBF

CFFD QBMF 本文方法图5 RGB图像融合结果对比图

BGBS BFBMF CBF

CFFD QBMF 本文方法图6 局部融合结果对比图

使用图3中的两组输入源图像进行对比，源图像分别为灰度图像和RGB图像两种常见类型。图4为本文方法与五种方法的灰度图像融合结果对比图。由对比结果可知，本文融合方法在墙壁和天空交接的地方，边界线更加清晰，整体效果视觉对比度更高。图5为RGB图像融合结果对比图。为了突出本文方法对于边缘细节部分的融合优势，截取图5中的局部进行融合结果对比，如图6所示。从图6局部融合结果对比可发现，本文方法的边缘过渡更为自然和平滑，同时更好地保留了源图像的颜色信息。

3.2.2 本文方法与小波融合方法的比较

为了验证本文方法相对于传统小波方法的优越性，将本文方法融合结果与传统小波(DWT)[15]、传统双树-复小波(DT-CWT)[16]两种算法的融合结果进行对比，传统DWT和传统DT-CWT的小波分解层数均为六层，与本文方法的双树-复小波分解层数一致。源图像分别选取一组灰度图像和一组RGB图像，如图7所示。融合结果如图8所示。图9为图8的局部对比结果，由图9局部对比结果可知，传统DWT和传统DT-CWT的融合结果在边缘细节部分较为模糊，本文方法的融合结果在边缘细节部分更为清晰和自然，因此本文方法相对于传统DWT、传统DT-CWT两种方法得到的融合结果质量更高。

源灰度图A2 源灰度图B2

源RGB图A2 源RGB图B2图7 第二组输入源图像

传统DWT 传统DT-CWT 本文方法图8 本文方法与传统方法的对比结果

传统DWT 传统DT-CWT 本文方法图9 本文方法与传统方法的局部对比结果

3.3 客观数据对比

(16)

式中，QAF(n，m)和QBF(n，m)分别表示源图像A，B的边缘强度，wA(n，m)和wB(n，m)分别表示QAF(n，m)和QBF(n，m)的加权系数。

设AF和BF分别为融合后的图像，MI的定义如下：

MI=MIAF+MIBF，

(17)

表1 客观数据指标对比结果

4 结语

本文提出了一种改进的双树-复小波变换的图像融合方法，利用双树-复小波变换的平移不变性、多方向选择性等优点，将输入图像分解成高频分量和低频分量。鉴于高频分量和低频分量分别包含图像的不同特征，分别采用两种不同方法对高频分量和低频分量进行融合。低频分量包含图像的基本概况和平均性状，因此对低频分量通过计算显著性测度来估计双树-复小波融合系数，以保持低频分量信息；高频分量细节较多、边缘锐利，因此对高频分量采用自适应的脉冲耦合神经网络模型进行融合，通过自适应系数的改变控制触发时间，根据较大的触发时间选择高频融合子带，最后通过双树-复小波逆变换进行图像重构。同其他融合方法进行对比，结果表明，本文方法能够得到较高质量的融合结果，保留了图像更多的细节信息以及颜色特征，并具有较好的视觉效果以及有较高的客观评价指标，从而证明了本文方法的可行性和有效性，值得推广。