采用改进平均梯度与自适应PCNN的图像融合

张 蕾

(郑州工程技术学院 河南 郑州 450044)

0 引 言

根据相机光学成像的原理可知，镜头受到有限景深的制约，距离镜头焦点较近的区域成像更加清晰，而距离镜头焦点较远的区域则相对模糊，所以在使用单一成像传感器采集图像时，不能使处于不同景深的目标都达到高质量的成像效果[1-2]。然而在卫星遥感遥测、医学成像分析、高品质印刷、军事探测、目标识别跟踪等特殊领域，需要得到更加清晰的图像[3-5]。图像融合是解决该问题的有效途径，通过多个传感器采集同一场景内的不同目标，得到不同景深目标的清晰成像，再借助不同的算法将多幅图像中的有效信息进行互补结合，融合成一幅高清晰度的全聚焦图像，提升人或计算机对图像刻画和理解的准确性。

由于多尺度变换能够把图像分解成具有不同互补(信息)特征属性的子图，也容易被计算机运算和处理。其中小波变换是多尺度变换的代表，具有多分辨分析的特点，能够较好地提取一维信号的局部特征。文献[6]提出了离散小波变换(DWT)算法，并将其用于多模态医学图像融合中，取得了一定的效果，但是图像属于二维信号，只能获得有限方向的信息，在描述线状奇异性方面表现出了局限性，对图像的边缘轮廓等高维信息表征能力较弱。文献[7]提出了一种快速离散Curvelet变换，在对聚焦图进行融合的效果也得到了提升，但 Curvelet变换的实现过于复杂。文献[8]将Contourlet变换应用到多聚焦图像的融合中，得到了边缘细节处清晰的图像，但Contourlet变换却引入了伪吉布斯现象。文献[9]使用双树复小波变换(DTCWT)和稀疏表示实现对图像的融合，能有效避免伪吉布斯现象，但依然存在运算复杂和时效性差的问题。文献[10]将非下抽样Contourlet变换(NSCT)应用到SAR图像的融合中，能对图像中各向异性的边缘和纹理等信息给出更优的表示，但依然存在实现过程复杂和处理数据大的缺陷。本文将非下抽样剪切波变换(NSST)应用到对多聚焦图的分解中，并对高低频分别采取了适合的融合算法，不仅在图像融合效果上取得了更优的表现，运算时效性也得到了明显的提升。

1 非下抽样剪切波变换

剪切波变换(Shearlet)属于多尺度几何分析方法，也是最优的多维函数稀疏表示方法，目前已被应用到图像处理领域[11]。剪切波变换在实现过程与轮廓波变换具有类似之处，却没有分解方向和尺寸大小的约束。另外，逆变换仅需对剪切滤波器进行加和处理即可实现，具有更快的运算效率。

对于∀ξ=(ξ1,ξ2)∈R2，其中ξ1≠0。若ψ的傅里叶变换表示为：

(1)

ψ1和ψ2满足以下两个条件：

1) 有ψ1∈L2(R2)，且当ξ∈R时，满足Calderon容许性条件，即：

(2)

SHψf(a,s,t)=〈f,ψast〉

(3)

(4)

那么可以将{ψast(x):a>0,s∈R,t∈R2}叫作连续剪切波。其中，所有的矩阵Mas都能分解成1个剪切矩阵Bs和1个各向异性伸缩的膨胀矩阵Aa的乘积，表示为：

(5)

故图像能够用剪切波变换来重构，表达式如下：

(6)

由于标准的剪切波变换中的滤波器使用的是伪极化网格，通过窗函数平移进行下抽样操作，虽然能应用在各向异性的边缘及轮廓分析，但缺乏平移不变性，融合效果较差。本文采用的非下抽样剪切波变换(NSST)是由非下抽样金字塔变换(Non-Subsample Pyramid,NSP)和剪切滤波器的不同组合，将伪极化网格系统映射到笛卡尔坐标中，在空域对图像进行剪切波变换，从而使其具有了平移不变性。对源图像经N级NSP分解，可以得到N个高频子带和1个低频子带[12-13]。3级NSST分解过程如图1所示。

图1 NSST分解过程

由于在NSST分解与重构的过程中，没有对源图像进行上下抽样的操作，所以不会出现频率混叠的情况，而且高低频子带与源图像大小一致(尺度不同)，能够更方便地找出各子带图像中信息的对应关系。另外，NSST本身具有较强的方向选择性和平移不变性，可以消除伪影，更为准确地提取源图像中有用的细节信息，提升融合图像的主观视觉。

2 改进的融合算法

采用NSST方式对已配准的源图像IA和IB进行3级分解，获取1个低频子带和3个高频子带；再采用改进平均梯度的策略对低频子带进行融合，对高频子带则采用改进的自适应PCNN策略进行融合；最后对融合后的高低频子带进行NSST逆变换，重构出更清晰的全聚焦图像。融合过程如图2所示。

图2 图像融合过程

2.1 低频子带融合策略

通过NSST变换后得到的低频子带携带了图像的整体信息，根据像素点间具有相关性的规律，提出了改进的平均梯度融合算法，通过区域内像素点灰度变化情况和平均梯度来选取低频子带系数。

Step1计算低频图像A和图像B的灰度相关值FGA(i,j)和FGB(i,j)：

XA(i+m+1,j+n))2+(XA(i+m,j+n)-

(7)

XB(i+m+1,j+n))2+(XB(i+m,j+n)-

(8)

(9)

(10)

根据实验可知，令参数r=5可以较好处理半清晰半模糊区域。

Step2根据灰度相关值FGA(i,j)和FGB(i,j)选取低频系数I(i,j)：

(11)

为了验证提出的融合策略比空间频率具有更好的效果进行了测试实验，C和D表示多聚焦源图像，Il为使用空间频率取大的融合策略获得的结果，Im为本文提出方法的融合结果，将两个融合结果与源图像D分别作差，则SD,m、SD,l分别是得到的差值图。测试结果如图3所示。

图3 测试结果

可以看出：差值图SD,l在人脸面部有较大面积的信息残留，对源图像的低频子带融合效果不佳。这说明本文提出的方法较空间频率方法更能表现出灰度的变化情况，较好地保留了图像的整体信息，从而使融合图像更加清晰。

2.2 高频子带融合策略

高频子带对应着图像的边缘和纹理细节等信息，直接关系到图像的清晰程度和视觉效果。对于高频子带的融合，本文在脉冲耦合神经网络(PCNN)的基础上，提出一种改进的算法。PCNN由多个神经元相互连接组成(反馈网络)，每个神经元中又包含了接收域、调制域和脉冲生成器三个部分，并与图像中每个像素点相对应，其输出有点火和不点火两种状态[14]。改进后的单个神经元的模型如图4所示。

图4 改进后的PCNN神经元模型

由于标准的PCNN结构复杂，控制参数也较多，本文将其应用在对图像高频子带的融合中，对其进行了简化和改进，进一步提升了处理的效率。假设图像中像素点的位置为(i,j)，代表1个神经元，将(i,j)处像素点的灰度值Sij作为神经元的输入刺激信号，若Fij和Lij分别为神经元的反馈和连接输入，那么经过n次迭代后，得到点火输出为Yij。PCNN迭代过程描述：

(12)

式中：αL和αθ表示跟时间有关的衰减常数；VL表示连接输入的增益；Wij,kl表示(i,j)和(k,l)两个神经元间的连接权重；Uij表示内部状态信号；β表示神经元的连接强度；θij和Vθ分别表示动态阈值和阈值的增益。从式(12)可看出，在整个迭代的过程中，如出现Uij大于θij，那么输出Yij为1，即神经元发出1个脉冲(点火)。在n次迭代结束时，得到总的点火次数Tij可表征像素点(i,j)处的信息：

Tij(n)=Tij(n-1)+Yij(n)

(13)

对于整幅图像来说，每个神经元的输出就构成PCNN的点火矩阵[15]。其实，在图像融合的过程中，图像边缘和轮廓的信息较单点像素信息更重要，故本文将高频子带系数引入到神经元的反馈输入。

假设在NSST域中，尺度和方向分别为l和k，那么像素点(i,j)处的空间频率表示如下：

(Cl,k(u,v)-Cl,k(u,v-1))2]

(14)

式中：Cl,k(u,v)表示在NSST域高频子带中对应像素点(u,v)的剪切波系数，能够表征在空间域像素点(i,j)处相邻点的边缘和轮廓等细节信息的强度。为了运算方便，对空间频率进行归一化处理，并将其作为神经元的反馈输入。

由于在整个PCNN中，神经元间具有耦合关系，所以每个神经元的输出点火次数都会影响相邻的神经元输出，从而促使邻域中与该空间频率偏差较小的神经元产生点火。根据PCNN的传导和同步特性可知，每个像素点的信息会传播到整个网络，而神经元的输入刺激Sij的大小与图像细节信息成正比例关系，即刺激越大，点火次数越多。本文依据整个PCNN的点火总次数，自适应选取高频子带系数，具体的融合步骤如下：

Step3计算每次迭代的结果，利用式(12)和式(13)求出总的点火次数。

Step4判断当前迭代次数n，若n小于N，则跳转到Step 3。

Step5当n等于N时，迭代结束，得到决策矩阵Mlk：

(15)

利用式(15)自适应选取融合图像的高频子带系数，选取策略表示为：

(16)

3 实验结果与分析

为验证本文提出的多聚焦图融合策略的有效性，对经过配准的4组多聚焦图(尺寸256×256像素)进行融合实验。实验环境：采用Intel i3 3.1 GHz四核CPU，6 GB内存，300 GB固态硬盘，在Windows 7操作系统下，运行MATLAB 2015a，借助工具箱FPDEs进行仿真。通过主观视觉和客观指标对融合性能进行分析和评价，五种客观评价指标分别为：

1) 互信息MI。表示从源图像转移到融合图像中的信息多少，该指标越大，融合效果越佳。

2) 信息熵EN。表示图像中含有的平均信息量，数值越大，信息越丰富，图像越清晰。

3) 边缘信息传递因子QAB/F。表征融合图像对源图像的结构和边缘的保持相似度，该指数越接近1说明融合效果越佳。

4) 空间频率SF。表征空间域的活跃度，该值越大图像越清晰。

5) 平均梯度AG。该值越大图像越清晰。

3.1 不同变换域下相同融合算法比较

为验证NSST变换的优越性，分别采用DWT[6]、DTCWT[9]、NSCT[10]和NSST四种不同的变换域对2组经过配准的源图像进行分解，并利用相同的融合算法(低频取平均，高频绝对值取大)进行融合，得到的融合结果如图5所示。

(a) 下聚焦源图 (b) 上聚焦源图 (c) DWT

可以看出，虽然采用了相同的融合算法，但在四种不同变换域下的表现却有所差异。其中：由于DWT的移变性引入了虚假信息，有块状模糊区域，图像失真较为严重；NSCT和DTCWT结果中的细节得到大幅凸显，图像的边缘和轮廓的锐化明显，是由于采用了具有平移不变性的变换，其多尺度和多方向的分解使得图像细节信息得以保留，但整体上依然存在模糊的问题；而本文采用的NSST分解方法效果得到了明显提升，块状模糊区基本消除，边缘和轮廓等细节信息相对分明完整，比较而言主观视觉效果良好，但也有不足，主要是受到高低频融合算法的约束，所以融合效果依然有提升的空间。

为了对融合后的图像进行客观定量的评价，五种客观指标如表1所示。

表1 不同变换域下相同融合算法的客观评价指标

可以看出，采用NSST变换域的效果在五种评价指标上均优于DWT、DTCWT和NSCT方法，表现出了NSST的完美平移不变性。另外，从融合过程所需的时间方面来看，采用NSST的融合时间均小于其他几种变换域，这是由于NSST引入了快速傅里叶变换，在分解和重构的过程中具有更快的运算速度，也说明了NSST具有更优的时效性。

3.2 相同变换域下不同融合算法的比较

为了验证本文提出的改进算法对多聚焦图的融合效果，在相同的NSST变换域下，将文献[12]、文献[13]、文献[16]与本文的改进算法进行比较，实验对另外一幅细节更丰富的多聚焦图进行融合，得到的实验结果如图6所示。

(a) 右聚焦源图 (b) 左聚焦源图 (c) 文献[12]

从融合结果看出：虽然四种不同的融合算法均采用了相同的NSST变换，均能从多聚焦源图像中获取到互补的信息，但融合结果也有明显的差异。以图6中百事可乐瓶外包装的多聚焦图像融合为例进行分析，文献[12]的融合结果中个别区域隐约出现了块状模糊效应，文字重影严重，色泽暗淡，轮廓和细节信息有丢失现象；在文献[13]的结果中，效果上有所改善，但文字略带重影，整体上对比度和色泽不够鲜亮，效果依然不佳；文献[16]的融合结果，在融合效果上也得到了明显的提升，文字的重影现象有所改善，但个别区域的细节特征信息仍有缺失；本文算法的融合结果相比上述几种算法效果更好，图像整体上看更鲜亮，区域特征明显，文字的重影基本消失，图6(f)右侧条形码纹理更清晰，对比度适中，主要是由于在NSST变换域的基础上对融合算法进行了改进，对低频采用了改进平均梯度的融合策略，对高频采用了自适应PCNN的融合策略，使得融合效果大幅改善，主观视觉表现更优。

同样，采用五种客观指标对融合后的图像进行定量的客观评价，结果如表2所示。

表2 相同变换域下不同融合算法的客观评价指标

续表2

可以看出，本文提出的融合策略在五种客观指标中的表现最优，其结果也与主观目视效果保持一致，且融合所需时间最短，充分验证了本文所提方法的优越性。

4 结 语

本文利用了非下抽样剪切波(NSST)变换具有的完美平移不变性对多聚焦图进行分解，从而得到与源图像尺寸大小相同的高频和低频子带。对低频子带采用了改进的平均梯度融合策略，通过区域内像素点灰度变化情况和平均梯度来选取低频子带系数，较好地保留了图像的整体信息；对高频子带则利用了自适应PCNN的融合策略，把归一化的空间频率引入到神经元的反馈输入，并将整个PCNN的点火总次数作为确定高频子带的主要依据，进一步提升了对图像细节的刻画。通过不同变换域相同融合算法和相同变换域不同融合算法的对比实验表明：本文提出的基于NSST的改进融合算法获得了整体更自然明亮和细节纹理更清晰的融合图像。与几种对比算法进行了比较，在主观视觉和五种客观指标上均有出色的表现，且具有更优的时效性。