多尺度形态聚焦测量和优化随机游走的多聚焦图像融合算法

王长城，周冬明，刘琰煜，谢诗冬

(云南大学 信息学院，云南 昆明 650500)

由于照相机光学透镜的景深有限，光学镜头只能捕捉聚焦在局部场景上的图像. 因此，只有在景深内的物体是聚焦的、清晰的，而景深外的物体则是模糊的[1]. 然而，部分聚焦的图像所传递的信息是不完备的，因为有意义的对象并没有全部聚焦在一幅图像中. 多聚焦图像融合是解决这一问题的一种有效手段，通过将一系列同一场景具有不同聚焦设置的图像中的聚焦对象合并来构建一个全聚焦图像. 近几十年来，已经提出了许多种用于多聚焦图像融合的算法，主要分为基于变换域的算法和基于空间域的算法[2].

基于变换域的方法首先产生变换系数，然后根据一定的规则对这些系数进行融合[3]，最后根据这些合成系数重建融合图像[4]. 基于变换域的方法主要包括拉普拉斯金字塔[5]、非下采样轮廓波变换[6]、基于多尺度变换和稀疏表示[7]等. 而基于空间域的算法则是通过聚焦测量的方法检测聚焦的像素，根据生成的决策图来完成图像融合. 相对于变换域的算法，这更加直接也更为有效. 一般来说，空间域算法可以分为：基于像素、基于块和基于区域[8]. 基于像素的算法通常仅考虑单个像素或者使用局部邻域中的信息，快速简单且有效. 近几年比较先进的几种基于像素的图像融合方法有：GFF[9], MWGF[10]以及DSIFT[11]等. 这些方法确实能提高融合图像的视觉效果，但在大多数情况下在生成决策图的过程中会损失来自源图像中的原始信息. 在基于块[12]的算法中，源图像首先被分解成大小相等的块，再通过测量相应块上的聚焦情况来检测聚焦块. 这些算法的性能会受到所选块大小的影响. 基于区域[13]的算法通过使用诸如归一化切割的图像分割技术将源图像分割成几个区域，然后通过测量相应区域的清晰度并组合聚焦区域来进行图像融合. 通常分割过程会降低算法的效率，分割精度也会影响融合图像的最终质量.

本文将常用于图像平滑的多尺度形态滤波器，改进运用到聚焦检测中取得了很好的效果. 在图像聚焦区域与离焦区域的边界较为复杂情况下，仍然能生成边界准确的决策图. 此外，对传统的随机游走算法进行了优化，对决策图进行更优的选择.

1 算法实现

基于多尺度形态聚焦测量和优化随机游走的融合算法基本流程图如图1所示. 算法由聚焦检测、决策优化和随机游走3个部分组成，首先多聚焦图像通过多尺度形态聚焦检测生成初始的决策图，然后利用形态滤波和小块滤波对初始决策图中的聚焦区域进行重建优化，最后利用优化后的随机游走算法生成最优的决策图.

1.1 多尺度形态聚焦测量在图像处理中，梯度表示图像的锐度信息[14]，而形态学梯度算子[15]能很好地提取图像的梯度信息，并且可以通过改变结构元素[16]的尺寸扩展到多尺度形态学梯度算子，进行滤波处理等多项操作. 同样，通过利用多尺度形态学梯度算子在不同的尺度上提取图像的梯度信息[17]，再将这些信息梯度进行整合就成了一个有效的聚焦测量，即为多尺度形态聚焦测量，步骤描述如下.

步骤 1构建好多尺度结构元素.

其中，多尺度结构元素Ej由j个半径为r的基本结构元素组成；n表示尺度的数目；⊕表示形态梯度算子中的膨胀算子.

在数学形态学中，结构元素是用于提取图像特征的虚拟工具，不同形状的结构元素用于提取不同类型的图像特征. 另外，改变结构元素的大小可以扩展到多尺度，利用这些多尺度结构元素，可以在图像中提取全面的梯度特征.

步骤 2利用形态梯度算子计算图像像f(x,y)中尺度为j的梯度特征为

其中，⊕ 和 ⊕ 分别是形态梯度算子中的膨胀算子和腐蚀算子，而在形态学运算当中，形态学梯度等于膨胀算子运算减去腐蚀算子运算.

步骤 3将不同尺度下的形态梯度整合成多尺度形态梯度为

其中，wj为j尺度下梯度的加权值，值为1/(2j+1).通过采用加权和的方式将不同尺度下的形态梯度整合到一起构造多尺度形态梯度. 不同的尺度下分配不同的加权值，尺度j越大，加权值便越小，反之尺度j越小，加权值便越大. 整合的加权梯度图能很好地表达梯度信息，也能够清楚有效地传递源图像的聚焦信息[18].

步骤 4将区域内的多尺度形态梯度求和，构建区域的多尺度形态聚焦测量. 由于梯度的总和有助于测量该区域的锐度，同时抑制噪声[19]，于是利用多尺度形态梯度的总和来描述该区域的聚焦测量为

其中，B表示源图像块.

儿科的临床护理具有特殊性，一方面，患儿普遍年幼，认知和理解能力不足，对疾病的耐受力较差，容易哭闹、喊叫、抗拒，导致护理工作难以开展。另一方面，家属通常伴有焦虑、紧张、烦躁、易怒等情绪，很容易因沟通不到位而产生误会，导致医疗纠纷[1]。针对上述问题，我科将个性化护理模式引入临床，通过一系列干预提高患儿的临床依从性，现总结如下。

图 1 融合算法流程图Fig. 1 Flow chart of fusion algorithm

在整个多尺度形态梯度测量过程中，还需要设置结构元素的形状和尺度数值. 结构元素的形状决定了运算所提取的信号的形状信息，用不同形状的结构元素对图像进行处理就会得到不同的结果.在本文中，我们构建一个平坦的圆形结构元素来获取局部的图像特征信息. 此外，尺度数n的设置决定了生成的形态梯度的性能和聚焦测量的效果，如果尺度数值设置较小，则效果不明显，若设置太大，基于多尺度形态聚焦测量的耗时会比较长，并且会有很大的冗余.在本文中，尺度数值设置的实验区间为[2,8]，通过多组实验的对比后发现将尺度n设置为6时，融合图像的效果最佳.

1.2 决策优化源图像经过多尺度形态聚焦测量得到了初始的决策图，但初始的决策图不太理想，虽然聚焦区域和离焦区域的边界比较明显，但检测的聚焦区域内仍然存在部分识别错误的伪区域. 因此，利用两个连续的滤波器来重建聚焦区域,对初始决策图进行优化.

源图像经各处理步骤后产生的决策图如图2所示，图2（a）为多尺度形态聚焦测量产生的初始决策图，图中存在部分识别错误的伪区域，图2（b）为经过多尺度形态滤波后的决策图，即利用小圆盘形状的结构元素对检测到的聚焦区域进行开闭运算处理，对初始决策图中的聚焦区域进行微小调整. 通过这种处理方式消除如图2（a）所示检测区域内的细线和毛刺，平滑聚焦区域的连接部分，并且将附近区域组合为整个区域，实现对检测区域的优化调整. 形态滤波处理后，从图2（b）中可以较明显地看到一些细线、毛刺状的微小区域得到了调整.

但是决策图的检测区域内存在的小块孤立区域并没有太大的变化，因此为了优化决策图，小块滤波器来被用来重建检测区域，将聚焦区域中的小孔进行填充或者删除小的孤立区域. 小块滤波的原理是基于小块孤立区域面积与设定的阈值的比较，如果面积小于设定的阈值则判定为孤立区域进而被滤除. 在本文中，实验的阈值区间是[1/60,1/20]，实验过程中阈值过高或过低都会影响滤除效果，多组实验后发现将阈值设定为图像面积的1/40时能有效地去除小的孤立区域，使得最终检测到的聚焦区域的一致性变得更好. 图2（c）是经过小块滤波后的决策图，与图2（b）相比可以明显看到滤除了小块的孤立区域，同时聚焦与离焦区域边界整体更清晰明了.

图 2 各流程后的决策图Fig. 2 Decision map after each process

1.3 随机游走算法随机游走算法实质上是计算一个随机游走的人从一个像素点开始游走，最后到达标签下的一个种子的到达概率，然后将该像素与种子集中有最大到达概率的相应种子标记为相同的标签[20]. 把多尺度形态梯度聚焦测量得到的两幅决策图看成是来自源图像的两个不同的观测结果，因为这两个观测结果具备互补的性质，所以使得决策图通过随机游走算法估计后，可以得到效果更好更全面的决策图.

使用一个包含顶点的图表示随机游走算法，如图3所示. 在图3中，假定以多尺度形态聚焦测量生成的两幅决策图为估计的已知先验，这两个先验可以作为标记种子被包括在增强图中，即S1代表源图像1产生的决策图，S2代表源图像2产生的决策图. 运用上述增广图，先验可以被自然编码到随机行走的框架中，以构建多标签随机游走算法. 估计决策图中的每个像素由图中的节点xi表示，在估计从每个节点开始首先到达两个种子之一的概率时，如果一个种子首先到达的概率较高，则表示该像素与该种子(例如S1)有更大的可能相关联.

此外，在图中还需要分配两种类型的权重：一种是节点与节点之间相互连接边的权重wij， 它模拟节点xi与节点xj之间的相似性；还有一种则是节点与种子相互连接边的权重hik(k=1,2)，它模拟节点xi与种子Sk之间的相似性. 这些权重对于随机游走来说是比较重要的，因为它们从实质上确定了从相邻节点穿过相应边缘最终到达标记种子的概率. 像许多其他随机行走算法一样，图像域上的权重wij可以使用典型的高斯加权函数来定义，相邻像素之间的相似性表示为

图 3 随机游走算法的图表模型Fig. 3 A graph model of the random walk algorithm

其中，g表示源图像，σ在文中设为 0.2. 令表示随机游走从每个节点xi(i=1,2,···,N) 首次到达标记的种子Sk的概率，表示随机游走从节点中确定到达两个种子中的其中一个的概率. 我们把放到一个量中

在最近研究中发现随机游走与电势理论有紧密的联系，在适当的仿真条件下，求解节点首次到达种子的概率可以表示为电路各节点电位的分布[21].因此，系统的总能量为

LX能够写成如下的表达形式：

其中，Ni表示图像域中第i个像素的4个相邻像素，设置 ∇Jk=0，这样相对于使得能量函数有最小值. 可以得到

式(12)能够最小化能量函数

我们利用以上方法对决策图实现随机游走，图4为随机游走算法优化前后的最终决策图的对比，图4(a)为源图像，图4(b)为未经优化的随机游走算法选取生成的最终决策图，图4(c)则是优化的随机游走算法选取的最终决策图. 从图 4(b)、4(c)看，图4(c)中图的整体轮廓要比图4(b)要更加流畅，与源图像中模糊和清晰的边界更加吻合，能生成更准确的融合图像. 此外，在实验的过程中发现，未优化的随机游走算法效果不稳定，一旦在处理边界较为复杂的图像时，选取生成的决策图效果不佳，而优化后的随机游走算法则更加稳定，整体性能优异.

2 实验结果与分析

从公共多聚焦图像数据集中的20组选取4组进行实验，并将所提出的算法同其他算法进行对比，其中有基于变换域的图像融合方法：NSCT[6]、CRF[23]和DCHWT[24]，以及基于空间域的图像融合方法：GFF[9]、CBF[25]、CNN[26]和 MWGF[10].

图 4 优化前后随机游走算法选取的决策图Fig. 4 Decision diagram selected by the random walk algorithm before and after optimization

图 5 “高尔夫”实验图像集融合结果Fig. 5 Fusion results of "Golf" experimental image set

图5展示了“高尔夫”实验图像集各方法融合结果，图5(a)和图5(b)为源图像. 图5(c)融合图像清晰程度较高，但球棍与边界区域交界处有轻微的虚化. 图5(d)融合后的图像效果较佳，人物与背景的边缘区域却仍存在轻微的伪影. 图5(e)，图5(g)和图5(i)的局部放大区域中高尔夫球已近乎虚化，球棍与背景草地交界的区域伪影严重，未能很好地融合源图像里的图像信息. 图5(f)整体效果融合较好，但是存在部分小区域比较模糊的情况. 图5(h)图像整体融合的效果较好，但还是能够观察到小部分区域边界及纹理等细节信息有缺失. 图5(j)融合图像无论是人物还是背景对比源图像可以发现有很好的融合效果，融合图像整体清晰，很好地保留了源图像的边缘和细节信息.

图6为可视化了“潜水员”实验图像集各方法融合结果. 图6(c)中潜水器的黄色图标比起源图像图6(a)中的要更模糊一些. 图6(d)中在镜框下方区域与背景的边界区域存在小块的模糊. 图6(e)中潜水器黄色标志下的区域存在着伪影，这部分区域丢失了源图像的细节信息. 图6(f)中人物镜框下方与嘴唇上方区域与背景的边缘区域仍然是比较模糊的. 图6(g)整体清晰程度不高，人物部分相较源图像图6(a)更加模糊，图像亮度有不正常的提升.图6(h)中潜水器上方有一块黑色的不正常加深，整体看起来比较突兀，并且下方的衣服区域清晰程度不高. 图6(i)中潜水器的黄色标志相较于图6(a)稍显模糊. 图6(j)则整体融合效果较佳，前面几种融合方法所出现的融合瑕疵在图6(j)中并没有表现出来，很好地融合了来自源图像中的细节信息.

图7是“小孩”实验图像集各方法融合结果.图7(c)中小男孩的五官比起图7(a)清晰程度要低一些，并且衣领区域存在小块的模糊区域. 图7(d)整体融合效果较佳，但小男孩帽檐与背景的边界区域有淡的伪影. 图7(e)中小男孩右眼与图像边缘的区域存在有模糊的小块，丢失了来自源图像的细节和纹理信息. 图7(f)中前面小男孩的耳朵与衣领那一块小区域仍然是模糊的. 图7(g)整体融合效果较差，整体清晰程度相较其他的融合方法要低. 图7(h)中小男孩衣领区域有小块稍显模糊的区域. 图7(i)小男孩的面部清晰程度并不高，对比图7(a)无论是头发还是眼睛区域都要看着更模糊一些. 图7(j)图像融合效果较佳，小男孩耳朵区域与衣领区域融合较好，并未有模糊的情况，背景区域也清晰，整体效果很好.

图 6 “潜水员”实验图像集融合结果Fig. 6 Fusion results of "Diver" experimental image set

图 7 “小孩”实验图像集融合结果Fig. 7 Fusion results of "Kid" experimental image set

图8是“城堡”实验图像集的融合图像结果. 图8(c)里栏杆的两边沿着栏杆的边界都有小块模糊的区域. 图8(d)整体融合效果较差，在栏杆相交的十字区域栏杆的边界出现一层伪影，栏杆区域边界与背景城堡整体融合得比较差，呈现效果模糊. 图8(e)同样在十字交叉区域出现有淡淡地伪影. 图8(f)栏杆左下区域有一块模糊的区域，融合图像并没有很好地融合来自源图像中的细节信息. 图8(g)整体都是模糊的，无论是背景的城堡还是前景的栏杆区域相较于其他融合图像，可以肉眼观察到差异. 图8(h)里可以看到只融合了源图像8(b)里的城堡区域，右上的森林区域并没有融合. 图8(i)同样存在边界区域模糊的情况，左下森林区域并没有很好地融合来自源图像里的信息. 图8(j)相比较前几张融合图像，栏杆区域与背景城堡融合效果较好，没有出现伪影，并且背景森林也融合的不错，整体呈现效果较优.

为了更加全面的评价各种融合算法的性能，除了视觉上的主观评价，还需有客观评价，在本文中采用了平均梯度(AVG)、交叉熵(SEN)、标准差(STD)、视觉信息保真度(VIF)、基于像素的视觉信息保真度(VIFP)、信息保真度准则(IFC)、互信息(MIN)和QABF等8个客观评价指标对这4组融合图像进行定量分析. 在这4组客观评价指标表中，我们可以清楚地看到本文方法与其他7种方法在各个指标上直观的对比，在表1中，本文方法在8项指标评估中均优于其他方法，表2和表3中，本文方法在8项指标上有6项优于其它方法，剩下的两个指标也仅仅以非常微小的差距低于其它两项方法，排在第2. 在表4中，本文方法在各项指标上表现优异，领先明显. 表5是4组实验客观评价指标的平均值，从表中可以看出提出的方法领先优势明显. 实验结果表明：提出方法所融合的多聚焦图像与其他的融合算法所融合的图像相比，融合图像背景细节更为丰富，能更多地保留源图像中的细节信息，无论是主观评价还是客观评价都要优于其他算法.

图 8 “城堡”实验图像集融合结果Fig. 8 Fusion results of "Castle" experimental image set

表 1 “高尔夫”实验图像集融合结果的客观评价指标Tab. 1 Objective evaluation index of fusion results of "Golf" experimental image set

表 2 “潜水员”实验图像集融合结果的客观评价指标Tab. 2 Objective evaluation index of fusion results of "Diver" experimental image set

表 3 “小孩”实验图像集融合结果的客观评价指标Tab. 3 Objective evaluation index of the fusion results of "Kid" experimental image set

表 4 “城堡”实验图像集融合结果的客观评价指标Tab. 4 Objective evaluation index of fusion results of "Castle" experimental image set

表 5 4 组实验客观融合评价指标的平均值Tab. 5 The average value of objective evaluation index of four groups of experiments

3 结语

本文介绍了一种基于空间域的多尺度形态聚焦测量和优化随机游走算法的多聚焦图像融合方法，该方法将多尺度形态运算和优化后的随机游走相结合，有效地实现了图像融合. 尽管与其他方法相比要更出色，之后也会尝试与深度学习相结合，通过更多的训练学习以期得到更先进的图像融合方法.