一种改进聚焦区域检测的多聚焦图像融合方法

王晨曦， 王淑青， 刘逸凡， 庆毅辉， 夏耀威

(湖北工业大学电气与电子工程学院， 湖北 武汉 430068)

多聚焦图像融合是当前图像融合领域一个重要分支，在图像信息采集设备中，受限于光学镜头景深范围影响，场景内不同目标难以同时在光学镜头景深范围内呈现聚焦特性，因此为获得同一场景下全局目标聚焦图像，采用可变焦距镜头对场景中不同目标物体分别聚焦，采集获得多幅不同聚焦区域的部分聚焦图像，采用特定融合算法提取这些部分聚焦图像的清晰区域中的像素点，将其融合成为一幅该场景中所有物体都清晰的融合图像，生成的融合图像包含了源图像重要聚焦区域信息，并减少了冗余信息，在军事、医学图像处理、地质勘查、计算机视觉等领域有着广泛应用[1]。

实现多聚焦图像融合算法的关键是对聚焦区域特性做出准确评判，进行准确检测定位并提取出聚焦区域内的清晰像素[2]。空间域多聚焦图像融合方法主要利用聚焦评价函数对聚焦区域进行检测，通过寻找像素值与聚焦区域之间的对应关系，选取源图像中聚焦区域特性好的图像块或区域来得到融合图像，但性能较差的聚焦评价函数在聚焦区域检测过程中对于聚焦区域的检测不敏感，且容易引入噪声误差，为解决上述问题，进一步提升多聚焦图像融合中聚焦区域检测算法性能，本文在传统的SML聚焦评价函数基础上改进了一种聚焦区域检测方法，该方法有效扩大了对聚焦区域检测的精确度，降低噪声误差的引入，最后得到的融合图像冗余信息较少，内容信息丰富。

1 聚焦评价函数

在多聚焦图像融合算法中，对不同聚焦源图像利用聚焦评价函数提取聚焦区域，对得到的聚焦区域，根据融合规则直接复制该位置的像素值到最终的融合图像，期间不改变像素值大小(图1)。

图 1 多聚焦图像融合聚焦区域检测方法

在空间域上目前常用的聚焦评价函数主要包括空间频率法(Spatial Frequency，SF)、梯度能量法(Energy of Gradient，EOG)、和修正拉普拉斯法(Sum of Modified Laplacian，SML)、双边梯度强度法(Tenegrad)和相位相干法(Phase Coherence，PC)等[3-5]。Huang等学者用了大量实验论证SML在多聚焦图像融合的应用中优于其他的常用清晰度聚焦评价函数[6]；其中相位相干法和双边梯度强度精度较低；SF计算简单方便，耗时最少但精确度不够；EOG和SF相比较精度方面有所提高，但精度低于SML，SML函数在同等条件下对图像的清晰度变化最敏感，但耗时较长，基于上述研究，本文在SML聚焦评价函数的基础上进行分析，改进一种新的聚焦区域检测方法。

1.1 拉普拉斯梯度和SML

在图像中，梯度直接反映像素值的变化情况，可以表示图像的边缘和纹理信息，反映图像清晰度的变化情况，可用作图像聚焦检测，文献[5]表明拉普拉斯算子是图像的二阶导数逼近，并突出像素强度快速变化区域，这使得它适合于检测焦点的变化，在正常成像条件下具有较好的整体检测性能，在给定的灰度图像中，像素点(x，y)的改进的拉普拉斯梯度(ML，Modified Laplacian)定义如下：

ML(x,y)=|2f(x,y)-f(x-step,y)-
f(x+step,y)|+|2f(x,y)-
f(x,y-step)-f(x,y+step)|

其中f(x，y)为像素点(x，y)处的灰度值，在一些均匀区域，由于相应区域拉普拉斯梯度变化较小，不能很好地反映该区域中聚焦目标，为了解决这一问题，文献[7]改进了一种拉普拉斯梯度和方法SML，通过引入累加和放大该区域的梯度值，增强该区域与周围区域的对比度便于检测选取聚焦区域，定义如下：

其中step为步长通常取1，T为挑选合适的ML阈值降低噪声的影响，N为控制窗口大小，窗口大小为(2N+1)×(2N+1)。

1.2 改进的拉普拉斯梯度和NSML

SML在一定程度上能恰当表示图像的聚焦特性和清晰度，在采用拉普拉斯算子放大某一处的梯度信息增强信息对比度时，以3×3窗口为例，传统SML只在水平和垂直方向上计算每个像素窗口大小的ML值，对于主对角线和此对角线上的邻域则没有考虑，如图2a所示，SML采用的算子模板只考虑了4邻域的像素，对于对角线的未作考虑。

图 2 算子模板

Sun等学者通过改进提出了一种新的聚焦评价函数：拉普拉斯梯度算子(Sum of New Modified Laplacian，NSML)和检测聚焦区域，该方法将原有检测的4个方向扩展到8个方向，算子模板如图2b，这个方法可以在保留图像中的各像素灰度值情况下，增强对比度，不改变图像背景，突出图像中小的纹理细节信息[8]，定义如下：

NML(x,y)=|2f(x,y)-f(x-step,y)-
f(x+step,y)|+|2f(x,y)-f(x,y-step)-
f(x,y+step)|+|2f(x,y)-f(x-step,y-step)-
f(x+step,y+step)|+|2f(x,y)-
f(x+step,y-step)-f(x-step,y+step)|

改进的新拉普拉斯梯度和NMSL定义如下：

其中step为步长变化参数通常取1，参数的设置主要根据噪声大小来选取，step较小时主要应用于噪声干扰较小的图像，step较大时主要应用于噪声和亮度变化较大的图像中。

1.3 加权的改进拉普拉斯梯度和SWML

拉普拉斯算子本身对噪声极为敏感，采用累加和的方式使得梯度信息在得到加强的同时，也会增强图像中的噪声，为了解决这一问题,Bai改进提出了一种加权改进的拉普拉斯算子梯度和方法(Sum of Weighted Modified Laplacian，SWML)[9]，该方法对图像中每个像素位置的梯度信息在一个局部窗口进行加权，这种方式将会使每个像素位置的梯度强度被其附近的梯度信息加强，同时加权的方式能减小噪声的引入(图3)，其定义如下式：

局部窗口中每个像素位置的梯度的相关权重与梯度位置(i，j)与局部窗口中心像素(x，y)的空间距离成反比，每个像素位置的WML梯度强度主要由附近的ML梯度贡献，非聚焦区域的梯度强度不会被附近的聚焦区域影响，无论是在聚焦区域还是离焦区域，聚焦区域的WML梯度会远远大于相应的离焦区域WML梯度，能有效增强梯度信息，降低噪声的引入，同时选择合适的N值可以有效地扩大检测范围。

2 改进的聚焦评价函数F-SWNL

通过上述分析研究，改进拉普拉斯梯度和SML作为经典聚焦评价函数，广泛运用于图像融合聚焦区域检测中，缺点是方向单一，缺乏主次对角线上的检测，同时存在部分噪声信息；改进的新拉普拉斯梯度和NSML在原有的SML基础上有效的增加了检测方向，将原有的4方向扩展到了空间上的8方向，扩大了检测范围，但相比较SML引入了更多的噪声；加权改进的拉普拉斯梯度和SWML引入空间几何距离，利用权重增强梯度信息，部分抑制了噪声梯度，缺点是采用的ML算子缺乏对主次对角线上的计算，得到的WML值不够精确。结合几种传统聚焦评价函数的优点，在此基础上笔者改进了一种聚焦评价函数(Sum of New Weighted Laplacian，SWNL )，该方法结合NSML在8方向上的拉普拉斯算子检测优点与SWML利用空间距离加权降低噪声引入的优点，能有效扩大检测范围同时降低噪声梯度带来的影响(图4)，定义如下：

图 4 SWNL梯度模板

利用空间几何距离赋值权重，离中心像素点越近的像素区域被认为影响越大，加权的方式一定程度上也抑制了部分噪声梯度的产生，同时可以合理调整窗口N值的大小，扩大检测范围，选择合适的阈值T能有效提取聚焦目标区域。

3 实验结果及分析

多聚焦图像融合的实质是：对于多焦点图像，采用特定的聚焦区域检测算法得到初始融合决策图，根据融合规则合理挑选聚焦区域得到二级融合决策图，最后实现整个图像融合过程。

3.1 融合规则

采用拉普拉斯算子作为聚焦评价函数提取聚焦区域，由于拉普拉斯算子本身对噪声的敏感会导致聚焦目标区域存在部分孤立点或空洞区域(图5b)，使得最后得到的融合图像质量降低，本文对经过SWNL聚焦评价函数检测得到的初始融合决策图进行滤波处理[10]，采用中值滤波的方式剔除初始决策图中的部分孤立点，减小噪声带来的影响，通过均值滤波对检测到的聚焦区域边缘进行平滑处理，相关定义如下式：

其中Average(·)表示均值滤波函数，Med(·)表示中值滤波函数，M1和M2表示均值滤波和中值滤波的窗口大小，均值滤波起平滑融合图像的视觉效果，中值滤波器明显抑制孤立点，在提出的算法中选取M1=3，M2=5。

图 5 误差噪声处理

对于同一成像条件下，不同聚焦目标的多聚焦图像AB来说，合理的融合规则将大大提高图像的融合质量，一般来说通常都是选择不同图片同个像素位置的SWNL值较大一方作为最终融合区域决策图，即：

(1)

Fb是融合图像初级决策图，SWNLA(x，y)为图像A在像素点(x，y)处的SWNL梯度值。由于聚焦评价函数检测得到的聚焦区域存在噪声空洞的情况，空洞即该处的像素灰度值为零的情况，采用滤波器进行中值滤波和均值滤波，剔除孤立点噪声平滑聚焦区域后得到图5b,图5d，本文利用下式对空洞进行填充：

(2)

均值图像差DiffF(x，y)表示初级决策图与均值图像AvgF(x，y)差值，最终结合式(1)、(2)与原图像A、B进行图像融合最终的融合规则如下式：

其中F(x，y)是最终融合图像，A(x，y)，B(x，y)是像素点处的像素灰度值，对于已选定的区域可直接通过复制该处像素点灰度值提取到融合决策图，对于部分区域存在像素点灰度值为0的情况，采取上述融合规则进行填充，得到最终聚焦区域图5e。

3.2 聚焦函数性能对比

根据上文对几种常用的聚焦评价函数进行的分析，本文改进了一种F-SWNL聚焦评价函数提取聚焦区域，为进一步验证提出的改进聚焦评价函数性能，与前文介绍的其他几类聚焦评价函数进行了如下对比：对选定的图片进行人工高斯模糊，其中高斯模糊的半径r分别为0，1，2，3，4得到不同清晰度下的图片(图6)，得到相应的聚焦测量值如表1所示。

图 6 高斯模糊处理

表1 不同聚焦评价函数下的聚焦区域测量值

图 7 数据归一化处理

通过对求得的聚焦区域测量值数据进行归一化处理后，绘出不同聚焦评价函数在同一图片不同清晰度下聚焦测量值变化对比图(图7)，SF算法和EOG算法对于图片的模糊敏感变化不大，本文提出的F-SWNL聚焦评价函数在图像清晰度变化敏感程度上优于SML、NSML以及SWML聚焦评价函数，所以本文提出的改进聚焦评价函数可用作聚焦区域检测，检测提取出聚焦区域效果见图8。

图 8 不同聚焦评价函数聚焦区域检测效果

由图8可知：利用传统SML聚焦评价函数检测得到的聚焦区域较为模糊，出现部分伪影；SNML和SWML相较于SML清晰程度有所增加，聚焦区域基本能检测完全，缺点是在一些细节方面的信息比如树枝周边位置不够清楚，而改进的聚焦评价函数在聚焦区域检测方面对于目标个体和背景区分较为仔细，整体轮廓清晰信息丰富，检测得到的聚焦区域噪声较少。

3.3 实验结果

为进一步验证改进的聚焦区域检测方法在多聚焦图像融合中的有效性，分别选取tree、baby、man进行多聚焦图像融合，本次实验采用MATLAB进行编程实现，运行环境为Windows系统，MATLAB2017a，处理器为 Intel i5-8300H(2.30 GHz，64 bit)，内存为4 G，参数的选择T为5，step=1，N值为8，运行的结果见图9。

图 9 融合效果

对于多聚焦融合图像融合效果的评价主要分为主观和客观评价，主观方式通过肉眼观察融合图像效果直接观察，具有强烈的主观色彩，本文通过建立客观评价指标进行观察判别融合效果，建立客观评价体系(表2),文献[11-13]选取了4类评价指标，其中边缘保持度融合质量指标QAB/F反映了融合图像中包含源图像中的边缘信息量大小，值越大证明融合效果越优；互信息QMI表示两幅图像的相关程度，代表从源图像中保留继承信息量的多少，值越大代表融合图像从源图像中获取的信息越多；信息熵QEN, 反映了图像整体的信息量，图像信息量越丰富，对应的细节信息越清晰，则对应的信息熵会越来越大；标准差STD反映了图像信息的活跃度，其值越大，代表可利用的信息越多，图像的视觉信息越佳，详情见表2。

表2 客观评价结果

通过建立客观评价指标，表2中Tree、man、baby图像融合客观指标计算结果表明，本文利用改进的聚焦评价函数实现多聚焦图像融合得到的融合图像在边缘保持度QAB/F、互信息QMI、信息熵QEN，及标准差STD方面值优于本文介绍的其他几类方法，融合得到的效果明显优于其他几种聚焦评价函数，对比客观评价指标参数较其他几种方法都处于较高水平，反映本文提出的改进聚焦区域检测方法融合质量优于其他方法，由于计算复杂度较其他几种算法略有增加，在耗时方面可能并非最优，未来可以进一步优化算法，综上，改进聚焦区域检测方法在聚焦区域检测方面较其他几种方法具有一定的优越性，融合图像信息丰富，误差噪声较小，图像融合质量突出。

4 结论

本文针对在空间域上利用聚焦评价函数检测聚焦区域实现多聚焦图像融合过程中传统聚焦评价函数性能较差,容易引入误差噪声的问题， 在传统的SML聚焦评价函数基础上结合了NSML和SWML方法的优点，改进了一种聚焦区域检测方法，实现对多聚焦图像融合过程中聚焦区域的判定和选取，后续通过滤波器滤波处理剔除孤立点噪声，设计了合理的融合规则对空洞区域填充，最后的实验结果表明：改进的方法对图像清晰度变化较传统的几种聚焦评价函数更加敏感，同时，结合建立的客观评价指标，改进的聚焦区域检测的多聚焦图像融合方法在融合效果方面优于本文介绍的其他方法，融合图像质量信息丰富，噪声较小。