基于MSTO的含噪声多传感器图像融合算法

沈 瑜 党建武 王阳萍 王小鹏 郭 瑞

(兰州交通大学电子与信息工程学院, 兰州 730070)

基于MSTO的含噪声多传感器图像融合算法

沈 瑜 党建武 王阳萍 王小鹏 郭 瑞

(兰州交通大学电子与信息工程学院, 兰州 730070)

为了解决在含噪声多源传感器图像融合中,常规滤波存在图像边缘缺失、对比度差的缺点,提出了一种基于多尺度顺序开关算子(multi-scale sequential toggle operator, MSTO)和Beamlet保边滤波算子的含噪声红外与可见光图像融合算法．首先，将多源图像通过MSTO进行多尺度分解,得到能量分量和细节分量．对于细节分量采用Beamlet保边滤波算子进行处理,保持图像边缘细节的同时滤除噪声,采用MSTO计算出能量图像的亮边缘和暗边缘并融合叠加到细节分量中,进一步增强融合图像的边缘．对于能量分量采用基于灰度值取大的融合规则．最后根据MSTO反变换对融合后的能量分量和细节分量进行重构,得到结果图像．实验结果表明,融合后的图像不但滤除了噪声,而且对轮廓和边缘细节得到较完整的提取和增强．该图像融合算法在含噪声多源传感器的融合中取得较好的效果．

多尺度顺序开关算子;Beamlet算子;融合;多传感器图像

图像融合指的是不同模态的传感器在同一场景下,或者同一传感器在不同时间或条件下捕获的2幅或多幅图像,合成一幅包含感兴趣信息图像的处理方法[1]．其中,红外与可见光图像融合算法是多源传感器融合技术的重要分支之一,它能够将红外图像的目标获取与可见光图像的背景保持相结合,克服可见光图像传感器对于光照的依赖,也可以克服红外传感器背景捕捉不清晰的缺点．该技术在医学、军事、安保、消防等领域有着重要的作用[2]．从色彩的角度,红外与可见光图像的融合算法可分为灰度图像融合方法和彩色图像融合方法[3]．其中灰度图像融合方法以基于空间域的融合方法和基于变换域的融合方法为主[4];彩色图像融合方法包括直接映射融合方法、MIT融合方法和色彩迁移融合方法等．

Mahbubur等[5]基于噪声源图像内部的依赖关系,按照噪声的长度修正小波系数的幅值,在降噪的同时进行了有效的图像融合．Wang等[6]对小波变换二次分解后的高频子带和低频子带图像进行处理,得到较好的滤波和融合效果．Cao 等[7]利用Contourlet变换捕获方向信息,采用方向窗函数计算融合权重,该方法在滤除噪声的同时能够得到较好的融合效果．Bekhtin 等[8]提出了一种基于小波变换和空间方向树逻辑处理的含噪声多光谱图像融合算法,融合结果表明融合后的图像在PSNR和SSIM参数上表现很好．Srivastava 等[9]提出了一种基于Contourlet变换和水平依赖阈值(level dependent threshold)的含噪声多聚焦图像融合算法,根据特征的系数变化调整水平依赖阈值．王昕等[10]采用图像分块结合局部加权信息熵的方法对红外图像进行目标区域分割,对已配准的红外与可见光源图像利用文献[11]提出的新融合规则仅在目标区域进行融合,该算法在抑制噪声的同时能更好地实现2类源图像的优势互补．沈瑜等[11]基于非下采样轮廓波变换和Beamlet变换,提出一种全新的医学图像融合方法,在高频成分使用Beamlet变换进行边缘检测,能够有效减少噪声对融合图像的干扰,增强了融合的线性细节表达能力,提高了信息量．胡清平等[12]将噪声参数与TNO彩色映射系数相联系,有效地降低了微光图像中的噪声,提高了融合结果的质量．严春满等[13]采用正交小波变换构建塔型结构,通过伪逆重构方法重构得到融合图像,该方法在滤除加性白噪声和系统噪声中得到较好的效果,融合结果较理想．2011年,Bai等[14]首次提出了一种数学形态学开关算子(toggle operator,TO),该算子能够对图像进行多层分解得到不同尺度的细节图像和能量图像,其中细节图像是图像的高频成分,包含图像的大部分轮廓、边缘等线性细节特征,通常图像的噪声也包含在细节图像中;其能量图像包含了图像的大部分的能量,图像的低频成分都包含在这部分图像中．2015年,Bai[15]首次提出了一种多尺度数学形态学顺序开关算子,用以计算图像的亮边缘和暗边缘．

此外,含噪声多源传感器图像融合算法对于边缘、轮廓等线性特征的描述要求很高,传统的滤波算法在滤除噪声的同时常常把线性细节滤除,造成边缘模糊、图像特征损失．为了解决这个问题,本文提出了Beamlet保边滤波算子．Beamlet变换域中线段类似于点在小波分析中的地位,它能够提供基于二进组织的线段的局部尺度、位置和方向表示,可以很容易实现对线的精确定位,而算法具有比较低的复杂度．同时,Beamlet变换具有优越的线奇异性,而对点特征不敏感．因此,借助Beamlet变换的这个特征,对图像在滤除噪声点的同时能够更好地提取图像的线特征．在此基础上,本文提出了一种基于形态学TO算子和Beamlet保边滤波算子的含噪声红外与可见光图像融合算法．

1 数学形态学分解算子

1.1 数学形态学开关算子

在数学形态学中,定义f(x,y)和E(u,v)为2个数组,分别代表源图像和结构元素．将开运算∘和闭运算·作为基元,那么开关算子的定义如下:

(1)

TO算子运算的结果是将选中的像素从开运算和闭运算的结果像素中提取出来,提取出来的图像包含了源图像的大部分能量,记为能量图像;提取出能量图像后,源图像中剩下部分表示源图像的细节特征,记为细节图像．一次TO运算的结果t1(f)记为一阶能量图像s1(f),同时得到一阶细节图像d1(f);然后再次对一阶能量图像s1(f)作TO运算,得到二阶能量图像s2(f)和二阶细节图像d2(f),以此类推,直到n阶．TO算子经过多尺度结构元素的分解，得到不同尺度的能量图像和细节图像．这样的TO算子被称为多尺度顺序开关算子(multi-scale sequential toggle operator,MSTO),即

si(f)=ti(si-1(f))

(2)

si(f)=t1(f)

(3)

s0(f)=f

(4)

式中,i为分解的尺度．

对Lena图像作三阶多尺度分解后的图像如图1所示．

(a) 一次分解能量图(b) 一次分解细节图(c) 二次分解能量图

(d) 二次分解细节图(e) 三次分解能量图(f) 三次分解细节图

1.2 亮边缘和暗边缘

数学形态学多尺度顺序开关算子能够在能量图像中提取出红外图像和可见光图像的亮边缘bi(f)(x,y),bi(g)(x,y)和暗边缘ai(f)(x,y),ai(g)(x,y),即

bi(f)(x,y)=max(si-1(f)(x,y)-si(f)(x,y), 0)

(5)

bi(g)(x,y)=max(si-1(g)(x,y)-si(g)(x,y), 0)

(6)

ai(f)(x,y)=max(si(f)(x,y)-si-1(f)(x,y), 0)

(7)

ai(g)(x,y)=max(si(g)(x,y)-si-1(g)(x,y), 0)

(8)

三阶Lena图的亮边缘和暗边缘的提取图像如图2所示．

(a) 亮边缘(b) 暗边缘

2 基于MSTO的含噪声多传感器图像融合算法

2.1 算法流程

基于MSTO的含噪声多传感器图像融合算法流程如下：

① 将严格配准过的红外图像和可见光图像进行MSTO多尺度分解,分别得到红外图像和可见光图像的能量分量s(f),s(g)和细节分量d(f)和d(g)．

② 采用改进的Beamlet保边滤波算子对红外图像和可见光图像的细节分量进行滤波,得到滤波后的细节分量dF(f),fF(g)．

③ 采用MSTO计算红外和可见光能量图像的亮边缘b(f)(x,y),b(g)(x,y)和暗边缘图像a(f)(x,y),a(g)(x,y),并采用加权融合方法将亮边缘和暗边缘图像分别进行融合．

④ 采用融合公式的细节融合规则对亮边缘、暗边缘与红外和可见光图像的细节分量进行融合．

⑤ 采用灰度值取大的低频融合规则,对红外和可见光图像的能量分量进行融合．

⑥ 采用MSTO反向变换对融合后的能量分量和细节分量进行反向重构,得到融合结果Fs．

本文算法的流程图如图3所示．

图3 算法流程图

2.2 Beamlet保边滤波算子

红外图像与可见光图像中的边缘、轮廓等细节分量属于高频成分,但是高频噪声也属于高频成分,如何“保边”同时“去噪”是含噪声红外与可见光图像在融合处理中的关键步骤之一．为了解决这个问题,对高频系数的处理采用Beamlet算子对含噪声的高频图像进行滤波保边处理,Beamlet变换对线奇异性很敏感,却对点奇异性的检测效果较差,因此形成Beamlet的保边滤波算子．Beamlet变换方法是图像函数对Beamlet基的积分,设u(x1,x2)为每个二进块上的连续函数,则u(x1,x2)的Beamlet变换定义为如下的线积分:

(9)

2.3 亮边缘和暗边缘的融合

从红外图像的能量图中提取出亮边缘图像,同时从可见光图像的能量图中也提取出亮边缘图像,将2幅亮边缘图像进行融合处理．为了得到红外与可见光图像的突出特征,进行加权融合．若图像中某点的灰度值大,则认为其对应的权值就大,所以采用基于方差的方法得到增强图像Bi(x,y):

Bi(x,y)=wfibi(f)(x,y)+wgibi(g)(x,y)

(10)

式中,红外图像的权值wfi和可见光图像的权值wgi为

(11)

(12)

i级MSTO分解后,得到i个亮边缘图像．为了增强边缘效果,将i级亮边缘图叠加,得到融合增强图像Rb(x,y)为

(13)

对红外图像和可见光图像的暗边缘也进行相应的融合处理,得到处理后的暗边缘信息为Ra(x,y)．

2.4 细节图像融合

细节图像是源图像的高频成分,包含了图像的边缘、轮廓等细节信息,反映为图像突变,属于图像较重要的特征．为了凸显图像的边缘特征,将滤波后的红外与可见光图像的细节图像进行融合,融合后的图像取红外细节图像和可见光细节图像中对应像素点大的灰度值,然后和融合后的亮边缘、暗边缘的绝对值进行叠加处理,这样能够增强图像边缘特征,即

(14)

2.5 能量图像融合

红外与可见光图像的能量图像是源图像中的低频成分,包含了源图像中的大部分能量.为了将源图像中较显著的信息提取到融合图像中,采用对应点的灰度值取大值的融合规则,即

sFu=max{s(f(x,y)),s(g(x,y))}

(15)

2.6 MSTO逆变换

通过上述处理，红外图像和可见光图像的2幅细节图像与2幅能量图像分别融合，得到1幅细节图像和1幅能量图像，将得到的2幅图像进行反向MSTO变换，得到融合后的图像Fs，即

(16)

3 实验结果与分析

为了对算法进行验证,采用经过严格配准过的3组红外与可见光图像进行融合．将本文的方法与离散小波变换(discrete wavelet transform,DWT)、 Contourlet和NSCT方法的结果进行对比．

图4、图5和图6分别为Light,Man和Street三组含噪声红外与可见光图像．其中,图4(a)、 图5(a)和图6(a)为每组图中的可见光图像,看不到一些关键目标,但是场景清晰．图4(b)、 图5(b)和图6(b)为每组图中的为红外图像,关键目标可见,但周围环境可视效果很差．图4(c)～(f)、 图5(c)～(f)和图6(c)～(f)分别为每组图采用4种融合方法的结果.比较后发现:DWT方法的融合清晰度低,部分关键细节丢失,对比度差,存在伪影,部分区域还呈现块效应;Contourlet方法的融合结果在细节的呈现上有一定的效果,但整体上仍然很模糊;NSCT方法的融合效果较好,能够表现出大部分的细节信息,但是在一些微小细节信息的捕捉能力上还有一定的限制;本文方法融合结果中的边缘和轮廓线条清晰,并且还能很好地保留局部细节信息,效果最佳．

(a) 含噪可见光图像(b) 含噪红外图像(c) DWT

(d) Contourlet(e) NSCT(f) MSTO

(a) 含噪可见光图像(b) 含噪红外图像(c) DWT

(d) Contourlet(e) NSCT(f) MSTO

在客观评价上,本文从熵(EN)、互信息(MI)、平均梯度(AvG)、QAB/F四个方面进行比较．熵主要反映融合图像包含的信息量;互信息反映融合图像从源图像获取的信息;平均梯度反映了图像对微小细节反差的表达能力,表明了图像的清晰度;QAB/F值越大,表明融合后的图像边缘信息越丰富．对图4、图5、图6三幅标准图像采用4种方法进行融合,结果见表1、表2和表3．

(a) 含噪可见光图像(b) 含噪红外图像(c) DWT

(d) Contourlet(e) NSCT(f) MSTO

表1 Light图各种融合结果的量化比较

表2 Man图各种融合结果的量化比较

表3 Street图各种融合结果的量化比较

通过对客观指标的计算可知,对于EN指标,MSTO方法的融合结果比Contourlet方法和NSCT方法的信息量少,这是由于加入了强噪声,而本文算法对噪声的抑制能力较强,对于图像在滤除噪声时,信息量也会降低．MSTO方法的融合结果比DWT方法的信息量多,这是由于MSTO在去噪的同时能尽可能多地保持和增强边缘信息,DWT的滤波效果虽然很好,但它把一些关键的细节信息也当作噪声滤除了,所以信息量低．本文方法在MI,AvG和QAB/F三个指标上表现都最好,表明本文方法在信息量提取、微小细节的表达能力和边缘信息的保持方面具有优势．本文方法在时间上不具有优势,而以牺牲一定的运行效率来提升融合质量在特定的场合也是必需的．

综上所述,本文方法充分利用Beamlet保边滤波算子在线检测上的优越性以及抗噪性能,使得现状边缘和细节更加清晰．

4 结论

1) 通过将本文算法与离散小波变换、 Contourlet变换和NSCT算法的实验结果对比分析可知,本文算法在4种算法中的滤波效果最好,在滤波的同时对边缘有增强作用,比其他3种算法能更清晰地提取微小细节和边缘信息．

2) 本文将MSTO方法和Beamlet保边滤波算子相结合,借助Beamlet在图像线特征检测上的优异表现,有效提取图像的边缘信息,从含有较强噪声的图像中分析出目标的线性特征,将Beamlet检测到的边缘信息加入到图像的融合过程中,有效减少噪声对融合图像的干扰,增强了融合的线性细节表达能力,提高了信息量．

)

[1] Ardeshir Goshtasby A, Nikolov S. Image fusion: Advances in the state of the art[J].InformationFusion, 2007,8(2): 114-118. DOI:10.1016/j.inffus.2006.04.001.

[2] Toet A, Hogervorst M A, Nikolov S G, et al. Towards cognitive image fusion[J].InformationFusion, 2010,1(2): 95-113. DOI:10.1016/j.inffus.2009.06.008.

[3] 李光鑫, 徐抒岩, 董吉洪. 结构优化型颜色传递融合方法[J]. 电子学报, 2011, 39(1): 213-218.

Li Guangxin, Xu Shuyan, Dong Jihong. Architecture optimized version color transfer based fusion method[J].ActaElectronicaSinica, 2011,39(1): 213-218.(in Chinese)

[4] 郭峰, 杨静, 史健芳. 基于可控滤波器和空间频率的图像融合算法[J]. 计算机工程与设计, 2016,37(8): 2165-2169. DOI:10.16208/j.issn1000-7024.2016.08.035.

Guo Feng, Yang Jing, Shi Jianfang. Image fusion algorithm based on steerable filters and spatial frequency[J].ComputerEngineeringandDesign, 2016,37(8): 2165-2169. DOI:10.16208/j.issn1000-7024.2016.08.035.(in Chinese)

[5] Mahbubur Rahman S M, Omair Ahmad M, Swamy M N S. Contrast-based fusion of noisy images using discrete wavelet transform[J].IETImageProcessing, 2010,4(5): 374-384. DOI:10.1049/iet-ipr.2009.0163.

[6] Wang Xin, Wang Ying. A new focus measure for fusion of multi-focus noisy images[C]//InternationalConferenceonComputer,Mechatronics,ControlandElectronicEngineering. Changchun, China, 2010:251-254.

[7] Cao J Z, Zhou Z F, Wang H, et al. Multifocus noisy image fusion algorithm using the contourlet transform[C]//2010InternationalConferenceonMultimediaTechnology. Ningbo, China, 2010: 1-4. DOI:10.1109/icmult.2010.5631461.

[8] Bekhtin Y S, Bryantsev A A, Malebo D P. Wavelet-based fusion of noisy multispectral images using Spatial Oriented Trees[C]// 2ndMediterraneanConferenceonEmbeddedComputing. Budva, Montenegro, 2013: 113-116. DOI:10.1109/meco.2013.6601332.

[9] Srivastava R, Singh R, Khare A. Fusion of multifocus noisy images using contourlet transform[C]//2013SixthInternationalConferenceonContemporaryComputing. Noida, India, 2013: 497-502. DOI:10.1109/ic3.2013.6612246.

[10] 王昕, 魏有利, 李高略,等. 多源视频序列噪声抑制融合算法[J]. 中南大学学报(自然科学版),2013,44(S2):391-395.

Wang Xin, Wei Youli, Li Gaolie, et al. Multi-source video sequence fusion algorithm restraining noise[J].JournalofCentralSouthUniversity(ScienceandTechnology), 2013,44(S2): 391-395. (in Chinese)

[11] 沈瑜, 党建武, 王阳萍,等. 一种新的基于多尺度几何分析的图像融合方法[J]. 光电子·激光, 2013, 24(12): 2446-2451.

Shen Yu, Dang Jianwu, Wang Yanping, et al. A novel medical image fusion method based on the multi-scale geometric analysis tool [J].JournalofOptoelectronices·Laser, 2013,24(12): 2446-2451. (in Chinese)

[12] 胡清平, 张晓晖, 刘超. 基于噪声评价的微光红外图像自适应融合方法[J]. 海军工程大学学报, 2017, 29(1):102-106. DOI:10.7495/j.issn.1009-3486.2017.01.020.

Hu Qingping, Zhang Xiaohui, Liu Chao. Adaptive fusion method of low light level and infrared image based on noise analysis[J].JournalofNavalUniversityofEngineering, 2017,29(1): 102-106. DOI:10.7495/j.issn.1009-3486.2017.01.020. (in Chinese)

[13] 严春满, 郭宝龙, 杨秀红. 一种抗噪声的高效多聚焦图像融合算法[J]. 西安电子科技大学学报(自然科学版), 2011, 38(3): 63-68. DOI:10.3969/j.issn.1001-2400.2011.03.011.

Yan Chunman, Guo Baolong, Yang Xiuhong. High efficiency algorithm with antinoise properties for multi-focus image fusion[J].JournalofXidianUniversity(NaturalScience), 2011,38(3): 63-68. DOI:10.3969/j.issn.1001-2400.2011.03.011.(in Chinese)

[14] Bai Xiangzhi, Zhou Fugen, Xue Bindang. Edge preserved image fusion based on multiscale toggle contrast operator[J].ImageandVisionComputing, 2011,29(12): 829-839. DOI: 10.1016/j.imavis.2011.09.003.

[15] Bai Xiangzhi. Morphological infrared image enhancement based on multi-scale sequential toggle operator using opening and closing as primitives[J].InfraredPhysics&Technology, 2015,68:143-151. DOI: 10.1016/j.infrared.2014.11.015.

Fusionalgorithmwithmulti-sensornoisyimagebasedonMSTO

Shen Yu Dang Jianwu Wang Yangping Wang Xiaopeng Guo Rui

(School of Electronic and Information Engineering, Lanzhou Jiaotong University, Lanzhou 730070, China)

In the multi-sensor noisy image fusion, it was easy to obtain the fused images with loss of image edges and low image contrast based on the general filter methods. A novel fusion algorithm with noisy infrared and visible light images was proposed based on a multi-scale sequential toggle operator (MSTO) and an improved bilateral filter method. First, the energy component and the detail component were obtained by MSTO multi-scale decomposition. The detail component was processed by Beamlet operator to filter noises while keeping edge information on the images. Then, the bright edge image and dark edge image with the energy image were calculated by MSTO, and added to the detail component to enhance edges. The maximum rule was used in the energy component fusion. MSTO inverse transform was used to decompose the fused detail component and the energy component. The experimental results show that method filters the noise, and extracts and enhances the contour and the edge details. The image fusion algorithm is effective in the multi-sensor noisy image fusion.

multi-scale sequential toggle operator; Beamlet operator; fusion; multi-sensor image

10.3969/j.issn.1001-0505.2017.06.004

TP391

A

1001-0505(2017)06-1101-06

2017-06-10.

沈瑜(1982—)，女，博士生，副教授；党建武(联系人)，男，教授，博士生导师，dangjw@mail.lzjtu.cn.

国家自然科学基金资助项目(61562057, 61761027，51541902, 51669010, 61202314)、甘肃省自然科学基金资助项目(17JR5RA101)、长江学者和创新团队发展计划资助项目(IRT_16R36)、甘肃省“十三五”教育科学规划课题资助项目(GS[2016]GHB0217)、兰州交通大学教学改革资助项目(101004 JGY201615).

沈瑜，党建武，王阳萍，等.基于MSTO的含噪声多传感器图像融合算法[J].东南大学学报(自然科学版),2017,47(6):1101-1106.

10.3969/j.issn.1001-0505.2017.06.004.