基于支持度变换的红外与可见光图像融合算法

张 雷，罗长更，张颖颖，李根全，杨兴强，王肖霞

(1.南阳师范学院物理与电子工程学院，南阳473061;2.中北大学信息与工程学院，太原030051)

引 言

随着传感器技术的发展，最近20年来，图像处理和多传感器数据处理技术成为人们研究的热点［1］，单一的光学传感器不可能完全反映图像特征，采用不同的传感器可以有效地解决这一问题，图像融合技术在充分分析不同传感器图像特性的基础上，结合不同传感器图像的优势特性，形成对场景和目标更全面、更可靠、更精确的描述［2］，在早期图像融合研究的基础上，20世纪80年代中期，BURT和ADELSON采用拉普拉斯金字塔实现了多重图像镶嵌［3］，TOET构造出对比度金字塔，并实现了红外图像与可见光图像融合［4］，1989年MALLAT提出快速离散小波变换［5］，此后小波变换在图像融合中得到了广泛应用，STEINNOCHER采用小波变换对卫星遥感图像进行了融合［6］，2002年DO 和 VETTERLI提出了 Contourlet变换［7］，这些多分辨率分析方法都取得了较好融合效果，由于可见光图像和红外图像融合可以更全面地反映场景特征，成为各国的研究热点，在军事、医学、航空等领域得到广泛的应用。

图像融合主要分为像素级融合、特征级融合和决策级融合，目前大多数融合算法都属于像素级融合，主要有金字塔算法［8］、小波变换算法［9］、Contourlet变换［7］等算法，这些多分辨率分析算法可以有效提取图像的有效信息。小波变换具有良好的空域和频域特性，但是存在平移敏感性和方向有限缺陷［10］。Contourlet变换是一种灵活的多尺度、局域的、方向性的分析方法，可以很好地捕捉图像的几何结构，但是轮廓波变换基函数光滑度不理想，存在频谱混淆现象［11］。2007年ZHENG等人提出了支持度变换的多分辨率分析方法［12］，该算法首次采对多聚焦图像以及遥感图像进行支持度变换，融合结果在互信息量、加权融合质量上都取得了较好的效果，支持度变换不仅可以很好地表征图像的细节信息，非下采样，具有平移不变的特性，不会产生振铃效应和虚假信息，可以克服金字塔算法和小波算法的缺点，同时算法相对简单，运算速度快［13］，是一种很好的多尺度分析工具。

［13］和参考文献［14］中利用支持度变换对双色中波红外图像进行融合，在可见光和红外图像融合中还很少应用，首先利用支持度滤波器对图像进行多尺度分解，分解后的图像分为支持度图像和近似图像，支持度图像包含图像的细节信息，近似图像包含了图像的低频信息。目前支持度算法对近似图像带图像融合规则主要是算数平均或简单的加权平均(见参考文献［13］～参考文献［15］)，算法虽然简单，但是造成图像的对比度的下降，使图像的边缘变得模糊［16］，因此作者根据支持度变换以及红外和可见光图像的特点，采用局部能量比例调制的方法对近似图像进行融合，利用局部方差比例加权对支持度图像进行融合。

1 支持度变换基本原理

支持度变换是根据最小二乘支持向量机(least square support vector machine，LS-SVM)的基础上提出的一种新的图像多尺度变换方法。以高斯径向核函数作为核函数，滤波器大小为5×5。对滤波器填充0可以构造出一系列多尺度支持度滤波器［7］。图像的支持度变换步骤如下。

给定的图像 I，其支持度值序列{S1，S2，…，SN}通过图像多分辨率分解得到，其式为:

式中，Bi为支持度滤波器，*为卷积符号。

第i+1层低频图像通过Ii与Si的差值得到，如下式所示:

图像重建如下式所示:

式中，N为最终分解层数。

2 融合算法

(1)对红外图像Ii和可见光图像Iv进行支持度变换，得到低频子带图像 Ii，l和 Iv，l，高频子带图像 Ii，h，n和Iv，h，n(n=1，…，N)。

(2)分解后低频系数占据了变换后图像的绝大部分能量，反映源图像的近似特征，因此低频子带图像采用局部能量进行融合，算数平均与简单加权方法会造成场景的对比度降低，采用局部能量最大会造成图像中可见光图像信息量下降，如果单纯地采用局部能量比的方法，会造成场景对比度下降较大［17］，余弦函数在区间［0，π/2］上为减函数，可以平衡加权系数，因此本文中采用局部能量比例调制加权的方法对低频子带图像进行融合，保持融合图像的对比度和清晰度。其过程如下。

计算低频子带图像局部能量，如下式所示:

式中，下标m取i或v，表示红外图像和可见光图像，ω(i，j)为局部能量加权窗口，本文中采用3×3窗口。

局部能量比计算如下式所示:

式中，α(i，j)为(i，j)处局部能量比。

融合公式为:

式中，Hl(i，j)为融合后的低频子带图像。

(3)高频子带图像包含图像的细节信息，局部方差反映了灰度值的离散程度，图像信息量越大，细节越丰富，图像的方差就越大，高频系数采用局部方差比例加权的方法进行融合。

式中，σi，n为红外图像高频子带图像方差，σv，n为可见光图像高频子带图像方差。

式中，β(i，j)为局部方差比，Hh，n(n=1，…，N)为融合后的高频子带图像。

基于支持度变换融合算法流程图见图1。

Fig.1 Process of support value transform

3 实验结果

为了验证本文中算法的有效性，采用小波算法、Contourlet变换算法和参考文献［13］～参考文献［15］中的加权平均支持度算法与本文中算法对可见光图像和红外图像进行融合。图2a、图3a为不同的可见光图像，图2b、图3b为不同的红外图像，图4a、图5a为小波算法融合图像，图4b、图5b为Contourlet变换算法融合图像，图4c、图5c为参考文献［13］～参考文献［15］中的加权平均支持度算法，图4d、图5d为本文中算法融合图像。图中UN为联合国(the united nations)简称。

Fig.2 a—UN camp visible image b—UN camp infrared image

Fig.3 a—visible image b— infrared image

Fig.4 a—UN camp image wavelet transform b—UN camp image contourlet transform c—UN camp image weighted mean support value transform fusion algorithm in reference［13］～ refe-rence［15］d—UN camp image fusion algorithm of this paper

Fig.5 a—wavelet transform b—contourlet transform c—weighted mean support value transform fusion algorithm in reference［13］～reference［15］ d—fusion algorithm of this paper

域特性，算法具有较好的稳定性和融合效果，但是同其它算法相比在灰度值动态范围以及细节信息和信息量上都较差;Contourlet变换算法采用方向滤波器组对图像进行多分辨率分析，效果较小波算法好，但是融合图像有伪轮廓;参考文献［13］～参考文献［15］中的支持度变换算法具有平移不变性，同时克服了伪轮廓，但是融合规则上采用加权平均融合算法容易造成图像对比度下降、细节缺失;本文中算法采用局部能量比例调制加权融合规则。克服了上述算法的缺点，在结果上优于其它算法。为了更好地对图像做出评价，采用主观和客观两方面对图像进行进一步评价。

从图像主观评价来看，视觉效果上参考文献［13］～参考文献［15］中的支持度算法虽然优于Contourlet变换算法，但是场景对比度相对较低;Contourlet变换算法优于小波算法，但图像出现明显的伪轮廓;本文中算法融合图像中树木、草丛、栅栏、房屋等背景图像较其它算法清晰，更符合人的视觉特性，细节信息更丰富，清晰度、场景对比度更高，视觉效果更好，目标也较为清晰，同时克服了Contourlet变换算法伪轮廓的缺点，整体效果优于其它3种算法。

主观评价上述几种算法具有简单、快捷的特点，但是主观性强、不易量化［18］。为了克服主观评价的缺点，选取一些客观量作为评价指标，目前常用的客观评价指标主要有:信息熵E、标准差σ、平均梯度▽¯G等［19］。本文中采用用标准差、平均梯度、熵对图像进行评价，标准差反应了图像灰度级的离散程度，平均梯度反应图像的清晰程度，熵反应图像的信息量［20］，公式如下:

式中，σ为图像的标准差，E为图像的熵，▽¯G为平均梯度，f(i，j)为输入图像，u为图像的平均灰度值，M和Q为图像行列值，P(l)为图像灰度级概率。

从表1(图4～图5评价指标)中的客观指标来看，本文中算法的标准差、平均梯度和熵都最大，说明本文中算法的融合图像灰度值的动态范围、清晰度和信息量都较其它算法好，具有比较好的客观效果。

Table 1 Image evaluation index

4 结论

针对支持度变换具有平移不变，不会产生振铃效应和虚假信息，算法简单等特点，本文中提出了局部能量比例调制的可见光和红外图像融合算法，该算法在低频系数上采用局部能量比例调制加权的方法进行融合，避免了算术平均、简单加权和单纯局部能量比算法对比度下降的问题，高频系数采用局部方差比例加权的方法，通过与小波算法、Contourlet变换算法和参考文献［13］～参考文献［15］中的支持度算法相比，融合图像背景细节丰富、信息量大、清晰度高、目标清晰、视觉效果好、算法过程简单，达到了融合的目的。

参考文献

［1］ UKIMURA O.Image fusion［M］.Rijeka，Croatia:InTech，2011:1-438.

内容是这样的，班主任：20日不用补课了，开学直接来上课。一个同学家长问：老师，是真的吗？班主任说：当然是真的，让你们开开心心地玩几天。

［2］ GUO M，WANG Sh M.Image fusion based on region and directional variance weighted entropy［J］.Systems Engineering and Electronics，2013，35(4):721-724(in Chinese).

［3］ BURT P J，ADELSON E H.Merging image through pattern decomposition［J］.Proceedings of the SPIE，1985，575:173-182.

［4］ TOET A，LODEWIK J，RUYVEN V，et al.Merging thermal and visual image by a contrast pyramid［J］.Optical Engineering，1992，28(7):789-792.

［5］ MALLAT S A.Theory for multi-resolution signal decomposition:the wavelet representation［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1989，11(7):674-693.

［6］ STEINNOCHER K.Application of adaptive filters for multisensoral image fusion［J］.Geoscienceand Remote Sensing，1997，3(8):910-912.

［7］ DO M N，VETTERLI M.Contourlets:a new directional multiresolution image representation［C］//Signals，Systemsand Computers，Conference Record of the Thirty-Sixth Asilomar Conference，Image Processing.New York，USA:IEEE，2002:497-501.

［8］ BURT P J.The pyramid as structure for efficient computation［J］.Multire Solution Image Processing and Analysis，1984，12(3):6-35.

［9］ GAO Y，WANG A M，WANG F H，et al.Application of improved wavelet transform algorithm in image fusion［J］.Laser Technology，2013，37(5):690-695(in Chinese).

［10］ YU W J，GU G H，YANG W.Fusion algorithm of infrared polarization images based on wavelet transform［J］.Laser Technology，2013，37(3):289-292(in Chinese).

［11］ YANG Y T，ZHU M，HE B G，et al.Fusion algorithm based on improved Projected gradient NMF and NSCT［J］.Optics and Precision Engineering，2011，19(5):1144-1150(in Chinese).

［12］ ZHENG Sh，SHI W Zh，LIU J，et al.Multisource image fusion method using support value transform［J］.IEEE Transactions on Inage Processing，2007，16(7):1831-1839.

［13］ YANG F B，LIN S Zh，LENG M.Fusion of dual color MWIR image based on segmentation and support value transform［J］.Journal of Infrared and Millimeter Wave，2010，29(5):363-366(in Chinese).

［14］ LIN S Zh，YANG F B，JI L N，et al.Fusion of dual color MWIR image with weak signal based on suprathreshold stochastic resonance［J］.Journal of infrared and Millimeter Wave，2011，30(6):547-550(in Chinese).

［15］ LI W W，YANG F B，LIN S Zh.Second fusion method of infrared polarization image［J］.Journal of Applied Optics，2012，33(3):516-520(in Chinese).

［16］ LI Y F，FENG X Y，FAN Y，et al.A fast multi-sensor image mutual fusion algorithm［J］.Opto-Electronic Eegineering，2011，38(8):117-123(in Chinese).

［17］ GUO M，FU Zh，XI X L.Novel fusion algorithm for infrared and visible images based on local energy in NSCT domain［J］.Infrared and Laser Engineering，2012，41(8):2230-2235(in Chinese).

［18］ LI Sh Sh，WANG Q，FENG X L.A novel quality based on luminance and contrast model for image fusion［J］.Laser＆ Optoelectronics Progress，2011(6):1-6(in Chinese).

［19］ LUO X Q，WU X J.An evaluation method of image fusion based on region similarity［J］.Acta Electronica Sinica，2010，38(5):1152-1155(in Chinese).

［20］ WANG X W，WANG Sh L.Novel method image fusion［J］.Laser＆Infrared，2012，42(9):1055-1057(in Chinese).