真彩色传递双波段图像融合

许廷发，李俊涛，张一舟，申子宜，郭巳秋

(北京理工大学光电学院光电成像技术与系统教育部重点实验室，北京100081)

1 引言

由于单一图像传感器具有信噪比低，图像缺乏深度感，工作环境、条件有限等缺点，目前世界上许多国家都在积极发展图像融合技术。综合红外与微光或红外与可见光图像，可以充分发掘、利用二者的图像特征信息，便于后续的图像理解［1-4］，如微光、红外图像融合能够提高战场伪装目标识别率，将融合技术应用到目标跟踪上，能提高跟踪系统的性能。在视频监控领域，融合技术能实现特殊环境(如雾霾、低照度、雨雪天气)下全天候监控。医学图像融合则有利于及时、准确地发现病变部位。农业上，遥感图像融合有利于农作物病虫害、旱涝灾害的预警［5］。图像融合还广泛应用于电力故障诊断、石油化工、钢铁、科学研究、消防、建筑检测等诸多领域。

彩色融合可分为伪彩色融合和基于颜色传递的真彩色融合。伪彩融合方法包括直接映射和基于生物视觉特性的融合方法。直接映射法由于没有考虑人眼的视觉特性，获得的融合图像色彩不自然，容易造成观察者视觉疲劳。基于生物视觉的彩色图像融合考虑了人类的视觉特性，获得的融合图像具有适合人眼观察的自然色彩，美国MIT实验室的Waxman利用对抗受域理论提出了微光和红外图像对抗融合［6］，但方法比较复杂，不易于硬件实现。荷兰人力因素所(TNO)的A.Toet等提出了类似于生物彩色对抗机理的以源图像共有成分和特有成分分析为基础的彩色映射方法［7］，其优点是运算速度快，便于硬件实现，但获得的融合图像色彩过于鲜明。文献［8］中A.Toet利用美国犹他大学的Reinhard提出的颜色传递理论实现了彩色图像融合，获得的图像具有近自然感彩色效果，但需要RGB空间lαβ空间相互转换，运算量大，不利于硬件实现。受Reinhard颜色传递技术及A.Toet方法的启示，国内李光鑫等提出了快速YCBCR空间变换融合原理及LCT(亮度-对比度)传递技术［9］，获得的彩色融合图像具有较高的亮度、对比度且计算简单，但只适用于红外与彩色可见光图像融合。文献［10］提出基于非下采样Contourlet变换的红外、可见光图像融合方法，图像经非下采样Contourlet变换后能量更加集中，可提供更多的图像信息。但Contourlet变换分解、重构图像过程复杂，不利于硬件实现。文献［11］综合对比了平均(PA)法、选大(SM)法、主成分分析(PCA)法、高通滤波法、拉普拉斯金字塔法及小波变换等融合算法的融合效果，指出基于塔形分解和小波变换的方法从图像特征层考虑图像融合，将图像分解到不同频带，对不同频带代表的图像特征按照设计的融合规则以有效融合图像的特征信息，获得的融合图像保留了源图像更多的细节。其它主流融合算法还有基于离散余弦变换(DCT)、曲波变换(Curvelet)及自适应脉冲耦合神经网络(PCNN)的图像融合算法［12-14］，但大都计算复杂，很难硬件实现。

本文在研究了彩色图像融合结构和色彩传递算法的基础上，结合塔形分解融合算法从特征层考虑图像融合且计算简单及对不同场景适应性强的优点，提出了改进的基于拉普拉斯金字塔分解及对比度可调的色彩传递图像融合算法，该算法能尽可能保留源图像的信息，适当调节一些参数即可获得一幅高对比度的彩色融合图像。

2 改进的双波段图像彩色融合方法

2.1 双波段(可见、中波红外)图像彩色融合结构

彩色图像融合算法从颜色空间上划分主要有基于RGB、HSV空间及YUV空间3种，从融合结构的组合方式上分为直接映射组合、线性组合和非线性组合三类［15］，考虑到显示器件的特性，工程中一般采用YUV空间和RGB空间线性组合式融合结构，如下式所示:

式中:Vis表示一幅可见光图像，IR表示同尺寸的红外图像，m1，m2，…m6为正的有理数。RGB空间线性组合与式(1)相似，线性组合法的优点是运算简单，便于硬件实现，能获得一定的融合效果，但6个参数的选取具有实验随机性，简单的加权容易导致图像特征和细节信息丢失，获得的融合图像往往对比度较低，边缘细节下降。A.Toet指出，用一幅高质量的灰度融合图像代替亮度分量可以尽可能多地保留源图像的信息。本文对式(1)进行改进，提出基于拉普拉斯图像金字塔的YUV空间非线性融合系统，融合结构如下:

其中:FLA表示用拉普拉斯图像金字塔法获得的灰度融合图像，Vis表示可见光图像，IR表示同尺寸的红外图像。金字塔分解法将图像分解到不同的空间频带，采用不同的融合规则可以突出特定频带上的特征与细节，用拉普拉斯图像金字塔法获得的灰度融合图像较其它方法相比细节信息失真较少。因此将FLA映射为亮度通道YS可以使融合图像保留更多的细节信息。式中CB，S，CR，S分别表示蓝色、红色与亮度的差异信号，将可见光图像与红外图像相减获得的差异图像映射到CB，S通道以突出二者的差异，将红外图像直接映射到CR，S通道可以突出红外目标，得到的彩色融合图像较为符合人眼的视觉特性。

2.2 拉普拉斯图像金字塔图像融合原理［16］

(1)原始图像拉普拉斯金字塔分解

图像的拉普拉斯金字塔构成由高斯金字塔演变而来，首先对图像进行高斯金字塔分解，设原始图像为G0，则高斯金字塔底层为G0，第L层高斯金字塔图像GL的获得是由高斯核函数(5×5或者3×3权值窗口)对低层图像进行卷积运算，并对卷积运算之后的图像隔行隔列采样实现，如式(3)所示。

式中，w(m，n)为二维可分离高斯核，核模版尺寸为3×3或者5×5，N表示高斯金字塔分解层数，RL和CL分别表示高斯金字塔第L层的行数和列数。

拉普拉斯金字塔的顶层LN为GN，第L层是通过将高斯金字塔GL+1内插放大得到EL，然后用GL减去EL获得，如式(4)所示。

(2)按融合规则对各分解层融合

实验中分别对红外图像和可见光图像做三层拉普拉斯分解，然后对各层按照一定的融合规则进行融合。传统的融合规则主要有基于对应像素点及基于区域像素的两大类，基于像素点的有像素选大、选小或者简单加权平均融合等。基于区域的融合规则是选定以像素点为中心的3×3窗口内的像素，按融合规则进行关系计算。针对拉普拉斯金字塔图像各个分解层一般选用基于区域能量、区域梯度、区域熵等融合准则。本文对源图像进行三层拉普拉斯金字塔分解，对顶层采用基于像素的加权平均，对其它层采用区域能量的融合准则。顶层图像融合结果为:

式中，GAN代表可见光图像拉普拉斯顶层图像，GBN代表红外图像拉普拉斯顶层图像。对其它层定义3×3窗口W内的能量分别为:

定义能量匹配度为:(3)由拉普拉斯金字塔算法重建原图像

按照步骤(2)中的公式从拉普拉斯金字塔顶层图像LFN开始，由上到下逐层递推得到相应的高斯金字塔，GF0即为重构后的融合图像，递推公式如下:

式中，EFL由GL+1内插放大获得。

2.3 改进的色彩传递算法

选定一幅参考图像，在YUV空间进行颜色统计量(即各个通道的均值、方差)计算，将参考图像的颜色统计量传递给源融合图像的各个通道即可获得具有近自然感的彩色融合图像，颜色传递公式如下［17］:

改进之后的颜色传递公式如下:

式中:a，b，mC，mB，C，mR，C表示正的有理数，其它参数同式(11)。色彩传递是把参考图像的统计特征均值和方差传递给融合图像，在YC、CR，C分量公式中加入调节系数a，b可以适当调节融合图像亮度分量的对比度并突出热目标，调节mC，mB，C，mR，C的值可以改变融合图像的整体亮度。对比图3～图5可以看出改进后的融合图像(图5)色彩鲜明，对比度高，热目标飞机比较突出。

2.4 硬件实现策略

本文的方法计算量集中在拉普拉斯金字塔灰度融合图像的生成及色彩传递算法的实现。文献［15］中，A.Toet用颜色查找表法实现了 RGB空间的快速色彩传递算法，文献［18］中，裴闯等人设计了YUV空间中利用颜色查找表实现色彩传递的快速算法。本文采用颜色表法实现快速的色彩传递算法。具体过程为:

(1)首先根据式(2)得到伪彩色融合图像，建立标准颜色查找表。

(2)选择合适的参考图像，根据式(12)对标准颜色查找表进行修正，获得校正后的色彩传递颜色查找表。

(3)校正后的颜色查找表包含了大部分可能出现的颜色信息，利用可见光图像和红外图像的亮度信号索引颜色表，将对应处的色彩值赋给融合图像，遍历整幅图像获得最终彩色融合图像。

颜色表生成之后，色彩传递算法几乎不需要任何计算，因此硬件实现过程中比较耗时的部分是拉普拉斯金字塔灰度融合图像的生成，对其中涉及到的除法运算做乘法处理，浮点数做整数化处理，将比较耗时的二维高斯卷积运算分解成两个一维卷积运算，则拉普拉斯金字塔灰度融合图像的生成最终可化简为简单的乘加运算，配合现代数字信号处理器DSP的高速处理能力及后续的优化手段，本文提出的算法便于硬件实现。

3 实验仿真结果及融合质量评价

3.1 仿真结果与分析

对已配准好的可见光图像和中波红外图像进行融合仿真实验，图像尺寸为595×328，给出了不同场景下的融合效果，实验证明经过彩色传递后的融合图像保持了可见光图像的特征，又含有红外特征信息同时又具有与特定场景相一致的颜色信息。同时本文对比了不同算法获得的灰度融合图像映射为融合结构亮度分量及改变颜色传递公式后的彩色融合效果。图1是可见光图像和中波红外图像，图2～图5是在给定参考图像A、B、C下不同融合算法的彩色融合图像。

图1 可见光图像和红外图像Fig.1 Visible image and midwave infrared image

图2 灰度融合图像Fig.2 Gray scale fusion image

图3 参考图像Fig.3 Reference image

图4 加权平均法彩色融合图像(色彩传递公式中a=b=1，mC=mB，C=mR，C=0)Fig.4 Color fusion image based on method of weighted average(color transfer formula a=b=1，mC=mB，C=mR，C=0)

图5 区域能量法彩色融合图像(色彩传递公式中a=b=1，mC=mB，C=mR，C=0)Fig.5 Color image fusion based on region energy(color transfer formula a=b=1，mC=mB，C=mR，C=0)

图6 本文算法彩色融合图像(色彩传递公式中 a=1，b=1.5，mC=mB，C=mR，C=20)Fig.6 Color image fusion based on the method presented in this paper(color transfer formula a=1，b=1.5，mC=mB，C=mR，C=20)

仿真结果表明融合图像均具有与参考图像一致的色彩信息，其中加权平均法获得的融合图像细节、边缘下降严重，图像局部模糊，整体层次感不强;基于区域能量的融合虽然考虑了邻域像素间的相关性，提高了融合的像素误匹配率，但实际融合效果不好，边缘、细节丢失严重。这两种算法在进行融合时只从像素层面考虑，没有兼顾到图像的特征层信息，而基于区域梯度的融合考虑了图像的特征层信息，但没有兼顾到图像的灰度信息，容易导致灰度不连续现象;图5表明本文算法获得的融合图像层次感较强，边缘突出，图像对比度高，这是因为金字塔法将图像分解到不同的频带上，顶层采用加权平均法融合保留了图像的灰度信息，其它层(边缘信息明显)采用基于区域的融合方法有效融合了图像的边缘信息，另外从图中可以看出调整颜色传递公式中参数a，b的值后图像对比度明显增强。

3.2 融合图像客观评价

采用灰度融合图像的均值、方差、熵、平均梯度、空间频率等指标对融合图像进行评价。均值反映了图像的平均亮度信息，方差反映了图像的对比度和清晰度，方差越大则对比度越高，清晰度越高［20］。熵反映了图像的信息量，熵越大图像代表的信息量越大。平均梯度反映了图像清晰程度及微小细节反差和纹理变换特征。空间频率反映了图像的全面活跃水平，其值越大图像越清晰［21］。表1给出了不同灰度融合算法下的各个指标值。

表1 灰度融合图像效果评价Tab.1 Gray level fusion image evaluation

从表1中可以看出，融合之后的图像评价参数高于红外图像而低于可见光图像，基于区域能量的融合虽然空间频率高于可见光图像，但平均梯度较低，图像清晰度不高，这从图1～图4中可以明显看出来，调节式(12)中的比例系数a、b使得本文方法获得的融合图像方差较大，基于本文方法获得的融合图像层次感强、清晰度高，这与主观分析相一致。

4 结论

针对YUV空间中双波段(可见光、中波红外)图像彩色融合算法获得的融合图像对比度低、细节边缘不够突出等特点，对YUV空间常用线性组合方式进行改进，提出了基于拉普拉斯金字塔分解及对比度可调的色彩传递图像融合算法，将双波段图像进行拉普拉斯金字塔分解，对各分解层按照设计的规则进行有效融合，以融合重构后的图像作为融合结构的亮度分量Y，以可见光与红外图像的差异信号作为色差分量U，以红外源图像作为色差信号V，实验表明本文方法获得的彩色融合图像具有丰富的细节、边缘信息，图像层次感明显增强。同时为了提高彩色融合图像的对比度，对色彩传递公式进行修正，修正后的色彩传递提高了彩色融合图像的对比度。对融合图像进行了客观评价，数据表明采用本文方法的融合图像均值、方差分布适中，熵、平均梯度均优于文中提到的其它方法。

［1］ 陈浩，王延杰.基于小波变换的图像融合技术研究［J］.微电子学与计算机，2010，27(5):39-41.

CHEN H，WANG Y J.Study for image fusion based on wavelet transform［J］.Microelectronics Computer，2010，27(5):39-41.(in Chinese)

［2］ 傅瑶，孙雪晨，薛旭成，等.基于非下采样轮廓波变换的全色图像与多光谱图像融合方法研究［J］.液晶与显示，2013，28(3):429-434.

FU Y，SUN X CH，XUE X CH，et al..Panchromatic and multispectral image fusion method based on nonsubsampled contourlet transform［J］.Chinese J.Liquid Crystals and Displays，2013，28(3):429-434.(in Chinese)

［3］ 王安宙，张智杰，余徽，等.基于亮度对比度传递的红外与可见光图像融合方法研究［J］.光学与光电技术，2013，11(6):7-10.

WANG A ZH，ZHANG ZH J，YU H，et al..Research on the image fusion algorithm based on brightness-contrast transfer［J］.Optics Optoelectronic Technology，2013，11(6):7-10.(in Chinese)

［4］

ZHAO F X，TAO ZH X.Fusion algorithm of infrared and visible images based on wavelet packet transform［J］.Optics Optoelectronic Technology，2013，11(6):11-14.(in Chinese)

［5］ OZDARICI A，AKYUREK Z.Evaluation of image fusion methods on agricultural lands［J］.J.Earth Science and Engineering，2011，1:107-113.

［6］ 倪国强，肖蔓君，秦庆旺.近自然彩色图像融合算法及其实时处理系统的发展［J］.光学学报，2007，27(12):2101-2109.

NI G Q，XIAO M J，QIN Q W.Development of near nature color image fusion algorithms and real-time image fusion system［J］.Acta Optica Sinica，2007，27(12):2101-2109.(in Chinese)

［7］ TOET A，WALRAVEN J.New false color mapping for imaging fusion［J］.Opt.Engng，1996，35(3):650-658.

［8］ MAARTEN A.Hogervorst and Alexander Toet.Method for applying daytime colors to nighttime imagery in realtime［J］.SPIE，2008，6974:697403.

［9］ 李光鑫，吴伟平，胡君.红外和彩色可见光图像亮度-对比度传递融合算法［J］.中国光学，2011，4(2):161-168.

LI G X，WU W P，HU J.Luminance-contrast transfer based fusion algorithm for infrared and color visible images［J］.Chinese Optics，2011，4(2):161-168.(in Chinese)

［10］ 陈小林，王延杰.非下采样变换的红外与可见光图像融合［J］.中国光学，2011，4(5):489-496.

CHEN X L，WANG Y J.Infrared and visible image fusion based on nonsubsampled Contourlet transform［J］.Chinese Optics，2011，4(5):489-496.(in Chinese)

［11］ BURT P J，ADELSON E H.The Laplacian pyramid as a compact image code［J］.IEEE，1983，COM-31(4):532-540.

［12］ 楚恒，朱维乐.基于DCT变换的图像融合方法研究［J］.光学 精密工程，2006，14(2):266-273.

CHU H，ZHU W L.Image fusion algorithms using discrete cosine transform［J］.Opt.Precision Eng.，2006，14(2):266-273.(in Chinese)

［13］ 宋江山，徐建国，司书春.改进的曲波变换图像融合方法［J］.中国光学与应用光学，2009，2(2):145-149.

SONG J SH，XU J G，SI SH CH.Improved image fusion method based on curvelet transform［J］.Chinese J.Opt.Appl.Optics，2009，2(2):145-149.(in Chinese)

［14］ 武治国，王延杰，李桂菊.应用小波变换的自适应脉冲耦合神经网络在图像融合中的应用［J］.光学 精密工程，2010，18(3):708-715.

WU ZH G，WANG Y J，LI G J.Application of adaptive PCNN based on wavelet transform to image fusion［J］.Opt.Precision Eng.，2010，18(3):708-715.(in Chinese)

［15］ 金伟其，王岭雪.夜视图像的彩色融合技术及其进展［J］.红外技术，2003，25(1):6-12.

JIN W Q，WANG L X.Color fusion technology for night vision imaging and its progress［J］.Infrared Technology，2003，25(1):6-12.(in Chinese)

［16］ SAHU D K，PARSAI M P.Different image fusion techniques a critical review［J］.2012，2(5):4298-4301.

［17］ 李光鑫，徐抒岩.适于图像融合的快速颜色传递方法［J］.光学 精密工程，2009，17(9):2301-2310.

LI G X，XU SH Y.Fast color transfer method for image fusion［J］.Opt.Precision Eng.，2009，17(9):2301-2310.(in Chinese)

［18］ HOGERVORST M A，TOET A.Fast natural color mapping for night-time imagery［J］.Information Fusion，2010，11:69-77.

［19］ 裴闯，蒋晓瑜，等.自然彩色化双通道实时图像融合系统［J］.光学 精密工程，2013，21(5):1333-1339.

PEI CH，JIANG X Y.Dual-channel real-time image fusion system with nature color［J］.Opt.Precision Eng.，2013，21(5):1333-1339.(in Chinese)

［20］ DESHMUKH M，BHOSALE U.Image fusion and image quality assessment of fused images［J］.International J.Image Processing(JIP)，2010，4(5):484-508.

［21］ 张小凤.可见光和红外图像融合质量评价研究［D］.武汉:华中科技大学，2005.

ZHAO X F.Quality evaluation research of visible and infrared image fusion［D］.Wuhan:Huazhong University of Science and Technology，2005.(in Chinese)