弱环境辐射下中短波双波段红外图像融合方法

张润琦，杨 波，夏丽昆，赵灿兵，苏俊波

弱环境辐射下中短波双波段红外图像融合方法

张润琦1，杨 波1，夏丽昆2，赵灿兵1，苏俊波1

（1. 昆明物理研究所，云南 昆明 650223；2. 陆军装备部驻重庆地区军事代表局驻昆明地区第一军事代表室，云南 昆明 650032）

本文介绍了一种用于弱环境辐射下红外中、短波双波段的红外图像融合方法。该方法先采用单尺度Retinex（Single Scale Retinex，SSR）方法处理短波图像，分别对处理后的短波图像和中波图像采用均值滤波和双边滤波得到细节层和背景层，再利用基于Spectral Residual（SR）显著性和引导滤波的权重映射，对短波图像和中波图像的细节层和背景层进行加权融合，得到融合图像。经过实验仿真，并与基于小波、拉普拉斯金字塔的多种算法做了比较，该方法在各场景下的主观与客观评价均表现良好。

中短波红外，图像融合，双波段，弱环境辐射，引导滤波

0 引言

随着科技的不断发展，各国对红外探测成像技术的要求也越来越高。由于传统单波段红外成像技术难以解决复杂背景下真伪目标识别等难题，双波段及多波段红外技术成了未来的发展方向。其中融合算法是多波段成像技术中极为重要的一部分，在这一领域，国内外学者已进行了大量的研究工作，包括像素级、特征级及决策级融合算法。像素级融合主要方法有基于金字塔变变换、小波变换和神经网络方法等，特征级融合算法包括基于聚类分析、信息熵的方法等，决策级融合算法包括基于神经网络、贝叶斯估计等的方法[1]。

这些方法有效但需要针对应用场景加以改进，在制定融合策略时需要根据波段特性进行设计。相对于中长波红外融合领域，中短波融合研究较少，且短波红外与中、长波有很大的成像效果差异。短波红外的波长范围为0.75～3mm，其主要利用环境中的辐射成像，而自然环境中的辐射源主要为太阳辐射及反射，成像效果类似于可见光图像，拥有更多的纹理细节，但对比度在环境辐射弱的时候较低。中波红外的波长范围为3～5mm，其主要靠物体自身辐射成像，在湿热环境下探测能力更强，热目标更明显[2]。图1展示了中短波双波段探测器在下午3:00采集到的一组图片，此时自然环境中辐射较强，可以看出短波图像拥有更多的纹理细节，图片内包含的更多是太阳辐射反射带来的信息，效果和可见光类似。中波图像缺少纹理信息，但对热目标更敏感。图2展示了同一台红外探测器在傍晚7:30采集到的图像，此时自然环境中辐射非常弱，短波图像细节信息较白天弱了很多，对比度也降低了很多，而中波图像目标和背景轮廓更鲜明。针对以上中短波特性，本文提出了一种针对弱背景辐射条件下的中短波双波段融合算法。

1 算法分析

根据人眼成像特点，Edwin Land通过研究其逆过程，提出了Retinex理论，并成功用于图像增强、去雾等多个领域[3]。对比传统直方图均衡的方法，基于Retinex理论的方法克服了原始图像多个灰度级在处理过程中合成一个灰度造成细节丢失的问题。Retinex模型中，将图像分解为亮度图像和反射图像，通过改变亮度图像和反射图像之间的比例来达到图像增强的目的[4]。基于Retinex理论的增强算法已在可见光图像增强领域中广泛使用，短波图像与可见光图像相似，拥有更多的细节，但在外界辐射光源较微弱的时候，总体像素值普遍偏低，呈现画面较暗对比度较低，因此适合采用单尺度Retinex图像增强算法做融合前的增强处理。灰度图SSR实现原理如公式(1)、(2)、(3)所示：

(,)＝ln(,)－ln[(,)*(,)] (1)

弱背景辐射下的短波图像经过SSR处理后如图3所示，可以看到原图在经过SSR增强后，图像对比度有了较大改善，左上角物体和右侧细节更为清晰地展现在了人眼面前，经过SSR增强后的短波图像更有利于提取显著性特征以及高频细节信息。

分别对短波图像和中波图像滤波提取高频细节图层和低频背景图层，对短波图像采取均值滤波，但由于中波图像缺乏细节但具有更分明的轮廓信息，因此对中波图像采用双边滤波。如高斯滤波等传统滤波器在滤波的同时会滤除为高频信号的图像边界，因此图像包括边界在内的整体都会模糊。双边滤波则同时关注滤波窗口中心点与其他点之间的灰度相似程度，同时也关注他们之间几何邻近度，因此双边滤波具有良好的保边特性。双边滤波定义表达式如公式(4)、(5)、(6)、(7)所示：

图1 白天短波（左）和中波（右）图像对比

Fig.1 Short wave by daylight(left) and medium wave(right) contrast

图2 傍晚短波（左）和中波（右）图像对比

图3 短波图像原图（左）与经过SSR增强后的图像（右）

式中：

上面方程中，＝(1,2)为区域中心像素点位置坐标；＝(1,2)为区域相邻像素点位置坐标；BF()为输出图像；权重d(,)和r(,)分别度量了区域中心像素点与邻近像素点的几何邻近度与灰度相似度；d和r分别为空间距离权系数参数和图像灰度权系数，d,r为归一化系数[6]。

对中波原图和经过SSR增强后的短波图像进行显著性分析，本文采用的显著性计算模型是由上海交大侯晓迪在CVPR上提出的SR模型[7]，该模型核心思想如下：人们的视觉对信号的变化部分更为敏感，视觉系统抑制频繁出现的特征，但对非常规的特征保持敏感，图像可分解为如公式(8)所示两个部分。

(原图)＝(非常规变化)＋(常规变化) (8)

侯晓迪[7]发现在图像样本非常大的时候，经过傅里叶变换后的振幅谱取对数平均值正比于它们的频率，因此单独一幅图像的振幅谱取对数后减去大量图像样本平均振幅谱取对数的值即为该图像的显著性部分。

对获得的两幅显著性图像每个像素点都取两个矩阵中大的值，就得到了一幅显著值图，再用这两个图分别和这个显著值图去比较，如果某点的像素值相等，那显著权重图就是1，否则就是0，得到二值显著权值图像。使用二值显著权值作为引导图像，分别对中波原图和经过SSR增强的短波图像进行引导滤波得到两个波段的权重图。He等人在2010年首次提出了引导滤波（Guide Filter）算法[8]，2013年Li等人也将基于显著性的引导滤波用于图像融合[9]。引导滤波将滤波过程当作一个加权和过程，可由公式(9)表示：

式中：为输出图像；为引导图像；为输入图像。

将引导图像和输出图像用一个线性模型表示，如公式(10)所示：

R＝aI＋b,"∈w(10)

式中：w表示以像素点为中心，大小为(2＋1)×(2＋1)的窗口。,的值由公式(11)所示的代价函数(a,b)进行窗口w最小化所确定，由公式(11)可以解出公式(12)和公式(13)：

式中：||为窗口内的像素个数；和2为输入图像在窗口内的均值和方差；为平滑因子；为滤波输入图像[10-11]。

使用二值显著图作为引导图像引导滤波得到的权重图对低频背景图层和高频细节层加权和，得到最终融合图像。该算法总体流程框架如图4所示。

2 仿真及结果分析

本文采用320×256中短波双波段红外探测器，采集到了4组较为典型的场景图片进行仿真展示，场景一为下午3:00阳光充足背景辐射较强时所拍摄的天空与建筑图片，此时短波图像细节丰富，天空云层次分明。场景二为与场景一相近场景于晚上8:30所拍摄到的图片，此时太阳完全落山，环境辐射极弱，由于短波成像特点，此时短波图像对比度极低，细节损失极大。场景三为下午6:30所拍摄到的建筑群及屋顶的太阳能板和太阳能热水器，此时太阳已快落山，环境辐射较白天弱，可以看到中波和短波由于成像机理差异，太阳能板和太阳能热水器上所呈现的像素值截然相反。场景4同样为晚上8:30所拍摄的照片，短波图像基本失去清晰成像能力。

作为对比所使用的融合算法包括小波融合算法（Wavelet Fusion），基于Retinex的拉普拉斯金字塔融合算法（Single Scale Retinex Laplacian）[12]，拉普拉斯金字塔（Laplacian Pyramid）融合方法和基于五株采样的提升小波融合法（Lifting Scheme Quincunx）[13]，分别简称为“WF”、“SSRL”、“LELP”与“LISQ”。上述算法与本文提出算法融合图像在4个场景下效果对比如图5，图6，图7和图8所示。

图4 本文算法总体流程框架

图5 场景一融合效果对比

图6 场景二融合效果

图7 场景三融合效果

图8 场景四融合效果

从上面图像观感对比可以看出，相较于其他算法，本文算法处理得到的融合图像细节丰富，对比度较大，且图像灰度过渡均匀。在场景一中，可以看出在白天阳光充足背景辐射强时，各算法表现均良好，由于本文算法短波图像经过SSR增强处理，在对比度和细节上表现更好一些。但在场景二中，此时环境辐射弱，短波图像只有少部分太阳能热水器的信息，除了本文算法和传统小波算法，其他融合均出现了因融合灰度巨大反差形成的灰度过渡不均匀现象，但传统小波融合由于其本身融合机理，呈现块效应。本文融合算法则很好地保留了中波图像的边界轮廓信息，图像看上去更加自然。场景三和场景四本文算法相比其他算法轮廓更清晰，对比度更大，图像更均匀，场景与目标过渡也更自然。

目前为止，没有一种可以全方位评价融合图像质量的客观指标，且单一指标也无法适用于所有目标场景。因此下面使用了7个常用的图像融合的客观评价指标来评价上面5种算法好坏，包括相对标准差（RelativeStandard Deviation）、信息熵（Entropy）、均方根误差（Mean-root-square Error）、峰值信噪比（Peak Signal-to-noise Ratio）、互信息（Mutual Information）、结构相似性（Structural Similarity）和交叉熵（Cross Entropy），分别记为“RSTD”、“IE”、“MSE”、“PSNR”、“MI”、“SSIM”和“CE”。相对标准差与均方误差反映了融合图像与源图像灰度相似程度，评价值越小，说明融合图像越相似。信息熵用于衡量融合图像中信息丰富程度，评价值越大说明融合图像信息越丰富。峰值信噪比用于衡量有效信息与噪声之间的比率，评价值越大说明图像有效信息更多。结构相似度衡量融合图像与源图像的相似性，评价值越大说明融合图像亮度、对比度和结构越相似，融合质量越好。交叉熵反映了融合图像与源图像所含信息量的相对衡量，评价值越大，融合图像与源图像相似性越大。互信息度量了融合图像保留了源图像信息量的多少，评价值越大说明融合效果越好[14]。4个场景各个融合算法的上述7个客观评价指标统计如表1，表2，表3和表4所示。

表1 场景一各评价指标

表2 场景二各评价指标

表3 场景三各评价指标

表4 场景四各评价指标

可以看出，在以上所拍摄的试验场景中，本文融合算法的信息熵、结构相似度、互信息、均方误差、峰值信噪比几个指标较其他算法有明显优势，说明本文算法更好地获取了两个波段的细节，尤其在弱环境辐射背景下比其他算法有着更多的信息。

3 结论

随着当今成像技术向着双波段甚至多波段、多光谱趋势发展，多种双波段及多波段的融合算法也相继被提出，但这些算法针对弱环境辐射下的红外中短波双波段较少。本文基于红外中短波两个波段的图像特点，提出了一种适用于弱环境辐射的图像融合方法，该方法原理简单，并使用中短波碲镉汞红外探测器实际采图，与其他算法做了对比试验。实验结果表明，该方法较好地保留了两个波段各自的显著性特点，增强了融合图像中的短波细节，扩大了整体对比度，保留了中波图像轮廓信息，且不会产生基于拉普拉斯相关融合算法在有些场景出现融合效果不自然的现象。

[1] 李朝阳. 红外多波段图像融合算法研究[D]. 成都: 中国科学院大学(中国科学院光电技术研究所), 2018.

LI Zhaoyang. Research on multi band infrared image fusion algorithm[D]. Chengdu: University of Chinese Academy of Sciences(Institute of Optics and Electronics, Chinese Academy of Sciences), 2018.

[2] 朱小红. 多波段红外图像差异特征形成机理研究[D]. 太原: 中北大学, 2016.ZHU Xiaohong. Research on the forming mechanism of multi-band infrared images’difference features[D]. Taiyuan: North University Of China, 2018.

[3] Jobson D J, Rahman Z, Woodell G A. Properties and performance of acenter/surround retinex[C]//,, 2002, 6(3): 451-462.

[4] Meylan L , Süsstrunk, Sabine. Color Image Enhancement Using A Retinex-Based Adaptive Filter[C]//, 2004: 359-363

[5] 付国文. 基于Retinex的图像增强算法研究及实现[D]. 上海: 上海交通大学.

FU Guowen. Research of Image Enhancement Algorithms Based On Retinex And Implementation[D]. Shanghai: Shanghai Jiao Tong University.

[6] 蒋辉. 双边滤波理论及其在遥感图像处理中的应用研究[D]. 成都: 西南交通大学, 2014.

JIANG Hui. Research For Bilateral Filtering Theory And ItsApplication In Remote Sensing Image Processing[D]. Chengdu: Southwest JiaoTong University, 2014.

[7] HOU Xiaodi, ZHANG Liqing. Saliency Detection: A Spectral Residual Approach[C]//,, 2007, 17(27): 1063-6919.

[8] HE K, SUN J, TANG X.[M]. Berlin: Computer Vision–ECCV Springer Berlin Heidelberg, 2010.

[9] LI S, KANG X, HU J. Image Fusion With Guided Filtering[C]//, 2013, 22(7): 2864-2875.

[10] 姚吉. 基于引导滤波的NSCT域图像融合方法研究[D]. 南昌: 南昌航空大学, 2018.

YAO Ji. Research on Image Fusion Based on Guide Filter in NSCT domain[D]. Nanchang: Nanchang Hangkong University, 2018.

[11] 李甜甜.基于导向滤波和多尺度分析的图像融合算法研究[D]. 西安: 西安电子科技大学, 2015.

LI Tiantian. Image fusion based on Guided filter and Multi-scale analysis[D]. Xi’an: Xidian University, 2015.

[12] WU R, YU D, WU H, et al. An Improve Fusion Method For Infrared And Low-Light Level Visble Image [R]. ICCWAMTIP, 2017.8301467

[13] 祝青, 刘斌. 提升五株形小波在多光谱图像融合中的应用[J].计算机工程与应用, 2012, 48(11): 170-177.

ZHU Qing, LIU Bin. Application of lifting quincunx in multispectral image fusion[J]., 2012, 48(11): 170-177.

[14] 张小利, 李雄飞, 李军.融合图像质量评价指标的相关性分析及性能评估[J]. 自动化学报, 2014, 40(2): 306-315.

ZHANG Xiaoli, LI Xiongfei, LI Jun. Validation and Correlation Analysis of Metrics for Evaluating Performance of Image Fusion[J]., 2014, 40(2): 306-315.

Infrared Image Fusion Method for Medium-wave and Short-wave Images in Weak Ambient Radiation

ZHANG Runqi1，YANG Bo1，XIA Likun2，ZHAO Canbing1，SU Junbo1

(1.,650223,; 2.,650032,)

This study introduces a method of infrared image fusion for the infrared medium- and short-wave dual band. This method uses the single scale retinex(SSR) method for processing the short-wave image. Following this, the short-wave and medium-wave images are processed to obtain the details and background layers by average filtering and bilateral filtering, respectively. Using the weight map based on spectral residual significant and guided filter, the background and details layers of the short-wave and medium-wave images are fused to obtain the final fused image. From the results of the experimental simulation and a comparison with various fusion algorithms based on wavelet and the Laplacian pyramid, the method proposed in this work is observed to be simple and performs well in most scenarios.

medium and short wave infrared image, image fusion, dual band, low environmental radiation, guided filter

TP391.41

A

1001-8891(2020)05-0440-07

2019-09-05；

2020-04-26.

张润琦（1994-），男，硕士研究生，研究方向为红外图像处理。E-mail: 451404920@qq.com。