基于红外和可见光图像融合的夜间环境图像增强

邱永生，孙国兵，王毓武，隋胜春

(黑龙江大学 电子工程学院 ，哈尔滨 150080)

大部分夜间环境存在光照强度降低、外界辅助光源照射角度单一和光线亮度不均匀的现象，导致夜间监测环境中，被检测对象的图像背景信息丢失严重.对于夜间安防系统、监测系统和军事等领域夜间图像质量是系统高效运行的关键因素，对夜间环境图像进行全方位的图像增可以大幅度的提高图像信息的利用率、可信度和检测判别精度[1].然而采用传统图像增强的方式对夜间环境可见光图像增强时会出现过度增强现象、边缘锐化和图像模糊化等问题[2].

随着图像传感器迅猛发展，多源图像融合在工程应用中起到了不可或缺的作用[3].其中红外和可见光图像融合技术是该领域极其重要的一个分支.红外图像在光照强度弱的复杂环境下，根据检测目标自身高于绝对零度向外辐射的红外电磁波，构建背景轮廓信息得到红外图像.可见光图像可以良好的表现出目标的文理细节信息，具有高分辨率高清晰度，并不易受到周围环境变化的影响.但在夜间检测环境光照强度弱的复杂环境下，不能更全面的获得场景信息，导致信息丢失系统稳定性降低.采用红外和可见光图像融合的方式，充分利用可见光图像背景纹理信息和红外图像的热辐射轮廓信息，并且通过合适的图像融合算法获得融合后的图像，有效提高夜间图像有用信息量，达到夜间图像增强的效果，为获得感兴趣监测目标提供基础.

1 传统夜间环境图像增强算法

传统的图像增强一般分为空间域图像增强和频率域图像增强两种方式.空间域采用像素点的点运算，最常用的就是灰度变换和直方图变换[4].在频率域中，使用卷积理论作为基础，根据图像增强的要求设计相应的线性位不变算子的傅里叶变换实现低通、高通和带通等不同形式的滤波，最后傅里叶逆变换便获得频率图像增强效果.

1.1 空间域图像增强

领域平均法是一种典型的空间域局部处理方法[5].假设某像素点的灰度值为f(i,j)，平滑处理后的灰度值为g(i,j)，处理后的灰度值由其领域内若干个灰度平均值所决定，图像每个灰度值由公式(1)求得：

(1)

其中:A表示在坐标中心一定领域内像素点的集合，M表示集合A的总数目，N表示图像像素的长度或者宽度.

中值滤波属于非线性滤波，一种局部平均平滑技术，采用一个含有奇数个点的滑动窗口，通过滑动窗口的各点的灰度值的中值来替代窗口中心的像素点的灰度值.设将一个含有奇数个点的窗口中的所有像素点为一个序列f1,f2,f3,…,f2n+1，其中采用公式(2)计算图像灰度中值：

gi=Med{f1,f2,f3,…,f2n+1}

(2)

其中:gi表示滑动窗口的像素灰度值的中值，Med表示求取各有序参数的中值.

Retinex图像增强算法是空间域图像增强算法的典型算法，该算法对夜间采集的可见光首先采用低通滤波器获得照度分量图像，然后从原始图像中去除照度分量来得到反射分量图像，从而达到图像增强的效果[6].其数学模型可用式(3)表示：

I(x,y)=L(x,y)R(x,y)

(3)

其中:I(x,y)表示增强后输出的图像，L(x,y)表示被观测物体在外界环境产生的光照干扰称为入射分量图像，R(x,y)主要由被观测物体自身特性决定的称为反射分量图像.

1.2 频率域图像增强

高斯滤波是通过高斯卷积核对图像的像素灰度值进行卷积运算做到对图像不同位置所对应的像素值不同的高斯权值，从而达到图像去噪的效果，高斯滤波主要解决的是高斯噪声，能够抑制传感器在拍摄过程中的随机噪声.双边滤波是一种典型的非线性滤波方法，它同时具有空间权重和相似权重，其中空间权重的作用是消除图像中的噪声使图像平滑，相似权重是为了更好的保护图像的边缘信息使得图像边缘清晰.空间权重定义如式(4)：

d(ζ,x)=d(ζ-x)=‖ζ-x‖

(4)

其中:d(ζ,x)表示图像像素点之间的欧氏距离.空间权值为kd(x)：

(5)

将空间权重和相似权重两者结合就是空间距离和相似程度下的双边滤波，计算表达式如(6)所示:

(6)

频域低通滤波采用的是低通滤波特性，能够让低频率通过滤调高频，使得图像去噪声平滑增强；频域高通滤波衰减或者抑制低频分量让高频分量通过，从而可以突出边界信息[7]，图1为夜间拍摄的可见光原始图像，采用以上传统的图像增强方法对夜间图像进行图像增强，效果图如图2.

图2 传统算法夜间图像增强效果图Figure 2 Night image enhancement effect diagram of traditional algorithm

2 红外和可见光图像融合的夜间图像增强

2.1 红外和可见光图像配准

红外和可见光图像融合之前需要进行图像配准，图像配准是图像融合的基础.图像配准的主要目的就是要解决同一场景下不同图像的差异，去除或者抑制带配准图像和参考图像之间的几何畸变[8].图像配准可以分为三类：基于灰度信息的图像配准、基于变换域的图像配准和基于图像特征的图像配准.图像配准定义为两幅图像在空间位置和灰度上的双重映射关系，设两个二维矩阵I1和I2,I1(x,y)和I2(x,y)表示在位置(x,y)上的灰度值，那么两幅图像的映射关系可以表示为：

I2(x,y)=g(I1(f(x,y)))

(7)

其中:f表示图像二维空间的坐标变换，即(x′,y′)=f(x,y)，且g表示一维灰度或者辐射变换.基于特征信息的图像配准可以有效地避免，图像的灰度值易受环境非线性不均匀光照影响造成的匹配误差，提高图像配准精度，因此本文中采用基于SIFT特征的红外和可见光图像配准.首先将原图像和可变核的高斯滤波器进行卷积核运算，从而得到高斯金字塔图像，通过高斯金字塔邻近两层之间做差得到高斯差分图像，进行极值检测，通过拟合的三维二次函数来确定特征点的位置，根据图像梯度变换确定图像稳定方向，选取两幅图像相似特征向量之间欧氏距离较小的点进行特征点匹配.选出欧氏距离比最小的5对特征点带入投影变换的公式，计算出投影变换矩阵，将参考图像和待配准图像带入投影变换的模型就可以得到配准后结果.下图3为待配准图像，图4特征点检测，图5为特征点匹配，图6为特征点筛选，图7为红外和可见光配准后图像.

图3 红外和可见光待配准图像Figure 3 Infrared and visible images to be registered

图4 特征点检测Figure 4 Feature point detection

图5 特征点匹配Figure 5 Feature point matching

图6 特征点筛选Figure 6 Feature point screening

图7 配准后图像Figure 7 Image after registration

2.2 红外和可见光图像融合

红外与可见光图像融合算法一般分为基于空间域的图像融合和基于变换域的图像融合这两大类，其中基于空间域的有基于数理统计的图像融合、加权平均、假彩色以及基于神经网络的图像融合等.基于变换域的有基于金字塔变换、基于小波变换、轮廓波变换以及非下采样轮廓波变换图像融合[9].

加权平均融合是对红外图像和可见光图像的像素点进行直接运算，从而综合两幅原始图像的像素信息，设参加融合的红外图像为A,可见光图像为B,融合后图像为F,ω表示权重则加权平均融合可表示为：

F(x,y)=ω1A(x,y)+ω2B(x,y)

(8)

拉普拉斯金字塔变换的图像融合采用高斯塔型分解按照分辨率从低到高依次塔型排列，将不同尺度和分辨率的红外和可见光图像按照塔形，将各层图像依次叠加得到融合后图像[10].

基于小波变换的图像融合是将原始图像进行分辨率和多尺度分解得到高频和低频图像，根据每层图像的分解频率确定小波系数选择不同的融合规则建立融合后的小波变换金字塔图像，最后对金字塔图像进行小波变换逆变换得到融合后图像[11].

基于Contourlet变换的图像融合是通过拉普拉斯金字塔变换对图像进行多尺度分解，再将每一尺度通过方向滤波器组进行多方向分解，最后用Contourlet变换对图像多尺度、多方向进行融合重构操作得到融合后图像[12].

基于NSCT变换的红外和可见光图像融合分为无下采样金字塔分解(NSP)和无下采样方向滤波器组(NSDFB)两部分组成[13]，其中采用NSP进行多尺度分解，针对图像的高频分量采用NSDFB方向分解，得到图像的低频和各带通方向子带系数，对低频分量采用基于局部能量和局部方差的方向进行融合[14-15].图8(A)为已经配准完成的2对夜间环境拍摄红外和可见光图像，图8(B)～(F)为经过空间域和变换域的红外和可见光图像融合效果图.

图8 夜间红外和可见光图像融合效果图Figure 8 The effect of infrared and visible light image fusion at night

3 实验结果与分析

对处理后图像质量评价分为主观评价和客观评价，采用主观评价指标计算速度快，容易实现，但易受到人的视觉差异等多种因素影响.通过客观评价指标才能更科学的反映处理后图像的总体性能.其中基于图像特征的评价指标有：均值、标准差、信息熵和平均梯度等；基于参考图像的评价指标有：均方根误差、信噪比、峰值信噪比和互信息量.为了客观的反映夜间环境图像采用传统的图像增强算与本文的基于红外和可见光图像融合的图像增强方法的优劣，随机选取11个场景下处理后的夜间图像进行客观评价，计算各个指标的均值，如表1所示.从表1中可以看出，采用传统的图像增强算法对11个夜间场景下图像增强的客观评价指标明显低于基于红外和可见光图像融合方法的指标.信息熵能够客观的反映图像包含的信息量，采用图像融合的方法比传统图像增强方法相对提高36%；图像的平均梯度能够有效地反映出夜间图像增强后的清晰度，该指标采用图像融合方法后相对提高59%；结构相似性反映夜间源图像和增强后图像的差异程度，该指标相对提高9%；峰值信噪比能够反映出图像的失真情况，峰值信噪比越小图像越模糊；互信息量反映增强后图像保留源图像信息量的多少，该指标相对提高46%.从人的主观角度可以看出，对夜间环境图像采用红外和可见光图像融合方式进行图像增强，处理后图像的可视化效果优于传统图像增强算法，很好的保留了图像的边缘细节信息.

表1 夜间图像增强算法客观评价Table 1 Objective evaluation of night image enhancement algorithm

4 结 语

采用红外和可见光图像融合的方式，可以有效地提高图像信息利用率达到夜间图像增强的效果，同时可以解决传统夜间图像增强出现边缘锐化和伪影现象.其中加权平均融合适合实时图像融合，但是当红外图像和可见光图像的灰度差异较大时融合后图像将产生拼接痕迹，不利于后期的目标监测；金字塔变换图像融合能够保留图像的有用信息，但是在光照强度弱的离焦部分产生拖影现象；采用Contourlet变换融合后图像的对比度较低，但是很好的保留了可见光图像的背景细节信息和红外图像的轮廓信息，使得图像清晰度提高.从可视化效果和客观评价指标综合分析，采用基于Contourlet变换的红外和可见光图像融合的方法最适合夜间环境图像增强.