全天候红外与可见光图像互信息最大化配准*

白 皓，郭全民，柴改霞

(西安工业大学 电子信息工程学院，西安710021)

随着科技的发展，综合利用多传感器图像进行数据提取和分析已经成为一种重要的获取信息的方法，其中多传感器图像融合技术由于可将被摄物体不同的物理属性显示在一张图像上而备受学者关注，而图像融合的前提就是图像配准。影响两幅图像配准效果的因素除了图像配准算法外还有待配准图像的质量，因为红外图像传感器与可见光图像传感器的成像原理不同，当光线充足时，配准红外图像和可见光图像需要解决两幅图像的像素值无线性关系的问题；当光线黯淡时，可见光图像的对比度低、亮度暗，而红外图像不受影响，配准这样两幅图像不仅要解决红外与可见光传感器的成像原理的差异，还要面对可见光图像质量差的问题。文献[1]提出了基于对齐度准则的高对比度、高亮度待配准图像配准方法,该方法不需要两幅图像的灰度值有线性关系,且不受两幅图像灰度属性差异的影响。文献[2]利用对齐度准则对待配准的两幅边缘图像进行匹配点对的确定,在得到最大对齐度的过程中,由于需要在整幅边缘图像中分别对3个方向进行搜索,因而计算量较大。文献[3]利用两幅图像的边缘特征点对进行配准具有计算量小、匹配精度高和抗噪性强的优点。当两幅待配准图像的对比度低、图像内容模糊时，直接用基于灰度值的图像配准算法或者尺度不变特征变换(Scale Invariant Feature Transform,SIFT)算法配准时,红外与可见光图像均难以取得较好的配准效果[4]。

文中提出了全天候红外与可见光图像互信息最大化配准方法，采用图像客观评价指标对配准图像进行评价，并和传统图像配准方法进行对比，为低对比度红外与可见光图像配准提供了新途径。

1 配准方法

1.1 灰度变换

特征点少、不易配准的图像亮度低，对比度低；因此采用直方图均衡技术[5]拓展原图像的像素宽度，增强原图像的对比度，提高原图像的平均亮度。图1(a)为低亮度、低对比度图像，经过直方图均衡技术处理后，结果如图1(b)所示。对比图1(a)、图1(b)中石头的花纹、植物的枝干及草坪的层次感，直方图均衡技术明显增强了图1(a)中图像的清晰度、亮度以及对比度。

图2(a)为原图像的像素直方图，经过直方图均衡技术处理后得到的像素直方图，如图2(b)所示。图2(a)中像素的像素值分布在区间[0,200],并呈指数分布；图2(b)中像素的像素值分布在区间[0,200],并呈均匀分布。与图2(a)对比可看出图2(b)中像素值在[0,50]之间的像素个数明显减少，像素值在[50,200]之间的像素个数明显增多。

图1 图像直方图均衡处理

图2 像素直方图

1.2 图像边缘提取

不同传感器图像反映物体不同的物理特性,对于待配准的可见光与红外图像,在可见光图像中出现的色彩信息在红外图像中未必会出现,在进行图像配准时需要依靠两幅图像的共有特征,且共有特征越多图像配准精度越高。通过观察大量红外与可见光图像发现在同一物体的可见光和红外图像中总会有一些对应的边缘同时出现，因此图像边缘是红外与可见光图像中比较固定的共有特征。本文根据边缘检测算子提取红外与可见光图像的边缘信息，目前成熟的边缘检测算子有Canny算子[6]、Sobel算子和Roberts算子等。

对Canny算子、Sobel算子和Roberts算子进行边缘检测能力测试，如图3所示。其中图3(a)为原图；通过Sobel 算子检测原图的图像边缘，结果如图3(b)所示；通过 Roberts 算子检测原图的图像边缘，结果如图3(c)所示；通过Canny算子检测原图的图像边缘，结果如图3(d)所示。从图3可以看出，Sobel 算子检测出来的边缘不连续，无法判断出图像的边缘；Roberts算子检测出来的边缘具有一些断裂现象，造成边缘信息的缺失；而Canny算子检测出来的边缘具有很好的连续性且细节较清晰。测试结果表明Canny边缘检测算法的图像边缘检测质量较好，因此本文采用Canny算子检测图像边缘。

图3 边缘检测

1.2.1 图像互信息量计算

图像互信息量是指两幅图像中的共有信息量，当两幅图像实现了正确匹配的时候，他们的互信息量最大，可使用两幅图像的互信息量作为图像配准的依据。两幅图像的互信息量计算步骤如下：① 计算待配准图像X中像素灰度值为x的像素点的频率px。计算浮动图像Y中像素灰度值为y的像素点的频率py。计算待配准图像X的熵H(X)和浮动图像Y的熵H(Y)。计算待配准图像X和浮动图像Y的联合概率分布[7-9]

pXY(x,y)=h(x,y)/∑h(x,y)

式中：h(x,y)为两幅图像重叠部分像素灰度坐标值为(x,y)的像素个数；∑h(x,y)为两幅图像重叠部分的总像素数。

② 计算待配准图像X和浮动图像Y的联合熵

③ 计算两幅图像的互信息量

I(X,Y)=H(X)+H(Y)-H(X,Y)

1.2.2 配准矩阵计算

通过最大化待配准图像和浮动图像的互信息量，计算待配准图像和浮动图像的最优配准矩阵为

(1)

为了缩短图像配准所需的时间，采用最优化算法[10-14]减小计算量，本文采用梯度下降法确定待配准图像X和浮动图像Y之间的互信息极大值的搜索方向。梯度下降法的优点是收敛速度快、计算量小；缺点是易收敛到局部极大值。配准矩阵迭代方程为

(2)

式中：Tk为迭代k次后的配准矩阵；Tk+1为迭代k+1次后的配准矩阵；λ为学习速率；I为互信息量；k为迭代次数。

1.3 图像配准

图像配准过程如下：① 分别计算待配准图像和浮动图像的平均像素值。② 判断计算出的平均像素点灰度值是否大于阈值100，若大于100，使用Canny算子提取图像边缘并保存。否则使用直方图均衡技术增强图像的质量并保存。③ 初始化优化器的最小步长L、最大迭代次数M和程序截止阈值ε，设定当前迭代次数k=1，并计算两幅边缘图像的互信息量。④ 计算两幅边缘图像最大互信息量的搜索方向向量。⑤ 计算迭代k+1次后的配准矩阵以及待配准图像和浮动图像迭代前后互信息量的差值δ，判断程序是否满足截止条件δ<ε或k+1>M。⑥ 若程序满足截止条件，进入步骤7,否则返回步骤4。⑦ 采用计算出的配准矩阵配准原图像，若原图像经过直方图均衡技术的处理，用处理后的图像替换原图像。⑧ 输出配准后的图像，程序结束。

2 实验分析

为了验证本文算法的配准效果，进行了实验验证。处理器选用Intel(R)Core(TM) i7-7700HQ芯片；内存为 8 GB；操作系统选用64 位 Windows系统。实验平台采用MatlabR2016b软件。通用串行总线(Universal Serial Bus,USB)可见光摄像头、USB主动红外摄像头各一个。图4为下午14时拍摄的凉亭图像，图4(a)为可见光图像，其像素灰度均值为202.780 5；图4(b)为红外图像，其像素灰度均值为185.662 3。利用Canny算子对图4(a)和4(b)进行边缘检测并保存边缘图像，如图4(c)和4(d)所示。

图4 凉亭图像边缘检测

计算图4(c)与图4(d)的最大互信息量并得到配准矩阵T，采用配准矩阵T配准原图像。图5(a)是两幅原图像的重叠图像，配准的原图像如图5(b)所示。图6(a)和6(b)分别为晚上23时拍摄的凉亭可见光图像和红外图像，图6(a)的像素灰度均值为7.392 5；图6(b)的像素灰度均值为8.810 5。对图6(a)和6(b)进行直方图均衡处理得到图6(c)和图6(d)；用Canny边缘检测算子对图6(c)和图6(d)分别进行边缘检测，得到边缘图像分别为图6(e)和图6(f)；计算图6(e)和图6(f)的最大互信息值并输出其配准矩阵T；采用配准矩阵T配准图6(c)和图6(d)，配准后的图像为图6(h)。

图5 图像配准

图6 凉亭可见光图像和红外图像的配准

将本文算法与传统的互信息最大化配准算法进行对比，对夜晚拍摄的亭子图像(如图6(a)和6(b)所示)分别使用传统的互信息最大化算法和本文算法进行配准，图像配准结果如图7(a)和7(b)所示，对午后拍摄的亭子图像(如图4(a)和4(b)所示)分别使用传统的互信息最大化算法和本文算法进行配准，图像配准结果如图8(a)和8(b)所示。采用图像的空间频率、标准差和平均梯度对配准图像进行评价。

对图7～8所示图像进行客观评价，结果见表1。由表1可知，在夜晚拍摄条件下，采用本文算法配准后图像的空间频率指标值高于传统配准算法19.7%；采用本文算法配准后图像的标准差高于传统配准算法43.7%；采用本文算法配准后图像的平均梯度高于传统算法79.2%。在午后拍摄条件下，采用本文算法配准后图像的空间频率高于传统算法25.7%；采用本文算法配准后图像的标准差高于传统算法7.7%；采用本文算法配准后图像的平均梯度高于传统算法21.1%。

图7 配准后图像(夜晚拍摄的亭子图像)

图8 配准后图像(午后拍摄的亭子图像)

表1配准后图像客观评价

Tab.1 Objective evaluation of the registered images

配准后图像客观评价指标传统算法本文算法夜晚拍摄的配准后图像空间频率13.530 116.194 6标准差20.911 330.058 6平均梯度2.882 85.165 9午后拍摄的配准后图像空间频率14.385 818.076 7标准差43.696 647.049 9平均梯度4.869 55.897 5

3 结 论

1) 通过提取图像边缘信息作为红外与可见光图像的共同信息，实现了异源传感器图像的配准，不需要图像之间的灰度具有相关性。

2) 图像像素灰度均值小于100时，本文算法得到的配准图像质量远高于传统配准算法得到的配准图像的质量。图像像素灰度均值大于100时，本文算法得到的配准图像的质量略高于传统配准算法得到的配准图像的质量。

3) 文中依据待配准图像像素均值是否小于阈值100来决定是否对待配准图像进行直方图均衡，未实现根据待配准图像的像素值自适应设定阈值，需在今后的工作中进一步开展研究。