高分辨率热感图像与可见光图像配准方法研究

卢 毅，张婧娴，周 维，高语阳

(1.苏州中科天启遥感科技有限公司，江苏 苏州 215000；2.江苏省地质测绘院，江苏 南京 211102； 3.南京航空航天大学航天学院，江苏 南京 210016)

0 引 言

热红外技术形成的热感图像的灰度与场景温度直接相关，利用热红外传感器可在图像内定位具有较高温度的物体[1]。热感图像的清晰度往往低于可见光图像，通过二者融合，便可在场景中确定热源物体的精确位置，或获得场景内温度分布情况。鉴于热感图像和可见光图像的融合被广泛应用于计算机视觉、工业零件检测、交通管理等诸多领域[2]。

图像配准是图像融合前必须进行的预处理，只有在几何和灰度上严格配准，才能对多幅影像进一步进行信息提取和分析[3]。近年来，对多模态影像配准有独特优势的基于互信息图像配准方法得到了广泛关注。基于互信息的图像配准方法不需要对待配准图像进行预处理，且配准精度较高[4]。然而这种方法也存在易误匹配、计算效率低、易受图像灰度影响，图像本质特征利用率低等缺陷。

为了解决互信息法图像配准存在的问题，本文利用图像边缘轮廓上的特征点进行粗配准，然后在粗配准基础上利用互信息法进行缩小搜索范围的精配准，结合边缘特征匹配和互信息配准各自优势，设计了精度更高、速度更快、鲁棒性更强的配准方法，使这两种最常用的多源图像中的互补信息得到快速、准确融合，进而服务于社会生产生活的各个领域。

1 热感图像与可见光图像配准

本文研究的热感与可见光图像配准方法分为两步：① 通过同名特征点坐标，利用最小二乘法原理解算出6个仿射变换参数，得到两幅图像间的几何变换关系；② 利用互信息作为相似性测度构建影像匹配流程，通过Powell[5]优化搜索算法确定3个参数的最佳值，实现两幅图像间最佳变换。

在影像匹配过程中，利用Sobel边缘提取算子提取两幅待配准图像A、B的边缘图像AS、BS；对边缘图像AS、BS匹配同名特征点，利用最小二乘法原理对6个仿射变换参数求解；按照所得到的仿射变换参数与仿射变换模型一起对热感和可见光图像进行变换，得到粗配准后的热感和可见光图像AF、BF；对粗配准后的热感和可见光图像AF、BF进行基于互信息法的图像配准。

由于步骤①中是粗匹配的边缘兴趣点，因而选取的点具有偶然误差，可以根据对误差的估计限定互信息法图像配准时的迭代次数，将搜索范围限定在一定区域内，从而减少直接利用互信息法配准巨大计算量导致的计算时间过长以及大量计算时可能发生的陷入局部极小值而失配的情况。

2 实验与分析

2.1 图像配准过程

基于边缘特征点和互信息的热感与可见光图像配准流程如下所示(图1)。

图1 基于边缘特征点和互信息的热感与可见光图像配准流程图

由图1可知：① 在图像预处理阶段，把可见光和热感的彩色JPG图像转化为灰度级为[0，255]的灰度图像；② 对图像进行读取并显示，利用Sobel边缘检测算子提取可见光图像和热感图像上的边缘；③ 在左右图像上选取若干同名点；④ 利用同名点和最小二乘原理计算仿射变换参数，利用仿射变换参数对热感图像进行图像变换(由于变换后的热感图像可能会超出原可见光图像范围，因此也要对可见光图像进行变换)；⑤ 将经第一步粗配准得到的变换后的热感和可见光图像进行限定搜索范围的互信息配准(其中，参数优化搜索算法选择的是Powell优化算法，插值方法选择的是PV插值法)。

2.2 图像配准结果

本次试验所使用的红外图像是红外热像仪拍摄的某广场周边的建筑和场景，主要是夜间拍摄的景物；而可见光图像是根据红外图像所拍摄的场景进行后期拍摄的，拍摄时考虑到热感与可见光图像配准的目的是对同一场景的温度识别，因而拍摄的角度和距离尽量保持一致，使其适用于图像的仿射变换模型和刚性变换模型。本次实验进行了两组图像配准(图2—7)。

图2 第一组待配准图像

图3 第一组配准后的图像

图4 第一组配准后图像叠加显示

图5 第二组待配准图像

图6 第二组配准后的图像

图7 第二组配准后图像叠加显示

2.3 算法评价

从以下几个方面进行考察，评价本文算法用于实际配准结果的精度和效果。

2.3.1 互信息算法运行的时间

经过粗配准后的图像，各参数搜索区域可以缩小到一定范围，运算次数将会大大减小，从而提高了基于最大互信息的图像配准速度(表1)。

表1 有无粗配准的互信息法酸准用时对比

由表1可知，在不考虑匹配结果情况下(实际计算中直接使用互信息法配准时，虽然得到的最大互信息值比粗配准后使用互信息法高，但存在较多误匹配问题)，粗配准后限定搜索范围的互信息法配准比直接使用互信息法配准要快。

2.3.2 配准前后互信息值大小

将配准前图像互信息、粗配准后图像互信息和精配准后图像互信息进行对比(表2)。

表2 配准前、粗配准后、精配准后图像互信息对比

由表2可知，对比粗配准前、粗配准后及精配准后两幅图像的互信息值可知，随着配准精度提高，图像的互信息值呈上升趋势。证明该方法可以提高两幅图像的配准精度。

2.3.3 检查对应点坐标

检查对应点坐标对应情况和坐标(表3)。

表3 检查点在配准后的五组可见光和热感图像上的误差

均匀分布的检查点在配准后坐标误差中基本控制在一个像素左右，考虑本文选取的变换是全局的仿射变换和刚性变换，很难完全改正图像上所有位置的形变的原因，因此表3中的精度基本能达到配准要求。

2.3.4 目视检查

目视检查通过观察明显点和目标轮廓、纹理等特征对配准后图像进行检查。本文中通过目视检查可以发现，配准后图像上目标物大部分能够有较好重叠，图像衔接处的目标扭曲较少、大部分直线特征能保持连贯，结果基本满足融合需求。

3 结 语

(1)采用了基于边缘点和互信息的图像配准方法对热感和可见光图像进行配准，并对两组待配准图像进行试验和结果分析。

(2)由结果可知，基于边缘点和互信息相结合的图像配准方法结合了特征点和互信息两种配准方法优点，提高了配准速度和可靠性，实现较简单。该算法的缺点是粗配准时需要人工选点，并且需要选取图像边缘特征比较明显的点，否则难以达到良好配准效果。后续研究可在边缘提取基础上引入自动提取兴趣点(如利用曲率最大值点、拐点等)的方法，并利用一定匹配方法进行兴趣点匹配，从而实现粗配准自动化，提高配准效率。

[1] 朱英宏，李俊山，杨威，等.红外与可见光图像特征点边缘描述与匹配算法[J].计算机辅助设计与图形学学报，2013，25(6):857-864.

[2] 江静，张雪松.红外与可见光图像自动配准算法的研究[J].红外技术，2010，32(3)：137-141.

[3] 余先川，吕中华，胡丹.遥感图像配准技术综述[J].光学精密工程，2013，21(11)：2960-2972.

[4] 高飞，王聪，矫东航.基于分块信息熵和特征尺度的图像配准算法[J].北京理工大学学报，2016，36(11)：1194-1199.

[5] 别术林.基于互信息的医学图像配准算法研究[D].北京：北京交通大学，2014.