基于OpenCV的红外与可见光图像实时融合系统*

任贵文，贺行政,康荣学，李旭明

(中国安全生产科学研究院 重大危险源监控与事故应急技术国家安全监管总局安全生产重点实验室，北京 100012)

基于OpenCV的红外与可见光图像实时融合系统*

任贵文，贺行政,康荣学，李旭明

(中国安全生产科学研究院 重大危险源监控与事故应急技术国家安全监管总局安全生产重点实验室，北京 100012)

基于OpenCV图像处理库函数，在VS2013平台下开发了一种红外与可见光图像融合系统，该方法克服了红外图像特征点不明显的缺点，通过特殊的摄像机标定技术，完成了红外与可见光摄像机的标定，进而实现了红外与可见光图像的匹配融合。实验证明，该系统能达到较好的融合效果，并能保证融合的实时性。

图像融合；摄像机标定；单应矩阵

引 言

异源图像获取的信息具有更高的冗余性、互补性和可靠性，因此，基于异源图像的匹配、配准、融合等技术成为了研究热点，并广泛运用于计算机视觉、反恐、安防、军事等领域[1]。在异源图像融合中，最为常见的是红外热成像和可见光图像的融合，红外热成像是对人眼不可见的热辐射的成像，因此它和可见光图像可以实现相互补充，能全面地提供视野范围内的环境信息，实现对高温物体的精确定位，为军事、安防、安全生产等领域提供很好的技术支持。

在异源图像的融合中，目前常见的技术大体分为两种：基于灰度的匹配算法和基于特征的匹配算法。前者不仅计算量庞大，且在多模态图像配准问题中难以取得较高的精度[2]；后者利用多模态图像中的特征减少了计算量，适用范围广，在图像灰度差异较大时也能得到较为精确的配准结果[3]，然而，由于红外热成像技术的特殊性，尤其是热辐射造成的边缘外延现象，导致红外图像的边缘特征不清晰，常见的图像匹配算法并不适用于红外与可见光图像的匹配。

本文提出一种基于OpenCV的红外与可见光图像融合系统，通过摄像机标定算法，对红外和可见光摄像机进行标定，得到摄像机的内外参数，根据内外参数，预计算出一个单应矩阵，根据预计算的单应矩阵来做图像配准。

1 摄像机标定

摄像机标定主要是求参数的过程，也就是确定摄像机的图像坐标系与物体在空间的三维坐标系之间的映射过程[4]。目前的摄像机标定方法主要有传统摄像机标定方法和摄像机自标定方法两种，传统的摄像机标定技术需要有特定的定标参照物，根据摄影集合方面的理论直接计算摄像机参数[5]。OpenCV中采用的是介于传统标定方法和自标定方法之间的一种方法，由张正友提出，称作张氏平面模板标定法，只需要对一个平面标定板(棋盘格标定板)在不同方向采集两组以上图像即可，标定过程非常简单[6]。本文中通过对普通的棋盘格标定板做创造性的加工处理后，完成了对红外与可见光摄像机的同时标定。

首先制作棋盘格标定板，在普通的标定板基础上做修改，把棋盘格中黑白格子的黑格做隔热处理，涂上特殊的隔热材料，白色棋盘格保持不变。然后将棋盘格均匀加热，加热后的棋盘格有了明显的温度区分，可以同时采集到清晰的红外与可见光图像。最后，调用OpenCV函数CalibrateCamera2()进行最终标定，标定成功后，会显示出标定后的图像以及得到图像融合需要的旋转矩阵和平移矩阵。

2 图像融合

由于红外与可见光图像的特征不一致，对融合叠加造成了一定的困难，常见的基于特征提取的融合算法对红外与可见光图像的融合效果并不好，因此通过使用预计算的单应矩阵(变换矩阵，在计算机图形学中的常用矩阵，3×3，控制平移、旋转和缩放)来完成图像的叠加融合，通过实验，叠加效果可以达到预期目的，且处理速度低于每帧10 ms，可以达到实时叠加的目的。图像融合流程图如图1所示。

图1 图像融合流程图

图3 样本图像

图像融合的步骤为：首先，读取相机参数、可见光图像、红外图像；然后，初始化虚拟标定的参数，通过调用函数“bool homography::Init(cv::Size boardSize, double tanTheta, string intrinsicFN, string extrinsicFN, string rmapFN, int thres=0)；”完成初始化，函数的前两个参数都用来控制虚拟标定棋盘的位置和大小(第一个参数表示使用的虚拟棋盘的格数，第二个参数控制虚拟棋盘的大小，参数越大，则棋盘越大)，后面三个文件名都是标定过程存储的结果，最后一个参数为温度的限制，用来剔除红外图像中的低温部分。初始化完成后，根据虚拟棋盘格，将棋盘格的角点映射到两张图像上面，调用OpenCV函数计算单应矩阵；最后，调用函数“cv::Mat rectifyMap(const cv::Mat leftImg, const cv::Mat rightImg)；”完成一帧的图像叠加。

3 实验结论

本系统完成了对红外摄像机和可见光摄像机的标定以及图像融合，实验过程中，使用的红外摄像机是flir的tua640系列红外机芯，可见光摄像机使用的是低照度模拟摄像机，两个摄像机左右水平放置，间距为7 cm，通过自制的DSP视频采集板，将两路摄像机的视频实时采集并通过网络传输给标定系统以及融合系统，标定系统只在初次使用时调用，获得标定参数后，在保证摄像机相对位置不变的情况下，不需要反复标定。

通过实验，得到标定的效果图如图2所示，摄像机参数如表1所列。

图2 校准后图像

表1 摄像机参数

根据得到的标定参数，进一步完成了图像融合，样本图像如图3所示，融合效果如图4所示。

图4 融合效果

结 语

通过简易的棋盘格标定板完成了对红外摄像机和可见光摄像机的标定，解决了红外摄像机对棋盘格辨识不清晰的问题，为红外摄像机的批量标定找到了简单有效的方法。通过标定参数计算单应矩阵，完成了红外与可见光图像的融合，克服了红外图像和可见光图像特征值不一致的弊端，达到了较好的融合效果，可以有效地、全方位地获取摄像目标的各种信息，达到很好的高温警示效果。

[1] 朱英宏,李俊山,杨威,等.红外与可见光图像特征点边缘描述与匹配算法[J].计算机辅助设计与图形学学报,2013,25(6):857-864.

[2] 赵明,林长青.基于改进SIFT 特征的红外与可见光图像配准方法[J].光电工程,2011,38(9):130-136.

[3] 王颖,韩静文.多特征红外光与可见光图像的分区域配准[J].光电工程，2015,42(4):68-74.

[4] 于仕琪,宋瑞祯.OpenCV学习[M].北京:清华大学出版社,2009:406-432．

[5] 陈胜勇,刘盛.基于OpenCV的计算机视觉技术实现[M].北京:科学出版社,2008：34-383．

[6] Zhang Zhengyou.A Flexible New Technique for Camera Calibration[J].IEEE Transactions on Pattern Analzysis and Machine Intelligence,2000,22(11):1330-1334.

任贵文(硕士研究生)，主要研究方向为自动检测监控与系统集成。

Infrared and Visible Light Image Real-time Fusion System Based on OpenCV

Ren Guiwen,He Xingzheng,Kang Rongxue,Li Xuming

(Key Laboratory of Major Hazard Control and Accident Emergency Technology,State Administration of Work Safety China Academy of Safety Science and Technology,Beijing 100012,China)

In this paper,an infrared and visible-light image fusion system is proposed which is based on OpenCV library of image processing functions in the VS2013 platform.The method overcomes the shortcoming of infrared image feature points are not obvious.Through a special camera calibration technique,the calibration of infrared and visible light cameras is completed,thus a fusion of infrared and visible images is achieved.The experiment results show that the system can achieve good fusion effect and can guarantee the integration of real time.

image fusion;camera calibration;homography

中国安全生产科学研究院基本科研业务费专项资金项目“远红外热成像火灾探测预警设备研发”(2015JBKY07)；国家十二五科技支撑计划课题(2015BAK16B03)。

TP277

A

士然

2016-11-28)