一种共轴的电视红外双光成像系统

胡涛，任仙怡，张基宏

（1.深圳信息职业技术学院信息技术研究所，广东 深圳 518172；2.深圳市可视媒体处理与传输重点实验室，广东 深圳 518171）

【信息技术应用研究】

一种共轴的电视红外双光成像系统

胡涛1,2，任仙怡1,2，张基宏1,2

（1.深圳信息职业技术学院信息技术研究所，广东 深圳 518172；2.深圳市可视媒体处理与传输重点实验室，广东 深圳 518171）

本文针对异源图像融合中存在的图像配准难题，以红外与可见光为研究对象，研究提出一种共轴的电视红外双光成像系统。此系统首先利用可见光和长波红外探测技术，摄取景物不同波段的辐射或反射光能，采用透射+二次反射成像的光学原理，辅以精密光学装校实现双波段对同一场景成像，来满足图像视场的匹配，然后设计基于GenICam和Directshow通用采集架构的图像采集系统，并采用VC++6.0编程实现了不同图像采集设备的通用控制。实验结果表明，利用此成像系统可获取“配准的”可见光和红外图像，有效解决了红外与可见光图像融合中的图像配准难题。

电视红外双波段；共轴光路；图像配准；GenICam；Directshow

信息社会的较量归根结底是信息获取、管理和利用能力的竞争，信息获取能力首当其冲。随着现代信息技术的发展，可以获取和利用的图像资源急剧增加。不同传感器获取的目标信息因其成像方式、使用的电磁波段和分辨率的不同，从不同的侧面揭示着目标的本质。图像融合综合多种不同特性的图像数据，相互取长补短，发挥各自优势，能更全面地反映目标特性，提供更强的信息解译能力和可靠的分析结果，提高分析精度、应用效果和使用价值[1,2]。

图像融合可分为三个层次：像素级融合、特征级融合和决策级融合[3]。目前的研究集中于精度高，信息损失少的像素级融合[4]。在过去的几十年里，大量的图像融合方法被提出，其中，基于多尺度变换的图像融合方法所采用的分解过程能够模拟视觉神经的初级处理形式，通过级与级的互联提供局部处理与全局处理之间的联系，因此可以获得明显改善的融合效果，多尺度变换图像融合主要经历了金字塔变换、小波变换和超小波变换三个阶段[5-9]。

图像融合的图像来源具有多样性，大致分为三种：多传感器非同时获取的图像；多传感器同时获取的图像，如红外/可见光图像、遥感图像；单一传感器不同时间，或者不同环境下获取的图像，如多聚焦图像、时间序列(动态)图像。

像素级的异源图像融合在进行融合处理之前需要对源图像进行基于特征的图像配准操作，配准的步骤主要有特征提取，特征匹配，变换模型估计和图像重采样与变换[10]，但由于异源图像间缺乏明显的共有目标特征点，异源图像的配准是一大难点，通常需要专业人员交互选择匹配特征点来完成图像配准。

红外与可见光图像融合是当前异源图像融合的热点，为解决红外与可见光图像配准难题，本文研究提出一种共轴的电视/红外双光成像系统，此系统首先采用透射+二次反射成像的光学原理，辅以精密光学装校实现可见光/红外双波段对同一场景成像，然后基于GenICam和Directshow通用采集架构实现可见光与红外图像采集，可以同时获取到同一场景的红外与可见光图像，有效解决红外与可见光图像融合中的图像配准难题。

1 共轴的电视/红外双光成像系统

电视红外双光成像系统整体构架如图1所示，主要由基于共轴光路设计的光学成像系统和基于GenICam和Directshow通用采集架构的图像采集系统两部分构成。

图1 双光成像系统整体构架Fig.1 Framework of dual-band imaging system

1.1 基于共轴光路设计的光学成像系统

基于共轴光路设计的光学成像系统主要由红外相机，可见光CDD相机，分光镜，反射镜，光学镜头构成，其中，最关键的技术是共轴光路的设计。

（1）共轴光路设计

采用反射一次成像+分光二次成像的光学原理，设计出图2所示的共轴光路：一束入射光首先被一半反半透的分光镜分为两束，其中一束进入可见光CCD探测器，另外一束则进入红外探测器。通过共轴光路的设计，使得双波段对同一场景同时成像成为可能。

图2 共轴光路Fig.2 Coaxial optical path

（2）光学成像系统性能指标

（a）光轴重合度：优于1′，相当于红外图像的±0.5像素。

（b）视场重合度：红外与可见光同焦距：优于60%；红外与可见光不同焦距：优于90%。

（c）图像有效帧率：不低于5帧/秒。

（d）工作温度： 0°～50°

（3）红外成像系统指标

（a）镜头焦距：50mm±2mm。

（b）测器像元数：384×288。

（c）像元间距：35um或25um。

（d）探测器NETD：优于120mK

（4）可见光成像系统指标

（a）镜头焦距：50mm±1mm；备用镜头焦距：45.8mm±1mm。

（b） 探测器像元数：1360×1280。

（c）探测器类型：2/3″黑白CCD。

（d）CCD信噪比：优于46dB。

1.2 基于GenICam和Directshow的通用图像采集系统

图像采集系统主要完成可见光图像和红外图像的采集，由图像采集卡、计算机和基于GenICam、Directshow通用采集架构的采集程序构成。为了方便日后的维护与扩展升级，本文构建了通用的图像采集平台，其中，采用GenICam通用采集构架对接口为千兆以太网口的可见光CCD相机进行采集控制，实现可见光图像采集，GenICam为各类常用的相机提供一个统一的编程接口，无论相机使用的是哪种传输协议或者实现了哪些功能，编程接口（API）都是一样的，如图3所示；采用如图4所示的Directshow通用采集架构，对使用经典视频采集卡的红外相机进行控制实现红外图像采集，运用DirectShow，可以很方便地从支持WDM驱动模型的采集卡上捕获数据，并且进行相应的后期处理[11]。

图4 Directshow通用采集构架示意Fig.4 Generic acquisition framework of Directshow

由于GenICam和Directshow均是通用采集架构，许多相机及采集卡都分别支持这两个采集架构，因此，此计算机图像采集系统并不依赖于特定的硬件，具有较高的通用性。

图5所示为本文所研制的电视/红外双光成像系统实物图。基于共轴光路设计的光学成像系统实现了同一场景的同时成像，然而从红外成像系统和可见光成像系统指标参数中可以看出两个问题，第一个问题是可见光相机和红外相机的视场不一致，它们之间的重合度为96%；第二个问题是可见光图像和红外图像的分辨率不一致，可见光图像的分辨率要远大于红外图像。由于像素级的图像融合要求融合的源图像分辨率是完全一致的，因此，为了方便后续的图像融合研究，还需要对采集图像作一定的预处理，即对成像系统进行标定并按照标定参数对采集图像进行剪裁及重采样等处理，使红外与可见光图像的分辨率大小相同，显然，这里的预处理与图像配准相比要简单得多。

图5 双光成像系统实物图Fig.5 Device photo of dual-band imaging system

2 实验结果与分析

如前所述，双光成像系统的光学成像系统部分存在视场以及分辨率不一致问题，由于红外相机的视场要稍大，而可见光成像系统的图像分辨率又大于红外成像系统，因此需要进行红外图像剪裁参数以及可见光图像重采样参数的标定，其中红外图像经模拟采集卡所得图像的分辨率大小为768×576，标定的剪裁参数为[11:569,7:766]，因而剪裁后的红外图像分辨为760×559，采用双线性插值算法将可见光图像进行图像重采样为同样大小，经过剪裁及重采集处理的红外与可见图像便可以应用于后续的图像融合研究。

图6为电视/红外双光成像系统所采集的红外图像、可见光图像以及图像处理结果图，(a)为原始红外图像，分辨率大小为768×576，(b)为原始可见光图像，分辨率大小为1360×1024，(c)为经过剪裁处理后的红外图像，分辨率大小为760×559，(d)为经过重采样处理后的可见光图像，分辨率大小为760×559，(e)为(c)和(d)采用NSCT[9]多尺度变换的图像融合结果图。

图6 图像采集与处理Fig.6 Image acquisition and processing

3 结论

本文针对异源图像融合中存在的图像配准难题，以红外与可见光为研究对象，通过设计共轴光路及辅以精密的光学装校实现了双波段同一场景成像，并基于GenICam和Directshow通用采集架构采用VC++6.0编程实现通用的图像采集系统，从而研究提出一种共轴的电视红外双光成像系统。实验结果表明，利用此成像系统可成功获取“配准的”可见光和红外图像，有效解决了红外与可见光图像融合中的图像配准难题。

（References）

[1]Jang J H,Bae Y,Ra J B.Contrast-enhanced fusion of multisensor images using subband-decomposed multiscale retinex[J].IEEE Trans.Image Process.2012,21(8):3479-3490.

[2]Bennett E P,Mason J L,McMillan L.Multispectral bilateral video fusion[J],IEEE Trans.Image Process.2007,16 (5):1185-1194 .

[3]Pohl C,Genderen J L V.Multisensor image fusion in remote sensing:concepts,methods,and applications[J],Int.J.Remote Sensors.1998,19(5),823-854 .

[4]Piella G.General framework for multi-resolution image fusion:from pixels to Regions[J].Inf.Fusion,2003,4 (4),259-280.

[5]Toet A.Image fusion by a ratio of low pass pyramid[J],Pattern Recognit.Lett.1989,9 (4),245-253.

[6]Mallat S,Theory for multi-resolution signal decomposition:wavelet representation[J],IEEE Trans.Pattern Anal.Mach.Intell,1989,11 (7),674-693.

[7]Nencini F,Garzelli A,Baronti S,Alparone L.Remote sensing image fusion using the curvelet transform[J],Inf.Fusion,2007,8 (2),143-156.

[8]Do M N,Vetterli M.Contourlet transform:efficient directional multi-resolution image representation[J],IEEE Trans.Image Process,2005,14 (12),2091-2106.

[9]da Cunha A L,Zhou J,Do M N.Non-subsampled contourlet transform:theory,design,and applications[J],IEEE Trans.Image Process,2006,15 (10),3089-3101 .

[10]Zitová B,Flusser J.Image registration methods:a survey[J].Image and Vision Comput.2003,(21),977-1000 .

[11]陆其明.DirectShow开发指南[M].北京：清华大学出版社,2003.LU Qiming.Directshow Development Guide[M].Beijing：Tsinghua University Press,2003.（in Chinese）

Coaxial visible and infrared dual-band imaging system

HU Tao1,2，REN Xianyi1,2,ZHANG Jihong1,2

(1.Institute of Information Technology,Shenzhen Institute of Information Technology,Shenzhen 518172,P.R.China;2.Shenzhen Key Laboratory of Visual Media Processing and Transmission,Shenzhen 518171,P.R.China)

This paper proposed a coaxial visible and infrared dual-band imaging system to solve the registration problem existing in different-source image fusion,by taking visible and infrared as research object.The system utilizes the visible and infrared detection technology,uptakes the scenery radiation of different wavelengths or optical energy reflected,adopts transmission and secondary reflection theory to design the coaxial optical path,and realizes the dual-band imaging of same scene.What is more,a universal image acquisition system based on GenICam and Directshow is designed and implemented with VC++6.0 programming language to realize the control of different image capture device.The system can acquire the registered visible and infrared images,and effectively solves the problem of registration for visible and infrared images in different-source image fusion.

visible and infrared dual-band;coaxial optical path;image registration;GenICam;Directshow

TP391.41

：A

1672-6332（2014）01-0035-05

【责任编辑：杨立衡】

2014-2-20

国家自然科学基金(61271420)；广东省自然科学基金(S2011040000662,S2012010008997)；深圳市科技计划项目 (JC201105190829A)

胡涛（1979-），男（汉），湖北英山人，讲师，博士，主要研究方向：机器视觉、图像处理；E-mail:happy.hut@163.com