基于目标特性分析的红外与微光图像融合算法

杨文彬，张俊举，许 辉，陆刘兵，韩 博，陶媛媛

(1.南京理工大学电子工程与光电技术学院，江苏南京210094;2.总装驻扬州地区军事代表室，江苏扬州225009;3.中国兵器工业第205研究所，陕西西安710065)

1 引言

红外与微光图像融合是近年来夜视图像领域研究的热点。红外热像仪对热目标敏感，能够穿透烟雾识别隐藏目标，而微光夜视仪工作于可见光及近红外光谱，所成图像符合人眼视觉特性，分辨率较高。因此，红外与微光图像的融合能够有效地提取和综合红外图像较好的目标指示特性和微光图像的清晰场景信息［1－3］。

通常，图像融合的处理可在三个不同层次上进行:像素级融合、特征级融合和决策级融合。像素级图像融合是特征级图像融合和决策级图像融合的基础，因此，基于像素级融合方法一直以来是人们研究的重点。像素级融合主要采用加权平均法、选举决策法、卡尔曼滤波法、数理统计法等，大致可分为简单图像融合方法、基于塔形分解方法、基于小波变换法三大类［4］。

目前针对目标特性分析的图像融合算法的研究较少。目标特性分析在目标探测中具有重要地位，也是图像融合前的必要环节。对于红外、微光等成像探测来说，目标的特性分析更是其主要内容。进行目标特征分析研究包括目标(和背景)的辐射特性、辐射的传输特性、探测器的成像特性、目标(和背景)在图像上的表现特征等，这些均是成像探测中目标特征分析涉及的内容。各种典型目标在不同波段检测图像表现特征不同，其根本原因是由于目标及其背景在不同波段的辐射特性、传输特性、成像特性等存在差异［5］。本文针对像素级的图像融合，提出了一种基于目标特性分析的图像融合算法。该算法从目标背景辐射和反射对比度特性、探测器光谱匹配特性、辐射大气传输特性、目标距离和尺寸特性出发，求得基于红外和微光目标特性分析的相应的加权系数，由计算得到的加权系数可以较好地完成红外与微光图像的融合。最后通过仿真实验分析，验证了该算法的性能。

2 目标特性分析

2.1 目标背景对比度特性

2.1.1 红外目标背景对比度特性

物质是由原子、分子构成的，它们按一定的规律不停地运动着，其运动状态不断地发生变化，因而不断地向外辐射能量，这就是热辐射现象，红外辐射的物理本质就是热辐射。普朗克应用微观粒子能量不连续的假说——量子概念，并借助于空腔和谐振子理论，导出了以波长λ(μm)和温度T(K)为变量、确定黑体辐射出射度MbλT(W·m－2·μm－1)的公式为:

式中，c1=3.7418×1016W·m2为第一辐射常量;c2=1.4388×10－2m·K为第二辐射常量。普朗克定律描述了黑体辐射的光谱分布规律，它揭示了红外辐射的出射度与辐射波长λ和温度T的关系。

然而，由于实际物体的红外辐射与表面状态密切相关，因此在使用上述公式时，需要对表面发射率进行修正。一般来说，实际物体的表面发射率也是波长与温度的函数，定义其光谱辐射出射度Mλ与黑体辐射出射度MbλT之比为其光谱发射率ελT:

因此，实际物体的光谱辐射出射度MλT为:

表1给出了常见材料及地面覆盖物的辐射发射率［6］。

表1 常见材料及地面覆盖物的辐射发射率

对于红外成像而言，目标能否被探测到取决于目标与背景的辐射差异，因此，定义目标的辐射对比度CIR为:

式中，Mt为目标的辐射出射度;Mb为背景的辐射出射度。

2.1.2 微光环境下目标背景对比度特性

微光成像系统是根据目标反射夜天空的辐射能照射到光电阴极上，由光电阴极在其敏感的光谱范围内积分来实现成像。对一定波长间隔dλ内的入射辐射能量P0而言，某一分界面在一定温度下的反射辐射能通量P与P0之比，称为光谱反射系数r［8］:

光谱反射系数与波长、温度、分界面种类和光洁度及入射角有关，图1给出了常见物体的光谱反射系数［7－8］。

在可见光波段，目标能否被探测到与目标背景的反射对比度有关，目标的反射对比度CLL定义为:

式中，ρt(λ)和ρb(λ)分别为目标与背景的光谱反射率。

图1 常见物体的光谱反射系数

2.2 探测器特性

对光电探测器而言，光谱响应率用来描述器件的灵敏程度，它是器件对单色入射辐射的响应能力。光谱匹配系数反映了各种光谱响应的光电阴极对不同的辐射源的光谱利用率的高低，它能有效地表征光电阴极的光谱响应与辐射源光谱之间的匹配程度，其定义为:

式中，S(λ)为探测器的相对光谱响应率，即:

式中，Sλ为探测器的光谱响应率;Sm为其峰值响应。P(λ)为目标的相对光谱分布，即:

式中，Pλ为目标的光谱分布;Pm为其峰值。对于微光探测器而言，Pλ为目标的反射光谱分布;对于红外探测器而言，Pλ为目标的辐射光谱分布。

光谱匹配系数α的范围为0～1，α越大，则探测器和目标的匹配越好，成像效果就越好;α越小，则匹配越差，成像效果也就越差;当探测器光谱响应和辐射源光谱完全不匹配时，α具有最小值0;理想情况下，二者完全重合，则α具有最大值1。

2.3 大气传输特性

大气本身对辐射有吸收和散射等作用，将造成辐射能的衰减。因此，大气的传输特性直接影响探测器的探测效果。辐射能在大气中的传输能力可以用透射率来表征。透射率定义为辐射穿过大气未被吸收衰减的能量与总能量之比。透射系数τ与作用距离R的关系可以表示为:

式中，V为能见距离，定义为在一定的大气透明度下，人眼能发现以地平天空为背景的黑色目标物(视角大于30')的最大距离。

2.4 目标距离和尺寸特性

在目标探测的实际应用中，目标距离和尺寸大小对最终的探测效果有着重要影响。因此，我们设计一个距离因子来描述目标距离和尺寸大小对探测概率的影响。首先，目标对人眼的张角为［9］:

式中，H为目标高度，单位为m;R为目标距离，单位为km。目标距离因子为:

对于不同尺寸大小的目标，距离因子σ与目标距离的关系如图2所示。由图可知，距离因子随着距离的增加而减小。在相同距离的情况下，目标越大，则距离因子越大。

图2 距离因子和目标距离的关系

3 基于目标特性分析的红外与微光图像融合算法

对于一定的目标而言，单一探测器的探测结果是目标背景对比度特性、探测器光谱匹配特性、大气传输特性和目标自身特性联合作用的结果。

对于红外成像系统，最终图像中的目标特性指标为:

式中，CIR为目标的辐射对比度，由式(4)计算得到;αIR为微光成像系统与目标的光谱匹配系数，由式(7)计算得到;τIR为大气中微光的光谱传输系数，由式(10)计算得到;σ为目标距离因子，由式(12)计算得到。

对于微光成像系统，最终图像中的目标特性指标为:

式中，CLL为目标的反射对比度，由式(6)计算得到;αLL为微光成像系统与目标的光谱匹配系数，由式(7)计算得到;τLL为大气中微光的光谱传输系数，由式(10)计算得到;σ为目标距离因子，由式(12)计算得到。

对于某一目标，KLL和KIR代表着探测器对该目标的探测性能，KLL和KIR的值越大，说明目标被探测到的可能性越大。因此，我们定义融合图像中加权系数的计算方法:

则最终的融合图像IF(i，j)为:

式中，ILL(i，j)为 微光图像;IIR(i，j)为红外图像。基于目标特性分析的红外与微光图像融合模型流程图如图3所示。

图3 基于目标特性分析的红外与微光图像融合算法模型流程

4 实验仿真及分析

为了验证本文提出的加权系数计算方法在图像融合中的实际效果，设计了一组实验，分别比较了基于加权平均法(ω=0.5)、区域能量确定加权系数法和本文提出的基于目标特性分析的图像融合仿真实验，并从人眼视觉感受方面定性地对融合效果图像做了主观分析。

如图4所示为同一场景下的红外和微光源图像，场景以草地、混凝土为背景，以哨兵为目标，二者的测量数据如表2所示。红外探测器的光谱响应范围为8～14 μm，微光探测器的光谱响应范围为0.25～0.9 μm，红外探测器和微光探测器的归一化光谱响应率如图5和图6所示。目标哨兵和其所在的混凝土工事背景在微光探测器光谱响应波段的积分差距较小，且目标在探测器光谱范围内的积分数值更小，使得目标处于低灰度等级，且二者对比度较差。红外图像中，由于二者在温度上的差异，使得其具有较高的对比度，更容易引起人眼视觉刺激效应。

表1 目标、背景参数

图6 微光探测器归一化光谱响应率图

基于加权平均算法(加权系数为0.5)的融合效果图、区域能量确定加权系数法的融合效果图和本文提出的基于目标特性分析的融合效果图如图7所示。比较三幅融合效果图，可以很明显发现图7(a)融合效果最差，图像灰度失真较为严重;图7(b)和图7(c)融合效果比较接近，不仅能有效地反映出微光图像的光谱信息，还提取出了红外图像中的目标信息，但图7(c)中与图7(b)相比，视觉特性更优、细节信息更为丰富，人眼能够更有效、准确地提取图像中的目标特征，更有利于探测和识别目标。所以通过人眼视觉主观评价可以得出结论:与基于加权平均和区域能量确定加权系数的图像融合算法相比，本文算法得到的融合图像中目标和其所在背景的对比度更容易引起人眼视觉刺激效应，更利于潜在目标的观察。

图7 红外和微光图像融合效果

5 结论

本文首先对红外、微光辐射原理进行了分析，研究了目标的红外辐射对比度特性、微光反射对比度特性;其次，通过对红外探测器、微光探测器的光谱响应率和目标的目标辐射光谱分布、反射光谱分布的匹配程度分析，研究了探测器光谱匹配特性;再次，由大气的光谱传输特性出发，研究了目标辐射大气衰减特性;最后，通过目标自身尺寸和探测距离的分析，设计了目标距离影响因子。在此基础上，本文提出了基于目标特性分析的加权系数的计算方法，并将其引入到图像融合理论中。在对比实验中经过定性的观察验证了该算法在红外、微光图像融合中的可行性。

［1］ Zhang Junju，Tian Si，Chang Benkang.Infrared target tracking in real-time video and its implementation［J］.SPIE，2008，6621:66211S －1 －7.

［2］ Zhou Fengfei，Chen Weidong，Li Liangfu.Fusion of IR and visible images using region growing［J］.Journal of Applied Optics，2007，28(6):737 －741.(in Chinese)周锋飞，陈卫东，李良福.一种基于区域生长的红外与可见光的图像融合方法［J］.应用光学，2007，28(6):737－741.

［3］ Jin Weiqi，Wang Lingxue，Zhao Yuanmeng.Developments of image processing algorithms for color night vision［J］.Infrared and Laser Engineering，2008，37(1):147 －150.(in Chinese)金伟其，王岭雪，赵源萌.彩色夜视成像处理算法的新进展［J］.红外与激光工程，2008，37(1):147 －150.

［4］ Wang Ting.Fusion technology of infrared and LLL images［D］.Nanjing:Nanjing University Of Science And Technology，2007.(in Chinese)王停.红外与微光图像融合技术研究［D］.南京:南京理工大学，2007.

［5］ Li Min，Tan Zheng，Li Xiaoyan.Research and performance evaluation of multisensor image fusion［J］.Computer Engineering and Applications，2006，28(6):39 － 41.(in Chinese)李敏，谈正，李晓燕.多传感器图像融合技术及评价方法研究［J］.计算机工程与应用，2006，28(6):39－41.

［6］ Chen Yongfu.Infrared radiation，infrared device and typical application［M］.Beijing:Electronic Industry Press，2004.(in Chinese)陈永甫.红外辐射红外器件与典型应用［M］.北京:电子工业出版社，2004.

［7］ Liu Lei.Visual range evaluation of LLL night vision system with laser illuminator［D］.Nanjing:Nanjing University Of Science And Technology，2005.(in Chinese)刘磊.激光助视/微光夜视系统视距评估研究［D］.南京:南京理工大学，2005.

［8］ Li Wei，Chang Benkang.A study on the characteristics of reflection spectrum of field of view under night-sky radiation［J］.Journal of China Ordnance，2000，21(2):177 －179.(in Chinese)李蔚，常本康.夜天光下景物反射光谱特性的研究［J］.兵工学报，2000，21(2):177 －179.

［9］ Bailey H H.Target detection through visual recognition and a quantitative model［R］.New York:The Rand Corporation，1970.