一种自适应的红外与可见光图像融合算法

舒久明

(西安电子科技大学 电子工程学院,陕西 西安 710071)

一种自适应的红外与可见光图像融合算法

舒久明

(西安电子科技大学 电子工程学院,陕西 西安 710071)

通过一种自适应算法对红外图像和可见光图像进行了融合,该方法能根据当前环境下的图像特性自适应地调整融合参数。分析了红外与可见光图像的特性,并对已有的小波融合算法进行仿真验证,最终提出了基于小波变换的自适应融合算法,并对其进行了测试。实验结果表明,该方法产生的融合图像更有利于人眼观察,且融合性能指标也有所提升。

红外;可见光;融合;自适应

随着信息融合技术的发展,多传感器协同工作成为了可能。而伴随着视频图像处理领域需求的提升,各种各样的图像传感器不断涌现,性能在提高,成本也不断下降。寻求一种技术综合所有图像传感器获取的信息以获取更高的系统性能成为了新的发展方向。

图像融合技术发展迅速,由于红外技术在军用市场的重要性,红外与可见光图像融合技术格外受到研发人员的重视,在一些发达国家,上世纪90年代便已开始了研究,并投入了大量的人力和物力,取得了较有意义的成果,美国已经在大量武器装备上采用了该技术。而相比国外,由于关键技术的落后,图像融合方面的研究起步较晚,目前,据资料显示,北京理工大学近年来致力于图像融合技术的研究,并成功研发出实时融合处理系统[1],也只有少数机构将该项技术应用于产品开发。

1 可见光与红外图像融合分析

传感器不同,获取的图像特性则不同,可见光与红外传感器成像特点有较大不同。融合的目的就是为了能方便地观察到更多场景中的信息,将不同传感器所采集到的有用信息可显示在一幅图像上,其有利于提高系统后续的检测搜救等功能。

可见光传感器获取场景的各种反射信息,有较高的时空分辨率,图像包含有丰富的几何和纹理细节以及丰富的色彩信息。但在天气恶劣的情况下,成像效果较差,穿透能力弱,会存在有些重要目标丢失的情况。红外传感器能探测到隐藏的目标,其利用目标与背景的温度差别可显示目标的轮廓,但成像背景细节少,分辨率低。集合可见光的细节和红外的高灰度目标也就成了红外与可见光图像融合的主要目标[2]。

简单的像素加权难以取得较好的融合结果,需要有更精确的图像表示来进行融合获取结果图像。而在图像处理中,最为可靠而且最方便用于工程表示和计算图像的方式就是利用频率信息。高频信息体现着图像纹理细节的信息,低频部分则代表的图像基本内容包括背景信息,目标几何形状等。所以在融合处理中,众多研究者把如何将图像准确的用高频和低频信息表示作为研究重点,在实际应用中也确实取得了较好的效果。

2 基于小波变换的图像融合原理

基于小波变换的图像融合技术[3]以多分辨率理论为基础,该融合方法可在不同的尺度和频率空间对图像进行表示和观察,其克服了简单像素加权方法带来的拼接痕迹和图像金字塔融合方法的数据冗余性的缺点,而且有针对性地对图像细节信息进行融合处理,这种多尺度的融合处理更复合生物视觉特性,与人眼观察事物从粗到细的认知过程也相似。

图1 小波分解原理

源图像分解后,便可得到按层次分解获取的图像信息,对应层次的信息需要进行组合。该过程就需要有融合规则来进行指导。不同层次代表着图像不同的内容,也决定了融合过程需要不同的融合规则。低频子带可反映出图像的整体灰度信息,而高频子带代表了图像的边缘高频信息,反映了物体的轮廓。大多研究工作,低频采用加权相加规则,高频通过图像特性例如方差、空间频率等指标进行选取[4],最后将融合所得的子带信息进行重构可得到融合图像。

3 自适应融合算法思想

选定小波基之后,融合规则的选取对于图像融合的结果有较大影响。至今也没有一个融合规则得到所有科研人员的认可,图像小波分解后,低频信息可反映出整个背景信息包括平均灰度信息和明显的边缘轮廓,在多聚焦图像融合中,不同原图像低频信息非常接近,所以大多采用平均加权即可满足需求,而针对红外与可见光图像融合,这样的低频融合规则就会出现问题,因为红外与可见光的灰度范围通常相差较大,两者所表现出的场景信息有时也会相差较大,且可见光一般情况纹理更丰富,最终导致两者的低频子带有较大区别,传统的平均加权融合会导致最终融合结果纹理不自然,影响人眼的观察。

高频信息融合最重要的目的就是保留源图像中有意义的细节信息,一般的融合规则都是对像素逐个处理,没有考虑到区域特性,融合结果不可避免出现纹理较源图像更粗糙。

针对红外与可见光融合出现的问题,本文提出一种自适应的红外与可见光融合方法,算法具体流程如图2所示。

图2 自适应小波融合算法流程

(1)由距离观察场景目标的远近来自适应改变小波分解层次,感兴趣目标尺寸越小,需要分解的层次N越小,同一分辨率的图像,越小的细节需要在高尺度体现出来。

(2)由于可见光图像最符合人眼观察,且图像的低频部分反映区域平均灰度即自然场景的明暗,最能真实地反映观察环境,低频部分完全采用可见光低频系数。

(3)小波分解的高频系数反映了图像的细节信息,高频中较大系数代表了原图像的明显细节,采用绝对值取大的融合规则[5]。

在医院管理当中,护理工作是贯穿在医院感染控制工作的整个过程当中,根据调查显示,发生医院感染的原因大对数由与医护人员操作不当有关,随着近年来国内一些严重的医院感染事故的发生,医院管理层及医护人员应意识到护理工作的重要性,加强护理管理工作。在医院管理中,首先完善各项护理工作制度与规范,其次加强对护理基础工作的管理,严格无菌操作;加强手卫生依从性管理;加强消毒隔离工作;加强病区与门诊的护理管理工作等,护理管理在医院感染防控中起着重要的作用。

(1)

(2)

(4)高频系数中较小的部分,根据区域特性标准差或能量来决定选取哪个原图像高频分量。

(3)

(4)

4 仿真结果分析

4.1 算法仿真

选取两组具有代表性的图像,分别进行了传统小波融合方法和自适应小波融合方法的仿真,其仿真结果如图3和图4所示。

图3 第一组仿真图像数据

图4 第二组仿真图像数据

4.2 仿真结果分析

仿真结果发现,传统小波融合方法与本文提出的自适应融合算法结果有明显不同,下面从主观评价和客观评价对融合结果进行分析。

4.2.1 主观评价

第一组图像尺寸为430×430像素,红外与可见光图像的灰度范围相差非常大,红外感兴趣目标所占矩形区为120×50像素,自适应小波分解层数为6,对比传统小波融合方法和本文提出的自适应融合方法,传统小波融合结果的纹理明显变得不自然,而自适应融合方法保留了可见光图像的纹理,且将红外图像的感兴趣目标显示在融合图像中。

第二组图像尺寸为423×297像素,感兴趣目标同时存在于可见光与红外图像,尺寸为60×30像素相比原图比例较小,自适应小波分解层数为5,传统小波融合结果纹理明显不自然,改变了可见光中的真实纹理,同时两个目标在可见光中纹理清晰,融合结果变得模糊。而自适应小波融合结果纹理自然,在一定程度上增加了目标的灰度但同时保存了可见光中的纹理。

4.2.2 客观评价

为更客观地评价图像融合结果,本文结合一些客观评价指标对融合图像质量进行评价[6]。表1给出了两组图像仿真结果的客观评价指标数据。

(1)标准差:灰度标准差反映了个灰度相对于图像均值的离散程度,标准差越大,图像纹理越丰富。

(2)平均灰度值:梯度是反映图像局部特性的指标,平均梯度越大,图像局部细节变换明显,图像比较清晰。

(3)熵:图像的熵信息用于衡量信息丰富程度的指标,熵值越大,图像包含信息量越丰富。

表1 两组图像仿真结果的客观评价指标

从评价指标上看,只有标准差获得了明显提高,这是因为融合结果在保留了可见光的丰富纹理基础上,融合了红外的感兴趣目标。熵信息和平均梯度没有明显提高,甚至会有有所下降。红外与可见光的融合不同于多聚焦图像融合,多聚焦融合是为了得到纹理更清晰的图像,而红外与可见光图像融合要求保持自然场景的前提下,融合红外图像中的感兴趣目标[7-8],因此,主观评价应该作为其主要的评价手段,客观评价只能作为评价结果的辅助手段。

5 结束语

在利用传统小波融合方法的基础上,提出了一种自适应小波融合方法。实验表明,这种方法明显改善了传统小波融合带来的问题,融合结果更符合人眼的观察习惯,但同时相比传统小波融合,在感兴趣目标较小的情况下,计算量会增加,下一步研究是如何在保持融合效果的同时,提高融合速度、减少计算量。

[1] 骆媛,王岭雪,金伟其,等.微光可见光红外彩色夜视技术处理算法及系统进展[J].红外技术,2010,32(6):337-344.

[2] 刘信乐.红外图像与可见光图像融合方法研究[D].成都:电子科技大学,2010.

[3] Li H,Manjunath B S,Mitra S K.Multisensor image fusion using the wavelet transform[J].Graphical Models Image Process,1995,57(3):235-245.

[4] Li S,Kwok J T,Wang Y.Combination of images with diverse focuses using the spatial frequency[J].Information Fusion,2001,2(3):169-176.

[5] 欧阳洪波.基于Contourlet变换的自适应图像去噪及图像融合研究[D].长沙:湖南大学,2012.

[6] Xydeas C S,Petrovie V.Objective image fusion performance measure[J].Electronics Letters,2000,36(4):308-309.

[7] 刘震,那彦.基于自适应区域方差的图像融合方法[J].电子科技,2013,26(10):67-69.

[8] Waxman A M,Aguilar M,Baxter R A,et al.Opponent-color fusion of multi-sensor imagery:visible,IR and SAR[C].Proceeding of the Meeting of the IRIS Specialty Group on Passive Sensors,1998,1:43-61.

An Adaptive Fusion Method for Infrared and Visible Images

SHU Jiuming

(School of Electronic Engineering,Xidian University,Xi’an 710071,China)

This paper presents an adaptive fusion algorithm for infrared and visible images.This algorithm can change the fusion parameters adaptively based on the current image characteristics.First,the paper analyzes the features of infrared and visible images;then,the existing fusion algorithms based on wavelet transform are simulated;finally,an adaptive fusion algorithm based on wavelet transform is presented and verified.The results show that this algorithm provides better subjective visual effect,and evaluation parameters acquired are improved to some extent.

infrared;visible;fusion;adaptive

2014- 10- 17

舒久明(1990—),男,硕士研究生。研究方向:图像处理与模式识别。E-mail:jiumingshu@163.com

10.16180/j.cnki.issn1007-7820.2015.05.007

TN219

A

1007-7820(2015)05-024-04