基于多尺度边缘表示的偏振图像二次融合算法

李世维,黄丹飞,刘 辉,王惠敏

(长春理工大学,吉林 长春 130022)

1 引 言

光波除了具有波长、振幅、相位等属性外,另一重要属性是偏振。地面目标反射和辐射电磁波时,传统成像技术只能探测到光强信息,偏振成像探测技术能根据目标特征获得不同于背景的偏振信息,有利于从复杂背景中凸显目标。研究表明,偏振成像除了能识别隐身、伪装、暗弱、虚假的目标外,在“穿云透雾”方面也具有得天独厚的能力。偏振成像技术将信息从三维扩展到七维[1],对多维信息进行融合,能有效提高目标探测过程中的信噪比,增强目标识别的精确性和可靠性[2-3]。图像融合就是根据不同的准则对来自于不同传感器的同一目标图像或同一场景的多幅图像中的冗余及互补信息进行综合[4],使融合图像的场景信息更加丰富,能更加准确地描述目标特征,有利于进一步观察和分析图像信息以及识别和跟踪目标[5]。

由于目标和背景的粗糙度、含水量、纹理特征的差异会产生不同的偏振态[6],故可反演出其自身的物理和化学特性,常用Stokes向量、线偏振度(DOLP)和偏振相位角(AOP)等来表征目标的偏振信息。基于偏振成像所具备的优点,国内外学者对偏振信息的融合做了许多研究,如Aron等[7]利用偏振成像技术从杂乱背景中识别目标车辆；Alexandre Jouan[8]等对偏振合成孔径雷达图像和高光谱图像提取边缘、纹理特征并进行融合,使融合图像目标更清晰,具有光谱特征；申慧彦等[9]利用小波变换提出了一种基于人眼视觉特性的偏振图像融合方法,结果表明融合后的图像突出了场景的偏振信息,丰富了强度信息,提高了目标与背景的对比度。虞文俊等[10]提出了基于小波变换的红外偏振图像融合算法,提高了红外图像质量,凸显了人造目标。这些融合图像在一定程度上改善了图像质量,但目标边缘的凸显效果不太好。针对这一问题,本文采用基于多尺度边缘表示的偏振图像二次融合算法,与利用公式直接计算偏振信息不同,采用二进小波一次融合获取偏振信息,使得到的DOLP图像较直接计算视觉效果更好,细节更加丰富且清晰可辨；同时摒弃传统算法对整幅图像的融合,采用边缘表示方法进行二次融合,保留了图像I的低频近似特性,突出了DOLP图像的高频偏振特性[11],压缩了数据量,从而加快了融合的计算速度,从源图像中继承了更多的边缘信息,突出了目标的细节轮廓。

2 偏振图像融合预处理

空气中悬浮颗粒、水珠等因素给4个角度偏振图像带来了很强的噪声干扰,同时由于光学系统的不稳定性使得所采集的4幅图像之间存在一定的位置差异。源图像的噪声干扰和图像间的不匹配性不利于后续Stokes参数图像、DOLP和AOP等偏振图像计算以及基于边缘的偏振融合,故需要进行去噪和配准。本文采用二进小波对0°、45°、90°、135°的偏振图像进行3层分解,得到低频近似和不同层上的高频细节图像。对高频图像采用非极大抑制法提取边缘信息,经边缘去噪、配准等预处理重构得到新的4个偏振角度图像,为后续图像融合做准备。

2.1 边缘检测

本文预处理是在边缘检测的基础上提出的,因此需要对图像进行边缘点提取。由于小波变换具有良好的时频局域化特性及多尺度分析能力,能敏感地反映突变信号,因而能准确、有效地定位图像的边缘,在图像边缘提取中的优势十分明显[12]。首先利用高斯函数对图像进行多尺度滤波,通过计算其在x、y方向上的偏导数,得到图像二维小波变换的两个分量,分别求得单个像素点的梯度矢量和相角,根据梯度矢量模值的局部极大值来检测图像的边缘点[13]。

2.2 去噪和配准

2.2.1 边缘去噪

多尺度边缘检测抗噪能力和定位精度是一对矛盾体,小尺度对噪声干扰较为敏感,但能精准定位边缘点的位置,大尺度算子与之相反,使一部分细节信息丢失。可以利用不同尺度的优越性,采用局部模极大值去噪。将小尺度21上的全部模极大值点当做噪声点去除,将尺度22上的模极大值点覆盖在21上,这样可以留下一些真实边缘点。同时由于噪声干扰形成的模极大值点的幅值会随分解尺度的增大呈下降趋势,而真实的边缘则与之相反。如果尺度22上某一位置有模极大值,但在最粗糙尺度23对应位置的8邻域内找不到相应的模极大值点,那么除去22上的伪边缘点。

2.2.2 边缘配准

将去除噪声的边缘图像进行边缘链接,最后以偏振角度为45°的图像为参考图像,采用SURF(speed up robust feature)角点检测算法进行配准。SURF特点:

(1)使用积分图像完成图像卷积(相关)操作;

(2)使用Hessian矩阵检测特征值；

(3)使用基于分布的描述符(局部信息)[14]。

SURF算法是SIFT的一种改进,由于SIFT算法每层金字塔图像都取决于原始图像,尺寸也需重新设计,故计算量较大。而SURF算法只需利用积分图像完成卷积,卷积结果只与上一层图像相关,通过增加图像核的尺寸来降采样。既可以同时处理多层图像,又无需二次抽样,因此速度更快,效率更高。为了使配准精度更高,利用RANSAC方法剔除错误的匹配点对。对预处理后得到的边缘图像进行重构,得到一组新的低噪声、匹配度较高的不同角度偏振图像。

3 偏振图像二次融合

3.1 融合思路

本文融合算法的总体思路为:首先将预处理后得到的新的4幅不同角度偏振图像进行第一次融合,获得I、Q、U、V四个Stokes参数图像,并利用公式计算得到DOLP和AOP图像；其次,求得强度图像I和线偏振度图像DOLP的边缘相关性；最后,利用边缘相关性进行第二次融合。图1是基于边缘的同时偏振图像二次融合算法的框图。

图1 基于多尺度边缘表示的偏振图像二次融合算法框图

3.2 第一次融合

通常Stokes参数图像是由原始偏振角度图像根据相应公式直接计算得到的,但可能会使一些细节信息缺失。本文采用基于边缘的多尺度第一次图像融合方法,使得Stokes参数图像的边缘细节变得更加清晰,同时对任何的微小位移具有鲁棒性。将新得到的一组不同偏振角度的图像进行了二进小波3层分解,对低频和高频系数进行特定的组合计算得到所需的Stokes参数图像的高低频系数,最后进行交替投影重构得到Stokes参数图像。组合计算公式如下:

I=I0°+I90°Q=I0°-I90°U=I45°-I135°V=(I45°-I135°)左旋-右旋

(1)

I指光强度图像,该图像含有丰富的场景信息,但细节对比度较低；Q指0°、90°线偏振图像的差值图像；U指45°、135°线偏振图像的差值图像；V指左、右旋圆偏振分量图像的差值图像。由于圆偏振光在自然界地物中几乎不存在,目前的仪器无法对其进行捕捉[15],故此处取V=0。

3.3 第二次融合

3.3.1 边缘相关性

在第二次融合时用到了边缘相关性这一指标。它一般是用来评价图像的融合效果,此处用来估计融合图像从源图像中继承边缘信息量的多少。边缘相关性公式如下:

(2)

(3)

(4)

3.3.2 融合方法

自然物较人造物表面显得更加光滑,因此偏振参数图像中人造目标与自然地物的灰度亦有所不同。在偏振参数图像DOLP和AOP中,人造目标相对自然背景会更亮,有利于后续方便、快速地从复杂背景中辨别出所需的目标。对于偏振成像而言,可以利用不同的计算公式将Stokes参量变为DOLP和AOP。

(5)

(6)

线偏振度DOLP这一概念是在不同物体的内部构造、外貌、材质和粗糙度有所差别的基础上提出来的,反映出对物体偏振态的辐射特性差异。偏振相角AOP不仅可以表征物体表面取向的不同,而且能凸显背景和目标的轮廓细节以及表面纹理。由于AOP图像信噪比较低,不利于图像融合,故而只融合强度图像I与线偏振度图像DOLP。与第一次融合相比,高低频融合规则上有所不同,低频采用区域能量的方法,高频是基于边缘相关性准则的方法。

低频融合准则:通过对2幅图像的低频系数图像进行Canny边缘检测,若某一点为任一幅图像上的边缘点,则融合图像F在这一位置选绝对值较大的低频系数,否则利用3×3窗口选取局部区域能量较大的低频系数。

高频融合准则:

(1)若边缘点只在一幅图像中出现,则认为在该点处2幅图像的边缘不相似,故选择这一边缘点出现的那幅图像的高频系数作为融合后图像F相应点处的高频系数,即:

(7)

(2)若边缘点在2幅图像中同时出现,但该点处2幅图像的相关性小于阈值thr,则选取绝对值较大的那幅图像的高频系数。

(8)

(3)若边缘点在2幅图像中同时出现,但该点处2幅图像的相关性大于阈值thr,那么对2幅图像的高频系数进行加权,使得边缘较强的那幅图像得到更大的权值。

(9)

(10)

wS=1-wL

(11)

4 融合结果及评价分析

为了验证本文算法的有效性,实验选用自然背景下拍摄到的4个不同角度偏振图像。

图2为4个不同偏振角度图像,(a)为原始4个角度图像；(b)为预处理后4个角度图像。图中去噪效果不明显,但配准后的4幅图像位置差异得到了很好的校正。

图2 4个不同偏振角度图像

图3 强度I和线偏振度DOLP图像

图3为强度I和线偏振度DOLP图像,(a)为直接计算得到的强度I和线偏振度DOLP图像；(b)为一次融合得到强度I和线偏振度DOLP图像。图中可以明显观察到本文一次融合得到的DOLP图像较直接计算视觉效果更好,细节更加丰富且清晰可辨,但强度图像I几乎没有差别。从平均梯度(G)、熵(E)、空间频率(SF)和边缘强度4个方面对第一次融合与直接计算两种结果对比,强度图像I的评价指标值接近,而采用一次融合方法得到的DOLP图像其评价指标都有所提高。其中边缘强度提高了3.55%,平均梯度提高了4.52%,空间频率提高了17.97%,熵值提高较少。表明本文方法得到的DOLP图像所含边缘信息较多,清晰度较好,空间活跃度较高,这与主观评价一致。具体指标结果如表1所示。

表1 一次融合与直接计算结果对比

图4为不同方法融合结果,(a)为拉普拉斯金字塔法融合结果图像；(b)为小波变换法融合结果图像；(c)为Curvelet变换法融合结果图像；(d)为本文二次融合方法结果图像。图中可以看出,相比其他几种典型的图像融合算法,本文方法较其他传统融合方法细节更丰富,在融合效果上更具优势,如马路上的沥青线、后面金属板上的竖条纹清晰可见。表明了该融合图像结合了强度图像I明亮、清晰可辨的优点和线偏振度图像DOLP能反映不同物体性质的特点,使物体的边缘得到了很好地加强。

根据偏振图像及本文算法的特点选择平均值(AVE)、标准差(STD)、平均梯度(G)、熵(E)、互信息(MI)、结构相似性(SSIM)和边缘强度(EINT)等客观评价指标对本文算法的性能进行评价,并与不同融合算法比较,就结果如表2所示。

图4 不同方法融合结果

评价指标AVESTDGEMISSIMEINT拉普拉斯金字塔113.042960.49103.58857.76700.72460.842936.36474小波76.640635.71851.85786.86820.83700.736017.8250Curvelet123.587167.76913.17797.83550.84590.881231.5211二次融合126.827470.000811.98957.64620.90620.350798.6888

表2中可以看出本文算法是一种相对较好的融合方法,与传统方法相比,除SSIM外,其他几个客观评价指标中都有一定的提高。本文算法相比传统小波变换法平均值提高了65.48%,标准差提高95.98%,平均梯度是传统小波的6.45倍,表明本文结果图像平均亮度更高,灰度分布更分散,图像细节更加清晰,视觉效果更好；熵值、互信息也有一定的提高,表明本文算法融合结果从源图像中继承的信息量较多,即融合图像与原图像的相关程度更高；虽然结构相似性较其他方法有所降低,但边缘强度有非常大的提高,是小波的5.54倍,说明本文基于边缘的方法从源图像中继承了更多的边缘信息,突出了目标的细节轮廓。因此,在那些希望突出伪装或隐藏目标的应用场合中,本文算法效果较好。

5 结 论

本文在偏振成像技术的基础上,提出了一种基于多尺度边缘表示的偏振图像二次融合方法。通过二进小波多尺度分解,一次融合后得到偏振信息图像,提高了线偏振度图像的边缘强度、清晰度和空间活跃性；二次融合利用边缘相关性准则,保留了强度图像的低频近似特性,突出了线偏振度图像的高频偏振特性。结合主观和客观评价,对本文算法中一次融合、二次融合分别与直接计算法、传统方法进行对比分析,结果表明:一次融合时,DOLP图像中边缘强度提高了3.55%,平均梯度提高了4.52%,空间频率提高了17.97%；二次融合时,平均值提高了65.48%,标准差提高95.98%,平均梯度是传统小波的6.45倍,边缘强度是小波变换的5.54倍。多次实验结果表明此算法丰富了图像在不同尺度上的边缘信息,突出了目标边缘轮廓,大大提高了偏振成像的优越性。下一步,将结合其他融合方法、融合准则,对不同场景、天气情况下的偏振图像进行融合,寻找不同条件下偏振图像的最佳融合方法。

[1] LI Hailan,WANG Xia,ZHANG Chuntao,et al.research progress and analysis of target detectionBased on the polarization imaging technology[J].Optical Technique,2009,35(5):695-700.(in Chinese)

李海兰,王霞,张春涛,等.基于偏振成像技术的目标探测研究进展及分析[J].光学技术,2009,35(5):695-700.

[2] Zhao Yongqiang,Zhang Lei,Zhang David,et al.Object Separation by polarimetric and spectral imagery fusion[J].Computer Vision and Image Understanging,2009,113(8):855-866.

[3] ZHAO Yongqiang,PAN Quan,CHEN Chunyu,et al.The clutter background compression based on the polarization imaging technology and image fusion theory[J].Acta Electronica Sinica,2005,33(3):433-435.(in Chinese)

赵永强,潘泉,陈春玉,等.基于偏振成像技术和图像融合理论杂乱背景压缩[J].电子学报,2005,33(3):433-435.

[4] ZHANG Jinglei,Zhao Eying.Fusion Method for infrared and visible light images bsed on NSCT[J].Laser & Infrared,2013,43(3):319-323.(in Chinese)

张惊雷,赵俄英.基于NSCT的红外与可见光图像融合方法[J].激光与红外,2013,43(3):319-323

[5] ZHANG Jingjing,FANG Yonghua.Multi-band polarization image fusion new algorithm based on visible light [J].

Acta Optica Sinica,2008,28(6):1067-1072.(in Chinese)

张晶晶,方勇华.基于可见光的多波段偏振图像融合新算法[J].光学学报,2008,28(6):1067-1072.

[6] NIE Jingsong,WANG Zhen.Summarization of Infrared polarization detection technology[J].Infrared Technology,2006,28(2):63-67.(in Chinese)

聂劲松,汪震.红外偏振探测技术综述[J].红外技术,2006,28(2):63-67.

[7] Aron Y,Gronau Y.Polarization in the LWIR[C].Proceedings of SPIE,2005,5783:653-661.

[8] Jouan A,Allard Y.Land use mapping with evidential fusion of features extracted from polarimetric synthetic aperture radar and hyperspectral imagery[J].Information Fusion,2004,5(4):251-267.

[9] SHEN Huiyan,ZHOU Pucheng.Polarization imagery fusion method based on human visual characteristic[J].Opto-Electronic Engineering,2010,37(8):76-80.(in Chinese)

申慧彦,周浦城.一种基于人眼视觉特性的偏振图像融合方法[J].光电工程,2010,37(8):76-80.

[10] YU Wenjun,GU Guohua,YANG Wei.Fusion algorithm of infrared polarization images based on wavelet transform[J].Laser Technology,2013,37(3):289-292.(in Chinese)

虞文俊,顾国华,杨 蔚.基于小波变换的红外偏振图像融合算法[J].激光技术,2013,37(3):289-292.

[11] Wolter P T,Townsend P A.Multi-sensor data fusion for estimating forest species composition and abundance in northern Minnesota[J].Remote Sensing of Environment,2011,115(2):671-691.

[12] XIONG Zukun,Li Haiyun.Medical image segmentation algorithm which combined with heterogeneous diffusion and wavelet packet decomposition[J].Journal of Computer-aided Design and Graphics,2008,20(12):1647-1652.(in Chinese)

熊祖坤,李海云.结合异质扩散和小波包分解的医学图像分割算法[J].计算机辅助设计与图形学学报,2008,20(12):1647-1652.

[13] LIANG Wei, ZHANG Bin,Lu Yi.A new multi-scale edge detection method based on wavelet transform[J].Fire and Command Control,2007,32(10):86-88.(in Chinese)

梁伟,张斌,鲁艺.一种新的基于小波变换的多尺度边缘提取方法[J].火力与指挥控制,2007,32(10):86-88.

[14] M ikolajczyk K,Schmid C.A performance evaluation of local descriptors[J].IEEE Transon Pattern Anal M ach Intell,2005,27(10):1615-1630.

[15] XUE Mogen,LIU Xiaocheng.The detection method research of moving targets polarization imaging under the complex environment[J].High Power Laser and Particle Beams,2014,(9):21-26.(in Chinese)

薛模根,刘晓诚.复杂环境下运动目标偏振成像检测方法研究[J].强激光与粒子束,2014,(9):21-26.