王言 郭全民 张豪文
(西安工业大学,西安 710021)
主题词:汽车抗晕光 图像融合 IHS色彩空间 Curvelet变换
夜间行车时,对向车辆的远光灯会使驾驶员感到刺眼,无法看清前方路况,这种由于目标和背景亮度差异巨大而导致的瞬间致盲现象称为晕光现象。滥用远光灯极易造成晕光现象而引发交通事故,据公安部门统计,我国发生在夜间的交通事故中,与远光灯使用不当有关的达到30%~40%[1]。因此,消除晕光以提高夜间驾驶安全性是目前亟待解决的问题。
针对这一问题,在双向车道中间设置植物隔离带或隔光板可有效消除晕光,但受城建规划等因素影响,一般仅应用于城市主干道和高速公路。文献[2]研究表明,在机动车前照灯及前风窗玻璃上加装偏振片能完全消除晕光,但偏振片会削弱光照强度造成暗处信息观察困难,且要求对方车上同样安装有方向严格一致的偏振装置,难以普及。文献[3]利用两路积分时间不同的摄像机采集同一场景融合成一幅图像,扩大了图像的动态范围,但无法彻底消除晕光现象。部分制造商给汽车配备了红外夜视仪[4-6],利用物体反射或自身辐射的红外线成像来解决晕光问题,红外图像无晕光,但色彩、细节信息缺失严重,视觉效果不理想。文献[7]提出了使用IHS加小波变换融合可见光和红外图像的方法来消除晕光,该方法充分利用了可见光图像色彩细节信息丰富和红外图像没有晕光的优点,融合后的图像在降低晕光的同时,又具有丰富的色彩和细节信息,为解决晕光问题提供了一种新途径,具有广泛的应用前景。但由于采用的小波变换无法有效表达二维信息中的边缘、轮廓等细节信息,故融合图像的清晰度仍有待提高。
为了较为彻底地消除晕光,获得符合人眼视觉习惯的清晰图像,本文利用Curvelet[8]支撑区间具有各向异性的特点,提出了一种在IHS色彩空间下使用Curvelet变换融合可见光和红外图像的方法。Curvelet变换相比小波变换,在消除融合图像晕光的同时,能保留更多的细节信息,提升图像清晰度。
可见光图像虽然存在晕光现象,但其在除晕光之外的区域光谱信息丰富、分辨率高、细节纹理清晰;红外图像虽然分辨率低,细节信息模糊,但是其穿透性强,不受光照条件影响,夜晚拍摄强光目标源不会产生晕光。因此,本文利用可见光和红外图像成像特点的互补性来解决晕光问题,将二者进行融合获得既无晕光又细节清楚的图像。
由于原始图像以RGB色彩模式存储,首先将可见光图像转换到IHS色彩空间进行处理,即将其转换为亮度I、色调H和饱和度S等3个分量,通过观察发现晕光信息主要存在于其亮度分量I中,故仅对I与红外图像进行单通道融合,相比3个通道同时处理可减少运算量,提高处理速度,并且将亮度分量和色彩分量分开处理的方法有效地避免了色彩失真现象,得到的图像更符合人眼视觉习惯。采用Curvelet变换来融合可见光亮度分量和红外图像,克服了二维小波基不具有各向异性的缺陷,能更好地表达边缘、轮廓等细节信息。低频系数包含了图像的主要信息,反映了图像的大致轮廓,相当于一定尺度下对原始图像的近似,故可以认为可见光的晕光信息主要包含在低频系数中,因此采用加权平均的低频系数融合策略,能够在消除晕光的同时保留2幅图像的主要信息;而高频系数反映了图像的边缘、轮廓等细节信息[9],故高频系数采用绝对值取大的融合策略,能够保留更多更清晰的纹理细节信息。
为了减少图像拍摄过程中存在的误差,在融合前先对两路图像进行滤波、配准等预处理操作,然后对可见光图像进行IHS正变换得到I、H、S分量,再对I分量和红外图像分别进行Curvelet分解得到各自的低频与高频系数,并采用加权平均策略融合低频系数和绝对值取大的策略融合高频系数,最后对融合系数进行Curvelet重构得到新的亮度分量I′,将其与原始的色调H、饱和度S分量进行IHS逆变换得到最终的融合图像。整个图像融合过程如图1所示。
用可见光和红外相机拍摄夜间对向来车开启远光灯时的场景,可看到两图像空间位置不匹配,且都含有噪声,其中可见光图像产生晕光现象,暗处信息不易观察,如图2a所示,红外图像细节信息模糊,色彩单一,如图2b所示。因此在融合前要对图像进行滤波、配准等预处理操作。为了在消除噪声的同时使图像信息损失达到最小,采用3×3模板的均值滤波滤除图像中的噪点,如图2c、图2d所示;以红外图像为参考图像,对可见光图像使用互相关加仿射变换法[10]进行配准,如图2e所示。
图1 图像融合过程
图2 图像预处理
3.2.1 可见光图像转换到IHS色彩空间
使用IHS正变换公式[11]将可见光图像转换到IHS色彩空间,得到其亮度分量I、色度分量H和饱和度分量S:
式中,v1、v2为中间变量。
3.2.2 可见光图像亮度分量I和红外图像Curvelet分解
由于待处理的数字图像是二维离散信号,因此使用Curvelet变换的二维离散形式[12]进行Curvelet分解:
式中,f[t1,t2](t1≥0,t2<n)为笛卡尔坐标系下的输入;为Curvelet函数,其中D表示离散,j表示Curvelet分解的尺度,l表示方向,k表示位置。
使用式(4)对可见光图像亮度分量I和红外图像进行Curvelet分解,得到各自的低频系数、和不同尺度、不同方向下的高频系数,其中VI表示可见光,IR表示红外,0表示低频。
本文采用Wrapping算法[12]实现式(4)中的Curvelet变换,具体实现步骤为:
a. 对式(4)中的输入f[t1,t2]进行二维快速傅里叶变换(Fast Fourier Transformation,FFT)得到傅里叶采样序列F[n1,n2](n1≥-n/2,n2≤n/2);
b. 对每一个尺度、方向参数组(j,l),将拟合窗与F[n1,n2] 相乘,其中为笛卡尔坐标系下满足一定允许条件的类似“楔形”的块状窗函数;
3.2.3 低频系数融合
可见光低频系数既包含图像的主要信息,也包含了晕光的主要信息。考虑到在消除晕光的同时能够保留两幅图像的主要信息,本文采用加权平均的策略来融合低频系数,即:
3.2.4 高频系数融合
高频系数反映了图像的边缘、轮廓等细节信息,一般绝对值较大的高频系数包含了更多更清晰的纹理细节信息,所以采用绝对值取大的策略[13]来融合高频系数,即:
3.2.5 Curvelet重构
采用Wrapping算法对融合后的高、低频系数进行Curvelet重构,具体实现步骤为:
a. 对每一尺度、方向参数组(j,l)下的Curvelet系数CD(j,l,k)进行二维FFT得到;
b. 对每一尺度、方向参数组(j,l)下的与相应的Wrapped Curvelet函数相乘得到;
d.对F[n1,n2]进行二维逆FFT得到 f[t1,t2],即融合图像,将该图像作为新的亮度分量I′。
3.2.6 IHS色彩空间转换到RGB色彩空间
使用IHS逆变换公式[11]对可见光图像的新亮度分量I′和原始的色调H、饱和度S分量进行IHS逆变换,获得适合显示器显示的RGB色彩图像,即为最终抗晕光融合图像:
为了验证本文算法的有效性,选取IHS变换、小波变换、Curvelet变换、IHS-小波变换共4种不同算法与本文算法进行融合结果的比较,融合结果如图3所示。
从融合结果可以看出,使用了IHS变换的图3a、图3d、图3e中的人物、车牌等都有清晰的色彩,而未使用IHS变换的图3b、图3c几乎成为灰度图像,丢失了大量的色彩信息,表明可见光与红外图像融合时,采用的IHS变换能很好地保留原图中的色彩信息,避免色彩失真。
对比图3a、图3d和图3e可以看出:IHS变换融合图像中的车辆轮廓、车牌、道路边缘及背景建筑物模糊不清,图像清晰度低;IHS-小波变换融合图像的清晰度较IHS变换有所提升,边缘轮廓等细节信息较为清楚;本文算法的IHS-Curvelet变换融合图像清晰度明显优于IHS-小波变换融合图像,车辆轮廓、车牌、道路边缘及背景建筑物清晰可见。3种算法融合图像的清晰度依次递增,表明在IHS变换的基础上,因为小波变换具有可聚焦到信号任意细节的特点,加入小波变换使其融合图像清晰度得到提升,Curvelet变换因为具有各向异性的支撑区间,能用更少的系数表示曲线,使其较小波变换能更好地保留图像信息,融合图像清晰度更高。
图4 不同算法下的融合图像
为了客观地评价本文算法效果,选取标准差(Stan⁃dard Deviation)、平均梯度(Average Gradient)、边缘强度(Edge Intensity)、信息熵(Entropy)4个通用参数[14-15]对IHS变换、小波变换、Curvelet变换、IHS-小波变换和本文算法5种算法的融合图像进行了客观数据分析,结果如表1所示。
表1 融合图像的客观评价
从表1中可以看出,本文算法融合图像的标准差较IHS变换、小波变换、IHS-小波变换依次提高了50.58%、39.08%、27.26%,标准差的显著提升表明本文算法使用的Curvelet变换比IHS和小波变换融合图像的灰度范围明显增大,对比度大幅提高,较Curvelet变换提高了3.10%,表明在Curvelet变换的基础上使用IHS变换,能进一步提高融合图像的对比度。
本文算法融合图像的平均梯度较IHS变换、小波变换、IHS-小波变换分别提高了62.27%,53.95%,51.78%;边缘强度较IHS变换、小波变换、IHS-小波变换分别提高了60.29%,52.34%,50.62%。可知在这两项指标上本文算法较使用IHS变换或小波变换的算法也有显著提升,说明本文算法融合图像的边缘、轮廓、纹理等细节信息比IHS变换和小波变换算法的更加丰富,图像清晰度大幅提升。本文算法融合图像较Curvelet变换的平均梯度、边缘强度分别提高了2.15%、8.77%,表明在Curvelet变换的基础上使用IHS变换,能进一步提高融合图像的清晰度。
本文算法融合图像的信息熵较IHS变换、小波变换、Curvelet变换、IHS-小波变换依次提高了4.22%、3.78%、0.55%、2.88%,表明本文算法较以上几种算法能保留更多的原图信息,减少信息丢失。
以上客观指标的数据对比与分析表明本文提出的IHS-Curvelet变换融合可见光和红外图像的算法,能使融合图像的对比度和清晰度显著提升,包含的信息量更多,进一步验证了本文抗晕光方法的有效性。
本文针对现有抗晕光算法消除晕光不理想,融合图像清晰度较低的问题,提出了一种在IHS色彩空间下基于Curvelet变换融合可见光和红外图像的抗晕光方法,克服了二维小波基不具有各向异性的缺陷,能更好地表达图像的边缘、轮廓、纹理等细节信息,同时保留了色彩信息,避免了色彩失真。通过对初步试验结果的主、客观分析表明,本文算法在有效消除晕光的同时,保留了更多的图像原始信息,融合图像色彩清晰,细节清楚,更符合人眼视觉习惯,有望增强现有汽车夜视系统及其效果,为夜间会车时的晕光问题提供一种更好的解决方案。然而该方法在低频系数融合时采用了常用的加权平均融合策略,晕光信息仍参与了图像融合,导致无法从根本上消除晕光,故有待进一步对低频系数融合策略进行优化,使其能主动剔除晕光信息,避免参与融合过程,最终实现彻底消除晕光。