可见光与红外融合的汽车抗晕光图像评价方法

（西安工业大学 电子信息工程学院，陕西 西安 710021）

0 引言

夜间会车时，滥用远光灯使驾驶员感到非常刺眼，无法看清行车路线及行人，极易导致严重的交通事故[1]。因此，研究汽车抗晕光有重要意义。传统的光学原理抗晕光方法使暗处信息难以观察[2]；红外夜视仪的图像无色彩、细节信息缺失严重[3-5]；“排洪”面阵CCD 图像传感器把高亮度的多余电荷排出存储势阱，仅降低了晕光的亮度[6]；光积分时间不同的两路可见光融合依然存在晕光现象[7]。可见光与红外融合的抗晕光方法[8]结合可见光图像色彩细节信息丰富、红外图像无晕光的优点，为解决夜间行车的晕光问题提供了一种新途径，具有较好的应用前景，但现有的无参考、全参考和基于视觉系统的评价方法都不能准确地评价抗晕光融合图像的质量[9]。

其中，无参考图像评价方法通过客观指标评价融合图像自身质量[10]。融合图像消除晕光后，晕光部位的高亮度信息被剔除，导致反映亮度的均值降低；晕光消除越彻底，明暗对比度越低，晕光处的纹理细节反差越小，标准差和边缘强度越低。全参考图像评价方法评价融合图像对原始图像的信息保留度[11]。例如交叉熵，在融合图像非晕光部位，该指标能很好地反映其对原始图像细节信息的保留度，但在晕光部位，晕光消除越彻底，与可见光图像相似度越低。基于视觉系统的评价方法考虑人眼的视觉效果[12]。如边缘保持度，在融合图像非晕光部位，该指标能很好地反映其对原始图像边缘、轮廓的保留度，但在晕光部位，晕光消除越彻底，晕光边缘、轮廓等信息保留越少，结构相似度也存在同样的问题。以上指标均出现晕光消除越彻底，融合图像质量的客观评价结果越差，与视觉效果不统一的现象。

针对上述问题，本文提出一种可见光与红外融合的汽车抗晕光图像评价方法：通过设计自适应迭代阈值法实现融合图像的自动分区，对晕光区采用设计的晕光消除度指标衡量晕光消除的效果；对非晕光区从多角度评价色彩、细节信息的增强效果，并甄选合适的指标构成完整的评价体系，全面、合理地评判汽车抗晕光融合图像的质量及算法的优劣。

1 可见光与红外融合的抗晕光图像评价原理

汽车抗晕光图像融合的目的，与一般图像融合不同，首要是消除高亮的晕光，再次是增强暗处的色彩、细节信息。图1(a)可见光图像色彩丰富、车牌较清晰，但存在明显的晕光现象，车辆轮廓、道路边缘、背景建筑及行人难以观察；图1(b)红外图像无晕光，轮廓细节清晰，但色彩和车牌缺失；图1(c)采用改进IHS-Curvelet 变换[13]得到无晕光、轮廓细节清晰、色彩丰富的融合图像。

图1 可见光、红外及其融合图像Fig.1 Visible,infrared and fusion image

汽车抗晕光融合图像同一般可见光与红外融合图像相比存在3 点显著差异：①融合图像消晕光后与可见光图像差异显著，晕光消除越彻底差异越大；②可见光图像的光晕梯度及明暗边界十分明显，晕光消除越彻底，融合图像原晕光部位的梯度、边界越不明显；③可见光图像晕光部位的高亮度造成其他部位的亮度更暗，细节信息更不易观察。

晕光区的高亮度使客观评价不能真实地反映融合图像的质量，为避免晕光干扰，将融合图像的晕光和非晕光区分开评价。在晕光区，根据融合图像与可见光、红外图像的相似度评判晕光消除的效果。与红外图像越相似，晕光消除越彻底，反之晕光消除越不彻底。非晕光区图像不存在晕光干扰，采用现有的方法评价色彩、细节信息的增强效果。

2 抗晕光图像评价方法实现

根据可见光图像的晕光程度自动确定可见光灰度图的晕光临界灰度值，实现融合图像的自动分区。针对晕光与非晕光区图像的处理目标不同，晕光区设计晕光消除度指标衡量融合图像晕光消除的效果，非晕光区从多角度评价色彩、细节信息的增强效果。

2.1 抗晕光融合图像的自动分区

2.1.1 确定晕光临界灰度值

由于晕光区的灰度值明显高于非晕光区，根据晕光区与非晕光区交接处的灰度值划分两区域，即确定晕光临界灰度值Gc。自适应迭代阈值法：以图像灰度中值作为初始阈值T0；

式中：Inmax、Inmin分别是像素的最大、最小灰度值。利用阈值Ti将图像分为两区域R1和R2，计算R1和R2的灰度均值μ1和μ2；

式中：In(j)是第j个像素的灰度值；L为图像总像素数；L1、L2分别为区域R1、R2像素数，L＝L1＋L2。计算新的阈值Ti＋1；

式中：m为图像晕光区的分割效果满足人眼视觉效果的自适应系数，随晕光程度自动调节。

重复公式(2)(3)，待阈值不再变化时迭代结束，最新得到的阈值为图像的晕光临界灰度值Gc。

2.1.2 确定自适应系数

晕光区高亮度的信息量影响整幅图像的灰度值，晕光信息量与晕光面积有关，则晕光面积间接影响图像的灰度值。研究两车会车时的晕光图像，采集不同类型道路车辆由远及近，晕光面积从小到大再变小的大量晕光图像，获得自适应系数m、晕光区与非晕光区面积比s的对应点集(si,mi)，研究发现面积比s和自适应系数m的关系接近m=a×sb+c的递减函数，利用非线性最小二乘法拟合曲线：

式中：x、y分别是系统的输入和输出；f是参数θ的非线性模型；Q达到极小值时得参数估计值。

当a＝－0.6701，b＝0.07411，c＝1.175时，自适应系数m的取值使融合图像晕光区的分割效果满足人眼视觉效果，如下式：

2.1.3 自动分区

由晕光临界灰度值Gc划分两区域，灰度值大于等于Gc的像素构成晕光区AH，反之为非晕光区

将图1中的原始图像和融合图像进行分区，如图2。

图2 自动分区图像Fig.2 Automatic division images

2.2 晕光消除度

为评价融合图像的晕光消除效果，以融合图像晕光区与可见光、红外图像的接近程度为参考，考虑人眼视觉感知特点和图像的结构信息，综合亮度、对比度、结构3 方面表征融合图像与原图的相似度，lR-FU，cR-FU，sR-FU分别为原图与融合图像的亮度相似度、对比度相似度、结构相似度：

式中：R为参考图像，R∈{VI，IR}，VI、IR、FU 分别为可见光、红外、融合图像；、σ分别为图像的均值、标准差；σR-FU为参考与融合图像的协方差；C1、C2、C3为常数，避免分母为0。设定C3=C2/2，原图与融合图像的相似度指标SR-FU可表示为：

根据式(10)将融合图像与红外、可见光图像的相似度作差后进行归一化，构造晕光消除度D：

式中：D的取值范围为[0,1]，D越接近1，融合图与红外图像越接近，晕光消除越彻底。

2.3 非晕光区色彩、细节增强的评价指标

非晕光区没有晕光信息的干扰，用现有的评价方法[14-15]从融合图像自身特性、融合图像对原始图像信息的保留度和人眼视觉效果3 方面评价融合图像的质量，并通过实验对比与分析，甄选出合适的指标，准确、合理地评判融合图像质量及算法优劣。

2）融合图像对原始图像信息的保留度方面。计算峰值信噪比（peak signal to noise ratio,PSNR）、交叉熵（cross entropy,CE）、互信息（mutual information,MI）、均方根误差（root mean square error,RMSE）等指标。

3）人眼视觉效果方面。计算结构相似度（structure similarity index,SSIM）和边缘保持度QAB/F。

3 实验及结果分析

为验证本文的评价方法能全面、合理地评判汽车抗晕光融合图像的晕光消除效果，色彩、细节信息增强效果，以HIS（intensity,hue,saturation）变换、Curvelet 变换、IHS-Curvelet 变换、改进IHS-Curvelet变换的融合图像为例进行评价，图3为市郊道路对向来车开启远光灯约10 m 处的4种算法融合结果。

图3 不同算法的融合图像Fig.3 Fusion image of different algorithms

3.1 主观评价结果

选10位擅长图像处理的观察者从晕光消除度、边缘轮廓、色彩细节3 方面评判融合图像的质量。

图3(a)IHS变换的晕光严重，车辆轮廓、车牌、道路边缘及背景建筑模糊，但色彩丰富；图3(b) Curvelet 变换的晕光较少，细节较清晰，但缺失色彩。整体上Curvelet 变换的图像质量优于IHS变换。

图3(c)IHS-Curvelet 较图3(a)，晕光消除度和清晰度明显改善，色彩无差别，在IHS变换中融入Curvelet变换能明显改善图像的质量；图3(c)较图3(b)，晕光消除度略差，清晰度无差别，但色彩丰富。

图3(d)改进IHS-Curvelet 较图3(c)，晕光基本完全消除，清晰度更好，色彩无差别，图像质量更优。

3.2 客观评价结果

为避免主观意识干扰，结合客观指标从两方面进行评判。晕光区由晕光消除度D评价晕光消除的效果；非晕光区从多角度评价色彩、细节信息的增强效果，甄选合适的指标构成完整的质量评价体系。

3.2.1 晕光区域评价结果

计算4种融合图像的晕光消除度D如表1。

表1 晕光消除度Table1 Eliminated degree of halo

从表1看出，IHS变换的晕光消除效果最差，因IHS变换的光谱分辨率低，使融合图像与原图差异较大；Curvelet 较IHS变换高16.7%，晕光消除效果更好，因Curvelet 变换的各向异性，能更多地保留图像的细节信息，与原图结构差异更小。

IHS-Curvelet 较IHS变换提高25%，因其将IHS空间下的亮度和色彩分量分开处理，避免了光谱扭曲现象，在IHS变换中融入Curvelet 变换能提高IHS变换的稳定性；IHS-Curvelet 较Curvelet 变换提高7%，因IHS变换丰富了图像的色彩，在Curvelet 变换中融入 IHS变换能略微提高图像的质量。综上，IHS-Curvelet 比两种单一变换的晕光消除效果好。

改进IHS-Curvelet较改进前提高9.8%，效果更好，因改进的低频系数权值自动调节融合策略[16]能剔除所有晕光信息，避免其参与融合过程。

3.2.2 非晕光区域评价结果

对非晕光区从以下3 方面评价融合图像的质量。1）融合图像自身特性方面。为验证本文方法的有效性，与不分区数据进行对比，如表2所示。

从表2看出，4种算法不分区的各项指标均比非晕光区大，由于高亮度晕光信息的存在，使不分区融合图像的均值变大；使图像明暗对比度提高，导致标准差更大；使图像熵值更大；晕光处一圈圈光晕使反映纹理细节的平均梯度变大；晕光处明显的边界使边缘强度更大；导致空间域的活跃程度增大，空间频率更大。不分区融合图像因包含晕光区的无用信息，导致客观评价结果失真。不分区指标数值变化无规律，分区后，由非晕光区指标能相对明显地看出融合图像的质量、算法的优劣等，因此，以非晕光区指标为研究对象。

非晕光区数据中，IHS变换的EI 数值微大于Curvelet 变换，与主观评价矛盾，因IHS变换的光谱扭曲性使客观评价结果失真；E和σ数值集中，整体变化趋势小，对融合图像质量的区分度较小；、AG、SF 数值分布合理，能明显表达融合图像的质量和不同算法的优劣。

2）融合图像对原始图像的信息保留度方面。评价结果如表3所示。

从表3看出，RMSE和PSNR 数值整体变化小，对算法优劣的区分度很小，不适合作为评判指标；CE、MI 数值相对分散，能显著表达融合图像对原图信息的保留度和不同算法的优劣。

表2 融合图像的客观评价Table2 Objective evaluation of fusion image

表3 融合图像对原图信息的保留度Table3 Retained degree of fusion image to primary image

3）人眼视觉效果方面。评价结果如表4所示。

表4 融合图像的视觉效果Table4 Visual effect of fusion image

从表4看出，SSIMFU-VI、SSIMFU-IR数值变化小，对融合图像质量的区分度很小；QAB/F能显著表达融合图像对边缘信息的保真度及不同算法的优劣。

通过对晕光区和非晕光区指标的对比与分析，甄选出晕光消除度D、均值、平均梯度AG、空间频率SF、交叉熵CEFU-VI、CEFU-IR、互信息MIFU-VI、MIFU-IR、边缘保持度QAB/F等9种指标作为抗晕光融合图像的评价体系。将9种指标数据绘制雷达图如图4，因CE数值越小性能越好，为方便分析由CE－1表示。

图4 评价体系的雷达图Fig.4 Radar chart of evaluation system

由图4看出，雷达图面积随算法的改进而增大，9种指标均能明显地反映融合图像的质量和不同算法的优劣，均表明Curvelet 变换优于IHS变换；在Curvelet变换基础上使用IHS变换可进一步提高融合图像的视觉效果；将低频系数加权平均的IHS-Curvelet 变换改为权值自动调节融合策略后又可进一步改善融合图像的视觉效果，与主观评价结果一致。

3.3 不同场景的评价结果

为验证本文所甄选的抗晕光融合图像质量评价体系对不同晕光场景的适用性，采集市郊道路和市内小区两组不同晕光场景的图像进行试验，图5为市郊开启远光灯约15 m 处的融合结果，图6为市内开启远光灯约20 m处的融合结果。其中，图5和图6中(a)、(b)分别为原始可见光和红外图像，(c)～(f)分别为IHS、Curvelet、IHS-Curvelet 及改进IHS-Curvelet 变换的融合结果。

从图5和图的6(c)～(f)可以看出，从左到右，融合图像的晕光消除效果越好，车辆、背景和道路边缘轮廓越清晰，即IHS、Curvelet、IHS-Curvelet 及改进IHS-Curvelet 变换的融合结果依次变优。

在市郊、市内两种不同场景下，利用评价体系的9种指标进行评价，绘制雷达图如图7、图8所示。从图7～图8中可以看出，随算法改进，雷达图包围面积也越来越大，9种指标能从不同角度反映了抗晕光融合图像质量的好坏及不同算法的优劣，与主观评价的结果一致，验证了本文提出的抗晕光融合图像质量评价体系具有一定的普适性。

图5 市郊道路约15 m 处的融合图像Fig.5 Fusion image of suburban road at about 15 m

图6 市内小区约20 m 处的融合图像Fig.6 Fusion image of city community at about 20 m

图7 市郊道路约15 m 处的雷达图 Fig.7 Radar chart of suburban road at about 15 m

图8 市内小区约20 m 处的雷达图Fig.8 Radar chart of city community at about 20 m

4 结论

针对现有的可见光与红外融合图像评价方法不适用于评价汽车抗晕光融合图像的问题，本文方法解决了汽车抗晕光融合图像的客观评价结果与人眼视觉效果不一致的问题，克服了融合图像晕光消除越彻底评价结果反而越差的缺点，也适用于评判不同可见光与红外融合的抗晕光算法的优劣。本文设计的自适应迭代阈值法，根据可见光图像的晕光程度自动确定可见光灰度图像的晕光临界灰度值，并将融合图像自动分为晕光区和非晕光区；在晕光区设计晕光消除度指标评价融合图像晕光消除的效果；在非晕光区从多角度评价融合图像色彩、细节信息的增强效果。甄选出9种指标构成完整的图像质量评价体系，全面、合理地评价可见光与红外融合的汽车抗晕光融合图像。