基于目标探测的彩色融合图像质量主观评价实验

张晓东， 高绍姝

(中国石油大学(华东) 计算机与通信工程学院， 山东 青岛 266580)



·计算机技术及应用·

基于目标探测的彩色融合图像质量主观评价实验

张晓东， 高绍姝

(中国石油大学(华东) 计算机与通信工程学院， 山东 青岛 266580)

可见光与红外彩色融合图像能帮助观察者更好地探测目标，然而，如何评价不同融合图像在目标探测方面的性能表现，相关的研究目前还十分有限，特别是缺乏目标清晰度对融合图像目标探测性影响的研究。开展彩色融合图像质量主观评价实验，并对实验数据进行回归分析。结果表明，目标清晰度和目标与背景对比度是影响融合图像目标探测性的两方面关键影响因素，并利用这两方面单一质量评价指标的线性组合建立了基于目标探测的融合图像综合质量的预测模型。为进一步实现基于目标探测的融合图像质量客观评价奠定理论和实验基础。

融合图像； 目标与背景对比度； 主观评价实验

0 引 言

可见光与红外图像彩色融合技术可有效综合两个波段提供的信息，提供适于人眼观察的伪彩色图像，在保留场景细节信息的同时，也有助于观察者探测热目标。在战场侦察、目标探测等方面展现出广泛的应用前景。不断涌现出的融合算法和系统装备，使得科学评价融合图像质量成为技术研究和系统应用迫切需要解决的焦点问题[1]。

图像质量评价包括主观评价和客观评价两种方法。主观评价依靠观察者的感受来评价图像质量；客观评价模拟人类视觉系统感知机制衡量图像质量，依据模型计算量化指标。但是，人眼是彩色融合图像的最终接受者，通过大量观察者对图像质量主观评价的结果是最为准确的。主观评价实验是客观评价模型研究和建立的基础。

目前，图像质量评价多为单一指标评价，如图像对比度[2]、图像清晰度[3]等。这类指标虽然方便建模量化，但是只能衡量图像某一方面的单一质量。如何针对具体的应用目的评价融合图像的综合质量尚没有统一的理论和方法。帮助观察者更快、更准确地探测目标是彩色融合图像的主要应用目的之一。Yuan等提出了彩色融合图像目标探测性的客观评价模型[4]，该模型由目标区域亮度、目标和背景的感知亮度差异、色调差和彩度差，四方面参数组成。Yin等[5-8]通过比较目标识别区域，用目标探测率和ROC(Receiver Operating Characteristic)曲线，以及计算目标与背景的颜色距离来客观衡量融合图像中目标的可探测性。然而，除上述几方面影响因素以外，目标细节和边缘的清晰程度对目标探测性的影响不容忽视，目前缺乏这方面的研究。

本文设计主观评价实验，通过实验数据分析，利用易于建模的单一质量指标(目标清晰度和目标与背景对比度)，构造基于目标探测的彩色融合图像综合质量预测模型，为进一步实现融合图像综合质量客观评价模型奠定实验基础和理论基础。

1 主观评价实验

1.1 评价指标

主观评价实验选用两方面单一质量指标与基于目标探测的图像综合质量指标。

(1) 目标清晰度(Sharpness of the Target, ST)。清晰度是衡量图像质量时常用的评价指标[9]。目标清晰度是指目标中细节纹理以及目标边缘的可辨识程度。清晰的目标更容易被探测。

(2) 目标与背景对比度(Contrast between the Target and Background, CTB)。对于彩色图像，目标与背景的感知对比度是影响人眼对融合图像中热目标探测的主要因素之一。人眼在很大程度上，依赖目标和背景对比度来发现目标。目标与背景对比度越大，观察者发现该目标所用的时间越短、判断准确度越高，即目标探测性越好。

(3) 基于目标探测的图像综合质量(Comprehensive Quality Based on Target Detectability, CQTD)。该综合指标可以评价彩色融合图像满足特定应用需求的能力，衡量融合图像是否有利于观察者快速、准确地发现目标。

本实验规定红外图像中的热目标为需要探测的目标。若一幅图像中存在多个热目标要求观察者综合衡量来打分。

1.2 评价图像及分类

将可见光和红外图像采用8种融合算法产生不同的融合图像，融合方法分别为TNO1996法[10]、MIT1997法[11]、YUV空间的线性融合法(LFinYUV20 07)[12]、基于拮抗视觉特性的YUV空间融合法(OFinYUV2009)[13]及基于控向金字塔的融合算法(SP2009)[14]。此外，在YUV空间线性融合基础上采用了三种色彩传递处理，分别为YUV空间全局线性传递(GTinYUV2008)[15]、YUV空间和RGB空间的多分辨率色彩传递(MRTinYUV2010和MRTinRGB2010)[16]。实验使用的一组可见光与红外源图像及其8种基于融合算法得到的融合图像如图1所示。

(a)红外图像(b)可见光图像(c)TNO1996(d)MIT1997(e)LFinYUV2007(f)OFinYUV2009(g)SP2009(h)GTinYUV2008(i)MRTinRGB2010(j)MRTinYUV2010

图1 实验使用的一组源图像以及融合结果图像

在彩色融合系统的实际应用中，海天、植物和城镇建筑是最常用的三种场景类型，本文主观评价实验选择这三种典型场景融合图像：

(1)海天场景。主要为海面和天空。

(2)植物场景。主要为野外树林、草地背景。

(3)城镇建筑物场景。主要为城镇混凝土建筑物、水泥或沥青地面等。

实验中，每类场景包含10组图像，三类场景共30组，每组包括8幅不同融合算法得到的图像，全部240幅评价图像。30组可见光与红外的源图像中，10组城镇建筑物场景的图像为Nigel J. W. Morris提供的图片，其余图像为本实验室使用可见光CCD和长波红外焦平面热像仪采集图像，这些实验图像均包含明确的热目标。

1.3 实验条件及观察者

实验在暗室中进行，使用CRT (Cathode Ray Tube)显示器进行实验，显示器是暗室中唯一的光源。显示器的分辨率为1 024×768，每英寸的像素数为 80，其峰值白点亮度为100 cd/m2。观察距离为50cm，每幅图像大小均为320×240。实验前，显示器预热2 h，观察者用2 min适应观察条件。使用Photo Research公司的光谱辐射度计PR-715测量，对实验使用的CRT显示器进行校准以及颜色特性化。为了确保CRT显示器颜色复制的准确性，使用GOG模型进行实测三刺激值与RGB值之间的转换。根据ITU-R 提供的主观评价相关标准，本实验观察者共17人，年龄范围为20～46岁，具有正常的视力和色视觉。

1.4 实验过程

实验开始前，对实验目的、实验过程、评价指标、评分标准以及待评价图像，进行必要的介绍，确保观察者没有理解偏差的给出评价分数。实验时，每组图像首先显示可见光与红外源图像，使观察者了解该组图像内容并明确图像中的目标(红外图像中的热目标)，随后显示器同时显示随机排列的8幅融合图像(背景为中等灰度)，评价者对图像相互比较并等级排队，每一项评价指标从非常不满意到非常满意分为7个等级，对应1～7分制的标准，采用类别评判法给出每一幅图像的评价分数。要求观察者在无法明显区分优劣时, 尽量给出相同分数避免评价结果的不稳定性。

2 数据分析及实验结果

2.1 主观实验数据预处理

为了方便进行相互比较，将不同分布的评价分数限制在[0,1]范围内，本实验把观察者k针对评价图像组p中8幅图像给出的评价分数作为一组进行标准0-1变换，使得该组中最高分为1，最低分为0，得到标准化意见分数：

(1)

(2)

表1给出三方面评价指标相互间Pearson线性相关系数，其显著性水平均小于0.01，CQTD与ST和CTB均存在显著的线性关系。因此，基于多元线性回归分析方法，研究CQTD和ST及CTB之间的线性关系。

表1 三个评价指标间的Pearson相关系数

表2 CQTD回归模型及方差分析结果

2.2 融合图像CQTD预测模型

主观评价中所有融合图像评价结果，将CTB和ST作为自变量CQTD作为因变量，进行回归分析，得到CQTD回归预测模型，如表2所示。t统计量反映出单一质量指标对CQTD影响的显著程度，其中CTB较ST有更显著的影响，两者显著性水平(P)均小于0.05，具有统计学意义。同时，方差扩大因子(Variance Inflation Factor, VIF)都小于10，表明CTB和ST之间不存在严重的多重共线性问题，得到回归方程：

CQTD=0.507CTB+0.477ST

R2=0.973

(3)

其中，决定系数R2为0.973，表示CTB和ST能解释CQTD中97.3%的变化。该回归模型的方差分析(Analysis of Variance，ANOVA)结果中，F统计量为4345.961，显著性P=0.000，表示此回归方程十分显著，即可按99.9%以上的概率断言CTB和ST两个自变量共同对CQTD产生显著的线性影响。

在实际应用中彩色融合系统可能适用于特定类型的场景，需要针对不同的场景类型选择适合的融合算法。同时，由于不同场景类型图像具有不同的图像特点，其中包含纹理和细节的丰富程度不同，各单一评价指标对图像综合质量的影响大小会有所变化，为了使融合图像综合质量预测模型更有针对性，分别对海天、植物和城镇建筑物，三种典型场景图像采用相同的回归分析方法，分别得到各场景融合图像CQTD的预测模型：

海天场景

CQTD=0.622ST+0.340CTB

R2=0.977

(4)

植物场景

CQTD=0.502CTB+0.478ST

R2=0.976

(5)

城镇建筑物场景

CQTD=0.764CTB+0.260ST

R2=0.990

(6)

从式(4)～(6)可以看出，三种典型场景融合图像的CQTD均可以利用CTB和ST两方面单一质量评价指标进行有效地预测。其中，植物场景和城镇建筑物场景融合图像的CQTD预测模型中，目标背景对比度是主要的影响因素，目标清晰度次之；而对于海天场景图像，ST在CQTD的预测模型中占有较大的权重系数，这是由于海天场景包含较少的细节和纹理信息，背景均匀，观察者仅依赖目标的轮廓就可以发现目标，清晰的目标表现出边缘和纹理较好的辨识性，使得目标更加突出。因此，对于海天场景融合图像，目标清晰度对目标探测性有较大的影响。

3 结 语

通过开展彩色融合图像质量的视觉主观评价实验，对实验数据进行回归分析，建立了基于目标探测的图像综合质量与图像单一质量的关系。实验结果表明，目标与背景对比度和目标清晰度是影响融合图像目标探测性的两方面主要因素，利用二者的线性组合可以很好地预测基于目标探测的融合图像综合质量。不同场景类型的融合图像具有不同的图像特点，目标与背景对比度和目标清晰度对CQTD的影响程度不同，但CQTD预测模型的基本形式不变，只是两个自变量对应的加权系数有所不同。CQTD可以针对具体应用目的评价融合图像的综合质量，但却难以直接量化。CTB和ST两方面常用的单一评价指标易于客观建模，结合本文主观实验得到的CQTD预测模型，可以建立更符合人眼主观感受的CQTD客观评价模型。

[1] 张 勇, 金伟其. 夜视融合图像质量客观评价方法[J]. 红外与激光工程, 2013, 42(5): 1360-1365.

[2] Yuan Y, Zhang J, Chang B,etal. Objective quality evaluation of visible and infrared color fusion image[J]. Opt Eng, 2011, 50(3): 033202-033211.

[3] 高绍姝, 金伟其, 王 霞, 等. 可见光与红外彩色融合图像感知清晰度评价模型[J]. 光谱学与光谱分析, 2012, 32(12): 3197-3202.

[4] Yin S, Cao L, Ling Y,etal. One color contrast enhanced infrared and visible image fusion method[J]. Infrared Phys Techn, 2010, 53(2): 146-150.

[5] Qian X, Wang Y, Wang B. Effective contrast enhancement method for color night vision[J]. Infrared Phys Techn, 2012, 55(1): 130-136.

[6] Qian X, Wang Y, Wang B. Fast color contrast enhancement method for color night vision[J]. Infrared Phys Techn, 2012, 55(1): 122-129.

[7] Qian X, Han L, Wang Y,etal. Color contrast enhancement for color night vision based on color mapping[J]. Infrared Phys Techn, 2013, 57: 36-41.

[8] Pedersen M, Bonnier N, Hardeberg J Y,etal. Attributes of image quality for color prints[J]. Journal of Electronic Imaging, 2010, 19(1): 011016.

[9] Toet A, Walraven J. New false color mapping for image fusion[J].Optical Engineering, 1996, 35(3): 650-658.

[10] Waxman A M, Gove A N, Fay D A,etal. Color night vision: opponent processing in the fusion of visible and IR imagery[J]. Neural Networks, 1997, 10(1): 1-6.

[11] 史世明. 微光(可见光)与红外热成像的自然感彩色夜视成像处理方法研究[D]. 北京: 北京理工大学, 2009.

[12] 史世明, 王岭雪, 金伟其，等. 自然感色彩的可见光/红外控向金字塔融合[J]. 光电子.激光, 2009, 20(11): 1552-1560.

[13] 史世明, 王岭雪, 金伟其，等. 基于多分辨率色彩传递的彩色夜视方法研究[J]. 光子学报, 2010, 39(3): 553-558.

[14] http://www.dgp.toronto.edu/～nmorris/data/IRData/

[15] Berns R S. Methods for characterizing CRT displays[J]. Displays, 1996, 16(4): 173-182.

[16] ITU-R Recommendation BT.500-12. Methodology for the subjective assessment of the quality of television pictures[S]. Switzerland, 2002.

Comprehensive Quality Psychophysical Assessment Experiment of Color Fusion Images Based on Target Detectability

ZHNAGXiao-dong，GAOShao-shu

(College of Computer and Communication Engineering, China University of Petroleum, Qingdao 266580, China)

Visible and infrared color fusion image can help observer detect targets better, however, until recently, the studies on performance evaluation in target detection for different fusion images were very limited, especially lack of the study on the influence of target sharpness. In this paper, a psychophysical experiment was performed, and the experimental data were analyzed by regression analysis. The results showed that sharpness of the target and contrast between the target and background were key influencing factors, and the prediction model of comprehensive quality of color fusion image based on target detectability was established by linearly combining the two single quality evaluation metrics. The study lays a theoretical and experimental foundation for further achieving the objective quality assessment of the fusion image based on target detectability.

fusion image; target detectability; psychophysical experiment

2015-05-05

国家自然科学基金项目(61231014)；教育部博士学科点专项科研基金(20131101130002)；青岛市应用基础研究计划项目(14-2-4-115-jch)及中央高校基本科研业务费专项资金(14CX02029A)

张晓东(1979-)，男，黑龙江绥棱人，博士，讲师，主要研究方向为计算机应用技术，数据驱动控制等。

Tel.：13792890961；E-mail：zhangxiaodong@upc.edu.cn

TN 219

A

1006-7167(2016)05-0110-04