基于彩色偏振图像的HSV 空间目标增强方法

梁建安，刘 斌，梁美彦，郭亚飞

（山西大学 物理电子工程学院，山西 太原 030000）

引言

偏振、强度、波长都是光的基本属性。物体的偏振特性由其本身的物理属性决定，比如粗糙程度、水分含量、介质等，还与光照强度和观察角度有关。与常见的可见光、红外成像相比，偏振成像可以获取物体多维度的偏振信息，呈现物体的轮廓和细节，发现传统图像中不能分辨的部分[1]，例如可以用偏振相机替代传统相机来分辨物体表面的缺陷[2]，还可以通过解析物体的偏振信息来识别目标，因此偏振成像在地质勘探[3]、生物医学[4]、军事演练[5]、海洋开发[6]中有很大的应用价值。

在现实场景中，复杂的背景往往会干扰目标的提取和识别，对目标进行增强就显得尤为重要，图像融合方法就是一种有效的目标增强方法。目前，偏振图像融合方法主要有：基于多尺度分析的融合算法[7-9]、基于学习的融合算法[10-11]和伪彩色融合算法[12-13]。例如ZHANG[7]等人提出了一种基于多尺度卷积稀疏分解(MCSD)的图像融合方法，在可视化和数值评价上获得了较好的效果。陈卫[11]等提出了一种基于FWA（fireworks algorithm）的红外偏振图像融合方法，对红外强度和红外偏振图像的特征进行了保留，在相对熵、总结构相似性、总互信息指标上优于其他算法。徐国明[13]等提出了一种伪彩色偏振图像融合方案，将偏振图像经过直方图规定化后转入IHS（intensity,hue,saturation）颜色空间，得到了伪彩色融合结果，强化了目标，凸显了特征。随着偏振融合技术的发展，研究者往往都是将基于多尺度分析的算法或者基于学习的算法与伪彩色算法相结合，以此来更好地增强目标，例如：张家民[14]等就结合了多尺度分析和伪彩色融合方法，提出了一种HSL-RGB（hue,saturation,light-red,green,blue）图像融合技术，有效减少了多个偏振态图像之间的互补性和冗余性，最终表明了这项融合技术在目标探测方面的显著效果。XU[15]等结合了学习算法和伪彩色算法，提出了一种基于字典学习的偏振图像快速融合方法，赋予了物体颜色信息，提高了运行效率。此外，目前偏振图像融合针对的源图像主要有同波段的不同类型图像，例如将可见光波段的强度图像和偏振度图像进行融合[16]，以及不同波段的同类型图像，例如将可见光波段与红外波段的偏振度图像进行融合[17]。源图像的多样以及融合算法的多样使得偏振融合方法能有效应用于目标增强领域。

虽然现有的偏振图像融合方法对图像进行了彩色化，使得目标增强效果有了一定的提升，但是仍然缺少直接针对彩色偏振图像的融合方法。此外，HSV(hue,saturation,value)颜色空间由于其各自独立的颜色通道，研究者常常在该颜色空间内进行颜色分割。因此，本文结合彩色偏振图像的特点和HSV 颜色空间提出了一种目标增强的方法。研究结果表明，该方法在人眼主观视觉效果和客观指标数据上均取得了明显的提升。

1 彩色偏振成像理论

1.1 彩色偏振成像原理

典型的偏振成像方法主要有分时法（DoT）[18]、分振幅法（DoAM）[19]、分孔径法（DoAP）[20]和分焦平面法（DoFP）[21]。分焦平面法在结构体积、成像速度和误差控制上具有明显优势，因此本文采用该成像方式。

图1 是彩色分焦平面法成像示意图。图1（a）是彩色分焦平面相机，该相机由焦平面、Bayer 阵列滤光片、微偏振阵列组成。每4×4 个像元构成一个模块组，每个模块组中有4 个颜色通道，从左上到右下分别是R 通道、G 通道、G 通道和B 通道，属于经典的Bayer 阵列排列方式，由于人眼视觉对绿色更为敏感，因此有2 个G 通道。每个颜色通道又包含4 个偏振通道，偏振通道的偏振角度从左上到右下分别是90°、45°、135°和0°。对采集到的图像数据按照偏振角度进行插值，即可生成0°、45°、90°和135°的彩色偏振图像，成像过程如图1（b）所示。

1.2 Stokes 矢量表示法

在获得0°、45°、90°和135°的彩色偏振图像后，将这4 个角度的彩色偏振图像进行颜色通道分离，分别得到R、G、B 通道下的0°、45°、90°和135°图像，然后由Stokes 矢量矩阵可得R、G、B 通道下的DoLP 图像、AoP 图像和S0图像，最后得到RGB空间的彩色DoLP 图像、彩色AoP 图像和彩色S0图像。

Stokes 矢量矩阵常用来定量化描述物体的偏振状态。设Stokes 矩阵为

式中：S0表示系统接收的总辐射强度；S1表示平行和垂直偏振方向上的辐射强度差；S2表示两条对角线方向上的辐射强度差；S3表示右旋圆偏振光与左旋圆偏振光强度差，当S3为正值时，表示右旋圆偏振占优势。在实际应用中，右旋圆偏振光与左旋圆偏振光强度很小，可忽略不计，即S3=0。设Iθ表示不同角度下的光强，则Stokes 矢量矩阵参量为

由下列Stokes 矢量矩阵公式可得线偏振度和偏振角：

式中：c∈(R,G,B)，表示颜色通道。

2 目标增强方法

为了实现目标增强，本文采用视觉显著度提取目标的轮廓和细节，然后在HSV 颜色空间中进行融合以增强目标。首先对相机采集得到的0°、45°、90°和135°这4 个方向的彩色偏振图像通过Stokes矢量法进行预处理，得到彩色DoLP 图像、彩色AoP图像和彩色S0图像，再分别通过视觉显著度模型提取彩色DoLP、AoP 和S0图像的显著度，初步提取目标，然后将显著度图像按照相应的规则映射到HSV 颜色空间以增强目标，最后转到RGB 空间进行展示。方案流程图如图2 所示。

2.1 视觉显著度提取

自然界中常见的目标和背景往往具有不同的偏振特性。在彩色偏振特性图像中，目标在一定程度上会得到突出，而背景杂波得到抑制。因此利用视觉显著度可以对目标进行提取，进一步增大目标和背景的差异。这样，目标得到增强而背景得到抑制，人眼能够在图像中更精准地对目标进行定位。因此，本文采用基于小波变换的视觉显著度提取模型[22]，提取目标的显著特征。

该模型先将显著度图像转到CIE Lab 颜色空间进行小波分解与重构，因为该颜色空间中的亮度通道和双色通道类似于人类感知。在进行小波分解时，选用Daubechies 小波，因为它的滤波器大小与计算时间、整体结果的计算相匹配。在小波重构时，忽略低频部分，在保留图像轮廓和细节的同时，提高了效率。在进行小波分解与重构后会生成两个特征映射图像，分别是全局显著度图和局部显著度图，再将这两个显著度图进行融合，就得到了最终的显著度图。

全局sG(x,y)、局部sL(x,y)、最终s(x,y)显著度图可由式（5）～式（7）得到：

式中：IK·K是K·K的高斯低通滤波器；p[f(x,y)]-1是概率密度函数，特征在给定位置的可能性可以用概率密度函数来定义；N为小波分解的层次；分别是L、a、b 通道在s(s∈(1,N))比例尺度下的特征图;分别是归一化的全局和局部显著度图。

以楼道场景为例，将彩色DoLP 图像、彩色AoP图像和彩色S0图像分别通过基于小波变换的视觉显著度提取模型，得到DoLP、AoP 和S0的显著度图像，如图3 所示。从图3 可以看到，DoLP 显著度图像初步提取出了标识牌目标，并且在一定程度上显示了标识牌目标的细节，但存在部分细节模糊、不利于人眼观察的情况。AoP 显著度图像很好地提取了标识牌目标的轮廓，但缺少目标细节信息。S0显著度图像则对目标和轮廓都有所显示，但目标细节提取效果并不明显。由此实验可以看出，DoLP、AoP 和S0的显著度图对目标的提取效果各不相同，且都达不到最佳显示效果。因此，可以将这3 幅图像进行融合，进一步增强目标。

2.2 HSV 空间融合

HSV 是除RGB 颜色模型之外应用非常广泛的一种颜色模型，该模型由色调（Hue）、饱和度（Saturation）和明度（Value）组成。HSV 颜色空间相较于RGB 颜色空间，没有相互耦合的红绿蓝颜色通道，而是相互独立的H、S、V 通道，在进行图像融合时，可以单独对某一通道进行变换，且不会破坏各颜色通道之间的相互关系。因此本文在HSV空间中进行图像融合，既保留了彩色偏振图像中的偏振信息，又抑制了背景中的杂波，对目标进行了增强。

一般来说，DoLP 和S0图像的像素大小范围是0～255，S 通道和V 通道的范围也是0～255，因此通常将DoLP 图像映射到饱和度S 通道，将S0图像映射到明度V 通道。PAoP∈(0°，180°)，H 通道范围是0°～360°，两者呈线性关系，因此将AoP 图像映射到色调H 通道[23-24]。本文结合前人的融合思路，根据H、S、V 通道不同的物理意义来设置不同的映射规则，提出了一种新的融合方法，以此来增强目标。

3 个通道内的融合规则如下：

a）将AoP 显著度图像映射到H 通道，该通道决定了目标的颜色。

b）将DoLP 显著度图像映射到S 通道，并在S 通道中对像素点S(i,j)的值取阈值，阈值规则如（8）式所示。设置阈值是为了将目标区域的饱和度值在归一化后变为1，使得饱和度最大化，同时将非目标区域的饱和度最小化，这就使得目标和背景的饱和度差异最大化，更能突出目标。

c）将S0显著度图像和彩色DoLP 图像灰度化后的图像进行指数相乘，并赋值到V 通道。显著度图像是二维图像，彩色DoLP 图像是三维图像，二者不能直接融合，因此需要将彩色DoLP 图像灰度化。V 通道融合是为了提升图像整体的明亮程度，有利于图像的可视化。

式中：s0′是S0显著度图像，GDoLP是彩色DoLP 图像灰度化后的图像，两者的归一化后的范围是(0，1)，因此V∈(0，e)。而在HSV 空间中，V 通道在归一化后的范围是(0，1)，为了避免V 通道数据失真，我们在V 通道设置阈值，这样既保持了数据的真实性，又保留了目标区域亮度高的优势。

3 实验结果与分析

本次实验使用的相机是LUCID 公司的2 448×2 048 像素的分焦平面彩色偏振相机。为了验证我们的方法能够有效增强目标，分别在楼道、停车场和湖边等场景开展实验。

3.1 实验结果

图4 是楼道场景图，目标是标识牌。从图4 可以看出，彩色DoLP 图像中目标较为明显，并且图像中的杂物干扰受到了一定的抑制作用，但是目标和背景颜色差异小。彩色AoP 图像虽然清晰地显示了目标的轮廓，但是目标细节非常模糊，不利于人眼观察。彩色S0图像中的目标清晰，但是和背景的颜色相近，两者之间的对比度较小，并且楼道中杂物对目标起到了一定的干扰作用。融合后的图像对目标进行了颜色增强，既突出了目标的轮廓，又显示出目标的细节，并且目标与背景的颜色差异大，使人眼能方便地从图像中找寻到目标，快速地聚焦于目标。

图4 楼道场景图Fig.4 Images of corridor scene

图5 是停车场场景图，汽车目标在图中用红色方框圈出，放大后显示在图像右下角。从图5 可以看出彩色DoLP 图像目标周围的树木、建筑物等杂乱背景得到抑制，减少了对目标的干扰。彩色AoP 图像显示出了目标的轮廓，但是目标的细节被掩盖了。彩色S0图像中目标虽然很清晰，但是树木等植被和建筑物等都对目标产生了很大的干扰。融合后的图像对目标进行了颜色增强，同时减少了周围物体对目标的干扰，提升了目标和周围物体之间的对比度，使得人眼可以清晰地分辨出目标。

图5 停车场场景图Fig.5 Images of parking lot scene

图6 是湖边场景图，巡逻车目标在图中用红色方框圈出，放大后显示在右下角。从图中可以看出，仅凭人眼很难发现远处岸边树下的巡逻车。在彩色DoLP 图像中，周围环境对目标的干扰得到了一定的抑制，但是目标在图像中并没有突出。在彩色AoP 图像中，周围坏境对目标的显示起到了很大的干扰作用。在彩色S0图像中，目标虽然可以显示，但是由于目标太小，周围环境对目标同样存在干扰。融合后的图像对目标进行了颜色增强，同时减少了周围环境对目标的干扰，使得目标在图像中得以凸显。

图6 湖边场景图Fig.6 Images of lakeside scene

从以上实验结果可以发现，融合后的图像中，杂乱背景得到了抑制，目标都得到了颜色增强，目标与背景的对比度变大，使得人眼能够快速找到并分辨出图像中的目标。特别地，对于停车场场景和湖边场景，成像图中的目标很小，融合后的图像使小目标增强并凸显，帮助人眼迅速地从场景中定位目标。以上实验说明，本文提出的融合方法能够有效地抑制杂乱背景、增强目标，并且适用于小目标的增强，体现了本文融合方法应用范围的广泛。

3.2 实验分析

本文采用目标和背景之间的对比度，以及RGB空间中的矢量-角度距离色差公式[25]作为实验结果的客观评价指标。

3.2.1 对比度分析

在图像中，目标是我们所需要探测的物体，背景是目标周围的物体。目标和背景的对比度为

式中：Xr、Xg、Xb和XR、XG、XB分别表示彩色图像目标和背景在不同颜色通道下的的平均像素值。表1 是3.1 节中3 组实验场景图像的对比度计算结果。

表1 3 组实验图像的对比度计算结果Table 1 Calculation results of contrast of 3 groups of experimental images

从表1 可以看出，融合图像的对比度比彩色DoLP 图像平均高了1.438 倍，比彩色AoP 图像平均高了3.971 倍，比彩色S0图像平均高了3.375 倍。因为彩色DoLP 图像一般可以体现出目标的细节，与融合图像效果相差最小，所以融合图像的对比度数据相较于彩色DoLP 图像的提升最少。当目标和背景的对比度越大，则目标在图像中越突出，人眼就可以更快地发现目标。结合3.1 节实验结果可以发现，对比度评价结果和人眼观察结果是一致的。

3.2.2 矢量角度距离分析

设RGB 颜色空间中两个颜色的坐标分别是x1=(r1,g1,b1)和x2=(r2,g2,b2)，在本文中，r1、g1、b1和r2、g2、b2表示的是目标区域和背景区域在红绿蓝通道中的平均分量。矢量角度距离为

式中：

3.1 节中3 组实验场景的矢量角度距离如表2所示。由（11）式可得，矢量角度距离越大，两个颜色之间的色差越大，即目标和背景的颜色差异越大，则目标在整个图像中相较于背景更加突出。从表2 可以看出，在前2 个场景中，彩色DoLP 图像的矢量角度距离要大于彩色AoP 图像和彩色S0图像，但在第3 个场景中却相反，这是因为第3 个场景中目标最小，彩色DoLP 图像中目标和背景的颜色差异小，导致彩色DoLP 图像矢量距离较小。但是在3 组图像中，融合图像的矢量角度距离均高于彩色DoLP 图像、彩色AoP 图像和彩色S0图像，其比彩色DoLP 图像平均高了1.711 倍，比彩色AoP 图像平均高了1.579 倍，比彩色S0图像平均高了1.574 倍。综合来看，融合图像中目标和背景的颜色差异最大，目标会更加突出，这与人眼观察结果也是一致的。

表2 3 组实验图像的矢量角度距离计算结果Table 2 Calculation results of vector angle distance of three groups of experimental images

4 结论

本文提出了一种基于彩色偏振图像的目标增强方法，通过视觉显著度的方法提取彩色DoLP、AoP 和S0图像中的目标特征，然后在HSV 空间中进行融合，达到抑制背景杂波、增大目标和背景对比度的目的。首先，由彩色偏振相机采集到的0°、45°、90°和135°这4 个方向的彩色偏振图像得到彩色DoLP、AoP 和S0图像。然后使用基于小波的视觉显著度提取模型得到彩色DoLP、AoP 和S0图像的显著度图像，使得目标得到初步的增强。再次，映射到HSV 颜色空间，在H 通道赋予图像颜色，在S 通道提高目标和背景的对比度，在V 通道提升图像整体的亮度，使得目标和背景的对比度达到最大，最大化的凸显出目标，最后转到RGB 空间得到目标突出的最终图像。实验结果表明，该方法对目标周围的背景杂波起到了很好的抑制作用，并对图像中的目标进行颜色增强，提升了目标和背景的对比度，使得人眼可以迅速并准确地发现图像中的目标。同时，该方法在目标和背景对比度以及矢量角度距离上也有了很大的提升，这与人眼观察结果相一致。除此之外，该融合方法对小目标也进行了增强，帮助人眼迅速地从场景中定位目标。但是，该方法对图像中的某些非目标区域也会进行增强，容易对目标形成干扰，因此，未来我们会针对这一问题进行进一步的研究。