彩色分焦平面偏振图像配准方法

王荣昌,王 峰,祖鸿宇,王 勇,任帅军

(1.中国人民解放军陆军炮兵防空兵学院信息工程系,安徽 合肥 230031；2.偏振光成像探测技术安徽省重点实验室,安徽 合肥 230031)

1 引 言

作为光的基本特性,偏振信息可以提供更加丰富的目标特征信息,包括目标的构成材料、表面特性和结构特性等。目前,偏振成像被广泛用于水下检测[1-2]和遥感[3]等领域。目前的偏振成像系统主要分为四类:分时型[4]、分振幅型[5]、分孔径型[6-7]、分焦平面型[8-9],其中彩色分焦平面偏振相机将0°、45°、90°和135°四个方向的偏振信息集成到每一个“偏振像元”中,并在此基础上将4个偏振像元按照拜尔排布规则,组成(4×4)大小的“彩色偏振像元”,能同时获取目标的四个偏振方向的彩色三通道(RGB)强度图,但存在分辨率损失和像元错位的问题[10-11]。目前大多采用插值的方法解析偏振图像从而提高分辨率,常用的插值方法有双线性内插、双三次内插和基于梯度的插值方法等[12-16],在这些常用的插值方法基础上,还有根据强度相似性和偏振相似性在对角线方向上实现插值的方法[17]；通过计算分块的方差来表示分块的局部光滑性[18]从而平衡双线性插值和双三次插值算法的方法；基于张量分解重构的图像块反向映射获得全分辨率的偏振图像的方法[19]等。

虽然传统插值方法已经能达到较高的偏振图像解析精度,但都没有考虑到由分焦平面相机偏振像元阵列排布特点导致的像元错位问题,即原始图中每个偏振像元中的4个像素点的位置始终存在着一定的偏差,因而下采样后插值得到的偏振方向图之间会存在像元错位的问题,用这样的4幅偏振方向图计算偏振参量或者进行其他关联性计算时,都会造成一定的误差。

本文在插值算法的基础上提出一种彩色分焦平面偏振图像配准方法。首先将配准与未配准得到的彩色偏振参量图分别与标准偏振参量图进行对比评估；然后增加了传统图像配准方式进行对比；最后进行了彩色偏振图像解析效果对比。结果表明:应用本文提出的配准算法后得到的偏振参量图精度高于未配准得到的结果和传统配准方法得到的结果。

2 彩色分焦平面偏振成像原理

图1所示为彩色分焦平面偏振像元阵列排布示意图,其排布规则为:像元阵列由彩色偏振像元组成,每个彩色偏振像元由(4×4)个基础像素点组成,其中由 0°、45°、90°和135°四个偏振方向的像元组成一个偏振像元,在此基础上将4个偏振像元按照拜尔排布规则,组成一个彩色偏振像元。通过该偏振成像系统获得的原始图,通过解析处理可以得到4个偏振方向的彩色三通道强度图,进而计算得到彩色三通道偏振参量图。

图1 彩色分焦平面偏振像元阵列排布示意图Fig.1 Diagram of color DOFP polarization pixel array arrangement

彩色分焦平面偏振相机获取的原始图解析得到彩色RGB偏振方向强度图后计算偏振参量的过程中R、G和B三个通道互不影响,单独取偏振方向图的一个通道(此处取R通道)进行描述,计算偏振参量的公式为:

(1)

3 彩色分焦平面偏振图像解析及配准方法

3.1 彩色分焦平面偏振图像解析

彩色分焦平面偏振图像解析流程如图2所示,彩色分焦平面偏振相机获取的原始图(灰度)首先经过下采样得到4幅偏振方向强度图(灰度)；然后对这4幅图分别进行基于拜尔排布的彩色图像解析得到4幅彩色RGB偏振方向强度图(现阶段这个解析过程的算法已经十分成熟,根据滤光片排布情况直接调用相应的OpenCV库函数即可,故而不做过多描述)；再然后对4幅彩色RGB偏振方向强度图进行插值使其变为原始图大小(对每幅彩色RGB偏振方向强度图的R、G和B三个通道分别进行插值,插值后进行通道融合,三个通道之间互不影响),最后通过计算得到彩色RGB偏振参量图(4幅彩色RGB偏振方向强度图计算偏振参量的过程中R、G和B三个通道之间互不影响,分别对每个通道的偏振方向图进行计算得到该通道的偏振参量图,然后进行通道融合得到彩色RGB偏振参量图)。为简化算法描述,后续只取彩色RGB偏振方向图中的一个通道进行描述。

图2 彩色偏振图像解析流程示意图Fig.2 Diagram of color polarization image parsing process

在上述流程的插值过程中,插值后的4幅偏振方向图存在像元错位的问题,以图2中插值后得到的0°偏振方向图(4×4)为例,插值后无法得到最左一列和最上一行的与其他三幅偏振方向图正确对应(相较于原始图中每个偏振像元中的4个不同偏振方向的像素点位置)的像素点,同理,其余三幅偏振方向图也分别存在两处无法与其他偏振方向图一一对应的边缘像素点。下一小节将具体分析产生这种“错位边缘”的原因,并描述本文提出的配准方法。

3.2 彩色分焦平面偏振图像配准方法

根据分焦平面偏振像元阵列的特点,对原始图进行下采样并插值处理后,给每幅偏振方向图的像素点添加坐标,如图3所示。以原始图中的(0,0)坐标的偏振像元为例,该偏振像元由4个不同偏振方向的像元组成,分别是0°(1,1)、45°(0,1)、90°(0,0)和135°(1,0),原始图经过下采样和双三次内插处理后,得到了相同大小的4幅偏振方向图,其中,每幅偏振方向图左上角的一个像素点的坐标分别为:0°(1,1)、45°(0,1)、90°(0,0)和135°(1,0)(此处标注的坐标是基于原始图中(0,0)坐标的“偏振像元”为基准),将4幅偏振方向图相同位置的像素点一一对应计算得到各偏振参量图,取计算得到的偏振参量图左上角的一个像素点,该点的像素值计算结果如式(2),可以看出,如果以未经处理的偏振方向图进行偏振参量的计算,由于分焦平面偏振像元阵列中每个偏振像元的4个偏振方向对应的像元位置不同,必将产生像元错位现象,因此计算得到的偏振参量,也必将产生误差。彩色分焦平面偏振图像的解析误差则是由三个通道的解析误差共同引起的。

图3 像元坐标示意图Fig.3 Diagram of pixel coordinates

(2)

根据上述问题,本文采用“切边法”,即分别“切除”4幅方向图中的错位边缘,使得4幅方向图可以在进行偏振参量计算时,彼此间同一位置的像素点不再受分焦平面偏振像元阵列排布特点造成的像元错位影响。具体的思路是:选定图3中的0°偏振方向图为基准图,0°偏振方向图左上角的像素点坐标为(1,1),45°偏振方向图最左上角的像素点坐标为(0,1),相较于0°偏振方向图,45°偏振方向图中该像素点的横坐标值少了1,为了使45°偏振方向图与0°偏振方向图中每个像素点坐标一一对应,需要切除45°偏振方向图最上边的一行边缘像素；同理,对90°偏振方向图而言,相较于0°偏振方向图,90°偏振方向图中像素点横坐标值和纵坐标值都少了1,需要切除对90°偏振方向图最上边的一行边缘像素和最左边的一列边缘像素；同理,对于135°偏振方向图而言,相较于0°偏振方向图,135°偏振方向图中像素点纵坐标值少了1,需要切除135°偏振方向图最左边一列边缘像素。其中,90°偏振方向图切除了最上边一行和最左边一列的边缘像素,为了使4幅偏振方向图像素点完全一一对应,0°偏振方向图需要切除最右边一列和最下边一行的边缘像素,45°偏振方向图除了需要切除最上边的一行边缘像素,还需要切除最右边的一列边缘像素,135°偏振方向图需要额外切除最下边的一行边缘像素。当4幅偏振方向图分别完成切边操作后,像元错位问题就得以解决,如图3所示,中间3×3区域为已配准区域,已配准的4幅偏振方向图之间的像素点是一一对应的,因此,后续进行偏振参量计算或者其他方向图之间的关联操作时,得到的结果精度会有所提高。

4 实验及结果分析

4.1 实验环境

为对比配准和未配准对彩色分焦平面偏振图像解析的像素还原效果,采用分时偏振成像系统获取彩色偏振方向标准图,搭建的分时偏振成像系统如图4所示,由灰度相机、负责彩色滤光片转轮(获取R、G和B三个波段信息)和偏振波片转轮(获取0°、45°、90°和135°四个偏振方向信息)组成,通过该系统获取不同场景的彩色偏振方向标准图(每个场景对应12张灰度图片,其中包含0°、45°、90°和135°四组偏振方向图,每组偏振方向图包含R、G和B三个通道的三张偏振方向图),随机抽取实验数据集中8个的0°彩色偏振方向强度图(R、G和B三个通道融合得到)如图5所示。

图4 分时偏振成像系统Fig.4 Time sharing polarization imaging system

图5 8组实验数据的0°彩色偏振方向强度图Fig.5 0° polarization images of 8 groups of experimental data

4.2 实验流程

彩色分焦平面偏振图像高效配准方法验证实验流程如下:

步骤1:将分时偏振成像系统获取的0°、45°、90°和135°四组(12幅)偏振方向标准图直接按照式1计算得到I、Q、U和P四组(12幅)偏振参量标准图(假设偏振方向标准图大小为M×N),然后将每组偏振参量标准图进行通道融合得到I、Q、U和P四幅彩色偏振参量标准图；

步骤2:将分时偏振相机获取的0°、45°、90°和135°四组(12幅)偏振方向标准图分别按照图2所示的偏振像元中对应偏振方向像素点的位置进行下采样(具体操作如图6所示,以0°偏振方向图(包含R、G和B三个通道)为例,提取分时偏振相机获取的0°偏振方向标准图中对应中0°偏振像素点位置的像素点,得到尺寸变为四分之一大小的0°偏振方向图。),然后对新的四组(12幅)偏振参量方向图分别进行双三次内插处理,使插值后的尺寸与偏振方向标准图相等,然后按照式(1)计算得到四组偏振参量图,然后将每组偏振参量图进行通道融合得到IUn-Rs、QUn-Rs、UUn-Rs和PUn-Rs4幅彩色偏振参量图；

图6 彩色偏振方向标准图下采样过程Fig.6 The sampling process of color polarization direction standard graph

步骤3:在步骤2中下采样得到的四组(12幅)偏振方向图的基础上,分别进行双三次内插,为了使切边后的尺寸与标准图相等,此处插值后的尺寸取为(M+1)×(N+1),然后按第3节提出的切边方法,切除四组(12幅)偏振方向图的错位边缘(同一组偏振方向图中R、G和B三个通道的切边方式相同),将切除边缘后的四组(12幅)偏振方向图按式1计算得到四组偏振参量图,然后将每组偏振参量图进行通道融合得到IRs、QRs、URs和PRs4幅彩色偏振参量图；

步骤4:将步骤1得到的彩色偏振参量标准图分别与步骤2和步骤3得到的彩色偏振参量图对比,计算得到未配准的均方根误差(RMSEUn-Rs)和配准的均方根误差(RMSERs),然后对比分析RMSEUn-Rs和RMSERs。此处参照OpenCV库函数彩色图像灰度化的处理方法,通道均值化处理,即取R、G和B三个通道的误差的均值。

4.3 评价指标

本文采用两种图像评价指标,一种是均方根误差(RMSE)[20],用以评估配准前后对比图与标准图误差情况,公式如下:

(3)

其中,MSE代表对比图与标准图的均方误差;xd(i,j)为对比图坐标(i,j)处的灰度值;xb(i,j)为标准图坐标(i,j)处的灰度值;M、N为图像的宽和高;RMSE数值越小,代表对比图与标准图之间的误差越小,图像质量越接近标准图。

另一种是峰值信号比(PSNR)[21],用以评估应用不同配准方法得到图像的质量,公式如下:

(4)

其中,n为每个像素的比特数;本文中对应的n为255;PSNR数值越大,代表处理后的图像失真越小,图像质量越好。

4.4 实验结果对比及分析

(1)配准与未配准方法误差分析

将4.1小节中的8组偏振方向标准图按照4.2中的步骤得到八组对比数据,统计结果如表1所示。

表1 均方根误差统计结果Tab.1 The statistical results of RMSE

在表1中,数字“1”到“8”代表八组实验编号；I、Q、U和P代表其对应的偏振参量；Error-Mean代表对应偏振参量(列)的八组RMSE在配准前后的均值；Error-Std代表对应参量的8组RMSE的标准差。对于Q、U和P图,Error-Mean值反映了对应偏振参量的RMSE在不同实验场景的平均分布情况。可以看出,未配准时计算得到的Q、U和P图的Error-Mean分别为40.52、46.56和17.08,而应用本文提出的配准方法后的Error-Mean分别为17.17、19.51和9.88,配准后Q、U和P的Error-Mean比配准前分别降低了23.35、27.05和7.2,配准后各偏振参量的Error-Mean均降低了一半左右,这表明本文所提出的配准方法有效降低了偏振图像解析时存在的误差。而Error-Std反映了对应偏振参量的误差在不同应用场景下的稳定性,Error-Std越小,误差的稳定性越高。可以看出,未配准计算得到的Q、U和P图的Error-Std分别为20.437、20.236和5.638,而应用配准方法计算得到的Error-Std分别为9.940、12.625和2.473,配准后Q、U和P的Error-Std比未配准时分别降低了51 %、38 %和56 %,这表明本文提出的配准方法提高了在不同场景下偏振图像解析误差的稳定性。经上述分析可得出结论:应用本文所提配准方法不仅能够有效降低偏振图像解析时存在的误差,而且误差的稳定性也得到了显著提升。可见该配准方法能够有效提升偏振图像解析的精度。

然而,配准后的I图的Error-Mean和Error-Std相较于配准前虽然有略微增加,但这种现象具有一定的偶然性。出现这样的情况是因为本文提出的配准方法是在双三次内插的基础上进行的,偏振方向图经过双三次内插拉伸到原始图尺寸后,存在着许多插值得到的像素点。参照图3所示的配准区域示意图,配准区域中的(1,1)坐标像素点的强度计算如式(5),其中I0(1,1)是原始像素点,I45(1,1)、I90(1,1)和I135(1,1)都是插值得到的像素点。虽然原始像素点和插值后的像素点计算得到的结果相较于标准图会有细微偏差,但是这种细微偏差是由于双三次内插存在误差引起的,并不会影响配准后的偏振图像解析精度得到提升的结论。

(5)

(2)不同配准方法的对比

选用图5(g)代表的一组标准偏振方向图,在此基础上应用不同配准方法(增加了传统图像配准方法:FM(傅里叶变换)配准[22]、FH-FM(快速高精度傅里叶变换)配准[23]和SURF(Speeded-Up Robust Features)配准[24])然后分别计算PSNR,结果如表2所示。

表2 不同方法的峰值信噪比Tab.2 Different methods of PSNR

通过表2的数据可以得出结论:①数值上来看,对于I图来说,本文所提配准方法相较于未配准和其他配准方法,PSNR有小幅度的减少；对于Q、U和P图,本文所提方法与其他配准方法相比,PSNR有大幅度的增加；②采用传统图像配准方法对提升偏振参量图像质量效果不佳。

接下来通过实际的视觉效果对比不同方法的差异性,图7所示为在图5的8幅0°偏振方向图中选取的(g)图,以(g)图所属的一组标准偏振方向图为基础,采用不同的配准方法得到不同的Q、U和P图,选取同一局部区域,得到对比效果如图所示(因I图差异较小,视觉上难以区分效果,故而不列出对比)。

图7 0°标准偏振方向图及局部放大区域Fig.7 0° standard polarization image and local amplification region

图8 Q,U和P图局部区域对比Fig.8 Comparison of local areas in Q,U and P images

可以看出,相较于其他方法,采用本文提出的配准方法得到的Q、U和P图局部区域细节更接近标准图,传统图像配准方法效果较差,验证了本文所提配准方法的合理性。

(3)配准与未配准方法的应用效果对比

本小节采用彩色分焦平面相机获取了一幅模型车的彩色偏振原始图,相机主要参数如表3所示。原始图解析得到的RGB强度图如图9所示,分别得到配准和未配准对应的Q、U和P图(由上一小节的对比可知传统配准方法不适用于彩色分焦平面偏振图像解析,故而此处不把这三种方法的效果图加入对比),选取同一局部区域,得到对比效果如图10所示(因I图差异较小,视觉上难以区分效果,故而不列出对比)。

表3 彩色分焦平面相机参数Tab.3 The parameters of color DOFP camera

图9 RGB图及局部放大区域Fig.9 RGB image and local magnification area

图10 彩色偏振参量局部图对比Fig.10 Local image contrast of color polarization parameters

可以看出,通过配准后计算得到的彩色Q、U和P图的局部细节部分的视觉效果比通过未配准计算得到的彩色Q、U和P图要好,在应用层面验证了本文所提配准方法的有效性。

5 结束语

本文从分析分焦平面偏振像元阵列排布特点的角度出发,提出了导致偏振方向图之间存在像元错位的主要因素,在插值算法基础上提出了一种改进配准方法。通过对比实验,对配准方法的合理性与有效性进行了验证,得出结论:所提配准方法能够降低试验中的分焦平面彩色偏振图像解析中存在的像元错位问题对解析精度的影响,解析精度相较于未配准结果有明显的提升。