简易偏振成像系统及应用

杨敬钰，徐 吉，李 坤，胡浩丰，郭 鑫

(1.天津大学电气自动化与信息工程学院，天津 300072；2.天津大学智能与计算学部，天津 300350；3.天津大学精密仪器与光电子工程学院，天津 300072)

偏振图像与普通彩色图像相比，可以获取场景中目标物体光波的不同偏振态，含有更丰富的信息，可以用于金属材质的强反射自由曲面的测量、军事上的目标识别与目标探测、导航定位、大气及云层探测以及环境恶劣条件下如低照度或雾霾天气下的图像增强等.且由线偏振片与传统彩色相机构成的偏振成像系统并不会影响对场景颜色的采集，偏振信息可以很好地用于图像处理领域.

利用光波中携带的偏振信息可以有效增强图像场景信息，得到更多的场景细节信息，因此近年来偏振成像受到广泛关注[1-2].传统的偏振捕捉系统由单目彩色相机前放置可旋转的偏振片，通过手动旋转偏振片来获取场景的不同偏振态[3]，该方法每次采集场景时都要手动调整偏振片的位置，容易造成镜头抖动，并且人工旋转偏振片不仅拍摄不便，其偏振角度的精度也不可控，同时这种采集方法只适合采集静态场景.Hu等[4]利用单目相机、线性偏振器及四分之一波片搭建偏振图像采集系统，实现水下浑浊条件下的图像复原.但是他们的系统需要主动光照明，且对拍摄条件有很高要求，在实际中很难应用.Zhang等[5]设计制作了偏振片阵列，每 2×2单元的偏振方向设置为 0°、45°、90°、135°，将其与相机的 CCD 集成在一起，通过采集单张图像可以记录场景的不同偏振态，满足了实时性要求，但该制作工艺十分复杂，且精度不能保证.而集成好的商用偏振相机，价格高昂.

本文提出了一种简易廉价的偏振成像系统，该系统由4个普通彩色相机组成，通过同步线控装置可以同时捕捉4个偏振态下的场景图片，达到对系统实时性的要求，且镜头、偏振片固定，可以保证系统的稳定性.由于光线经过透镜时会发生折射，且不同偏振片角度对光线的折射能力不同，同一束光线通过不同的角度的偏振片会落在不同的像素，因此传统的多视角几何校正方法[6-7]并不适用于本系统的四视角对齐.本文采用多分辨率变分光流方法，利用梯度恒常模型对光照不敏感的特性，在光流数据项引入梯度，由光流结果对齐四视角图像.利用光的斯托克斯矢量从偏振相机系统中捕获的图像中提取偏振信息，该信息可用于图像增强.为了测量系统的性能，本文使用提出的偏振系统采集光线暗淡条件下的场景图像，结合暗通道方法和偏振模型恢复低照度图像，在捕获的图像极暗处，偏振信息依然可以恢复图像细节，与直接由彩色相机系统捕捉的图像的恢复结果相比，取得了更好的恢复效果.

1 偏振相机系统

1.1 系统搭建

为了能够同时采集场景的不同偏振态，选择搭建由 2×2相机阵列组成的四目偏振相机系统，如图1(a)所示，4个相机由特质金属架固定在同一个平面，为了保证 4个相机的光学结构一致，使用相同型号的相机，并调整相机参数如曝光度、对比度、焦距等，以保证捕捉到的 4幅图像没有明显的差异性.图1(b)为本系统使用的偏振片，其可以固定在相机的镜头前，既保证了系统的稳定性，也杜绝了由偏振片本身反光引起的场景误差.设置 4个相机的偏振方向分别为 0°、45°、90°、135°.为了相机之间能有较大的重合视角，设置相机之间的基线距离为 35mm.捕捉时采用电脑远程控制，以减少由于手动引起的误差.

图1 偏振相机系统Fig.1 Polarization camera system

1.2 视角对齐

几何校正是多视角相机常用的对齐方法，其根据拍摄时采集的标定板数据，获得相机参数，经过矩阵变换来实现多视角图像的对齐.但是对于带有偏振片的相机来说，光线进入相机前会在偏振片处发生折射，不同的偏振片角度对光的折射效果不同.因此，对同一个相机采集不同的偏振片角度图像，其像素也不是准确对齐的.为了显示得更明显，近距离拍摄小物体，其结果如图 2所示.横线为第 66行，纵线为344列，由图2可以看出在不同偏振角下即使是同一个相机拍出的场景也有很大偏移.且相机校准还存在算法本身的误差，由此产生的结果其精度并不能达到系统要求.

图2 同一相机不同视角的偏振图像Fig.2 Polarization images of the same camera from different perspectives

光流的概念最初是由 Gibson于 1950年首先提出来的.主要用于描述相邻帧之间像素的“移动”，也称为光流场，其反映了图像上每个像素点灰度的变化趋势.光流算法根据约束条件的不同分为 4类：基于梯度的光流计算方法[8-9]、基于特征或区域的光流计算方法[10]、基于能量的光流计算方法[11]以及基于相位光流计算方法[12].本文采用多分辨率变分光流算法进行求解.

假设相邻两帧之间像素位移很小，且对应的像素点的灰度值保持恒定.设t时刻的光流图像为I(x，y，t)，经过时间间隔 dt，像素点(x，y)移动到(x+dx，y+dy)处，由灰度不变假设，有

根据泰勒展开，式(1)可以写为

由式(1)、式(2)可以得到

对式(3)两边同时除以t∇，并使t∇→0，得

式中u和v表示图像点的运动速度.

如果仅仅依靠灰度不变假设去求解光流，亮度发生的轻微变化也会对光流估计的结果造成一定的影响，为了增强其对于亮度变化的鲁棒性，引入梯度恒常假设，其松弛了比较强的灰度不变假设，允许在灰度上出现比较小的变化，表达式为

式中 ∇ =(∂x,∂v)T，表示对x、y的偏导数.

Brox光流能量函数的数据项就是由这两部分组成，可表示为

式中w=(u,v,1)T；γ代表权重值.

前面两项的假设都是在局部估计像素的运动，而忽略了相邻像素之间的相互作用.所以，一旦梯度在某处消失，或者只能估计到梯度在法线方向上的流动，就会造成问题，所以这里引入平滑性去约束这个问题.平滑项可以表示成一个能量函数

式中 ∇3=(∂x,∂v,∂z)T.

总的能量函数就可以表示成数据项、平滑项的加权和形式为

最小化E(u,v)是一个变分分问题，根据变分理论，需要去求解欧拉-拉格朗日方程.为了找到全局最小值，Brox算法用到了多尺度的思想，构建了尺度金字塔，用在较大尺度上求出的解来做小尺度上的初始化，来达到解从粗糙到精细的过程.

综上，本文采用多分辨率变分光流方法，利用梯度恒常模型对光照不敏感的特性，在光流数据项引入梯度，从而将其他三视角的图片与基准视角图片对齐，得到同一视角的4张不同偏振方向的图像.

2 实验结果与分析

光流结果如图 3所示.图 3(a)为相机的视角1(左上角)的偏振图像，图 3(b)～(d)分别为其他 3个视角的光流warp结果，图3(e)、(f)分别为图3(b)向图 3(a)对齐后的 UV分量的结果.由图 3可以观察到光流方法可以较准确地对齐4个视角的图像，且前景细节处理较好.4幅偏振图像保存了场景的不同偏振态信息，可以看到4幅图像中有由偏振片角度不同引起的光线变化.本系统将相机固定在特制的相机架子上，且偏振片可固定在镜头前部，因此系统的稳定性很好，不会产生由于人的操作造成镜头抖动或引起偏振片角度改变等误差.降低拍摄成本的同时可以保证精确度.相机可以通过线控同步采集室内、室外的场景，对一些要求同步的采集如视频采集等可以提供支持.

图3 光流及warp结果图像Fig.3 Optical flow and warp result image

3 系统应用

3.1 低照度下图像复原

为了验证本文系统的有效性，本文使用提出的偏振相机系统采集了弱光照条件下的4幅偏振图像，利用光流方法对齐四视角图像，并求解 stokes矢量，利用偏振信息结合暗通道先验[13-14]去雾算法，实现对低照度图像的增强.图4是整个算法的流程.

Stokes计算式为

取圆偏光V＝0，结合 Zhang等[15]偏振信息的提取方法与 Dong等[16]提出的反转后的夜间弱光条件下拍摄的图像，其结果与白天有雾条件下拍摄的图像非常相似.对图像做如下处理.

将得到的低照度图像反转.

式中L表示处理后的低照度图像，c∈{R，B，G}.

根据暗通道规律，无雾的自然图像的非天空区域，像素的某一个颜色通道总会有很低的值，即图像的暗通道图是像素值接近 0的图像.由此，可得到投射率公式为

式中：Ω(x)为像素y的邻域；A为大气光.实验结果如图5所示，图5(b)展示了偏振的透射率图像.

3.2 结果分析

如图 5(a)所示，传统的相机系统在夜间光照较低时，捕捉的图像质量较低，大部分图像细节难以辨识.偏振图像携带了场景除光强外其他的光线信息，有利于恢复图像的对比度及局部细节.图 5(c)为本文提出的系统恢复的结果，图 5(d)为彩色图像恢复的结果.由图 5可以看到，直接由彩色图像恢复的结果，颜色失真严重，如窗帘处整体偏暗.而偏振图可以很好地恢复窗帘的颜色.

此外，图 5中左右两侧的椅子由于颜色较暗，与背景颜色相近，很难区分.图 5(e)、(f)(图 5(c)、(d)的白色框放大图像)分别展示了偏振图像与彩色图像中使用暗通道先验方法，左侧椅子的恢复情况.可以看出，图 5(f)彩色图像无法恢复椅子，而偏振图像根据光的信息可以恢复该细节.

图5 室内低照度下图像恢复结果Fig.5 Result of image restoration under indoor low illumination

为了验证实验方法的有效性，采集了室外数据，如图 6所示.由偏振的恢复结果图 6(c)可以观察到背景处的车轮廓，且图像噪声较小.

对比度是指投影图像最亮和最暗之间的区域之间的比率，一般来说对比度越大，图像越清晰醒目.实验中取中心像素灰度值与周围 8近邻像素灰度值之差的平方之和，来计算对比度.实验结果如表 1所示，本系统恢复的图像对比度值更大，这与视觉效果相一致.

图6 室外低照度下图像恢复结果Fig.6 Result of image restoration under outdoor low illumination

表1 图像对比度计算Tab.1 Computation of the image contrast

4 结 语

本文提出了一个 2×2的偏振相机系统，由相机固定架、彩色相机、可固定偏振片组成，该系统使用光流方法保证各偏振角图像的同步对齐采集.利用斯托克斯矢量求解场景的偏振信息，可用于图像增强.系统成本低，且方法简单.由低照度下的图像恢复实验可以证明本文提出系统的有效性.