融合偏振信息的多孔径水下成像算法

刘宾 赵鹏翔 赵霞 罗悦 张立超

(中北大学信息与通信工程学院, 太原 030051)

水下光学成像是探索水下奥秘的关键技术, 但是环境中介质吸收和背向散射效应会造成图像严重退化.基于差分偏振的复原技术是水下图像复原技术的主要方法之一, 通过正交偏振图之间的共模抑制实现背景散射光的抑制, 但是相关研究表明该方法对于非均匀光场等情况的恢复效果一般, 其原因主要在于非均匀光场条件下偏振度和强度的估计误差. 针对上述问题, 本文提出融合偏振信息的多孔径水下成像技术, 该方法利用相机阵列实现虚拟大孔径成像系统, 从而获取广角光场信息, 进而融合场景的深度信息实现背景散射和偏振度的精确估计, 估计参数值能更好地反映场景的全局特征. 对浑浊水下环境中不同偏振度目标进行成像实验, 与目前先进的复原算法进行对比, 结果表明, 本文方法能够有效克服水下非均匀光场带来的问题, 得到高质量的复原结果.

1 引 言

水下环境中悬浮颗粒对光的散射和吸收导致光学成像系统的探测距离和成像质量等指标显著下降, 严重影响了后续水下目标的识别和分析[1,2],因此水下图像的复原技术是光学成像领域的热点研究问题. 具体来说, 水下图像复原方法主要有数字图像处理复原、光学系统优化复原、多维度光学信息融合复原等[3−6]. 数字图像复原技术以水下成像的物理退化模型为基础, 依靠先验和假设等估计退化因子并反演退化过程以达到提升图像质量的效果, 其中典型的代表为暗通道先验技术、多通道融合技术[7,8]. 区别于数字图像处理复原方法, 另一类方法则侧重从光学系统优化设计和光学信息多维度融合方面出发达到水下图像复原的目标, 其中典型代表为多光谱融合复原、多视角信息融合复原、偏振光学成像复原等[9−12]. 基于偏振成像的复原方法利用散射光的偏振特性, 分离目标和背景光, 估计散射光强和透射系数, 达到抑制散射光提升图像质量的目的. 该方法散射介质类型实用性广, 细节保真度高, 特别是在高浓度散射介质中尤具优势, 因此在各领域中得到广泛应用.

分析上述方法的基本原理可知, 有效分离场景中目标和背景光信息, 准确估计场景的散射光强和偏振度分布是保证实现高质量复原的关键. 但是相关算法在场景背向散射参数估计中主要采用常数法和多次项拟合法[13]. 常数法是将场景背向散射参数按常数对待, 以单视角图像中不包含目标的局部区域的平均值作为全局参数. 多次项拟合法针对常数法误差大的问题, 提出利用场景中不包含目标的区域作为依据, 以二维多次项拟合的方式获取图像全局后向散射参数. 该方法相对常数法能够获取更好的复原效果, 但仍然以单一视角图像为依据,受视场角的约束, 场景真实背向散射参数仍具有较大的局部性, 缺乏全局性考虑. 同时当场景复杂导致背景区域较少时, 将严重影响拟合精度, 从而影响复原质量.

因此, 本文提出融合偏振信息的多孔径水下成像方法, 通过大基线多视角多孔径成像系统实现场景信息的广角探测. 在探测场景光场信息的基础上, 通过光线的分类实现目标和背景信息的有效区分, 并获得场景背景散射和偏振度参数的估计, 有效保证参数的全局性. 将其应用到偏振图像复原算法中可得到更好的重建质量.

2 差分偏振水下成像的基本原理

水下成像模型中探测器接收的光辐射主要包括目标的反射光D(x,y) 和背景反射光B(x,y) 两部分. 由于目标的反射光在水中传播时受悬浮颗粒的影响, 到达探测器的直接透射光强随传输距离呈现指数衰减:

式中, (x,y) 是探测图像的像素坐标;L(x,y) 是目标的原始反射光强;t(x,y) 是光的透射率, 表示为

其中,β(x,y) 代表水体的衰减系数, 用来量化水体对光的吸收与散射, 一般在研究过程中将其假定为常数,d表示透射光的传输距离. 背景反射光由光经过水中悬浮颗粒产生背向散射, 被探测器获取,表示为

其中A∞对应于在环境中无穷远处的后向散射强度值.

于是, 可得到达探测器的总光强为

由(1)—(4)式计算可得目标的原始反射光强为

偏振差分水下复原技术在光学成像系统前放置相互正交的检偏器, 利用其共模抑制作用来滤除背向散射光, 偏振方向正交的强度分布表示为I//(x,y) 和I⊥(x,y) . 由水下成像模型可得

则后向散射光的偏振度可以表示为

其中DB表示后向散射光中的完全偏振光强. 结合(6)式和(7)式可知

于是得到光的透射率表达式:

由(9)式可知, 在光的透射率t(x,y) 的计算过程中最重要的是后向散射强度值A∞以及后向散射光的偏振度Pscat(x,y) 两个参数的估计.

3 后向散射参数的估计方法及问题分析

根据第2 节分析, 准确估计后向散射强度值A∞和后向散射光的偏振度Pscat(x,y) 参数是影响图像复原质量的关键因素. 传统水下偏振成像方法中后向散射参数的估计方法主要以常数法为主, 即在图像中选取场景中远处非目标区域, 逐像素计算并求取平均值作为最终估计数值. 此种方法具有较大误差, 特别是在非均匀光场环境中, 无法有效恢复感兴趣目标. 分析体散射函数的定义可知, 其在水体中随时间和空间变化, 一般表示为角度和深度的函数. 因此, 在非均匀光场环境中必须从全局的角度考虑背向散射参数[14−18]. 针对上述问题, 相关研究人员针对性地开展了相应的研究, 最具代表性的是参考文献[13]提出一种在非均匀光场环境下的偏振图像复原方法, 该方法考虑了背向散射参数在空间分布的不均匀性, 通过选取场景中非目标区域, 三维拟合得到全空间背向散射光强度和偏振度的分布函数, 进而得到复原图像. 此方法相对传统方法能够克服背向散射参数空间分布不均匀性, 复原图像的清晰度和对比度均得到了提升.

但是, 如(9)式所述,A∞和Pscat(x,y) 是水体环境中无穷远处对应的后向散射参数, 而该方法忽略了水体中存在多重散射问题, 系统获取的背景区域的信息仍然是经过多重散射后的信息, 从而估计参数存在水体多重散射的影响. 另一方面, 现有系统以单视角获取场景的光场信息, 该方法存在一定的局限, 即某固定小角度范围水体散射函数的测量及估计结果无法精确地反映水体的散射系数, 更无法描述散射体对光散射方向的贡献.

4 多孔径水下偏振成像方法

针对非均匀光场环境下的背向散射参数估计问题, 本文提出利用多孔径成像技术获取水下场景广角度范围内的光场信息, 凭借多孔径成像系统的虚拟大孔径效应, 结合光场重聚焦方法实现水体中无穷远处背向散射参数的估计[19−22].

按照双平面表示法, 可以对场景辐射光的角度和位置进行描述. 经过平面uv和平面st的到达子视角探测器的总光强可以描述为

其中,D(u,v,s,t),B(u,v,s,t) 分别表示经过(u,v)和 (s,t) 的目标的透射光和背景散射光. 按照水下成像模型可得

其中,L(u,v,s,t) 表示目标的原始反射光强, 即子视角恢复后的图像;A∞对应于后向散射强度值;t(u,v,s,t)表示光在水中的透射率. 将正交偏振状态引入, 可以获得由 (u,v,s,t) 确定子视角的偏振方向正交的强度分布I//(u,v,s,t)和I⊥(u,v,s,t) 的表示式:

则对应后向散射光的偏振度可以表示为

综合上述公式, 可以获取由 (u,v,s,t) 确定光的透射率表达式:

由于水下图像降质主要考虑水体后向散射的影响, 因此忽略目标辐射偏振特性后, 得到后向散射光中的完全偏振光强 ∆B(u,v,s,t) 为

子视角复原图像对应光线 (u,v,s,t) 的表达式为

不难发现, 多孔径水下偏振成像方法考虑了环境光场辐射光线的位置和角度信息, 通过光线的位置和角度约束可以实现任意深度平面的重聚焦. 由于多孔径系统具有虚拟超大孔径, 因此系统具有极窄的景深, 可以在重聚焦过程中有效去除非聚焦面光线的影响, 降低水体多重散射造成的背向散射参数估计误差. 并且, 系统重聚焦过程融合了多个观测视角的背向散射的信息, 可以更好地反映场景的全局特征.

5 实验及结果分析

本文设计浑浊水下目标图像成像实验系统, 被检测目标选用偏振特性差异较大的金属徽章和塑料玩偶, 器皿采用尺寸为45 cm × 60 cm × 45 cm的玻璃水箱.

实验1对本文所提出的方法进行验证, 在装满清水的水箱中加入45 mL 牛奶, 搅拌均匀以模拟水下浑浊环境. 采用投影光源在水槽上方以一定角度打光, 形成非均匀照明环境. 成像器件为CMOS (complementary metal oxide semiconductor)彩色相机, 500 万像素.

利用直线运动平台实现相机水平移动, 以获取多视角图像. 相机前端为线偏振片, 分别调整为水平和垂直方向两种状态, 以获取不同视角下的两种相互正交的偏振态图像, 实验系统如图1 所示.

图1 模拟浑浊水下多孔径成像实验现场图Fig. 1. Simulated turbid underwater multiple aperture imaging experiment scene.

为验证本文方法, 通过轨道平移获取场景的17 个视角的场景图像信息. 一方面, 利用拟合法对偏振度分布和背景散射参数进行估计后恢复图像;另一方面, 利用场景的多视角信息进行重聚焦, 分别以各视角为参考, 调节聚焦因子至场景的无穷远处获取不同视角的重聚焦结果, 并利用重聚焦结果进行偏振度分布和背景散射参数的估计, 进而对各视角图像进行恢复. 最后利用恢复的多视角图像进行重聚焦操作, 将其聚焦至目标平面处, 得到多视角融合恢复图像. 如图2(a)和图2(b)所示, 本文给出了拟合法和重聚焦方法估计的偏振度分布和背景散射参数(中心参考视角). 图2(e)和图2(f)分别给出了拟合法和本文方法估计参数后恢复的中心参考视角的恢复结果. 图2(g)为利用本文方法估计参数后恢复结果的多视角重聚焦结果. 针对上述结果, 本文采用结构相似性(structural similarity, SSIM) 和峰值信噪比(peak signal-tonoise ratio, PSNR) 两个参数进行定量评价, 得到的结果如表1.

图2 模拟浑浊水下目标图像恢复结果对比, 其中上图为玩偶图像恢复结果; 下图为金属币图像恢复结果 (a1), (a2) 拟合法估计的偏振度分布和背景散射; (b1), (b2) 重聚焦估计的偏振度分布和背景散射; (c1), (c2) 水平偏振图像; (d1), (d2) 垂直偏振图像;(e1), (e2) 拟合法恢复图像; (f1), (f2) 参考视角恢复图像; (g1), (g2) 多视角融合恢复图像Fig. 2. Comparison of simulated turbid underwater target image recovery results. Up panel: Doll image recovery results. Down panel: Metal coin image recovery results. (a1), (a2) The polarization degree distribution and background scattering estimated by the fitting method; (b1), (b2) refocusing estimation of polarization degree distribution and background scattering; (c1), (c2) horizontally polarized image; (d1), (d2) vertically polarized images; (e1), (e2) image restoration by fitting method; (f1), (f2) image recovery from reference perspective; (g1), (g2) multi-perspective fusion to restore the image.

从恢复结果和数据对比可以看出, 利用拟合法估计参数恢复的结果能够较好地恢复图像, 但是由于照明不均匀, 导致恢复图像的亮度和对比度分布不均匀, 同时伴有较大噪声. 利用本文方法对偏振度和背景散射参数估计后, 应用到参考视角的恢复结果可以获得亮度均匀对比度好的结果, 但是和拟合法一样仍然存在较大的噪声. 当采用多个视角的恢复结果进行重聚焦, 融合多视角信息聚焦至目标平面后, 则可以大大降低图像噪声, 提升图像质量,并且保证了图像的色彩还原度.

实验2利用本文方法对不同浑浊浓度下水中目标的复原情况进行对比. 在尺寸为45 cm ×60 cm×45 cm 的玻璃水箱中加入50 L 清水, 形成清水环境, 然后加入1, 1.3, 1.6, 1.9 mL 脂肪乳注射液(分别对应于浓度1 至浓度4), 搅拌均匀后形成四种不同浑浊浓度的水下环境条件. 利用浑浊水下目标图像成像实验系统, 分别获取清水及四种不同浓度水下模拟环境的实验数据, 并用本文方法对四种浓度下的图像进行复原. 图3(a)为清水条件下的图像, 图3(b)—(e)为不同乳浊浓度下的恢复结果.

针对所获得的不同浑浊浓度下图像的恢复结果, 同样采用SSIM 和PSNR 两个参数进行定量评价, 得到的结果如表2 所列.

通过对比上述不同浓度下图像恢复结果和定量分析数据可以看出, 随着水中乳浊液浓度的不断增加, 图像复原结果的对比度和峰值信噪比都在逐步降低, 说明随着水体浑浊度的增加, 本文所提出的方法对水下景物的恢复效果在逐步减弱. 但是在较大的浓度下, 仍然可以比较好地恢复水下目标.

表1 实验1 结果定量比较Table 1. Quantitative comparison of experiment 1 results.

图3 模拟不同浑浊浓度水下目标图像恢复结果对比, 其中上图为玩偶图像恢复结果; 下图为金属币图像恢复结果 (a1),(a2) 清水图像; (b1), (b2) 浓度1对应的复原图像;(c1), (c2) 浓度2对应的复原图像; (d1), (d2)浓度3对应的复原图像; (e1),(e2) 浓度4 对应的复原图像Fig. 3. Comparison of simulated different turbid concentrations underwater target image recovery results. Up panel: Doll image recovery results. Down panel: Metal coin image recovery results. (a1), (a2) Images in clear water; (b1), (b2) the restoration image corresponding to concentration 1; (c1), (c2) the restoration image corresponding to concentration 2; (d1), (d2) the restoration image corresponding to concentration 3; (e1), (e2) the restoration image corresponding to concentration 4.

实验3利用本文方法对不同泥沙浓度环境下的水下图像复原结果进行对比分析. 在之前所用水箱中放入目标物, 同样加入50 L 清水, 形成清水环境, 然后使用量筒在水中分别加入10, 20, 30 mL的泥沙(分别对应于浓度1 至浓度3), 搅拌均匀,模拟出三种不同泥沙浓度的水下环境. 使用水下成像系统获取清水环境和三种不同泥沙浓度模拟环境的实验数据. 利用本文的方法分别对三种浓度下的实验数据进行处理复原, 复原结果如图4 所示.图4(a)为清水条件下的图像, 图4(b)—(d)为不同乳浊液浓度下的恢复结果.

同样, 针对不同泥沙浓度环境的复原结果, 依旧使用图像质量评价函数SSIM 和PSNR 进行定量分析. 结果如表3 所列.

表2 实验2 结果定量比较Table 2. Quantitative comparison of experiment 2 results.

图4 模拟不同泥沙浓度水下目标图像恢复结果对比, 其中上图为玩偶图像恢复结果; 下图为金属币图像恢复结果 (a1),(a2) 清水图像; (b1), (b2) 泥沙浓度1 对应的复原图像; (c1), (c2) 泥沙浓度2 对应的复原图像; (d1), (d2) 泥沙浓度3 对应的复原图像Fig. 4. Comparison of simulated underwater target image recovery results with different sediment concentrations. Up panel: Doll image recovery results. Down panel: Metal coin image recovery results. (a1), (a2) Image of clear water; (b1), (b2) the restoration image corresponding to sediment concentration 1; (c1), (c2) the restoration image corresponding to sediment concentration 2; (d1),(d2) the restoration image corresponding to sediment concentration 3.

表3 实验3 结果定量比较Table 3. Quantitative comparison of experiment 3 results.

从上述结果和数据可以看出, 在泥沙环境下的水下目标复原结果, 也遵循浓度越高, 恢复图像效果越差的规律, 在较大浓度下也能对图像进行一定的复原. 但是与使用乳浊液模拟的水下浑浊环境复原图像相比, 复原结果相对较差. 这是由于在水中泥沙的颗粒较大, 散射较强, 系统所获取的有效信息较低, 而乳浊液模拟的水下浑浊环境中, 水中悬浮粒子的颗粒较小, 散射较弱, 获取的有效信息相对较多, 恢复的图像相对较好.

6 结 论

本文提出了一种非均匀光场水下图像复原方法. 该方法重点针对水体背向散射参数空间分布估计方法进行优化, 充分考虑水体散射的角度、深度和多重散射等因素, 采用多孔径重聚焦成像方法,能更有效地估计水体环境下无穷远处的背向散射强度和偏振度分布参数. 本文方法能够实现广角水体信息测量, 反映水体背向散射的全局特征. 重聚焦过程可以有效克服多重水体散射问题, 能够反映水体无穷远处散射特性. 实际实验结果表明, 该方法能够有效地改善非均匀光场条件下的水下图像复原质量, 有利于场景中目标图像的恢复.