基于偏振信息的水下目标显著性检测

李晓芳，谢光前，李春光

(常州工学院计算机信息工程学院, 江苏 常州 213032)

0 引言

显著性检测是通过模拟人类视觉系统在复杂场景中迅速搜索到自己感兴趣的目标，进而得到图像中显著区域的图像处理方式[1]。显著性检测可以有效降低图像处理过程的冗余度，提高目标检测与识别的准确性及处理速度。对目标进行显著性检测是实现水下人造目标检测、识别及定位的重要技术途径[2-3]。显著性检测方法一般分为自上向下注意模型和自下向上注意模型。自下向上注意是一种任务驱动式的过程，即在图像中寻找感兴趣的目标，而自上向下注意则是一种依靠低级视觉寻找显著性区域的过程，其与具体任务紧密相关，目前两种模型都不够成熟。自下向上的显著性检测方法侧重于利用纹理、边缘等特征来检测显著性，目前研究者们已提出一些典型的自下向上的注意模型。常用的自下向上显著性检测方法主要分为两大类：一是基于生物视觉导向的方法，如L.Itti等[4]采用Itti视觉注意模型提取水下图像所对应的显著图，将最显著部分作为目标区域。该模型主要利用高斯金字塔分解以及中央周边差来估计目标特征，从而获得显著图。Barat等[5]根据视频连续帧中的运动信息得到显著区域，在该区域采用snake方法检测目标的边缘和轮廓线条。Wang等[2]2022根据Itti视觉注意模型得到初级目标区域中特征直方图的巴氏距离，改变注意模型中特征显著图的融合权重，进而得到更准确目标区域。然而传统的基于视觉导向方法主要依赖于图像中的局部特征，并没有考虑图像的全局特征，常导致获得的显著图不连续。尤其在光谱信息变化较大的水下环境中，这种不连续性会变得更加明显。二是数学导向方法，该类方法可以很好地解决显著图不连续问题。Yulin Xie等[6]使用贝叶斯框架实现显著性检测，先利用一定的方法得到目标的一个大致的显著性区域，继而在这个大致区域计算每个像素的后验概率，即该像素的显著性概率。Tie Liu等[7]使用边缘密度、傅里叶变换谱分析等特征进行多尺度局部对比，通过贝叶斯变换学习特征参数，最终实现二进制的图像分割。Risheng Liu等[8]3873利用自适应偏微分方程做显著性检测，为显著性检测提供了一种扩散的观点。

上述显著性检测方法往往是针对陆地环境，并没有考虑到水下环境的特殊性，直接应用到水下并不能取得很好的效果。水下光学偏振度效应非常明显，在光波与物体的相互作用过程中，偏振信息会由于物体材料、表面粗糙程度、几何形状等不同而有明显的区别。利用这一性质能够有效区分不同材料、不同表面形态、不同电导率的散射体[9]。由于人造物体与自然背景的偏振度特性存在着较大区别，因此相比光强成像，利用偏振成像技术更有利于水下场景中的人造目标显著性检测。

为了在水下场景中获得更加准确的显著图，本文结合偏振信息以及扩散理论设计了水下目标显著性检测模型。对于给定的一幅图像，利用偏微分方程得到显著图，将一种自适应的偏微分方程应用到复杂的视觉注意显著性检测中，并将图像分割成超像素，利用偏振度特征区分前景目标和背景。通过选取种子点并利用偏微分方程扩散模型，融合获得的边缘先验知识模拟扩散过程，得到显著区域，然后再通过注意焦点的转移得到各个注意目标，从而得到最终的显著图。实验结果表明该方法有着更好的显著性检测性能。

1 基于扩散理论的偏振信息显著性模型

偏振信息显著性检测过程为，首先获得偏振度特征图——DOP图，然后对其做超像素分割，在此基础上区分前景目标和背景，为随后PDE模型提供种子点，同时通过学习得到一个指导图作为先验知识，调整扩散模型获得最优的种子点，最后通过注意焦点的转移得到各个注意目标，从而得到最终的显著图。

1.1 提取图像偏振度特征图

物体的偏振态一般采用斯托克斯法定量描述[10],斯托克斯参量计算公式为

(1)

式中：Ex、Ey表示光矢量在所选坐标系中沿x、y轴的振幅分量；δ为两振动分量的相位差；I表示光的总强度；Q表示0°和90°线偏振光分量的差值；U表示45°和135°线偏振光分量的差值；V表示右旋与左旋圆偏振光分量之差。由于自然界中绝大部分物体反射光线中V分量十分微弱，近似认为V等于零。在xOy平面，与x轴夹角为β的偏振片透过光强可以表示为

L=(I+Qcos 2β+Usin 2β)/2

(2)

改变偏振片透光轴与所选参考坐标轴的夹角，分别得到夹角为β1、β2和β3时的3组出射光强L(β1)、L(β2)、L(β3),代入式(2)即可联立求出I、Q和U，得到各个参数后就可以得出偏振度图像Γ：

(3)

由于V≈0，则

(4)

1.2 种子区域的初步确定

偏振图像中每个像素的显著性由像素间的偏振度差异决定：

(5)

式中D(Γx,Γy)是两个像素的偏振度差异。根据人造目标和自然背景的偏振度的差异，通过式(5)可以将图像大致分为背景B和目标F两块区域。在目标区域中根据偏振度的差异进行细分割，将其划分为多个子区域，将每个子区域中偏振度值最大点作为该区域的初始种子节点。

构建一个带权无向图g=(v,ζ)来表征图像区域之间的连接关系，其中ζ是与点集ν相对应的一组无向边，将其同最近的两个邻域间的联系作为该种子点局部空间的相关性联系。依照其局部空间的相关性将多个种子点进行互联，进而获得较为完整平滑的背景区域，实现目标粗略区域检测，即获得B以及F1、F2、F3、……多个子目标区域，作为种子点。

2 基于扩散思想的PDE模型

Risheng Liu[8]3868提出应用偏微分方程(partial different equatuion, PDE)来模拟显著性种子点的扩散模型以获得视觉显著图。在先验知识的前提下通过选取种子点、提取先验知识指导图并利用偏微分方程模拟物理学热扩散方法实现目标的显著性检测。

定义ω为离散图像空间，对应所有图像元素。同时，定义一个用于控制种子点分散的实值函数f(p):ω→R，用来估算p在ω上的显著性值[11]。如果一系列种子点的位置已知，此时可设为集合η，同时它们所对应的分散系数为f(p)=ηp，于是可将显著性扩散以数学的方式变成一个带有狄利克雷边界条件的偏微分方程。

(6)

式中g是相关程度为0的背景点(在ω外面)。由于式(1)的目的是使视觉注意力从显著性种子点转移到其他图像元素，故引用一个线性扩展项div(Kpf(p))作为相关程度函数，在这个扩展项中Kp是一个非齐次的度量张量，用于控制P的局部扩展率。同时为了与先验知识相结合并用于扩散处理，进一步引入一个正则化项，即f(p)和先验指导图g(p)的一个差值，具体如下：

F(f,f)=div(Kpf(p))+λ(f(p)-g(p))

(7)

对于显著性稳定系统，可以忽略时间t，对式(7)的偏微分方程模型的求解就变成求解狄利克雷椭圆。

对于扩展项div(Kpf(p))中Kp的定义，首先设Np={q1,…，q|Np|-1,g}是p集的邻域。|Np|-1节点是在ω中，g为区域外的点，为了计算P与邻域节点的差别，定义特征点之间的高斯核距离为不均匀度量张量Kp：

Kp=diag(k(p,q1),…，k(p,qNp-1),zg)

(8)

式中zg是一常数值。

因此，可以近似计算f(p)为

(9)

3 基于先验边缘特征的种子筛选

在获取目标区域的基础上，利用canny算子检测获得图像的边缘特征作为先验知识。为了使该先验知识能够合并到PDE方程中即获得(9)式g(p)项，首先需要假设背景的分布完全不同于前景，通过执行一个λ=0的狄利克雷边界线性椭圆系统模拟背景的扩散模型。

div(KpfB(p))=0s.t.fB(p)=1p∈B

(10)

式中fB(p)∈[0,1]，则fB(p)中的元素可看成是属于背景节点的概率。节点属于前景目标的概率应为fF(p)=1-fB(p)，由此得到指导图g(p)：

g(p)=fF(p)

(11)

4 实验结果及仿真

实验图像拍摄于河海大学东湖，实验结果利用MATLAB 2012进行仿真。水下能见度小于80 cm，实验目标位于水下 60 cm左右。实验共采集3组目标:目标1为由铁和塑料组成的多材料目标；目标2为单一材料近距离目标；目标3为单一材料远距离目标。应用偏振成像系统对目标进行4个方向(0°、45°、90°、135°)的偏振信息采集，根据偏振原始图像计算斯托克斯参数图像，结果如图1—3所示。

图1 目标1偏振特征提取

图2 目标2偏振特征提取

图3 目标3偏振特征提取

我们做了2组实验，分别验证本文方法在整体人造目标显著性检测结果以及在区分人造目标不同材料方面的有效性。

4.1 整体目标显著性提取结果比较

图4 目标1显著图获取结果比较

图5 目标2显著图获取结果比较

图6 目标3显著图获取结果比较

将本文提出的基于扩散思想的偏振信息显著图提取结果与传统基于视觉导向方法(模型)偏振信息显著图提取结果(简称Itti-Polarization)以及基于扩散思想的光谱信息显著图提取结果(简称Diffusion-Spectrum)做比较，如图4—6所示。 为了客观地评估本方法的有效性，本文将引入准确性(precision)[12]评价指标。

由图4—6中的显著图提取结果可以看出，基于光谱信息进行显著性检测时，获得的显著图效果差(见图4(d)、5(d)、6(d))，其准确度仅为0.503(目标1)、0.360(目标2)、0.045(目标3)，这主要是由于光谱信息在水中衰减较为严重，不适合于水下目标显著性检测。而对于Itti模型(见图4(c)、5(c)、6(c))，在利用偏振信息进行显著性检测时，虽然目标1和目标2精度达到了0.807和0.759，但是得到的显著图仍存在着边界模糊、区域不连续的问题，人造目标的塑料材质部分显著度值很低，与背景接近，而对于远距离目标3来说精度仅为0.068。这主要是由于Itti采用中央周边差机制，过分依赖于纯局部的特征，一旦局部区域内出现较强的噪声点，极易导致显著图提取误差。相比较而言，本文针对偏振图像设计的显著性检测方法所提取到的视觉显著区域较为连贯，其准确度也得到有效提高，精度达到0.898(目标1)、0.863(目标2)和0.472(目标3)。这表明由本文方法所获得的显著图更接近真实的目标显著图，尤其是在水下复杂环境中本文方法的优势更加明显。

4.2 区分目标不同材质结果比较

为了说明本方法在区分目标不同材质方面的作用，将对获得的显著图进行统计分析，这里只对图3中的实验目标进行统计。

以显著图中像素值为其显著度值，对3种方法获得的显著度值分布进行统计，统计结果如图7所示。横坐标表示显著度值，纵坐标表示对应显著度值像素个数占总像素个数的比值。其中图7(a)是通过光谱信息提取出的显著度分布，图中0～30是背景部分，可以看出显著度值大多数分布这个区域，大约占了80%左右，30～180主要是目标区域，大约占20%左右。图7(a)表明利用光谱信息进行扩散可以粗略区分出背景和目标，但目标部分显著度值几乎是等量分布的，并不能区分出目标的不同材质，尤其是对于塑料材质的透明部分几乎无法检测，直接归为背景。图7(b)是利用Itti与偏振信息提取方法得到的显著度统计图，背景部分的比值大约在76%左右，相比图7(a)有所下降。这说明偏振信息在一定程度上使得系统检测出更多的目标区域。目标部分的显著度值分布在60～150，并且在90～120范围内有一个变化，主要原因是利用了偏振信息，理论上能够有效地区分出目标的不同材质，然而，由于Itti模型获得显著图不连续，使显著度计算出现一定的误差，因此对偏振信息使用Itti方法区分不同材质的目标，其效果并不明显。图7(c)是本文方法针对水下目标偏振特征的显著性提取统计分布图。在目标部分的60～90以及120～150部分有两处明显的变化，而这两部分分别对应了人造目标的铁质部分和塑料部分，可以看出本文显著性检测方法能充分发挥偏振信息作用，有利于区分出不同材质的目标。

图7 显著度分布

5 结语

针对水下目标显著性检测所面临的图像特征选择及提取较为困难的问题，本文提出了一种基于偏振信息与扩散思想相结合的水下目标显著性检测方法，利用偏振度特征区分目标的大致区域，选取合适的种子节点同时利用偏微分方程来模拟显著度的扩散模型，最后利用WTA网络实现多目标转移。实验结果证明本文所提出的方法能够克服水下复杂光学环境对目标检测的影响，提高了目标检测的准确性，有效改进了传统的显著性检测方法。