基于光强—光谱—偏振信息融合的水下目标检测

陈哲，王慧斌，沈洁，徐立中

（河海大学 计算机与信息学院，江苏 南京 211100）

1 引言

水下目标检测是水下目标定位、跟踪及识别等系统的关键单元[1～3]。由于水介质本身及悬浮颗粒所造成的光谱、光强衰减及光线散射，导致水下图像色彩畸变、细节模糊，并且这种影响并非稳定的，随着水质、成像水深及视距而发生动态变化[4]。由于这种复杂多变且显著迥异于大气的光学环境[5,6]，简单的移植或改进常用的机器视觉算法进行水下目标检测的策略在实际应用中被证明存在较多弊端，主要体现在算法顽健性的严重降低。针对目标检测算法的水下适应性问题，目前的研究工作主要集中于通过各种预处理方法提高原始图像的质量，为后端的信息处理提供支持。其中，基于先验知识的水下图像恢复算法因为其较为完备的理论基础以及较为出色的性能，引起了极为广泛的研究兴趣[7,8]。它将成像过程视为激励—响应过程，将获取图像反卷积点扩散函数来获取清晰图像，以增强水下图像视觉效果为目的。在以图像恢复为预处理的目标检测中，由于成像模型通常以传播介质折射率，衰减度、成像距离等物理参数为先验知识，造成复杂环境中的知识学习及率定十分困难，严重影响实际应用中的便捷性和推广性。甚至在有些情况下由于知识的不适定性，极易造成目标、背景信息的扰动，反而增加了目标检测的困难性。本质上，水下目标检测的目的是通过区分图像中目标、背景信息间的差异实现对目标区域的提取。因此，理想的预处理算法应能够最大化拉伸目标同背景间的对比度。图像恢复算法显然不具备此类功能。因此对于水下目标检测，如何通过对先验知识设计、学习及引入策略的优化，在提高检测精度的同时尽可能地减少计算复杂度，是本文所思考的主要问题。

水下生物视觉机制给予我们一个可以借鉴的范例。对水下生物视觉系统的生理学研究发现，限于组织结构的规模，水下生物视觉系统不可能实现复杂的图像预处理计算，因而其所获取及处理的图像按照人类视觉感知标准必然是“低质量的，模糊的”[9]。进一步的生物学研究还发现大多的水下生物能够对光强、光谱及偏振3种光学信息敏感，并且敏感特性及融合方式同其特定栖息环境中的光学环境相匹配[10]。同传统水下机器视觉算法相比，这种信息的处理机制反应出一种全新的系统设计框架，即在不进行图像预处理的前提下将先验知识直接引入到图像数据的高级处理阶段，实现目标检测。基于此，本文归纳不同环境中生物视觉组织结构的变化规律，并仿照生物视觉的信息处理模式最终提出一种新的基于先验知识指导的多信息仿生融合算法。该算法估计当前水下光学环境中目标检测任务对不同光学信息的依赖度，以此形成融合权重实现加权融合。不同于水下图像恢复方法将先验知识用于对原始图像数据的处理，新算法直接将水下光学先验知识引入到目标检测过程中，指导特征层面的信息优选及融合。真实水下环境中的实验证明，本方法在原始图像的基础上能够直接实现精度较高且复杂度较低的目标检测。

2 水下生物视觉信息融合模型

水下生物视觉在长期进化过程中逐步优化其视觉器官的组织结构，最终使其光强、光谱及偏振视觉敏感特性同栖息地的光学环境特性相匹配。与通常的信息处理方式不同，这种视觉信息融合方式是随光学环境变化而变化的，体现出一种特有的适应性信息融合机制。本节以水下甲壳纲昆虫为例总结归纳生物视觉敏感机制中所反映出的视觉信息适应性融合机制。

水下甲壳纲昆虫的栖息地极为广泛，几乎覆盖全世界所有纬度以及所有深度的水域。从寒冷的两级到炎热的赤道，从明亮的海洋表面到海洋中层直至海底均生存者不同种类的甲壳纲生物，这种极强的环境适应能力在昆虫中是不多见的。最新的生物学研究证明，它们敏锐的视觉主要依赖于独特的复眼敏感特性及其对栖息地光线环境的适应。这种能力使其能够接收光强、光谱信息外还具备偏振信息的采集、处理能力。生活在不同光线环境中的甲壳纲昆虫的复眼在中央带小眼组成、小眼孔径，小眼数量以及小眼视域重叠度等方面上均有显著差异。而生活在同一水域中的昆虫在以上几项指标上却较为相近。总体上，随着水深的减小，环境光线强度逐渐增加；光谱信息逐渐丰富；中央带小眼更加的发达；小眼可接收孔径逐渐减小；小眼数量逐渐增加；视域重叠逐渐减小。结合物理成像知识以及生物解剖学研究成果发现这一变化对应着光谱敏感性及成像分辨率的增加，光强、偏振敏感性的降低。同水下光学成像研究结果对比后发现，这一生物视觉变化趋势与不同环境中的光学特性变化完全匹配。例如，在深水区域，色彩信息几乎衰减殆尽，仅有微弱的光强信息的存在，此时用于获取色彩信息的中央带小眼明显衰退甚至消失，而上下半球小眼则以牺牲空间分辨率为代价换取光强信息的累积。而对于浅水区域的个体而言，其视觉敏感特性与此恰好相反。这种视觉调节机制能够将自身的视觉敏感及信息处理机制同周围光学环境相适应，实现最优的光学信息采集及融合。结合目标检测问题，给予我们的启发是：在水下目标检测任务中，如果能够有效地估计当前水下光学环境中的不同光学特征的显著性，作为先验知识指导检测计算，将有助于提高检测结果的顽健性。鉴于此，通过模拟抽象甲壳纲昆虫视觉的并行分级神经系统及池细胞等“调制细胞”的极化、去极化的工作模式，采用线性加权求和模型模拟视觉信息的融合过程。

其中，iw为信息融合权重，用于模拟生物视觉对某种光学特征的依赖程度；ir为初级目标检测结果，用于模拟生物视觉对相应光学信息的响应；R为最终目标检测结果。

3 水下目标检测框架

为了实现快速高效的水下目标检测，首先，仿照甲壳纲昆虫的视觉敏特性，对目标图像提取光强、光谱及偏振光学特征。随后，将学习得到的水下光学先验知识直接引入到多信息线性加权融合模型中，完成水下目标的检测。系统框架如图1所示，主要包括水下光学先验知识学习以及知识指导下的信息融合。

图1 基于先验知识的水下目标检测框架

3.1 基于单一特征的水下初级目标检测

初级目标检测主要包括图像特征提取及检测 2部分。图像特征主要考虑光强、光谱及偏振特征。算法流程如图2所示。

图2 初级目标检测

3.1.1 多特征提取

对于图像特征除了考虑到目标同背景间的光强、色彩的差异之外，针对水下强散射环境所可能产生的偏振差异，综合提取光强、光谱及偏振特征。其中，在颜色初级特征提取时，将原始RGB通道变换为调制色彩通道：其中r、g、b分别为原始RGB图像3个色彩通道。对于亮度初级特征，本文取r、g、b 3通道强度的均值： I = ( r + g + b )/3。偏振特征提取时首先通过线偏振滤波片的旋转，采集偏振角α=0°、45°、90°方向上的目标灰度图像I。然后，根据 Stokes方程I = A s in[2(φ -α) + π4]+B 解得偏振度δ=A B并归一化表征为灰度特征图。考虑到目标同背景间的纹理差异，对该特征图采用二维 Gabor滤波器来提取0°、45°、90°和135°这 4 个方向上的特征。

3.1.2 初级目标检测

基于单一特征的水下目标初级检测结果是后端多信息融合的基础。比较分析了现有目标检测算法在水下环境中的性能，选择视觉注意机制算法[11]。

在视觉注意机制算法中，为了实现中央周边差计算，首先需要对原始图像的像素点值进行降采样，分别获得6、12、24层低分辨率图像。然后，通过不同层图像中对应点的差确定中央层和周边层，并对分辨率较低的周边层进行插值，放大至中央层分辨率。最后，两层之间的对应像素再次相减，生成相应层的特征图。对每组特征图，采用迭代非线性归一化算子N(·)实现特征图合并。对给定特征图 F(c,(c+s))，N(·)算子的计算如下

其中，DOG表示双高斯差分函数，C是引入的偏置。

3.2 先验知识学习

为了能够在自然环境下较为简便、准确地获取水下光学知识，本文设计了一种基于标定图及机器学习方法。首先，设计具有典型代表性水下标定图像，并将其置于待测水下环境中成像，生成训练样本。随后，设计初始权重对初级目标检测结果融合。最后，根据标定图像的检测结果对权重进行优化，使得检测结果能够最优逼近真实的目标区域。通过该学习方式，可以得到当前水下光学环境特性所决定的目标检测任务对不同光学信息的依赖度。其中标定图、损失函数及优化函数的设计是该方法的关键。

3.2.1 标定图设计

在标定图设计中，针对水下目标检测任务，较为注重背景和目标的光强、光谱，以及偏振特征间的差异。因此对于标定图，需要综合设计不同色彩，不同轮廓的假想目标。其中分别设计正方形、三角形，圆形、高斯形目标用于模拟不同空间形状以及突变或平滑渐变的轮廓形态。着色分别对应682nm、607nm、577nm、542nm、492nm、462nm、410nm谱段、黑色及彩色条纹。将该 36张标定图置于待测水下环境中，进行光学成像，生成彩色及三方向偏振图像。

3.2.2 损失函数的设计及优化

考虑到利用损失函数度量目标检测结果同真实目标区域间的差异。若目标检测结果及真实目标区域均表示为二值化掩膜图，二者间的差异可以采用点对点的距离度量来表示。

其中， (,)S i j表示目标检测结果中对应像素点(,)i j的强度值，mask(,)S i j为真实目标区域图中相应点的值。对其进行优化

约束条件

由于变量kw较低的自由度，本文采用穷举算法实现最优的估计效果。

3.3 算法描述

本文所述的基于知识的水下目标检测算法主要包括水下先验知识学习及基于多信息融合的目标检测2部分。先验知识的学习主要包括标定图目标区域检测及优化。检测主要包括测试图目标区域检测及校正，其中校正采用区域生长算法[12]，用于边缘平滑。算法流程如下。

1) 水下先验知识学习

步骤1 提取标定图颜色、亮度及偏振特征。

步骤2 基于视觉显著模型的标定图初级。

2) 目标检测

步骤1 基于初始权重的多信息融合式(4)。

步骤2 建立误差函数进行权重优化式(5)。

3)水下目标检测

步骤1 提取测试图颜色、亮度及偏振特征。

步骤2 基于视觉显著模型的测试图初级。

4)目标检测

步骤1 基于最优权重的多信息融合式(4)。

步骤2 检测结果校正。

4 实验及结果讨论

水下图像采集于 2012年 7月 14日 10：00（UTC/GMT+ 8.00，地点位于中国江苏省南京市河海大学池塘（经度：118.7°，纬度：31.9°），气象条件阴，水下能见度小于 85cm，水下背景颜色为浅黄色。选用Nikon CMOS商用数字相机并外置防水罩进行水下成像实验，有效像素为 510万，选择B+W线偏振片。待测目标选择圆柱的人造目标。水下标定图像及待测目标的成像距离为 40cm，成像水深40cm。

通过36幅水下标定图像学习得到的3种特征所对应的最优权重的统计直方图如图3所示。从图中可以看到三类特征所对应的权重具有明显的聚类效果，其中颜色特征的权重主要集中在[0.05，0.25]，亮度特征主要分布在[0.1，0.45]，方向特征则分布在[0.4，0.85]区间内。通过高斯曲线的拟合，以高斯均值为该权重的代表点。可以看到权重间具有显著差异，这一现象进一步从实验角度证明：在水下环境中，不同特征对目标信息的表征及检测能力不同。据此，所获得的代表点为1w=0.079 4、w2=0.303 8、 w3=0.616 8，分别对应颜色、光强及偏振信息的融合权重。从中可以看出在当前水下环境中目标检测对色彩特征的依赖程度较低，更大程度地依赖于光强及偏振特征。

图3 先验知识（权重分布）

对于待测目标，所获得的彩色图像、三方向偏振图像及计算所得偏振度图像如图4所示。从偏振度图像中可以看到，由于景深短，目标同背景间仅能产生较为微弱的偏振差异。尽管如此，偏振度图像仍然能够很好地抑制背景噪声。

图4 水下偏振信息

根据目标光谱，光强特征所获得的目标显著图如图5(a)和图5(b)所示,从图中可以看到限于颜色信息的衰减，在颜色特征显著图中无法有效分辨目标及背景差异。同色彩信息相比，基于光强特征的显著图能够有效地区分背景和目标区域，然而该特征易受背景中亮点的影响，在显著图中混叠了大量噪声信息。与前2种信息相比，偏振度信息能够提供最为可靠的目标检测信息如图5(c)。首先，它能够较为完整地刻画出目标的区域。其次，偏振度信息能够有效抑制背景噪声特别是亮点区域。在水下实验中为了验证本文所提出算法的有效性及优越性，设计3组对比实验。第一组对比实验比较有/无先验知识指导下的水下目标检测结果。第二组实验从目标检测精度及运算时间2个方面将本文所提出的算法与基于先验知识预处理的目标检测算法相比较。第三组实验在不进行训练的情况下，直接将经验性的融合权重引入到新环境中的目标检测，分析算法在环境不匹配的情况下算法的顽健性的容忍度。评价指标

其中，Ωi表示检测区域，Ωo表示目标的真实区域，Ωb表示背景区域。 Cgood表示检测区域占目标真实区域的比例，Cgood越高说明检测区域对目标真实区域描述得越完整。Cfalse表示目标真实区域外的检测区域占背景区域的比例， Cfalse越大，说明检测的区域中包含的非目标区域越大，效果越差。

图5 显著图

4.1 有/无先验知识指导下的水下目标检测

本实验主要通过比较有/无先验知识指导下的信息融合，分析先验知识对水下多信息融合的指导及目标检测的影响。由于没有先验知识的指导，均匀分配信息融合权重。

从图6中可以看到，由于光强显著图中背景噪声的影响，综合显著图中包含有大量的背景噪声，导致进一步检测区域中包含有大量的背景区域。相比较，在先验知识的指导下，融合权重得到优化。目标检测对偏振度信息的依赖度增加，从而抑制颜色及亮度显著图中的背景噪声。根据评价指标如表1所示，基于先验知识的目标检测精度（ Cgood=0.911 4，Cfalse=0.007 2）显著优于非知识指导下的目标检测精度（ Cgood=0.877 0， Cfalse=0. 091 9）。这说明水下场景中的光线环境对图像中的目标特征产生严重的影响，并导致目标检测算法对不同图像特征的依赖度有所差异。因此，在水下目标检测过程中通过对成像环境的分析，进而基于先验信息对各种特征区别处理的策略有助于提高整体算法的顽健性。

图6 目标检测结果

表1 目标检测精度

4.2 基于图像恢复的目标检测算法比较

将本文算法同基于图像恢复预处理的目标检测算法相比较。图像恢复算法采用高斯模型逼近点扩散函数[13]

其中，(x, y)为像素坐标，(x0, y0)为原始坐标，α为衰减系数，k为规整化系数， Dh为(x, y)的变化范围。其中衰减系数由水下标定图估计得到。恢复后的图像如图7(a)所示。同原始水下图像相比，恢复后图像的对比度显著拉伸，但是背景及目标色彩产生了一定程度的畸变，背景噪声有所加强。

图7 水下图像恢复及目标检测结果

由于图像恢复过程中有可能破坏偏振信息，因此对恢复结果中色彩及亮度特征进行处理，所获得的色彩及亮度显著图如图7(b)和图7(c)所示。在显著图中背景噪声对真实目标区域产生了严重的影响，并没有有效地提高目标同背景间的区分度，采用均匀权重（ w1= w2= w3= 0 .33）进行多信息融合后的检测结果及检测精度如图7(d)和表2所示，可以看到基于图像恢复的目标检测结果中包含有大量的背景区域，检测精度较低。根据评价指标，分别得 Cgood=0.915 8,Cfalse=0.196 8。在计算复杂度比较中，由于图像恢复过程需要对逐一像素进行反卷积运算，导致大量计算资源的消耗。在一定的实验条件下（PC，Dual-Core 2.7GHz，2GB），对640×480像素的图像，其运算时间需要 1.55s，加之后端的目标检测计算，总体运算时间达到 2.87s。相比较，由于不需要繁琐的图像恢复计算，新算法所需时间为 1.32s，证明了本文算法在计算复杂度上的优越性，并且这种优势随着图像尺寸的增加而越发显著。

表2 同基于水下图像恢复的目标检测精度比较

4.3 算法的顽健性分析

为了进一步分析在光学环境不匹配的情况下新算法顽健性的容忍度。本文选取另一组实验数据，在不进行训练的前提下直接引入经验知识，分析其顽健性变化。

目标检测结果及精度计算，如图8(c)、图8(d)及表3所示。

表3 新水下环境中目标检测精度比较

从中可以看出经验知识在新水下环境中的顽健性有所下降，这主要是由于不同水体中悬浮物种类及含量差异造成水下光学特性变化所致。然而，新方法的检测精度仍高于基于图像恢复的目标检测方法。这说明尽管水下光学环境不匹配，但环境中光强、光谱及偏振特性的显著度仍存在一定的相似性。

5 结束语

本文提出了一种基于光强—光谱—偏振信息仿生融合的目标检测算法，除常用的光强光谱信息外，偏振信息也被引入到目标检测过程中。不同与传统水下目标检测框架，本文采用水下光学先验知识确定检测对不同图像特征的依赖程度，最终实现多信息的最优化融合。实验结果证明先验知识指导下的多信息仿生融合算法能够较为准确实现水下目标检测，结果显著优于非知识指导及以图像恢复为预处理的水下目标检测算法。但是，这里要指出水下光学成像环境需要综合考虑气象、气候条件、水质、成像水深及成像距离等多种因素。在水下先验知识的获取时，对于上述可能的影响因素，本文均在实际实验中做了明确的约束。在实际中，研究人员所面对的水下图像的成像环境是多变的。面对新环境中采集得到的水下图像，以往所获得的先验知识的顽健性会有所下降。这一问题会一定程度影响到本文所提算法的推广性。然而，注意到水下环境对成像的影响并非是随机的，它随着多种因素变化而有规律的变化，是一种渐变的过程。因而在将来的研究中，不仅要孤立地考察特定的水下成像环境，更要建立多水下光学环境中先验知识间的动态联系规律，实现对未知水下环境中先验信息的估计和预测，以便提高该算法的推广性。

[1] GIAN L F. Visual inspection of sea bottom structures by an autonomous underwater vehicle[J]. IEEE Transactions on Systems, Man and Cybernetics, Part B, 2001, 31：691-705.

[2] HU Y, WANG L, LIANG J, et al. Cooperative box-pushing with multiple autonomous robotic fish in underwater environment[J]. Control Theory & Applications, 2011, 5(17)：2015-2022.

[3] FANDOS R, ZOUBIR A M. Optimal feature set for automatic detection and classification of underwater objects in SAS images[J]. IEEE Journal of Selected Topics in Signal Processing, 2011,5(3)：454-468.

[4] SCHETTINI R, CORCHS S. Underwater image processing： state of the art of restoration and image enhancement methods[J]. EURASIP Journal on Advances in Signal Processing, 2010,2010：1-14.

[5] WANG X, YAN X J, LV G F, et al. Balloon-borne spectrum- polarization imaging for river surface velocimetry under extreme conditions[J].Infrared Physics & Technology, 2013,277(3)：182-194.

[6] TAN G P, LI Y H. An adaptive HEC scheme with variable packet size for wireless real-time reliable multicast[J]. Chinese Journal of Electronics, 2012, 21：299-303.

[7] WANG G, ZHENG B, SUN F F. Estimation-based approach for underwater image restoration[J]. Optics Letter, 2011, 36：2384-2386.

[8] LIU Z, YU Y, ZHANG K, et al. Underwater image transmission and blurred image restoration[J]. Optical Engineering, 2001, 40： 1125-1131.

[9] LANGY M S, MOVSHON J A. Computational Models of Visual Processing[M]. Cambridge： MIT Press, 1991.

[10] SCHIFF H, DORE B, BOIDO M. Morphology of adaptation and morphogenesis in stomatopod eyes[J]. Ital J Zool, 2007, 74：123-134.

[11] ITTI L, KOCH C, NIEBUR E. A model of saliency-based visual attention for rapid scene analysis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998, 20(11)：1254-1259.

[12] HOJJATOLESLAMI S A, KITTLER J. Region growing： a new approach[J]. IEEE Transactions on Image Process, 1998, 7：1079-1084.

[13] ELDER J H, ZUCKER S W. Local scale control for edge detection and blur estimation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998, 20(7)：699-716.