基于多尺度的水下图像显著性区域检测

刘晓阳，薛 纯

(中国海洋大学 信息科学与工程学院，青岛 山东 266100)

基于多尺度的水下图像显著性区域检测

刘晓阳，薛 纯

(中国海洋大学 信息科学与工程学院，青岛 山东 266100)

图像显著性检测在目标识别、目标跟踪、视觉信息挖掘等研究中具有重要价值，而水下图像研究又是海洋相关学科的基础。文章针对水下图像特性，提出一种结合Retinex图像增强和超像素分割算法的多尺度显著性区域检测方法，以获取均匀、清晰的显著图。在每个尺度上进行超像素显著性估计和贝叶斯概率估计，将不同尺度的显著图进行加权求和与导向滤波，得到平滑且边缘清晰的显著图。根据水下不同倍数的衰减距离建立数据集，验证了该算法具有较强的鲁棒性。

图像增强；超像素；贝叶斯估计；显著性

0 引言

视觉注意指人类及其他灵长类动物在面对复杂场景时能够快速地找到自己感兴趣或比较显著的区域，并对其进行优先处理，在很大程度上提高了视觉系统的信息处理效率。视觉注意机制是一个多学科多交叉的领域，受到许多学科研究者的关注，如：神经科学、生理学、心理学以及计算机科学等。其中，将视觉注意引入到计算机领域称为显著性检测，即检测出图像的显著性信息，忽略冗余信息。视觉注意计算模型被应用到很多计算机视觉领域，如图像分割、目标识别、视觉信息挖掘及视频压缩等[1]。显著性检测算法已有很多成型的模型，比如Itti等提出的显著图模型[2]、Harel 等提出的基于图论的图像显著性分析算法(GBVS算法)[3]、Achanta等提出的两种显著图模型(AC算法和IG算法)[4-5]以及Hou Xiaodi等提出的基于频域空间分析的一种剩余谱方法(SR算法)[6]等。它们基于不同的理论基础，非常具有代表性，且在计算机上易于实现，实验得到的效果比较好。

在水下成像系统中，由于水介质对光的吸收作用和水中微粒对光的散射作用，使得水中图像伴有较强的衰减和分辨率不足的特性。所以，现有的显著性检测模型虽然用于陆地上光学成像的显著性检测具有较好的效果，但是并不适用于水下光学成像的显著性检测。本文提出了一种结合Retinex图像增强[7]和超像素分割算法[8]的多尺度显著性区域检测方法，使得水下图像显著性检测得到了较好的效果。

1 Retinex图像增强算法

由于水体对光的吸收效应和散射效应使得水下图像有严重的非均匀亮度和细节模糊、信噪比很低、对比度明显变差，整体偏蓝或者偏绿，颜色深浅不一，而且亮度常常不均匀，所以，研究水下图像需要先进行图像增强处理。本文选取基于色彩恒常性的Retinex图像增强算法进行水下图像增强。

根据Retinex理论，人眼感知物体的亮度取决于环境的照明和物体表面对照射光的反射，其数学表达式为：

S(x,y)=R(x,y)×L(x,y)

(1)

式中：S(x,y)代表被观察或照相机接收到的图像信号；L(x,y)代表环境光的照射分量；R(x,y)表示携带图像细节信息的目标物体的反射分量。Retinex理论的目的就是从获得的图像中消除照射分量获得物体的反射分量，即获得物体的本来面貌。

将式(1)两边取对数，即：

log[R(x,y)]=log[S(x,y)]-log[L(x,y)]

(2)

其中，L(x,y)可通过对原始图像S(x,y)做高斯模糊得到。

多尺度Retinex算法是单尺度Retinex算法的加权求和，既能实现图像动态范围的压缩，又能保持色感较好的一致性。其数学表达式为：

(3)

其中，N表示尺度的个数,通常为3；ωi表示加权系数，各尺度权重之和必须为1，经典取值为等权重。

2 多尺度水下图像显著性区域检测

在显著性检测时，选择超像素分割与高斯平滑，得到不同尺度下的超像素分割结果，在每个尺度上进行超像素估计和贝叶斯概率估计，最后将不同尺度下得到的显著图进行加权求和及导向滤波，最终得到平滑且边缘清晰的显著图。

2.1 高斯滤波与SLIC超像素分割

2.1.1 高斯滤波

高斯滤波是一种线性平滑滤波，用一个模板扫描图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。其二维表达式为：

(4)

通过改变参数σ，可得到不同的平滑结果，σ越大，高斯滤波器的频带就越宽，平滑程度就越好。

2.1.2 SLIC超像素分割

SLIC算法基于像素间颜色相似性和空间位置的接近度对图像进行聚类产生人们期望数量的超像素(不超过图像中像素的个数)，计算量较小。其基本步骤为：

(1)初始化聚类中心。按照设定的超像素个数，在图像内均匀地分配种子点。假设图片总共有N个像素点，预分割为K个相同尺寸的超像素，那么每个超像素的大小为s=N/K，则相邻种子点的距离(步长)近似为S=sqrt(N/K)。

(2)在种子点的n×n邻域内重新选择种子点(一般取n=3)。计算该邻域内所有像素点的梯度值，将种子点移到该邻域内梯度最小的地方。

(3)在每个种子点周围的邻域内为每个像素点分配类标签，即属于哪个聚类中心。期望的超像素尺寸为S×S，搜索范围限制为2S×2S，可以加速算法收敛。

(4)距离度量。包括颜色距离和空间距离，对于每个搜索到的像素点，分别计算它与该种子点的距离，将最小值对应的种子点作为该像素点的聚类中心。

(5)迭代优化。不断迭代直到误差收敛，一般迭代次数取10。

(6)增强连通性。为避免出现多连通、超像素尺寸过小、单个超像素被切割成多个不连续超像素等情况，可新建一张标记表，按照“Z”型走向(从左到右，从上到下顺序)将不连续的超像素、尺寸过小超像素重新分配给邻近的超像素，遍历过的像素点分配给相应的标签，直到所有点遍历完毕。

2.2 超像素显著度估计

针对每一个尺度下的分割图，都通过三种显著性策略来判断某一块超像素是否具有显著性[9]。局部对比度：通过计算每块超像素之间的欧氏距离来表示。中心偏离：通过计算超像素几何中心与图像几何中心的空间距离来表示，靠近图像中心的超像素更有可能具有显著性。超像素完整性：通过计算某一块超像素内包含的图像边缘像素来表示，含有图像边缘像素越多的超像素区域越有可能不完整。具体公式如下：

(5)

(6)

(7)

2.3 计算观测似然函数

运用Harris角点检测提取出图像的显著点，用凸包将边缘显著点之外的所有显著点包围进来，若某一超像素区域与凸包的重叠部分大于设定的阈值，则将其标记为前景，进而将前景与背景分离；分别计算L、a、b三通道的观测似然函数，进行乘法运算；最后，与上一步中得到的超像素显著性函数相结合，得到最终显著性函数。

在(L，a，b)三个通道上分别计算某一像素点z的观测似然函数：

(8)

(9)

其中，NS1、NS0分别表示前景S1和背景S0的所有像素值，N1(zr)、N0(zr)分别表示r(z)=(l,a,b)在颜色空间统计直方图上的值。进而计算出每个像素点是前景还是背景的概率。

综合上一步，将超像素显著性估计与像素观测似然函数相结合，得某一尺度下的像素显著性函数：

pm(z)=

(10)

2.4 尺度加权求和

将多尺度下得到的显著图进行加权求和，假设M个尺度，则对于像素点z的最终显著性函数V(z)为：

(11)

3 实验结果与分析

在能见度为2.5 m的海水中获取图片，根据海水中能见度与衰减距离的关系，即能见度为3.5倍衰减距离，建立3组数据集，分别为目标距CCD 1.5倍衰减距离、2.0倍衰减距离、2.5倍衰减距离，每组约80幅图像，在数据集上验证算法的有效性。

图1为1.5倍衰减距离(约1.5×0.7 m)下获得的水下图像。

图1 1.5倍衰减距离(约1.5×0.7 m)下拍摄的图像

3.1 水下图像增强

本文选择几种经典的图像增强算法进行比较，结果如图2所示。

图2 几种经典的图像增强算法

如图2所示，多尺度Retinex增强算法得到的增强效果对比度更强，对之后的显著性检测更有帮助，因此本文选择多尺度Retinex增强算法对水下图像进行图像增强。最大尺度为300，尺度数为3。

3.2 多尺度超像素分割

将增强后的图像进行多尺度超像素分割，通过改变SLIC尺度参数s和高斯平滑参数σ，得到不同尺度下的超像素分割结果。在超像素的小区域内的像素具有极为相似的颜色和纹理信息，最大程度地保持了图像中目标原有的边界结构信息。图3为一幅多尺度分割图案。

图3 一幅多尺度分割图像

3.3 显著区域检测结果

在每一尺度上进行超像素显著性估计和贝叶斯显著概率估计，进行加权求和得到最终的显著图，最后再进行导向滤波，最终得到平滑且边缘清晰的显著图。图4～图6为几组实验结果。

(1)图4为1.5倍衰减距离(约1.5×0.7 m)时水下图像显著性检测结果。

图4 1.5倍衰减距离时水下图像显著性检测

(2)图5为2倍衰减距离(约2×0.7 m)时水下图像显著性检测结果。

图5 2.0倍衰减距离时水下图像显著性检测

(3)图6为2.5倍衰减距离(约2.5×0.7 m)时水下图像显著性检测结果。

图6 2.5倍衰减距离时水下图像显著性检测

实验结果表明，本文算法在不同数据集上都取得了较好效果，进而验证了其处理水下图像显著性检测的有效性和鲁棒性。

4 结论

本文主要研究水下图像显著性区域检测，根据水下图像特性结合图像增强算法，获取均匀、清晰的显著图；根据不同倍数的衰减距离，建立相应数据集，验证了算法的有效性和鲁棒性，为水下目标识别、目标跟踪、视觉信息挖掘等研究奠定了基础。

[1] 吴世东. 一种基于目标先验信息的视觉跟踪算法[J]. 微型

机与应用, 2016, 35(4):46-49.

[2] ITTI L, KOCH C, NIEBUR E. A model of saliency based visual attention for rapid scene analysis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998, 20(11): 1254-1259.

[3] HAREL J, KOCH C, PERONA P. Graph-based visual saliency[J]. Advances in Neural Information Processing Systems, 2007(19):545-552.

[4] ACHANTA R, ESTRADA F, WILS P, et al. Salient region detection and segmentation[C]. International Conference on Computer Vision Systems, 2008:66-75.

[5] ACHANTA R, HEMAMI S, ESTRADA F, et al. Frequency-tuned salient region detection[C]. IEEE International Conference on Computer Vision and Pattern Recognition, 2009:1597-1604.

[6] Hou Xiaodi, Zhang Liqing. Saliency detection: a spectral residual approach[C]. IEEE Conference on Computer Vision and Pattern Recognition, 2007:1-8.

[7] 肖燕峰．基于Retinex理论的图像增强恢复算法研究 [D]．上海：上海交通大学，2007.

[8] 阮士峰．基于超像素的图像显著性研究[D]．西安：西安电子科技大学，2014.

[9] Tong Na, Lu Huchuan, Zhang Lihe, et al. Saliency detection with multi-scale superpixels[J]. IEEE Signal Processing Letters, 2014, 21(9):1035-1039.

Underwater image saliency detection based on multi-scale

Liu Xiaoyang, Xue Chun

(College of Information Science and Engineering, Ocean University of China, Qingdao 266100, China)

Image saliency detection has important value in the research of target recognition, target tracking, visual information mining and so on, and the underwater image research is the basis of marine-related disciplines. According to the characteristics of underwater image, this paper proposes a saliency region detection algorithm to obtain uniform and clear saliency map combined with Retinex image enhancement and multi-scale analysis on superpixels. Superpixel saliency and Bayesian probability estimation are performed on each scale, the final smooth and sharp saliency map is optimized by weighted summation and a guided filter. According to the different multiples of underwater attenuation distance, datasets are established, which verifies the robustness of the algorithm.

image enhancement; super-pixel; Bayesian estimation; saliency detection

TP391

A

10.19358/j.issn.1674- 7720.2017.09.014

刘晓阳，薛纯.基于多尺度的水下图像显著性区域检测[J].微型机与应用，2017,36(9)：45-48.

2016-01-15)

刘晓阳(1992-)，女，硕士研究生，主要研究方向：水下图像处理。

薛纯(1992-)，女，硕士研究生，主要研究方向：图像拼接。