基于显著性分析的SAR溢油图像中暗斑区域检测方法研究

吕新荣, 李 云, 温春苗, 任 鹏

基于显著性分析的SAR溢油图像中暗斑区域检测方法研究

吕新荣, 李 云, 温春苗, 任 鹏

(中国石油大学(华东) 海洋与空间信息学院, 山东 青岛 266580)

为了提高合成孔径雷达(synthetic aperture radar, SAR)图像中海上溢油的检测精度, 设计了一种图像显著性和均值偏移分割相结合的暗斑检测方法, 验证了该方法在SAR溢油图像暗斑识别中的有效性, 为溢油区域的准确检测奠定了基础。针对SAR溢油图像中暗斑区域在人类视觉中属于感兴趣区域的特性, 利用图像显著性检测方法对整幅SAR图像进行处理生成显著性图像, 然后利用均值偏移方法在SAR图像的Lab空间将图像分割成不同区域, 最后在显著性图像上利用每个区域的平均显著性值与动态阈值之间的关系确定溢油图像中的暗斑区域。实验结果表明, 该方法不需要人工交互, 且能够有效地提取出SAR图像溢油中的暗斑区域。

合成孔径雷达(SAR); 图像显著性; 均值偏移; 暗斑检测

当今社会, 石油仍然是非常重要的资源。随着陆地资源的日趋匮乏和人类对能源需求的迅速增长, 海洋石油工业和海上石油运输业正蓬勃发展。海上溢油就是石油在海上开采或者运输过程中不同程度的流失, 主要包括在海上石油的勘探、开发过程中导致的油井原油泄漏, 在近岸输油管线或者油船装卸货发生的泄漏, 船舶因碰撞、倾覆、搁浅等事故导致的原油泄漏, 甚至是自然灾害导致的石油外溢等。这些事故都不同程度地污染了海洋生态环境, 同时也造成了大量的经济损失。为了减少溢油事故的发生, 需要加强对海上溢油的监测和检测。合成孔径雷达(synthetic aperture radar, SAR)具有全天时、全天候、大范围、高精度等优点, 目前已成为溢油监测最有效的手段。

在海上溢油的检测中, 溢油面积是衡量溢油事故的一个重要参数。因而在SAR海上溢油图像中, 如何准确地提取出溢油区域的边界是计算溢油面积的关键问题。在SAR海上溢油图像中, 通常溢油区域呈现深色, 以暗斑的形式存在, 较周边非溢油区域差别明显[1]。以此为据, 则可以通过图像处理的方法提取出SAR溢油图像中的暗斑区域。针对SAR溢油图像中的暗斑检测, 国内外诸多学者进行了大量非常有意义的研究。金杰等[2]采用一种结合多特征与改进模糊C均值聚类的方法提取溢油暗斑。张洪云[3]以随机几何中标识点过程理论为基础, 提出了基于非规则标识点过程的SAR图像暗斑提取方法。Radhika等[4]利用基于像素的方法完成了多种SAR溢油图像中的暗斑提取方法的讨论。Lang等[5]利用灰度特征、几何特征以及纹理特征等区分SAR溢油图像中的暗斑和海水, 提高了暗斑的提取效果。Guo等[6]利用Segnet作为语义分割模型, 对溢油区域的暗斑进行检测。通过基于语义分割模型的全卷积网络和其他一些分割方法的比较, 证明了该方法的有效性。Shu等[7]在SAR溢油图像中利用空间密度特征区分暗斑和背景, 主要包括三步: (1) 利用强度阈值分割暗斑和背景; (2) 利用核密度估计方法估计背景像素密度; (3) 利用区域阈值和对比度阈值剔除假目标。Zakeri等[8]提出了一种基于潜在暗斑极化强度(degree of polarization, DoP)的SAR溢油图像暗斑检测方法, 主要利用阈值方法进行粗检测, 然后利用DoP特性选取合适的阈值确定潜在的暗斑, 最后利用区域阈值剔除假目标。Taravat等[9]为了区分SAR溢油图像中暗斑和背景, 提出了威布尔乘法模型和多层感知机的神经网络检测方法, 克服了威布尔(Weibull)模型设置参数的非自适应性, 使SAR溢油图像中的暗斑检测朝着全自动的方向迈进了一步。Guan等[10]提出了一种张量投票的方法, 用来检测RADARSAT-1 SAR窄波束图像中的暗斑。Xu等[11]利用SAR图像中大尺度空间上下文信息来提高暗斑和背景之间的类别可分性。他们设计了一种随机全连通连续条件随机场的方法用于SAR图像的建模和软标签推理, 从而得到一种有效的检测方法。Kulshrestha[12]基于极化SAR数据, 将与海面散射体物理性质有关的极化参数作为特征, 使用高斯混合模型期望最大方法区分海水和潜在的溢油区域。

由于SAR溢油图像中暗斑是溢油区域提取的基础, 同时鉴于水平集方法需要人工初始化, 神经网络方法需要事先提供人工标定的样本, 且需要进行训练从而生成识别模型等缺点, 本文设计了一种无需人工交互的SAR溢油图像中暗斑区域检测方法。该方案基于图像显著性分析[13]和均值偏移方法[14]进行暗斑区域检测。在该方案中, 将图像显著性检测方法引入到SAR溢油图像的暗斑检测中, 然后利用均值偏移和显著性动态阈值相结合实现暗斑区域的准确提取。

1 方案设计

1.1 图像显著性检测

显著性检测问题来源于计算机模拟人类视觉, 以期实现人眼快速准确地识别视觉场景中的显著区域的目的。图像显著性区域一般是最能引起人注意的部分, 通常包含了图像的绝大部分信息, 因而, 检测图像的显著性区域对于图像的分析、处理具有重大意义。目前存在多种多样的显著性检测方法[15], 主要可以分为两类: 基于局部对比度的方法和基于全局对比度的方法。前者只利用图像中相邻区域的信息, 只能部分高亮显著性区域, 对于背景复杂的图像处理效果欠佳。后者综合考虑了图像的整体性关系, 任意部分的显著性度量都是通过其整幅图像的差异来定义, 因而效果较好[16]。

鉴于图像在频率域可分为低频和高频两部分, Achanta等[13]从频率域角度出发, 提出了一种基于全局对比的显著区域检测方法。该方法将高斯低通滤波后图像中的每个像素值和整幅图像的平均像素值之间的欧氏距离作为该点的显著值, 详细过程如下:

总体来说, 该方法所描述的图像显著性检测步骤如下:

1) 对原始图像进行高斯滤波。

2) 将原始图像由RGB空间转换为Lab空间。

3) 对转换后的图像L, A, B三个通道的图像分别取均值M,M和M; 并分别对三个通道的均值图像和高斯滤波后的图像利用式(3)计算欧氏距离并求和。

4) 利用显著性图像中的最大值和最小值对显著性图像归一化, 生成归一化显著性图像。

在对SAR图像进行显著性分析后, 得到其显著性图像, 接下来进行暗斑区域的提取。目前有关图像分割的方法大都可以在显著性图像上进行目标区域的提取, 但区域生长法, 需要为每个区域提供至少一个种子点; 模糊聚类方法需要设定类别数量; GrabCut方法[17]需要人工设定背景区域等。鉴于此, 我们选取了均值偏移算法。

1.2 均值偏移算法[14]

均值偏移算法是基于核密度估计的算法, 可用于聚类、图像分割、目标跟踪等。其基本思想是在一个具有个样本点的特征空间, 初始设定一个中心点, 计算在半径的圆形空间内所有点x与中心点的向量, 并计算整个圆形空间内所有向量的平均值, 生成一个偏移均值, 将中心点移动到偏移均值的位置, 重复该动作, 直到满足一定条件为止。

1.2.1 均值偏移的基本形式

其中,S表示以为中心, 半径为的高维球数据集,为在S内的数据点的个数,x为 S内的数据点。

漂移的过程就是通过计算的漂移向量将球圆心的位置更新, 使得圆心的位置一直向数据集密度最大的方向移动, 其更新方式为:

1.2.2 加入核函数的偏移向量

为了将均值偏移方法应用到在图像分割中, 需要加入核函数的概念, 使得距离中心近的点具有更大的权值, 即距离越短, 权值越大。加入核函数后的偏移均值为:

其中,为中心点,x为半径范围内的点,为半径范围内点的数量,()为高斯核函数。更新后的中心坐标为:

1.2.3 均值偏移步骤

本文将均值偏移算法应用到SAR图像的Lab空间中, 其执行过程如下:

1) 计算图像的像素均值()。

2) 计算像素均值与像素点之间的偏移量M()。

3) 如果像素均值与像素点之间的偏移小于某一个给定的误差值, 即M()<, 则结束循环; 否则根据式(7)更新中心点坐标, 重复执行步骤(1)。

循环结束后, 将在SAR图像中得到分割结果, 即原图像被分割成几个不同的区域。

1.3 图像显著性检测与均值偏移算法的结合

在对SAR溢油图像进行显著性检测后, 在显著性图像中, 每个像素的值代表该像素的显著性程度。针对均值偏移方法分割出的不同区域, 在其显著性图像中求出每个区域的平均显著性值, 如果大于阈值, 则该区域为暗斑区域, 否则为非暗斑区域。

其中,和分别为显著性图像的宽度和高度,(,) 为坐标(,) 处的显著性值。

2 实验

2.1 数据

本文所采用的实验数据来源于NOWPAP (Northwest Pacific Action Plan)数据库。NOWPAP涵盖的地理范围大致是约121°E~143°E, 33°N~52°N的海洋和沿海地区。两幅SAR图像中, 图1来自于ERS-2(European Remote Sensing Satellite-1)卫星的C波段SAR图像, 采集时间为UTC时间1997年9月22日 02: 00: 22, 和图2来自ESR-1(European Remote Sensing Satellite-2)卫星的C波段SAR图像, 采集时间为UTC时间1995年6月19日02: 30: 12, 两者采用的都是VV极化方式, 且两者之间没有任何联系。

2.2 实验方法

为了验证本文所提出方案的有效性, 我们进行了不同方法的暗斑提取实验, 主要分为两大部分: SAR图像上的暗斑提取和显著性图像上的暗斑提取。每个部分中分别用到了均值偏移方法、水平集方法[18]和OTSU动态阈值方法[19]。在人工解译的数据(ground truth)基础上, 对比在SAR图像上和显著性图像上三种方法的暗斑区域提取表现。对比的指标包括召回率和准确率, 其计算方式如下:

。 (10)

图2 SAR溢油图像示例2

2.3 实验结果

图1所示SAR图像的显著性检测结果如图3所示; 图2所示SAR图像的显著性检测结果如图4所示。图1和图2所示图像, 在SAR图像上用不同方法得到的暗斑检测结果分别如图5和图6所示, 召回率和准确率分析如表1所示; 在显著性图像上用不同方法得到的暗斑检测结果分别如图7和图8所示, 召回率和准确率分析如表2所示。其中人工解译结果为溢油区域结果, 但这2幅SAR图像中不存在类油膜等属于非溢油区域的暗斑, 因此可以将解译的溢油区域视为准确的暗斑区域。

表1 SAR图像上三种不同方法暗斑区域检测结果的召回率与准确率

表2 显著性图像上三种不同方法暗斑区域检测结果的召回率与准确率

图3 图1的显著性检测结果

2.4 结果分析

SAR图像上的暗斑提取和显著性图像上的暗斑提取对比: 从图5和图7的对比、图6和图8的对比、以及表1和表2可以看出, 在显著性上图像上进行暗斑区域的提取效果要比直接在SAR图像上进行提取其召回率或者准确率具有一定程度上的提升, 说明图像的显著性分析能够提高暗斑与背景的区别。

针对显著性图像上的暗斑提取结果: 1) 水平集方法在边缘保持方面表现较差, 如图7b和图8b圈中所示, 而OTSU方法根据阈值区分暗斑区域和非暗斑区域, 没有考虑区域内部像素之间的相关性, 在部分区域同样表现较差, 如图7c和图8c圈中所示。2) 暗斑区域提取精度: (1)对于图1所示的SAR图像, 水平集方法和OTSU方法所提取到的真实暗斑像素数量较少, 因而他们的召回率低, 同时由于这两种方法提取到的暗斑像素总量少, 所以造成了这两种方法具有较高准确率的结果; 而均值偏移方法在保证了较高的召回率的基础上, 亦保证了较高的准确率; (2)对于图2所示的SAR图像, 3种方法都有相对较高的召回率和准确率, 但均值偏移方法表现最优。3) 人工参与程度: 水平集方法需要人工事先设定初始轮廓, 且初始轮廓不同, 迭代次数不同会导致暗斑区域提取的结果有所不同; 本文所设计的方案无需人工参与, 同时也不需要标定好的样本训练集。

图4 图2的显著性检测结果

图5 SAR图像上三种不同方法对图1的暗斑区域检测结果与人工解译结果的对比

图6 SAR图像上三种不同方法对图2的暗斑区域检测结果与人工解译结果的对比

图7 显著性图像上三种不同方法对图1的暗斑区域检测结果与人工解译结果的对比

图8 显著性图像上三种不同方法对图2的暗斑区域检测结果与人工解译结果的对比

3 结论

本文将图像显著性检测方法和均值偏移方法相结合, 引入到SAR溢油图像中的暗斑区域提取中。首先利用图像显著性检测方法对SAR图像进行处理生成显著性图像, 使图像中的暗斑区域视觉上更加明显; 然后利用均值偏移方法在SAR图像的Lab空间内将图像分割成不同的区域; 最后, 在显著性图像的基础上, 根据每个区域显著性均值和动态阈值之间的关系提取出准确的暗斑区域。实验结果表明, 本文所设计的方案能够有效地提取出SAR溢油图像中的暗斑区域, 且具有较高的召回率和准确率, 为溢油区域的提取奠定了基础。此外, 如何在暗斑区域提取的基础上设计一种高精度的溢油区域提取方法是接下来的研究重点。

[1] 刘善伟, 王婉笛, 李潇, 等. 基于DRLSE模型的SAR溢油提取方法[J]. 海洋科学, 2018, 42(1): 153-157.LIU Shanwei, WANG Wandi, LI Xiao, et al. SAR oil-spill extraction method based on DRLSE model[J]. Marine Sciences, 2018, 42(1): 153-157.

[2] 金杰, 吴雅男, 康仲林. 基于多特征的SAR影像溢油暗斑提取[J]. 测绘与空间地理信息, 2018, 41(2): 53-56.JIN Jie, WU Yanan, KANG Zhonglin. Feature extraction of oil spill dark spot based on multi-feature in SAR image[J].Geomatics ＆ Spatial Information Technology, 2018, 41(2): 53-56.

[3] 张洪云. 基于非规则标识点过程的溢油SAR图像暗斑提取[D]. 阜新: 辽宁工程技术大学, 2017. ZHANG Hongyun. Detecting dark spot from oil spill SAR intensity images by point process with irregular geometry mark[D]. Fuxin: Liaoning Technical University, 2017.

[4] RADHIA V, PADMAVATHI G. A study on dark spot extraction methods in oil spill SAR imagery[J]. International Journal of Earth Sciences and Engineering, 2015, 8(2): 43-48.

[5] LANG Haitao, ZHANG Xingyao, XI Yuyang, et al. Dark-spot segmentation for oil spill detection based on multifeatured fusion classification in single-pol synthetic aperture radar imagery[J]. Journal of Applied Remoter Sensing, 2017, 11(1): 015006.

[6] GUO Hao, WEI Guo, AN Jubai. Dark spot detection in SAR images of oil spill using segnet[J]. Applied Sciences, 2018, 8(12): 2670.

[7] SHU Yuanming, LI Jonathan, HAMAD Yousif, et al. Dark-spot detection from SAR intensity imagery with spatial density thresholding for oil-spill monitoring[J]. Remote Sensing of Environment, 2010, 114(9): 2026- 2035.

[8] ZAKERI F, AMINI J. Dark spot detection using intensity and the degree of polarization in fully polarimetric SAR images for oil pollution monitoring[J]. ISPRS – Internatio­nal Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2015, XL-1-W5: 749-753.

[9] TARAVAT A, OPPELT N. Adaptive Weibull multipli­ca­tive model and multilayer perceptron neural networks for dark-spot detection from SAR imagery[J]. Sensors, 2014, 14: 22798-22810.

[10] GUAN Haiyan, YU Yongtao, LI Jonathan. A tensor voting approach to dark spot detection in RADARSAT-1 intensity imagery[C]//Geoscience & Remote Sensing Sym­posium. Piscataway, New Jersey, USA: IEEE, 2015.

[11] XU Linlin, JAVAD S.M, WONG Alexander, et al. Fully connected continuous conditional random field with stochastic cliques for dark-spot detection in SAR imagery[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2016, 9(7): 2882-2890.

[12] KULSHRESTHA A. Dark spot detection for characterization of oil spills using polar remote sensing[D].Netherlands: University of Twente, 2018.

[13] ACHANTA R, HEMAMI S., ESTRADA F, et al. Freque­ncy-tuned salient region detection[C]// IEEE Confe­rence on Computer Vision and Pattern Recognition. Piscataway, New Jersey, USA: IEEE, 2009, 1597-1604.

[14] 马瑜, 梁慧琳, 张艳宁, 等. 基于图像颜色纹理的均值漂移分割算法[J]. 计算机工程与设计, 2013, 34(5): 1720-1724. MA Yu, LIANG Huilin, ZHANG Yanning, et al. Improved mean shift segmentation algorithm based on color texture[J]. Computer Engineering and Design, 2013, 34(5): 1720-1724.

[15] 钱晓亮, 白臻, 陈渊, 等.协同视觉显著性检测方法综述[J].电子学报 2019, 47(6), 1352-1365. QIAN Xiaoliang, BAI Zhen, CHEN Yuan, et al.A review of co-saliency detection[J]. Acta Electronica Sinica, 2019, 47(6), 1352-1365.

[16] 王闪闪. 基于显著性检测的人体轮廓提取问题研究与应用[D]. 济南: 山东大学, 2016.WANG Shanshan. The research and application of human body contour extraction with saliency detection[D].Ji’nan: Shandong University, 2016.

[17] ROTHER C, KOLMOGOROV V, BLAKE A, et al. “GrabCut”-Interactive foreground extraction using itera­ted g raph cuts[C]// Proceedings of ACM SIGGRAPH 2004. New York, USA: ACM, 2004: 309-314.

[18] LI C M, XU C, GUI C. Level set evolution without re-initialization: a new variational formulation[C]// Proceedings of CVPR. Piscataway, New Jersey, USA: IEEE, 2005, 1: 430-436.

[19] OTSU N. A threshold selection method from gray-level histograms[J]. IEEE Transactions on Systems, Man and Cybernetics, 1979, 9(1): 62-66.

Dark spot detection in SAR oil-spilled images based on salie­n­cy analysis

LYU Xin-rong, LI Yun, WEN Chun-miao, REN Peng

(College of Oceanography and Space Informatics, China University of Petroleum (East China), Qingdao 266580, China)

To improve the detection accuracy of sea oil spills in synthetic aperture radar (SAR) images, a dark spot detection method combining image saliency and mean shift segmentation is designed. Its effectiveness was verified in the identification of dark spots in SAR oil-spilled images, laying a foundation for the accurate detection of oil-spilled areas. In view of the characteristics of the dark spot in the SAR oil-spilled image that is relevant to human vision, the entire SAR image is processed by the image saliency detection method to generate a saliency image. The mean shift method is used in the Lab space of the SAR image to divide the image into different regions. Finally, the relationship between the average saliency value of each region and the dynamic threshold is used to determine the dark spot region in the oil spill image. Experimental results show that this method does not require human interaction and can effectively extract dark spots in SAR oil-spilled images.

synthetic aperture radar(SAR); image saliency; mean shift; dark spot detection

Mar. 24, 2020

P76

A

1000-3096(2021)04-0090-07

10.11759/hykx20200324004

2020-03-24;

2020-05-21

国家自然科学基金(61971444); 山东省自然科学基金(ZR2019MF019, ZR2016DL11)

[National Natural Science Foundation of China, No.61971444, Shandong Natural Science Foundation of China, No. ZR2019MF019, No. ZR2016DL11]

吕新荣(1982—), 男, 山东莱阳人, 副教授, 博士, 从事海上溢油检测及风险评估研究, E-mail: lvxr@upc.edu.cn; 任鹏(1981—),通信作者, E-mail: pengren@upc.edu.cn

(本文编辑: 丛培秀)