结合局部和全局显著性的海上小目标检测

任蕾，施朝健，冉鑫

(上海海事大学 a.信息工程学院;b.商船学院，上海 201306)

0 引言

目标检测是海上视频监控系统的重要任务之一，部分学者［1］应用主动轮廓模型进行目标检测与跟踪.该类方法适合检测海上场景中具有一定轮廓特征的目标，而基于可见光的海上场景中小目标检测一直是计算机视觉领域的难点之一.高度动态的海面背景、天气等因素的影响，使得海上小目标的检测难度较大，传统的目标检测方法效果不理想.［2］文献［3］提出基于决策树的多特征目标检测算法，并将其应用于海上搜救中.

近年来，随着认知心理学和神经心理学等学科的兴起，视觉注意机制(visual attention mechanism)及其应用研究引起广泛关注.［4］目前，视觉注意的研究工作［5］主要包括基于生物学的计算模型、完全计算模型以及这两者结合的计算模型.具有代表性的计算模型包括 ITTI等［6］的方法和 BRUCE 等［7］提出的信息最大化方法等.部分学者对海上目标检测问题中视觉注意机制的应用进行初步探索.叶聪颖等［8］提出基于 HSI(Hue，Saturation，Intensity)空间的船舶检测视觉注意模型，即在HSI颜色空间中，借鉴ITTI等的视觉注意计算模型提取显著图，但得到的显著图分辨率不高.吴琦颖等［9］在海上运动目标实时监测和跟踪系统中引入视觉注意机制，提出一种迭代的基于倒三角小模板的线性低通滤波方法，快速实现粗分辨率图像的平滑去噪，以此凸显目标.但该方法不利于海上场景中点目标的检测.吴琦颖等［10］还提出基于可见光图像序列的海上运动目标快速检测方法，利用视觉注意模型首先在静态图像中分割感兴趣区域(Region of Interest，ROI)，进而仅在ROI应用改进的时间差分法检测运动目标，该方法的检测性能依赖于静态图像分割结果.

由于海上场景中的目标多为小目标，同时伴有大量的海杂波，因此仅利用全局显著性检测目标，小目标检测效果受到影响.本文尝试结合海上场景的局部显著性和全局显著性检测小目标.

1 相关研究工作

ACHANTA等［11］定义显著性为图像区域与其邻域在多个尺度上的对比度，在CIELab颜色空间中以图像子块的各特征分量与其邻域的各特征分量的均值差进行度量.ACHANTA等在实验中采用3个不同尺度的局部对比度(Multi－Local Contrast，MLC)提取显著目标.该方法充分考虑不同尺度局部显著性，但未涉及全局显著性，并且该方法需要对每个像素逐点计算，运行时间受到影响.

由于空间域的视觉注意模型计算复杂，部分学者从频域的角度提出视觉显著性检测方法.有代表性的包括HOU等［12］提出的频谱残差(Spectral Residual，SR)方法、GUO 等［13］提出的四元数傅里叶变换相位谱(Phase spectrum of Quaternion Fourier Transform，PQFT)方法、YU 等［14］提出的脉冲离散余弦变换 (Pulse Discrete Cosine Transform，PDCT).这些方法实现简单，但存在共同的缺点:当图像尺寸不同时，得到的显著区域有较大差异，对大尺寸的显著目标往往只能检测到轮廓;当图像尺寸过小时，对尺寸较小的显著目标检测结果较差.一般地，该类方法均是对采样后的图像进行显著性检测，得到的显著图分辨率不高.之后，HOU等［15］证明PDCT可在稀疏噪声中检测稀疏目标的有效性.这类方法均是对图像进行整体变换.

为了解决显著图分辨率不高的问题，ACHANTA等［16］提出在原图尺寸上实现的频率调谐(Frequency Tuned，FrT)显著区域检测方法，定义图像CIELab颜色空间中的各特征均值与对其高斯滤波后的值的差为显著度.此外，该方法简单易实现，且能提取较完整的显著目标，其内部一致性好.但是，将该模型直接应用于海上场景，由于大量海杂波的特征，均远远高于特征均值，即其全局对比度与目标很接近，造成检测结果中包含大量的杂波.

文献［17］提出随机窗口(Random Sub－Window，RSW)的频率调谐模型，即首先提取图像的RSW，并在各窗口中应用频率调谐方法，总显著图是各RSW显著图的叠加.尽管生物学的实验支持该模型，但该方法有3个缺陷:首先，RSW的选择可能导致图像中某些区域从未参与过显著性度量，而有些区域则参与很多次;其次，各显著图直接叠加合并为总显著图，由于窗口选择的随机性，可能导致某些区域的显著值多次叠加，造成显著区域选择不准确;再次，由于随机选择窗口的数量较大，有些区域重复选择，从而导致算法的时间代价较高.

VIKRAM 等［18］分析 ITTI等［6］的经典方法和层次化方法更倾向突出角点和强边缘的缺陷，提出利用 随 机 的 中 央－周 围 (Random Center－Surround，RCS)对比度检测显著区域的方法.该方法定义两像素点之间的显著值为其特征差值与二者欧氏距离的比值，即充分考虑到距离的影响，越近的像素其影响度越高.通过在图像中随机选择点对，计算显著值，然后将所有的显著值叠加，以确定每个像素点的显著度［18］.该方法无须全部像素参与某一个位置的显著性计算，可降低运算量.但由于随机选择坐标点，可能导致图像中某些像素点没有参与到显著值度量中，而有些像素多次记入其显著值，从而可能使得后续显著度叠加的运算存在问题;此外，有些距离太远的点对其显著性的贡献不大，而随机的选择可能导致更近区域的像素点没有参与显著性计算，造成检测误差.

综上所述，已有相关研究工作主要解决陆上自然场景中的显著性检测问题，而海上场景中目标散布于背景中，具有较高的全局和局部对比度，不太适合用此类方法进行检测.相对于ITTI等［6］的经典方法、信息最大化等模型，该类方法实现简单，需手动调整的参数少.为减少对海上小目标检测的影响，得到高分辨率的显著图，本文考虑充分利用频域调谐方法的优势，结合局部显著性，抑制海杂波的影响.

2 方法的提出

2.1 全局和局部显著性

CIELab颜色空间是非线性的，与人眼的感知较一致，比高度相关的RGB颜色空间更适合表示视觉注意机制中的各个特征，已有文献［11，15－18］中多采用该颜色空间.本文提出的方法也在该空间实现.

图像Im×n的亮度和颜色特征分别以 L，a，b表示，其全局均值分别为

文献［14］中的显著图为

式中:‖·‖表示L2范数，该式定义显著度为特征均值与高斯滤波后特征的差.由于高斯滤波对图像的平滑作用可能影响小目标检测效果，定义全局显著性为

即以各像素点与局部所有像素特征均值的差值衡量其显著性，是完全基于全局对比度的思路.其中，wGL，wGa，wGb是各特征在全局显著图中的权重.

海杂波也具有较高的全局显著性，但由于其分布于整个海面，局部显著性相对目标会小得多，因此，定义局部显著性为

式中:hw是 k×k的均值滤波模板;wLL，wLa，wLb是各特征局部显著图中的权重;g是高斯平滑滤波模板.式(6)是式(5)的局部化版本，目的是消除海杂波等干扰信号的影响.

为了合并全局和局部显著图，首先将得到的显著图进行规范化.对A定义规范化函数:

对全局及局部显著图规范化后，利用二者相乘合并得到总显著图

此处的合并没有使用相加运算，原因是很多海杂波的全局显著性较强，若仅相加则可能仍会突出，不利于之后的显著目标提取.由于规范化的处理，选择将全局和局部显著图进行相乘，可以有效保证全局及局部均较显著的区域保留下来，同时去除仅在局部或者全局显著的区域.

2.2 显著目标检测

考虑到海上目标的尺寸较小，在显著图中比例很小，若利用均值运算得到的阈值生成二值化显著图，可能造成大量的海杂波被误检为目标，因此未采用文献［12］和［16］的显著目标提取方法.根据式(8)得到的显著图灰度值已经在［0，1］之间，因此利用归一化阈值t进行显著目标提取，得到二值化的显著图:

3 实验和分析

3.1 实验

为了验证本文所提出方法的性能，在MATLAB 2011(a)下进行实验.所用电脑性能参数为:Intel(R)Core 2 Duo CPU，2.4 GHz，RAM，2.00 GB.

实验中采用的图像尺寸为576×720像素，选择两种不同情况下的图像进行测试，分别见图1和2.

图1 测试图像1

图2 测试图像2

全局和局部显著图中，设置亮度和颜色特征的权值为

提出的检测方法中，除上述参数外，还需确定两个参数:局部平滑滤波器的尺寸和分割显著图的阈值.实验中设置:k=17，t=0.2.实验结果分别见图3和4.

图3 测试图像1的实验结果

图4 测试图像2的实验结果

从图3可以看出:由于尺寸较大目标的颜色和亮度显著，在全局和局部显著图中均突出，但小目标在全局显著图中不突出，与大量的海杂波混在一起;利用局部显著性可去除大部分海杂波，突出小目标;经过合并，可同时检测到两个目标.图4的结果中:尽管局部显著性图中已经去除大量的海杂波，但是仍有少量的干扰;通过合并，海杂波受到进一步抑制，有利于小目标的检测.

3.2 分析

为评价提出的算法，对测试图像应用文献［12］，［16］～［18］的方法及本文方法计算显著图，以手工标绘的结果为目标模板，对比算法性能.参考文献［15］定义查准率(precision)和查全率(recall)分别为

式中:num(·)表示二值化图像中非零像素的个数.为保持统一，实验中采用的图像尺寸均为原尺寸.对SR方法，在CIELab空间中进行实验，分别计算每个通道的显著图，然后线性合并为总显著图.对RSW方法，采用文献［15］中的参数设置，但是考虑到中值滤波对小目标检测的影响，实验中没有对结果再进行中值滤波和直方图增强.

图5和6分别给出本文方法与4种相关算法对测试图像1和2中目标的检测性能对比情况.

图5 各算法的ROC曲线(测试图像1)

图6 各算法的ROC曲线(测试图像2)

从图5和6中可发现:对于大目标和小目标同时存在的情况，本文提出的检测方法相对于RCS方法略差，其原因是小目标像素太少，而本文的方法由于综合局部和全局，可能会使很显著的大目标中部分区域被削弱，导致检测结果不完整;但对于仅有小目标的情况，本文方法明显优于其他方法，而RCS方法的性能很差.各算法运行时间对比见表1.

表1 各算法运行时间对比 s

由表1可以看出，由于RSW和RCS方法考虑很多局部窗口或局部区域，运行时间较长，不利于实时应用，而本文方法运行时间较短.此外，通过大量实验表明，局部均值滤波模板的尺寸不宜过小，否则会导致显著目标的部分区域被去除，一般选择尺寸16以上的效果较好，但是当选择的尺寸过大时，其滤波效果会降低.

通过上述结果可知，本文方法的总体性能优于其他各类相关方法，适合用于海上小目标的检测.

4 结束语

为克服大量海杂波的影响，提出结合全局与局部显著性的海上小目标检测方法.该方法充分考虑局部与全局对比度，可以有效去除海杂波，同时无须对图像进行下采样，可得到高分辨率的显著图，有利于进一步提取显著目标.实验中为各特征通道赋予同样的权值，今后将充分结合目标的先验信息，研究不同特征的合并策略.此外，如何自适应地选择局部均值模板的参数也值得进一步研究.

［1］金婷婷，施朝健.主动轮廓模型在单摄像机监控系统的运动目标检测与跟踪［J］.上海海事大学学报，2007，28(1):32－35.

［2］冉鑫，任蕾.基于可见光视频图像处理的水上弱小目标检测方法［J］.上海海事大学学报，2010，31(2):11－17.

［3］陈鹏鹏，冉鑫.基于决策树的海上搜救目标检测算法［J］.上海海事大学学报，2010，31(3):1－4.

［4］罗四维，李洁勇，黄雅萍，等.视觉信息认知计算理论［M］.北京:科学出版社，2010:181－182.

［5］ACHANTA R.Finding objects of interest in images using saliency and superpixels［D］.Lausanne:Ecole Polytechnique Fédérale de Lausanne，2010.

［6］ITTI L，GOLD C，KOCH C.Visual attention and target detection in cluttered natural scenes［J］.Optical Eng，2001，40(9):1784－1793.

［7］BRUCE N D B，TSOTSOS J K.Saliency based on information maximization［C］//Advances in Neural Infor Proc Systems(NIPS).2006(18):155－162.

［8］叶聪颖，李翠华.基于HSI的视觉注意力模型及其在船只检测中的应用［J］.厦门大学学报:自然科学版，2005，44(4):484－488.

［9］吴琦颖，李翠华.用于海上感兴趣区域实时分割的近似算法［J］.厦门大学学报:自然科学版，2007，46(1):33－37.

［10］吴琦颖，李翠华.一种新颖的海上运动目标实时检测方法［J］.计算机工程与应用，2007，43(14):213－216.

［11］ACHANTA R，ESTRADA F，WILS P，et al.Salient region detection and segmentation［C］//Proc Int Conf on Comput Vision Systems.Berlin:Springer，2008，5008(2008):66－75.

［12］HOU Xiaodi，ZHANG Liqing.Saliency detection:a spectral residual approach［C］//Proc IEEE Comput Soc Conf on Comput Vision and Pattern Recognition 2007.N J:Inst of Electr ＆ Electron Engineers，2007:1－8.

［13］GUO Chenlei，MA Qi，ZHANG Liming.Spatio－temporal saliency detection using phase spectrum of quaternion Fourier transform［C］//Proc 26th IEEE Conf Comput Vision ＆ Pattern Recognition.N J:Inst Electr＆ Electron Engineers，2008:1－8.

［14］YU Ying，WANG Bin，ZHANG Liming.Pulse discrete cosine transform for saliency－based visual attention［C］//Proc IEEE 8th Int Conf Dev ＆Learning.N J:Inst Electr＆ Electron Engineers，2009:1－6.

［15］HOU Xiaodi，HAREL J，KOCH C.Image signature:highlingting sparse salient regions［J］.IEEE Trans on Pattern Anal＆ Machine Intelligence，2012，34(1):194－201.

［16］ACHANTA R，HEMAMI S，ESTRADA F，et al.Frequency－tuned salient region detection［C］//Proc 2009 IEEE Comput Soc Conf Comput Vision ＆ Pattern Recognition workshop.N J:IEEE Comput Soc，2009:1597－1604.

［17］VIKRAM T N，TSCHEREPANOW M，WREDE B.A visual saliency map based on random sub－window means［C］//Proc Iberian Conf on Pattern Recognition ＆ Image Anal.Berlin:Springer，2011，6669:33－40.

［18］VIKRAM T N，TSCHEREPANOW M，WREDE B.A random center surround bottom up visual attention model useful for salient region detection［C］//Proc 2011 IEEE Workshop on Applications of Comput Vision，Washington，DC，USA:IEEE Comput Soc，2011:166－173.