龚志成,曾惠翼,裴继红
深圳大学ATR国防科技重点实验室,深圳518060
在海洋遥感领域,海面舰船检测与识别在民用、军用方面都有着广泛应用.但复杂的海面背景使舰船图像提取仍存在很多困难.在光学遥感成像的过程中,不同的海面波浪状况对光照的反射能力不同,且受天气条件、太阳照射角度以及传感器自身的影响,使光学遥感图像的亮度、对比度等背景信息存在很大变化,表现出:① 海面背景不稳定.海面波纹较多,且平均亮度存在起伏;② 舰船目标灰度不确定.受光照、舰船表面反射的影响,舰船目标在亮度上可能高于或低于海面背景亮度.基于以上特点,难以对复杂海面情况建立一个通用的模型,为此,本文研究一种能够适应不同海面背景情况,且检测率高的舰船目标检测方法.
目前,对于遥感图像的研究重点已经从SAR图像慢慢转向高分辨光学遥感图像,针对光学遥感图像的舰船目标检测已取得了一定成果.储昭亮等[1]利用自适应定向正交投影的高斯分解法,拟合海洋区域直方图,采用改进的信息熵极小误差分割算法,确定分割阈值,该方法能够自动、快速、准确地检测图像中的舰船,具有较高的检测能力,但对于舰船目标与海洋背景接近时,不能取得较好效果.Tao等[2]通过对窗口直方图进行分解和曲线拟合,判断窗口内是否存在舰船目标以及目标的黑白极性,但该方法在检测过程中只利用了目标的灰度统计特性,没有考虑目标的空间结构信息,并且直方图形状与图像内容的联系也不具有确定性.王保云等[3]针对复杂海洋背景下的海上舰船目标检测,提出了基于自适应多阶阈值分割方法,并对分割结果结合目标的外形特征和多边形特性进行判断,降低了虚警率,但此算法受参数的影响较大,且需多次阈值分割,效率上并不是很高.
针对上述情况,本研究通过分析海面背景与舰船目标的邻域特性,根据其邻域均值方差积之间的差别滤除海面背景,然后对残余的分散海面杂波,利用其均值差异进一步消除,并利用形态学方法消除面积较小和方差较小的杂波块,确定好舰船目标候选区域后,利用目标的长宽比等结构信息进行验证判别,剔除虚警,提高检测率.该方法兼顾了背景特征的统计特性和目标的空间结构信息,有效抑制海面亮度变化和背景杂波的影响,对于不同情况的海面和不同极性的目标均能获满意的检测结果.
海洋遥感图像情况复杂[4-7],不仅背景亮度起伏较大,而且舰船目标也存在黑白极性,建立一个固定的模型实现舰船检测非常困难.以图1为例,图1(a)中舰船成黑极性,其直方图分布中海洋背景的灰度分布范围较窄,而舰船本身像素数目较少,灰度分布范围却相对较宽;图1(b)中舰船存在白极性,其直方图与图1(a)相比,舰船目标在灰度分布上形成的峰在背景主峰的右边;图1(c)中由于强烈海杂波和尾迹的影响,其直方图在右半部分末端出现了强烈振荡;图1(d)中由于云雾的干扰,其直方图成明显的单峰特性.对于图1(a)和图1(b)2种情况,因直方图存在双峰,可以容易地把舰船目标分割出来,但对于图1(c)和图1(d)或者其他更加复杂的情况,传统的阈值分割就显得无能为力.
图1 不同海面背景及其灰度分布Fig.1 Gray distribution of different sea background
对于浩瀚无边的海洋,舰船只是其中极小一部分,根据概率论的中心极限定理可知,大面积的海洋区域灰度分布趋于正态分布.在图1中,4种不同情况下的海面图像有一个共同点,其灰度直方图的主峰部分均符合正态分布特性,而主峰部分反映的则是海面背景的灰度分布,由于舰船或云雾等其他因素的存在,直方图的两端表现出局部的振荡.
上述分析表明,对于复杂海面背景,其局部区域灰度变化明显,而整体变化相对较小;对于舰船目标,当其灰度与海面反差较大时,其边缘上的灰度变化明显;当其灰度与海面反差较小时,其内部细节信息仍表现出灰度明显变化的特点.因此,可以利用局部邻域窗口相关特性,有效地对舰船目标进行分割.
为了进一步分析邻域特性,本研究利用了邻域均值方差积的概念,图像f(x,y)局部的邻域均值方差积 Tμσ(x,y)定义为
其中,w表示大小为n×n的邻域窗口,且w(i,j)表示其中像素,-0.5n≤ i,j≤ 0.5n(如图2);μw(x,y)表示窗口中所有元素的灰度均值;σ2w(x,y)表示窗口中所有元素的灰度方差.μw(x,y)和σ2w(x,y)的具体计算为
选择邻域窗口大小的时候,如果窗口尺寸过大,将对舰船边缘部分造成误判;反之,则会对灰度波动较大的海面波纹造成误判.本研究结合遥感图像的空间分辨率和实际舰船的大小,经过实验分析后,选择9×9的邻域窗口.该窗口大小对一般图像而言,都能有较好的效果.
图2 局部邻域窗口示意图Fig.2 Schematic of local neighborhood window
图3 局部均值方差积在图像平面的分布图Fig.3 Local mean variance distribution
图3是图像邻域窗口均值方差积的空间分布图,图中x和y轴表示图像的宽和高,z轴的值是点邻域均值方差积的值.图3中平面上明显突出的是舰船目标区域和一些灰度变化较大的海杂波区域,其中突出的舰船目标区域面积远大于分散的杂波区域.由于这些区域局部的均值方差积远大于图像背景,所以与背景呈现出明显的对比.在图4的统计分布图中(x轴表示均值方差积值的大小,y轴表示统计的数目,x轴上值经过以10为底对数处理),可以看出主要背景的均值方差积形成的峰在统计图左边占了绝大部分,而舰船目标区域的均值方差积分布均在直方图的右边(椭圆标记区域,根据图3数值估计),其数值远大于海面背景.
图4 局部均值方差积的统计分布图Fig.4 Statistical distribution of local mean variance
由图3和图4可知,在均值方差积平面取一个合适的阈值门限,即可把舰船目标候选区域分割出来.门限值大小,将影响船体轮廓的保留度和海面杂波的残留度.对整幅图像而言,其灰度均值介于船体和海面的灰度之间,其方差值也介于船体和海面的方差之间;在邻域窗口内,船体的灰度方差大于大部分海面灰度方差.因此取图像整体的灰度均值与方差之积作为阈值门限,既保证了船体与海面的区分度,也达到了分割精度的目的.图5给出图像整体均值方差积的具体位置(黑线所在坐标).
对于大小为M×N的灰度图像f(x,y),其全局均值方差积为
其中,
图5 局部均值方差积统计分布中的阈值门限位置Fig.5 The threshold position in the statisticaldistribution of the local mean variance
确定好阈值门限后,对图像f(x,y)进行分割,
其中,g(x,y)为阈值分割后得到的图像(如图6).
图6 均值方差积平面的分割结果Fig.6 Segmentation results
观察初分割后的输出图像,其内容由较大块的舰船目标区域和较小的块状海杂波群组成,在块状的像素之间是已经置0的背景区域.对于g(x,y)对应的灰度图像中某一个像素点,取其邻域窗口,若像素点在块状海面杂波上,邻域中像素点为小块海杂波与0值背景的混合,因0值背景占多数,其灰度均值就较小;若像素点在舰船区域上,邻域中像素点为连续的船体像素和少量0值背景,相对海杂波的邻域而言,其灰度均值较大.因此,对初分割后图像选择合适的邻域窗口进行邻域均值滤波,
其中,f1(x,y)表示邻域均值滤波后的灰度图像;w为n×n的邻域窗口.
选择合适的阈值门限T1消除分散的小块海杂波,
其中,g1(x,y)表示阈值分割后得到的图像;ut表示原始图像f(x,y)的全局灰度均值;a为0~1间的常数,本研究取0.7.
通过邻域均值滤波,消除了较小块的海杂波,并将稍大块的海杂波面积进一步缩小,而舰船目标基本不受影响.对于复杂背景图像,可以进行多次邻域均值滤波.后续,用形态学处理进一步排除海杂波影响,确定候选目标区域.
对于分割后图像,可能边缘或船身受到了破坏,产生了少量孔洞或细缝,可以利用形态学中的膨胀对图像进行补充和连接,便于下一步对舰船目标的判决.将图像分割成了大小不同的区域,每个区域单独构成一个连通域,对连通域进行标注后,可对图像单个区域进行处理,本研究使用的邻接方式为 8 邻接[8].
对图像g1(x,y)进行连通域标注,得到单连通区域二值分割图,
B1(x,y),B2(x,y),...,Bc(x,y)
其中,c是单连通区域的个数,且g1=B1∪B2∪…∪Bc,Bi∩Bj=Ø,∀i≠j;g1是上一步经形态学处理后的二值分割图.
分别计算各个单连通区域分割图的面积A及其对应的原图像区域的方差σ2,
式(13)中,uk为第k个单连通域对应的原图像区域的灰度均值.
通过设定面积门限T2和方差门限T3,排除不符合条件的小区域,保留舰船目标候选区域LT,
其中,T2和T3是根据实验确定的门限值,本研究T2=50,T3=4σ2t.
由于海面情况的不确定性,存在大量与舰船特性相似的虚警干扰(如云朵、小岛和强海浪等),可能会出现偏差,因此,有必要对分割结果进行验证,而验证依据就是舰船目标的不变特征.本研究主要选择3个舰船目标特征[9]:
1)舰船长度L,指最小外接矩形的长度,Lmin≤L ≤ Lmax,本研究 Lmin=13,Lmax=143;
2)长宽比R,指最小外接矩形的长宽比,R=L/W,R≥RT,本研究RT=2;
3)矩形度F,指区域面积与最小外接矩形面积的比值,F=S/S1,F ≥ FT,本研究 FT=0.8.
具体的门限值可以根据足够的先验知识和舰船外形的规定参数设定,对前述舰船目标候选区域LT中每个区域进行判别,当满足上述3个条件时,判断为舰船目标,否则剔除.判别公式为
图7中,对分割后结果进行判别,由于左下角2个目标的长度、长宽比不满足条件1)和条件2),因而被判别为非舰船目标.那么,对于满足条件的舰船目标则用矩形框进行标注,见图7(c).
图7 舰船目标判决检测Fig.7 Ship target detection judgment
对舰船的检测主要分为分割与判别两个过程,我们主要的研究对象为遥感图像中海面舰船目标,由于海面情况复杂多变,为了消除不同海面背景的影响,本研究基于邻域窗口,分析邻域特性,在邻域灰度均值方差积平面消除大部分海面背景,再通过邻域均值滤波和形态学处理消除分散的海杂波,确定候选目标区域,然后根据相关特征对目标进行判别,剔除虚警,输出正确结果.
整体流程见图8,图9给出利用邻域均值方差积和邻域均值滤波的具体算法流程图,图10给出利用形态学确定候选目标区域的流程图.
图8 整体算法流程Fig.8 The whole algorithm flowchart
本实验数据源自CBERS-02B卫星拍摄的空间分辨为2.36 m的全色图像.
图9 阈值分割流程图Fig.9 The Flowchart of threshold segmentation
图10 形态学消除杂波过程Fig.10 Morphological process to eliminate clutter
为验证本文算法的有效性,共选择150张不同海面背景切片,切片大小为512×512.所选图像海域面积累积约200 km2,舰船目标总数为461,其中白极性舰船数目为282,黑极性舰船数目为179,带尾迹舰船数目为83,图像中舰船大小变化从13 pixels×5 pixels到143 pixels×22 pixels.本算法检测结果如表1.
表1 实验1的检测结果Table1 The test results of Experiment One
图11 舰船目标检测结果Fig.11 The results of different ship target detection
图11给出4种不同背景情况的舰船检测结果,其中图11(a)舰船成黑极性,图11(b)舰船成白极性,图11(c)中有云雾,图11(d)中杂波明显,本算法均准确检测出舰船目标.可见该算法能够适应各种不同背景、不同极性舰船的情况.
对一张包含陆地部分的多目标图像,如图12(a),用预定的陆地模板进行分割,得到海域部分,便于后续的舰船目标检测,如图12(b).图12(c)是检测结果,共检测出40个目标,1个虚警,2个漏警,图12(d)是检测结果局部示意图.
图12 海陆图像舰船检测示例Fig.12 The example of ship detecting
本研究算法、多阶阈值分割方法[3]和基于Contrast box滤波的检测算法[10]的舰船检测结果见表2,该算法的漏检率和虚警率都优于其他方法.
表2 本算法与其他检测算法舰船检测结果比较Table2 Comparison of different algorithms
针对海面背景复杂多变的情况,本研究通过分析背景邻域、舰船目标邻域以及整体海面背景的分布特性,利用舰船目标区域灰度均值方差积远大于图像整体的特点,选择合适的邻域窗口,在其邻域均值方差积平面,以图像整体的均值方差积作为阈值门限进行背景滤除,再通过邻域均值滤波与形态学处理,确定目标候选区域,最后根据相关特征对候选区域进行判别,得到最终检测结果.本研究提出的舰船目标分割与判别方法,解决了常见阈值方法不能分割黑极性舰船和应对复杂背景的问题.通过对大量不同海面背景图像进行验证,实验表明,本研究方法检测能力强,检测率高,且能适应复杂多变的海面背景.
/References:
[1]Chu Zhaoliang,Wang Qinghua,Chen Hailin,et al.Ship auto detection method based on minimum error threshold segmentation [J].Computer Engineering,2007,33(11):239-241.(in Chinese)储昭亮,王庆华,陈海林,等.基于极小误差阈值分割的舰船自动检测方法 [J].计算机工程,2007,33(11):239-241.
[2]Tao Wenbing,Jin Hai,Liu Liman.Object segmentation using ant colony optimization algorithm and fuzzy entropy[J].Pattern Recognition Letters,2007,28(7):788-796.
[3]Wang Baoyun,Zhang Rong,Yuan Yuan,et al.A new multi-level threshold segmentation method for ship targets detection in optical remote sensing images[J].Journal of University of Science and Technology of China,2011,41(4):293-298.(in Chinese)王保云,张 荣,袁 圆,等.可见光遥感图像中舰船目标检测的多阶阈值分割方法 [J].中国科学技术大学学报,2011,41(4):293-298.
[4]Xiao Liping,Cao Ju,Gao Xiaoying.Detection for ship target in complicated background of sea and land[J].Opto-Electronic Engineering,2007,34(6):6-10.(in Chinese)肖利平,曹 炬,高晓颖.复杂海地背景下的舰船日标检测 [J].光电工程,2007,34(6):6-10.
[5]Zhu Changren,Zhou Hui,Wang Runsheng,et al.A novel hierarchical method of ship detection from spaceborne optical image based on shape and texture features[J].IEEE Transaction on Geoscience and Remote Sensing,2010,48(9):3446-3456.
[6]Wang Yanqing,Ma Lei,Tian Yuan.State-of-the-art of ship detection and recognition in optical remotely sensed imagery[J].Acta Automatica Sinica,2011,37(9):1029-1039.(in Chinese)王彦情,马 雷,田 原.光学遥感图像舰船目标检测与识别综述 [J].自动化学报,2011,37(9):1029-1039.
[7]Zhou Hui,Guo Jun,Zhu Changren,et al.Ship detection from optical remote sensing images based on PLSA model[J].Journal of Remote Sensing,2010,14(4):663-671.
[8]Gonzalez R C.Digital Image Processing Using Matlab[M].Beijing:Publishing House of Electronics Industry,2007.(in Chinese)Gonzalez R C.数字图像处理(Matlab版) [M].北京:电子工业出版社,2007.
[9]Du Chun,Sun Jixiang,Li Zhiyong.Method for ship recognition using optical remote sensing data[J].Journal of Image and Graphics,2012,17(4):589-595.(in Chinese)杜 春,孙即祥,李智勇.光学遥感舰船目标识别方法[J].中国图像图形学报,2012,17(4):589-595.
[10]Zhao Yinghai,Wu Xiuqing,Wen Lingyun,et al.Ship target detection scheme for optical remote sensing images[J].Opto-Electronic Engineering,2008,35(8):102-106.(in Chinese)赵英海,吴秀清,闻凌云,等.可见光遥感图像中舰船目标检测方法 [J].光电工程,2008,35(8):102-106.