郭 倩,王海鹏,徐 丰
(复旦大学 电磁波信息科学教育部重点实验室,上海 200433)
合成孔径雷达(SAR)是利用微波进行成像的主动传感器,是一种能全天时、全天候工作的二维高分辨率成像雷达,具有穿透云和雾的能力,低频段的SAR甚至能穿透植被和地表[1]。随着SAR和图像解译技术的飞速发展,SAR极化方式越来越多,分辨率也不断提高[2-3]。飞机是一类重要的检测目标,在高分辨率遥感图像中对其进行精确检测具有重要意义。
传统的SAR图像目标检测方法主要分为2类:1)传统恒虚警率(CFAR)检测算法。CA-CFAR(cell-average CFAR)[4]、SO-CFAR(smallest of CFAR)、GO-CFAR(greatest of CFAR)[5]、OS-CFAR(order-statistic CFAR)[6]、VI-CFAR(variability index CFAR)[7]等都是CFAR的衍生算法;2)多特征融合检测算法。通过手动方式设计特征,如几何结构[8]、亮度分布等信息对待检测目标进行提取。在对SAR图像中飞机目标进行检测时,因陆地杂波分布无规律,大量高亮散射点的存在对目标检测造成很大干扰,故基于杂波建模与亮度信息提取目标的CFAR检测算法并不适用。由于SAR图像复杂的成像机制与散射条件的多变性,飞机目标成像呈特征多样性,手动设计的特征难以适用于多种情况。
随着卷积神经网络的兴起,深度学习网络在目标检测领域表现优越。针对高分辨率SAR图像的陆地目标检测技术,本文提出了一种边缘检测与卷积神经网络相结合的飞机目标检测算法,实现了对星载SAR图像中飞机目标端到端的检测。
现有的机场检测方法主要分为2类:基于提取直线特征检测机场和基于图像分割检测机场。基于提取直线特征检测机场主要是通过检测跑道直线特征,如ZHANG等[9]通过机场沿跑道呈双峰分布来检测机场。基于图像分割检测机场时,常用的特征主要包括长宽比、形状复杂度、灰度共生矩阵与Hu不变矩[10]。对于大场景SAR图像中的机场目标,因目标所占面积较小,不易提取直线特征,故检测结果较差。对于大场景下的SAR图像,机场区域常呈现为较暗区域,基于图像分割检测机场的算法较稳定,鲁棒性好。对于大场景下SAR图像中的机场检测,本文提出了机场目标二次检测算法。
本文采用“高分三号”卫星SAR数据,原始图像共8张,图像大小约为7 000像素×7 500像素,分辨率为3 m×3 m。图1为其中1幅图像。
图1 “高分三号”SAR图像示意Fig.1 GF-3 SAR image
因机场在SAR图像中表现为大面积较暗区域,基于视觉注意力机制[11],对大场景下SAR图像中机场目标进行检测应从检测暗区域入手。为减小陆地区域杂波对目标检测的影响,首先通过图像均值滤波对图像杂波与噪声进行抑制,然后通过OTSU算法[12]确定全局阈值,对图像进行二值化处理。对二值化图像进行先膨胀后腐蚀操作,以减小背景杂波影响。对于面积排名前十的连通域,进行后续鉴别步骤。大场景SAR图像中面积较大的连通域主要为图2所示的4种情况:图2(a)为机场连通域,受机场中建筑物影响,该连通域中孔洞面积较大,但形状较为规则,通常呈方形或三角形;图2(b)为大面积海洋区域,其连通域中孔洞较少,面积较大且形状不固定,存在于图像边角;图2(c)为SAR图像中错综的道路与高亮建筑组成的连通区域,该连通域中也有较多孔洞,由于道路与建筑分布的多样性,其形状呈不规则分布;图2(d)为大场景SAR图像中的大型高亮建筑,其连通域中孔洞较少,但面积远小于其他连通域。
图2 连通域主要存在情况Fig.2 Main connected domains
给出以下4种鉴别算子,对连通域进行鉴别,提取机场区域。
1) 孔洞鉴别算子
(1)
式中:Sfilled为连通域孔洞填充后面积;Scon为连通域原面积。
2) 形状鉴别算子
(2)
式中:Sbbox为连通域最小外接矩形框面积。
3) 面积鉴别算子
(3)
式中:Smax _con为该幅图像中最大连通域面积。
4) 复合鉴别算子
k4=k2×k3
(4)
机场区域粗检测算法如图3所示。
3组机场目标粗检测结果如图4所示。图中:上半部分为初始SAR图像,下半部分为与其对应的机场目标粗检测结果。
图3 机场区域粗检测算法流程Fig.3 Airport area rough detection algorithm
图4 机场目标粗检测示意图Fig.4 Rough test results of airport targets
通过上述步骤,实现了对大场景SAR图像中机场区域的粗检测。机场区域精确分割算法同样适用于小场景SAR图像中的机场目标检测。
1.3.1 图像预处理
由于SAR图像特殊的成像机制和复杂的散射条件,其原始数据易受横干涉条纹的影响。为消除这种影响,先对图像进行滤波处理,在尽量保留图像细节特征的前提下对目标图像的横干涉条纹进行抑制。目前常用的滤波方法主要包括均值滤波与高斯滤波[13]。高斯平滑滤波器对于抑制服从正态分布的噪声非常有效。一维零均值高斯函数为
(5)
式中:ζ为高斯分布参数,决定了高斯函数的宽度。
均值滤波对于图像整体起平滑模糊作用,横干涉条纹并没有去除,机场细节信息反而有所损失;高斯滤波主要对正态分布的噪声有较好的抑制作用,但对横干涉条纹的处理效果并不理想。本文给出了“替代滤波”算法,即先检测横条纹,再用图像中横条纹附近图像值替代横条纹处图像值。这种滤波方法不但可保留机场细节信息,而且对横条纹有较好的抑制作用。采用卷积核为3×3的均值滤波器、标准差为1的高斯滤波器和替代滤波器在给定的SAR图像上进行滤波,效果对比如图5所示。
图5 3种滤波方法结果比较Fig.5 Comparison of 3 filtering methods
1.3.2 机场精确分割
对图像进行滤波预处理后,对图像进行机场精确分割,分割算法如图6所示。
图6 机场精确分割算法Fig.6 Airport accurate segmentation algorithm
3组机场目标检测结果如图7所示。图中:上半部分为初始SAR图像,下半部分为与其对应的机场目标精确分割结果图。采用本文提出的机场粗检测算法,可实现对大场景SAR图像中机场目标的粗定位。同时,机场精确分割算法也适用于对粗定位后图像,即小场景SAR图像中机场目标的精确分割。
因SAR图像具有特殊的成像机制,且成像结果随散射条件与地形方位角的变化而变化,故SAR图像中飞机目标成像结果具有多样性。飞机在高分辨率SAR图像中易呈现为不连续的散射点,且由于受背景强散射点,如滑行道、储油库等的影响,采用传统CFAR方法对SAR图像中飞机目标的整体检测效果很差,检测结果除存在漏检外,还包含大量虚警。传统目标检测方法常通过手动方式设计特征,目标特征提取能力不足且鲁棒性差。图8为SAR图像中飞机目标示意图。
图7 机场目标精确分割结果Fig.7 Airport target accurate segmentation results
图8 SAR图像中飞机目标Fig.8 Aircraft target in SAR image
随着卷积神经网络的兴起,深度学习网络在目标检测领域的优势也逐渐显现。针对高分辨率SAR数据的陆地目标检测技术,本文提出了一种基于Canny算子[14]的边缘检测与神经网络相结合的飞机目标检测算法,主要检测思路如图9所示。
图9 检测流程示意图Fig.9 Detection process diagram of aircraft targets
为减小机场区域杂波对目标检测的影响,首先,通过替代滤波对图像杂波与噪声进行抑制。其次,采用Canny算子对图像边缘进行提取。然后,对边缘提取后的图像进行膨胀与腐蚀操作,并对边缘虚警进行剔除,实现目标粗分割。通过飞机占机场面积比算子确定可疑目标在高分辨率SAR图像中的位置范围,提取包含目标与虚警的边界框。通过对边界框的处理进行飞机部件的组合,确定飞机整体目标的可能位置。接下来,采用基于GoogLeNet[15]的神经网络对可疑目标进行识别。最后,利用改进后的非极大值抑制算法、长宽比鉴别算子与面积鉴别算子,提取得到飞机目标的感听趣区域(ROI)。
2.2.1 目标粗定位
在SAR图像中,飞机目标边缘是其重要的属性信息。鉴于实际SAR图像中陆地区域存在许多背景杂波,图像的边缘往往是各种类型的边缘和它们模糊化后结果的组合,且实际图像信号存在噪声。噪声和边缘都属于高频信号,很难用频带做取舍。通过图像边缘检测可大幅减少数据量,剔除可被认为是不相关的信息,保留图像重要的结构属性。因此,本文采用边缘检测对陆地可疑目标进行粗定位。
边缘检测的基本方法有很多,如Roberts Cross算子[16]、Prewitt算子[16]、Sobel算子[17]、Canny算子等。Robert算子定位比较精确,但因不包括平滑,故对于噪声比较敏感。Prewitt算子和Sobel算子都是一阶的微分算子,其对于混合多复杂噪声的图像处理效果不理想。Canny边缘检测算子在一阶微分算子的基础上,增加了非极大值抑制和双阈值2项改进:利用非极大值抑制算法不仅可有效抑制多响应边缘,还可提高边缘的定位精度;利用双阈值可有效减小边缘的漏检率。因此,本文采用Canny算子对机场检测后的SAR图像进行边缘提取,其主要步骤和原理如下。
1) 用高斯滤波器平滑图像
(6)
令g(x,y)为平滑后的图像,用h(x,y,σ)对图像f(x,y)进行平滑,可表示为
g(x,y)=h(x,y,σ)*f(x,y)
(7)
式中:*代表卷积。
2) 用一阶偏导的有限差分计算梯度的幅值和方向
利用一阶有限差分近似式来计算x与y偏导数的2个阵列fx′(x,y)与fy′(x,y),即
fx′(x,y)≈Gx=
f(x+1,y+1)-f(x,y+1)]
(8)
fy′(x,y)≈Gy=
f(x+1,y+1)-f(x+1,y)]
(9)
幅值和方位角可用直角坐标到极坐标的坐标转化公式来计算,即
(10)
(11)
式中:M[x,y]反映了图像的边缘强度;θ[x,y]反映了边缘的方向。使M[x,y]取得局部最大值的方向角θ[x,y]反映了边缘的方向。
3) 对梯度幅值进行非极大值抑制
仅得到全局的梯度并不足以确定边缘,因此,为确定边缘,必须保留局部梯度最大的点,抑制非极大值。在Canny算法中,非极大值抑制是进行边缘检测的重要步骤,通俗意义上是指寻找像素点(边缘)局部最大值,将非极大值点所对应的灰度值设置为0,从而剔除大部分非边缘的点。
4) 用双阈值算法检测和连接边缘
设置2个阈值t1和t2,两者关系为t1=0.4t2。先将梯度值小于t1的像素的灰度值设为0,得到图像1;再将梯度值小于t2的像素的灰度值设为0,得到图像2。以图像2为基础,以图像1为补充,连接图像的边缘。
2.2.1.1 边缘检测结果
基于SAR图像机场检测结果,采用Canny算子进行边缘提取,结果如图10所示。
图10 目标检测结果Fig.10 Target detection results
图中,机场可疑目标粗分割结果去除了机场边缘信息,飞机目标更为清晰,但包含了大量陆地杂波,且飞机目标被分成许多小块。
2.2.1.2 边界框处理
目标粗分割使得飞机目标更为清晰,且去除了大量背景杂波的影响,飞机目标基本为一个连通域。由于SAR图像特殊的成像机制和散射条件的多变性,机翼、机头、机尾等一些飞机部件成像为独立的高亮散射点。相对于其余虚警边界框,该边界框与机身相距很近,故通过最优距离匹配算法可将飞机部件与机身进行合并。通过最优距离匹配算法进行小边界框合并后,边界框处理结果如图11所示。
2.2.2 二分类卷积神经网络
算法使用的数据集是TerraSAR-X卫星数据,原数据集中共包含10幅图像,大小约为6 000像素×10 000像素,分辨率为1.5 m×1.5 m。对该数据中的飞机目标进行人工标注,并通过灰度调整、平移、旋转等操作进行数据增强,同时从该TerraSAR-X数据中随机切取背景图像作为背景切片。该数据集共包含468张飞机目标切片与1 309张背景切片。按4∶1的比例将数据集分为训练集与测试集。部分训练集切片如图12所示。
图12 数据集示意图Fig.12 Datasets of aircraft and background
从图中可清楚看到,飞机目标切片中包含各种形态的飞机目标,背景切片则呈现了多种背景形式。
2.2.2.1 网络结构
鉴于GoogLeNet的优越表现,将其用于本数据集飞机目标二分类识别。基于数据样本,对原网络结构做出如下修改:移除网络最后的全连接层、Softmax层和分类输出层,设置全连接层输出为飞机目标和背景2类,接入Softmax层和分类输出层。
2.2.2.2 目标识别结果
利用训练好的网络对图11(b)待识别边界框中的目标进行识别,因不同图像样本中目标灰度差别较大,故采用多灰度识别,即将提取出来的可疑目标框以0.05步长对图像灰度进行调整,共以5个灰度送入目标识别网络。其识别结果如图13所示。
图13 飞机目标识别结果Fig.13 Aircraft target recognition results
通过基于Canny算子的边缘检测算法,可有效去除边缘虚警,减小后续步骤计算量;通过最优距离匹配算法,对大小边界框进行匹配,可对因复杂散射机制而成像为独立亮斑的飞机部件与机身进行组合,完善飞机目标,同时有效去除独立虚警目标;通过基于GoogLeNet的飞机目标二分类卷积神经网络的识别,可对高分辨率SAR图像中的可疑目标进行鉴别,有效剔除陆地区域较大虚警目标。对飞机目标检测结果(见图13)的分析表明:该方法对SAR图像中飞机目标的检测率达到100%,虚警率为7.7%。
本文针对大场景下SAR图像中的机场检测问题,给出了机场粗检测算法与小场景中机场目标精确分割算法。针对机场中的飞机目标,提出了一种基于Canny算子的边缘检测与卷积神经网络结合的飞机目标检测算法。在飞机目标检测前,采用机场粗检测算法与精确分割算法将图像缩小至机场区域。为减小横干涉条纹的影响,采用替代滤波算法对图像杂波进行抑制。首先基于Canny算子对机场中的目标进行边缘提取等处理,确定可疑目标在机场中的位置范围。然后采用基于GoogLeNet的卷积神经网络对可疑目标进行识别。最后利用“高分三号”卫星图像对大场景下机场检测算法进行验证,利用TerraSAR-X卫星数据对飞机目标检测算法进行验证。分析表明:该方法对SAR图像中飞机目标的检测率达到100%,虚警率为7.7%,具有较好的检测效果。
本文针对星载SAR图像中机场与飞机目标检测进行了较为深入的探究,取得了较好的研究成果,也提供了一些新的思路。但目标检测结果依赖于待识别目标框的提取结果,若候选目标框提取不够精确,仍会有部分虚警产生。为提高算法精度和识别效率,后续可考虑将飞机目标物理散射机制与神经网络相结合,以期提高算法鲁棒性。