基于图像序列的VideoSAR动目标检测方法∗

聊 蕾,左潇丽,云 涛,朱岱寅

(1.南京航空航天大学电子信息工程学院,江苏南京211100; 2.中国人民解放军63778部队,黑龙江佳木斯154001)

0 引言

2003年,美国Sandia国家实验室首次提出了VideoSAR(Video Synthetic Aperture Radar)技术[1],能以每秒5帧以上的帧率获得高分辨率SAR图像。之后,国内外很多学者和研究机构对VideoSAR技术在分辨率、聚焦质量以及成像实时性等方面展开了研究,并取得了一定的成果[2-5]。

在SAR图像中,当运动目标在沿雷达视线方向具有速度分量时,会造成多普勒频移[6],使得运动目标在成像时发生偏移和散焦,甚至移出场景之外,使得依靠雷达截面积(RCS)来进行动目标检测变得十分困难,但在其真实位置能够留下阴影,因此可以利用对阴影的检测来实现对动目标的检测。

文献[7]提出了基于单幅高分辨SAR图像的动目标检测方法。该方法利用动目标的阴影并辅助以道路信息来进行动目标检测。但是,该方法必须在道路上进行动目标检测,限制了成像场景;其次,该方法只能适用于运动目标在雷达视线方向速度较慢的情况,当速度较快时,运动目标严重散焦,使得峰值检测失效。

文献[8]利用阈值分割检测出单帧SAR图像的疑似目标,并融合目标特征实现运动目标的自动检测。但是,当目标的运动速度较快时,阈值分割将无法实现单帧SAR图像中疑似目标的提取。

文献[9]提出了基于多幅高分辨SAR图像来检测动目标的方法。对同一场景在不同视角下所成的SAR图像序列进行旋转对齐后求得背景图像,利用当前图像和背景图像的比率图筛选出运动目标的阴影。该算法存在的缺点是:SAR成像是将三维目标投影到二维平面上,若图像序列的视角间隔过大,则简单的旋转操作不能使图像序列的背景对齐,那么时域平均求得的背景将不能用来削弱静态背景。

与传统SAR相比,VideoSAR技术可以获取高帧率、高分辨率的连续SAR图像序列。运动目标的阴影在帧与帧之间是不断运动的,因此,可以利用这一特征将运动目标的阴影与其他暗色区域(静态目标的阴影以及其他散射系数较低的目标)区分开来。

本文提出一种基于VideoSAR图像序列的动目标检测方法,考虑图像序列间存在旋转、平移、缩放等变化,本文用SIFT+RANSAC算法来计算图像序列间的变换参数,完成图形序列的背景运动补偿;另外,采用单高斯背景模型差分来代替时域平均,降低对噪声的敏感性,提高动目标检测算法的稳定性。

1 算法流程

本文算法的思想是:将VideoSAR图像序列划分成短间隔小组,以每组为单位进行动目标检测。将每组的第一幅图像作为参考图像,剩下的图像作为待配准图像与之配准,也就是对背景的运动进行补偿。图像序列的背景对齐后,以第一幅图像来初始化单高斯背景模型,并对剩下的图像序列依次进行学习,更新该背景模型。在得到该图像序列的背景模型后,用最后一幅图像与之进行背景差分,并对差分结果进行二值化,则可初步得到该组的前景二值图。用形态学方法对二值图进行滤波和筛选,提取出运动的阴影,即完成动目标检测。具体流程如图1所示。

图1 本文提出的动目标检测流程图

2 背景补偿

VideoSAR的3种主要成像模式[5]为:条带式、聚束式和圆迹式。这3种模式在生成图像序列时,载机的运动会使得雷达观测角度以及雷达到场景中心的距离发生变化,所生成序列中的图像之间发生平移、旋转、缩放等几何畸变,因此在动目标检测前,必须对图像序列的动态背景进行运动补偿,使背景能够对齐。

本文使用图像配准技术来进行背景补偿。图像配准即对同一场景在不同时间、不同角度或者不同传感器拍摄(成像)下得到的两幅图像进行对齐的技术。图像配准是图像处理和分析的基础问题,在医学图像分析、模式识别、计算机视觉、环境监测、遥感数据分析等方面都有着广泛的应用[10]。

本文的配准流程如图2所示。

首先,本文使用SIFT[11](Scale Invariant Feature Transform)算法来初步提取出两幅图中的特征点。SIFT算法提取出的特征点(每个特征点都用一个特征矢量进行描述,称为描述子),对尺度缩放和旋转能够保持不变,并且在仿射失真、三维视点改变以及存在噪声的情况下具有很高的鲁棒性。

在分别提取出参考图像和待配准图像的特征点后,需要对两幅图像的特征点进行初次配对。计算参考图像的每一个特征点与待配准图像的所有特征点间描述子的欧式距离,并将距离最短的特征点进行配对。

图2 图像配准流程图

因为噪声、重复纹理等原因,初次配对会产生少数错误的匹配对,本文使用RANSAC(Random Sample Consensus)[12]算法来进一步筛选,计算出满足最多匹配对的参数模型。VideoSAR的成像几何关系是将三维模型投影到二维平面上,因此使用透视矩阵来描述参考图像与待配准图像之间的参数模型。

RANSAC算法计算出透视矩阵模型的参数后,利用该模型可以计算出参考图像中的点坐标映射到待配准图像中的对应点坐标,而计算出的对应点坐标一般不是整数,因而需要在待配准图像中进行重采样,获得对应点坐标的灰度值,最终得到配准后图像。

3 单高斯背景模型

VideoSAR在生成图像序列时,随着雷达视角发生变化,三维的地面目标在成像平面上的二维投影也将发生变化。因此,为了保证图像序列拥有较高的配准精度,将VideoSAR图像序列划分为长度为n(n小于图像序列的总长度,一般取4～6)的小组来进行动目标检测,在该段时间内二维投影的变化对配准精度的影响可以忽略。

每组图像序列以第一幅图像作为参考图像,第2～n幅图像作为待配准图像依次与参考图像进行配准,则可得到背景对齐的新的n幅图像。在新的图像序列中,需要将发生运动的阴影区域检测出来。背景差分是运动目标检测的常用方法,通过当前图像与背景图像的差分,可以减去静态的背景,留下发生变化的部分,但是如何获得稳定可靠的背景是非常关键的问题。

为了能获得较稳定背景,本文使用高斯背景模型来统计图像序列的背景模型。由于分时段后图像序列较短,因而可以认为场景背景变化比较微小,所以用单高斯函数来模拟背景模型。接下来介绍单高斯背景模型。

单高斯背景模型[13]就是用单个高斯函数来描述像素点的某种特征。本文使用灰度值作为特征来建立每个像素点的单高斯背景模型。在t时刻,某像素点的概率密度函数在其均值附近可近似表示为高斯概率密度函数:式中,X i,t表示该像素点t时刻的灰度值,μi,t表示该像素点的灰度值均值,σi,t表示该像素点的灰度值方差。

对背景补偿后长度为n的连续图像序列进行背景建模。首先,初始化单高斯背景模型。设该时段图像某像素点i的灰度值序列为I(x i,y i, 1∶n),其中x i和y i表示像素点的位置。初始化背景模型的均值μi,1为I(x i,y i,1),方差σi,1为0,学习次数αi,1为1。接下来对I(x i,y i,2∶n)进行学习。若满足

则将该点归入该模型。其中t表示该像素点在该时段内的时序,2≤t≤n,θ1表示设定的判断阈值,取值大于1。求出t时刻的灰度值与当前背景模型的均值的方差,若该方差与背景模型的方差的比值小于一定阈值θ1,则可判定该时刻的灰度值满足该点的单高斯模型,对背景模型进行更新,各参数的更新如式(3)所示:

若不满足式(2),则背景模型不更新,各参数如式(4)所示:

在n个序列点统计完后,由于是从第一幅图像开始统计背景模型,所以得到基于I(x i,y i,1)的背景模型。接下来将该时段内的最后一幅图像与背景差分。若I(x i,y i,n)满足

则初步判断该点为该时段内的动目标,也就是前景,反之,则判为背景。其中,θ2为设定的判断阈值,若I(x i,y i,n)的灰度值与背景模型均值的方差大于阈值,且灰度值小于背景模型的均值,则说明该像素点的灰度值在该时段内发生变化且是阴影,因此可以初步判断该点是发生变化的阴影。

4 后续形态学处理

经过对长度为n的图像序列进行上述背景差分算法后,得到前景为1、背景为0的二值图。但是,SAR图像存在的相干斑以及图像配准时边界的溢出都会被误判成前景图像,因此需要对二值图进一步处理。首先,对二值图进行连通域标记算法,并去掉面积过大的连通域(一般由配准时边界旋转造成);接着进行形态学腐蚀,再进行形态学膨胀,这样可以去掉一些小的噪声斑点。统计剩下的标记区域,则可得到运动目标的数目和位置。

5 实验结果分析

为了验证算法性能,使用Sandia国家实验室提供的Kirtland空军基地的VideoSAR成像片段,其中沿着道路运动的阴影表示运动车辆的真实位置。

图3是未经背景补偿的图像序列经过单高斯背景模型统计出的背景;图4是经过SIFT+ RANSAC算法配准,动态场景得到补偿后的图像序列经过单高斯背景模型统计出的背景。但是由于图像序列较短,场景变化较小,且场景中目标灰度值接近,所以通过肉眼难以区分二者。

图3 未经背景补偿图像序列的背景模型

图4 背景补偿后图像序列的背景模型

但是在图5和图6中,可以明显看出背景补偿的作用。其中图5是未经背景补偿的图像序列的背景差分二值图;图6是经过背景补偿后的图像序列的背景差分后二值图。可以明显看出,未经背景补偿的图像序列由于背景没有对齐,在背景差分后静态背景没有完全消除,对运动阴影的提取造成障碍。而经过背景补偿后,静态背景基本被消除。另外,在图6中可以看出,除了运动目标被检测出来,其他相干斑、配准时边界的旋转也被检测为变化部分。

图5 未经背景补偿图像序列的背景差分二值图

图6 背景补偿后图像序列的背景差分二值图

将图6的背景差分二值图用连通域标记算法统计出各连通域的面积,并去除由旋转造成的面积较大的连通域,结果如图7所示。接下来,对图7的结果先进行形态学腐蚀,再进行形态学膨胀,去除噪声斑点,结果如图8所示。从图8可以看出,以上步骤有效去除了图6中边界溢出和噪声斑点,并正确保留了运动目标。

图7 去除旋转溢出后二值图

图8 去除噪声斑点后二值图

将图8得出的最终检测结果在序列的第一幅图像中进行标记,如图9所示,可以看出在该VideoSAR时段内的7个运动目标都被正确检测出来。

图9 形态学处理后标记结果

6 结束语

本文提出一种基于图像处理技术的Video-SAR动目标检测方法。先进行背景补偿,利用SIFT+RANSAC算法对VideoSAR图像序列进行配准,使得图像序列的背景保持一致。背景补偿后,使用稳定性较好的单高斯来统计背景模型,并进行背景差分,检测图像序列中变化的阴影。最后引入形态学处理以及连通域标记算法来进一步去除边界和噪声,最终实现运动目标的检测。本文提出的算法能够正确检测出运动目标,为接下来运动目标轨迹跟踪奠定基础。

[1]WELLS L,SORENSEN K,DOERRY A,et al.Developments in SAR and IFSAR Systems and Technologies at Sandia National Laboratories[C]∥IEEE Aerospace Conference,Big Sky,Montana:IEEE,2003: 1085-1095.

[2]MILLER J,BISHOP E,DOERRY A.An Application of Backprojection for Video SAR Image Formation Exploiting a Subaperature Circular Shift Register [C]∥SPIE Conference on Algorithms for Synthetic Aperture Radar Imagery,Bellingham,WA:SPIE, 2013:1-14.

[3]LINNEHAN R,MILLER J,BISHOP E,et al.An Autofocus Technique for Video-SAR[C]∥SPIE Conference on Algorithms for Synthetic Aperture Radar Imagery,Bellingham,WA:SPIE,2013:1-10.

[4]DAMINI A,MANTLE V,DAVIDSON G.A New Approach to Coherent Change Detection in VideoSAR Imagery Using Stack Averaged Coherence[C]∥IEEE Radar Conference,Ottawa,ON:IEEE,2013:1-5.

[5]宋晓燊,禹卫东.条带式VideoSAR参数依赖关系的推导及应用[J].中国科学院大学学报,2016,33(1): 121-127.

[6]RAYNAL A M,BICKEL D L,DOERRY A W.Stationary and Moving Target Shadow Characteristics in Synthetic Aperture Radar[C]∥SPIE Conference on Radar Sensor Technology,Bellingham,WA:SPIE, 2014:1-15.

[7]史洪印,侯志涛,郭秀花,等.基于阴影检测的单幅高分辨SAR图像动目标检测方法[J].信号处理,2012, 28(12):1706-1713.

[8]于晓涵,周伟,关键.基于特征融合的雷达视频运动目标检测[J].雷达科学与技术,2015,13(6):633-638. YU Xiaohan,ZHOU Wei,GUAN Jian.Moving Target Detection in Radar Video Based on Feature Fusion [J].Radar Science and Technology,2015,13(6): 633-638.(in Chinese)

[9]JAHANGIR M.Moving Target Detection for Synthetic Aperture Radar via Shadow Detection[C]∥IET International Conference on Radar Systems,Edinburgh,UK:IET,2007:183-188.

[10]余先川,吕中华,胡丹.遥感图像配准技术综述[J].光学精密工程,2013,21(11):2960-2972.

[11]LOWE D G.Distinctive Image Features from Scale-Invariant Keypoints[J].International Journal of Computer Vision,2004,60(2):91-110.

[12]FISCHLER M A,BOLLES R C.Random Sample Consensus:A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography[J].Communications of the ACM,1981,24 (6):381-395.

[13]WREN C R,AZARBAYEJANI A,DARRELL T, et al.Pfinder:Real-Time Tracking of the Human Body[J].IEEE Trans on Pattern Analysis and Machine Intelligence,1997,19(7):780-785.