徐 颖,周 焰
(1.空军预警学院, 湖北 武汉 430019)
合成孔径雷达(SAR)是一种全天时、全天候的高分辨率微波遥感成像雷达,SAR成像弥补了红外成像、可见光成像的缺陷,是天基侦查监视系统中不可缺少的重要的探测技术。SAR图像配准是不同的SAR图像之间融合的基础,也是SAR图像变化检测,提取感兴趣目标的基础,具有重要的研究意义和广泛的应用前景。前人针对遥感图像的配准方法已经进行了综述[1-3],但尚无专门针对SAR图像配准进行综述的文献。为此,本文在分析SAR图像配准难点的基础上,将近年来的SAR图像配准方法进行了分类总结,比较各类方法的优缺点,指出目前SAR图像配准存在的问题,并展望了该领域的发展趋势。
SAR图像属于斜距投影的相干成像,因此在成像机理、辐射特性及几何特性上与可见光图像有很大差异[4]。虽然SAR图像配准技术与光学遥感图像配准技术在理论上有很大的相似性和可借鉴性,但与传统光学图像相比,SAR图像更难实现精确的配准,其主要原因为:
1)由于微波成像时照射角度、照射时间不同和照射场景中地物的变化等原因,导致SAR对相同场景的探测图像的纹理和灰度的不同;
2)相干成像系统不可避免地存在相干斑噪声对图像的精细结构、可分辨性和可理解性的破坏;
3)由于不同波段的SAR穿透能力不同,形成的图像对同一场景的描述会有不同的体现[5]。
由于SAR图像与光学遥感图像从成像机理到图像灰度分布特点都具有较大差异,因此传统配准方法对SAR图像,特别是高分辨率的SAR图像难以取得满意效果。在我国,SAR图像配准技术研究刚刚起步;在国外,SAR图像配准的进展也不尽人意。
近年来,各国科研工作者提出了很多SAR图像配准方法。SAR图像配准方法通常根据有无人工干预、图像类型、选用的配准因素等进行分类。按照有无人工干预,SAR图像配准可以分为人工方法、半自动方法和自动方法;按照使用的图像类型的不同,SAR图像配准可以分为相同时相不同场景的SAR图像配准和不同时相不同场景的SAR图像配准;按照选用的配准因素的不同,SAR图像配准可以分为基于灰度的配准方法、基于变换域的配准方法和基于特征的配准方法[6]。本文将有无人工干预和选用的配准因素结合起来对现有的SAR图像配准方法进行分类,如图1所示。
图1 SAR图像配准方法分类图
人工SAR配准主要是指参考SAR图像和待配准SAR图像中的控制点由人工选取。人工配准的不足是需要耗费大量的时间和人力。同时,人的主观因素、视觉误差等都会对配准结果带来不可预测的错误。其最大特点是对配准的2幅图像质量要求不高,特别是在异源SAR图像配准中,手工配准比自动配准效果更好。半自动SAR配准是指引入计算机技术来代替人完成配准过程中的一些重复性工作,减轻人的工作量,辅助人工进行图像配准,这种配准方式是目前工程实践上的通用方法,具有较强的实用性和可靠性。自动SAR配准就是在整个配准过程中完全依靠计算机实现图像的配准。这种方式实时性强、准确度高,但要求算法具有很强的抗干扰能力和鲁棒性。目前,自动SAR配准技术和方法还停留在理论研究层面,很难在工程上实现,它是SAR图像配准的最终发展方向。依据所提取的特征信息的不同,自动SAR配准方法可分为3大类:基于灰度的配准方法、基于变换域的配准方法和基于特征的配准方法。
基于灰度的配准算法一般是利用2幅SAR图像的灰度统计信息作为相似性的衡量标准,优点是简单易行,缺点是对噪声敏感、当目标发生形变、旋转、尺寸变换时容易导致算法失败,且计算量过大,特别是随着SAR图像分辨率的快速提高,如果不进行算法优化不能满足实时性的要求。基于灰度的方法研究起步较早,主要可以分为直接利用灰度法、互信息法、对齐度法3大类。
2.1.1 直接利用灰度信息法
由于SAR图像是相干成像,不可避免地存在相干斑噪声,这种噪声随机分布对SAR图像的灰度影响较大,因此,直接利用灰度信息的配准方法对SAR图像配准的效果并不好,一般仅用于对SAR图像进行初始的粗配准[7]。
2.1.2 互信息法
利用互信息进行配准,是目前遥感图像基于灰度的配准方法中的主流。具体应用到SAR图像,需要克服由相干斑噪声造成的插值假象的问题。文献[8]、文献[9]都是先对SAR图像进行降噪处理,之后利用互信息的方法分别实现了SAR图像之间的匹配以及SAR和SPOT图像的匹配,均未考虑图像的先验信息。文献[10]考虑了SAR能量图像服从Gamma分布这一先验信息,建立二元Gamma分布模型计算互信息,提高了配准精度。由于SAR图像常常反映的是所接收地物回波的幅值情况,且同质区域服从Rayleigh分布,文献[11]基于此提出二元Rayleigh互信息配准方法,配准了同源单视的SAR图像,配准效果优于文献[8]~文献[10]的方法。
此算法缺点在于:计算量较大,为了满足算法的实时性需要考虑优化算法;要求配准图像间存在较大的重叠区域,不适用于重叠较少的条带状机载SAR图像。
2.1.3 对齐度法
考虑到基于灰度的方法对噪声较敏感这一缺陷,选用对图像中的噪声有很强容忍性的对齐度准则进行多模图像的配准。将图像配准问题归结为对齐度的最大化,成为全局参数优化问题。文献[12]应用多分辨率方法的Powell方向族搜索法来最大化对齐度,自动处理了多模图像的配准问题。
该方法的局限性在于要求图像特征区域是规则的矩形区域,因此在利用对齐度准则配准SAR图像时需要结合边缘特征共同使用来减少计算复杂度。
由于基于灰度的方法存在对噪声敏感,计算量大,无法独立满足高分辨率SAR图像实时配准的要求。人们发展了基于变换域的配准方法,目前主要分为基于傅立叶变换和基于小波变换2大类。
2.2.1 基于傅立叶变换的方法
基于傅立叶变换的配准方法目前是变换域配准的主要方法,具有对图像灰度依赖小,受几何失真影响小的优点[13,14]。该方法便于硬件实现并有快速算法,对于图像配准的工程应用非常有用。
文献[15]将相位相关方法用于干涉SAR图像的匹配,取得了良好的效果。文献[16]针对SAR图像经傅立叶变换后,对数极坐标图像在尺度方向上灰度不稳定,不利于估计尺度和旋转量的缺点,提出了基于尺度预估的SAR图像相位相关配准算法。文献[17]综合利用频域相关、线性调频Z变换和傅立叶变换有效降低了配准算法的运算量。文献[18]提出一种改进的相位相关配准方法,将其应用于存在缩放、旋转和平移变换的SAR 图像配准中,取得了较好的效果。
傅立叶变换类的方法计算时间小,工程容易实现,但对纹理丰富、灰度分布复杂、存在尺度变化大、旋转角度大的不同波段不同极化的SAR图像配准而言,配准精度难以保证。
2.2.2 基于小波变换的方法
由于傅立叶变换在SAR图像配准上的局限性,人们利用小波分解的办法为SAR配准提供了一种从粗到精的思路[19]。文献[20]~文献[22]将SAR图像进行小波分解,然后在各层提取轮廓特征或点特征进行配准,避免了噪声干扰,提高了配准精度。此类方法为SAR图像的匹配提供了新思路,但需要选择合适的小波进行分解,使分解后的子图像具有平移和旋转不变性。
基于特征的方法是目前遥感图像配准领域的主流方法,它不受灰度变化的影响,通过提取2幅图像中稳定且共有的结构特征来进行匹配,更适用于SAR 图像的配准。
2.3.1 基于点特征的方法
点特征是图像配准中最常用的图像特征。目前被广泛应用的主流点特征提取方法有:Harris算子[23]、SIFT算子[24,25]、快速SIFT提取算子[26,27]、PCA-SIFT算子[28]、ICA-SIFT算子[29]和SURF算子[30]等。
上述方法对光学遥感图像配准精度较高,但直接应用于SAR图像配准时易受相干斑的影响,配准精度低。同时,由于描述子不具有仿射不变性,不适用于有复杂几何变化的SAR图像配准。
鉴于此,国内的学者们根据SAR图像的特性,结合上述描述子算法,在SAR图像配准领域进行了很多有益的探索。付琨等将Harris算法应用在SAR 图像配准中[31],先手动粗配准解决图像的旋转和尺度不一致,再用Harris 算法对图像精配。刘秀芳等将SIFT算法用于多时相SAR图像的特征提取和自动匹配[32],图像特征点的自动匹配有效率达到70%以上。张建勋等利用PCA-SIFT提取特征点后,利用马氏距离完成特征匹配,用RANSAC算法消除误匹配,实现了SAR 图像的自动配准[33]。文献[22]提出一种基于仿射不变快速核独立成分分析-尺度不变特征变换(FKICA-SIFT)的多尺度配准方法,解决了有较大仿射变化的SAR图像配准问题。在进行点特征匹配时,基于相似三角形的算法[34-36]简单准确,配准效果好。文献[34]通过角度判断相似三角形,计算简单且可阻止病态三角形影响配准结果,提高了配准精度和运算速度。
点特征易于提取、使用方便,但SAR图像中由于相干斑的影响会提取出大量的点特征,如何选择较好的点特征,降低算法复杂度,避免误匹配,提高算法的稳健性是人们关注的重点
2.3.2 基于线特征的方法
线特征比点特征的稳健性高。常用的边缘检测算子如Canny、LoG、Sobel或Hough变换等都可以用于提取图像线特征[37,38]。其中,Canny算子对噪声有一定的抑制作用,提取的边缘方向信息准确,运算量适中,但是针对的是加性高斯噪声模型,而SAR图像的相干斑是乘性噪声模型,因此在SAR图像中直接使用Canny算子提取线特征会出现断裂现象[39],检测效果不好。Touzi等提出的Ratio算子在乘性噪声模型中具有恒虚警的特性[40],然而Ratio算子只能提供大致的边缘方向,不能直接用于直线提取中的边缘检测。
文献[41]组合运用了Canny算子和Ratio算子得到初始直线图,通过高层编组方法连接由噪声引起的直线缺损,在SAR图像上取得了满意的效果。针对SAR图像中提取的直线基元容易断裂导致基元数目增加的缺点,文献[42]提出一种基于像素编组和曲线拟合的线特征提取方法,以曲线基元取代直线基元、以曲线拟合取代端点连接,提高了处理效率。
使用线特征配准SAR图像,在特征提取上主要应避免相干斑干扰造成的特征断裂,虚假边缘多的情况,在特征匹配上可以考虑利用提取边缘的灰度信息综合实现匹配。
2.3.3 基于区域特征的方法
常用的区域边缘检测方法有:LoG边缘提取算子、拉普拉斯-高斯算子、动态阈值技术和区域增长等。文献[43]采用LoG算子提取封闭区域的方法实现了SAR图像的自动匹配。文献[44]提出一种基于分割区域的SAR图像配准方法,可实现由粗到精的图像配准,且参数运算复杂度大大降低。
对于SAR图像配准而言,相干斑噪声的影响会造成SAR图像中的边缘模糊,致使封闭区域、边缘特征的提取困难。为解决这一问题,文献[21]、文献[22]提出了一种基于小波域的多尺度配准方法,在小波分解后的子图像上提取边缘特征,在降低斑点噪声干扰的同时又保留了边缘信息。
由于区域分割技术目前发展得比较成熟,因此此类方法在处理SAR图像配准时较为常用,但随着高分辨率SAR图像的发展,区域特征的提取耗时变长,难以满足配准实时性的要求。同时,利用区域特征匹配时如何选择合适的匹配控制点计算变换模型也是需要考虑的问题。
综合考虑SAR图像自身的特点,结合多种方法的特性,可以采用综合的配准方法。文献[45]以特征匹配为基础,灰度匹配作为一种修正方法,取得了较好的配准效果。文献[46]综合利用Freeman链码、相位一致性和归一化互相关相似性度量准则完成图像由粗到精的匹配。此外,也有学者提出采用数字高程模型信息来实现SAR图像配准[47,48]。
由于SAR图像具有背景复杂、相干斑噪声干扰大等特点,现有算法在自动化程度、配准速度、普适性、稳健性以及配准精度等方面存在诸多问题有待解决。未来的发展趋势应主要考虑多波段SAR图像配准技术和大失配条件下SAR图像配准技术。在算法性能上快速、自动、高精度的配准方法仍是研究的重点。
SAR图像配准在SAR图像处理研究领域具有不可替代的地位。随着SAR图像成像技术的发展、雷达回波散射机理研究的深入、信号处理技术的进步以及数学理论的推陈出新,必将给SAR图像配准带来新的解决途径。
[1]Brown L G. A Survey of Image Registration Techniques[J].ACM Computing Surveys, 1992, 24(4):326-376
[2]Barbara Zitova, Jan Flusser. Image Registration Methods: A Survey[J]. Image and Vision Computing,2003, 21:977-1 000
[3]汪汉云, 王程, 李鹏,等. 多源遥感图像配准技术综述[J].计算机工程, 2011, 31(19): 17-21, 25
[4]张红,王超,张波,等.高分辨率SAR图像目标识别[M]. 北京:科学出版社,2009
[5]冯卫平.多波段多极化SAR图像配准技术研究[D]. 杭州:电子科技大学,2009
[6]刘苏钱.基于特征的SAR图像自动配准方法研究[D].长沙:国防科技大学,2007
[7]邓鹏,王宏琦. 结合边缘与灰度信息的SAR图像配准算法[J].遥感技术与应用,2003,18(3):159-164
[8]Xie H, Pierce L E, Ulaby F.T. Mutual Information Based Registration of SAR Images[C].International Geosciences and Remote Sensing Symposium, Sponsored by IEEE, Toulouse France, 2003:4 028-4 031
[9]Shu Lixia, Tan Tieniu. SAR and SPOT Image Registration Based on Mutual Information with Contrast Measure[C].ICIP,2007: 429-432
[10]Chatelain F, Tourneret J Y, Inglada J, et al. Bivariate Gamma Distributions for Image Registration and Change Detection[J].IEEE Transactions on Image Processing,2007,16(7):1 796-1 806
[11]肖星,田铮,冷成财. SAR图像配准的二元Rayleigh分布互信息方法[J]. 工程数学学报, 2011, 28 (2): 157-164
[12]王东峰. 多模态和大型图像配准技术研究[D]. 北京:中国科学院电子学研究所,2002
[13]Reddy B S, Chatterji B N. An FFT-based Technique for Translation, Rotation and Scale-invariant Image Registration[J].IEEE Transactions on Image Processing, 1996, 5(8): 1 266-1 271
[14]Stone H S, Wolpov R. Blind Cross-spectral Image Registration Using Prefiltering and Fourier-based Translation Detection [J].IEEE Trans Geo science and Remote Sensing, 2002, 40(3): 637-650
[15]Abdelfattaha R, Nicolas J M, Tupin F. Interferometric SAR Image Coregistration Based on the Fourier-Mellin Invariant Descriptor[C].International Geoscience and Remote Sensing Symposium (IGARSS), 2002:1 334-1 336
[16]林岳松, 冯卫平, 陈华杰. 基于尺度预估的SAR图像相位相关配准算法[J]. 现代雷达,2010,32(7):39-43
[17]崔岑,赵淑清,张剑奇. 一种改进的频域相关法复图像快速配准[J].测绘科学技术学报,2011,17(3):36-39
[18]辛登松, 彭建雄. SAR图像的改进相位相关配准方法[J]. 计算机与数字工程,2011,39(8): 126-128
[19]Kumar S, Arya K V, Rishiwal V, et al. Robust Image Registration Technique for SAR Images [C].First International Conference on Industrial and Information Systems. Piscataway,NJ , USA: IEEE, 2006
[20]李昱川, 田铮,刘向增,等. SAR图像多尺度配准的小波域最小割模型方法[J].电子学报,2010, 38 (9):2 122-2 127
[21]李婧, 田铮. SAR图像多尺度配准的小波域等周割方法[J].计算机仿真,2011,28(1):246-249
[22]刘向增,田铮,史振广,等. 基于FKICA-SIFT特征的合成孔径图像多尺度配准[J]. 光学精密工程, 2011, 19(9): 2 186-2 196[23]Harris C, Stephens M. A Combined Corner and Edge Detector[C].In Proceedings of the Alvey Vision Conference,1988[24]Lindeberg T. Feature Detection with Automatic Scale Selection[C]. IJCV 30(2) (1998):79-116
[25]Lowe D. Distinctive Image Features from Scale-invariant Keypoints[J].Computer Vision,2004,2(60):91-110
[26]Michael Grabner, Helmut Grabner. Fast Approximated SIFT[C].ACCV 2006:918-927
[27]Herbert Bay, Tinne Tuytelaars. SURF: Speeded Up Robust Features[C].ECCV,2006
[28]Ke Y, Sukthankar. PCA-SIFT: A More Distinctive Representation for Local Image Descriptors[C]. Proceedings of International Conference Pattern Recognition, Washington,USA, 2004
[29]Duan C, Meng X. How to Make Local Image Features More Efficient and Distinctive [J]. IET Computer Vision, 2008, 2:178-189
[30]Bay H, Ess A. Speeded-up Robust Features (SURF) [J].Computer Vision and Image Understanding, 2008, 110: 346-359
[31]付琨, 尤红建, 胡岩峰. 多时相星载SAR图像精配准技术研究[J]. 遥感技术与应用,2007,10(5):637-641
[32]刘秀芳, 尤红建. 基于SIF的多时相星载SAR图像特征点自动匹配[J]. 测绘科学,2009,34(1):43-45
[33]张建勋,张凯文,牛文宾. 基于PCA-SIFT和马氏距离的SAR图像自动配准[J]. 重庆理工大学学报:自然科学版,2011,25(10):40-45
[34]钱为.基于角点特征的图像配准技术研究[D].成都:电子科技大学,2009
[35]吕金建,文贡坚,李德仁.一种基于虚拟三角形的图像自动配准方法[J].信号处理,2008,24(5):737-741
[36]王燕,高鑫,徐静. 合成孔径雷达图像自动配准算法研究[J].计算机测量与控制,2011, 19(11): 2 726-2 729
[37]Dai X, Khorram S. A Feature-based Image Registration Algorithm Using Improved Chain-code Representation Combined with Invariant Moments [J]. IEEE Trans, Geo Science and Remote Sensing, 1999, 37(5): 2 351-2 362
[38]Hie Q L,Gautama S, Philips W. Automatic Registration of SAR Images[J]. IEEE International Geoscience and Remote Sensing Symposium, 2004 (6):3 864-3 867
[39]Bovik A C.On Detecting Edges in Speckle Imagery[J].IEEE Trans, Acoust Speech Signal Processing(S0096-3518),1988,36(10):1 618-1 627
[40]Touzi R, Lopes A, Bousquet P. A Statistical and Geometrical Edge Deteetor for SAR Images[J]. IEEE Trans on Geoscience and Remote Sensing,1988,26(6):764-773
[41]王程,王润生. SAR图像直线提取[J]. 电子学报, 2003,31(6):816-820
[42]陈思, 杨健, 宋小全. 基于编组拟合的合成孔径雷达图像线特征提取[J]. 清华大学学报:自然科学版,2011,51(2):166-171[43]黄勇,王建国,黄顺吉.一种SAR图像的自动匹配算法及实现[J].电子与信息学报,2006,27(1):6-9
[44]张宝尚, 田铮, 延伟东. 基于分割区域的SAR图像配准方法研究[J]. 工程数学学报, 2011,28(1):7-14
[45]Yu X, Sun H, Cao Y F. SAR Image Registration Combing Watershed Segmentation and Mutual Information[J]. IS for optical Engineering , 2005:64-68
[46]于盈,程咏梅,潘泉,等. 一种异源图像多级配准算法[J].计算机仿真,2011,28(9):256-259
[47]郭交,李真芳,刘艳阳,等. 基于粗数字高程模型信息的干涉相位图生成方法[J]. 电子与信息学报,2010,32(11):2 642-2 647
[48]王通,郭东华,梁飞,等. 基于机载InSAR生成DEM技术研究试验[J]. 微计算机信息,2012,28(3):158-160