苏 娟 李 彬 王延钊
一种基于封闭均匀区域的SAR图像配准方法
苏 娟*李 彬 王延钊
(火箭军工程大学 西安 710025)
为克服图像间灰度差异、旋转差异和尺度差异对SAR图像配准精度的影响,该文利用均匀区域在SAR图像中的灰度统计特性,提出一种基于稳定封闭均匀区域的SAR图像配准算法。首先基于多尺度非线性扩散理论,提取得到轮廓保持性较好的封闭均匀区域;然后构建具有仿射不变性的区域特征,采取基于多边形拟合的区域粗匹配方法和基于重合度的区域精匹配方法,实现由粗至精的区域匹配;最后用匹配区域的质心点构建图像变换模型。实验结果表明,该算法配准精度高,能有效克服待配准图像之间的灰度差异、旋转差异和尺度差异,对噪声具有较好的适应性。
SAR图像配准;封闭均匀区域;多尺度非线性扩散;仿射不变性
图像配准是寻找两幅或多幅图像之间的变换关系,纠正参考图像和待配准图像之间的几何畸变,是图像融合和变化检测等图像处理的前提与基础[1]。参考图像和待配准图像可能成像于不同时相和不同传感器,因此存在旋转差异、尺度差异和灰度差异等。
基于特征的图像配准方法是图像配准的主流方法。该类方法通过提取和匹配图像的显著特征,如轮廓、角点、区域等,构建图像配准所需的同名点。以SIFT为代表的特征点匹配方法在图像配准方面得到了广泛的应用。对于SAR图像配准,特征点提取易受SAR图像固有的相干斑噪声影响,例如SAR图像中的亮斑可能被误检测为特征点,而真正的特征点却湮没在相干斑噪声中。因此,针对SAR图像配准问题,学者对特征点匹配方法进行了诸多改进,也对SAR图像中的稳定鲁棒特征进行了探讨[9,10]。文献[4]针对SAR图像,在多尺度Harris空间提出了一种SAR-SIFT特征,以SAR边缘检测性能较好的ROEWA算子对梯度方向进行改进,用于提取特征点主方向和构建特征描述子,能够在一定程度上削弱相干斑噪声对特征点检测和描述的影响。
封闭均匀区域是SAR图像中的一类稳定特征。由于目标的后向散射强度受目标表面粗糙度与雷达波长的相对关系的影响,场景中水体、机场跑道、水泥地面等表面比较光滑的地物容易发生镜面反射,在SAR图像中表现为灰度均匀、形状闭合的暗色区域,在不同波段、不同时相的SAR图像上具有一定的稳定性,因此成为SAR图像配准的常用特征。
文献[10]提出一种基于活动轮廓模型的封闭均匀区域提取算法,并基于几何哈希理论实现区域轮廓特征点的匹配。文献[11]是区域轮廓匹配方面的经典文献,通过采用LoG算子检测边缘获得区域轮廓,采用不变矩和链码实现封闭轮廓的匹配,根据匹配后的闭轮廓质心来估计配准参数,但该算法是针对可见光图像提出的,区域轮廓检测精度受边缘检测影响较大。文献[12]通过边缘检测与多边形拟合获得图像的主轮廓,采用链码特征对主轮廓进行匹配,因此边缘检测算法和轮廓上特征点的选择对配准精度影响较大。文献[13]采用阈值分割与聚类分析的方法获取区域,采用椭圆傅里叶描述子对区域进行描述与匹配,图像之间的变换模型参数通过特征搜索匹配获得,因此匹配效率和准确率受到影响。
分析可知,基于区域特征的SAR图像配准大多在提取区域的基础上,通过对区域轮廓构建特征描述子实现区域的匹配,然后利用区域特征点构建图像变换模型。当两幅SAR图像成像于不同波段或不同极化方式时,图像之间的灰度特性差异非常明显,并且图像受相干斑噪声影响的程度也各不相同。因此,如何提取稳定的区域轮廓,以及构建对图像之间的旋转差异和尺度差异具有鲁棒性的特征描述子,对SAR图像配准具有重要的意义。
针对以上问题,本文提出了一种基于封闭区域特征的SAR图像配准算法。在特征提取方面,基于多尺度非线性扩散理论和封闭均匀区域的优化条件,从两幅SAR图像中分别提取得到轮廓保持性较好的封闭均匀区域。在特征匹配方面,基于旋转不变性和尺度不变性的考虑,对封闭均匀区域构建多边形拟合特征和区域重合度特征,由粗至精地实现区域的匹配,匹配区域的质心即可用于构建SAR图像配准所需的变换模型。
如图1所示,本文提出的基于封闭均匀区域的SAR图像配准算法主要包括以下3个步骤:封闭均匀区域提取,基于多边形拟合的区域粗匹配和基于重合度的区域精匹配。
图1 算法的总体框图
2.1 封闭均匀区域提取
均匀区域在SAR图像上表现为同质纹理区域,与区域外部的纹理具有明显的差异,因此通常具有明显的闭合轮廓。为便于提取并构建匹配点对,具有良好闭合度的封闭均匀区域在匹配中具有较好的应用价值。
2.1.1 基于多尺度非线性扩散滤波的均匀区域初提取 如果对SAR图像进行平滑处理,由于均匀区域内的像元灰度值标准差较小,平滑处理对其影响不大,处理前后标准差变化不明显;而非均匀区域内的像元灰度值标准差较大,平滑处理前后标准差将出现较大差异。因此可通过对平滑前后SAR图像进行差值化和阈值化实现SAR图像中的均匀区域提取。
多尺度高斯函数可以实现对原始SAR图像的平滑处理。通过改变平滑因子(即高斯分布的标准差)可以生成多张不同尺度的高斯平滑图像,通过对不同尺度的平滑图像进行差值处理,可以提取出SAR图像中的均匀区域。但是,高斯平滑在滤除噪声的同时,会使图像边缘和地物轮廓发生模糊,降低均匀区域边界的保持能力,给后续基于边界的区域特征描述带来影响。
针对以上问题,本文用保边缘的非线性扩散函数取代高斯函数,对原始SAR图像进行多尺度滤波,生成多尺度的滤波图像。非线性各向异性扩散模型(简称PM模型)如式(1)所示[14]。
(2)
2.1.2 均匀区域的优化筛选 为构建稳定的区域特征描述,本文算法要求特征区域满足以下条件:(1)特征区域在场景中应具有完整性;(2)特征区域应具有比较平滑的边界。在初步获取的均匀区域中,本节按照上述条件要求,进行均匀区域的自动优化筛选。
首先,为满足区域的完整性,区域的边界应完全包含在场景中,本文通过判断区域边界是否在图像中形成闭合回路实现对区域的选取。
其次,为保证区域边界的平滑性,本文利用区域轮廓曲率的稳定性[15]对均匀区域做了筛选。具体步骤如下:
步骤1 提取区域边缘,得到二值边缘图;
步骤2 计算边缘轮廓上每个边缘点的曲率k;
采用以上方法,可以去除边界杂乱无规则的区域,使得保留下来的均匀区域具有完整而平滑的边界,便于构建稳定的轮廓特征描述。
当特征区域外边界所包含范围内存在区域边界,即区域内部存在面积较大的“空洞”时,就会形成区域嵌套,即内部区域,例如机场跑道的内部区域。这些内部区域的存在破坏了区域的空间完整性,不利于后续的配准工作。但是,这些内部区域如果满足上述关于边界完整性核平滑性的条件,同样也可以作为图像配准所需的特征区域。基于此,当发生区域嵌套时,本文将符合上述条件和面积阈值的内部区域提取出来作为新的特征区域。以机场为例,机场跑道是比较均匀的区域,但跑道内部存在部分非均匀的内部区域,这些内部区域满足上述两个条件,属于轮廓特征比较稳定的区域,本文将这些内部区域提取出来作为机场目标的封闭均匀区域。采用以上方法可以增加用于匹配的区域对数量,提高区域匹配的准确性和可靠性。
图2给出了对一幅SAR图像进行均匀区域提取的结果,其中图2(b)为初步提取得到的均匀区域,其中存在嵌套的内部区域,图2(c)表示最终得到的封闭均匀区域。可以看出,原始SAR图像中主要的封闭均匀区域都被有效地提取出来了,且边缘轮廓信息与原始图像对应良好。特别地,机场跑道内部的轮廓稳定区域也被提取出来作为特征区域,参与后续的区域特征描述与匹配。
图2 封闭均匀区域提取
2.2 基于多边形拟合的区域粗匹配
在封闭均匀区域提取的基础上,本节通过对区域进行特征描述和匹配,实现区域的粗匹配。
2.2.1 多边形拟合 多边形拟合问题就是研究如何采用极少量的点作为多边形的顶点,以这个多边形来逼近原始的目标物体的数字轮廓曲线,减少用于表达曲线的数据量,去除冗余像素点。均匀区域提取完成以后,可以从封闭轮廓中提取有效点集,通过某种相似性度量衡量点集之间的匹配程度,实现均匀区域之间的匹配。
为了使拟合多边形和原始区域轮廓更加相似和稳定,本文采用相邻顶点等间隔的方法提取多边形顶点。为了保证同名区域在两幅图像中的旋转不变性,采用相同的多边形顶点数,选取离质心最远的点作为第1个顶点,并沿着逆时针的方向记录顶点坐标。如图3所示,其中左图为提取得到的封闭区域,右图为拟合的多边形各顶点,实心圆点为起始点,区域内部三角点为区域质心点。
2.2.2 特征描述及相似性度量 两个形状相似的多边形应具有以下特点:两个多边形的对应边长成比例,且对应角相等。根据相似性性质可知,对应边长成比例,可转化为质心到对应顶点的距离()成比例;对应角相等,可转化为质心与相邻两顶点所成的两边的夹角()相等,如图4所示,其中为拟合多边形中顶点的序号。
图3 区域的多边形拟合
图4 多边形的特征描述
按逆时针顺序提取多边形每条边的特征,可得到一串指定边长数的多边形特征字符串:
(4)
为了保证同名区域在两幅图像中的尺度不变性,本文对上述特征字符串进行归一化处理,得到最终的多边形特征描述:
采用以上方法,对从参考图像和待配准图像中提取得到的各个封闭均匀区域进行特征描述,并采用欧氏距离进行相似性度量,经过双向最优选择与距离阈值化处理,得到粗匹配的特征区域。
在离质心最远的点同时存在两个或更多个的情况下,本文的做法是,拟合多个起始点不同的多边形,同时参与特征区域的粗匹配。由于每个多边形的起始点不同,其相应的特征描述也不同。进行相似性度量的时候,当某个多边形与另一幅图像中的某个多边形具有最大相似性度量时,即可在找到配对区域的同时,准确地找到了多边形拟合的起始点。
图5给出了一个区域匹配实例,其中待配准图像为图2(a)所示的SAR图像,与参考图像来自不同波段,成像于不同时间,两幅图像之间存在旋转差异和尺度差异。可以看出,经过以上流程处理后,两幅图像中大部分稳定的封闭均匀区域能实现正确匹配,但仍存在部分误匹配的区域对。
图5 基于多边形拟合的区域粗匹配
2.3 基于重合度的区域精匹配
区域的多边形拟合具有高效性和鲁棒性的特点,但会遗漏一些局部信息,导致部分区域出现误匹配。鉴于此,本节提出了基于重合度的区域精匹配方法,在采用多边形拟合配对得到粗匹配区域的基础上,对粗匹配区域对计算区域重合度,从而对粗匹配结果进行优化。
为了克服旋转差异和尺度差异对区域匹配的影响,在计算区域重合度之前,首先对区域进行方向和大小的归一化处理。为了使同名区域在方向上保持一致,本文首先找到离质心最远的点,将质心到此最远点的方向作为轴正方向,然后将均匀区域变换到新坐标系下。如图6所示,-为原坐标系,1-1为新坐标系。
对图5所示的区域粗匹配结果进行基于区域重合度的区域精匹配,结果如图7所示。可以看出,经过精匹配处理以后,正确的匹配区域对得到了有效地保留,而误匹配对则得到了剔除。
图7 基于重合度的区域精匹配
2.4 基于区域质心构建变换模型
对于图像配准而言,图像中封闭区域质心是一个稳健的匹配特征点,在区域匹配的基础上,本文利用区域的质心进行两幅图像的配准。将最终保留得到的匹配区域对的质心点作为控制点对,构建参考图像和待配准图像之间的变换模型(如仿射变换模型),计算模型参数,即可实现两幅图像之间的自动配准。
采用本文算法对多组包含封闭均匀区域的SAR图像进行了配准实验,均取得了较好的效果。为验证本文算法对尺度差异、旋转差异和灰度差异的有效性,本节将本文算法分别与文献[4]提出的SAR- SIFT算法和文献[10]提出的区域配准算法进行了对比试验。
3.1 与SAR-SIFT算法的比较
本实验中测试数据为一组实测机载高分辨率SAR图像,如图8所示,参考图像和待配准图像由不同波段SAR传感器在不同时间获取,地表地物存在明显变化,目视可知,两图存在较大的灰度差异、尺度差异和旋转差异,场景中对应的均匀区域的边界也存在不同程度的差异。
图8 实验1测试图像
为测试本文算法对灰度差异、尺度差异和旋转差异的鲁棒性,本节首先由参考图像模拟生成具有各种图像差异的待配准图像,分别采用本文算法和SAR-SIFT算法进行参考图像与待配准图像的配准实验,考察两种图像特征在不同变换情况下的重复率以及两种特征描述子对不同图像变换的不变性。由于提取得到的区域个数和SAR-SIFT关键点个数不同,为了比较方便,本节采用变换前后匹配点对的比率作为算法性能的衡量指标,即用没有经过变换的匹配点对数目作为分母,不同变换条件下的匹配点对数目作为分子,相当于对匹配点对数目进行归一化。
可以看出,在两幅图像存在旋转差异、尺度差异和灰度差异的情况下,本文算法能够获得的配准点对的比率始终高于SAR-SIFT算法,说明本文算法对上述差异具有较强的鲁棒性。与此同时,随着上述差异程度的增加,图像中能够获得的SAR- SIFT特征点数量和重复率都急剧下降。但是,必须说明的是,虽然上述差异情况下SAR-SIFT算法的配准点对的比率较低,但由于SAR-SIFT算法提取的关键点个数足够多,SAR-SIFT算法仍然能够找到足够的匹配区域,构建足够的匹配点对。
在真实SAR图像上进行的配准实验也验证了上述结论。图10给出了采用本文算法和SAR-SIFT算法对图8所示图像所得的配准结果,其中图10(a)为本文算法的配准结果,图10(b)为SAR-SIFT算法的配准结果。可以看出,由于两图成像于不同波段不同时相,两图之间除了上述差异以外,还存在地物目标的差异,SAR-SIFT算法获得了两对配准点对,而本文算法获得了6对匹配区域,充分说明了本文算法更能适应较大差异情况下的SAR图像配准。
图9 仿真差异下的配准实验
图10 匹配实验1
分析两种算法的原理可以发现,SAR-SIFT算法虽然是针对SAR图像而设计的,与SIFT算法相比,确实能够在特征点检测环节削弱相干斑噪声的影响,特征点检测的准确性高于SIFT算法,但SAR-SIFT算法采用基于ROEWA算子的梯度方向构建特征描述子,特征描述子受图像之间差异的影响较大,当两幅待配准图像因入射角、成像波段等原因导致图像差异较大时,SAR-SIFT算法很难找到准确的匹配点对,这一点在文献[4]中也有特别说明。本文提出的特征区域提取与描述算法受相干斑噪声和图像差异的影响较小,只要均匀区域在两幅图像上未发生明显变化,就能实现准确地提取与匹配。
3.2 与文献[10]区域配准算法的比较
测试数据中的参考图像为台北市郊的一幅RadarSat图像切片,分辨率为10 m。将原始参考图像进行仿射变换和加噪处理,生成具有旋转差异、尺度差异和灰度差异等综合差异的待配准图像,并将本文算法与文献[10]中基于活动轮廓模型和几何哈希理论的区域配准算法进行比较。数据仿真参数如下:旋转角度,尺度因子,斑点噪声均值为0,标准差为0.02,上述参数和实验数据与文献[10]完全一致。实验结果如图11所示,其中图11(b)为本文算法的配准结果,图11(c)为文献[10]算法的配准结果。可以看出,本文算法有9对区域匹配成功,文献[10]算法有4对区域匹配成功。
用匹配区域的质心计算仿射变换模型参数,在两幅待配准图像上人工选取了50对同名点,分别统计方向和方向的配准误差,结果如表1所示。可以看出,本例中得到的仿射变换模型参数与预设的仿真参数非常接近,方向和方向的配准误差均在1个像素以内,总体配准误差略优于文献[10]算法,表明本文算法具有较高的配准精度。
图11 匹配实验2
表1 模型参数与配准误差
旋转角X方向尺度Y方向尺度X方向配准误差(像素)Y方向配准误差(像素) 预设仿真值100.90.9 文献[10]算法实验值10.00380.89640.89681.331.04 本文算法实验值10.18490.89710.90040.890.80
由上述实验结果可知,当参考图像和待配准图像之间存在旋转差异、尺度差异和灰度差异,或者上述差异同时存在的情况下,本文算法能提取得到的匹配点对的个数和准确率明显高于文献[10]算法,对图像差异具有较好的鲁棒性。原因在于本文算法能根据SAR图像中封闭区域的灰度特性,提取出区域边界保持较好的封闭区域,在此基础上针对旋转差异和尺度差异构建鲁棒的归一化区域特征描述,从而提高区域匹配的准确率。
本文针对包含封闭均匀区域的SAR图像,提出了一种基于区域特征的由粗至精的SAR图像配准方法。为保证本文方法的灰度不变性,本文提出了基于多尺度非线性扩散滤波图像差值处理的均匀区域提取方法,提取得到的区域准确性高,轮廓保持能力好。为保证本文方法的旋转不变性和尺度不变性,本文在基于多边形拟合的区域粗匹配阶段和基于重合度的区域精匹配阶段,采取了方向归一化和尺度归一化等策略,降低了图像之间旋转差异和尺度差异对配准精度的影响。实验结果表明,本文方法能有效克服待配准图像之间的灰度差异、旋转差异和尺度差异,对复杂噪声环境具有较好的适应性,因此在SAR图像配准方面具有较好的应用前景。
但是,本文算法具有一定的适用范围,由于仿射变换至少需要3对控制点,待配准的SAR图像中必须具有一定数量的封闭区域。本文通过提取嵌套区域增加了封闭区域的个数,这些嵌套区域建立在均匀区域提取的基础上,但内部灰度值不一定具有均匀性。这为未来研究提供了新的思路,未来研究中将致力于提取更多封闭区域,使算法具有更好的适应性。
[1] ZITOVA B and FLUSSER J. Image registration methods: a survey[J]., 2003, (21): 977-1000.
[2] LOWE D G. Distinctive image features from scale-invariant key points[J]., 2004, (60): 91-110.
[3] LONG Tengfei, JIAO Weili, HE Guojin,. A generic framework for image rectification using multiple types of feature[J]., 2015, (102): 161-171. doi: 10.1016/j.isprsjprs.2015. 01.015.
[4] DELLINGER F, DELON J, GOUSSEAU Y,. SAR-SIFT: a SIFT-like algorithm for SAR images[J]., 2015, 53(1): 453-466. doi: 10.1109/TGRS.2014.2323552.
[5] LI Dapeng. A novel method for multi-angle SAR image matching[J]., 2015, 28(1): 240-249. doi: 10.1016/j.cja.2014.12.019.
[6] CHEN Tianze, CHEN Limin, and SU Yi. A SAR image registration method based on pixel migration of edge-point feature[J]., 2014, 11(5): 906-910. doi: 10.1109/LGRS. 2013.2281729.
[7] XU Chuan, SUI Haigang, LI Hongli,. An automatic optical and SAR image registration method with iterative level set segmentation and SIFT[J]., 2015, 36(15): 3997-4017. doi: 10.1080/ 01431161.2015.1070321.
[8] 苏娟, 林行刚, 刘代志. 一种基于结构特征边缘的多传感器图像配准方法[J]. 自动化学报, 2009, 35(3): 251-257. doi: 10. 3724/SP.J.1004.2009.00251.
SU Juan, LIN Xingang and LIU Daizhi. A multi-sensor image registration algorithm based on structure feature edges[J]., 2009, 35(3): 251-257. doi: 10.3724/ SP.J.1004.2009.00251.
[9] WANG Jinfeng, PI Yiming, and CAO Zongjie. Level set method for SAR image coregistration[J]., 2008, 5(4): 615-619. doi: 10.1109 /LGRS.2008.2000995.
[10] XIONG Boli, HE Zhiguo, HU Canbin,. A method of acquiring tie points based on closed regions in SAR images[C]. IEEE International Conference on Geoscience and Remote Sensing, Munich, Germany, 2012: 2121-2124.
[11] DAI Xiaolong and KHORRAM S. A feature-based image registration algorithm using improved chain-code representation combined with invariant moments[J]., 1999, 37(5): 2351-2362.
[12] 李振华, 江耿红, 徐胜男, 等. 基于轮廓多边形拟合的红外与可见光图像配准算法[J]. 系统工程与电子技术, 2015, 37(12): 2872-2878. doi: 10.3969/j.issn.1001-506X.2015.12.32.
LI Zhenhua, JIANG Genghong, XU Shengnan,. Image registration algorithm for infrared and visible images based on contour polygon fitting[J]., 2015, 37(12): 2872-2878. doi: 10.3969/j.issn. 1001-506X.2015.12.32.
[13] 刘哲, 杨健, 张丽. 基于椭圆傅里叶描述子的遥感图像配准算法[J]. 光电子激光, 2015, 26(2): 352-359. doi: 10.16136/j.joel. 2015.02.0566.
LIU Zhe, YANG Jiang, and ZHANG Li. Remote sensing image registration algorithm based on elliptic Fourier descriptor[J]., 2015, 26(2): 352-359. doi: 10.16136/j.joel.2015.02.0566.
[14] PERONA P and MALIK J. Scale space and edge detection using anisotropic diffusion[J]., 1990, 12(7): 629-639.
[15] HE X C and YUNG NHC. Curvature scale space corner detector with adaptive threshold and dynamic region of support[C]. IEEE International Conference on Pattern Recognition, Cambridge, UK, 2004: 791-794.
苏 娟: 女,1973年生,副教授,研究方向为遥感图像处理与模式识别.
李 彬: 男,1991年生,硕士生,研究生方向为SAR图像配准.
王延钊: 男,1993年生,硕士生,研究方向为SAR图像配准.
SAR Image Registration Algorithm Based on Closed Uniform Regions
SU Juan LI Bin WANG Yanzhao
(,710025,)
In order to overcome the influence of gray difference, rotation difference and scale difference on image registration accuracy, the gray statistic property of uniform regions in SAR images is utilized and a SAR image registration algorithm based on stable closed uniform regions is proposed. Firstly, based on the multi-scale nonlinear diffusion theory, closed uniform regions with good contour pervserving ability are respectively extracted from two images. Secondly, two affine-invariant region features based on polygon fitting and coincidence degree are constructed to realized the coarse-to-fine region matching. Finally, the centroids of matched regions are used to construct the transform model between two images. Experimental results demonstrate that, the proposed algorithm has high registration accuracy, and is effective for gray difference, rotation difference and scale difference, moreover, it has high adaptability to noise.
SARimage registration; Closed uniform regions; Multi-scale nonlinear diffusion; Affine-invariant
TP751
A
1009-5896(2016)12-3282-07
10.11999/JEIT160141
2016-01-29;改回日期:2016-10-28;
2016-11-16
苏娟 suj04@mails.tsinghua.edu.cn
国家自然科学基金(61302195)
The National Natural Science Foundation of China (61302195)