基于多模态特征的光-SAR 图像融合配准算法

江 晟

(中国科学院长春光学精密机械与物理研究所，长春130022)

0 引言

随着信息需求的不断提高，多源信息配准及融合技术受到广泛关注，特别是差异性明显且信息互补的可见光和合成孔径雷达(SAR:Synthetic Aperture Radar)图像，其配准与融合成为研究的热点［1，2］。相关研究人员从多方面进行了相应研究，如Thiele等［3］利用光-SAR对建筑物成像轮廓特征进行了配准融合，对基于轮廓特征的配准融合算法进行了深入研究;刘向增等［4］从像素级特征多尺度分类进行分析，增强了像素级特征配准的适应性;Abdikan等［5］利用谱分析法对SAR影像进行特征抽取并补充到多光谱影像中，Hong等［6］利用小波抽出将多光谱影像的色彩信息添加到SAR影像中取得了较好效果。Song等［7］和Lu等［8］利用SURF(Speeded Up Robust Features)特征对光-SAR融合进行了尝试，在某些特定条件下取得了一定的配准融合效果。

上述研究虽然取得了较好的成果，但由于光-SAR成像机制存在较大差异，使目前的配准及融合仍存在以下一些问题:1)信号级融合在同源融合中取得了很好的成果，而对于异源信息，其融合效果不稳定;2)基于成像模型的融合方法对成像环境要求较高，且模型敏感，当环境与成像模型设定的条件不相符时，难以得到较好地配准;3)对于经典的图像像素特征配准算法，存在异源图像特征差异性不确定问题，解决此类配准问题难度很大，很多时候还需要人工对特征进行筛选，大大降低了效率;4)采用符号及轮廓特征进行配准融合时，需要充分的先验知识，影响了适用范围。

为更好地解决可见光-SAR的配准融合问题，笔者将多分辨及多模态的思想引入到解决方案中，并针对这两类传感器的成像特性改进了相应的特征提取算子，以提高配准融合的精度，并利用模糊聚类等方法扩大了算法的适应范围。

1 配准融合方案

笔者针对光-SAR图像融合，结合前人的研究成果，提出相应的研究策略(见图1)。首先获取原始可见光图像和SAR影像，经过图像预处理和噪声抑制后，通过改进的多模态信息提取算法，从像素级特征、纹理级特征及边缘轮廓特征等多方面进行提取和分析。在此提取和分析基础上，对光-SAR待融合图像进行模糊聚类、多尺度特征交叉修正、冗余信息剔除及约简等工作，进而实现信息的重构，完成光-SAR信息的有效融合配准。

图1 光-SAR配准融合方案图Fig.1 Scheme of optical-SAR registration and fusion

2 多模态及多尺度融合模型

2.1 基于改进SURF算子的特征提取

在同源图像配准融合研究中，SURF算子由于其具备较好的实时处理性能和较强的匹配能力而受到了广泛应用。传统的基于SURF特征算子的同源配准融合实现［9，10］包括以下步骤。

Step 1 构造高斯金字塔尺度空间。通过采用Hessian矩阵行列式近似值图像，构建金字塔图像，各像素点的Hessian矩阵如下

SURF算子需要求取每个像素点的Hessian矩阵，而为确保特征点能具备尺度无关性，需要在进行Hessian矩阵构造前，对其进行高斯滤波，以得到变换图像，相应的滤波公式如下

通过上述计算得到了原图像对应的变换图像，并在此变换图像上寻找相应的特征点，再将其位置反映射到原图中。在SURF中为提高计算效率，该变换图由原图每个像素的Hessian矩阵行列式的近似值构成。相应的行列式近似为

式(3)中0.9为通过计算得到的近似系数值。

由于求Hessian时需要先高斯平滑并求二阶导数，在离散的像素点中都是用模板卷积形成的，为加快运算，采用积分图进行运算以加快计算速度

由此得到近似Hessian行列式图，并将金字塔图像中分为多个octave层，在每个octave层中建立多尺度图像。

Step 2 利用非极大值抑制，初步确定特征点与精确定位极值点。将经过Hessian矩阵处理过的每个像素点与其3维领域的26个点进行大小比较。如果该像素点是这26个点中的最大值或最小值，则进行保留，并当作原始特征点。再采用3维线性插值法得到亚像素级的特征点，同时去掉小于阈值的点。

Step 3 选取特征点的主方向。SURF算子特征点的主方向是通过提取特征点邻域内的haar小波特征并计算确定的。在特征点邻域内，计算60°扇形内所有点的水平haar小波特征和垂直haar小波特征总和，小波边长为4 s(s为该点所在尺度)。通过该扇形得到扇形值。再每间隔60°进行一次旋转，将最大扇形值的方向作为该特征点的主方向。

Step 4 构造SURF特征点描述算子。选取特征点主方向上的正方形框(边长20 s)，并分为16个子区域，每个子区域计算25个像素的相对主方向的水平方向和垂直方向的haar小波特征，求取该haar小波特征的水平方向值之和、水平方向绝对值之和、垂直方向值之和以及垂直方向绝对值之和(见图2)。

图2 特征描述子构建Fig.2 Character descriptors design

每个子区域有4个值，每个特征点有16×4=64维的特征向量，通过上述方法可完成传统SURF特征点描述算子的构建，表示为

但对光-SAR图像进行配准融合时，由于成像机理不同，图像特征灰度差异明显，针对噪声较多的SAR图像，若仍按照光学图像中haar小波特征的选取方式，则这些特征描述子将存在很大变化，可能导致光学图像和SAR图像匹配产生较大误差。而梯度具有较好的鲁棒适应性，因此在原有四维基础上，增加水平梯度和垂直梯度两组特征，即

同时为确保新构建的特征充分继承原有特征的匹配优势，在特征描述子构建时增加相应的加权系数，以确保匹配的准确性，可得到改进的SURF特征用于特征匹配，表示为

2.2 纹理分析及轮廓特征提取

虽然采用改进的SURF算子可提高光-SAR配准融合的精度，但由于光-SAR像素级的特征差异性大，还需要利用其他模态的特征进行优化。纹理特征和轮廓特征可较好地反映出两种图像的内部属性，因此被引入到算法中。

对于笔者研究的光-SAR配准融合问题，由于Zernike矩的幅值具有旋转不变性，通过求相关函数的Zernike矩幅值矩阵，可较好地用于表征异源的纹理，如下所示

通过纹理分析，可得到纹理特征相同的区域，并以此为基础构建多模态聚类域。在此基础上再利用canny算子求取边缘并剔除较小的轮廓，即可获取用于聚类融合的边缘轮廓，并与像素级特征、纹理级特征等一起构建多模态特征。

3 多模态特征模糊聚类

在完成多模态特征构建后，需要利用上述特征进行聚类及匹配。传统的聚类把每个样本严格地划分到某一类。而在模糊聚类中，单独样本不再仅属于某一类，而以隶属度形式属于每一类。对于多模态模糊聚类需要以下几个步骤:建立模糊相似矩阵、数据标准化和聚类。

Step 1 构建模糊相似矩阵。设异源图像特征集X={x1，x2，…，xm}为被分类的对象，每个对象为纹理分布相似的区域xi，各个区域又由n个多模态特征(包括SURF特征，纹理特征及轮廓特征等)进行表达，即

于是，得到原始数据矩阵为

Step 2 数据标准化。由于不同的特征可能有不同的量纲，为了使不同量纲的数据也能进行比较，需要对数据进行适当变换。根据模糊矩阵的要求利用极差变换平移法对数据进行标准归一化，如下所示

Step 3 相似性聚类。在此基础上进行聚类分析。依照传统聚类方法确定相似系数，建立模糊相似矩阵，xi与xj的相似程度rij=R(xi，xj)。确定rij=R(xi，xj)的方法主要借用传统聚类分析的相似系数法计算 rij，即

4 实验效果

为验证算法的实际效果，笔者获取了同一地区的光学和SAR的原始图像(见图3)，并按照配准方案和模型对算法性能进行了逐步验证。

利用改进的SURF算子对光学和SAR图像分别进行特征提取(见图4)。

图4a为光学图像特征提取的效果，图4b为SAR图像特征提取的效果。在改进SURF特征提取的基础上，利用纹理分析，对两种图像进行了纹理划分，并利用Canny算子提取结合纹理分布的轮廓特征(见图5)。

图3 光学和SAR原始图像Fig.3 Original images of optic and SAR

图4 光和SAR图像特征提取Fig.4 Character extracting of optic and SAR image

图5 基于纹理分析的光和SAR图像轮廓特征Fig.5 Optical and SAR image contour feature based on texture analysis

通过模糊聚类及RANSAC进行提纯处理，得到相应的特征匹配对，并在此基础上完成最终的融合配准，实验效果如图6所示。对多组图像的特征匹配效果进行了测试，配准率如表1所示。

表1 特征对配准率Tab.1 Accuracy of character matching

从图6可以看出，笔者算法通过多模态多尺度融合配准，能在改进SURF算子配准的基础上进一步提高配准精度。通过表1的数据表明，只采用改进单独的SURF算子进行融合配准，可将平均配准精度提高到82.37%，而采用笔者多模态配准算法可将匹配对的准确率提高到87.7%，实现了更好的融合配准效果。

图6 特征匹配对比图Fig.6 Comparison of character matching

5 结语

通过采用笔者的多模态配准融合算法，相应试验取得了较好的效果，可提高光-SAR配准的适应性和精度，使配准融合的平均准确率达到87.7%。在后续的研究中，可以考虑更加深入地从数学形态学及模糊聚类等方面入手，并引入外部平台参数到匹准融合算法中，以取得更加理想的效果。

［1］杨佐龙，王德功，李勇.基于小波域中心矩特征的 SAR图像识别［J］.吉林大学学报:信息科学版，2013，31(1):13-17.

YANG Zuolong，WANG Degong，LI Yong.SAR Images Target Recognition Based on Wavelet Domain Central Moments Feature［J］.Journal of Jilin University:Information Science Edition，2013，31(1):13-17.

［2］黄世奇，刘代志.侦测目标的SAR图像处理与应用［M］.北京:国防工业出版社，2009.

HUANG Shiqi，LIU Daizhi.SAR Image Processing and Application of Reconnaissance Measurement Target［M］.Beijing:Defense Industry Press，2009.

［3］THIELE A，CADARIO E，SCHULZ K，et al.Building Recognition from Multi-Aspect High-Resolution in SAR Data in Urban Areas［J］.IEEE Transactions on Geoscience and Remote Sensing，2006，45(11):3583-3593.

［4］刘向增，田铮，史振广，等.基于FKICA-SIFT特征的合成孔径图像多尺度配准［J］.光学精密工程，2011，19(9):2186-2196.

LIU Xiangzeng，TIAN Zheng，SHI Zhenguang，et al.SAR Image Multi-Scale Registration Based on FKICA-SIFT Features［J］.Opt Precision Eng，2011，19(9):2186-2196.

［5］ABDIKAN S，BALIK SANLI A F，BEKTAS BALCIK B F，et al.Fusion of SAR Images(PALSAR and RADARSAT-1)with Multispectral SPOT Image:A Comparative Analysis of Resulting Images ［C］∥ ISPRS.Beijing，China:［s.n.］，2008:1197-1202.

［6］HONG Gang，ZHANG Yun，BRYAN MERCER.A Wavelet and IHS Integration Method to Fuse High Resolution SAR with Moderate Resolution Multispectral Images［J］.Journal of the American Society for Photogrammetry and Remote Sensing，2009，75(10):1213-1223.

［7］SONG Z L，ZHANG J P，et al.Remote Sensing Image Registration Based on Retrofitted SURF Algorithm and Trajectories Generated from Lissajous Figures［J］.Geoscience and Remote Sensing Letters，IEEE，2010，7(3):491-495.

［8］LU Yunfei，ZHAO Haimeng，LI Bo，et al.Multi-Spectral Remote Sensing Image Registration Based on SURF［C］∥Proc of 2010 International Conference on Circuit＆ Signal Processing.Wuhan，China:［s.n.］，2010:632-635.

［9］DAVID G LOWE.Distinctive Image Featuresfrom Scale-Invariant Keypoints［J］.International Journal of Computer Vision，2004，60(3):91-110.

［10］HERBERT BAY，TINNE TUYTELAARS，LUC VAN GOOL.SURF:Speeded up Robust Features［J］.Computer Vision-ECCV，2006，3951:404-417.