耦合分水岭与形态学的特殊纹理影像配准算法

臧丽日， 杨树文,2,3， 申顺发， 薛庆， 秦肖伟

(1.兰州交通大学测绘与地理信息学院，兰州 730070； 2.地理国情监测技术应用国家地方联合工程研究中心，兰州 730070； 3.甘肃省地理国情监测工程实验室，兰州 730070)

0 引言

合成孔径雷达(synthetic aperture Radar，SAR)独特的成像优势和影像特征可以突破被动式光学传感器成像的限制[1]，弥补了光学影像因天气状况等造成的对地观测的间断性等问题。SAR影像与光学影像分别反映微波波段和可见光波段的辐射特性，通过融合技术可实现两者之间的有效信息互补，有利于对地表进行全面的观测和分析[2]。融合的前提是影像配准，以保证不同时间获取2幅或多幅图像的对齐和地理位置的一致性。然而，由于SAR影像与光学影像间存在较大差异，灰度信息完全不同，甚至难以通过视觉检测到对应的控制点。因此，如何有效地解决多模态影像配准成为当今遥感影像配准领域的重要研究课题[3-4]。

目前SAR影像与光学影像有效的配准方法主要分为基于特征的方法和基于区域的方法。基于特征的配准方法是异源影像配准时的有效方法之一，它通过匹配影像间的同名特征来实现影像的配准，如尺度不变特征变换(scale-invariant feature transform，SIFT)[5]、改进的加速稳健特征(speeded up robust features，SURF)[6]等。然而，Schwind等[7]经过实验证明该类经典特征对同源影像间的配准表现稳定，而在异源配准中表现并不理想。因此，在此基础上Xiang等[8]于2018年提出了OS-SIFT算法，该算法构建了2个不同的Harris空间提取点特征，采用类局部梯度方向直方图描述子描述特征点的结构信息，在SAR影像与光学影像配准中得到了一定的应用，但无法完全避免非线性灰度差异，对影像的适用性有一定的限制。在此基础上，李东宸等[1]提出均匀分布与结构描述仿射尺度不变特征变换(affine SIFT,ASIFT)相结合的配准算法，该方法相比于SAR-SIFT和传统ASIFT算法具有更高的匹配成功率和配准精度，但在获取特征点过程中耗时较长，使得配准算法效率不高。由此说明，基于特征的方法对于灰度差异较大的异源影像来说，共有特征的获取较为困难，算法运行时间较长，因此使用此类方法对SAR影像与光学影像配准具有一定的局限性。

基于区域的配准方法是根据影像的灰度信息构建相似性测度，以此识别影像之间的同名点并进行匹配，从而实现影像配准的过程。王志社等[9]曾提出了一种基于K均值聚类分割的配准方法，提取影像中的封闭轮廓并将其匹配后实现影像的配准，实验证明该方法不仅效率高，而且精度可以达到亚像素，避免了配准时SAR影像噪声的影响，但该算法适合分辨率较低的影像配准，对于高分辨率影像效果并不佳。此后，叶沅鑫等[2]构建相位一致性方向直方图作为测度，提出了一种基于几何结构属性的配准方法，有效地抵抗了SAR影像与光学影像间的非线性辐射差异，匹配性能更为鲁棒; 杨勇等[10]基于影像中的感兴趣区，提出一种模板匹配约束下的配准方法，在确保算法配准精度的前提下有效节省算法运算量，为多源影像间的匹配提供了有效的方法。由此可见，使用单一传统的配准方法往往无法得到理想的配准结果，上述方法均使用了混合模型，提出一些新的SAR影像与光学影像配准思路，有效地解决了较大灰度差异带来的误配准问题。但由于SAR影像的特殊性，上述方法均适用于一组分辨率差异小的影像之间的配准，对于分辨率差异大，且影像中地物类型繁杂的影像，仍未得到较好的配准校正效果。

鉴于此，本文将标记控制分水岭算法与数学形态学处理相结合，提出一种耦合图像分割与配准的特殊纹理SAR影像与光学影像自动配准算法。文中选用的特殊纹理为水体，虽然水体区域在2种影像中的灰度表现存在一定差异，但相对来说，灰度的分布都具有较好的一致性[9]，且在2种影像中水体的范围几乎一致，适合作为2种影像中可共同提取的特征。适当改进标记控制分水岭算法使之可以精确提取影像中的水体区域，将得到的分割结果二值化后进行形态学处理，得到只包含水体区域和非水体区域的二值图像； 然后提取水体区域质心用作粗配准，使用二值图像配准测度进行精配准步骤。将影像配准转化为二值图像的配准，可有效解决寻找同名匹配点困难的问题，在保证精度的同时大大减小算法计算量，提升算法效率。

1 主要算法研究

1.1 标记控制分水岭算法

图像分割是按照一定的原则，将图像分为若干个互不相交的小区域的过程，是图像处理中最为基础的研究领域之一。目前存在多种分割方法，其中分水岭算法作为一种基于区域的典型图像分割算法，已在医学图像和模式识别等领域得到广泛应用。

分水岭分割算法是Vincent等[11]提出的一种基于拓扑理论的数学形态学分割方法。该算法易于实现、性能优良，能够较好地提取目标轮廓，被广泛应用到图像分割领域[12]。由于分水岭算法是基于灰度与距离变换的结果寻找分割线，所以对噪声非常敏感。图1(a)为原始SAR影像，(b)为灰度的三维显示图，(c)为影像的Sobel梯度图像，(d)为经典分水岭算法的分割结果。从图中发现，SAR影像存在丰富的纹理细节以及不可避免的噪声，出现许多局部极小值点，导致分割结果形成多个分水岭，出现过度分割现象。部分学者尝试将分割过程中的梯度图像平滑后再进行分水岭变换，过度分割现象有所缓解，但仍然无法得到正确的分割结果。

(a) 原始影像(b) 集水盆地显示(c) 梯度图像(d) 分水岭算法过度分割

为解决经典分水岭算法在地物类型复杂的影像分割时带来过度分割的问题，Parvati等[13]提出一种标记控制分水岭算法。该算法是在分水岭分割算法的基础上，在分割过程中增加标记控制而形成的一种语义分割算法。基本思想是利用附加知识，在图像中寻找前景标记和背景标记，来引导分水岭算法进行分割。标记的加入，使得分水岭分割算法更具鲁棒性和准确性，通常不会产生过度分割问题。

针对本文算法中需要精确提取影像中水体这一目的，对经典标记控制分水岭算法在生成前景标记和背景标记部分进行相应改进，改进算法的具体步骤为：

1)首先将影像灰度化[14]，其方法如式(1)所示。然后进行直方图均衡化，以增强对比度，使细节部分更清晰，即

Gray=0.30R+0.59G+0.11B，

(1)

式中：Gray为灰度图像；R，G，B分别为图像的红色、绿色和蓝色分量。

2)使用Sobel算子检测梯度，得到梯度图像G，其公式为：

(2)

式中Gx和Gy分别为水平梯度和垂直梯度。

3)通过基于形态学重建[15]的开闭操作对灰度图像进行去噪处理，重建滤波器的结构如图2所示。

图2 形态学重建滤波器

4)提取重建后图像的局部极小值作为前景标记fgm。

5)阈值分割后，提取相邻区域间的分水岭脊线作为背景标记bgm。

6)使用fgm和bgm修正梯度图像，使梯度图像在标记处有局部极小值。

7)对修正后的梯度图像进行分水岭分割，得到最终的分割结果。

改进后的标记控制分水岭算法流程如图3所示。

与经典的分水岭分割算法相比，改进后的标记控制分水岭算法提取结果精度较高，对于SAR影像和光学影像中水体区域的分割提取均有较好的效果。

1.2 数学形态学处理

1.2.1 水体区域准确提取

经过标记控制分水岭分割后，对分割结果进行二值化处理，将水体区域标记为1，背景标记为0，得到只包含水体区域和非水体区域的二值图像。但是图像噪声和建筑物等其他阴影的存在，造成图像中有一些孤立散点，或者造成水体区域中存在孔洞。所以，首先对二值图像进行孔洞填充操作，然后进行一次先膨胀再腐蚀的闭运算操作，以此消除水体边缘的孤立散点和孔洞，其中孔洞填充的原理为：

Xk=(Xk-1⊕M)∩Nc,k=1,2,3,… ，

(3)

式中：k为迭代次数；Xk为第k次填充后的孔洞；M为已知对称结构元；N为集合，其元素是8连通的边界；Nc为N的补集； ⊕为形态学膨胀。

经过以上步骤处理的二值图像，可以在保持水体区域的位置和形状不变的同时，填补区域内由于噪声产生的孔洞和边缘毛刺，提取得到精确的水体区域。

1.2.2 连通分量提取及计算质心

在二值图像中，提取连通分量是许多图像分析应用的核心任务[16]。其原理是给图像中的每个连通区域分配一个唯一编号，输出图像中该连通区域内的像素值均为该区域的编号值，提取连通分量的过程也是标注连通分量的过程，可表示为：

Xk=(Xk-1⊕B)∩A，k=1,2,3,…，

(4)

式中：Xk包含图像中所有连通分量；B为一个适当的结构元；A为包含一个或多个连通分量的集合。

在连通分量提取过程中，存在孔洞填充和闭运算处理无法剔除的噪声点，算法会提取到许多小的连通分量，因此根据图像大小，设置合适的阈值对这些小的连通分量进行剔除。剔除完毕后，计算提取到的水体区域的质心。基于此，构建完整的形态学处理流程步骤如图4所示。

图4 形态学处理流程

1.3 二值图像配准相似性测度

在计算互信息和相关系数等相似性测度时，会涉及到大量的乘法和对数运算，虽然配合使用合适的寻优搜索算法，但仍然存在计算量太大的问题。基于此，算法使用一种适合于二值图像配准的相似性测度，只涉及逻辑运算和加法运算[17]，以此提升配准的效率。

设基准影像和待配准影像提取水体后的二值图像分别为R和F，当具有空间变换参数T时，2幅图像的相似性测度S(T)的计算公式为：

(5)

式中：n为总像素数。si的计算公式为：

(6)

由于式(6)等价于

si(T)=R(i)FT(i)，

(7)

故相似性测度S(T)的计算公式可等价为：

(8)

算法使用的相似性测度可导，配准时得到的测度曲线平滑、无局部极值出现，且计算速度快，适合作为二值图像配准时使用的相似性测度。

2 耦合分水岭与数学形态学的配准算法

根据上述算法原理，本文将改进标记控制分水岭算法与数学形态学处理相结合，提出一种耦合图像分割与配准的特殊纹理影像配准算法，本文构建的算法流程如图5所示。具体算法步骤如下： ①对SAR影像与光学影像进行预处理，其中SAR影像斑点噪声大，采用Lee滤波及适当的拉伸处理，以降低或消除相干斑噪声的影响； ②使用改进后的标记控制分水岭算法分割2幅影像中的水体区域； ③将分割结果二值化，水体区域标记为1，非水体标记为0，得到只包含水体区域和非水体区域的二值图像； ④对二值图像进行数学形态学孔洞填充和闭运算处理，以此实现SAR影像和光学影像中水体区域的准确提取； ⑤计算2幅二值图像中水体连通分量的质心，将其一一对应匹配，以解决图像间存在的大范围偏移问题，使其只存在局部平移和旋转关系[10]，以实现图像间的粗配准； ⑥把二值图像配准的相似性测度，利用粒子群优化(particle swarm optimization，PSO)算法，搜索得到使测度最大时的空间变换参数，即最优变换参数T; ⑦使用最优变换参数T对待配准SAR影像进行空间变换，将其配准到光学影像上，实现具有特殊纹理的SAR影像与光学影像的快速精确配准。

图5 整体算法流程

3 实验及结果分析

为了验证耦合标记控制分水岭与形态学处理算法对SAR影像与光学影像配准时的有效性，本文进行了多组实验。实验环境： CPU为Intel(R) Core(TM) i7-10700，主频为2.9 GHz，内存为16 GB，操作系统为 Windows 10，软件平台为MATLAB 2019b。

本文使用遥感影像数据进行仿真实验，分别验证改进的标记控制分水岭算法提取水体的精度和整体影像配准算法流程的精度与效率，并与多种图像分割、配准算法结果作对比，验证本文所提算法流程的有效性。图6为实验所用的2组具有水体区域的SAR影像和光学影像数据，其中图6(a)和(c)为光学基准影像，图6(b)和(d)为与(a)和(c)同地区的待配准SAR影像，表1为数据的详细说明。

(a) GF-2影像(b) GF-3影像(c) Google Earth影像(d) Sentinel-1A影像

表1 实验数据详细说明

3.1 水体提取实验

为了验证使用改进的标记控制分水岭算法和形态学处理后，能否快速准确地分割得到水体、非水体的二值图像，本文分别采用最大类间方差(Otsu)算法[18]、K均值(K-means)聚类法、区域生长法[19]与本文算法进行对比实验。表2为4种不同算法进行对比实验的分割结果，其中二值图像均为经过孔洞填充和闭运算处理之后的结果。表3是对4种图像分割算法的总体精度评定，包括算法的效率对比和精度评价。

表2 对比实验分割结果

表3 4种分割结果精度评价

(续表)

通过对表2和表3的对比分析表明： ①Otsu算法是通过类间灰度方差最大化获取最优阈值，算法运行速度在4种算法中的效率最高。但是对地物类型复杂的遥感影像来说，Otsu的分割结果中出现大量斑点，未经形态学处理前，图像内的斑点更为繁杂，分割效果不理想； ②K-means法是模式识别中的经典算法，但较Otsu法来讲，其在效率和精度上均不占优势，且出现很多错误分类，4幅影像的平均准确率只有57.82%; ③区域生长法是依据图像灰度值的相似性获得分割区域，结果比较接近真实范围。但是该算法在一定程度上依赖种子点的选取，如影像1中间部分，误将部分道路也提取为水体，存在一定的误差。且区域生长法需要人工选取种子点，不能满足算法自动提取水体的需求，另外该算法执行速度较慢，平均耗时达到13.77 s，在4种算法中耗时最长。

综合对比4种算法，本文算法分割精度最高，4幅影像平均分割准确率高达97.15%，并且算法对细小水体也有较好的提取效果，如影像1左上角和影像4的右下角所示，可以得到较准确的分割结果。且与精度相近的区域生长法相比，本文算法在保证准确度的同时，运行时间大大缩短。故综合考虑算法效率和分割准确度，本文算法提取SAR影像和光学影像的水体信息均有较好的效果，尤其是细小水体的提取，有助于快速精确地提取得到水体区域的二值图像，为配准做准备。

3.2 影像配准实验

为了验证本文耦合分水岭与形态学的特殊纹理算法在SAR影像与光学影像配准时的有效性，采用图6(a)和(b)和图6(c)和(d)作为2组实验影像，使用SAR影像配准中的主流算法SAR-SIFT[20]、基于KAZE-HOG特征的异源影像匹配算法[21]以及梯度互信息配准算法[22]与本文提出的特殊纹理SAR与光学影像配准算法作对比，对比不同算法的精度和效率。

使用SAR-SIFT算法对第一组影像配准的实验结果如图7所示。其中图7(a)为光学影像检测到的7 035个特征点，图7(b)为SAR影像检测到的3 194个特征点，匹配后所得结果如图7(c)所示。从图中可以发现，SAR-SIFT算法无法找到正确匹配点对。使用该算法进行多组SAR影像与光学影像的配准实验，均无法实现2幅影像正确匹配，可证明SAR-SIFT算法虽然能够在SAR影像之间的配准得到广泛应用，但对SAR影像与光学影像配准是无效的。且算法需要对SAR影像进行滤波处理，导致算法效率较低，该组实验的运行时间达到264.41 s。

使用基于KAZE-HOG特征的异源影像匹配算法对第二组影像进行匹配实验，结果如图8所示。其中，图8(a)为光学影像检测到1 291个特征点，图8(b)为SAR影像检测到842个特征点，图8(c)为匹配结果。从图中发现，该算法对SAR影像与光学影像配准同样不适用。对同一组影像进行多次配准实验，发现算法获得的匹配点不一致，证明该算法对SAR与光学影像来说，无法获取到稳定的特征点。

(a) 光学影像特征点 (b) SAR影像特征点 (c) 特征点匹配结果

截至目前，梯度互信息是SAR影像与光学影像配准最有效的方法之一，因该方法将SAR影像与光学影像的灰度信息和空间结构信息结合共同作为测度，且易于理解和实现，算法的精度和效率均有较好的表现。因此，将梯度互信息配准方法与本文提出的算法作对比，从视觉和参数分析2个层面对比算法性能。

视觉层面，将2组实验影像分别用2种算法进行配准实验，将配准结果与原始影像进行棋盘格镶嵌，并且放大镶嵌结果的相同区域进行对比，结果如图9所示。其中，图9(a)和(b)中左侧图片为梯度互信息算法的镶嵌结果，右侧图片为本文算法的配准结果，中间图片为左两侧对应序号的放大图。相较之下，梯度互信息总体配准精度良好，未出现较大误配问题。但在细节部分的校正上，本文算法的精度有所提升，如图9(a)和(b)中的③和④区域所示，镶嵌结果的水体边缘更平滑，整体影像的配准效果也较好。因此，在视觉上表明了本文算法的有效性。

(a) 第一组影像配准结果镶嵌显示

(b)第二组影像配准结果镶嵌显示

参数分析层面，以均方根误差(root mean square error,RMSE)作为配准精度的评价准则，并且结合算法总体运行时间，对4种算法得到的配准结果进行评价，如表4所示。分析表4得知，SAR-SIFT算法和基于KAZE-HOG异源影像配准算法的运行时间较长，且未找到正确的匹配点，无法完成SAR影像与光学影像间的配准。梯度互信息法得到的配准结果虽然在部分区域有误配的情况存在，但总体算法运行时间较短，精度较优，可用于SAR影像与光学影像的配准。本文提出的配准算法在4种算法中运行时间最短、精度最高，误差优于一个像素，在保证配准精度的同时，联合图像分割与配准，得到一种新的SAR影像与光学影像配准流程。图9的视觉实验结果和表4的参数分析共同验证了算法的有效性和鲁棒性，可以满足SAR影像与光学影像自动配准的需求。

表4 配准方法定量比较

4 结论

针对SAR影像与光学影像配准时效率较低和精度较差的问题，本文耦合图像分割与配准，提出了一种耦合分水岭与形态学的特殊纹理影像自动配准算法。该算法充分考虑到SAR影像与光学影像之间的差异，通过对特殊纹理影像中水体特征区域的配准，从而实现整块影像配准，解决了异源影像配准时寻找同名匹配点困难的问题。此外，算法的另一优势在于使用逐步求精的方法，即进行粗配准和精配准2步，用粗配准结果作为精配准的前提，在保证精度的同时有效节省后续算法搜索量。

通过水体提取实验和影像配准实验可知，本文算法快速、有效，不仅可以精确提取SAR影像与光学影像中的水体区域，而且还成功应用于影像之间的配准，具有较好的鲁棒性，有效解决了灰度和分辨率差异大的SAR影像与光学影像自动配准的难题。然而，该算法的局限性在于算法仅适用存在一定范围水体的影像，所以未来的研究将会考虑使用深度学习方法提取2类影像中其他共性的特殊纹理，以此作为前提应用于影像配准。