NMI特征优化边界敏感的LSC遥感影像分割算法

琚丽君,田丰华,曾朝平

(1.河南测绘职业学院,郑州 451464;2.郑州华润燃气股份有限公司,郑州 451464)

0 引言

随着对地观测技术的快速发展,影像的空间分辨率达到亚米级别。高分辨率遥感影像具有信息丰富、边界轮廓清晰、光谱波段多等优点,该优点扩展了遥感影像的应用领域,但也增加了高分辨率遥感影像中有效信息的提取难度[1]。影像分割通过影像光谱、颜色以及纹理等信息,将整景影像分割成符合人眼视觉要求的多个区域,以增强区域内特征的一致性,同时突出不同区域差异性[2-3]。

传统的基于像元的分割方法未考虑影像纹理细节信息,仅依靠影像光谱信息导致分割结果存在很大的不确定性,加上影像存在噪声,分割结果出现“椒盐噪声”现象,给后续处理带来新的问题[4-5]。基于深度学习的影像分割方法在样本数据充足的情况下能获取良好的分割结果,但不同季节、不同纬度区域、不同传感器获取影像分割效果不理想,而且基于深度学习的分割方法获取地物分割边界需要后期人工编辑[6-7]。在样本数据不足情况下,为了获取较为理想的分割结果,相关学者利用影像空间几何、纹理特征以及光谱信息关系,将超像素分割方法[8-9]应用于遥感影像分割中,该类方法以聚类为基本思想,将影像分割成接近均匀、互斥的超像素块,提高后期影像处理效率[10]。董志鹏等[11]提出简单线性迭代聚类与最小生成树融合的高分辨率遥感影像分割方法,该方法通过区域动态约束策略对超像素分割结果进行合并,获取良好的分割结果;周佳超等[12]针对简单线性迭代聚类(simple linear iterative cluster,SLIC)算法对遥感影像分割准确率、效率不足等问题,采用Wasserstein距离优化SLIC方法,在确保分割准确性的前提下提升算法运算效率;张锐等[13]提出标记分水岭与改进超像素融合的遥感影像分割方法,该方法在超像素分割时充分应用影像颜色、空间、纹理等多种特征,对于过分割现象通过超像素合并的方法获取最终结果。上述可知,由于遥感影像场景相比常规影像复杂得多,将SLIC超像素分割算法直接应用于高分辨率遥感影像分割邻域时,较多的微小特征与纹理会导致超像素块分割独立地物现象,分割性能较差。李娇娇等[14]提出深度网络模型的遥感影像分割方法,但在遥感场景复杂、目标地物的尺度不一致时,会导致算法处理效率低而且一景影像上不同地物的分割精度差别较大,因此需要较多样本数据对模型进行优化。线性谱聚类(linear spectral cluster,LSC)[15]算法是一种较为新颖的超像素分割方法,其分割性能较高。

鉴于此,文中提出归一化转动惯量特征(normalized moment of inertia,NMI)优化边界敏感的LSC遥感影像分割算法。首先,为了增强影像边缘特征,在LSC初始化聚类中心时,对包含地物边界初始超像素进行边界约束,更新初始像素块;然后,利用LSC算法对高分辨率遥感影像进行分割,获取候选超像素结果,并统计微小超像素块;最后,计算微小超像素块与相邻超像素块的归一化转动惯性量相似性度量值,并将微小超像素块合并到相似性最小的超像素块上,有效避免分割出微小超像素块。

1 改进的LSC超像素分割算法

1.1 边缘敏感的线性谱聚类分割算法

线性谱聚类算法通过设计核函数将影像投影到高维特征空间,进行简单加权的K-means聚类数据处理,较大程度地降低算法复杂程度,提高算法效率。LSC算法将原始RGB空间影像数据转换到高维特征空间,每个像素采用所在位置坐标(x,y)和颜色值(l,α,β)共同构成一个五维的特征相邻表示。其中,l表示颜色亮度,α表示深绿色到亮粉红色颜色通道值,β表示蓝色到黄色颜色通道值。LSC生成超像素的具体实现过程如下。

1)将影像上任意像素点p,通过φ(p)核函数表示为多维特征向量,φ(p)核函数的表达如式(1)所示。

(1)

式中:(lp、αp、βp、xp、yp)、(lq、αq、βq、xq、yq)表示像素点p和像素点q的五维向量;V表示待分割影像数据集;p、q表示影像上任意两个像素点;w(p)表示像素点p与像素点q在高维特征空间的距离;Cc、Cs表示调整颜色与空间权重的参数因子,Cc=Cs/r,当r取值较小时,颜色空间相似的像素聚集,反之,空间相近的像素聚集,文中r=0.075。

2)在影像行列方向分别设置水平间隔vx、垂直间隔vy,生成K个初始化超像素种子点。

3)设置迭代次数T、初始化聚类中心ck与类内加权均值mk,表达如式(2)所示。

(2)

式中:Mk为第k个超像素数据集,k=1,2,3,…,K。

4)统计ck类中心局部邻域(τvx×τvy,τ>0.5)内像素点p和mk的相似性值,并将像素点p更新到差异最小值类上,表达如式(3)所示。

(3)

5)更新式(2)获取第k个超像素的加权均值mk,直至到达迭代次数或超像素加权均值mk收敛,否则迭代步骤1)～步骤3)。

在LSC初始化聚类中心时,存在包含地物边界的跨边界初始超像素块。若直接进行LSC处理,生成超像素块的边界难以有效地贴合地物边界导致部分地物边界信息丢失。跨边界超像素块如图1所示。

图1 跨边界超像素块

为了获取地物边界完整的超像素块,提出边缘敏感的LSC高分辨率遥感影像分割算法。该算法通过边缘检测算子提取地物边界信息,结合初始超像素块判断是否为跨边界初始超像素块,若是跨边界超像素块,需用跨边界初始超像素的区域质心更新原始聚类中心。新的聚类中心确定规则如下。

1)若初始聚类中心局部S×S区域内存在地物边界,剔除初始聚类中心,并将地物边界与超像素块边界闭合,将区域质心更新为处理聚类中心,如图2中Bi所示。

图2 聚类中心更新示意图

2)若初始聚类中心局部S×S区域内不存在地物边界,保留初始聚类中心不变,如图2中Ci所示。

本文选择LoG边缘检测算子对原始影像进行边缘检测,该算子能够有效地克服噪声对提取结果的影响。然后,将边界检测结果与LSC分割产生的初始超像素块融合,更新超像素块聚类中心生成超像素分割结果。通过引入边缘信息优化LSC算法,可以充分利用高分辨率的地物边缘细节信息,增强边缘信息对LSC算法的边界约束力,有效区分影像弱边缘与噪声信息,确保分割出的地物信息更加完整、吻合。

1.2 基于NMI特征的超像素合并

由上文分析可知,为避免分割结果中出现欠分割情况,超像素块数K不能设置过小;但随着超像素数K值的增加,分割结果也会存在过分割现象。针对边缘敏感的LSC分割产生的微小超像素块,本文通过计算影像微小超像素与邻域超像素块的绕质心的归一化转动惯量(normalized moment of inertia,NMI)相似性,将其合并到邻近超像素块上。

对光谱纹理相似的区域,仅利用LSC算法计算影像局部区域的光谱与空间特征的相似性度量,难以有效进行区分。若引入区域的整体特征,将提高超像素块的分割精度。NMI特征是影像二阶矩特征,通过影像空间信息表示影像的光谱复杂分布程度,具有平移、旋转和缩放不变性的特点,已在影像匹配中有所应用。本文将该特征作为计算超像素块间的相似性值。对于一幅M×N大小的遥感影像,每个像素点可以视为平面上的一个质点,每个波段的灰度值I(i,j)可以表示为质点的质量,影像所有像素灰度之和为影像质量m,表达如式(4)所示。

(4)

影像质心(i0,j0)如式(5)所示。

(5)

假如影像灰度分布比较均匀,那么影像的质心应该为图形的平面形心。因此,影像绕质心(i0,j0)的转动惯量可以表示为J(i0,j0),如式(6)所示。

(6)

依据影像质量、影像质心以及转动惯量定义归一化转动惯量,表达如式(7)所示。

(7)

由式(7)可知,归一化转动惯量与影像灰度值分布、质心位置和灰度分布相对质心的分布均有相关。因此,可利用归一化转动惯量区别纹理差异。

由于LSC算法分割影像生成超像素存在微小像素块,因此需计算微小像素块与其邻域的像素块的NMI值,并对微小超像素进行合并处理。

LSC算法分割影像生成的超像素用S表示,表达如式(8)所示。

(8)

对于一幅M×N的遥感影像,通过LSC算法分割生成K个超像素,由文献[16]可知,当超像素块满足N′

1.3 算法流程

文中采用NMI特征的相似性度量方法合并微小超像素块,提高影像分割精度,流程图如图3所示。首先,通过LOG算子提取影像边界信息,并以边界信息为引导,结合初始超像素块判断是否为跨边界初始超像素块,若是跨边界超像素块,需用跨边界初始超像素的区域质心更新原始聚类中心,避免初始超像素块内存在地物边界信息;然后,利用边缘敏感的LSC算法分割高分辨率遥感影像生成候选超像素块,并统计微小超像素块;最后,为了避免超像素过分割结果存在,通过计算微小超像素块与相邻超像素块的归一化转动惯性量相似性度量值,将微小超像素块合并到相似性最小的超像素块上,有助于后期影像处理效率。

图3 算法流程图

算法具体流程如下。

1)初始化超像素块数K,计算初始聚类中心。

2)利用LOG算子提取影像边界信息,生成边界图像。

3)以边界影像为引导,更新初始聚类中心。

4)获取影像候选超像素分割结果,并标记微小超像素块。

5)计算微小超像素块与局部邻域超像素块NMI特征相似性值。

6)将微小超像素与NMI特征差异最小的超像素块合并。

7)影像分割完成。

2 实验与分析

2.1 算法流程

为了验证本文方法的有效性、可行性,文中对两组不同场景的高分辨率遥感影像数据进行分割处理,并设计两种方法与本文方法对比:一是LSC算法,二是eCognition软件中的多尺度分割方法。本文方法的实验运行系统环境为Windows 10系统,CPU为Core(TM) i5-124900f,内存为32 GB,在实验平台MATLAB2016、eCognition Developer 9.0软件上进行仿真实验。

选用定性与定量方法进行分割结果精度评定。其中,定性方法通过视觉对比方法分析分割结果;定量方法通过查全率R、查准率P以及R、P的平均值F1等指标对分割结果进行精度评价。定义如式(9)至式(11)所示。

(9)

(10)

(11)

式中:TP表示独立地物分割属于相同对象的数目;FN表示独立地物被分割为其他地物的数目;FP表示独立地物分割中出现其他对象的数目。其中,R、P值越大,表示分割精度越高。当R与P难以描述分割结果时,通过F1进行综合对比分析。

2.2 实验结果

1)实验1结果与分析。选用高景一号01星全色影像与多光谱影像经过最邻近融合(nearest neighbor diffuse,NND)生成的多光谱数据,影像包含近红外、红、绿以及蓝4个波段,实验输入数据为红、绿、蓝3个波段,影像大小为1 200像素×1 200像素,影像分辨率为0.5 m。该区域包含水体、植被、裸地等典型地物信息,如图4(a)所示。由图4(b)可知,由于高分辨率遥感影像中的地物繁杂,采用LOG边缘检测算子在原始遥感影像中进行边缘检测,会出现诸如模糊边缘纹理、可能产生虚假边界和对曲线边界定位不准确等问题,导致一定程度的分割性能降低,但边缘敏感的线性谱聚类分割算法仅在初始化聚类中心时对存在边界信息的初始像素块进行区域聚类中心更新,在后期NMI特征超像素合并时会对上一步结果进行优化。

图4 影像数据

其中,图5(a)为LSC算法分割高分辨率遥感影像结果。由图5(a)可知,整个高分辨率遥感影像的分割结果存在严重的过分割现象,特别是植被和水体区域分割过于破碎,且存在微小的超像素块区域。图5(b)、图5(c)分别为多尺度分割方法下不同尺度因子产生的分割结果,由于图5(b)分割尺度因子为60,在水体内部存在光谱变化较大的区域产生大量过分割结果。由图5(c)可知,当尺度因子增加到100时,过分割现象有所缓解,但在植被、水体区域的过分割现象未能消除,同时随着尺度因子的增加,部分区域出现了欠分割现象,见图5(c)椭圆形区域。由于文献[12]采用Wasserstein距离优化K-means算法中距离度量工具,难以有效区分耕地区域间的差异性,导致图5(d)耕地区域存在过分割问题。由图5(e)可知,本文方法有效解决水体、植被区域存在的过分割问题,通过边缘特征优化初始LSC聚类中心,避免初始像素块穿过物体边界,同时通过引入NMI特征相似度参数,有效合并微小超像素块获取的分割结果基本与地物边界一致,较好地保留了植被、水体、道路等区域边界信息。

图5 实验数据及分割结果

由图5(a)可知,LSC算法分割结果存在严重的过分割现象,导致分割精度很差。因此,本文不对LSC算法结果进行精度评定。表1给出多尺度分割方法与本文方法的分割结果精度评定。由表1可知:本文分割结果的查准率P为0.916,均高于多尺度分割方法(0.815、0.853),说明本文方法的分割结果优于多尺度分割方法;本文方法分割结果的查全率R优于0.9,说明本文分割结果与地物实际边界基本保持一致;本文方法相比较不同尺度参数的多尺度分割方法平均值F1分别提高0.091、0.059,说明本文方法通过边缘特征优化LSC初始聚类中心,能有效避免后期分割超像素块通过线性特征区域,通过引入NMI特征计算不同超像素块间的相似性值,将微小超像素块合并到相似性区域,避免过分割现象,进一步提升影像分割精度。

表1 实验1分割结果精度评定

图6给出超像素数量K=[200,400,600,800,1 000,1 200,1 400]时生成的影像分割精度。由图6可知,当K取1 000时,算法分割精度的查全率最高,说明算法分割影像边界与实际地物贴近,同一地物基本被分割到一个对象区域,有效避免过分割现象,分割结果更加符合人眼视觉效果;随着K值增加,查全率与准确率有所下降,因此边缘贴合程度有所下降。

图6 实验1影像超像素参数初始值对分割精度影响

2)实验2结果与分析。实验2为吉林一号高分04A星数据全色影像与多光谱影像经过NND融合生成的多光谱数据,影像包含近红外、红、绿以及蓝4个波段,实验输入数据为红、绿、蓝3个波段,影像大小为1 000像素×1 000像素,影像分辨率为0.3 m。该区域包含建筑物、道路、植被等典型地物信息,如图7(a)所示,边缘检测结果如图7(b)所示。

图7 影像数据

图8(a)为LSC方法过分割结果,由图8(a)可知,该结果依然存在严重过分割现象。图8(b)、图8(c)为多尺度分割方法分割结果,图8(b)为尺度因子70时分割结果,图上的矩形是独立建筑物被分割为多个对象,由于建筑物光谱特征差别较大,导致过分割现象。随着尺度因子的增大,图8(c)为尺度因子为100时的分割结果,由图8(c)可知,该区域建筑物的过分割现象明显好转,但随着尺度因子的增加,图上椭圆区域存在明显的欠分割。由图8(d)可知,由于建筑物顶部存在明显彩钢瓦拼接缝,导致建筑物顶部被分割为多个对象,通过采用改进的距离相似度计算方法难以将该区合并,导致过分割问题。由图8(e)可知,本文方法可以很好地区分建筑物、道路、植被等地物,较好地保留地物的边缘信息,避免过分割与欠分割情况。

图8 实验数据及分割结果

表2为多尺度分割方法与本文方法的分割结果精度评定。由表2可知:本文分割结果的查准率P为0.932,均高于多尺度分割方法(0.854、0.891),说明本文方法的分割结果优于多尺度分割方法;本文方法分割结果的查全率R为0.966,说明本文分割结果与地物实际边界基本保持一致;本文方法相比较不同尺度参数的多尺度分割方法平均值F1分别提高0.073、0.047,说明本文方法能有效避免后期分割超像素块通过线性特征区域,分割结果更加合理有效。

表2 实验2分割结果精度评定

图9给出超像素数量K=[200,400,600,800,1 000,1 200,1 400]时生成的影像分割精度。由图9可知,当K取1 200时,算法分割影像查全率与查准率最高,说明影像分割边界与实际地物贴近,有效避免过分割现象,分割结果更加符合人眼视觉效果。

图9 实验2影像超像素参数初始值对分割精度影响

3 结束语

针对线性谱聚类方法处理复杂场景的高分辨率遥感影像时存在地物边界丢失、过分割问题,本文提出NMI特征优化边缘敏感的LSC高分辨率遥感影像分割方法。利用边缘信息引导LSC初始聚类中心,能有效避免初始超像素块内部存在线性地物,减少过分割问题。同时,结合NMI特征计算微小超像素块与相邻超像素块相似性,合并微小超像素块进一步改善过分割问题。利用两组高分辨率遥感影像数据进行实验,实验结果表明,该方法可有效改善复杂区域的过分割现象,提升影像分割效果。在实验过程中发现,高分辨率遥感影像中的地物繁杂,在遥感影像中使用LOG边缘检测算子会存在模糊边缘纹理、虚假边界等问题,导致分割性能降低,这也是算法的下一步改进方向。