基于无人机影像的快速分割方法

鲁恒， 付萧， 刘超， 郭加伟3,， 苟思， 刘铁刚

(1．四川大学水力学与山区河流开发保护国家重点实验室,成都　610065； 2．四川大学水利水电学院,成都　610065； 3.成都理工大学国土资源部地学空间信息技术重点实验室,成都　610059；4.西南交通大学地球科学与环境工程学院,成都　611756)

基于无人机影像的快速分割方法

鲁恒1,2,3， 付萧4， 刘超1,2， 郭加伟3,4， 苟思1,2， 刘铁刚1,2

(1．四川大学水力学与山区河流开发保护国家重点实验室,成都610065； 2．四川大学水利水电学院,成都610065； 3.成都理工大学国土资源部地学空间信息技术重点实验室,成都610059；4.西南交通大学地球科学与环境工程学院,成都611756)

摘要：为解决地震灾区震后空间数据难以及时获取的问题，考虑到无人机(unmanned aerial vehicle,UAV)遥感影像自身特点，提出了一种改进的均值漂移(Mean Shift)分割算法。按照影像特征将UAV影像划分为纹理区和匀色区，对匀色区直接进行Mean Shift算法分割得到初分结果； 对纹理区综合提取颜色、纹理、形状信息构造高维特征空间，并根据归一化分布密度值求得其合适的带宽，再使用Mean Shift算法对特征空间进行模式分类得到分割结果； 通过构造代价函数进行区域合并，消除过分割区域，得到最终分割结果。针对芦山地震后获取的高空间分辨率UAV影像进行分割实验，并提出一种考虑到面积和光谱的分割匹配指数对分割结果进行评价。实验结果表明： 所提出的改进的Mean Shift算法的分割精度优于传统的Mean Shift算法，为后续的震害信息提取提供了数据保障。

关键词：地震灾区； 均值漂移； 影像分割； 区域合并； 无人机(UAV)影像

0引言

随着空间信息技术的高速发展，传感器、信息传输和数据存储技术日新月异，所获取的遥感影像的空间分辨率越来越高。其中，无人机(unmannedaerialvehicle,UAV)航空摄影所获取的低空UAV影像的空间分辨率可达到cm级[1]。对这些高空间分辨率遥感影像进行自动分析以获取地表覆盖信息的需求也与日俱增。与低空间分辨率遥感影像相比，高空间分辨率遥感影像包含的地物类别信息更为丰富，地面目标的纹理和形状特征更为清晰，这对遥感影像的处理和识别提出了更高的要求[2-3]。影像分割是进行影像分析和理解的重要步骤，因此针对高空间分辨率遥感影像的分割算法已成为当前遥感应用研究领域的重要课题之一[4-5]。

近年来，均值漂移(MeanShift)算法在计算机和医学等领域得到广泛应用。该算法主要借助特征空间样本点完成相应的计算和分析，在应用过程中不需要先验知识，收敛速度快。MeanShift的典型应用包括目标跟踪、医学影像处理等领域，均取得了良好效果； 但由于高空间分辨率遥感影像具有光谱信息较弱、纹理信息丰富等特点，所以将该算法直接应用于高空间分辨率遥感影像分割并不能得到预期结果。因此，本文提出一种基于改进的MeanShift的分割算法，以得到更理想的影像分割结果； 并通过实验对分割结果进行评价。

1Mean Shift算法

当前的聚类算法在应用中都需要先验知识，同时在其特征空间分析时还需添加相应的假设条件。例如，K均值聚类算法应用中对聚类数的设定有相应要求，模糊C均值聚类应用中则需设定模糊隶属度函数。相对于这些聚类算法，MeanShift算法有以下优势： ①不需要先验条件，初始点可以选择数据集的所有点； ②算法执行过程中，类别是根据收敛点确定的； ③对各种采样点的分布和维度都能够实现聚类。MeanShift算法是一个基于密度函数的梯度估计和模式搜索的迭代过程，从数据集合的某个点出发，通过计算均值向量，不断逼近数据集合分布的局部极值点。Fukunaga等[6]最早把MeanShift算法引入模式识别领域，近年来由Cheng[7]、Comaniciu等[8-9]就核函数、点权值等问题对该算法进行了一般化推广，并从理论上证明了该算法的收敛性和可靠性。

1.1Mean Shift算法原理

用Rd表示d维欧氏空间，x表示Rd中的点，并采用列向量的形式进行标注。x模的计算公式为

‖x‖2=xTx。

(1)

R代表一个实数域。若函数K： Rd→R有轮廓函数k: [0,∞]→R，则

K(x)=ckk(‖x‖2) ,

(2)

式中ckk>0为标准化常数，且满足： ①k≥0； ②k为增函数，即如果a

若Rd空间存在n个采样点{xi,1≤i≤n}，即可借助核函数K(x)和正定d×d带宽矩阵Hi估算核函数密度。其方法为

(3)

直观地说，密度估计f(x)是每个采样点处的核函数加权求和的结果。密度函数梯度估计等于密度函数估计的梯度[10]，即

(4)

式中：g(x)=-k′(x)； Mean Shift向量为MHi(x)=mHi(x)-x。

Mean Shift迭代公式为

(5)

(6)

对于二维特征空间中的采样点，若给定核函数G(x)和误差阈值ε，并任意选择搜索圆O(其半径为带宽h)，则MeanShift算法的步骤如下： ①按式(6)求解圆O采样点的均值mh(x)； ②若圆心O密度小于mh(x)密度，则可根据均值mh(x)和圆心O两者求解差值,即可用来代表MeanShift向量mh(x)，实际上，分析获得的向量方向与密度增加方向保持一致[11]； ③若MeanShift向量模小于误差阈值ε，即‖mh(x)‖<ε，则迭代算法完成，若不满足该条件，则执行步骤④； ④若圆心O获得均值mh(x)的赋值，则返回执行步骤①。

经迭代计算后搜索出密度极小值点。

1.2Mean Shift算法缺陷

遥感影像通常按照其影像特征划分为纹理区和匀色区。直接将传统MeanShift算法用于高空间分辨率彩色遥感影像分割，会存在2个缺陷：

1)在对影像进行MeanShift滤波过程中，设定的带宽为固定值，忽略了不同地貌的成像特点，会导致匀色区域出现过分割问题； 同时，还可能导致变化剧烈区域的地物区分较差，以致形成不完全分割,即欠分割问题。因此，全局最优分割难度较大。

2)在过去所使用的MeanShift算法中，像元通过一定的函数关系与特征空间(L,U,V,x,y)保持对应的关系，对空间样本点就能够借助像元位置分量(x,y)和色度分量(L,U,V)进行表示，即可通过MeanShift算法分类所有的模式。但是，若分割区域内的纹理相对丰富，则只通过空间和颜色就难以刻画出不同地物间的差别，即特征空间本身的可分性较差，从而会影响MeanShift算法的分割效果。

2Mean Shift算法的改进

通过分析传统MeanShift算法的应用特点，本文提出了新的MeanShift分割方法， 即采用方差检测的方法分析彩色空间，并按照UAV影像特征将其划分为纹理区和匀色区； 对匀色区直接进行MeanShift分割得到初分结果； 对纹理区综合提取颜色、纹理和形状信息、构造高维特征空间，并根据归一化分布密度值求得其合适的带宽，再使用MeanShift算法对特征空间进行模式分类得到分割结果。该算法的技术流程见图1。

图1　改进的Mean Shift分割方法流程

2.1影像预处理

由于遥感影像中存在的噪声[8-9]会导致影像分割效果不佳，所以在影像分割前需要进行滤波处理，以降低噪声的影响。本文选择自适应平滑滤波方法，并按照行列顺序完成整个滤波过程。其中，首先求解像元周围3×3矩形窗内8近邻像元的3个彩色波段的方差和均值，相对于各个彩色波段，如果像元值减去均值的差的绝对值大于1.5倍方差，就认为该像元为噪声点； 同时，对像元8邻域内的像元值均采用均值代替； 再通过彩色空间变换处理滤波后的影像，并采用(L,U,V)模型表示色度值和亮度。

2.2影像区分类

性质相同的遥感影像区表现平滑，灰度与色彩的一致性较好，故根据其一致性就能够划分遥感影像区，将其划分成纹理区和匀色区； 同时，还可以采用简单分类处理方法，即以x0点为中心，在宽度W的矩形窗口范围内，根据x0点像元彩色特征矢量(L,U,V)的分布密度判断邻域像元色彩的一致性。分布密度ω的计算公式为

(7)

式中： k为分布密度的核函数； h为核函数的带宽。

核函数采用多元正态分布形式，即

(8)

2.3纹理区特征提取

纹理区在色度和亮度变化剧烈时，纹理分布较为明显，同时在各种纹理模式下具有各自的地貌和地物特征。一般情况下，此种地貌和地物的面积相对较小，且形状不规则，通过(L,U,V)空间变换获得分割结果的精度偏低。因此，在考虑特征空间可分性的基础上，需要在特征空间中融合形状和纹理信息。

纹理特征能够直接说明影像灰度分布在高阶统计下的具体分布情况，通常将局部直方图统计矩作为工具，测量区域纹理信息。纹理区像元pi在纹理特征向量分析过程中，通过窗宽w的矩形窗提取矩形邻域空间Ωpi(该矩形中心为pi)。设Ωpi内有K个灰度级，包含的像元数为N，归一化直方图为h(k),k=0,1,…,K-1，可定义4种纹理测度的统计矩(表1)。针对区域r中的n个像元，形状特征主要用紧凑度c和光滑度s表示，其计算方法为

(9)

(10)

式(9)—(10)中：l为区域r的周长；b为区域r外接矩形的最短边长。

表1　4种纹理测度的统计矩

因此，通过9维向量(L,U,V,μ,σ,Sk,Ku,s,c)就能够直接描述影像纹理的所有像元； 在该向量中，前7维主要用来描述纹理、色度及亮度等特征，而第8维和第9维用来描述形状特征。

2.4可变带宽的Mean Shift聚类

(11)

式中h0为基准Mean Shift带宽，经实验取h0=10。在所使用的9维特征空间中，根据前文叙述的Mean Shift算法确定纹理像元的模式类，从而完成纹理区的分割。

2.5区域合并

为了防止纹理区出现过分割问题，需对应用区域进行合并。具体过程如下：

1)构造代价函数。通过进行相邻区域合并，生产新区域，改变前、后两者的变化程度，并通过特征向量予以反映。若假设相邻区域为ri和rj，合并后为rij，则特征向量的变化为

Δij=nijcij-(nici+njcj) ,

(12)

式中nij为合并区域rij包含的像元数，nij=ni+nj。

采用加权平均方法计算出9维向量空间(L,U,V,μ,σ,Sk,Ku,s,c)中的合并代价，即

(13)

式中kf为各维向量的加权系数，且

(14)

2)合并邻接图。区域邻接图的合并需要根据所有邻接图进行寻优，确定最佳的合并区域，以保证合并代价最小。具体算法见参考文献[12]，本文不再赘述。

3实验

北京时间2013年4月20日8时2分四川省雅安市芦山县(中心地理位置E102.95°，N30.3°)发生了7.0级地震，震中位于芦山县庙坪上，震源深度13 km。“4.20芦山大地震”发生得很突然，其破坏强度超出人们的想象。重灾区路断、桥断、通信中断，陷入了信息隔绝状态。在这种情况下，卫星遥感和UAV遥感技术成为快速获取灾情的最佳途径。面对突发的巨大地震灾害，如何快速有效地处理影像数据，提取震害信息，在震灾应急调查、灾情评估及灾后重建中及时发挥应有的作用，是对遥感技术应用提出的重大挑战，也是值得深入研究的问题。本文提出的改进的Mean Shift分割算法为UAV影像的快速分割及震害信息提取提供了数据保障。

为验证本文所提出方法，在Matlab平台下分别编程，实现改进的Mean Shift算法及传统的Mean Shift算法，将2种分割算法分别应用于所获取的芦山县震后UAV遥感影像(图2)。

图2　原始UAV影像

在Intel Core i5 2.4 GHz,2 G内存、Windows 7环境下，采用传统Mean Shift分割算法、使用带宽为0.3时的分割结果如图3(a)所示； 采用本文改进的Mean Shift分割算法的分割结果如图3(b)所示。

(a) 传统Mean Shift分割结果 (b) 本文改进算法分割结果

图3不同算法UAV影像分割结果对比

Fig.3Comparison between results of UAV image segmented by different algorithms

对比图3(a)和(b)可以看出，本文提出的改进Mean Shift算法较之传统的Mean shift算法对UAV影像右下部林地的分割结果更加清晰； UAV影像左侧的耕地被分割得更加准确，过分割和欠分割现象比传统方法大大减少； 道路分割更为精细完整； 建筑用地分割更加清晰、完整，碎片较少。总体来看，采用本文改进的Mean Shift算法的分割结果(图3(b))与原始UAV影像(图2)中的地物实体有很好的对应关系。在实际应用过程中，采用本文提出方法，在1 h内完成了200景UAV影像的分割，为后续地震灾区影像信息快速提取提供了数据保障。

4实验结果分析

为了定量验证Mean Shift方法分割的精度，需要建立1种评价指标来评判分割结果。于欢等[13]通过计算分割对象边界与实际地物边界的横向和纵向矢量距离来评判分割结果的好坏，该评判方法主要考虑了分割对象与实际地物的形状匹配度。Neubert等[14]则通过分割对象与实际地物的面积匹配度来判断分割尺度是否合理。但上述匹配模型均忽略了分割对象与实际地物间的光谱匹配情况。本文从光谱匹配和面积匹配2种情况综合考虑，建立了1种兼顾面积和光谱的分割匹配指数(segmentation fitting index,SFI)，即

(15)

式中：Alsi为最大分割对象的面积(如图4所示，对于实际地物A，分割对象A1,A2,A3都占有实际地物A的部分像元，但A1所切割A的面积最大，因此A1为最大分割对象)；Aroi为作为参考的实际地物的面积；Gsi为最大分割对象的灰度均值；Gri为作为参考的实际地物的灰度均值。

在获得参与评价对象的信息中，计算出所有SFI的均方根误差MSFI，即

图4　实际地物与分割对象关系

(16)

在所分割的对象接近实际地物的情况下，得到的MSFI值越小，对应的分割算法越可靠。本文从UAV影像中随机选取100个实际地物数据作为样本参考数据，参考地物选择建设用地、耕地和道路[15]。MSFI的计算结果见表2。

表2　不同算法计算出的MSFI值

从表2可以看出，针对UAV影像分割结果计算出来的MSFI值中，本文所提算法小于传统Mean Shift算法，验证了本文所提出的算法的可靠性。

5结论

1)从地震灾区高空间分辨率UAV影像自身特点出发，对传统Mean Shift算法进行了改进。由于地震后获取的高分辨UAV影像纹理信息丰富，在使用传统Mean Shift算法进行影像分割时，容易产生过分割或欠分割现象。

2)改进的分割算法将影像划分为匀色区和纹理区，对不同性质的区域使用带宽可变的Mean Shift分割，从而显著地改善了分割结果，保证了震后UAV遥感影像分割的准确性，为震后灾情信息的提取及灾情评估提供了数据保障。

3)由于本文仅选取了UAV影像作为实验数据，对于其他传感器获取的高分辨遥感影像分割效果会如何，将是下一步需要继续研究的问题。

参考文献(References)：

[1]鲁恒,李永树,李何超,等.无人机影像数字处理及在地震灾区重建中的应用[J].西南交通大学学报,2010,45(4):533-538.

Lu H,Li Y S,Li H C,et al.Digital processing of unmanned aerial vehicle image and its application in reconstruction of Wenchuan earthquake-hit areas[J].Journal of Southwest Jiaotong University,2010,45(4):533-538.

[2]谭衢霖,刘正军,沈伟.一种面向对象的遥感影像多尺度分割方法[J].北京交通大学学报,2007,31(4):111-114,119.Tan Q L,Liu Z J,Shen W.An algorithm for object-oriented multi-scale remote sensing image segmentation[J].Journal of Beijing Jiaotong University,2007,31(4):111-114,119.

[3]蔡红玥,姚国清.基于分水岭算法的高分遥感图像道路提取优化方法[J].国土资源遥感,2013,25(3):25-29.doi:10.6046/gtzyyg.2013.03.05.

Cai H Y,Yao G Q.Optimized method for road extraction from high resolution remote sensing image based on watershed algorithm[J].Remote Sensing for Land and Resources,2013,25(3):25-29.doi:10.6046/gtzyyg.2013.03.05.

[4]林辉,莫登奎,熊育久,等.高分辨率遥感图像均值调整法分割技术研究[J].地理研究,2006,26(4):85-88,95.

Lin H,Mo D K,Xiong Y J,et al.The method of segmenting high-resolution remote sensing images based on Mean-shift[J].Journal of Central South Forestry University,2006,26(4):85-88,95.

[5]贾春阳,李卫华,李小春.基于自适应权值FNEA算法的高分辨率遥感图像分割[J].国土资源遥感,2013,25(4):22-25.doi:10.6046/gtzyyg.2013.04.04.

Jia C Y,Li W H,Li X C.High-resolution remote sensing image segmentation based on weight adaptive fractal net evolution approach[J].Remote Sensing for Land and Resources,2013,25(4):22-25,doi:10.6046/gtzyyg.2013.04.04.

[6]Fukunaga K,Hostetler L.The estimation of the gradient of a density function,with applications in pattern recognition[J].IEEE Transactions on Information Theory,1975,21(1):32-40.

[7]Cheng Y Z.Mean Shift, mode seeking,and clustering[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1995,17(8):790-799.

[8]Comaniciu D,Meer P.Mean Shift:A robust approach toward feature space analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(5):603-619.

[9]Comaniciu D,Meer P.Distribution free decomposition of multivariate data[J].Pattern Analysis and Applications,1999,2(1):22-30.

[10]肖鹏峰,冯学智,赵书河,等.基于相位一致的高分辨率遥感图像分割方法[J].测绘学报,2007,36(2):146-151,186.

Xiao P F,Feng X Z,Zhao S H,et al.Segmentation of high-resolution remotely sensed imagery based on phase Congruency[J].Acta Geodaetica et Cartographica Sinica,2007,36(2):146-151,186.

[11]李峰,彭嘉雄.基于Wold特征的遥感图像的分割[J].测绘学报,2003,32(4):330-333.

Li F,Peng J X.Wold-based remote sensing image segmentation[J].Acta Geodaetica et Cartographica Sinica,2003,32(4):330-333.

[12]Tremeau A,Colantoni P.Regions adjacency graph applied to color image segmentation[J].IEEE Transactions on Image Processing,2000,9(4):735-744.

[13]于欢,张树清,孔博,等.面向对象遥感影像分类的最优分割尺度选择研究[J].中国图象图形学报,2010,15(2):352-360.

Yu H,Zhang S Q Kong B,et al.Optimal segmentation scale selection for object-oriented remote sensing image classification[J].Journal of Image and Graphics,2010,15(2):352-360.

[14]Neubert M,Herold H.Assessment of remote sensing image segment ation quality[C]//International Society for Photogrammetry and Remote Sensing Commission IV,Working Group IV/3.2008.

[15]鲁恒,李永树,唐敏.面向对象的山地区域多源遥感影像分割尺度选择及评价[J].山地学报,2011,29(6):688-694.

Lu H,Li Y S,Tang M.Evaluation and selection of segmentation scale with object-oriented method in multiple source remote sensing image of mountain areas[J].Journal of Mountain Science,2011,29(6):688-694.

(责任编辑： 刘心季)

Study of method for fast segmentation based on UAV image

LU Heng1,2,3， FU Xiao4, LIU Chao1,2， GUO Jiawei3,4， GOU Si1,2， LIU Tiegang1,2

(1.StateKeyLaboratoryofHydraulicsandMountainRiverEngineering，SichuanUniversity，Chengdu610065，China； 2.CollegeofHydraulicandHydroelectricEngineering，SichuanUniversity，Chengdu610065，China； 3.KeyLaboratoryofGeo-spatialInformationTechnology，MinistryofLandandResources，ChengduUniversityofTechnology，Chengdu610059，China；4.FacultyofGeosciencesandEnvironmentalEngineering，SouthwestJiaotongUniversity，Chengdu611756，China)

Abstract:In order to solve the problem that it is difficult to obtain spatial data in time in the earthquake stricken area, the authors propose in this paper a more efficient new segmentation algorithm on the basis of the own features of unmanned aerial vehicle(UAV) remote sensing images. Firstly, the image is divided into several homogeneous color areas and texture areas through variance detection on the color space. Secondly, preliminary partition of the homogeneous color area is directly achieved by Mean Shift method. Meanwhile, for the texture area, a high dimensional feature space is set up based on the color, texture, and shape information, and the proper bandwidth is calculated according to the normalized distribution density before applying Mean Shift algorithm on the feature space to model classification so as to reach the partition. Finally, an object function is set up to realize area merging and then reach the final partition results by smoothing over partitioned areas. Tests were conducted for high spatial resolution remote sensing image segmentation on UAV images of Lushan earthquake stricken area. A segmentation matching index which considers area and spectrum is proposed to evaluate the segmentation result. The experimental results show that the improved method performs better than the traditional method, and can provide data protection for subsequent damage information extraction.

Keywords:earthquake stricken area； Mean Shift； image segmentation； region merging； unmanned aerial vehicle(UAV)image

doi:10.6046/gtzyyg.2016.02.12

收稿日期：2014-11-24；

修订日期：2015-03-04

基金项目：“十一五”国家科技支撑计划项目“成都平原时空数据快速获取”(编号： 2006BAJ05A13)、中央高校基本科研业务费资助项目“利用无人机影像进行土地利用动态监测”(编号： 2013SCU11006)、数字制图与国土信息应用工程国家测绘地理信息局重点实验室开放基金项目“基于地震灾区多源遥感影像震害信息提取”(编号： DM2014SC02)和国土资源部地学空间信息技术重点实验室开放基金项目“利用地震灾区多源遥感影像进行震害信息动态监测方法研究”(编号： KLGSIT2015-04)共同资助。

中图法分类号：TP 751.1; P 231

文献标志码：A

文章编号：1001-070X(2016)02-0072-07

第一作者简介：鲁恒(1984-),男,博士,主要从事“3S”技术在农业水利工程中应用研究。Email： luheng@scu.edu.cn。

通信作者：刘超(1975-),男,博士,副教授,主要从事农业水利工程和水利水电工程研究。Email： liuchao@scu.edu.cn。

引用格式： 鲁恒,付萧,刘超,等.基于无人机影像的快速分割方法[J].国土资源遥感,2016,28(2)：72-78.(LuH,FuX,LiuC,etal.StudyofmethodforfastsegmentationbasedonUAVimage[J].RemoteSensingforLandandResources,2016,28(2)：72-78.)