模糊超像素分割算法的无人机影像烟株精细提取

夏炎，黄亮,2，陈朋弟

(1.昆明理工大学国土资源工程学院，昆明 650093； 2.云南省高校高原山区空间信息测绘技术应用工程研究中心，昆明 650093)

0 引言

烟草是一种经济价值较高的作物，云南省因其自然环境优势，成为烟草种植的主要地区之一，种植烟草已成为当地烟农经济收入和经济发展的主要途径之一。国家烟草专卖局于2007年提出发展现代农业的战略目标，并建设现代化烟草农业，努力实现“一基四化”的目标[1]。与传统人工统计相比，烟株的自动化提取可以大大加快对于烟草的统计速度，通过提取结果对烟草的产量、质量以及销售价格做到估计和预判，可帮助贫困烟农产烟销烟。努力实现农村地区烟草单株自动化提取，并与精准扶贫工作相结合[2]，对加快现代化农业发展有重要意义。

运用遥感影像对烟草进行提取已逐渐被推广，国内外诸多学者就烟草的提取问题探讨和研究。Han[3]采用支持向量机(support vector machine，SVM)的方法对烤烟的生长部分进行识别和提取； 吴孟泉等[4]对云南产烟县利用遥感监测手段和监督分类方法对烟田地块和面积进行提取； Guru等[5]结合概率神经网络和形态学，对病变的幼苗烟叶进行分类和提取； 李天坤[6]以多种遥感影像为数据源，利用SVM和面向对象分类等方法对烟草种植面积进行提取； 董梅等[7]和陈金等[8]等分别选取多种特征值，结合形态学和面向对象等方法，对烟草的种植面积进行提取； 胡九超[9]选取双极化Terra SAR-X和的全极化Radarsat-2为研究数据，利用高分辨率合成孔径雷达(synthetic aperture Radar，SAR)对烟草进行识别和提取； 刘明芹等[10]以资源三号卫星为研究数据，利用面向对象的方法，结合地面控制点(ground control-point, GCP)的光谱、纹理和形状等属性对烟草面积进行提取； 王政等[11]以环境一号(HJ-1)卫星为基础，分析比较归一化植被指数(normalized difference vegetation index , NDVI)和比值植被指数(ratio vegetation index , RVI),快速准确的获得烤烟种植信息； 付静[12]结合Otsu算法和形态学方法，分别对烟草苗期株数进行提取。分析近年来国内外针对烟草的提取研究可知，由于烟草为小目标地物，许多卫星遥感影像的空间分辨率不足以区分出种植烟草株数，仅依靠种植面积很难判断烟草产量、长势和虫害等情况，烟株提取则更为有效直观，可获取更多丰富信息。目前大多集中于种植面积提取，而对于烟草株数提取方面则研究较少； 从提取方法上看，由于烟草叶片较小且形状不规则等因素，给其单株提取带来了极大的困难，在前期研究中，采用的方法有多尺度分割算法和基于形态学分割算法等，但仍然存在一定问题，如边界依附性差、分割尺度难以确定以及分割错误等。具体来说，目前常用的分割方法中，SVM算法可以解决非线性分类，但对和函数的选取敏感，且计算量大耗时较长[13-14]； Otsu算法虽不受图像对比度和亮度的影像，但对噪音较为敏感，当目标与背景的灰度有较多重叠时，也难以将其区分[15-16]，分水岭算法受噪声点和图像的连续性影像较大，容易出现严重的过分割现象[17]； K-mean算法中对k值的选取难以把握，且容易陷入局部最优的问题[18-19]。

采用模糊超像素(fuzzy-superpixels,FS)算法进行预分割可为后续烟草精细提取提供基础，FS算法更易理解和实现，具有更好的边界一致性，也可减少混合超像素产生，耗时较短，部分学者也利用相似的方法对高分辨率遥感影像进行分割[20]。因此，本文以云南省宜良县为研究区，选取亚米级空间分辨率的无人机影像作为实验影像，提出FS分割结合多特征的无人机烟株提取方法，以期实现烟株的精细提取。

1 研究区概况及数据源

1.1 研究区概况

宜良县位于云南省中部，地处N24°30′36″～25°17′02″，E102°58′22″～103°28′75″之间，属北亚热带季风气候区，全年平均气温16.3 ℃，年均降雨量898.9 mm，5—10月受孟加拉海湾海洋西南季风影响，导致降雨量显著增加，占全年的80～85%； 大部分地区海拔在1 500～1 800 m之间，占地1 913.53 km2，地势为南低北高，境内河流属珠江流域西江水系，土壤多以红壤为主，占土壤总面积的85.1%，该区域主要种植的作物有小麦、玉米、豆类、烟草、油菜和水稻等。

1.2 数据源

以稳定性较强的中海达iFly-U3电动固定翼无人机为平台，搭载SONYa7R相机，像幅大小为7 360像素×4 912像素。拍摄日期为2018年7月中旬，飞行速度为85 km/h，飞行高度介于3 000～4 000 m之间，拍摄气温19 ℃。

选取3景影像(图1)，均为复杂场景下的烟草种植区，包含房屋、灌木、裸地、道路和湖泊等多种地物，影像分辨率均为0.05 m，影像清晰，变形小且无云雾遮挡，满足烟株提取要求。影像包含红(R)、绿(G)、蓝(B)3个波段，采用WGS-84坐标系。其中，数据1大小为1 230像素×675像素，种植区域不规则，烟叶颜色多为青黄色和暗黄色，叶片较小； 数据2大小为1 163像素×919像素，烟株叶片呈深绿色，种植区域位于房屋之间； 数据3的影像大小为1 438像素×800像素，种植区域位于湖泊下侧，烟株间差异较大，左下方烟株颜色多为深绿色，叶片较大且生长密集，其余烟株颜色多为暗黄色，叶片较小。3景影像通过目视可有效辨认烟株数目，为后期提取烟株数目提供有效参考，但烟叶之间以及烟草与周围杂草之间均存在相互遮挡的情况，烟叶种植边界与灌木或杂草的边界难以区分，给后期提取带来一定困难。

2 研究方法

本文研究方法分为5个步骤： ①对无人机进行植被提取并判断是否提取完全； ②采用FS分割算法对影像进行分割； ③选择对应特征并对特征值的最佳阈值进行选取； ④结合最佳阈值和人机交互对烟株数目进行提取； ⑤对提取得到的烟株信息进行统计分析和精度评价。具体流程图如图2所示。

图2 方法流程Fig.2 Flow chart of proposed method

2.1 绿地提取方法

无人机影像的光谱性质特殊，只含有R，G，B这3个波段，缺少对于绿地较为敏感的近红外(NIR)波段，固先将影像的颜色空间从RGB转换为HSV，然后对图像进行色彩分割，通过多次实验，确定分割的阈值如下： 0.180.16； 再将提取得到结果中面积小于0.1 m2的图斑删除并对内部空洞处进行填充，最终得到绿地区域。

2.2 FS超像素分割算法

超像素分割在图像的分割、分类和信息提取方面都是一个重要的组成部分，它是由许多位置相邻且拥有相似特征(如光谱特征、纹理特征和几何特征)的像素组成的像素集合，形成的区域提高了分割的效率，减少了分割的冗余信息，并保留了较完整的图形边界。不同的超像素算法有各自不同的优缺点，但现有分割方法存在形成大量混合超像素的问题，对信息提取有较大影响。

Guo等[21]针对这一问题提出模糊超像素这一概念，目的是强制减少混合超像素。模糊超像素分为两部分： 超像素和不确定像素。其中，不确定像素是指未被确定的像素且也不属于任何超像素的像素。FS超像素具体的实现步骤如下：

2)根据模糊超像素的数量和聚类中心找出非重叠搜索区域和重叠搜索区域，非重叠搜索区域中的像素属于该聚类中心对应的超像素，并分配对应标签。针对任何一个像素，所对应的不同聚类中心的隶属度u和为1。定义为：

(1)

式中：i为重叠区域的像素；j为对应中心像素；c为与像素i可能有关的的所有聚类中心像素总数；n为重叠区域像素的次数。

重叠区域的每一个像素到该聚类中心的距离定义为：

(2)

式中:u(i,j)∈[0,1]，其中[0,1]为隶属度的取值范围;C1,…,Cc为中心像素，Jj∈(C1,...,Cc)；m∈[1,∞)为索引权重;Dpolsar为像素i、中心像素j之间的距离计算公式，既考虑了无人机影像的性质又考虑了像素之间的位置关系，其具体定义如下：

(3)

式中：dw(i,j)为基于Wishart分布的距离；dxy(i,j)为空间距离；mpol为一个平衡基于Wishart分布的距离和位置距离的重要性参数，mpol值越大，位置越接近。dw(i,j)和dxy(i,j)公式分别为：

(4)

(5)

式中:Ti为该分布的相干矩阵； Tr为矩阵Ti的迹。

构造最小化目标函数，使J(U,C1,....Cc)取得最小值，最小化目标函数定义为：

(6)

式中λ为该约束函数的梯度值。

3)确定非重叠区域的超像素，然后计算重叠区域的像素和中心像素之间的隶属度，过程如下：

(7)

(8)

式中k为未重叠时的中心像素。

4)后处理。通过判断像素的隶属度进而判断该像素是否属于超像素，同时强调区域的连通性。判断过程如下：

Udiff=Umax-Usubmax=[Udiff1,...,Udiffn] ，

(9)

UdiffMed=median(Udiff)，

(10)

式中：Udiff为像素隶属度差值;Umax为对应像素最大隶属值;Usubmax为下一像素的最大隶属值;UdiffMed为该像素隶属值的中值。∀i∈n，若Udiffi>UdiffMed，则像素i属于中心像素的超像素; 否则，i为未被确定的像素。

2.3 特征最佳阈值分析

结合影像信息，通过多次对不同特征的验证，选择均值(Mean)、亮度(Brightness)、形状指数(Shape Index)、长宽比(Length/Width)、自定义植被指数(custom vegetation index,CVI)、各波段灰度共生矩阵熵(GLCM Entropy)和对比度(GLCM Contrast)以及红、绿、蓝3个波段。

均值由构成对象的全部n个像素的灰度值Cn计算得到，均值和亮度的公式分别为：

学校可以开展针对任务型教学法的观课、评课比赛。通过学习其他教师的教学优势，提高自身素质，定期检查教案，评比教案。教师需要反复收集材料，处理材料，设定任务，精算时间。这是一个班级成功的关键。备课是一项艰苦的心理活动，教师必须在有限的时间内计划好所有的步骤，准备应对紧急情况的策略。与没有任何准备的纯教学相比，它有不同的效果。在任务的设计上，一个课时的任务数量要根据教学内容来设置。它不能太多或太少。Skehan曾说过，“任务型教学的核心是让学生通过学习语言完成任务。”[1]任务设置必须有针对性。通过完成这项任务，学生将掌握一些技能。老师应该掌握这项工作的困难程度。

(11)

(12)

式中：n为像素个数；L为图层数；CLi为i层对应的灰度值；nL为影像对象图层的数量；ci为第i层影像对象的光谱值。

长宽比是取影像矩阵长和宽特征值的协方差，得到比值γ：

(13)

式中eigi(i=1,2)为长(宽)协方差矩阵的特征值。

形状指数s公式为：

(14)

式中：e为影像对象的边界长度；A为影像对象的总面积。使用形状指数可以描述影像对象边界的光滑度，影像对象越破碎，则形状指数越大。

CVI公式为：

(15)

式中：G为绿波段值;B为蓝波段值;R为红波段值。

熵(GLCM Entropy,E)和对比度(GLCM Contrast,C)的公式分别为：

(16)

(17)

首先对绿地进行提取得到烟草的候选区域，利用以上特征来计算超像素的各个特征值，分别进行计算和分析，结合监督分类，将绿地分为烟草区域和非烟草区域两部分，对比两类区域不同特征的变化。通过多次实验，得到差别最为明显的特征分别为均值、亮度、自定义植被指数和灰度共生矩阵对比度4个特征，具体如图3所示。由于烟草和非烟草的数据量都较大，在进行特征统计和分析时，选用该特征每一阶段的平均值作为实际使用值，减少了大量的冗余数据。从图中可以看出，烟草的光谱均值、亮度值和灰度共生矩阵对比度的值均处于非烟草同种特征值的上方，如图(a)、(b)、(d)所示； 从图(c)中可以看出，烟草的CVI指数的波动范围明显比非烟草的波动范围小，大概稳定在0.1和0.17之间，以上特征能较好地将烟草区域和非烟草区域区分开。

3 结果与分析

3.1 植被提取结果

通过植被提取算法，得到影像的绿地提取结果，如图4所示。从图中可以看出，植被从影像中被完全提取出来，裸地、土壤和建筑物的信息被全部剔除，减少了后期对烟草提取的大量干扰。

3.2 分割结果

由于无人机的拍摄高度不同，导致3景影像中烟草烟叶大小相差较大，分割尺度也不同。利用FS超像素算法对植被提取结果进行分割，经过多次实验，得到相对最优分割尺度，其中： 数据1分割尺度为2 500，如图5(a)所示； 数据2分割尺度为2 300，如图5(b)所示； 数据3分割尺度为3 000，如图5(c)所示。

以FS超像素分割尺度为基础，利用多尺度分割算法对植被提取结果进行分割，计算公式为：

(18)

式中：Len为多尺度分割的分割尺度；N为影像的总像素大小；M为FS超像素算法的分割尺度。计算得到3景影像分割尺度分别为25，21和20，分割结果如图6所示。

3.3 烟株提取结果

本文研究方法得到的提取结果如图7所示。从图中可以看出，白色区域为提取得到的烟草区域，红色部分为烟株的提取边界，和真实烟株相比较可看出边界一致性较好，提取得到的图斑形状和烟叶形状高度吻合，通过统计图斑个数，最终得到烟株数目，且大部分的烟草周边虽存在诸多不同地物，但仍然被准确识别并提取。

对比实验采用传统的多尺度分割算法，提取得到的提取结果如图8所示，其中白色区域为烟草提取区域，红色部分为烟叶的提取边界，对比实际烟叶可以看出，提取结果与烟叶实际形状不符，边界一致性较差，提取的图斑破碎，无法对烟株数目进行统计。

3.4 精度评价

对烟株提取结果的精度进行定量评价，本文采用总体精度(Overall accuracy, O)、错检率(False rate, F)和漏检率(Miss rate, M)进行评价，具体定义为：

(19)

式中：FP为错检数目；FN为漏检数目；t为像元总和。

(20)

(21)

式中：m为行像素；n为影像的列像素；RCD为总数中存在的不合格数。

实验中，采用FS算法对烟株进行提取，得到数据1提取数目为650株，实际株数为626株，总体精度为84.28%； 数据2提取数目为490株，实际株数为438株，总体精度为89.05%，数据3提取数目为552株，实际株数为513株，总体精度为82.97%； 采用SLIC超像素算法对烟株进行提取，3景影像的总体精确度分别为54.05%，59.2%和63.7%，由于过分割现象严重，无法对烟株进行数目统计。从精度评价结果来看，3景影像采用FS算法得到的总体精度明显高于传统方法，错检率和漏检率也均低于传统算法。具体数据如表1所示。

表1 烟草提取精度评价Tab.1 Tobacco extraction accuracy evaluation

4 结论和讨论

为解决烟株提取难的问题，实验采用了FS模糊超像素方法对烟株进行提取。结果表明，该方法提取得到的烟株数目与实际数目相差较小，相比传统算法，该算法在总体精度上有大幅提高。总体而言，实验结果能够满足小范围内烟草的自动化提取，且提取得到的烟叶边界一致性更好。

但实验过程中依然存在诸多问题： ①烟叶形状不规则，且不同生长时期的烟叶大小和颜色差异较大，同物异谱或异物同谱现象普遍，导致被错识或漏识； ②无人机遥感影像分辨率较高，地物成像更为清晰真实，但在影像中，地物较为复杂，如河流、建筑物和杂草等，导致目标地物与周边地物边界难以区分，边界模糊，这对精细提取带来极大的干扰； ③种植烟草时，烟株间的间距较小，烟叶生长过程中存在互相遮盖的情况，使得目视辨认得到的参考烟株数目存在一定误差，并且很难对其建立适合的模型，利用形态学的方法也较难区分开，这对单株精细提取带来了极大的困难。

针对上述提及的实验中存在的问题，后期研究中还需进行改进和完善，比如可以将无人机影像和多光谱影像相结合，获取更多的烟草光谱信息和特征信息，加强对烟草形状模型构建的研究等，从而得到更多准确的烟株信息。此外，还将在后续的工作中，获取更高空间分辨率的无人机影像，并研究空间分辨率对现有方法的影响。