刘东 欧阳安 陈聪 李亦白
摘要:农田边界识别对智能农机装备作业具有重要的指导性作用,为实现农田边界的精准识别,提出一种基于归一化植被指数的农田识别方法。由于农田图像地物信息复杂,普通RGB图像处理结果受环境影响较大,模型鲁棒性差,为解决这一问题,通过测绘无人机获取农田多光谱数据,基于不同区域归一化植被指数(NDVI)的差异,利用大津阈值分割法实现农田的有效分割。针对杂草和树木等过分割问题,通过计算联通区域的大小与长宽比的方法,在保证农田识别精度的情况下,减少其他因素干扰,最后通过Canny边缘检测算法提取农田边界。通过验证,本研究方法对农田的识别准确率达95%以上,可以为智能农机装备提供作业环境数据。
关键词:农田;边界识别;植被指数;NDVI;联通区域
中图分类号:S127 文献标志码:A
文章编号:1002-1302(2022)11-0196-06
收稿日期:2022-03-29
基金项目:国家重点研发计划(编号:2017YFD0700601-2);中国农业科学院科技创新工程[编号:农科院办(2014)216号]。
作者简介:刘 东(1996—),男,山东聊城人,硕士,研究方向为农业机械化工程与农业信息管理。E-mail:liudong_96@ 163.com。
通信作者:欧阳安,博士,助理研究员,研究方向为农业机械化及农机装备、智能制造等产业发展和政策。E-mail:oyangann@foxmail.com。
随着智能农机装备的快速发展,精细化作业、智能化作业要求的不断提高,无论是自动驾驶的智能农机装备还是智慧农业、无人农场,作业环境的感知与获取都是前提与基础,尤其是农田边界、障碍物等作业环境信息,不仅影响作业范围的确定,对作业方式和作业路径都有较大的影响。以植保无人机为例,目标地块的农田边界需要通过人工打点标记或飞机打点标记的方式确定,不仅消耗人力物力,还严重制约了作业效率。因此迫切需要一种能够自动、快速识别农田的方法,为智能农机作业提供数据支撑。目前遥感技术已经被广泛应用在土地利用、地质灾害、环境监测、测绘等多个研究领域,尤其是遥感技术与无人机相结合形成的无人机遥感技术,不仅操作简单灵活可用于多种场合且获取的遥感数据分辨率也比较高,因此利用无人机遥感影像实现农田道路的识别与信息提取得到了越来越多学者的关注。
实现作业环境信息的自动提取,尤其是农田地块的有效识别,就是将图形进行分割,常见的图像分割方法有基于阈值的分割方法、基于边缘的分割方法、基于区域的分割方法、基于聚类分析的分割方法、基于数学形态学方法和基于人工神经网络的方法等。随着深度学习理论和技术的成熟,图像信息提取的效果和效率都得到了大幅度的提升,图像分类、语义分割、全连接网络等以深度学习为背景的图像处理技术也得到了广泛的应用。杨亚男等设计了FCN-8s模型与DeseCRF模型相结合的梯田识别方法,该方法对山脊区梯田、密集区梯田和不规则梯田的识别精度可达86.85%,可用于无人机遥感梯田识别。在传统图像分割方法中,陈伊哲等分别利用基于边界和基于区域的2种图像分割方法对农田地块图像进行处理与试验,结果表明利用微分算子的图像边界分割算法虽然能够有效识别出农田地块的边缘,但是对噪声有放大作用;而利用阈值法的图像区域分割算法可以很好地消除农田地块图像的噪声影响。针对梯田边缘识别,张宏鸣等将正射影像与梯田坡度数据融合,研究了基于Canny算子的粗边缘提取方法和基于多尺度分割的精细边缘提取方法,梯田提取精度可达84.9%。吴晗等在多尺度组合聚合(MCG)分割方法框架下,研究了影响边界提取准确性的最优分割尺度选择问题,试验结果表明面向農田边界提取的最佳地面采样距离为30 cm,最优分割尺度为[0.2,0.4],整场景总体地块边界识别准确率可达90%以上。
上述研究虽然都是针对农田识别,但处理对象都是RGB图像,由于农田环境信息复杂,无论是传统图像处理方法还是基于机器学习的方法,农田识别精度均不高,尤其是杂草、树木、田埂等,严重影响了识别效果。针对上述问题,本研究使用无人机搭载多光谱相机获取农田多光谱影像,基于植被指数实现农田的高效识别,通过判断联通大小与长宽比的方法,减小树木与杂草对识别效果的影响。
1 图像获取
农田影像拍摄于2020年11月,拍摄地点为江苏省南京市栖霞区太平村(32°02′651″N,118°52′301″E),图片采集使用极飞M500 2019遥感无人机,机身质量为10 kg,最大负载为6 kg,无人机飞行高度为 60 m,飞行速度为5 m/s,垂直拍摄,数据采集时间为12:00—14:00。无人机搭载极飞XCam农田多光谱相机,该相机可捕捉4个波段的作物高清影像及高清RGB可见光影像,其中四光谱通道高感光CMOS传感器可涵盖的4个波段的波长分别为550、660、735、790 nm,多光谱相机像素为 2 000 万pixel,图像分辨率为3 863×3 648 pixel,相机质量为 0.85 kg,图1为拍摄的农田影像。试验过程中,将50 cm×50 cm的标准白板放置在试验地块之上,作为遥感数据的辐射校正数据,且通过预设相机的畸变矫正数据,保证采集图像清晰,同时方便后期地图的拼接处理。数据采集结束后,通过Xsation将采集的单张RGB照片拼接在一起,得到完整的农田地块图像,如图2所示。
2 研究方法
2.1 多光谱数据预处理与植被指数选择
为消除和修正辐射误差引起的图像畸变,首先要对多光谱数据进行辐射校正。本次试验所获取影像的光谱分辨率为10 nm,图形的空间分辨率为0.02 m×0.02 m,对白色校正区域的光谱数值取平均值,使用公式(1)对多光谱遥感数据进行辐射校正。
R=I-BW-B。(1)
式中:I表示图像某波段的平均光谱值;W表示该天该波段标准白色校正区域光谱均值;B表示该天将镜头盖住时该波段的像素均值;R为经过辐射校正后该天该波段的光谱反射率。
植被指数作为能够度量地表植物状况的一种指标,被广泛应用在多个领域。常用的植被指数包括比值植被指数(RVI)、差值环境植被指数(DVIEVI)、增强型植被指数(EVI)、归一化植被指数(NDVI)、绿度植被指数(GVI)、调整土壤亮度的植被指数(SAVI)、土壤调整型植被指数(MSAVI)等,可通过植被在近红外、红光、绿光和蓝光波段的遥感反射率计算得到。各植被指数的具体应用范围见表1。
其中,归一化植被指数对绿色植物敏感,与植物分布密度呈线性关系,是植物生长状况和空间分布密度的最佳指标,常被用于植被监测。NDVI主要是对2个波段的特征进行对比,即红光波段中叶绿素的色素吸收率和近红外波段中植物体的高反射率,该指数的输出值范围为[-1,1],当NDVI值较低(≤0.1)时,表示岩石、沙石或雪覆盖的贫瘠区域;当NDVI值中等(0.2~0.3)时,表示灌木丛和草地;当NDVI值较高(0.6~0.8)时,表示温带雨林或热带雨林。为更加高效的识别农田地块,本研究选择归一化植被指数,其计算公式为
NDVI=R-RR+R。(2)
式中:R代表光谱;下标数字代表指定长度(nm)的波段。
由于光谱仪器的光谱分辨误差为±30 nm,因此R用790 nm波段代替,R用660 nm波段代替。圖3为计算后得到的NDVI图像。从图3中可以看出,图像中带有植被的地方,包括农田与道路两旁的树木都呈现出绿色,NDVI取值范围为[0.15,0.28],而道路及池塘所在位置的NDVI取值范围为[-0.31,-0.11],所呈现的颜色也是与之对应的橙色。利用植物与非植物的NDVI值不同这一特点,可以实现农田地块的识别提取。
2.2 农田地块特征提取
由于NDVI值可以较好地反映植被与非植被间的差距,因此可用于植被覆盖时农田地块的识别,本研究基于图像的NDVI值,通过阈值法提取农田地块信息。因为每幅图像的环境不同,所对应的阈值也会有所不同,为实现农田的自动识别,需要用一种自动程度高,可自动选择阈值的算法。大津法(OTSU)作为一种常用的确定图像二值化分割阈值的算法,由日本学者大津于1979年提出,该方法又被称为最大类间方差法,它计算简单,不受图像亮度和对比度的影响,在图像处理中得到了广泛的应用。大津阈值法通过计算图像的灰度特性,将图像分成背景和前景2类。方差作为衡量灰度分布均匀性的一种度量,背景和前景之间的类间方差越大,说明构成图像的2个部分差别越大,当部分前景错分为背景或部分背景错分为前景都会导致2个部分差别变小,因此方差最大也就意味着错分概率最小,分割效果也最好。但该方法对图像噪声敏感,只能针对单一目标进行分割,在本研究对象中,归一化植被指数将图像分为了植被区域和非植被区域2个部分,现只对植被区域进行识别,因此不会影响分割效果,故本研究选择最大类间方差法即大津阈值法作为图像分割的方法。分割效果如图4所示,大津阈值法可以较好地分割农田区域,但是包含很多噪声点和其他区域。
2.3 二值化图像优化
在提取的二值化图像中,已经较好地实现了农田地块的分割,其中以道路相隔的农田与农田分割效果明显,农田地块的边界都比较清晰;以田埂相隔的农田分割效果整体来说也比较明显,但存在个别地块之间分割不明显,部分地块面积缺失等现象。提取的二值化图像中还存在以下3个问题:(1)存在噪点干扰;(2)部分田块内存在孔洞,存在提取不完整等现象;(3)分割农田地块时,同样分割到了道路两旁的树木。
为有效去除图像经大津阈值法分割后的噪声点,对二值化图像进行去噪处理。常用的去噪算法包括基于空间域的中值滤波、基于小波域的小波阈值去噪和形态学滤波。在本试验中若直接使用形态学滤波处理方法,虽然可以去除噪点,但对提取的农田地块的边界范围也有较大的影响,所以不宜直接使用形态学滤波处理方法。为保证既不损害农田边界,又能去除噪声,本研究采用删除较小联通区域的方法,使用区域连接函数bwlabeln标记二值化图像的联通区域,大联通区域对应的是农田地块,小联通区域对应的则是噪点,计算出各联通区域的面积(像素个数),将像素点不足75的区域认为是噪点,图5为标记的某处连通区域。
针对道路两旁树木的问题,不难看出该区域都是以带状形式存在,因此可以通过判断各联通区域的最小矩形的长宽比来断定该联通区域是否为道路树木,本研究将长宽比大于50的区域认为是识别的道路两旁的树木,如图6所示,首先通过cvBoundingRect函数计算各联通区域最小矩形的长宽比,将长宽比大于50的联通区域删除,剔除二值化图像中道路树木的干扰。针对田块内存在的孔洞问题,若直接使用膨胀运算,虽然可以填充孔洞,但边界范围也会扩大,降低农田边界识别的准确率,因此本研究采用孔洞填充函数imfill实现农田内部图像缺失区域的填充。flood fill算法是从边缘处开始寻找,如果有多余2处的非边缘闭合区域,则进行填充,因此对边缘处的区域不进行填充,对内部空缺的小区域进行填充,处理后二值化提取效果如图7所示。从图7可以看出,无论是被道路间隔开的农田还是被田埂间隔开的农田均实现了有效分割。
为实现对农田边界信息的提取,还需对二值化图像进行边缘检测,常用的边缘检测算子有Roberts算子、Sobel算子、Marr-Hildreth算法和Canny算子。Roberts算子通过计算对角线方向相邻2个像素的差值进行边缘检测,该算子定位较准确,但对噪声比较敏感,检测水平和竖直边缘效果好于斜向边缘。Sobel算子通过判断像素点上下、左右邻点灰度值加权差进行边缘检测,该算子对噪声有较好的平滑作业,但边缘定位精度不高。Marr-Hildreth算法即拉普拉斯算子,该算子属于二阶微分算子,首先采用高斯低通滤波对图像进行滤波处理,再采用拉普拉斯模板对其进行卷积,利用边缘处二阶导函数出现零交叉的原理检测图像的边缘,但该方法对噪声较敏感。Canny边缘检测算法可以分为以下几个步骤:首先用高斯滤波器对图像进行平滑处理,然后计算各梯度幅值图像和角度图像,并对梯度幅值图像进行非最大抑制,最后用双阈值处理和连接分析检测并连接边缘。Canny算子在边缘检测中效果较好,且去噪能力强,但计算复杂,检测时间较长。为保证检测结果,使用Canny算法对农田二值化图像进行边缘检测,效果见图8。
3 结果与分析
为验证分割效果,引用以下2个公式进行验证:
PA=TPTP+FN×100%;(3)
CA=TPTP+FP×100%。(4)
式中:PA表示分割出来的地块占原地块的比例;CA为分割出来的地块中正确的比例;TP为分割地块被正确分割的像素数;FN为分割地块未被分割的像素数;FP为分割到的非分割地块的像素数。
运用上述公式,对每块农田依次进行验证,最后将各块农田的平均值作为本研究算法的准确率。该图像中共有21块农田,算法识别结果为21块,由表2可知,在21块农田中,PA最大值为97.7%,最小值为86.6%;CA最大值为98.4%,最小值为85.5%。本研究算法对目标地块识别的准确率达95%以上,识别效果基本符合实际情况。在农田识别效果中,杨亚男等设计的基于FCN-8s模型与DeseCRF模型结合的梯田识别方法准确率达86.85%;吴晗等的研究在最优分割尺度下地块边界识别的准确率达90%;张宏鸣等基于多尺度分割的方法,对梯田的提取精度达84.9%。本研究結合多光谱数据,基于NDVI实现对农田的准确识别,识别准确率达95%以上,均高于RGB影像的识别效果,因此本研究算法可以有效实现农田识别提取,为智能农机作业提供数据支撑。
4 结论
针对农田边界提取问题,本研究基于归一化植被指数,结合大津阈值法实现农田的有效识别,研究结果表明,利用归一化植被指数对绿色植物敏感的特性,根据不同区域输出的NDVI值的差异,实现农田分割。对于树木、杂草等背景信息的干扰,为保证农田区域识别的准确率,本研究通过计算联通区域的大小与长宽比,去除较小联通区域和长宽比较大的联通区域以减少其他干扰信息对农田识别的影响。通过验证,本研究算法对农田识别的准确达95%以上,可用于指导智能农机作业。
参考文献:
[1]曹光乔,李亦白,南 风,等. 植保无人机飞控系统与航线规划研究进展分析[J]. 农业机械学报,2020,51(8):1-16.
[2]周志艳,明 锐,臧 禹,等. 中国农业航空发展现状及对策建议[J]. 农业工程学报,2017,33(20):1-13.
[3]晏 磊,廖小罕,周成虎,等. 中国无人机遥感技术突破与产业发展综述[J]. 地球信息科学学报,2019,21(4):476-495.
[4]李德仁,李 明. 无人机遥感系统的研究进展与应用前景[J]. 武汉大学学报(信息科学版),2014,39(5):505-513,540. [5]宋建涛,李大军,郭丙轩. 基于遥感影像的地块边界半自动提取[J]. 北京测绘,2019,33(10):1171-1175.
[6]何 磊,李玉霞,彭 博,等. 基于生成对抗网络的无人机图像道路提取[J]. 电子科技大学学报,2019,48(4):580-585.
[7]祝思君. 基于深度学习的无人机遥感图像目标识别方法研究[D]. 北京:北京建筑大学,2018.
[8]王小娟. 无人机在国土资源调查监测方面的应用及研究[J]. 工程建设与设计,2017(8):209-211.
[9]莫 玲,林 维,姚 屏,等. 基于机器视觉的道路边界识别算法研究[J]. 广东技术师范大学学报,2020,41(3):28-32,55.
[10]杨亚男,张宏鸣,李杭昊,等. 结合FCN和DenseCRF模型的无人机梯田识别方法研究[J]. 计算机工程与应用,2021,57(3):222-230.
[11]陈伊哲,汤修映,彭彦昆,等. 农田地块图像分割技术研究[J]. 农业机械学报,2010,41(增刊):253-256.
[12]张宏鸣,全 凯,杨亚男,等. 基于深层残差网络的山区DEM超分辨率重构[J]. 农业机械学报,2021,52(1):178-184.
[13]吴 晗,林晓龙,李曦嵘,等. 面向农业应用的无人机遥感影像地块边界提取[J]. 计算机应用,2019,39(1):298-304.
[14]王正兴,刘 闯,Huete A. 植被指数研究进展:从AVHRR-NDVI到MODIS-EVI[J]. 生态学报,2003,23(5):979-987.
[15]汪小钦,王苗苗,王绍强,等. 基于可见光波段无人机遥感的植被信息提取[J]. 农业工程学报,2015,31(5):152-159.
[16]孙 刚,黄文江,陈鹏飞,等. 轻小型无人机多光谱遥感技术应用进展[J]. 农业机械学报,2018,49(3):1-17.
[17]张智韬,魏广飞,姚志华,等. 基于无人机多光谱遥感的土壤含盐量反演模型研究[J]. 农业机械学报,2019,50(12):151-160.
[18]赵学鹏,王媛媛,卢龙辉. 基于生态系统服务价值的艾比湖流域绿洲生态用地安全格局构建——以博尔塔拉蒙古自治州为例[J]. 江苏农业科学,2021,49(14):213-219.
[19]姜慧研,司岳鹏,雒兴刚. 基于改进的大津方法与区域生长的医学图像分割[J]. 东北大学学报,2006,27(4):398-401.
[20]李了了,邓善熙,丁兴号. 基于大津法的图像分块二值化算法[J]. 微计算机信息,2005(14):76-77.
[21]段瑞玲,李庆祥,李玉和. 图像边缘检测方法研究综述[J]. 光学技术,2005(3):415-419.
[22]徐天成,吴 敏,贺冬仙,等. 机器视觉在农业工程中的应用[J]. 农业工程,2021,11(8):40-48.