基于无人机图像的小麦灌浆期叶片氮含量估算

王梦玄，沙正霞，杨宝华，高 远

（安徽农业大学 信息与计算机学院，安徽 合肥 230036）

0 引言

小麦作为三大主要种植的粮食作物之一，其氮含量营养诊断标准越来越受到关注，尤其是非破坏性的监测方法。利用遥感平台快速、高效、无破坏性的特点去获取作物的表型信息是人们一直期望的，为此科学家们研究设计了地面遥感平台［1］和低空遥感平台［2］。地面遥感平台具有部署移动方便、空间分辨率高等众多优势，但是也存在着价格昂贵、监测范围有限等问题。Zaman等［3］于2015 年将ADC- Lite 多光谱仪搭载在无人机上，提出在低氮环境下根据多光谱成像得到的归一化差分植被指数（normalized difference vegetation index，NDVI）估测表型信息，研究NDVI与玉米粮食产量、灌浆期下作物衰老系数之间的相关性，结果表明基于无人机进行遥感图像下的作物表型分析方法有望作为提高作物育种效率的重要手段。Liebisch 等［4］研究了氮素含量、冠层覆盖等变量与玉米NDVI 的潜在关系，通过对灌浆期的监测预测其衰老信息，该实验是为了实现对表型信息进行有效的无损方法提取。姚霞［5］基于无人机小麦全生育期遥感图像，利用颜色植被指数、氮充足植被指数准确估测植株氮浓度、地上部生物量，以及在不同施氮量的条件构建近红外光谱波段与氮营养指数的关系，其决定系数可达0. 9 以上。江杰等［6］和刘小辉［7］利用无人机获取小麦关键生育期——灌浆期的遥感影像，提取颜色特征构建植被指数，并建立基于颜色植被指数的叶绿素含量和叶片氮积累量的估算模型，结果表明在灌浆期所建立的反演模型精度达到0. 7 以上，为实现作物生长的无损监测提供了有力证据。陈鹏飞等［8］通过获取不同生育期棉花的无人机多光谱影像，建立了影像纹理特征与植株氮浓度间的反演模型，从而证明了通过无人机遥感图像提取的纹理指标可作为重要信息用于监测作物生长状况。

随着无人机应用的普及，在作物监测中取得了很多成果［9-12］。但是，利用无人机快速获取作物生长的图像，受到光线、角度及作物冠层变化的影响，小麦特征的提取存在很大误差，为了更准确提取反演作物生长的信息量用于对农业生产过程的指导，有必要研究无人机图像的处理技术。另外，灌浆期是小麦生长的重要时期，在农田管理中具有一定的代表性。因此，本文选取小麦灌浆时期，基于无人机开展了遥感图像的拼接和融合的研究，提取小麦冠层的颜色特征，对其变换构建了不同输入量的预测模型，结果表明该方法快速、准确、成本低，可为无人机在农业上的应用提供指导。

1 材料与方法

1.1 实验数据的采集

1.1.1 图像获取 本文研究的小麦无人机遥感图像数据来源于安徽农业大学产学研究基地——合肥市庐江县郭河镇实验基地。于2019 年5 月利用无人机航拍采集小麦灌浆期遥感图像，航拍高度设置为35 m。本次实验所采用无人机型号为精灵3 Pro，其航拍持续时间约20 min，镜头焦距为20 nm，图像分辨率为4 000× 3 000，Micro SD 卡的存储容量为32 G，最大飞行高度为120 m，精确悬停范围为30 ～300 cm。为了获取高质量的小麦灌浆期遥感图像，无人机航拍时的参数设置包括飞行速度为3 m/s，相机拍摄角度为垂直向下90°。

1.1.2 叶片氮含量获取 航拍当日将采集回来的灌浆时期小麦叶片切碎放入铝盒中，然后将铝盒放入烘箱中烘干1 h，最后将其放入鼓风干燥箱中进行干燥，直至其质量不变，对干燥后的样品进行研磨筛选，利用凯氏定氮法测量筛选后的小麦叶片氮含量，其氮素的计算如下：

其中X为氮含量，c为溶液浓度，V1为样本滴定消耗的硫酸体积，V2为空白样滴定消耗的硫酸体积，V3为消化液体积，m为样品质量，F为氮换算为蛋白质的系数。

1.2 尺度不变特征变换（SIFT）拼接算法

通过航拍采集的小麦灌浆期图像建立高斯差分（DOG）尺度空间，基于所有尺度上的图像位置进行尺度空间极值点的检测，并对极值点的主方向和关键点的特征进一步精准确定，再通过一个拟合精细的模型进行对关键点的精确定位，最后实现特征点匹配［13］。

假设在n维空间中存在着匹配对Dp和Dq，其特征描述符为

其中I1、I2表示两张待融合图像，x1,x2,…,xn对应图像的特征点。

两个127 维特征向量的欧氏距离为

其中Dp(i)和Dq(i)对应图像的两个特征点。

利用特征点通过欧氏距离找出最近邻距离Di和次近距离Dj，计算出Di和Dj的比值d，即

将比值d与设定的阈值T比对，进而判定特征点的正确性。当d小于T时，认定为匹配正确，反之为匹配错误，依次遍历图像中的每个点。

匹配完后的点肯定存在错误匹配点，因此本文先利用K维平衡树（KD- Tree）算法［14］对两幅待配准图像进行粗略匹配后，再利用随机抽样一致性（RANSAC）算法［15］对错误匹配点进一步去除，该算法的实现思路［16-17］如下：

步骤一在匹配点集中随机抽取3 个匹配对，估算变换矩阵，并求出变换矩阵支撑集E；

步骤二将数据集中的数据与E的投影偏差值计算出来，若投影偏差值小于设定的阈值，则将其存储在内点集I里，其阈值计算公式dv=d2(x-Ex)；

步骤三当存放在内点集I中的元素个数超过内点集Ibest中的个数时，更新Ibest=I，并且更新迭代次数n=n+ 1；

步骤四当迭代次数超过迭代次数的上限（即最大采样次数num）时，本次迭代过程中止。此时可获得最优内点集Ibest，利用最优内点集Ibest计算出透视矩阵F；反之迭代次数加1，重复以上步骤。

利用RANSAC 算法从数据集里找出一条有效的直线。数据集中的点包含有效点和无效点，有效点可以拟合成一条直线，无效点则偏离该拟合的直线，散落在直线两侧。

1.3 改进的加权平均算法

1.3.1 算法原理 为了实现融合后的图像在亮度上趋于一致，本文提出改进的加权平均算法，针对图像融合后的重叠区域，将其中一幅图像的重叠范围采用线性的方式过渡到另外一幅图像的重叠范围上，并且融合后图像重叠范围的灰度值是根据原图像的灰度值按照一定的权重比例计算得到。图像融合完成后，对重叠区域的亮度进行调整。分别统计出两幅图像的灰度值，计算两幅图像的灰度比值，进而依据比值结果对融合后图像的重叠区域的灰度值重新进行调整。

设置两张待融合图像相对应的灰度值分别为f1(x,y)和f2(x,y)，并假设重叠范围的宽度为W，引入权重分配因子μ(0 ≤μ≤ 1)用于针对两幅待融合的图像重叠区域的灰度权重值重新赋值，引入灰度比值k对其灰度权重值进一步优化调整。将两幅图像沿x轴线重叠范围的灰度最大值和最小值分别表示为xmax和xmin。则引入的权重因子的计算公式为

图像灰度比值（k）计算为

其中P和Q表示图像的高度和宽度。

图像融合的重叠区域像素灰度值f(x,y)为

1.3.2 融合评价指标 对融合图像的评价指标选取了均值（mean,ME）、标准差（standard deviation，STD）、信息熵（information entropy, E）和平均梯度（average gradient, AG）。

1.4 植被指数的选取与计算

植被指数是遥感领域用于作物生长无损监测的有效参数，选用绿度比值差异指数［18］（MGRVI）、绿度比值植被指数［19］（GRVI）、过绿指数［20］（ExG）和抗大气植被指数［21］（VARI）4 种基于RGB 色域的颜色指数（R 代表红色（red），G 代表绿色（green），B 代表蓝色（blue）），其具体计算公式如表1 所示。

表1 植被指数公式Tab. 1 Vegetation indices formulas

2 结果与分析

2.1 拼接特征图

图1 为利用SIFT 算法对小麦的灌浆期遥感图像的特征点进行提取。先利用KD- Tree 算法对特征点经过粗略匹配，再利用RANSAC 算法进一步剔除KD- Tree 处理后出现的错误及其异常特征匹配对。图1 中绿色的点表示SIFT 对小麦灌浆期图像提取后的结果。

图2 是对小麦灌浆期的图像特征点（关键点）匹配结果。图2（a）所示是利用KD- Tree 算法对SIFT 算法提取出的图像关键点进行特征粗略匹配后的结果，图2（b）是利用RANSAC 去除粗略匹配中出现的错误匹配对的结果。图2（a）中标记的红色圆圈是错误的特征匹配对，其产生原因是由于两幅图像中包含相似的结构，从而引起了错误的匹配结果，而错误的特征匹配结果会对变换矩阵支撑集的估算产生影响，导致后续的图像拼接效果差。为了解决这一问题，采用RANSAC 对图2（a）里出现的错误特征匹配对进一步删除，得到图2（b）的效果图，其中特征匹配对由原来的247 个减少为183 个。

图1 小麦灌浆期的SIFT 特征点提取结果Fig. 1 Results of SIFT feature points extraction at filling stage of wheat

图2 小麦灌浆期的特征匹配结果Fig. 2 Results of characteristic matching at filling stage of wheat

2.2 融合结果

对完成配准后的小麦灌浆期遥感图像，利用改进的加权平均法分别与直接平均法、小波变换法和加权平均法实现了图像融合，并对其结果进行比较。图3 为灌浆时期的融合结果，从图3 可以看出，采用直接平均法和小波变换法对小麦遥感图像进行融合时，融合后的图像拼接接点处出现了细微的叠压痕迹。而采用加权平均法对小麦遥感图像进行融合时，有效消除了重叠区域出现的拼接痕迹，但融合后的图像重叠区域出现了明暗亮度差异现象。基于改进后的加权平均方法的融合结果，不仅消除了其他方法融合后出现的阴影现象，还使得融合后的图像在亮度上趋于一致。

图3 小麦灌浆期的融合结果Fig. 3 Results of fusion at filling stage of wheat

基于融合后图像的评价指标选取了ME、STD、AG和E。如表2 所示，表中的均值、标准差、平均梯度和信息熵的值越大，代表融合后的图像质量越高。基于改进的加权平均法的融合结果，对比直接平均法，其评价系数分别提升了24% 、34. 6% 、43. 1% 和9. 8% ；对比小波变换法，其评价系数分别提升了8. 8% 、28. 7% 、18. 5% 和7. 2% ；对比加权平均法，其评价系数分别提升了2. 8% 、5. 6% 、5. 1% 和3. 5% 。综上所述，基于本文提出的方法对图像融合后的质量比其他3 种方法融合后的图像质量更高。

表2 灌浆期下4 种融合方法的图像评价指标比较Tab. 2 Comparison of results of four fusion methods during filling stage

2.3 颜色特征提取

颜色特征包括RGB 模型和HIS 模型，其中HSI 模型中的H 代表色调、S 代表饱和度、I 代表亮度。利用RGB 模型和HSI 模型对融合后的遥感图像实现颜色特征提取。灌浆时期的部分小麦遥感图像的颜色特征提取内容如表3 所示，依次为颜色特征分量R、G、B、H、S和I的均值。由表3 可以看出，R、G、B的平均值都在60 ～200 之间，其最大值分别为192. 377、167. 397 和151. 170，其最小值分别为119. 679、126. 667 和61. 106，H、S、I分量的均值低于0. 7。

表3 基于小麦遥感图像的颜色特征参数均值Tab. 3 M ean values of color characteristic parameters based on wheat remote sensing images

2.4 相关性分析

本研究基于灌浆期小麦遥感图像拼接融合后的结果进行RGB 特征的提取，但由于航拍获取图像过程中RGB 特征易受到背景和航拍角度等因素的干扰，所以将其转化到HIS 特征空间，并以RGB 特征构建4 种常见植被指数（VIs）；与对应的氮含量（LNC）进行相关性分析，结果如图4所示。

由图4 可知，RGB、HIS 各分量与LNC 的相关系数绝对值均不超过0. 5，其相关性较弱；VIs与LNC 的相关性较高，其绝对值分别为0. 660 8、0. 729 5、0. 699 9 和0. 700 5。

2.5 基于混合特征的氮含量估算模型

针对灌浆时期的小麦，从拼接和融合后的遥感图像中提取出RGB 颜色特征，并转化为HIS特征及构建VIs，并基于SVR 模型按照3∶1 的比例将样本数据划分为校正集和验证集进行氮含量估算。分别构建基于RGB 特征、HIS 特征、4 个VIs 和HIS 特征+ VIs 组合的氮含量估算模型。

图4 相关系数分析Fig. 4 Analysis of correlation coefficients

利用SVR 模型预测灌浆时期的小麦叶片氮含量，将其预测的小麦叶片氮含量与实际测量的叶片氮含量进行比较分析，所得到的结果如表4 所示。对比表中灌浆期下所建立的不同模型的校正集和验证集参数值大小，基于HIS 特征+ VIs 组合的预测模型精度大小比仅依据单一特征值的预测精度高。它比基于RGB 特征预测模型的校正集系数高38% 左右，验证集系数高50% 左右，比HIS 预测模型的校正集RC2系数高14% 左右，验证集RP2系 数高37% 左右，比VIs预测模型的校正集RC2系数高16% 左右，验证集RP2系数高14% 左右。因此，利用小麦遥感图像的HIS 特征+ VIs 组合用于小麦的叶片氮含量预测更加准确。图5 为基于HIS 特征+ VIs 组合后的小麦叶片氮含量的预测结果，结果显示校正集RC2系数为0. 891 3，RMSE系数为0. 305 9，验证集RP2系数为0. 774 0,RMSE系数为0. 363 1。决定系数值RC2、RP2越接近1，RMSE越接近0，其对应模型预测结果越准确，预测点的离散程度越小，即在图中表现为数据点更加集中分布在拟合线周围，故基于HIS 特征+ VIS 组合的小麦叶片氮含量反演模型预测效果更好。

表4 小麦叶片氮含量预测结果比较Tab. 4 Comparison of prediction results of wheat leaves nitrogen content

图5 基于HIS特征+VIs组合的小麦叶片氮含量的预测结果Fig. 5 Prediction results of wheat leaves nitrogen content based on HIS characteristics+ VIs combination

3 结语

本文利用无人机航拍采集灌浆时期小麦遥感图像。通过SIFT 算法对灌浆期小麦图像进行关键点提取，利用KD- Tree 算法和RANSAC 算法对图像进一步匹配，再运用不同的融合算法进行处理。基于改进的加权平均方法的融合结果，不仅消除了其他几种方法融合后的阴影现象和重叠区域出现的拼接痕迹，还使融合后的图像在亮度上趋于一致。基于提取出的灌浆期小麦图像的RGB 特征、HIS 特征和植被指数（VIs），分别构建叶片氮含量的估算模型。结果表明基于HIS 特征+ VIs 组合预测小麦叶片氮含量模型精度更高，该研究结果可以推广到小麦其他时期以及其他作物的无人机监测中。