席顺忠,李 勇※,葛 莹,吴 彤,任孟杰,袁晓慧,庄翠珍
(1. 河海大学地球科学与工程学院,南京 211100;2. 河海大学水文水资源学院,南京 210098;3. 新平褚氏农业有限公司,新平 653407)
随着国民经济及社会可持续发展对遥感数据的需求日益提高,无人机(UAV)遥感得到了广泛的关注和应用,成为对地观测数据的有效采集手段。由于其可以在短时间内到达感兴趣的区域,因此对地物的观测和监测变得更加容易和快捷,无人机已广泛应用于多个领域,如植被监测、精准农业和考古遗址的异常检测等。然而,无人机获取的数据由于环境因素也常常会遇到一些问题,如由于光照度的剧烈变化引起同一架次的影像亮度不均匀。即便是在晴朗无云的天气下,当地面有水体等反光地物时,由于拍摄角度的不同,有些影像中会产生耀斑,出现除反光区域外其他区域整体偏暗的现象。这会导致同一地物在不同影像中呈现严重的光谱特征不一致,在后续无人机影像拼接结果中出现地物光谱失真现象。
多光谱无人机在农作物的水分、长势、氮素含量和病虫害监测等研究中发挥着重要作用。辐射校正是遥感定量化的基础,其精度决定了后续遥感定量化分析的准确性。因此对无人机多光谱相机采集的影像进行辐射校正,其重要性不言而喻。目前在无人机低空遥感领域研究最多的辐射校正方法是场地替代定标法。该方法是在无人机影像目标区域范围内放置已知反射率信息的参照板,建立影像DN(Digital number,DN)值与参照板反射率的线性关系,从而得到整张影像内地物的反射率。但是,一个架次的无人机影像通常有上千张,并且每张影像的辐射条件因环境而不尽相同,若为每幅影像设置参照板,工作量巨大难以实现。因此,在辐射校正前应该以含有已知反射率参照物的影像为基准,对其余影像进行相对辐射一致性校正这样只需在有限几幅影像中设置参考板,就可以得到整个架次内地物的反射率。常用的相对辐射一致性校正方法可以分为以下两类:1)非线性校正法,如直方图匹配法(Histogram matching,HM)、基于实时照度信息的校正方法等。直方图匹配法通过调整校正影像和参考影像的灰度直方图,使两者的灰度概率分布尽量接近。该方法快速简单,但只考虑了影像间的亮度差异,导致原始影像中地物的辐射特性被破坏,造成影像灰阶丢失,整体灰度分布失真。基于实时照度信息的校正方法,可以根据环境照度变化剧烈程度选择线性或非线性模型,而且能在不破坏灰度级的情况下完成对影像的辐射一致性校正,但是这种方法只适用于无反光地物的影像中。2)线性校正法,有不变目标法(Pseudo invariant Features)、基于统计回归的校正方法(Statistic regression,SR)和杨贵军等提出的基于SIFT(Scale invariant feature transform,SIFT)特征点匹配的多光谱影像辐射一致性校正方法。以上方法通过影像统计信息、人工选取样本建立样本集或算法自动选择样本集,建立影像之间的辐射校正模型,从而实现辐射一致性校正。这些方法校正光照度变化引起的同一架次辐射不一致问题,往往达到相对良好的效果。但是,在处理水体反光形成的低照度影像时,由于影像整体对比度低、可视化细节少、平均亮度低,上述方法无法选取足够的样本点,并且难以抵抗样本点中的粗差,因而上述方法在处理这类影像时效果通常并不理想。
为此,本研究提出一种无人机多光谱影像辐射一致性校正方法。该方法首先根据基准影像对待校正影像做相对辐射一致性校正,然后进行辐射定标,将影像的DN值转化为反射率,最终实现辐射一致性校正。其中本研究的重点为相对辐射一致性校正,主要包含暗角校正、影像特征提取与匹配、校正模型构建和双边滤波四个步骤。通过本文方法能够有效解决水体反光造成的光谱失真问题,提高受水体反光影响遥感图像的利用率,为后续定量化研究提供精确的数据保障。
试验在云南省中部的玉溪市新平县褚橙庄园(23°19′~24°53′°°N,101°16′~103°09'E)进行。于2021年4月15日当地时间12:00-13:00采集影像,所用无人机为大疆精灵4多光谱无人机(Phantom4-Multispectral,P4M)。该无人机搭载了一体式的多光谱成像系统,集成了1个可见光传感器及5个多光谱传感器,其中多光谱相机成像波段参数如表1所示。每个传感器均拥有200 万像素解析度并配备全局快门,整套的成像系统搭载于三轴云台上,可输出高质量的数据。无人机飞行高度为120 m,所拍摄影像的旁向和航向重叠率分别设定为60%和80%。
表1 P4M各波段的基本参数 Table 1 The basic parameters of each band of P4M
在飞行区域内选取地势平坦无阴影的位置布设1.5 m×1.5 m黑、白无纺布,做为辐射校正的标定布如图 1所示。图1中10英寸白板为ASD-2000光谱仪自带光强标定白板。在无人机飞行前用光谱仪测定黑、白标定布的反射率。
图1 两块标定布各波段影像 Fig.1 Two calibrated images of each band
本研究实验所用的计算机配置如下,CPU:(英特尔)Intel(R) Core(TM) i3-10100F CPU @ 3.60 GHz(3 600 MHz);内存:16.00 GB(2 666 MHz);显卡:NVIDIA GeForce GTX 1650(4 096 MB);操作系统:Microsoft Windows 10 专业版(64位);运行环境:Python 3.7。
本文提出一种水体强反光环境中无人机多光谱影像的辐射一致性校正方法,该方法以含有标定布、无水面耀斑且经过暗角校正的影像为基准,对一个架次其余影像进行相对辐射一致性校正,然后进行辐射定标。主要包括以下步骤:
1)采集无人机影像数据的同时,用地物光谱仪测量标定布反射率。
2)对初始基准影像的相邻影像做相对辐射一致性校正。具体程序流程图如图2所示。
图2 相对辐射一致性校正流程图 Fig.2 Relative radiation consistency correction flowchart
① 暗角校正。减弱单幅影像由于相机镜头原因造成的渐晕现象。
② 利用SIFT算法提取相邻像对重叠区域的特征点并匹配出同名点。其中像对的最近邻特征点欧氏距离与次近邻特征点欧氏距离比值阈值设为0.5。
③ 统计同名点个数,若同名点数小于阈值则执行④、⑤,否则跳过。其中值至少为2,本研究设定为20。
④ 对待校正影像做直方图对比度拉伸。
⑤ 利用SIFT算子对基准影像和拉伸后的待校正影像提取特征点并匹配出同名点。因直方图对比度拉伸不改变影像的几何位置,故将该组同名点作为基准影像和待校正影像的同名点。
⑥ 提取同名点的DN值。
⑦ 判断同名点DN值的MAE(Mean absolute error,MAE)是否大于5,是则执行⑧、⑨,否则跳过。
⑧ 根据RANSACS算法构建相对辐射一致性校正模型。
⑨ 根据校正模型,对待校正影像进行校正,并对校正后的影像双边滤波,去除噪声点。
3)基于航线信息,将校正后影像作为参考影像,继续执行步骤2),直到所有影像完成校正。
4)根据初始基准影像上标定布每个波段的反射率和DN值,构建各自波段的辐射定标方程。
5)利用步骤4)构建的辐射定标方程,将所有影像的DN值转化为反射率。
当相机对着亮度均匀的目标进行数据采集时,影像四角有变暗的现象称为“暗角效应(Vignetting)”。这种效应对于任何成像镜头都是不可避免的,仅是在严重程度上有所差异。
这种暗角效应产生的原因主要有以下三点:一是边角的成像光线与镜头光轴有较大的夹角。沿着视场边缘光线的前进方向看光圈,由于光线与光圈所在的平面有夹角,看到的光圈是椭圆的,所以通光面积减小。镜头光心到胶片的边缘距离较大,同样的光圈直径到达底片的光线夹角较小,亮度必然减小。二是小直径镜片造成边角成像光线不能完全通过,降低了边角的亮度。三是为了提高影像质量,有些镜片的边缘或专门设置的光阑有意挡住部分影响成像质量的边缘光线,造成边角失光。
本研究中的P4M无人机拍摄的影像同样也存在暗角,如图3a所示。因此,暗角校正是对影像做辐射一致性校正不可忽视的一步。
本研究采用厂商提供的辐射状暗角补偿模型进行影像的暗角校正,该模型如下:
其中 ()为影像的像素坐标,为暗角校正后的像素的DN值,(x,y)为暗角补偿的增益函数:
其中,, ....,,为光学参数,由厂商给定,可以在影像元数据信息中读取,为像素点 ,(x,y)到补偿中心的像素距离:
其中和是暗角补偿的影像中心坐标。
为了提高计算效率,本文直接使用无人机厂商提供的6个暗角校正参数,对影像做校正。校正后的效果如图3b所示,从图中可以看出,校正暗角效应后,影像中心部位的亮斑被显著弱化,四周亮度明显提升,整体明暗趋于一致。
图3 暗角校正效果 Fig.3 Vignetting correction effect
影像间的相对辐射一致性校正主要是确定相邻影像同名点的DN值关系,建立校正模型。因此,同名点的匹配尤为重要。常用的特征点匹配算法有SIFT、SURF(Speed Up Robust Feature,SURF)和ORB(Oriented Fast and Rotated Brief,ORB)等。对于不同亮度的影像,SIFT匹配的最好,ORB的匹配准确率最低。本研究需要做特征匹配的两张影像亮度差异较大,因此选用SIFT算法做特征点匹配。
水体强反光造成的宽动态范围低照度影像,除了水面耀斑部分,其他部分整体偏暗。由于这种影像对比度低,并且影像中的地物主要是植被,其纹理相对建筑物而言不够突出。直接对这种低照度影像使用SIFT算法做同名点提取效果并不理想。以Blue波段影像为例,将含有已知反射率标定布、无水面耀斑且经过暗角校正的影像作为参考影像如图4a,有水面耀斑的影像作为待校正影像如图4b,用SIFT算法提取同名点。当像对的最近邻特征点欧氏距离与次近邻特征点欧氏距离比值小于0.5时,只匹配到了2对同名点,如图4c所示。因此,在对影像特征提取与匹配前,有必要先对低照度影像做增强处理。
常用的影像增强算法有灰度变换类、基于直方图类和基于Retinex算法类。其中灰度变化类主要包括:对数变化和Gamma变化等,直方图类主要包括:直方图对比度拉伸、直方图均衡和自适应直方图均衡等,基于Retinex算法主要包括:单尺度Retinex和多尺度Retinex等。
对图4b分别使用上述7种不同影像增强算法进行信息增强。然后利用SIFT算法对信息增强后的影像与图4a进行特征提取并匹配,结果如表2所示。根据表 2可以看出,经过算法增强处理后的影像,使用SIFT提取到的特征点数量显著增加。其中直方图对比度拉伸后的影像与参考影像特征匹配后同名点数量在这几种方法中最多,达到了793个,并且该影像增强算法程序运行时间只需0.053 s;Gamma变换后的影像与参考影像特征匹配点数量最少只有14个;直方图均衡类算法、Retinex类算法以及对数变换虽然有助于提升SIFT算法获取影像特征点,但是与直方图对比度拉伸算法相比仍有差距。
图4 相邻影像及其同名点匹配结果 Fig.4 Adjacent-image pairs and their homologous points
表2 不同方法增强影像信息后匹配结果 Table 2 Evaluation of matching results after different methods of image enhancement
为了验证直方图对比度拉伸算法在其余4个波段对影像信息增强的有效性,用其对待校正影像进行信息增强,然后将信息增强后的影像与参考影像特征匹配。Green、Red、RedEdge和NIR波段的像对同名点数量分别由原来的1、16、5和18增加到了1 230、3 037、1 521和3 197。
因此,本研究在利用SIFT算法提取特征点前先对水体强反光干扰的影像进行直方图对比度拉伸增强信息,从而为后续相对辐射一致性校正模型构建提供足量的同名点。
影像之间的相对辐射一致性校正,就是在影像重叠区域找到同名点,然后根据同名点的DN值建立回归模型,将待校正影像中所有的像素点根据回归模型进行校正。因为直方图对比度拉伸改变的是影像的像素值,不改变其几何位置,所以以上一节中Blue波段待校正影像直方图对比度拉伸后与参考影像特征匹配得到的793对同名点作为参考影像与原始待校正影像的同名点。其中,随机选取70%同名点作为回归数据集,构建校正模型,剩余30%同名点作为验证数据集。提取回归数据集的DN值,利用公式(4)建立线性校正模型。
其中y为参考影像DN值,x为待校正影像DN值,为同名点序数,和为模型的增益和偏置。
最小二乘(Least Square,LS)是常用的线性回归方法,但由于其对粗差敏感,当数据集中存在噪声时回归效果不佳。本研究中的待校正影像是一种低照度影像,不可避免的会存在噪声点,因此选用抗差能力强的RANSAC算法作为线性回归的算法。RANSAC算法的流程如下:
1)随机选择一定数量的样本作为内点。
2)计算适合内点的模型。
3)用模型测试其他所有的点,把落在给定范围内的点放入内点集。
4)记录内点个数。
5)重复以上步骤,直至迭代次数大于。的计算式如(5)式所示:
其中为RANSAC得到正确模型的概率,本研究中设其为0.98;为计算模型参数所需的最小样本数量,本研究设其为2;为内点在数据集中的占比,本研究采用自适应值方法,即一开始设定一个无穷大的迭代次数,然后每次更新模型参数估计的时候,用当前的“内点”比值作为的值。
6)将内点数量最多的模型作为最终的回归模型。
步骤1)~6)中若为粗差则定义为外点,反之定义为内定点用最小二乘法做线性回归,并按式(6)计算决定系数。
将图4中的参考影像与待校正影像同名点的DN值分别用LS和RANSAC算法做回归分析,结果如图5所示。图5中空心点为RANSAC算法定义的外点,即影像中的噪声;实心点为内点,即用来做拟合的点集。从图5可以看出,RANSAC算法将离群点定义为了外点,没有参与拟合,因此回归模型的决定系数为0.946,要高于最小二乘回归模型的决定系数0.925。继而说明RANSAC算法有效的降低了影像中的噪声点干扰,提高了模型的解释能力。
图5 同名点DN值的相关关系 Fig 5 Correlativity between DN value of homologous points in image pairs
基于SIFT提取出其余4波段像对的同名点,利用RANSAC构建相对辐射一致性校正模型,如表3所示。从表3可以看出,各波段校正模型拟合效果良好,都大于0.94。
表3 各波段相对辐射一致性校正模型 Table.3 Calibration model for relative radiation consistency of each band
本文研究的影像是一种由于地物反光造成的宽动态范围低照度影像,影像暗光区域会受到噪声污染,因此需要对校正后的影像做滤波消除噪声。
常用的滤波算法有中值滤波、均值滤波、高斯滤波等,但是这些滤波算法在消除噪声的同时,也会使影像变得模糊。双边滤波与上述算法相比在保证去噪效果的同时最大限度地保存了边缘信息,且校正后影像的色彩变化相对较小。双边滤波是一种非线性滤波器,采用基于高斯分布的加权平均方法,用周边像素亮度值的加权平均代表某个像素的强度。其权重不仅考虑了像素的欧氏距离,还考虑了像素范围域中的辐射差异。因此,本研究利用双边滤波去除相对辐射一致性校正后影像中的噪声点。
本研究将相对辐射一致性校正后的影像,采用伪标准地物辐射纠正法,通过地面目标测得的反射率将多光谱影像DN值转化为反射率。在无人机拍摄影像的同时,在柑橘地块周边选取合适位置布设2个不同灰度的标定布,使用ASD-2000光谱仪测定标定布地面反射率。在多光谱影像中统计标定布在各波段的DN值,利用公式(7)进行多光谱影像的辐射校正,将整张影像DN值转化为反射率。
其中ρ和DN分别为标定布波段的反射率和影像DN值,gain和bias分别为波段标定系数中的增益和偏置。
为验证校正精度,以像对参考影像为准,统计Blue、Green、Red、RedEdge和NIR波段反射率及GNDVI(Green Normalized Difference Vegetation Index,GNDVI)的平均绝对误差(Mean Absolute Error,MAE)作为评价指标。
GNDVI是表征果树生长状况的植被指数,是叶片叶绿素浓度、氮、蛋白质和水分含量的良好指标,其计算式如(8)所示。
式中为近红外波段的反射率,为绿波段反射率。
MAE能在一定程度上衡量校正后影像和参考影像之间的接近程度,MAE值越小,表明校正的效果越好。其计算见式(9)。
式中为验证数据集同名点总数;y和y分别为第个同名点参考影像和校正后影像像元值。
为了验证本文辐射一致性校正方法的有效性,以含有已知反射率标定布、无水面耀斑且经过暗角校正的影像为参考,分别用直方图匹配法和本文方法对一景受水体强反光干扰的5个波段影像进行校正,校正结果如图6所示。由图6可以看出,直方图匹配和本文校正方法校正后的影像,除水体外视觉特性与参考影像基本相似。这证明了本文提出的方法具有消除影像间辐射差异的能力。虽然直方图匹配的校正结果与参考影像视觉上差异也很小,但是直方图匹配会引起影像的灰度级严重缺失。将直方图匹配结果与参考影像重新进行特征点匹配,并利用重新匹配得到的同名点像元值进行辐射一致性评价,如图7a所示,直方图匹配后的影像灰度级出现了明显的缺失,进而导致地物反射率出现断层,而本文方法较好地保持了原始图像的辐射特性。
图6 不同校正方法结果对比 Fig. 6 Results comparison of different correcting methods
图7 不同方法校正后影像与参考影像同名点反射率关系 Fig.7 Correlativity between the reflectivity of homologous points in corrected image by different methods and its base image
为了进一步为比较校正变换的效果,将5个波段反射率以及GNDVI的MAE作为评判标准,结果见表4。从表4中可以看出,对于GDVI指标,校正前的MAE为11%,直方图匹配校正后的MAE为0.6%,本文方法校正后的MAE为0.3%。对于各波段反射率,蓝、绿、红、红边和近红外波段,校正前的MAE分别为9.4%、10.2%、3.8%、24.1%和26.5%,直方图匹配校正后的MAE分别为1.7%、1.8%、1.2%、3.1%和4.7%,本文方法校正后的MAE分别为0.2%、0.5%、0.6%、1.7%和1.2%。可以看出经过校正后GNDVI和5个波段的反射率误差都明显减小,且本文方法效果最优,校正后的影像与参考影像间的MAE最小。
表4 不同方法的平均绝对误差 Table 4 MAE of different methods %
为了研究暗角校正对辐射一致性校正结果的影响,将五个波段的参考影像和待校正影像分为有暗角校正和无暗角校正的两组像对,分别进行辐射一致性校正。以参考影像为基准,统计5个波段反射率以及GNDVI的MAE。结果如表5所示。从表5中可以看出,无暗角校正的辐射一致性校正结果6项光谱信息的平均绝对误差都比有暗角校正的校正结果大。分析原因,暗角效应造成单张影像辐射条件不均匀,且由于同一地物在相邻影像中的像素位置不同,暗角效应对其影响程度也不同,导致像对同名点像元值相关性弱化,从而降低了辐射一致性校正结果的精度。
表5 暗角校正对辐射一致性校正结果的影响 Table 5 The effect of vignetting correction on the result of radiation consistency correction %
为了验证本文方法的鲁棒性,选另外两景Blue波段受水体强反光干扰的影像进行辐射一致性校正,如图8所示。从图8中可以看出,待校正影像整体较暗,人眼视觉不能清楚的分辨影像中的地物,大范围的黑暗区域遍布整幅影像,导致视觉效果极差。经过本文辐射一致性校正后影像整体亮度、对比度得到了提高,明显地改善了影像的视觉效果,除水面耀斑外其余地物视觉上与参考影像基本趋于一致。
图8 不同场景蓝波段影像的辐射一致性校正结果 Fig.8 Radiation consistency correction results of Blue band images in different scenes
图9a为原始影像拼接结果,可以看出整体亮度不均,水域周围有明显的暗影。图9b为根据航线信息使用本文方法对一个架次82张影像校正结果。图像的右上角为航线起点,按照横向之字形飞行,到左下角为航线终点。经过本文辐射一致性校正后,整个架次的影像明暗趋于一致,无明显色差。这证明了本文提出的方法,能够按航线信息消除连续多张影像间因水体强反光造成的辐射差异。
图9 Blue波段校正后影像拼接结果对比 Fig.9 Comparison of image mosaic results after Blue band correction
对无人机多光谱影像辐射校正是遥感定量化的基础,其精度决定了后续遥感定量化分析的准确性。但是,一个架次的无人机影像因受水体强反光干扰,影像间辐射条件不尽相同,若为每幅影像设置参照板进行辐射校正,工作量巨大难以实现。因此,本研究针对上述问题,提出了一种水体强反光环境中无人机多光谱影像的辐射一致性校正方法。主要结论如下:
1)与其他常规影像增强算法相比,直方图对比度拉伸算法在提升SIFT算法特征点检测方面表现最优。
2)暗角校正不仅可以消除单张影像内辐射不均一问题,而且可以增强像对同名点像元值相关性,从而提高辐射一致性校正的精度。
3)本文方法不仅校正了影像的辐射信息,而且消除了原始影像的噪声点。使得校正后的影像在视觉上和光谱信息上都与参考影像达到了较高的吻合度。和直方图匹配法相比,采用本研究方法具有较高精度,蓝、绿、红、红边和近红外波段校正后的反射率平均绝对误差仅为0.2%、0.5%、0.6%、1.7%和1.2%,GNDVI平均绝对误差为0.3%。
本研究方法有效解决了水体反光造成的光谱失真问题,提高了受水体反光影响遥感图像的利用率。但仍存一些问题有待在后续进一步研究:
1)本文研究的主要目的是为了无人机数据能够更加准确地反映柑橘树冠的光谱信息,为后续树冠营养元素研究提供精度的遥感数据保障。因此,经过校正后柑橘树等其他地物的辐射信息与参考影像达到了较高的一致性,但是没能去除水面中的耀斑。所以在辐射一致性校正的同时去除水面耀斑是后续的研究方向。
2)本文对水体强反光造成的相邻像对地物辐射信息不一致进行了校正,但反光地物除水体外还有不锈钢、玻璃等地物,本文辐射一致性校正方法的普适性还有待进一步研究。