基于数据融合的无人机影像碎屑岩岩性识别

闫彦芳, 邵燕林*, 王庆, 曾齐红, 赵坤鹏

(1.长江大学地球科学学院, 武汉 430100; 2.中国石油勘探开发研究院, 北京 100083)

地质露头作为地下岩层的观察窗口,通常以突出的地形特征出现在人们视野中。地质学家们可从地质露头上提取地层、岩性、储层发育的特征参数[1-2],用于指导石油勘探,用于油藏精细刻画与三维地质建模等工作中[3-4]。地质露头的重要性催生了数字露头技术的发展[5],数字露头模型(digital outcrop model,DOM)的建立使得很多地质研究从野外走进实验室。DOM是多种地质特征综合解译、测量、岩性分类的重要工具,利用无人机(unmanned aerial vehicle,UAV)获取的三维露头数据突破传统卫星遥感影像云层遮挡、重放周期过长的局限,既可以记录多重时间数据,同时能够从多个空间尺度收集数据,在地质领域发挥着重要作用[6]。

目前,无人机影像广泛应用于图像分类[7-8]、影像分割[9-10]以及目标检测[11-12]中,但前人研究多集中在单一RGB(red,green,blue)影像应用。赵桂玲等[13]采用改进后的蚁群算法,从光谱特征方面进行森林分类。段涛[14]仅针对无人机获取的影像数据实现滑坡地质灾害识别。余宏明等[15]对无人机获取的正射影像、高程数据与三维模型数据分别结合滑坡相关物理力学进行滑坡区域解译。上述研究均未充分考虑深度信息与影像数据的融合。鉴于此,在RGB影像基础上,加入由无人机影像得到的数字地表模型(digital surface model,DSM),将研究区范围内地表以外的地形特征融入RGB影像中,得到地物更多的细节信息,放大地物类间差异性,进而提高识别精度[16]。同时,在岩性识别方面,中外学者多着眼于遥感卫星影像[17-18]或者室内高清RGB影像[19-21],很少利用无人机获得影像进行研究,而且用于野外露头剖面岩性提取的研究尚鲜见报道。为了得到更精确的岩性识别结果,以RGB影像与DSM数据为数据基础,采用多种数据融合方式,利用深度学习语义分割模型对野外露头进行识别,对比分析碎屑岩岩性识别精度,以期提供更为高效的野外露头岩性识别方法。

1 研究区及数据

研究区位于准噶尔盆地南缘(44°N、85°E～88°E),露头岩相以碎屑岩为主,露头多见中层状砂岩,中部有约0.6 m砾岩,多为棕色砾岩,沉积特征多见交错层理、平行层理发育,泥岩与砂岩互层,砂岩多见小型交错纹理、砂纹层理。

2021年10月,利用大疆无人机(型号为M300RTK)完成数据采集,飞行高度50 m,搭载大疆ZenmuseP1全画幅相机(具有全画幅传感器,影像分辨率达4.5×107像素,同时三轴云台智能摆动拍摄)实现影像的采集。通过不同数据融合方式获得的影像,经过随机裁剪建立不同的碎屑岩影像融合结果样本集,每种融合影像样本集数量为11 000张,其中训练集与测试集按照10∶1进行划分,样本大小为256像素×256像素。实验选择的测试影像大小7 268像素×8 280像素(图1),影像分辨率为0.01 m,影像包含泥岩、砂岩与砾岩。

2 研究方法

2.1 数据融合方法

2.1.1 通道叠加

通道叠加作为通道变换的一种,主要是针对多个影像进行的叠加操作,对不同影像间的各个通道分别进行变换,彼此之间互不相关。RGB-Depth深度图像在目标检测[22]、三维重建以及目标跟踪等方面获得了较好的应用,其中DSM类似于灰度图像,其每个像素值表示传感器与地面物体的实际距离,表示地物相对于地表的起伏状态。现将无人机获得的正射影像和地表模型影像进行通道叠加操作,获得具有四通道的RGB-DSM图像,进而加入语义分割模型中,用于碎屑岩露头岩性识别。

2.1.2 IHS图像融合

IHS(intensity,hue,saturation)变换是图像融合技术发展最早、现已成熟的空间色彩变化算法。相对RGB的红(red)、绿(green)、蓝(blue)3个通道,IHS有强度、色调和饱和度3个通道[23]。依据IHS融合原理,将DSM影像与正射影像进行融合,具体步骤如下。

步骤1将正射影像进行重采样,使其分辨率与DSM影像一致,同时将正射影像的R、G、B波段转换为I、H、S分量。

步骤2将DSM影像与上一步得到的I分量进行直方图匹配,得到与I分量灰度分布相似的影像,并将其作为新亮度分量替换原来的I分量。

步骤3用新的I分量与S、H分量进行逆变换,还原到RGB影像空间,得到包含高程信息的融合后影像。

2.1.3 小波融合

小波变换在空间和时间上都具备表征局部特征的能力,具有多分辨率分析的特点[24],已广泛运用于图像融合。基于小波变换的图像融合将DSM影像与经色彩空间变换后的正射影像分别进行小波分解,得到一系列不同的频段且能够反映图像局部特征的子图像,用不同的融合规则进行子图像融合,最后通过小波逆变换得到融合后的图像(图2),主要步骤如下。

图2 小波融合流程图Fig.2 Flow chart of wavelet fusion

步骤1影像配准与正射影像色彩空间的转变。

步骤2对转变后的正射影像和DSM影像分别进行小波分解(采用haar小波),得到高频分量和低频分量。

步骤3对高频分量采用系数绝对值取大法(max)规则融合,对低频分量采用加权平均值(mean)规则进行融合。

步骤4对融合后得到的小波金字塔进行小波逆变换。

步骤5得到的重构影像即为融合后图像。

2.1.4 RGB-D多模态融合

多模态融合综合两个或多个模态信息进行预测,在预测过程中将单个模态不能包含的信息,通过融合来自两个或多个模态的信息,实现信息补充,拓宽输入影像所包含信息的覆盖范围,进而提升预测结果的精度,提高模型的鲁棒性[25]。通过RGB-D跨模态融合方式,加入自注意力机制通过RGB影像与DSM影像通道关系间的相互依赖性,并自适应校准通道特征,得到最具判别性的特征,从而输入网络中进行碎屑岩岩性识别,意图提升识别精度。

2.2 语义分割模型

由于野外露头较复杂,噪声较多导致识别难度大,同时基于无人机影像多模态的特性,选用DeepLabv3+作为主干网络。DeepLabv3+在增加感受野的基础上能够还原边界信息,其在DeepLabv3的基础上增加上采样的解码器模块,同时融合空洞卷积和金字塔模块,将多尺度特征与空间信息结合,更多保留了物体的边界信息[26],获得更清晰的分割从而提高识别精度。DeepLabv3+整体结构主要是encoder-decoder架构的,如图3所示。

Encoder模块用于逐步减少特征图并提取更高语义信息;Decoder模块用于逐步恢复影像的空间信息,提高影像的边缘检测精度

2.3 检验指标

使用平均交并比mIOU、总体精度OA、像素精度PA以及Kappa系数Kappa作为识别精度的评价指标[27],用来检验岩性识别结果的准确度,其计算公式分别为

(1)

(2)

(3)

(4)

式中:k为标签标记的种类,k=5;mIOU为所有类别交集和并集之比的平均值;pii为目标为i类被预测为i类的像素数量;pij为目标为i类被预测为j类的像素数量;pji为目标为j类预测为i类的像素数量;TP为真正例;FN为假反例;FP为假正例;TN为真反例;PA为预测类别正确的像素数占总像素数的比例;po为预测的准确率;pe为偶然一致性,其值越高,Kappa越低。

3 结果分析

实验采用Win 10系统,CPU为i7-10750H,显卡GTX 1650 Ti,在Anaconda中搭建Pytorch虚拟环境,进行岩性识别。实验训练数据初始学习率为0.000 1,由于计算机算力有限,batch_size大小设置为2,patch_size设置为256像素×256像素,类别数为5。

3.1 整体识别对比

从总体识别效果(图4)可以看出,测试影像基于多模态融合方式的识别效果最好,最接近人工解译结果(经过专业地质人员指导);经过IHS融合后的影像识别效果最差,只对砾岩有所识别。几种融合影像对泥岩的识别多与浮土、砂岩误分,这与泥岩颗粒直径仅0.01 mm相关,容易导致错分;在砾岩的识别上,几种影像都过多识别,最接近人工解译的、错分最少的是多模态融合影像;几种影像对砂岩识别效果都不佳,识别最好的多模态融合影像也没有办法保证砂岩在空间上的连续性,这与泥岩、砂岩在纹理、颜色上表现相似有关。

图4 几种影像岩性识别对比Fig.4 Comparison of lithology identification from several images

从识别精度评价指标(表1)可以看出,以RGB-D多模态融合方式总体识别精度最高,将DSM影像作为深度特征加入RGB影像识别过程中,通过通道间学习获得高级特征与低级特征,在注意力机制的自动学习下,最终获得含有深度信息的特征,信息利用率高,最终识别精度也较高。其次是RGB-DSM通道叠加识别精度较高,在目标边界的分割的同时,加入地质特征高程信息,从而获取具有判别性的特征,因此识别精度也较高。经过IHS融合之后的识别效果最差,虽然经IHS融合获得的影像空间分辨率高且计算简单,但色彩畸变严重,光谱失真[28],而岩石纹理与光谱信息对识别具有极大的影响,因此其总体识别精度不高。结合IHS-小波融合后的影像,岩性识别总体精度达74.04%,但在砂岩、泥岩的识别效果好于单一RGB影像,在一定程度上也保证了岩性在空间上的连续性,其缺点在于融合后影像虽保证了光谱响应范围的一致性,但融合影像的空间分辨率有所下降,出现错分、漏分现象,识别效果远不如RGB-D多模态融合影像识别结果。因此,总体来看,基于RGB-D多模态融合影像的岩性识别效果最好。

表1 几种影像岩性识别精度

3.2 不同岩性识别精度分析

为得到几种影像融合方法对岩性识别的效果,进一步通过混淆矩阵对4种融合影像进行分析。由表2可知,RGB-D多模态融合岩性识别Kappa系数达76.17%,RGB-DSM通道叠加影像与单一RGB影像Kappa系数相近,大致都在50%,高于IHS、IHS-小波融合影像融合方式。其中对于不同岩性的识别效果如下。

表2 不同岩性识别结果混淆矩阵

(1)泥岩的识别。单一RGB影像较4种融合影像识别精度都高,这与其保持了原有的空间分辨率和光谱信息有一定关系;RGB-D多模态融合在泥岩识别上仅低于单一RGB影像1.88%,仍对泥岩有较好的识别;IHS影像与IHS-小波融合影像在一定程度上对影像光谱信息和空间分辨率有损失,进而影响识别效果;而基于通道融合影像在一定程度上不能高效的利用RGB影像和深度影像的信息,导致识别效果差。

(2)砂岩的识别。RGB-D多模态融合识别精度为50.03%,高于其他几种影像;其他几种影像中,IHS-小波融合后的影像识别精度最高,但也仅为9.26%,其他几种影像对砂岩识别效果差,更甚对砂岩没有识别,主要原因在于砂岩和泥岩在色彩、纹理方面表现较为接近,识别难度大。

(3)砾岩的识别。4种融合影像的识别精度都较高,识别精度最高的是单一RGB影像,可能是有由于融合影像或多或少引入少量噪声,从而降低了砾岩的识别精度。综上,基于RGB-D多模态融合的影像在碎屑岩总体识别上能够提升岩性识别精度,具有一定的应用性。

4 结论

利用无人机采集野外露头数据获取的RGB影像和DSM影像,结合4种不同的影像融合方法,利用DeepLabv3+模型对4种影像碎屑岩岩性识别结果进行对比分析,得到以下结论。

(1)利用数据融合对无人机影像进行碎屑岩岩性识别,其中整体识别效果最好的是多模态融合影像,高于其他几种融合数据识别效果,大幅避免了因影像融合而导致噪声增加的问题,总体识别精度达到91.05%,高于单一RGB影像识别精度将近17%。

(2)DSM影像作为深度信息与RGB影像采用多模态影像通道学习的方式可以大幅提高高差较大的碎屑岩岩性识别精度。

(3)针对野外露头的复杂性,露头岩性识别比较困难,利用多模态融合影像进行碎屑岩岩性识别虽然表现更佳,但对于影像上相似度较高的岩性区分度还是不高,如泥岩和砂岩识别效果较差,因此后续拟采用加入地质约束线的方式,通过自动追踪地质界线,对碎屑岩岩性进行空间约束以及层状刻画,进而提升碎屑岩露头不同岩性的识别精度,为岩性快速识别提供新思路。