基于改进ConvNeXt模型的轻量化岩屑岩性识别方法

摘" 要： 岩屑录井在地质分析及油气勘探等领域起着重要的作用，岩屑岩性识别是其中一项关键内容，但目前识别手段难以兼顾准确性与轻量性。为提高识别效率，保证录井工作的高效进行，提出一种基于改进ConvNeXt模型的轻量化识别方法。通过分析调整ConvNeXt模型的网络层数，并将其中大部分传统卷积替换为Ghost卷积，减少了模型的冗余参数；同时，融合SimAM无参注意力机制，在不增加模型参数的情况下提升了模型性能。实验结果表明：改进后的ConvNeXt模型参数量和权重文件大小分别仅有15.44×106和15.5 MB，浮点运算量为0.69×109，参数量和运算量远低于大部分网络模型，便于嵌入到各种移动设备中；且在测试集上的综合识别准确率可达到99.64%，高于ConvNeXt⁃S模型，满足识别的可靠性要求。所提模型兼具了准确性与轻量性的特点，能较好地满足实际录井工作中的岩屑识别任务。

关键词： 岩屑岩性识别； ConvNeXt模型； Ghost卷积； SimAM注意力机制； 轻量化； 消融实验

中图分类号： TN919.8⁃34； TP391.4" " " " " " " " 文献标识码： A" " " " " " " " " " 文章编号： 1004⁃373X（2024）24⁃0131⁃06

Method of lightweight rock debris lithology identification based on

improved ConvNeXt model

YANG Yuxuan， ZHONG Baorong

（College of Computer Science， Yangtze University， Jingzhou 434023， China）

Abstract： Rock debris logging plays an important role in geological analysis and oil and gas exploration， among which rock debris lithology identification is a key content. However， current identification methods are difficult to balance accuracy and lightweight. In order to improve the identification efficiency and ensure efficient logging work， an identification method based on improved lightweight ConvNeXt model is proposed. By adjusting the network layers of the ConvNeXt model and replacing most of the traditional convolutions with Ghost convolutions， the redundant parameters of the model are reduced. The SimAM parameterless attention mechanism is integrated to improve the model performance without increasing model parameters. The experimental results show that the improved ConvNeXt model has a parameter count and weight file size of only 15.44×106 and 15.5 MB， respectively， with a floating⁃point operation of 0.69×109. The parameter count and operation count are much lower than most network models， making it easy to embed into various mobile devices. Moreover， the comprehensive recognition accuracy on the test set can reach 99.64%， slightly higher than the ConvNeXt⁃S model， meeting the reliability requirements of recognition. The proposed model combines the characteristics of accuracy and lightweight， and can effectively meet the rock debris identification tasks in practical logging work.

Keywords： rock debris lithology identification; ConvNeXt model; Ghost convolution; SimAM attention mechanism; lightweight; ablation experiment

0" 引" 言

录井是在钻井现场直接获取第一手实物、数据及影像等资料，提供地质、工程、信息一体化服务的技术[1]。通过分析识别在钻井过程中随钻井液返回至地面上的岩屑，可得到地质构造以及油气勘探方面的重要信息。关于岩屑岩性的分析识别，传统的方法是通过人工利用显微镜等分析工具基于不同岩屑的物理和化学特性的差异进行判断，依赖工作人员的主观经验，识别效率和可靠性较低。近年来由于机器学习及神经网络的发展，岩屑岩性识别也逐渐转为自动化识别，如：文献[2]采用随机森林算法实现火山岩岩性识别；文献[3]通过结合随机森林与K⁃近邻算法，对小样本下的火成岩岩性划分提出了解决方法；文献[4]在LightGBM算法的基础上，利用GS算法对训练时的超参数进行优化，提出了GS⁃LightGBM机器学习模型，保证一定精度的同时提升了预测速度；文献[5]基于岩石的高光谱图像数据集，结合XGBoost决策树和贪婪搜索算法构建了一种两层梯度增强分类模型，综合准确率可达到83%以上；文献[6]构建了结合异常点检测、多类分类和极端随机树分类器的机器学习方法，对包含离群值的数据集有较好的训练效果。

以上方法均属于传统机器学习算法的分类研究，也称为浅层次结构模型研究[7]，相较于深度学习模型，有较快的运行速度，但精度稍有不足。深度学习模型在提取图像深层特征方面有明显优势，例如：文献[8]使用ResNet50模型作为特征提取器，并结合多尺度方法实现岩石岩性识别，最终准确率达到95%；文献[9]利用LSTM神经网络，结合岩性敏感的测井参数构建识别模型，识别效果相较于传统机器学习有较大提升；文献[10]采用迁移学习的训练方法，以ResNet101为基准模型，在高质量岩石数据集上准确率达到了90%以上；文献[11]提出的基于CNN的分类算法，对于不同站点的高光谱岩石图像分类准确率均在94%以上；文献[12]在钻井过程中采集钻柱振动数据，结合MobileNet和ResNet作为分类模型，使得模型有低延迟特性，并且分类准确率可达90%。

综上所述，上面提到的两类方法各有优劣，传统机器学习参数量较少，精度相较深度学习网络略显不足；但一般深度网络模型参数量较大，可移植性不强。为满足实际录井过程的需要，本文以5种岩屑作为样本数据集，包括碳酸盐岩、砾岩、砂岩、泥岩和页岩，对深度学习模型ConvNeXt[13]进行改进，使之保持高精度的同时满足轻量化的要求。

1" 岩屑分类模型设计

1.1" ConvNeXt

ConvNeXt模型是一个深度卷积网络模型，近几年基于Transformer的深度学习模型逐渐成为趋势，如2021年出现的Swin Transformer[14]。而ConvNeXt通过借鉴该模型的结构及训练策略，仅使用纯卷积的结构完成了对Transformer模型的超越，从侧面说明了Transformer模型在准确率上的成功不一定是这类模型结构上的先进性，可能更在于训练策略的正确使用。ConvNeXt主要由4个stage堆叠而来，每个stage包括一个下采样模块和多个ConvNeXt Block。其中第一个stage下采样部分卷积核尺寸为4×4，步长为4，其他stage下采样部分卷积核尺寸为2×2，步长为2，最后通过全局平均池化、层归一化和全连接层得到结果。ConvNeXt结构如图1所示。

1.2" Ghost Module

Ghost Module也称Ghost卷积，是GhostNet[15]中的主要模块，可以用来代替常规卷积，在减少模型参数量、降低计算资源的同时保持模型的性能。在一般卷积操作中，生成的特征图在通道方向上有部分相似的内容，在这些相似内容中，将某个特征称为本征特征，其他作为该特征的Ghost特征。在Ghost卷积中将本征特征和Ghost特征的生成分离开，采用计算量更小的网络单独生成Ghost特征。Ghost卷积由主卷积和辅助卷积两部分组成。最终将主卷积提取的本征特征与辅助卷积对本征特征提取得到的Ghost特征进行拼接，形成输出特征图。Ghost Module结构如图2所示。通过这种方式减少了特征提取过程中产生的冗余计算，提升了计算效率。

1.3" SimAM注意力机制

不同于SE注意力机制的一维通道注意力和CBAM中简单将通道与空间注意力的结合，SimAM[16]注意力机制直接得到了每个神经元的三维注意力权重。SimAM注意力机制借鉴成熟的神经科学理论，得到神经元的优先级与神经元之间的线性可分离性，其呈正相关，从而可得到神经元“真实”三维权重的能量函数，如式（1）所示。此外，由于SimAM是通过神经元之间的关系计算注意力权重，则避免了额外的参数学习。[et（wt，bt，xi）=1M-1i=1M-1（-1-（wtxi+bt））2+" " " " " " " " " " " "（1-（wtxi+bt））2+λw2t] （1）

式中：[et]表示得到的注意力权重；M为样本数量；[wt]和[bt]分别表示权重和偏置；[xi]表示第i个样本的特征向量；λ是正则化项[w2t]的系数。其中参数[wt]和[bt]有一个快速封闭形式的解决方案，无需通过迭代或其他优化算法即可求解，如式（2）、式（3）所示。

[wt=-2（t-μt）（t-μt）2+2σ2t+2λ]" " " "（2）

[bt=-（t+μt）wt2]" " " " "（3）

式中：[μt]和[σ2t]表示除t外的所有神经元的平均值和方差。

式（2）、式（3）的解是在单通道上得到的，基于单通道中所有像素遵循相同分布的合理假设，可以得到该通道上所有神经元的平均值[μ]和方差[σ]。通过计算每个通道的平均值和方差并将其应用到该通道上的所有神经元，可大幅降低计算量。结合式（1）～式（3）最终可得到最小能量的计算公式，如公式（4）所示。能量越低，当前神经元与周围神经元的相关性越低，则其优先级越高。因此，每个神经元的重要性权重可通过该结果的倒数衡量。

[e*t=4（σ2+λ）（t-μ）2+2σ2+2λ]" " " " " "（4）

1.4" 模型总体架构

为了实现模型的可靠性与轻量性，本文基于ConvNeXt⁃S模型进行改进。将模型stage1～stage4中ConvNext Block的迭代次数做不同程度的减少，由于本文任务对模型复杂度要求不高，同时为了尽可能使其轻量化，将ConvNext Block的迭代次数调整为（1，1，1，1）。其次，为进一步减少参数量，通过分析该模型每个网络层计算所需的参数量，得到ConvNeXt Block中用于通道变换的卷积核计算参数量较大，故将其替换为Ghost卷积来有效减少参数量。由于Ghost卷积也可作为通用卷积使用，则下采样模块中的部分卷积也替换为Ghost卷积，减少冗余参数。此外，SimAM作为无参注意力机制，计算的是每个神经元之间的相关性，并以此得到注意力权重，不额外增加计算参数。最后，在实验过程中将其分别安插在模型每个stage的前、中、后三个不同位置，根据结果发现SimAM单独放在每个stage尾部时效果最好，在不增加模型参数的情况下可以提升模型性能。最终得到改进的ConvNeXt整体结构如图3所示。

2" 实验结果与分析

2.1" 数据集

为突出本文方法的可靠性，实验对5种外观相近的沉积岩岩屑进行分类识别，分别是砾岩、泥岩、砂岩、碳酸盐岩和页岩，如图4所示。本文所用数据样本来自某油田的十口探井的岩屑数据，其中包含岩屑图像及专业人员对其岩性的鉴别记录表，岩屑图像采用高分辨率相机拍摄，图像像素密度高达2 000 dpi。

由于原数据集样本数量不多且类别之间存在数量不平衡问题，会导致模型训练过程中容易产生过拟合的现象，并且可能导致模型在不同类别之间的识别精度差距较大。为解决此类问题，本实验通过裁剪等手段进行图像扩充，扩充前数据集总量为1 899张，扩充后共10 994张，数据集在各种岩屑上的对比结果如表1所示。将扩充后的数据集按照8∶1∶1的比例划分为训练集、验证集和测试集。

2.2" 评价指标

为更全面地评估模型的性能，除了计算模型总体的准确率外，实验采用混淆矩阵记录每一类的预测情况，并以此得到模型的平均精确率（P），平均召回率（R）和F1等评价指标，三种指标的公式如式（5）～式（7）所示。同时考虑模型的轻量性和识别速度，对模型的参数大小和所需的浮点运算量（FLOPs）也进行了计算。

[P=1ni=1nTPTP+FP×100%]" " " "（5）

[R=1ni=1nTPTP+FN×100%]" " " " " （6）

[F1=1ni=1n2·Pi·RiPi+Ri×100%]" " " " （7）

式中：TP表示正样本预测为正样本的数量；FP表示负样本预测为正样本的数量；FN为正样本预测为负样本的数量；n表示样本类别数。

2.3" 消融实验

本文使用消融实验的研究方法，记录模型在每个改进步骤中的性能变化。模型改进效果对比结果如表2所示，以ConvNeXt⁃S作为基准对比对象，该模型中ConvNeXt Block的迭代次数为（3，3，27，3），改进1将ConvNeXt⁃S中ConvNeXt Block迭代次数更改为（1，1，1，1），此操作大幅降低了模型参数量，但同时模型各指标的精度略有下降；改进2将模型部分卷积操作替换为Ghost卷积，相较于原模型，参数量下降约[12]，同时总体精度提升大约1%；改进3引入SimAM注意力机制，在未增加模型参数的情况下各指标精度都有小幅提升；最后将所有改进结合起来得到ConvNeXt⁃Ghost⁃SimAM，参数量大约仅为基准模型的[112]，同时各指标精度都有大约2%的提升。

根据消融实验的结果，改进后的模型在准确度与轻量化方面相比于ConvNeXt⁃S都有提升，尤其在模型参数和运算量方面。此外改进模型与原模型的Loss曲线与Accuracy曲线对比图如图5所示。从图中可以看出，改进后的模型在该任务上收敛速度更快，损失值更低。

本文改进后模型在5种1 100张岩屑图像测试集上的混淆矩阵如图6所示。由结果可知，改进后的模型对各类岩屑都有较高的识别准确率，特别对于页岩，模型在该类别的预测值与真实值完全匹配，其他4种也只有个别错误预测，这体现了模型较强的可靠性。

2.4" 不同网络模型对比

本文选取了几种常见的网络模型，包括ResNet50、Xception、VGG16和SwinTransformer，采用同样的策略训练150轮，与本文方法针对准确率、参数量、浮点运算量和权重文件大小进行了对比，结果如表3所示。从结果可以看出，本文改进的模型在准确率上均高于其他模型，并且参数量和浮点运算量为15.44×106和0.69×109，综合大小和计算量低于其他模型，降低了对计算机等设备的性能要求，更适合在实际中用于对岩屑岩性的识别；同时模型权重文件大小仅为15.5 MB，易于在计算资源有限的平台中部署。

3" 结" 语

为解决录井工作中岩屑岩性识别的效率问题，本文提出了一种轻量化的ConvNeXt网络模型，最终得到以下结论。

1） 通过减少原ConvNeXt模型的网络堆叠层数，在以一定精度损失为前提下大大减少了模型参数量。

2） 将原模型中的大部分普通卷积替换为Ghost卷积，该操作减少了模型的冗余参数，提升了模型的单位参数贡献值，增加了模型识别精度。

3） 通过嵌入SimAM注意力机制有效提升了模型在各类岩屑的识别准确率。

最后训练结果显示，改进后的模型在测试集上的平均准确率可达到99.64%，模型参数量仅为15.44×106，能以较高的效率完成岩屑岩性识别工作。下一步工作考虑进一步加强模型在其他类别岩屑上的识别能力，同时构建如移动设备等资源有限的模型测试平台，以此优化模型在实际工作中的表现。

注：本文通讯作者为钟宝荣。

参考文献

[1] 王志战.中国石化录井技术新进展与发展方向思考[J].石油钻探技术，2023，51（4）：124⁃133.

[2] 刘凯，邹正银，王志章，等.基于机器学习的火山岩性智能识别及预测[J].特种油气藏，2022，29（1）：38⁃45.

[3] 赖强，魏伯阳，吴煜宇，等.基于随机森林的K⁃近邻算法划分火成岩岩性[J].特种油气藏，2021，28（6）：62⁃69.

[4] 谷宇峰，张道勇，鲍志东，等.利用GS⁃LightGBM机器学习模型识别致密砂岩地层岩性[J].地质科技通报，2021，40（4）：224⁃234.

[5] LIN N， FU J， JIANG R， et al. Lithological classification by hyperspectral images based on a two⁃layer XGBoost model， combined with a greedy algorithm [J]. Remote sensing， 2023， 15（15）： 3764.

[6] XIE Y， ZHU C， HU R， et al. A coarse⁃to⁃fine approach for intelligent logging lithology identification with extremely randomized trees [J]. Mathematical geosciences， 2021， 53： 859⁃876.

[7] 郑远攀，李广阳，李晔.深度学习在图像识别中的应用研究综述[J].计算机工程与应用，2019，55（12）：20⁃36.

[8] 马泽栋，马雷，李科，等.基于岩石图像深度学习的多尺度岩性识别[J].地质科技通报，2022，41（6）：316⁃322.

[9] 武中原，张欣，张春雷，等.基于LSTM循环神经网络的岩性识别方法[J].岩性油气藏，2021，33（3）：120⁃128.

[10] 许振浩，马文，林鹏，等.基于岩石图像迁移学习的岩性智能识别[J].应用基础与工程科学学报，2021，29（5）：1075⁃1092.

[11] LIU H， WU K， XU H， et al. Lithology classification using TASI thermal infrared hyperspectral data with convolutional neural networks [J]. Remote sensing， 2021， 13（16）： 3117.

[12] CHEN G， CHEN M， HONG G， et al. A new method of lithology classification based on convolutional neural network algorithm by utilizing drilling string vibration data [J]. Energies， 2020， 13（4）： 888.

[13] LIU Z， MAO H， WU C Y， et al. A ConvNet for the 2020s [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. [S.l.]： IEEE， 2022： 11976⁃11986.

[14] LIU Z， LIN Y， CAO Y， et al. Swin transformer： hierarchical vision transformer using shifted windows [C]// Proceedings of the IEEE/CVF International Conference on Computer Vision. [S.l.]： IEEE， 2021： 10012⁃10022.

[15] HAN K， WANG Y， TIAN Q， et al. GhostNet： more features from cheap operations [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle， WA， USA： IEEE， 2020： 1580⁃1589.

[16] YANG L， ZHANG R Y， LI L， et al. Simam： a simple， parameter⁃free attention module for convolutional neural networks [C]// International Conference on Machine Learning. [S.l.]： PMLR， 2021： 11863⁃11874.

作者简介：杨宇轩（2000—），男，湖北天门人，硕士研究生，研究方向为机器学习与人工智能。

钟宝荣（1963—），男，江苏丹阳人，硕士研究生，教授，研究方向为网络数据库、机器学习与数据分析、图形图像处理。