基于卷积神经网络的煤岩微裂隙提取方法

郑江韬齐子豪刘佳存马德明鞠杨

1.煤炭资源与安全开采国家重点实验室,北京 100083;2.中国矿业大学(北京)力学与建筑工程学院,北京 100083

煤炭是我国的主要能源和重要工业原料。数据显示,2020年能源消费总量49.8 亿t 标准煤,较2019年同比增长2.2% ;煤炭消费量增长0.6%,占能源消费总量的56.8%,较2019年下降0.9%。在“2030年前碳排放达峰、2060年前碳中和”目标下,如何更好地提高煤炭资源的开采效率、利用率、安全性及绿色应用,已经成为了当下煤炭行业科研工作者们的主要任务之一[1]。

随着地球浅部煤炭资源逐渐趋向枯竭,煤炭资源开发不断走向地球深部,千米深井的深部资源开采逐渐成为资源开发新常态。进入1 000～2 000 m的深部开采,面临资源赋存地质条件复杂、地应力增大、地温升高、岩体破裂程度与涌水加剧,致使资源开采难度加大、作业环境恶化和生产成本急剧增加等一系列问题,使深部资源开采将面临严峻挑战[2]。且随着采深的增加,瓦斯含量显著提高,开展煤与瓦斯共采是实现深部煤炭资源绿色开采的一种关键途径[3-4]。加大煤矿瓦斯开发力度,最大限度地降低煤层瓦斯含量,对我国深部煤层煤与瓦斯共采意义重大。近年来实施的煤与瓦斯共采探索,旨在开采煤炭资源的同时对煤层加以改造,提高煤层的渗透率,使得瓦斯气体得以产出,在降低瓦斯突出风险的同时使得瓦斯作为一种宝贵资源加以利用[5]。

煤岩内部裂隙结构的演化关系到煤炭资源的安全开采和高效绿色利用[5-7]。煤的破坏是一种在外荷载下煤内部的裂纹快速成核、贯通、扩展,引起煤材料损伤并丧失承载能力的力学过程[8]。同时,煤岩内部原生及新生裂纹是瓦斯运移的主要通道。深部煤岩受力关系复杂,导致其内部含有大量形态不规则、空间非均匀的三维裂隙结构,开采扰动下非连续裂隙结构的演化及煤岩渗透性质的演变极其复杂[9]。近年来CT 扫描等岩石内部三维结构成像技术的快速发展,推动了从微细观结构出发探究煤岩宏观物理力学性质的相关研究[10]。其中煤岩微细观裂隙的定量表征与提取,是解决上述工程与技术问题的基础。

当前对于裂隙提取的研究大多基于标准图像处理手段及各类研究软件自带的裂隙提取模块,这类方法虽然可以较好地提取等效直径较大的裂隙,却难以准确提取煤岩内部的微裂隙。针对此问题,Voorn 等[11]2013年利用三维Hessian 矩阵进行裂隙提取,并采用Sigmoid 曲线进行校准,确保了不同方向裂隙的提取。2015年在使用Hessian 滤波进行杂质去除的基础上,利用an island 滤波进行噪声去除,并通过多尺度Hessian 裂隙过滤器对岩石裂隙进行二值分割[12],对于较大裂隙取得了不错的分割效果,但是部分微裂隙的提取有待改进。Iassonov 等[13]对全局阈值和局部自适应阈值分割常用的算法进行了对比,提出大多数算法都不具有普适性。Kaestner 等[14]使用基于非线性扩散滤波器、冲击滤波器和逆尺度空间滤波器进行处理后再进行阈值分割。Garfi 等[15]分别利用非局部均值滤波与分水岭分割和基于机器学习的分割两种方式对图像进行处理,通过测试发现,Weka 机器学习比分水岭分割高估了岩石基质所占的面积比例。Alhammadi 等[16]采用差分成像技术分割图像,再通过分水岭分割用于分割固体微孔颗粒和宏观孔隙,最后通过非局部均值滤波和基于灰度值的交互阈值分割对宏观孔隙和微孔中的油相进行分割。Lu 等[17]采用无校准缺失CT 衰减方法,即通过建立其本身与总衰减量之间的关系来估计裂隙的大小,进行裂隙孔径尺寸测量,误差约为体素大小的二十分之一。Zhang 等[18]首先利用各向异性扩散滤波器对原始灰度图像进行去噪处理。为了锐化图像中不同相位之间的边缘,再对图像进行非锐化掩蔽、去噪。最后采用分水岭算法同时考虑梯度和局部强度信息对图像进行分割。

上述Lu 等[17]、Zhang 等[18]提出的算法仅能提取裂隙宽度较大的大裂隙,对于裂隙煤岩中广泛分布的微裂隙提取效果较差。Garfi 等[15]的研究对于多孔岩石中面状孔隙效果较好,对本研究条状裂隙效果有限。故岩石图像分割领域亟待发展裂隙尤其是微裂隙的识别分割方法。实际煤岩内部大小不一、尺寸各异、形态复杂的裂隙提取,主要有以下几个问题:

(1) 裂隙煤岩中存在着大量难以提取的弱边界微裂隙,而这些微裂隙却是损伤力学中最容易延伸、贯通、扩展引起破坏的部分。因此,微裂隙的提取对后续煤岩破坏机理和特性的研究十分重要。在观测样品尺寸不变的前提下,图像分辨率越高,对应单位尺寸像素个数越多,图像越接近真实,微裂隙刻画越准确,对微裂隙提取越有利。然而,由于实际设备及样品尺寸限制,CT 图像分辨率受限,加之煤岩岩体和裂隙灰度值相近,基质在CT 图像下颜色较深呈灰色,与CT 图像下呈灰黑色的裂隙颜色接近,尤其是弱边界微裂隙,灰度值与周围岩体极难区分,因此仅仅使用传统的图像处理技术难以提取到较为干净的裂隙二值图。为此本研究采用卷积神经网络进行超分辨处理,进而提升微裂隙的图像精度。

(2) 图像噪声和伪影严重。随着CT 技术的发展,图像精度不断提高(0.5 μm 左右),但是图像噪点难以消除,其中主要为量子噪声。如欲减少噪声就必须增加X 射线剂量,通常噪声减半,需增加约4 倍X 射线剂量,技术实现困难。图像噪声和伪影会严重影响裂隙提取的准确性,尤其是微裂隙的准确提取。

(3) 基于卷积神经网络的图像识别分割技术展现出良好的前景。然而,用于深度学习的训练集制作困难,受限于大量噪点和伪影,煤岩裂隙标注十分困难,可用的数据集少,难以进行模型准确训练。

针对以上问题,本研究首先采用Waifu2x (http:/ /waifu2x.udp.jp/)卷积神经网络模型对裂隙煤岩CT 图像进行超分辨处理,获得分辨率更高的裂隙煤岩CT 图像,使得裂隙边界处更为清晰,以更好地区分裂隙与煤岩基质;其次将原图和标记图作为数据集输入到U-Net[19]网络中,自主学习标记图与原图之间映射关系,训练U-Net 网络模型;最后采用训练好的U-Net 卷积神经网络进行图像分割提取裂隙,获得裂隙煤岩裂隙二值图。

1 卷积神经网络用于裂隙煤岩微裂隙提取

卷积神经网络(Convolutional Neural Networks,CNN)是为识别二维形状而特殊设计的一个多层感知器,这种网络结构对平移、比例缩放以及其他形式的变形具有一定的不变性。卷积神经网络的训练过程主要是学习卷积层的卷积核参数和层间连接权重等网络参数,预测过程主要是基于输入图像和网络参数计算类别标签[20]。卷积神经网络结合了深度学习和人工神经网络,相比于传统图像处理算法,有以下优点:机器自主学习,无须人工调参,减少人工误差且图像处理速度快;普适性好,训练完成后可直接广泛应用;相比于其他传统神经网络,通用性较强,自学习能力较强,不需要人工提取特征;由于参数需求少,网络模型简单,更容易训练,资源需求小。本研究所采用的Waifu2x 网络和U-Net 网络(图1)都是基于卷积神经网络实现的。

图1 本研究所用U-Net 网络模型示意图Fig.1 Schematic diagram of u-net network model used in this study

1.1 超分辨处理

超分辨率技术(Super-Resolution,SR)是指对观测到的低质量、低分辨率图像进行处理,获得相应的高质量、高分辨率图像的技术。该技术不但可以改进图像的视觉效果,而且对图像的后续处理如特征提取、信息识别等具有十分重要的意义[21],适用于本研究中裂隙煤岩CT 图像实验观测精度受限的裂隙提取。为了使裂隙煤岩CT 图像中煤岩基质与裂隙边界更为清晰,并减少CT 图像的噪声和伪影对裂隙提取的影响,以更好地区分煤岩基质与裂隙,本研究选用经过训练的Waifu2x 网络进行超分辨前处理。

1.2 U-Net 分割网络

U-Net 是Ronneberger 等[19]在2015年提出的一种语义分割网络。U-Net 网络采用了串行的多尺度特征结构,通过跳层连接来实现特征组合,能够较好地保留图像的细节特征;由于其网络深度小,适用于裂隙煤岩的裂隙提取这种较为简单的二分类问题;网络映射结构训练较快,单张图片处理速度不到2 s,对训练集数量要求较小,适用于裂隙煤岩的微裂隙提取这种训练集获取困难的研究。本研究所使用的U-Net 网络结构如图1所示。

2 实验样品及卷积神经网络训练

2.1 煤岩样品

本研究所使用的煤岩埋藏深度1 100 m,实验样品尺寸为ϕ25 mm×50 mm,渗透率为0.19 mD。使用单轴压缩试验机模拟煤岩试样的破坏,单轴压缩测试采用位移控制,使用以伺服元件为控制核心的单轴试验机进行试验,加载速度为0.5 mm/min。峰值点后,停止加载,将试样从单轴试验机取下,并放置在CT 扫描平台,通过微焦点CT 扫描获得煤岩内部裂隙结构分布。

2.2 CT 扫描

采用中国矿业大学(北京)煤炭资源与安全开采国家重点实验室的ACTIS300-320/225 工业微焦点CT 试验系统对样品进行了高精度CT 扫描,范围为样品中心部分。随后重建扫描图像,重建的横截面单张CT 图像尺寸为934 像素×934 像素,位深度为8,沿轴向等距共有1 500 幅CT 图片,体素点精度沿3 个正交方向均为28.57 μm。

2.3 超分辨图像预处理

受限于本研究裂隙煤岩CT 图的分辨率,部分微裂隙宽度仅有1～3 个像素点。为了更好地进行微裂隙提取,本研究采用成熟的超分辨技术将原图进行2 倍分辨率增强,在几乎无失真的前提下进行分辨率的增强,提高裂隙与基质之间的边界辨析度。首先将原图按照在圆心位置水平和竖直进行四等分,再将超分辨后的1 张1 024×1 024 高分辨率图像进行切割,裁剪成4 张小尺寸图像,分别输入U-Net 网络,完成提取后获得4 张黑白二值化的裂隙图像;最后使用ImageJ 将四张裂隙图像拼接回1 张图像。

2.4 训练集

使用U-Net 进行裂隙结构提取,首先需要基于CT 图像进行裂隙结构标记,将标记图和原图同时输入到U-Net 卷积神经网络进行训练。裂隙煤岩标记工作量大且难以在三维空间准确标注等原因,造成训练集缺少,导致无法进行U-Net 卷积神经网络训练,且受限于大量噪点、伪影和裂隙煤岩的复杂交叠裂隙,裂隙煤岩裂隙手动标注工作量庞大。裂隙煤岩CT 图像普遍存在分辨率较低、亮度较低、噪点较多、边界不清晰等问题。

本研究提出“裂隙煤岩标注七步法”。第一步,通过Waifu2x 对图片进行超分辨技术,提高清晰度;第二步,使用ImageJ 调整图像的亮度和对比度,提高图像亮度,使裂隙更为明显;第三步,用卷积神经网络原理进行降噪的Topaz DeNoise AI(https:/ /www.topazlabs.com/denoise-ai)软件2 次对全局降噪,减少噪点,提高裂隙清晰度;第四步,使用Topaz DeNoise AI 软件对噪声严重的局部进行降噪,防止后续二值化出现噪点;第五步,进行ImageJ 阈值分割处理,分割出所有裂隙和小部分顽固噪点;第六步,利用ImageJ 的B&C 调整Minimum和Maximum,获得较为干净的图像;第七步,通过数字图像处理手段去除杂点。流程图如图2所示,七步法实现了标记图的批量处理,在较小损失标记准确性的前提下,极大地提高了标记效率。

图2 “裂隙煤岩标注七步法”流程Fig.2 Flow chart of “seven step marking of fractured coal”

本研究选取15 张裂隙煤岩CT 图,同时为扩增训练集,在将15 张裂隙煤岩CT 图标记完成后,根据裂隙煤岩CT 图像为圆形切面这一特征,提出“四等分图像数据扩增法”,即以沿图像中心为原点,同时沿水平方向中线和竖直方向中线进行划分,获得左上、左下、右上、右下四部分,此操作将图像训练集扩增为4 倍。再对四等分后的图像分别进行30°、60°、90°旋转,竖直方向移动、翻转等数据增强方法,共获得320 张简单变形后的图像。由于裂隙煤岩裂隙的位置、走向和宽度具有空间上的随机性,数据增强后的图像不但在U-Net 网络训练上与原始的图像相比没有影响,而且数据增强后的裂隙随机性增加,对后续的图像分割训练有益。

2.5 卷积神经网络训练

本文使用的U-Net 模型是基于深度学习框架Keras 搭建的,硬件配置见表1,软件配置见表2,使用Anaconda 搭建虚拟环境。

表1 环境硬件配置Table 1 Environment hardware configuration

表2 环境软件配置Table 2 Environment software configuration

根据模型收敛效果和测试效果,本研究最终将迭代轮次设为500,一个迭代即在上一次计算的基础上对所有训练样本再进行一次计算;批处理设为2,即每次训练2 个样本。使用GPU 加速,经过迭代训练,网络最终收敛,在训练集上获得了99.86% 的裂隙提取准确度。

3 实验结果

3.1 微裂隙提取结果

图3是U-Net 算法对裂隙煤岩微裂隙提取结果。相比于传统图像处理方法,U-Net 神经网络裂隙的提取效果较为完整,提取后裂隙的走向、开度和分布精准,尤其是对微裂隙的提取表现较好。处理速度方面,凭借GPU 的并行计算优势,在使用普通GTX1060 6G 显卡的加速下,单张图片的裂隙提取速度约2 s。采用图像语义分割指标对本文UNet 模型分割结果进行评测,像素准确率为98.1%,均像素准确率为86.8%。

图3 U-Net 裂隙提取效果Fig.3 U-net crack extraction rendering

为了对比不同方法的提取效果,将处理后的1 500 张裂隙图片重构为三维模型,如图4所示。同时提取出第1 000 张切片(图4中红线切面所示位置)对比二维下的提取效果,如图5所示。

图4 提取效果三维对比Fig.4 Three dimensional comparison of extraction effect

为更好比较微裂隙的提取效果,对图5(a)红框所示位置进行放大,得到图6所示提取效果细节对比。其中图6(a)为局部CT 扫描图,图6(b)为人为标记结果,图6(c)～(f)为4 种裂隙提取算法的处理结果。

图5 提取效果单张切片对比Fig.5 Single slice comparison of extraction effect

对比4 种处理结果及人为标记结果可以发现,本研究所提出的U-Net 卷积神经网络方法可以最大限度地保留煤岩裂隙的细节信息,同时所获得的裂隙开度及分布与真实CT 图像更为接近,如图6(c)所示。而其余3 种方法难以同时保证连通性、微裂隙提取、噪点控制、开度精确性及裂隙准确识别与提取。其中,采用全局阈值分割,在经过多个全局阈值分割尝试后可以获得噪点较少的裂隙结构,然而该方法最大的问题在于整个图像采用同一个阈值将图像分割,在保证噪点少的同时难以做到裂隙的连通性,甚至部分微裂隙完全未被识别提取,如图6(d)所示。采用局部阈值分割可以得到连通性有一定改进的结果,然而在处理本研究中矿物成分较为复杂的结构时,结果出现了较多噪点,并且同样难以保证微裂隙的准确性,如图6(e)所示。采用Weka 机器学习可以得到较好的连通性结构,但是该方法难以保证裂隙开度的准确性,如图6(f)所示,裂隙结构开度高于真实裂隙开度;在微裂隙处理方面,结果也欠佳;同时将部分矿物夹杂和煤岩基质交界面也识别为裂隙。

图6 提取效果细节对比Fig.6 Comparison of extraction effect details

综上分析,本研究提出的基于U-Net 卷积神经网络的煤岩裂隙提取方法,可以更准确地识别复杂CT 图像内的裂隙结构,尤其是微裂隙结构。

3.2 裂隙提取定量评价标准

为了定量评价裂隙提取的准确性,本研究在上述定性评价提取效果的基础上,采用图像分割常用的4 种评价指标对裂隙煤岩裂隙提取效果进行对比,分别为像素精度(Pixel Accuracy,PA)、平均像素精度(Mean Pixel Accuracy,MPA)、平均交并比(Mean Intersection over Union,MIoU)和频权交并比(Frequency Weighted Intersection over Union,FWIoU)[22]。

像素精度PA 表示在提取图上裂隙被正确识别的百分比[23],即

式中,k为图像分割的类别,本研究为二分割,各像素值只分为裂缝和非裂缝,k取1;pij为属于类别i被识别为类别j的像素数量,即裂缝被识别为非裂缝的像素数量;pii为裂缝判别正确的像素数量。

均像素精度MPA 是在像素精度的基础上加入了对基岩等背景的识别效果的像素精度计算,并与裂隙识别的像素精度进行平均,排除误提取现象的干扰[24],即

平均交并比MIoU 是指计算提取图裂隙与标记图裂隙的交集除以并集,提取图基岩与标记图基岩的交集除以并集,并求平均值[25],即

式中,pji为属于类别j被识别为类别i的像素数量,即裂缝被识别为非裂缝的像素数量。

频权交并比FWIoU 是指在平均交并比的基础上,对每一个类根据出现的频率为其设置权重,计算加权平均值[26],即

平均交并比和频权交并比可以表征裂隙提取的位置准确度和大小准确度。

3.3 对比验证

为了验证本研究裂隙提取效果,选取了3 种常用的煤岩裂隙提取算法进行对比,分别为全局阈值分割[27]、局部阈值分割[28]和Weka 机器学习[29](表3)。由表3可知,本研究采用的U-Net 神经网络在4 个评价指标上,都优于其他常用的煤岩裂隙提取算法。

表3 不同算法裂隙提取准确性评价Table 3 Accuracy evaluation of different crack extraction algorithms

4 结 论

(1) 针对裂隙煤岩CT 图像裂隙与基质灰度值差异小、矿物夹杂干扰、噪点多、分辨率不足等导致微裂隙难以识别提取的问题,本研究提出利用卷积神经网络进行裂隙煤岩裂隙提取的方法,最大程度地保留了原始CT 图像的微裂隙等诸多细节信息。

(2) 针对初始用于U-Net 卷积神经网络训练中裂隙煤岩标记工作量大、难以在三维空间准确标注、训练集缺少的问题,提出“裂隙煤岩标注七步处理法”,大大提高标记效率。同时,提出“四等分图像数据扩增法”及利用图像增强技术扩充训练集,满足了U-Net 对于训练集数量和质量的要求。

(3) 微裂隙分割结果对比发现,利用U-Net卷积神经网络方法可以最大限度地保留煤岩裂隙的细节信息,同时所获得的裂隙连通性、开度及分布与真实CT 图像更为接近。所提取裂纹的4 个量化指标均优于其他提取方法,说明该算法对于裂隙煤岩CT 图像微裂隙的提取有更好的效果,满足了裂缝提取的鲁棒性和准确性要求,能够较为准确地实现微裂隙的提取,同时还可以扩展到其他检测。